【データベース】生のデータをそのまま丸ごと貯蔵！「データレイク」の役割｜情報処理問題1000本ノック
データ活用の第一歩は、まず集めることから。データの形式に囚われず、ありとあらゆる「生データ」をそのまま受け止める巨大な水溜まり「データレイク」を攻略しましょう。
1. 【 問題 】：大量データ蓄積基盤のアーキテクチャ
【 問題 】 企業が持つビッグデータなどの活用において、テキストファイルやCSVなどの構造化データだけでなく、画像、音声、動画、各種ログ、センサーデータなどの非構造化データも含めた多種多様なデータを、事前の加工や変換をせずに「生のまま（ローデータ）」の状態で一元的に集約して保管しておく巨大な格納庫（ストレージ基盤）はどれでしょうか？
① データレイク (Data Lake)
② データウェアハウス (Data Warehouse)
③ データマート (Data Mart)
④ データメッシュ (Data Mesh)
2. 正解：
正解： ① データレイク (Data Lake)
3. 解説：「まずはそのまま全部溜める」というスケール感
従来のデータベースやDWHは、入れるデータの「型（テーブル構造）」を厳しく決めてから格納する必要がありました。しかし、それでは「SNSの書き込み」や「動画」のような自由なデータに対応できません。そこで「形は何でもいいから、とりあえず全部1箇所に放り込んでおこう」という思想で生まれたのがデータレイクです。
・データレイク（生の湖）：データを集める時点では、将来何に使うかを決めません。「加工・変換をせず、そのままの姿」で、安価で巨大なストレージにドカンと貯めます。後からAIの機械学習やデータサイエンティストが、その都度必要な形に加工して料理します。 ← ココが問題の正解！
・注意点（データスワンプ化）：ただデータを放り込むだけにして、中身の「目録（メタデータ）」をしっかり管理しないと、どこに何があるか誰もわからない「データの沼（データスワンプ）」になってしまい、使えないゴミ箱と化してしまうという運用上のリスクがあります。
★ ② データウェアハウス（DWH）：データレイクから汲み上げたデータを、人間のビジネス分析（BIツールなど）に使いやすいように、きれいに「整理整頓（構造化）」して格納する中央集権の巨大な倉庫です。
★ ③ データマート：DWHからさらに「営業部用」「マーケティング部用」というように、特定の部門や目的のために必要なデータだけをピンポイントで切り出した、小規模なデータ市場（マート）のことです。
★ ④ データメッシュ：前問までに学んだ、中央集権の限界を突破するために、データの所有権と管理責任をIT部門から現場の各部門（ドメイン）にバラバラに分散させようという、非集権的な最新の組織・データアーキテクチャです。
1. 理解のコツ: 「獲ってきた魚の管理」に例えてみましょう。
・海や川から釣ってきた魚（生データ）を、ウロコも取らず、仕分けもせず、生きたまま巨大な『いけす（湖＝レイク）』にドボドボと放り込んでおくのがデータレイクです。どんな魚（非構造化データ）でも受け入れ可能です。
・そこから魚を揚げて、三枚におろしてパック詰めし、いつでも調理できる状態で綺麗に冷蔵倉庫（DWH）に並べる。これがDWHの役割です。
・さらにそこから「本日のマグロの刺身コーナー（データマート）」を作って店舗（ユーザー）に提供します。この川上の最初のステップがデータレイクです。
2. 試験対策の視点: 「生のまま（ローデータ）」「形式を問わず（非構造化データ）」「加工や変換をせずに保管する」という、素材そのままの貯蔵庫を指すフレーズがあれば「データレイク」が一択です。ITパスポートから基本情報、応用情報の午前試験において、DWH、データマート、データレイクの3つの違いを「データの加工タイミング」や「扱うデータの形式（構造化・非構造化）」の軸で区別させる問題は、定番中の最頻出テーマです。
4. まとめ
「データの形式や用途を事前に定義せず、将来のAI分析や機械学習などの可能性を残すために、社内のあらゆる生データをそのまま一括して受け止める巨大な貯蔵プール」。これがデータレイクです。この潤沢な『湖』があるからこそ、現代のデータサイエンティストたちは自由な発想でビッグデータを解析し、新しいビジネスのヒントを見つけ出すことができています。