【データベース】生のデータを丸ごと飲み込む巨大な湖!「データレイク」|情報処理問題1000本ノック
ビッグデータやAI活用の基盤となるデータマネジメント技術。従来のデータベースのようにデータをきれいに整形せず、多種多様なデータを生のまま一元管理する「データレイク」の特性を攻略しましょう。
1. 【 問題 】:データベース(ビッグデータ・データ構造)
【 問題 】 ビッグデータの収集・蓄積を行うデータ基盤に関する記述です。業務システムから出力される「構造化データ」だけでなく、画像、音声、動画、SNSのテキスト、センサーログといった形式が定義されていない「非構造化データ」や「半構造化データ」も含め、発生したデータを加工せず生のまま(Rawデータ)で一元的に格納・管理するデータ保管庫を何と呼ぶでしょうか?
(ア)データウェアハウス(DWH)
(イ)データレイク
(ウ)データマート
(エ)データマイニング
2. 正解:
正解:(イ)データレイク
3. 解説:「仕分けしてから片付ける」か、「とりあえず箱に放り込む」か
データレイク(Data Lake)は、文字通りデータを「大きな湖」にそのまま流し込むように蓄積する仕組みです。
従来のデータウェアハウス(DWH)が、目的や形式に合わせてデータを「整理整頓・加工」してから格納するのに対し、データレイクは「将来何に使うか決まっていなくても、とりあえず生のまま何でも保存する」という思想で作られています。これにより、後からAIの学習データとして画像や音声が必要になった際にも、元の品質を保ったまま抽出できるメリットがあります。
| データ基盤の種類 | 格納するデータの状態 | データの種類(形式) | 主な利用目的 |
|---|---|---|---|
| ① データレイク | 生のまま(未加工・Raw) | 制限なし(構造化・非構造化すべて) | 機械学習、AI解析、将来のための全データ蓄積 |
| ② データウェアハウス(DWH) | きれいに整形・統合済み | 構造化データ(行と列の表形式) | 企業全体の過去の売上分析、意思決定(BI) |
| ③ データマート | 特定の目的に絞って抽出・加工 | 構造化データ(限定的) | 「営業部用」「マーケ部用」など特定部門の分析 |
※(エ)データマイニングは、蓄積されたデータから統計的手法で知識を掘り起こす「分析手法(行為)」のことです。
1. 理解のコツ: 「オフィスの書類やおもちゃの片付け」に例えてみましょう。
・② データウェアハウス(DWH)は、ホテルの巨大な「ワインセラー」や本棚です。決まったサイズ、決まったラベル(構造化データ)のものだけが、きれいに仕分けされて並んでいます。後から探しやすいですが、本棚に入らない大きなぬいぐるみ(動画や音声)は捨てられてしまいます。
・一方、① データレイクは、とりあえず何でも放り込める部屋全体の「おもちゃ箱(または巨大な倉庫)」です。ミニカーも、ブロックも、紙くずも、ぬいぐるみの生首も、加工せずそのまま放り込みます。何でも入るのが強みですが、中身を管理しておかないと、あとで必要なものを探せない「データの沼(データスワンプ)」になってしまうという注意点もあります。
2. 試験対策の視点: 近年の情報処理技術者試験(基本情報・応用情報・データベーススペシャリスト等)において、ビッグデータ分野の超定番問題です。問題文の中に「構造化・非構造化を問わない」「多種多様なデータ」「生のまま(Raw形式)蓄積」というキーワードがあれば、迷わずデータレイクを選択してください。
また、上の表にまとめた「データレイク ➔ データウェアハウス ➔ データマート」というデータが流れていく順番や、それぞれの役割の組み合わせ問題も頻出です。それぞれの保管庫が「どんな状態のデータを置く場所なのか」を明確に区別できるようにしておくことが、確実に得点をもぎ取る強力な武器になります。
4. まとめ
「構造化データだけでなく、画像や音声などの非構造化データも含めた多種多様なデータを、形式にとらわれず生の状態のまま一元管理する巨大なデータプール」。これがデータレイクです。DWHやデータマートとの『データの加工度合いと種類の違い』を綺麗に整理して、しっかり記憶に定着させておきましょう!