忍者ブログ
情報処理技術者試験の合格を目指す全受験者のための、1問1問「徹底解説」ブログです。単なる過去問の暗記ではなく、なぜその答えになるのかを本質的に理解できるよう解説します。書籍などでは学べない最新用語やトレンドを踏まえてご紹介します。

【データベース】生のデータを丸ごと飲み込む巨大な湖!「データレイク」|情報処理問題1000本ノック

ビッグデータやAI活用の基盤となるデータマネジメント技術。従来のデータベースのようにデータをきれいに整形せず、多種多様なデータを生のまま一元管理する「データレイク」の特性を攻略しましょう。

1. 【 問題 】:データベース(ビッグデータ・データ構造)

【 問題 】 ビッグデータの収集・蓄積を行うデータ基盤に関する記述です。業務システムから出力される「構造化データ」だけでなく、画像、音声、動画、SNSのテキスト、センサーログといった形式が定義されていない「非構造化データ」や「半構造化データ」も含め、発生したデータを加工せず生のまま(Rawデータ)で一元的に格納・管理するデータ保管庫を何と呼ぶでしょうか?

(ア)データウェアハウス(DWH)
(イ)データレイク
(ウ)データマート
(エ)データマイニング

2. 正解:

正解:(イ)データレイク

3. 解説:「仕分けしてから片付ける」か、「とりあえず箱に放り込む」か

データレイク(Data Lake)は、文字通りデータを「大きな湖」にそのまま流し込むように蓄積する仕組みです。
従来のデータウェアハウス(DWH)が、目的や形式に合わせてデータを「整理整頓・加工」してから格納するのに対し、データレイクは「将来何に使うか決まっていなくても、とりあえず生のまま何でも保存する」という思想で作られています。これにより、後からAIの学習データとして画像や音声が必要になった際にも、元の品質を保ったまま抽出できるメリットがあります。

【試験で必ず比較される「3大データ環境」の決定的な違い】 ← ココが試験のポイント!

データ基盤の種類格納するデータの状態データの種類(形式)主な利用目的
データレイク 生のまま(未加工・Raw) 制限なし(構造化・非構造化すべて) 機械学習、AI解析、将来のための全データ蓄積
② データウェアハウス(DWH) きれいに整形・統合済み 構造化データ(行と列の表形式) 企業全体の過去の売上分析、意思決定(BI)
③ データマート 特定の目的に絞って抽出・加工 構造化データ(限定的) 「営業部用」「マーケ部用」など特定部門の分析

※(エ)データマイニングは、蓄積されたデータから統計的手法で知識を掘り起こす「分析手法(行為)」のことです。

1. 理解のコツ: 「オフィスの書類やおもちゃの片付け」に例えてみましょう。
② データウェアハウス(DWH)は、ホテルの巨大な「ワインセラー」や本棚です。決まったサイズ、決まったラベル(構造化データ)のものだけが、きれいに仕分けされて並んでいます。後から探しやすいですが、本棚に入らない大きなぬいぐるみ(動画や音声)は捨てられてしまいます。
・一方、① データレイクは、とりあえず何でも放り込める部屋全体の「おもちゃ箱(または巨大な倉庫)」です。ミニカーも、ブロックも、紙くずも、ぬいぐるみの生首も、加工せずそのまま放り込みます。何でも入るのが強みですが、中身を管理しておかないと、あとで必要なものを探せない「データの沼(データスワンプ)」になってしまうという注意点もあります。

2. 試験対策の視点: 近年の情報処理技術者試験(基本情報・応用情報・データベーススペシャリスト等)において、ビッグデータ分野の超定番問題です。問題文の中に「構造化・非構造化を問わない」「多種多様なデータ」「生のまま(Raw形式)蓄積」というキーワードがあれば、迷わずデータレイクを選択してください。
また、上の表にまとめた「データレイク ➔ データウェアハウス ➔ データマート」というデータが流れていく順番や、それぞれの役割の組み合わせ問題も頻出です。それぞれの保管庫が「どんな状態のデータを置く場所なのか」を明確に区別できるようにしておくことが、確実に得点をもぎ取る強力な武器になります。


4. まとめ

「構造化データだけでなく、画像や音声などの非構造化データも含めた多種多様なデータを、形式にとらわれず生の状態のまま一元管理する巨大なデータプール」。これがデータレイクです。DWHやデータマートとの『データの加工度合いと種類の違い』を綺麗に整理して、しっかり記憶に定着させておきましょう!


PR