データレイク

Data Lake

データレイクとは

データレイク(Data Lake)とは、構造化データ、半構造化データ、非構造化データをそのままの形式で大量に格納できるストレージシステムです。データウェアハウスがスキーマを事前に定義するのに対し、データレイクはスキーマオンリード(読み取り時にスキーマを適用)のアプローチを取ります。

表:データレイクの要点まとめ
ひとことで言うと加工前の生データを、形式を問わずそのまま貯めておく大きな保管庫。
何がうれしいか後から用途が決まっても、元データが残っているので分析し直せる。
注意点整理しないと「データの沼」になる。カタログとルールの整備が必須。

データレイクの特徴

データレイクは、あらゆる形式のデータ(CSV、JSON、Parquet、画像、動画、ログなど)を変換せずに格納できます。大容量のデータを低コストで保存でき、将来どのような分析に使うかが未定のデータも蓄積しておくことが可能です。

図:データレイクとDWHの違い
1データレイク生のまま何でも貯める
▶
2用途は後から決める柔軟に使える
▶
3DWH整えてから貯める
▶
4用途が先に決まるすぐ分析できる

データレイクの課題

適切な管理がなされないデータレイクは「データスワンプ(沼)」と化す危険性があります。メタデータ管理、データカタログ、アクセス権限管理、データ品質の監視などのガバナンス体制が不可欠です。データの発見性と信頼性を確保するための仕組みが重要になります。

レイクハウスの登場

近年ではデータレイクとデータウェアハウスの長所を組み合わせた「データレイクハウス」アーキテクチャが注目されています。Delta Lake、Apache Iceberg、Apache Hudiなどの技術により、データレイク上でACIDトランザクションやスキーマの強制が可能になっています。