データリネージとは
データリネージとは、データの発生源から最終的な利用先に至るまでの流れや変換過程を追跡・可視化する仕組みのことです。データがどこから来て、どのような処理を経て、どこで使われているかを明確にすることで、データの信頼性確保、問題発生時の原因追跡、コンプライアンス対応を支援します。
リネージの種類と管理手法
データリネージには、テーブルやファイル単位で追跡する粗粒度リネージと、カラムや値レベルで追跡する細粒度リネージがあります。技術的には、ETLツールのログ解析、SQLクエリの解析、APIコールの記録などの手法で自動的にリネージ情報を収集します。これらの情報はグラフデータベースなどに格納され、DAG（有向非巡回グラフ）として可視化されることが一般的です。Apache Atlas、OpenLineageなどのオープンソースツールも広く利用されています。
AI開発でのリネージの重要性
AI開発において、データリネージはモデルの説明責任を果たす上で不可欠です。学習データがどのソースから収集され、どのような前処理を経てモデルに投入されたかを追跡することで、モデルの予測結果に問題が生じた際に原因を特定できます。また、GDPRの「忘れられる権利」に対応するために、特定の個人データがどのモデルの学習に使われたかを把握する必要があり、データリネージが重要な役割を果たします。