探索的データ分析（EDA）とは
探索的データ分析（EDA: Exploratory Data Analysis）とは、データの特徴、パターン、異常、関係性を視覚的・統計的に調査する分析手法です。統計学者ジョン・テューキーが提唱した概念で、仮説を立てる前にまずデータそのものを理解することを重視します。
| ひとことで言うと | グラフや集計でデータの素顔を眺め、仮説や問題点を見つける作業。 |
|---|---|
| なぜ重要か | いきなりモデルを作る前に、外れ値・欠損・偏りを把握できる。 |
| 注意点 | 見つけた関係が偶然の場合もある。検証は別データで行う。 |
EDAの主な手法
EDAでは、基本統計量（平均、中央値、標準偏差など）の算出、ヒストグラムや箱ひげ図による分布の可視化、散布図による変数間の関係性の確認、相関行列によるパターンの発見などを行います。これらの手法を組み合わせることで、データの全体像を把握します。
1基本統計を見る件数・平均・欠損率
▶
2分布を描くヒストグラム・箱ひげ図
▶
3関係を見る散布図・相関行列
▶
4異常に気づく外れ値・入力ミス
▶
5仮説を立てる次の分析につなげる
EDAで確認すべきポイント
EDAでは主に、データの分布形状、外れ値の有無、欠損値の割合とパターン、変数間の相関関係、カテゴリ変数の偏り、時系列データのトレンドやシーズナリティなどを確認します。これらの情報は、適切な前処理やモデル選択の判断材料となります。
EDAの重要性
EDAを省略していきなりモデリングに進むと、データの特性を見落として不適切なモデルを選択したり、重要な特徴量を見逃したりするリスクがあります。EDAはデータ分析プロジェクトの品質を担保する重要なステップです。PandasやMatplotlibなどのツールが広く活用されています。