オプティカルフローとは
オプティカルフロー（Optical Flow：光学的流れ）とは、連続する画像フレーム間での各ピクセルの動きを2Dベクトル場として表現したものです。映像中の各ピクセルがどの方向にどれだけ移動したかを示し、動きの解析に不可欠な基盤技術です。
| ひとことで言うと | 連続する映像から、画素がどの方向にどれだけ動いたかを求める技術。 |
|---|---|
| どこで使う | 動き検知、手ぶれ補正、動画の圧縮、行動認識の前処理。 |
| 注意点 | 照明の変化を動きと誤認しやすい。模様のない面では動きが取れない。 |
オプティカルフローの計算手法
古典的な手法としては、Lucas-Kanade法（局所的なフロー推定）やHorn-Schunck法（大域的なフロー推定）があります。ディープラーニングを活用した手法では、FlowNet（2015年）がCNNベースのEnd-to-Endフロー推定を初めて実現しました。その後、FlowNet2.0、PWC-Net、RAFT（Recurrent All-Pairs Field Transforms）などが開発され、精度が大幅に向上しました。RAFTは反復的な更新によるフロー推定で高精度を達成し、この分野の標準的な手法となっています。
1連続2コマ時刻tとt+1の画像
▶
2同じ点を探す明るさが同じ画素を追跡
▶
3移動量を計算縦横の動きベクトル
▶
4動きの場を得る画面全体の流れ
応用と重要性
オプティカルフローは動画の動き解析、映像安定化（手ぶれ補正）、動画フレーム補間（スローモーション生成）、行動認識、自動運転での移動物体検出、映画のVFX制作など、映像を扱う多くの分野で利用されています。物体追跡やシーンフロー推定（3Dの動き推定）の基盤技術としても重要です。リアルタイム処理の効率化が引き続き重要な研究テーマです。