オプティカルフロー

Optical Flow

オプティカルフローとは

オプティカルフロー(Optical Flow:光学的流れ)とは、連続する画像フレーム間での各ピクセルの動きを2Dベクトル場として表現したものです。映像中の各ピクセルがどの方向にどれだけ移動したかを示し、動きの解析に不可欠な基盤技術です。

オプティカルフローの計算手法

古典的な手法としては、Lucas-Kanade法(局所的なフロー推定)やHorn-Schunck法(大域的なフロー推定)があります。ディープラーニングを活用した手法では、FlowNet(2015年)がCNNベースのEnd-to-Endフロー推定を初めて実現しました。その後、FlowNet2.0、PWC-Net、RAFT(Recurrent All-Pairs Field Transforms)などが開発され、精度が大幅に向上しました。RAFTは反復的な更新によるフロー推定で高精度を達成し、この分野の標準的な手法となっています。

応用と重要性

オプティカルフローは動画の動き解析、映像安定化(手ぶれ補正)、動画フレーム補間(スローモーション生成)、行動認識、自動運転での移動物体検出、映画のVFX制作など、映像を扱う多くの分野で利用されています。物体追跡やシーンフロー推定(3Dの動き推定)の基盤技術としても重要です。リアルタイム処理の効率化が引き続き重要な研究テーマです。