画像修復(Inpainting)

Image Inpainting

画像修復(Inpainting)とは

画像修復(Inpainting)とは、画像の欠損部分や不要な要素を、周囲の文脈に基づいて自然に補完・復元する技術です。傷ついた写真の修復から、画像中の不要な物体の除去まで、幅広い用途に対応する画像生成技術の一分野です。

表:画像修復(Inpainting)の要点まとめ
ひとことで言うと画像の欠けた部分や不要な物を、周囲になじむように自動で埋める技術。
どこで使う写真からの不要物の消去、古い写真の傷の修復、商品画像の背景整理。
注意点報道写真や証拠写真の改変は不適切。加工の明示が求められる場面がある。

技術的アプローチ

従来の画像修復はテクスチャ合成やパッチマッチングなどの手法に頼っていましたが、ディープラーニングの登場により大きく進化しました。Context Encoderは初期のCNN+GANベースのアプローチで、画像の意味的な理解に基づく補完を実現しました。その後、Partial Convolution、Gated Convolution、CoModGANなどが開発され、より自然な修復結果を生成できるようになりました。最新の拡散モデルベースの手法では、テキスト指示に基づいて修復内容を制御することも可能です。

図:画像修復の流れ
1消したい領域を指定マスクで塗る
▶
2周囲の文脈を読む色・模様・構造
▶
3自然な内容を生成つながるように描く
▶
4境界をなじませる違和感をなくす
▶
5修復画像を出力消した跡が分からない

応用と可能性

画像修復は写真編集での不要物の除去、古い写真や絵画の修復、動画編集でのウォーターマーク除去、3Dシーンの補完などに活用されています。また、データ拡張の一種としてモデルの学習にも利用されます。画像修復技術は非常に便利ですが、フェイク画像の生成にも悪用される可能性があるため、倫理的な利用が求められています。