パノプティックセグメンテーションとは
パノプティックセグメンテーション（Panoptic Segmentation）とは、セマンティックセグメンテーションとインスタンスセグメンテーションを統合した画像セグメンテーション技術です。画像中のすべてのピクセルに対してクラスラベルを付与しつつ、数えられる物体（Things：車、人など）には個別のインスタンスIDも割り当てます。一方、数えられない領域（Stuff：空、道路、草地など）にはクラスラベルのみを付与します。
技術的な仕組み
パノプティックセグメンテーションのアプローチは主に2つあります。トップダウン方式は、既存のインスタンスセグメンテーションとセマンティックセグメンテーションの結果を融合するもので、Panoptic FPNが代表例です。ボトムアップ方式は、すべてのピクセルを直接分類し、同一インスタンスに属するピクセルをグルーピングします。最近ではMask2FormerやOneFormerなど、Transformerベースの統一モデルが高精度を達成しています。
意義と応用
パノプティックセグメンテーションは、シーン全体の包括的な理解を可能にします。自動運転では車両や歩行者の個別認識と道路・空の領域認識を同時に行え、ロボット工学ではより豊かな環境理解を提供します。評価指標としてPQ（Panoptic Quality）が使われ、認識品質と分割品質の両方を考慮した包括的な評価が可能です。