ILSVRC

ImageNet Large Scale Visual Recognition Challenge

ILSVRCとは

ILSVRC(ImageNet Large Scale Visual Recognition Challenge)は、2010年から2017年まで開催された大規模画像認識コンテストです。ImageNetデータセットの一部(1000カテゴリ、約120万枚の訓練画像)を用いて画像分類の精度を競い、コンピュータビジョンの進歩を測る最も重要なベンチマークとなりました。

表:ILSVRCの要点まとめ
ひとことで言うとImageNetを使った画像認識の国際コンペティション。
何が起きたか2012年にAlexNetが誤答率を大幅に下げ、深層学習の時代が始まった。
注意点2015年には人間の精度を超え、コンペとしての役割を終えた。

2012年の転換点

ILSVRCが歴史に名を刻んだのは2012年大会です。ジェフリー・ヒントンの研究室のアレックス・クリジェフスキーらが開発したAlexNetが、エラー率を前年の25.8%から15.3%へと劇的に改善しました。10ポイント以上の差は革命的であり、ディープラーニングの実力を世界に知らしめました。

図:ILSVRCでの精度の推移
12011年 誤答率26%従来手法の限界
▶
22012年 AlexNet 16%深層学習が圧勝
▶
32014年 GoogLeNet 7%さらに深く
▶
42015年 ResNet 3.6%人間の精度を超える
▶
5コンペ終了役割を果たし終える

その後の進化

以降、VGGNet(2014年)、GoogLeNet(2014年)、ResNet(2015年)など、毎年新しいアーキテクチャが記録を更新していきました。2015年にはResNetが人間の認識精度(約5%のエラー率)を上回る3.6%を達成し、画像認識においてAIが人間を超える象徴的な瞬間となりました。

コンテストの終了と遺産

2017年に最後のコンテストが開催され、ILSVRCは幕を閉じました。しかしその遺産は計り知れません。ILSVRCは「ベンチマーク駆動型の研究」というスタイルを確立し、NLPのGLUEやSuperGLUEなど他分野のベンチマーク設計にも影響を与えました。