リーダーボードとは
リーダーボード（Leaderboard）とは、ベンチマークの評価結果に基づいてモデルをランキング形式で表示するプラットフォームです。AIモデルの性能を可視化し、研究者や開発者が最新の技術動向を把握するための重要なインフラとして機能しています。
主要なリーダーボード
AI分野には多数のリーダーボードが存在します。LLMの分野ではChatbot ArenaのEloリーダーボード、Open LLM Leaderboard（Hugging Face）が有名です。コンピュータビジョンではPapers With Codeのリーダーボード、特定タスクではSQuAD、ImageNet、COCOなどの公式リーダーボードがあります。
リーダーボードの効果
リーダーボードは研究競争を促進し、技術の急速な発展に貢献してきました。上位を目指す研究者のモチベーションとなり、モデルの改善手法や新しいアーキテクチャの発見につながっています。また、実務者にとってはモデル選択の参考情報として有用です。
リーダーボードの課題
リーダーボードにはいくつかの課題があります。特定のベンチマークへの過適合（ベンチマークハッキング）、ベンチマーク汚染の問題、実用的な性能との乖離、多面的な評価の単一スコアへの圧縮による情報の損失などです。リーダーボードの順位だけでなく、使用条件や安全性なども含めた総合的な評価が重要です。