ベンチマーク汚染とは
ベンチマーク汚染（Benchmark Contamination）とは、モデルの訓練データにベンチマークのテストデータが含まれることで、評価結果が不当に高くなる問題です。データ汚染（Data Contamination）やテストセットリーク（Test Set Leakage）とも呼ばれ、大規模言語モデルの評価における重大な課題となっています。
汚染が起きる原因
大規模言語モデルはインターネット上の膨大なテキストデータで訓練されるため、ベンチマークの問題や回答がWeb上に公開されていると、意図せず訓練データに含まれてしまいます。MMLU、GSM8K、HellaSwagなどの有名なベンチマークは解答とともにインターネット上に広く拡散しており、汚染のリスクが高いです。
汚染の検出方法
汚染の検出には、訓練データとテストデータの重複検出、テスト問題の語順を変えた際の性能変化の観察、カナリアトークン（意図的に挿入した識別子）の利用などの方法があります。しかし、パラフレーズや間接的な汚染の検出は困難であり、完全な検出は現実的には難しいとされています。
汚染への対策
汚染への対策として、定期的に新しいベンチマークを作成する、非公開のテストセットを使用する、動的ベンチマーク（LMSys Chatbot Arenaのような人間評価）を活用するなどの方法が取られています。ベンチマーク汚染はLLM評価の信頼性に関わる根本的な問題であり、継続的な対策が必要です。