ノーフリーランチ定理

ノーフリーランチ定理（No Free Lunch Theorem）とは、「すべてのタスクに対して最も優れた万能のアルゴリズムは存在しない」という機械学習の基本的な定理です。あるタスクで最良のアルゴリズムが、別のタスクでは最悪になりうることを数学的に証明しています。

定理の意味

すべての可能なデータ分布に対して平均すると、どの学習アルゴリズムも同じ性能になります。つまり、あるアルゴリズムがあるクラスの問題で優れているなら、別のクラスの問題では劣ることになります。

実践への示唆

この定理は「とりあえずこのアルゴリズムを使えばOK」という安易なアプローチを戒めます。データの特性、タスクの要件、計算資源などを考慮して、適切なアルゴリズムを選択・比較する必要があります。

現実的な解釈

理論的にはすべての分布で平均的に同等ですが、実世界のデータは特定の構造を持つため、特定のアルゴリズム（深層学習、勾配ブースティングなど）が実践的に多くの問題で優れた性能を示します。