TF-IDFとは
TF-IDF（Term Frequency-Inverse Document Frequency）とは、文書中の単語の重要度を数値化する統計的な手法です。情報検索やテキストマイニングにおいて、文書を特徴づける重要な単語を特定するために広く使用されています。
| ひとことで言うと | 「その文書によく出る」かつ「他の文書にはあまり出ない」語を重要とみなす指標。 |
|---|---|
| どこで使う | キーワード自動抽出、検索の関連度計算、文書の特徴づけ。 |
| 注意点 | 意味は考慮しない。同義語や表記ゆれは別の語として扱われる。 |
TFとIDFの意味
TF（Term Frequency：単語頻度）は、ある単語が文書中に出現する頻度を表します。出現頻度が高い単語ほど、その文書にとって重要である可能性が高いです。IDF（Inverse Document Frequency：逆文書頻度）は、その単語が全文書集合のうちどれだけの文書に出現するかの逆数に基づく値です。多くの文書に出現する一般的な単語（「は」「の」など）のIDFは低く、特定の文書にのみ出現する単語のIDFは高くなります。
1TF：出現回数その文書での多さ
▶
2DF：文書数何文書に出るか数える
▶
3IDF：珍しさ全文書に出る語は下げる
▶
4TF×IDF掛け合わせて重要度に
▶
5上位語を抽出その文書らしい語が残る
TF-IDFの計算
TF-IDF = TF × IDFとして計算されます。これにより、特定の文書で頻出し、かつ他の文書ではあまり出現しない単語に高いスコアが与えられ、その文書を特徴づける重要な単語を特定できます。
TF-IDFの活用
TF-IDFは文書の特徴ベクトル化、検索エンジンのランキング、テキスト分類の特徴量、キーワード抽出などに広く利用されています。深層学習モデルの台頭後も、そのシンプルさと解釈性からベースライン手法として重要な役割を果たしています。