ストップワードとは
ストップワード（Stop Words）とは、自然言語処理においてテキストから除外される一般的で情報量の少ない単語のことです。英語では「the」「is」「at」「in」「a」など、日本語では「は」「の」「が」「に」「を」などの助詞や助動詞が代表的なストップワードです。
| ひとことで言うと | 「は」「の」「the」のように、情報量が少ないので除外する語のこと。 |
|---|---|
| どこで使う | テキストマイニング、キーワード抽出、検索インデックスの軽量化。 |
| 注意点 | 消しすぎると意味が変わる。「ない」などの否定語は残す判断が必要。 |
ストップワード除去の目的
ストップワードを除去する主な目的は、テキスト分析のノイズを減らし、意味的に重要な単語に焦点を当てることです。これにより、TF-IDFやBag of Wordsなどの手法での特徴量のサイズが削減され、計算効率が向上します。また、情報検索での検索精度の向上にも寄与します。
1単語に分割形態素解析の結果
▶
2リストと照合除外語一覧と比較
▶
3該当語を削除助詞・冠詞などを除く
▶
4中身の濃い語だけ分析対象が明確に
ストップワードリストの作成
ストップワードリストは一般的な汎用リストを使用するか、タスクやドメインに応じてカスタマイズします。NLTKやspaCyなどのNLPライブラリには言語ごとのストップワードリストが組み込まれています。ただし、適切なストップワードリストはタスクによって異なるため、注意が必要です。
ストップワード除去の注意点
ストップワード除去は万能ではなく、タスクによっては悪影響を与えることもあります。感情分析では「not」「no」などの否定語が重要な情報を持ちます。また、BERTやGPTなどの文脈を考慮するモデルでは、ストップワードも文脈理解に寄与するため、除去しないことが一般的です。