コーパスとは
コーパス（Corpus、複数形：Corpora）とは、自然言語処理の研究や開発のために体系的に収集・整理されたテキストデータの集合です。言語学的な分析や機械学習モデルの学習・評価に使用される基盤的なリソースであり、NLPの発展に不可欠な存在です。
| ひとことで言うと | 研究や開発のために集めて整理された、大量のテキストデータ集。 |
|---|---|
| どこで使う | 言語モデルの学習、辞書の作成、言語の傾向分析。 |
| 注意点 | 偏ったコーパスで学習すると、AIの出力も偏る。著作権の確認も必要。 |
コーパスの種類
生コーパスはアノテーション（注釈）がない素のテキストデータで、言語モデルの事前学習に使用されます。アノテーション付きコーパスは品詞タグ、構文構造、固有表現、感情ラベルなどの言語学的情報が付与されており、教師あり学習に使用されます。対訳コーパスは2つの言語で対応するテキストのペアを含み、機械翻訳の学習に使用されます。
1テキスト収集書籍・新聞・Web
▶
2クリーニング重複・ノイズを除去
▶
3注釈を付ける品詞や固有表現のタグ
▶
4整理・公開検索できる形にまとめる
▶
5学習に利用モデルの土台になる
代表的なコーパス
英語ではPenn Treebank（構文解析）、SQuAD（質問応答）、GLUE/SuperGLUE（言語理解ベンチマーク）、Common Crawl（大規模Webテキスト）などが有名です。日本語では京都大学テキストコーパス、BCCWJ（現代日本語書き言葉均衡コーパス）、日本語Wikipediaなどが広く利用されています。
コーパスの品質
モデルの性能はコーパスの品質に大きく依存します。データのバイアス、ノイズ、著作権、プライバシーなどの問題に注意が必要で、高品質なコーパスの構築は大きなコストがかかる重要な作業です。