トークン(生成AI)とは
トークン（Token）とは、生成AIがテキストを処理する際の最小単位です。LLMは入力テキストをトークンに分割し、トークン単位で処理・生成を行います。1トークンは必ずしも1単語や1文字に対応するわけではなく、言語やトークナイザーの設計により異なります。英語では1トークンが約4文字（0.75単語）に相当し、日本語ではひらがな1文字が1トークン程度になることが多いです。
| ひとことで言うと | AIが文章を扱うときの最小単位。料金も文章の長さもこれで数える。 |
|---|---|
| どこで使う | API利用料の見積もり、入力できる文量の計算、コスト削減の検討。 |
| 注意点 | 日本語は1文字で1トークン以上になることが多く、英語より割高になりやすい。 |
トークンの計算とコスト
生成AIのAPI利用料金は、多くの場合トークン数に基づいて課金されます。入力トークン（プロンプト部分）と出力トークン（生成された応答部分）がそれぞれカウントされ、一般的に出力トークンの方が単価が高く設定されています。トークン数の見積もりには、各プロバイダーが提供するトークナイザーツールを利用できます。
1入力文「AI用語集」など
▶
2分割トークナイザーが切る
▶
3数値に変換トークンIDへ
▶
4モデルが処理数値のまま計算
▶
5文字に戻す読める文章として出力
トークン数の最適化
コストを抑えつつ効果的にAIを活用するためには、不要な冗長表現を避けた簡潔なプロンプト設計、キャッシュ機能の活用、適切なモデルサイズの選択などが重要です。また、コンテキストウィンドウ（モデルが一度に処理できる最大トークン数）の制約も考慮する必要があり、長い文書を扱う際にはトークン数の管理が不可欠です。