トークン(生成AI)とは
トークン（Token）とは、生成AIがテキストを処理する際の最小単位です。LLMは入力テキストをトークンに分割し、トークン単位で処理・生成を行います。1トークンは必ずしも1単語や1文字に対応するわけではなく、言語やトークナイザーの設計により異なります。英語では1トークンが約4文字（0.75単語）に相当し、日本語ではひらがな1文字が1トークン程度になることが多いです。
トークンの計算とコスト
生成AIのAPI利用料金は、多くの場合トークン数に基づいて課金されます。入力トークン（プロンプト部分）と出力トークン（生成された応答部分）がそれぞれカウントされ、一般的に出力トークンの方が単価が高く設定されています。トークン数の見積もりには、各プロバイダーが提供するトークナイザーツールを利用できます。
トークン数の最適化
コストを抑えつつ効果的にAIを活用するためには、不要な冗長表現を避けた簡潔なプロンプト設計、キャッシュ機能の活用、適切なモデルサイズの選択などが重要です。また、コンテキストウィンドウ（モデルが一度に処理できる最大トークン数）の制約も考慮する必要があり、長い文書を扱う際にはトークン数の管理が不可欠です。