ハルシネーションとは
ハルシネーション（Hallucination）とは、AIモデル、特に大規模言語モデル（LLM）がもっともらしいが事実に基づかない情報を生成する現象です。安全性の観点からは、誤った情報の流布や意思決定の誤りを引き起こす重大なリスク要因として位置づけられています。
ハルシネーションが危険な場面
医療分野では、AIが存在しない治療法を提案することで患者の健康を害する可能性があります。法律分野では、架空の判例を引用することで訴訟に悪影響を与えた事例が実際に報告されています。金融分野でも、誤った情報に基づく投資判断は大きな損失につながりかねません。
ハルシネーションの発生メカニズム
ハルシネーションは、モデルが訓練データのパターンを統計的に学習し、確率的に次のトークンを予測する仕組みに起因します。モデルは「事実を知っている」のではなく「もっともらしい文を生成する」ことに最適化されているため、訓練データにない情報やまれな情報については不正確な出力を生成しやすくなります。
対策と緩和手法
ハルシネーション対策としては、RAG（検索拡張生成）による外部知識の参照、ファクトチェック機構の組み込み、モデルの自信度スコアの活用、人間によるレビュープロセスの導入などがあります。また、RLHF（人間のフィードバックによる強化学習）を用いてモデルの出力精度を改善する取り組みも進んでいます。完全な解消は困難であり、リスクを前提とした運用設計が不可欠です。