存在リスクとは
存在リスク（Existential Risk、X-risk）とは、人類文明全体の存続を脅かすか、人類の長期的な潜在能力を大幅に制限するような壊滅的リスクのことです。AI安全性の文脈では、超知能AIや制御不能なAIシステムが人類にとって存在的脅威となる可能性を指します。
AIによる存在リスクのシナリオ
AIがもたらし得る存在リスクとしては、人間の制御を超えた超知能AIの暴走、AIの目的関数の誤設定による人類に不利な最適化、AI軍事技術による破局的な紛争、AIを悪用した大規模な生物兵器開発などのシナリオが議論されています。これらは現時点では仮想的ですが、AI技術の急速な進歩に伴い真剣な検討が必要とされています。
議論の背景
存在リスクの議論は、Nick Bostromの「スーパーインテリジェンス」（2014年）やStuart Russellの「Human Compatible」（2019年）などの著作をきっかけに広がりました。2023年にはAI研究者やIT業界のリーダーが「AIによる絶滅リスクの緩和は、パンデミックや核戦争などの社会規模のリスクと同様にグローバルな優先課題であるべき」とする声明に署名しています。
対策と批判
存在リスクへの対策としては、アラインメント研究の推進、AI開発の国際的なガバナンス、計算資源へのアクセス制御、段階的なAI能力の開放などが提案されています。一方で、存在リスクの強調は現在のAIが引き起こしている具体的な被害（バイアス、監視、雇用喪失など）から注意をそらすという批判もあり、短期的リスクと長期的リスクのバランスある取り組みが求められています。