存在リスクとは
存在リスク（Existential Risk、X-risk）とは、人類文明全体の存続を脅かすか、人類の長期的な潜在能力を大幅に制限するような壊滅的リスクのことです。AI安全性の文脈では、超知能AIや制御不能なAIシステムが人類にとって存在的脅威となる可能性を指します。
| ひとことで言うと | 人類文明全体を脅かすほどの、極めて深刻なリスク。 |
|---|---|
| AIとの関係 | 制御できない高度AIが、人類の存続を脅かし得るという懸念。 |
| 注意点 | 研究者間でも見解が分かれる。現在の業務AIの話とは区別して扱う。 |
AIによる存在リスクのシナリオ
AIがもたらし得る存在リスクとしては、人間の制御を超えた超知能AIの暴走、AIの目的関数の誤設定による人類に不利な最適化、AI軍事技術による破局的な紛争、AIを悪用した大規模な生物兵器開発などのシナリオが議論されています。これらは現時点では仮想的ですが、AI技術の急速な進歩に伴い真剣な検討が必要とされています。
1現在の実務リスク誤判定・漏えい・偏り
▶
2社会的リスク雇用・格差・偽情報
▶
3システミックリスクインフラ・金融の混乱
▶
4存在リスク文明規模の脅威（議論中）
▶
5段階を区別する混同せず議論する
議論の背景
存在リスクの議論は、Nick Bostromの「スーパーインテリジェンス」（2014年）やStuart Russellの「Human Compatible」（2019年）などの著作をきっかけに広がりました。2023年にはAI研究者やIT業界のリーダーが「AIによる絶滅リスクの緩和は、パンデミックや核戦争などの社会規模のリスクと同様にグローバルな優先課題であるべき」とする声明に署名しています。
対策と批判
存在リスクへの対策としては、アラインメント研究の推進、AI開発の国際的なガバナンス、計算資源へのアクセス制御、段階的なAI能力の開放などが提案されています。一方で、存在リスクの強調は現在のAIが引き起こしている具体的な被害（バイアス、監視、雇用喪失など）から注意をそらすという批判もあり、短期的リスクと長期的リスクのバランスある取り組みが求められています。