アンドレア・ミオッティは、強力な AI システムによるリスクの軽減を専門とする非営利団体 ControlAI の創設者兼 CEO です。米国、英国、カナダ、ドイツで活動するControlAIは、AIの専門家が絶滅のリスクがあると評価しているため、超インテリジェントAIの開発を禁止するよう求めている。超インテリジェント AI の絶滅リスクに関するアンドレアの出版作品には、AI による絶滅リスクを説明した『The Compendium』と、政策立案者による行動の提案を取り上げた『A Narrow Path』が含まれます。彼の専門的な解説や記事は、TIME、The Guardian、BBC などに掲載されています。
あなたの分野で最も刺激的な研究や議論が行われているのはどこですか?
正確にはエキサイティングとは言えず、非常に緊急を要するものですが、私の分野での最大の政策議論は、AI 業界の超知能開発競争に関するものです。人工知能の科学者やノーベル賞受賞者、さらには大手AI企業のCEO自身も、超知能は人類にとって滅亡の脅威であると警告しているが、その開発競争は続いている。私の組織である ControlAI は、超知能の禁止を支持しています。私たちはこの問題について政府や国民に知らせるよう努めています。ほとんどの人は、人工知能企業の最終目標はチャットボットではなく、超インテリジェントな人工知能であることを知りません。脅威について知らなければ、行動することはできません。
2026 年 1 月、ControlAI は英国貴族院での 2 つの討論会を支援しました。そこでは、この絶滅の脅威と、超知能人工知能に関する国際凍結の推進についてメンバーが議論しました。 100人以上の超党派の英国議員が、AIによる絶滅の脅威を特定し、超知能を世界的および国家安全保障の脅威として特定する私たちのキャンペーンを支持しています。カナダでは、1年足らずで100人以上の議員に超諜報活動のリスクについて知らせ、30人以上の国会議員と上院議員が超諜報活動を禁止する国際条約を求めるキャンペーンを始めたばかりである。カナダの下院と上院では現在、AIによるリスクを対象とした数回の討論が行われている。私はカナダ下院で専門家証言をし、超知性によってもたらされる絶滅の危険について警告する機会に恵まれました。
時間の経過とともに、世界の理解方法はどのように変化しましたか? あなたの考え方に最も大きな変化をもたらしたのは何 (または誰) ですか?
2019 年に私の世界観は大きく変わりました。政府の産業政策が技術革新をどのように形成するのか、そして人類の歴史を通じて汎用技術が果たす役割を研究したからです。そのとき私は、AI が次の汎用テクノロジーとなり、十分に高度な AI があれば人間が行うことのできるすべての知的作業を置き換えることができるだろうと気づきました。 GPT-2 はその年にリリースされたばかりですが、人工知能システムの初期の例は、新しい化合物の発見を自動化するためにすでに使用されていました。この傾向を拡張すると、AI が重要な分野で人間を超えると、フィードバック ループの中で AI 自体の開発が加速し、デフォルトでは人間の制御が効かなくなることが分かりました。これに気づいたとき、超知能人工知能が人類にとって滅亡の脅威となることが明らかになりました。脅威の大きさを理解すると、政府や国民と協力することに消極的なごく少数の人々だけがこの大きな問題に取り組んでいることを知り、愕然としました。政府や議員は、何が開発されているのか、どのようなリスクがあるのかを知らなければ、スーパーインテリジェンスの脅威に対処することはできません。それ以来、私はこの問題の解決に取り組んできました。それが私が ControlAI を設立した理由です。一般の人々や議員がこの脅威を理解し、人類を抑制するための行動を支援できるようにするためです。
「AI よりもインテリジェンス」という用語が何を意味するのか説明していただけますか?この用語の理解に関して、さまざまな視点や議論はありますか?
超インテリジェント人工知能は、ほとんどの認知タスクにおいて人間の能力をはるかに上回り、人間の監視や制御を超えて動作できる人工知能です。それは、国家安全保障メカニズムを含む人間の組織を操作し、圧倒することができ、その発展は国家および世界の安全保障上の重大な脅威となります。人工知能の分野の指導者たちが、人工知能は核戦争と同様の人類滅亡のリスクをもたらすと警告しているのはこのためです。
法律において超知能をどのように定義するかについては、活発な議論が行われています。 ControlAIの英国におけるAI安全保障法案草案では、AIを「職務遂行において関連する人間の権威を無力化し、排除し、回避し、破壊し、あるいは無力化する能力により、英国の安全保障に深刻な危害を引き起こす可能性のある人工知能システム」と定義している。人工知能リスク評価法において、米国上院議員のジョシュ・ホーリー氏とリチャード・ブルーメンソール氏は、スーパーインテリジェンスを、長期間独立して動作し、ほとんどの分野で人間の思考や意思決定と同等またはそれを上回る人工知能システムと定義しています。重要なことに、彼らは、それが「人間の制御や監視を回避する」能力を持ち、人類に前例のない脅威をもたらしていると付け加えた。
超知能が人類に対する存続の脅威（リスク X）である理由を説明していただけますか?
高度な人工知能システムを開発するエンジニアでさえも、これらのシステムがどのように機能するかを根本的に理解している人はいません。 Anthropic の CEO は、彼らの内部で何が起こっているのかを私たちは 3% 理解できるかもしれないと言いました。これは、今日の AI システムが膨大な量のトレーニング データとコンピューティング能力から「成長」しており、従来のソフトウェアのように 1 行ずつ書かれていないためです。その結果、AI システムは予測不可能で制御不能となり、超知能への競争によりますます自律性の高い AI が生み出されるため、これは大きなセキュリティ リスクをもたらします。
人工知能企業は、超知能を制御する方法を誰も知らないことを認めており、それが一流の科学者が超知能が人類滅亡の脅威であると警告している理由である。たとえ悪意がなくても、蟻塚がダム建設請負業者に巻き添え被害をもたらすのと同じように、超知能 AI は自らの目的を追求しながら巻き添え被害として人類を滅ぼす可能性があります。
国際秩序における最近の変化は、X リスクの一因となっているのでしょうか?
私たちは、少数の大手テクノロジー企業の間で、スーパーインテリジェンスの開発をめぐる継続的な競争に直面しています。地政学的な緊張は確かに国際的な調整を困難にしますが、根本的な問題は変わりません。たとえ歴史上最も平和な地政学的時代があったとしても、誰かがその開発に取り組んでいる限り、超インテリジェント AI によってもたらされる根本的な安全保障の脅威は依然として存在するでしょう。
どのような地政学的な状況においても、解決策は同じです。それは、世界中で超知能の開発を禁止する国際協定です。いかなる主体にとっても、自律的に国家の安全保障を損なうことができる超知能人工知能を開発することは、いかなる国の利益にもなりません。主なボトルネックは、ほとんどの政府がまだこのリスクについて聞いておらず、対処していないことです。 ControlAI はボトルネックに対処し、政策立案者や国民にスーパーインテリジェンスの脅威とそれに対処するために何ができるかを知らせます。
学者や産業界はXリスク理論を取り上げ、「テイクオフ」の力学が誇張されていると示唆している。このレビューについてどう思いますか?
私たちが進んでいる指数関数的な軌道に目を向ける必要があります。長時間のタスクを完了する AI の能力を測定する 2025 年の METR グラフは、AI の能力が指数関数的に成長していることを示しており、主要な AI 企業は「再帰的自己改善」を通じて AI 開発を完全に自動化することに取り組んでいます。つまり、AI は人間の関与をますます減らしながらマシンスピードで他の AI を開発します。 AI が自律的に改善できるようになると、フィードバック ループが非常に高速になり、私たちは超知能への加速的な道を歩むことになります。
「人工知能のゴッドファーザー」ジェフリー・ヒントンとジョシュア・ベンジオを含む主要な人工知能科学者は、人工知能による絶滅の脅威を認めています。最も憂慮すべきことは、大手 AI 企業の CEO でさえ、自社が構築しているテクノロジーが人類の絶滅につながる可能性があることを繰り返し認めていることです。これは 10 年以上にわたって AI の公然の秘密でした。2023 年に AI セーフティ センターの AI リスクに関する声明でついに公の場になりましたが、認識を広めるためにはさらに多くのことを行う必要があります。
特に主要な AI モデルをホストしていない国にとって、潜在的な AI リスクを軽減するために各国政府は何ができるでしょうか?
各国は、自国の国内での超知能の開発を禁止することで立場を表明し、それを世界中で禁止する国際協定を支持することができます。これは、脅威を防ぐために協力する国々の連合が必要な問題です。ハイパーインテリジェンスが国家安全保障に与える影響を認識している国々は、最高レベルで同盟国やパートナーと国際的な禁止について話し合うべきである。
調整されたグローバル ガバナンス モデルはどのようなものでしょうか?また、政策立案者が即座に実行できるアクションはどのようなものでしょうか?
超知能の禁止を強制することに関しては、特定のツールは二の次です。重要なのは、核拡散を扱うのと同じように超知能AIの開発を扱い、それを抑止し阻止するために協力する国々の連合です。各国政府が今できることは、超知能を人類に絶滅の危機をもたらす国家的および世界的な安全保障上の脅威として公的に認識することだ。彼らは超知能の発展を注意深く監視し始め、その発展を世界中で禁止する国際協定の交渉を開始すべきである。 ControlAI は、国際的なスーパーインテリジェンスの発展を妨げる国家間の薄い協定を主張しています。
人工知能を研究する初期のキャリアの研究者に与えることができる最も重要なアドバイスは何ですか?
権力者に対して真実を語れ。最近まで、ほとんどの AI 研究者は、超知能の絶滅の脅威について公に話すことを好まなかった。彼らは、この分野の他の人々に対しては非公式に非常に懸念していると主張したが、国民や政策立案者に対して明確に話すことを控えていた。私は公開討論を強く信じています。キャリアの浅い研究者は、自分の分野に伴うリスクに関しては、厳しく不快な真実を積極的に述べ、民主的なプロセスに積極的に参加する必要があります。
電子国際関係についてさらに読む