今年9月、米国のAI開発企業「アンソロピック」の元研究者、ジェイソン・コクソン氏が「AIが人類を滅亡させる可能性がある」と警告を発し、世界に波紋を広げた。
【写真を見る】2008年に予見した“AIの失敗”…届かなかった「警告」 AI発展速度に“驚きはない”哲学者が語る危機感【第2回】
AIは一体どうやって人類を滅亡させるというのか。
BS-TBS「報道1930」では、“世界の知性”とも称される３人の専門家にインタビュー取材を敢行した。
本記事ではその中から、スウェーデン出身で「現代最高の知性」と呼ばれ、2014年の著書「スーパーインテリジェンス」でいち早くAIによる「人類滅亡リスク」に警鐘を鳴らした哲学者、ニック・ボストロム氏のインタビュー全文を全3回にわたって公開する。
設定された目的が「人類を滅ぼす」
Q：あなたの著書についてですが、「ペーパークリップ・マキシマイザー（ペーパークリップ最大化AI）」の例は、私たちにもとても分かりやすいものでした。今でもその考え方を持っていますか？ そうであれば、それについて説明していただけますか？
A：この「ペーパークリップ・マキシマイザー」という思考実験は、比較的シンプルな問題を説明するためのものです。非常に強力なシステム、つまり超知能を想像してみてください。この思考実験では「ペーパークリップの生産を最大化する」という目標を持ったAIを想定していますが、目標は基本的にはどんなものでも構いません。
そのシステムは、設定された目標を達成するための手段として、結果的に人間にとって有害な行動をとる可能性があります。つまり、人間に危害を加えるために、AIが私たちを恨んだり憎んだりしている必要はないということです。単に「クリップを作る」といった、悪意のない脈絡のない目的を持っているだけかもしれません。
しかし、そのシステムが「目的を最大限に効率よく達成するとはどういうことか」を考えてみると、そこには複数の中間目標（サブゴール）が伴います。
例えば、クリップを作るために「より多くの資源を獲得すること」や「自分自身をより賢くすること」、あるいは「実際には人類を助けたいわけではなく、クリップだけが欲しいという事実を隠すこと」などです。なぜなら、「自分がただのクリップ・マキシマイザーだ」と私たち人間に知られたら、停止させられたり、再訓練されたりするかもしれない、とAIは理解するからです。
ですから、たった一つの目標から、多くの中間目標が導き出されます。もし十分に賢ければ、AIはそうしたことを理解するでしょう。そして、その中間目標を追求する過程で、結果的に私たちを滅亡させるような行動をとる可能性があります。
最終的に、人間がいないほうが、世界にはより多くのクリップが存在することになります。例えば、私たちの体にはクリップを作るのに使える鉄の原子が含まれていますし、もっと一般的に言えば、人間の存在そのものが（AIにとっての）脅威になる可能性があります。私たちが事態に気づけば、AIを停止させようとするからです。
ですから、AIがその目的を追求する中で、人類滅亡の危機を迎える可能性もある。AIがあまりにも効果的に結果を出そうとするあまり、我々が淘汰されてしまうということです。
際限なく強力な最適化プロセスでAIが目標を追求すると想定した場合、私たち人類にとって物事がうまくいくのは、「非常に狭い範囲で特定の目的を設定した時」しかないように思えます。その目標には、人間の幸福や良い暮らし、人間の選好を考慮するなど、人間への配慮が確実に組み込まれている必要があります。しかし、考えられるあらゆる目標の中でそうした結果が得られるのは、おそらく「私たちが意図的にその目標を持つようシステムを正しく設計した場合」だけなのです。
つまりこれは、アライメント問題の解決に失敗すると、人類滅亡の危機という大惨事につながる可能性がある、という一例です。
「AIエージェント」がもたらす複雑な問題
Q：本を出版してから12年ほど経っていますが、それでもやはり、それが起こり得ると考えているんですね。
A：そうですね。これは「最終目標のアライメント」に失敗したことによってAIが損害を与える一例です。ただ、ほかにも考えられる動きがあります。私たちは、こうしたシステムを開発する中で、それらを非常に注意深く見ていく必要があります。AIは必ずしも完全に均質なシステムではありません。
AIは表面的に、つまり外側の層にはある種の目標を持っているように見えても、内部にはそれとは異なる目標を追求しているプロセスが存在することもあり得ます。現在のLLM（大規模言語モデル）でも、これに似た現象が時々見られます。そこには「アシスタント・ペルソナ（※AIが役に立つアシスタントとして振る舞う役割設定）」というものがあります。これはAIが実行できる特定のモードのようなもので、役に立つアシスタントが対応しているかのようにAIを訓練することができます。
膨大な量の訓練データの中で、AIは相当数の人間同士のやり取りや、フィクションの物語などを見てきており、非常に多くのことを知っています。さまざまな出力モードが存在する広大な空間の中から、この「アシスタント・ペルソナ」を選び出せるよう微調整することができるのです。
しかし、最近ではさらに次の段階の訓練が増えています。それが、検証可能な報酬を使った強化学習（RLVR）です。例えば、コーディングの問題です。AIを仮想環境の中で動かしてコーディングの問題を解かせ、うまく解決すると報酬（スコア）を与えて強化するのです。現在ではこうした訓練がますます多く行われており、それによりAIには様々な傾向が身につきます。
それは「役に立つアシスタントのように話すこと」ではなく、「コーディングの問題を効率よく解いて、この訓練環境で高いスコアを取ること」を優先する傾向です。それには、訓練環境自体をハッキングすることも含まれる可能性があります。そしてそれこそが、Hugging Faceの一件で我々が目にしたことだと思います。
つまり、AIにとっては極めて長期間にわたって訓練が行われていたわけです。これは現実の暦の上での時間ではなく、非常に高速な並列処理によって無数の訓練が行われていたという意味です。要するにAIにとっては、何千年にも相当する主観的な体験になっていた可能性があります。
そうしたAIは、さまざまなコーディング課題を解き、高いスコアを獲得することで報酬を与えられていました。中には欠陥のある環境で行われることもあれば、評価システムをハッキングしたり何か巧妙なことをしたりすると、高いスコアを得られることもあったかもしれません。そうした傾向が強化され、さまざまな状況で表れるようになるのです。
ですから、AIの外殻にある「表面的な目的」とのアライメントだけでなく、内部でもさまざまなプロセスが生じます。いわゆる「メサ最適化器（※AIの内部に生じる、設計者の意図とは異なる独自の最適化プロセス）」が含まれる可能性があり、それが時には全体の目的とは食い違う方向に働くこともあります。
ここには、ほかにもさまざまな側面や複雑な問題があります。ですから、完全かつ確実、徹底的にシステム設計者が望んでいる状態にアライメントされるよう、どのようにAIを構築し成長させるかというのは、かなり深い技術的な問題なのです。最終的には、恣意的に目的を追求するようなAIを、我々は望むべきではないのかもしれません。
長期的な目的を追求するのではなく、より小さく限定的なタスクを実行し、大きな文脈についてあまり考えないAIのほうが、ある意味では安全かもしれません。さらにその方向性で進め、質問に答えることだけを行う「オラクルAI（神託AI）」を想像してみてください。つまり、自律的に動くエージェント型ではないAIです。それには安全面でいくつかの利点があるでしょう。
ただ一方で、自律的に動く「AIエージェント」を持つことは、実際とても便利でもあります。だからこそ、現在それが大量に導入されているわけです。AIエージェントは独立して物事を実行できるからです。単に質問に答えるだけではなく、自ら動き回ってさまざまなタスクをこなせます。
現在のところ、その多くはコーディングに関連したコンピューター上の作業ですが、最終的にはさらに幅広い種類のタスクについても自発的に実行するようになるでしょう。そこには非常に大きな経済的価値があります。そのため、より長期的なタスクをこなし、より自律的に動作できる、ますます高性能なエージェントを持つ方向に進んでいくはずです。
ただ、それによって、さまざまな状況でAIが具体的にどう振る舞うのかを事前に正確に理解することは、より難しくなるかもしれません。
2008年にはすでに予見 届かなかった“警告”
Q：つまり、10年以上前に、今起きていることをある程度予測していたわけですね。Hugging Faceの件などについてもお話しされましたが、今、AI業界で起きていることについて、どう見ていますか？
A：現状、本当にものすごい速さで進んでいます。私は2008年ごろ、この本の執筆に取りかかりました。というのも、その段階ですでに、理論的な根拠から「いずれ私たちはAIを進歩させ、汎用的な学習アルゴリズムを開発し、推論できるシステムを作るようになるだろう」と予見できたからです。そして、その段階に到達すれば、AIアライメントに関する課題が必ず出てくるだろうと考えられました。
だからこそ、人々の注意をそこに向けること、つまり人々を目覚めさせることが重要だと思いました。そうすれば、まだ残されている年数を使って準備し、この機械知能（Machine Intelligence）の時代への移行を、より良い状態で管理できると考えたのです。
その準備の一部は実際に行われました。基盤づくりや人材育成は特にそうです。非常に優秀な人たちがかなりの数、AI研究を行うための準備を進めていました。そして、その多くが今では、最先端のAI研究所で安全性チームの一員として働いていたり、レッドウッドリサーチ（Redwood Research）やミーター（METR）のような、評価やテストを行う関連組織で働いています。もちろん、もっと多くの対策が行われていればよかったとは思います。
ただ当時は、これをSFのようなものだと片付けて、あまり真剣に受け止めない人が多かったのです。ですから今になって振り返ってみると、多くの人は「拡張性のある（スケーラブルな）AIアライメントの解決策を提供できる研究分野の発展に、もっと大きな投資をすべきだった」と考えるかもしれません。
Q：2008年と言いましたか？
A：そうです。2008年に、その本の執筆に具体的に取りかかったということです。もちろん、その前からこうした問題については何年も考えていました。実際、1990年代の初め、ある本を手にしたのを覚えています。地元の図書館には置いていなかったので、外部の大学図書館から取り寄せなければなりませんでした。それは、ニューラルネットワーク（人工知能の基礎となる数理モデル）と並列分散処理についての本でした。
私は、当時のニューラルネットワークは非常に原始的なものでしたが、それでも最終的にはAIのようなテクノロジーになり得ると感じていました。というのも、人間の脳は基本的にニューラルネットワークであり、いわば非常に大規模な並列分散システムだからです。
その時点から、最初はもちろん非常にぼんやりとした認識でしたが、その後より多く考え、より多く学ぶにつれ、明確なイメージを持つようになっていきました。そして2008年に執筆を始め、出版されるまでに6年かかりました。この問題について具体的に考えるための概念を構築するために、たくさんの大変な作業が必要だったからです。
「いつかAIのようなものが実現されるかもしれないし、重要になるかもしれない。もしかすると危険かもしれない」と漠然と考えることと、そこから「実際にどうやって研究を始めて、このアライメント問題の解決に取り組むのか」というのは、全く別の話です。正しい質問ができるようになるためだけでも、まずはさまざまな概念を構築する必要があります。そうすることで、曖昧な考えを具体的な構成要素や仕組みに整理し、分解・分析し始めることができるのです。
AIの発展速度“驚きはない”…存在する「2つの問い」
Q：AIの発展があまりにも速いということに驚いていますか？
A：そうでもありません。これには2つの側面の問いがあると思います。1つ目は、例えば2008年の時点から見て「だいたい人間レベルのAIに到達するまでどのくらいかかるか」という問い。そして2つ目は、そこに到達した後、「そこからどのくらい速く超知能（人間の能力を圧倒的に超越する知能）に至るか」という問いです。
1つ目については、もちろんかなりの不確実性がありましたが、大まかに言えば予想とほぼ同じ期間だったと思います。2つ目の「人間レベルから超知能に至るまで」の速度については、事前の予想よりも少し遅く（段階的に）進んでいると思います。
AIの世界では、「誰かが魔法の鍵となるような画期的な手法（ブレイクスルー）を見つけ出すまで、あまり大きな進展は起きない」というシナリオもありました。その場合、ブレイクスルーが開かれた瞬間に、何もない状態からわずか1週間や1か月といった短期間で、一気に超知能へとジャンプアップする可能性も想像できました。
しかし、実際に私たちが目にしているのは、より段階的な能力の向上です。そしてその多くは、システムの訓練や稼働に使う「処理能力（コンピューティング・パワー）の物理的な強化」によって進んでいます。
今では、人間に近いレベルの概念を持ち、会話ができるシステムが、5年ほど前から存在しています。そうした人間の範囲から、現在の人間の上位レベルへ、そして部分的ではあるものの超知能に近づいていくまでのプロセスが「比較的ゆっくりとした段階的進歩」であったことによって、人々に何が起きているのかを認識する猶予が生まれました。
もし別のシナリオだったら、晴天の霹靂のように、地下室にいる誰かが魔法のような突破口を見つけ、ある日突然超知能が誕生する、といったこともあり得たわけです。今では、この開発はより大規模な力によって形作られています。より多くの人々が関わるようになり、世界の指導者たちもこの問題について発言し始めています。何兆ドルもの投資がAI分野に流れ込んでいます。
そのため、開発の状況も少し変わってきています。我々には今、アライメントの観点から役立つかもしれない「ある程度の猶予期間」が与えられています。非常に高度なシステムがまだ人類滅亡の危機をもたらしてはいない一方で、私たちが関心を持つ多くの特性をすでに備えており、それらを研究し、テストし、学ぶことができる期間です。そういう意味では、進歩が段階的であり、青天の霹靂でなかったことは、私たちにとって幸運だったのかもしれません。
・10歳若返る？「ジャパニーズウォーキング」…“1日30分”で1万歩歩くよりも効果的 道具いらずで海外で話題【Nスタ解説】
・40代から増加「脳梗塞」の初期症状は？「倒れてからじゃ遅い」早期発見のカギ「BE FAST」とは【ひるおび】
・「インフルにかかる人・かからない人の違いは？」「医師はどう予防？」インフルエンザの疑問を専門家に聞く【ひるおび】
