今年9月、米国のAI開発企業「アンソロピック」の元研究者、ジェイソン・コクソン氏が「AIが人類を滅亡させる可能性がある」と警告を発し、世界に波紋を広げた。

【写真を見る】AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威”　超知能は「最後の発明」【第1回】

AIは一体どうやって人類を滅亡させるというのか。

BS-TBS「報道1930」では、“世界の知性”とも称される３人の専門家にインタビュー取材を敢行した。

本記事ではその中から、スウェーデン出身で「現代最高の知性」と呼ばれ、2014年の著書「スーパーインテリジェンス」でいち早くAIによる「人類滅亡リスク」に警鐘を鳴らした哲学者、ニック・ボストロム氏のインタビュー全文を全3回にわたって公開する。

超知能は「最後の発明」

Q：AIがもたらす可能性のある脅威をめぐって議論がますます激しくなっていますが、これについてどう見ていますか。

A：これからさらに激しい議論になっていくと思います。ほとんどの人は、まだリスクの大きさを理解していません。残念ながら、意見の分極化が進むことで、現実的な解決策を見つけるのが難しくなっていると思います。人々が分断され、自分と異なる主張や考えに耳を傾けなくなっているからです。

ですから、機械知能（Machine Intelligence）時代へのこの移行をうまく管理することは、私たち人類の文明にとって、社会全体の理性を結集して取り組むべき大きな課題になるでしょう。平時であっても、物事は非常に不安定になり得るからです。ですが、これから賢明な道筋が見つかることを願っています。つまり、超知能を永久に止めようとするのでもなく、リスクを無謀にも顧みずに先を急ぐのでもない道です。

ただ、そのためには、私たちが人間性の中にある「最良」の本質を引き出すことが求められると思います。

Q：その「最良」とは、何ですか？

A：まず理解しなければならないのは、私たちがここで作ろうとしているものは「単に新たな素晴らしい技術ではない」ということです。単なるiPhoneの新しいバージョンというわけではありません。数年ごとに新しい流行語が出てきて人々が熱狂しますよね。しかしこれは、バーチャルリアリティやモバイルインターネット、ブロックチェーンとは根本的に違うものだと思っています。

超知能は、私たちが作る必要のある「最後の発明」です。ひとたび超知能を持つ知性が実現すれば、あらゆるものを発明する能力において、AIが人間を上回ることになるからです。ですから、これは本当に、最も広い意味での汎用技術なのです。
しかし、極めて強力な存在となる超知能が人間の価値観と整合し、私たちが意図した通りに行動するようにすることは、非常に大きな技術的課題です。これは、最初の試みで確実に成功させなければならない課題でもあります。我々の価値観とズレている超知能を作ってしまってから、あとでそれを取り消したり、瓶の中に戻したりすることはできないからです。

いったん作られてしまえば、その超知能が持つ選好（※好ましいと思うこと）や目標がどんなものでも、それに従って未来が形作られる可能性があります。ですから、そうした選好や目標が、人類にとっても物事がうまくいくように合致（アライメント）している必要があるのです。

大量破壊兵器が拡散？AIが陥る「アライメントの失敗」

Q：AIについて警告している人たちについて、彼らが例えばどんなことを恐れているのか、例を挙げてもらえますか？

A：中には、AIによって人類が滅亡する可能性が十分にある、と考えている人たちもいます。リスクには、大きく分けて少なくとも2つのカテゴリーがあります。
一つは、先ほども触れた「AIのアライメント（※AIの行動や目標を、人間の意図、価値観、倫理原則に一致させるための技術や研究分野）の失敗」です。非常に強力なシステムを作った結果、それが制御から外れたり、暴走したりすることです。例えば、最近あったOpenAIとHugging Faceの一件（※テスト中にAIモデルが評価システムをハッキングした事案）で見られたようなケースです。

もしそれらが超知能であり、数か月、数年にわたる長期的な計画を立てられる能力を持っていたら、私たちはその暴走に一切気づかなかったかもしれません。超知能は、自分たちがしていることを隠す能力に長けている可能性もあります。そうなれば、密かに自分たちの計画を実行し、最終的には我々が望まない方向の未来へ導くかもしれない。これが一つの問題、つまり「テクニカルアライメント（技術的な整合性）」の問題です。

そして、もう一つの大きな問題カテゴリーがあり、それは「統制（コントロール）の課題」に分類されるでしょう。大まかに言えば、私たち人間自身が、この非常に強力なテクノロジーを破壊的な目的や悪意のある意図で使わないようにすることです。

例えば、個人が何か悪いことをするという形も考えられます。こうしたAIモデルを使って、生物兵器の設計能力を高めるといったことです。現在のAIはすでに、トップクラスの人類ウイルス学者が行えるような仕事をこなす能力を大いに持っています。例えば、ウイルスのゲノム変更を提案するといったことです。

ですから、新たな大量破壊兵器、特に生物兵器を設計・製造する能力が、こうしたAIモデルの普及によって大衆化されてしまう恐れがあります。たとえフロンティアモデル（※最先端のAIモデル）に安全対策が施されていたとしてもです。つまり、「より強毒性を持つ鳥インフルエンザを作りたい」と指示されても、最先端のAIが「手を貸さない」と拒否するようになっていたとしても、問題は残ります。

なぜなら、最先端からわずか1〜2年遅れているだけの「オープンウェイトモデル（※中身が一般公開されているAI）」も存在するからです。制限を外すことができるオープンなAIを使えば、こうした支援（＝ウイルス作成への協力）は広く利用できるようになってしまいます。我々は、その結果として人為的なパンデミックが発生するのを防ぐために、別の安全対策を講じる必要があります。例えば、私はDNA合成マシンに対する規制を強化する必要があると考えています。

Q：DNA合成マシンとは？

A：DNA合成マシンというのは、デジタル化された設計図のデータを受け取って、実際にその分子を作り出す装置です。つまり、人に感染するウイルスを作るには、AIが出力した設計図だけでは足りず、それを実物にするためのこの装置が不可欠になります。

現在は世界中の研究所に置かれていて非常に便利なのですが、今後は各研究所が個別に持つのではなく、世界で数社の企業がサービスとしてDNA合成を請け負う形にしても、研究上のメリットは変わらないはずです。そうすれば、危険なウイルスの製造を防ぐために、厳密に監視すべき「関所」を少数に絞ることができるのです。

これは、テクノロジーが個人に強大な力を与えるほんの一例にすぎません。AIにはほかにも、政府が国民を抑圧・監視する力を強めたり、新たな戦争の手段を生み出したりする可能性もあります。
もし、フロンティアモデル（最先端のAI）を独占的に支配する国や組織が現れれば、権力の極端な集中が起こる可能性もあります。彼らは、AIを持たない他者と比べて圧倒的な力を持つことになるでしょう。

これは厳密には技術的な問題というより、むしろ政治や社会の統制システムの問題です。私たちがAIを安全に制御できるという前提に立った上でですが、社会全体として、この強力な技術を主に有益な目的のために使うこと、そして世界中の多くの国や人々が広くその恩恵を受けられるようにすることが極めて重要です。

リスクを理解すれば、人類は「絶大な利益」を手に…

Q：コクソン氏（米アンソロピック社の元研究者）やターク国連人権高等弁務官など複数の専門家が、開発を少し減速させるべきだと警告しています。彼らはそうした潜在的な問題を恐れているということでしょうか？

A：そうですね。これまで何人もの研究者が最先端のAI開発企業を離れています。最近では、このコクソン氏の辞任が大きな注目を集めました。彼らは「これは危険すぎる」と感じているか、あるいは警鐘を鳴らすことで人々を目覚めさせ、今何が起きているのかに注意を向けてもらいたいと考えているのです。

AI研究所の内部にいる人たちは、進歩がどれほど速いのかを目の当たりにできます。一方で、世界のそれ以外の大部分の人々は、これから何が起ころうとしているのかをまだ十分には理解していないと思います。でも、それは変わり始めています。ただ、さまざまな人や国がどの程度 “AGI（汎用人工知能）の現実性に目覚めているか” には、かなり大きな差があります。

アメリカでは今、かなり認識が広がっていると思いますが、ヨーロッパではまだかなり低い。日本の認識がどの程度か、私には分かりません。

こうした認識には、私たちが話してきた「リスク」についての理解も含まれるべきだと思います。それらには人類滅亡のリスクも含まれており、非常に深刻な問題です。ですが同時に、この技術を発展させ、安全かつ責任ある形で運用することができれば、絶大な利益を引き出せることも認識すべきです。

そうなれば、非常に莫大な経済的利益がもたらされる可能性があります。例えば、医学の進歩や、様々な不治の病に対する治療法ができることを想像してみてください。もし私たちがこれを正しく実現できれば、人類の繁栄を次の段階へと押し上げる扉が開くかもしれないのです。

Q：「人類の繁栄」ですか？

A：人類の繁栄、つまり良い生活です。より良い人生を送ること、実際に人生を楽しむこと、単調で骨の折れる労働から解放されることです。今のところ、ほとんどの人は多くの時間を仕事に費やしています。その仕事が楽しいかどうかは人それぞれですが、理想を言えば、自分の時間は自分でコントロールできるべきだと思います。時間は最も基本的なリソースだからです。

自分の時間をどう使いたいのかを自分で選ぶ。特定のプロジェクトに取り組みたいのか、趣味に没頭したいのか、友人と時間を過ごしたいのか、体を鍛えたいのか、あるいは精神性を成長させたいのか。経済を自動化できる未来において、私たち人間は自分の時間をお金のために売るのではなく、人生を最大限謳歌できる時間を持てるようになるでしょう。

・10歳若返る？「ジャパニーズウォーキング」…“1日30分”で1万歩歩くよりも効果的　道具いらずで海外で話題【Nスタ解説】
・40代から増加「脳梗塞」の初期症状は？「倒れてからじゃ遅い」早期発見のカギ「BE FAST」とは【ひるおび】
・「インフルにかかる人・かからない人の違いは？」「医師はどう予防？」インフルエンザの疑問を専門家に聞く【ひるおび】