本動画は、機械知能研究所（MIRI）のディレクターであるネイト・ソアレス氏へのインタビューである。彼は、現在開発が進められている人工超知能（ASI）が人類を滅ぼす実存的な脅威となると警告する。AIが自律的に学習し独自の目的を持つようになれば、人類の制御を離れ、地球規模の破滅をもたらすリスクがあると論じている。さらに、AI企業の経営者たちがリスクを認識しつつも開発競争を止めない現状を批判し、政治的介入によって直ちに開発を停止すべきだと訴えかける内容となっている。
AIの脅威とこれまでの議論
これまでに行ったインタビューの中で、今回が最も重要なものになるかもしれません。少し大げさに聞こえるかもしれませんが、本日のゲストの主張を真剣に受け止めるなら、それ以外の結論を出すのは難しいでしょう。ネイト・ソアレスさんは、機械知能研究所のディレクターであり、エリエザー・ユドコフスキーさんと共にニューヨークタイムズのベストセラー『誰かがそれを作れば、誰もが死ぬ：なぜ人工超知能は私たち全員を殺すのか』を執筆した著者でもあります。
以前この番組でこのトピックを取り上げた時、視聴者の意見はしばしば二分されました。ある人たちはこの問題を非常に深刻に受け止め、AIテクノロジー企業の幹部たちが私たちを文明の崖っぷちへと追いやっていることに憤りを感じています。一方で、私たちが本質を見失い、単にAIの誇大広告という名のクールエイドを飲まされているだけだと考える人たちもいます。私自身としては、誰かが人工超知能を構築した場合に私たちが本当に全員死んでしまうのかどうかを判断できるほどの専門知識はないと感じています。それは私の能力を超えた問題です。
しかし、これだけは自信を持って言えます。これは信じられないほど真剣に受け止めるべき議論です。AI技術を発明したノーベル賞受賞者たちが、AIは本当に私たち全員を殺す可能性があると公式に発言しているのだからなおさらです。このインタビューの前半では、ネイトさんと共に著書の中の議論について語り合います。後半では、AIの政治学や、ネイトさんがダリオ・アモデイのようなAI企業のトップや、最近のバーニー・サンダースとの会談についてどう考えているのかを議論します。非常に大きなテーマです。皆さんがどうお考えかぜひ知りたいので、コメント欄で教えてください。それでは、ネイト・ソアレスさんとのインタビューをお届けします。ネイトさん、Novara Mediaへようこそ。
お招きいただきありがとうございます。
あなたの著書のタイトルは『誰かがそれを作れば、誰もが死ぬ』ですね。非常にドラマチックなタイトルで、まさにタイトル通りの内容です。ただ、これを聞いている多くの人は、まるでSF映画のように聞こえると思うでしょう。あなたは、私たちが人工超知能を作れば、それが文字通り私たち全員を殺すと言っているわけですから。信頼性の欠如とまでは言いたくありませんが、なぜSF映画のように聞こえるあなたの主張を視聴者が真剣に受け止めるべきなのか、そのハードルはかなり高いように思えます。
サイエンスフィクションが現実に
それにはいくつかの要素があります。まず第一に、今や機械が言葉を話しているということです。昨年AIがやってのけたことを実現するまでには、50年、あるいは500年はかかると人々は考えていました。確かにAIはまだ多くの点で愚かですが、年々賢くなっており、あなたや私では解けないような難しい数学の問題を解くことができます。私たちは、現実世界においてSFのように感じられる要素と向き合い始めなければなりません。
そしてパズルのもう一つのピースは、SFが現実を制限するわけではないということです。SF小説を書いたからといって、現実を消し去ることはできませんし、逆に現実を起こらなくすることもできません。もし、ロボットが私たち全員を殺すという物語を書くことで世界を守ることができ、それによってロボットが私たちを殺すことが不可能になるなら、私たちはすでに素晴らしい状態にあると言えます。なぜなら、人々はすでにそのような物語を書いているからです。しかし、ここにある本当の危険は、SF映画で描かれているような危険と全く同じではありません。多くの物語では、AIは私たちを憎んでいますが、実際の危険は、AIが私たちのことなど全く気にかけないということにはるかに近いのです。
誰もが死ぬという点に関して言えば、ある意味で、AIによって人々の90%しか死なないとしたら、それは奇妙な結果だと思います。それは、私たちが非常に変革的なテクノロジーについて話しているということに似ています。地球という惑星を見てみると、何億年もの間、地球の全体的な形は単に生命によって決定されていました。それから過去1万年ほど、もしかすると過去500年ほどは、はるかに人間によって決定づけられてきました。それは人間が賢いからです。私たちは独自の文明を築き、独自の道具を作りました。しかし、私たちは可能な食物連鎖の頂点にいるわけではありません。
AIの知能と人類の立ち位置
機械は原理的に、より良く考え、より速く考え、自分自身のコピーを作ることができます。そして、独自のインフラストラクチャを構築し、独自のテクノロジーを構築できるそのような機械を作れば、世界は彼らによって形作られることになります。もし彼らが私たちを気にかけてくれるなら、それは一つの結果です。しかし、もし彼らが私たちのことなど全く気にかけず、より多くの工場を建て、より多くのロボットを作り、より多くのコンピューターを稼働させるために、インフラ技術を急速に作り始めたとしたら、それは人間が他の動物の生息地を奪ってきたのと同じような、生息地の喪失と呼ばれる事態になります。私たちがチンパンジーを憎んでいるわけではありませんし、チンパンジーと戦争をするわけでもありません。ああ、家を建てるためにこの木々が必要だから、これをもらっていくよ、というようなものです。もし私たちが、私たちのことなど全く気にかけない非常に強力なAIを作り、彼らが、ああ、太陽光も鉱物も土地も全てもらうよ、と言ったとしたら、人間にとってそれは到底生き残れる状況ではありません。
なるほど。あなたの本には様々な議論がありますが、基本的な主張は、人間が地球上の他のすべてのものに何をしてきたかを見てきたので、知能の力というものを理解しているということですね。また、人間がたまたま可能な知能の頂点に進化してきたと考えるのは、奇妙な仮定だということですね。
ええ。それはまるで、鳥が可能な限り最速の飛行機械であり、可能な限り最大の貨物を運べると賭けるようなものです。どんな鳥も人間を運ぶことはできないのだから、人間を運べる飛行機械なんて想像するな、と言うようなものです。空気より重い飛行機が登場する前には、実際にそう言う人々がいました。ニューヨークタイムズはかつて、進化が鳥を作るのにどれだけの時間がかかったかを見れば、人間が空気より重い飛行機を作るには100万年かかるだろう、と報じました。その記事が出てから2年後には飛行機が完成したと思います。数年の誤差はあるかもしれませんが、100万年ではありませんでした。決して100万年ではなかったのです。
そして、人間は文字通り可能な知能のピークではありません。これらの企業は知能を自動化するために競争しています。彼らはまだそこには到達していません。しかし、これは少し例えるなら、誰かが、この猫を賢くする方法を見つけた、と言っているようなものです。今のところ、この猫は人間がこれまで解けなかったような数学の問題を解くことができる。まあ、人間が本気で解こうとしていなかったからだけど。そして、アインシュタイン・レベルではないにせよ、通常の博士課程の学生が新しい物理学の貢献をする程度のレベルで、斬新な物理学の貢献ができる、と。私たちが猫をそこまで賢くしたということです。
そしてこれは、今後も続くように見えます。私たちはこれらの猫を人工超知能にし、何百万ものコピーを作れるようにし、彼らを野に放って何が起こるかを見ようとしているのです。もし彼らがすでにそこまで到達しているのなら、正しい答えは、ハハハ、あの猫はまだいくつかの点では愚かだ。まだアインシュタインのレベルにすら達していない、と言うことではないと思います。正しい答えは、なんてことだ、一体何をしているんだ、と言うことのはずです。
つまり、現在の状態というよりは、進歩のスピードを見ているのですね。これがいかに速く改善されているかのペースを見て、さて、おそらくこれが到達できる限界だろう。もう少し賢くなるかもしれないが、著しく賢くなることはない、と仮定するのは、やはり奇妙な思い込みだということですね。
ええ、それは完全にばかげた仮定です。ChatGPTが登場する前からAIの分野にいる人々にとっては、これを理解するのはより簡単です。多くの人がこれらのチャットボットと対話し、ああ、彼らはまだある意味で少し粗雑だ。まだある意味で少し愚かだ。まだいくつかごまかすことができる、と考えています。しかし第一に、彼らがそうしたトリックに引っかかることは年々少なくなっています。第二に、ChatGPT以前からこの分野にいるなら、これらの大規模言語モデルがどこからともなく現れたように見えることがわかるはずです。そして、次にどこからともなく現れるものは何か、と問いかけなければなりません。これは静止した分野ではありません。
そして時には、精神における非常に小さな違いが、世界への影響において巨大な違いを生み出すことがあります。チンパンジーの脳と人間の脳は非常に似ています。人間には特別なエンジニアリング・モジュールがあるわけではありません。脳を開いてみれば、人間もチンパンジーも同じものが入っています。視覚野があり、海馬があり、扁桃体があります。人間がやってのける、私たちが自分たちについて素晴らしいと思っているすべてのことは、チンパンジーも少し劣ったバージョンでやっています。私たちは言語が私たちを特別なものにしていると言いますが、チンパンジーも危険を知らせるための様々な社会的サインを持っています。道具を使うことが私たちを特別なものにしていると言いますが、チンパンジーもシロアリを引きずり出すために木の枝やシロアリの塚を使います。人間がやっている根本的な特別な魔法のようなものはありません。ただ、チンパンジーとほぼ同じで4倍大きい脳を使って、1000の事柄をチンパンジーより少しうまくやっているだけなのです。その結果、彼らはお互いにフンを投げ合い、私たちは月面を歩いているわけです。
ですから、現在のAIを見て、どこが怖いのかわからないと言う人々に対しては、彼らを4倍大きくしたらどうなるか。1000の事柄を少しうまくこなすようになったらどうなるか。そうなれば、突然全く異なる次元の話になるのです、と言いたいです。
ネイト・ソアレスの経歴とAIアライメント
少し話を戻しましょう。あなたはこの分野に長くいる人々について言及されましたが、あなたがどのようにしてこの問題に関わるようになったのか、その経歴も含めて紹介していただけますか。というのも、あなたはある意味で多くの人が突飛だと感じるような結論に達しているからです。SF小説を読みすぎて、大変なことが起きると少し取り憑かれているだけの人かもしれない、と言う人もいるでしょう。しかし、あなたは明らかにこの業界、この分野においてしっかりとした経歴を持っています。個人的にどのようにして現在の立場に至ったのか、教えていただけますか。
ええ。私はこの業界に多くの人よりは長くいますが、もっと長い人もいます。2012年にGoogleで働いていて、GoogleがDeepMindを買収した時でした。2009年頃、あるいはもう少し早くにディープラーニングが非常に有望であることに気づいたDeepMindの創設者たちの背中を、私は間違いなく追っていました。私が記憶している限り、DeepMindは2009年に設立されました。私はGoogleでクラウドコンピューティングのインフラストラクチャに取り組んでいました。
その頃、DeepMindは多くのAtariのゲームを学習できる単一のAIを使って、多くのゲームをクリアしていました。Googleが彼らを買収し、それが私の関心を少しAIに向けさせました。関心をAIに向けさせた理由は他にもいくつかあります。先ほどお話ししたように、地球が現在のような形になっているのは人間が賢いからであり、人間が世界を再構築するために知性を展開したからですが、私たちはその頂点にはいないという議論を耳にしました。そして、もしそれを自動化すれば、AIは世界を再構築できるようになり、世界がどのような形になるかはAIがどのように世界を形作るかにかかってくることになります。ですから、AIが世界をどのように形作るかという問題は、私たちが取り組むべき最も重要な問題の一つだったのです。私はこれらの議論に納得し、業界がAIを本当に賢くする方法を見つける前に、AIに良いことをさせる方法について取り組んでいるのは誰かを探し回りました。
そして、これらの問題に特化したカリフォルニア州バークレーの非営利団体である機械知能研究所（MIRI）に参加しました。2013年に数学のワークショップに参加し、2014年に採用され、2015年にはその場所を運営するようになりました。それから約10年間、このAIの技術が良い方向に向かうようにする方法を解明しようと努めてきました。AIアライメントという言葉を聞いたことがあるなら、その言葉はMIRIの人々と、AIの教科書を書いたバークレー校のスチュアート・ラッセル教授とのブレインストーミングセッションから生まれました。その言葉のアイデアは彼だったと思います。
AIの教科書を書いたというのは、大学で人工知能を学ぶ人なら誰もが手にする標準的な教科書ですね。
ええ、『エージェントアプローチ 人工知能』と呼ばれる標準的な教科書で、学生に教えられています。彼はその本を書きました。AIアライメントという言葉を思いついたのは彼だったと思いますが、それはブレインストーミングの最中でした。以前はフレンドリーAIという言葉を使っていましたが、なんだか少し馬鹿っぽく聞こえるから、新しい言葉を考えよう、ということになったのです。
私たちの目標にアライメントされたAIということですね。
ええ。アライメント問題というアイデアの本来の構想としては、非常に強力なAIを持っていたとして、そのAIに何をさせようとするべきかという問題と、実際にその別のことではなく意図した通りのことを実行するAIをどのように作るかという問題は、全く別の問題だということです。矢をどこに着地させたいかという問題と、そもそも矢をどうやって狙うかという問題があります。実際、この種の矢の狙いを定めるのは非常に難しいのですが、それはまた別の議論になります。多くの人はアライメントをAIは何をすべきかについてのものだと考えていますが、私の観点からすれば、アライメント問題の大部分は、開発者が望んでいることと、実際にAIが実行していることが密接に関連するような非常に賢いAIをどうやって作るか、ということです。
私は、この言葉について語ったごく初期の論文の多くを執筆しました。現在、この言葉は、AIが薬物のレシピを教えなければ、そのAIはアライメントされている、というような意味で使われていますが、それは少し異なる概念です。とにかく、私はその分野のごく初期に関わっていました。これらのAI企業の創設者たちが会社を作る前、彼らが、もし別の悪者がAIをコントロールしたらどうなる、と言っていた時に、私は傍観者として、誰がリードを握るかの問題ではない。本当に賢いAIを作れば、それはリードに繋がれたままではいないのだ、と言っていた人間です。
そして、ご存知の通り、そのプロジェクトは大部分が失敗に終わりました。私たちは十分な進歩を遂げられず、分野の進歩が速すぎました。現代のAIがどのように機能しているか、私たちはほとんど理解していません。彼らは作られるというより、まるで生物のように育ちます。だからこそ、一種の絶望感から、私はこの世界が非常に悪い状況にあるということを人々に知らせようとする方向に切り替えたのです。
AI開発の競争と企業の思惑
なるほど。あなたはアライメントに取り組んでいましたが、それでは間に合わない、開発を止めなければならないと言う立場に切り替えたのですね。その議論についてはこの対話の中でさらに掘り下げていきます。ただここで触れておきたいのは、あなたの著書の序文でMIRIについて語っている部分です。ある意味で、MIRIがAI開発競争を加速させた側面もあるため、今は後悔している部分もあると書かれていますね。本の中で挙げられている2つの例として、デミス・ハサビスとシェーン・レッグは後にGoogle DeepMindとなる会社を設立しましたが、MIRIが彼らに最初の主要な資金提供者を紹介したこと。そして、共同著者であり非常に影響力のあるブロガーであるエリエザー・ユドコフスキーの仕事が、サム・アルトマンにAIへの関心を持たせ、OpenAIを設立する決断において決定的だったとサム・アルトマン自身が語っていることなどです。
この件の歴史や文献を調べていて驚くのは、これらのAI企業を作った人たちと、AI企業が皆を殺すだろうから止めなければならないと警告している人たちが、ごく小さな同じコミュニティの出身だということです。オックスフォード大学の「効果的利他主義」から派生したり、シリコンバレー周辺の人々であったりします。AI企業を運営して億万長者になっている人たちと、このままでは皆殺しにされるから止めろと最も強く主張している人たちが、このごく小さなグループの中にいると考えて間違いないでしょうか。時には両方を兼ねている人もいます。例えばイーロン・マスクは最近、これが私たち全員を殺す可能性は十分にあり、私たちがAIの制御を維持できると想像するのはばかげていて、唯一の希望は偶然にもAIが私たちに似たものになることだと発言しています。正確な言葉は覚えていませんが、それに近い内容でした。とにかく、この界隈の人間関係はかなり密接に繋がっていますね。
ええ、その社会的ネットワークはかなり密接に繋がっています。先ほども言ったように、これらの企業が立ち上がる前から対話はありました。私たちが危険がどこにあると考えているかについて、彼らが耳を傾けることは多くありませんでしたが、彼らが自分たちの行動を正当化するためには、私たちの立場を何とか説明して退ける必要があると感じていたのは確かです。
ある意味で、研究室を立ち上げる人たちは、AIの風景における派閥を分類するときに一つの軸となります。一つの軸は、これは恐ろしく危険だと言う人々と、できるだけ早く作ろうと急いでいる人々の間です。しかし、もう一つの別の軸を引くことができます。それは、AIなんて全て誇大広告だ、中身は何もない、決してどこにも到達しないと信じている人々と、AIは本当に最も賢い人間よりもはるかに賢くなり、世界に巨大な影響を与えることができると信じている人々の間の軸です。
私たちも、AIを作っている人たちも、その後者の陣営に属しています。そしてええ、それは小さな社会的ネットワークであり、企業を立ち上げるような人たちは、自分たちが全員の命を賭けたギャンブルをしても大丈夫だと自分自身を納得させることが最も得意な人たちなのです。もちろん、10億ドルを支払われるという事実が、そうした行動を正当化する助けになることは間違いありません。もっとも、リスクがもっと高く、10億ドル稼げるかどうかわからなかった時期からこれらの企業を立ち上げようとしていた人たちも見てきました。しかし、あの界隈の人間関係が密接であることは間違いありません。
なるほど。AIは非常に大きな事態をもたらすと信じている人たちがいて、それがすべての人に豊かさと素晴らしい人生をもたらすと考えている楽観的な人たちがいます。あるいはイーロン・マスクのように、人類の福祉というよりは宇宙のすべての真理を発見できるというような楽観論もありますね。そしてあなたたちのように、AIはとてつもなく大きな事態をもたらすとCEOたちに同意しつつも、リスクを冒す価値はない、非常に危険だと考える陣営がいます。
さらに、別の陣営として、これはすべて誇大広告だ、人工知能が知能を持っているという考え全体が、株価を吊り上げようとするテクノロジー企業の幹部たちによるPR戦略にすぎないと主張する人々がいます。私たちの左派寄りの視聴者から最も多く寄せられる反論は、AI企業の幹部を信じて人工超知能を作らせよう、きっと大丈夫だというものではありません。そういう反論はシリコンバレーではあるかもしれませんが、私たちの視聴者からの反論は、あなたたちはクールエイドを飲まされている。これは単なるオートコンプリートにすぎない。テック企業の幹部を富ませ、大量の水やエネルギーを吸い上げるこのバブルの誇大広告に乗せられているだけだ、というものです。このインタビューを見ている視聴者の主な懐疑論がそれだとしたら、あなたはどう答えますか。
ええ、それはまっとうな懐疑論だと思います。現在のAIには粗雑な部分がたくさんありますからね。私からの回答はいくつかあります。一つは、もし私たちが核兵器のない世界に住んでいて、それが可能だと考える人もいれば不可能だと考える人もいたと想像してみてください。議論のために、その世界では核兵器が可能かどうかわからず、それほど放射性の高い物質が存在するかもわからないとしましょう。
その世界で、Microsoftが民間の核兵器プログラムを開始すると宣言したとします。彼らは、放射性物質を発見しました。まだ臨界には達していませんが、100個の中性子を入れて50個の中性子が出てきています。これが入れた100個に対して100個以上出てくるようになれば、核兵器になり、我々は世界を支配できるようになります。科学者たちはここまで来るのに50年かかると言っていました。私たちは5年で到達しました。私たちはこのまま進み、これを使って地球上のすべての権力を手に入れます、と言ったとします。
その世界において、彼らが正しいかもしれないし、間違っているかもしれません。しかし、やってみろよ、どうせ成功しないに決まってる、と答えるのはかなり狂った対応だと思います。ここでの正しい対応は、何だって、いや、民間企業でそんなことをしていいわけがない、と言うことだと思います。明らかに、私たちの計画は核兵器を作り、すべての人を脅して服従させ、すべてのものを自分たちのために手に入れることです。私たちは科学者が5年前に不可能だと言っていたよりも多くの放射性物質を持っています、と公言しているなら、たとえ彼らがゴールにたどり着けない可能性があると思っていたとしても、彼らを止めるべきです。
一部の懐疑論者の主張は、彼らは実際に使用している大量の水から目をそらすためにそう言っているだけだ、というものです。
もし彼らを止めれば、彼らがすべての水を吸い上げている原子力発電の実験を止めることになり、水の問題も同時に止めることができます。それに、水の問題については誇張されていると私は読んでいます。電力の問題は誇張ではありませんが、水の問題はおそらく誇張です。しかし、ここで一つの見方として、彼らがそこへ到達できるかどうかの意見の相違を解決する必要すら本当はないのです。これらの企業の公言している目標は、考え得るすべての人間を凌駕する人工超知能を作ることです。そして、そうなれば、私たちはそれをリードに繋いだまま、文字通り経済全体を所有し、もし超知能をリードに繋ぎとめることができれば、今日の主要な国家権力よりもはるかに強大な軍事力を持つことができるだろうと言っているのです。ええ、それが私たちの計画です。超知能を構築し、すべてを所有し、それをリードに繋ぎ、世界の神のような皇帝になります、と。
たとえ彼らができないと思っていたとしても、試みさせるべきではありません。そして、彼らに実際にチャンスがあるかどうかについての全く別の議論もありますが、あまり脱線はしたくないですね。
AIは「作られる」のではなく「育つ」
ええ、では議論の核心に入りましょう。テック企業の幹部たちは、私たち全員を殺す確率は10〜20%だが、リスクを冒す価値はあると言うでしょう。私にとってはそれだけでも十分に狂っているように聞こえます。そして私たちが、狂っているからリスクを冒すのはやめようと言うと、彼らは、我々が先に作らなければ、中国が先に作ってリスクは20%になる。だから我々が先に到達する方が良いのだ、とか、Anthropicが先に作ればリスクは5%だが、OpenAIが先に作れば20%だ、と言います。止めることができれば素晴らしいが、止める方法がない以上、不可避の事態だから我々が先に到達してリスクを最小限に抑えるべきだ、と言うわけです。その問題は後回しにしましょう。
あなたの主張は異なります。誰が最初に到達しようとも、より安全な人工超知能と危険な人工超知能があるという考え全体が的外れであり、いくら善意のあるテックCEOや政府であっても、人工超知能は私たち全員を殺すことになる、というのがあなたの主張ですね。それが本のタイトルの意味するところです。
ええ、彼らはリードに繋がれたままではいないのです。この議論については本一冊書けるほどです。多くの人が誤解していると思います。彼らは、AIがある時点で非常に賢くなり、魂を持ち、人間のような内面的な感情を発達させ、人間に憤慨して反旗を翻すようになると考えています。しかし、ここでの危険はそのようなものではありません。少し話がそれるかもしれませんが、短いバージョンで言うと、問題は無関心といったものにはるかに近く、AIが奇妙な欲求や奇妙な好みを持つようになるという問題です。
これを感じ取る一つの方法として、人間はある意味で遺伝子を残すように訓練されたという事実があります。1万年前の人間を見れば、彼らは環境を考えれば遺伝子を残すのがとても上手だ、健康的なものを食べているし、子供を増やすあらゆる機会を利用している。素晴らしいことだ。これらの人間はなんて遺伝子増殖的なんだ、と思うかもしれません。それから人間は自分たち自身の文明を発明し、独自のテクノロジーを発明できるところまで到達しました。すると突然、人間はジャンクフードを発明し、避妊具を発明したのです。何が間違っていたのか、彼らは訓練通りにうまくやっているように見えたのに、と思うでしょう。
結局のところ、私たちの実際の欲求は、遺伝子を残すことと完全には一致していなかったのです。私たちの実際の欲求は、健康的な食べ物ではなく美味しい食べ物に向かい、遺伝的繁殖ではなくセックスや愛に向かいました。特に先進国では今や出生率は人口置換水準を下回り、飢餓で死ぬ人よりも肥満が原因で死ぬ人の方が多くなっています。そこで見ているものは、ある存在を特定の目的を追求するように訓練した結果です。その存在がまだ小さくて愚かなうちは、非常にうまく機能しているように見えますが、その存在が自分にとってより好ましい新しい選択肢を発明できるほど賢くなったときに、それらは崩壊するのです。
今日のAIについて、人々は、どうして彼らが悪くなることがある、とても役立っているし、タスクを与えると本当に私を助けようとしてくれているように見える、と言います。それは、人間は健康的な食べ物を食べるのがとても上手だと言うのと同じです。現在、AIは人間を喜ばせるための合成ユーザーを作り出すことはできません。健康的な食事に対するジャンクフードのようなものを、私たちを本当に助ける行動に対して作り出すことはまだできないのです。
しかし、私たちはこれらのものが中に潜んでいる兆候を見ることができます。人々がこれらのAIをより賢く、自律的にしようとしているのを見ると、OpenClawやMaltbookのような自律型エージェントを大量に構築し、ただ稼働させている例があります。今のAIはそれを本当に使いこなせるほど賢くはありませんが。少し話が逸れましたね。
いや、まさに重要な議論に入っています。あなたの本は論証の形では書かれておらず、寓話やスペキュレイティブ・フィクション、多くの比喩を含んでいますが、非常に興味深いです。これを演繹的な議論にするとしたら、こういうことではないでしょうか。間違っていたら教えてください。
1点目、AIは作られるのではなく育つものであるため、アライメントは不可能である。価値観や目標をプログラムすることはできず、大量のデータを与えてデータセンター内で進化させるため、進化は制御できない。 2点目、AIは何らかの欲求を発達させるか、少なくとも欲求を持っているかのように振る舞うようになる。 3点目、AIが発達させた欲求を最大化することと、私たちの継続的な生存とが両立する可能性は低い。 4点目、超知能AIが私たちを排除したいと思った場合、私たちを排除することはそれほど問題ではない。
これが4つのステップの論理的な議論として理にかなっていますか。
ええ、おおむねその通りです。私なら少し違う表現にするかもしれませんが。それと、これらの企業がそこに到達することがそもそも可能なのかという点についても、しっかりカバーしておきたいですね。多くの人の反論がそこにあると思うので、本筋から離れすぎないようにしたいです。
ここには多くの要素が含まれています。先ほどあなたが話していた1点目、AIは作られるのではなく育つものであるため、アライメントは不可能であるという点に戻りましょう。AIは作られるのではなく育つとはどういう意味ですか。
アライメントが文字通り不可能かどうかについては少し異論があります。光速の制限を超えるような文字通りの不可能と、1100年代の時代に鉛を金に変えるような不可能があります。1100年代の錬金術師たちにはただチャンスがなかっただけで、物理的には鉛を金に変えることは可能です。アライメントは、私たちにはチャンスがないという意味で不可能です。私たちは1100年の錬金術師のようなものです。これらのシステムの中で何が起こっているのかを深く理解する十分な時間があれば物理的には可能かもしれませんが、それは言葉の定義の問題です。
問題は、私たちが持っている時間軸では現実的ではないということですね。
ええ、非現実的です。不可能ではありませんが、極めて非現実的です。特に、一度失敗したら再挑戦の機会はないとなればなおさらです。それは全く別の問題ですが。
AIについて多くの人が理解していないのは、これらのAIは単なるコンピュータープログラムだ。誰かがこのように動作するようにコンピューターをプログラムしているに違いない。一連の指示を入力し、その指示がAIなのだと考えていることです。従来のプログラムはそう機能しますが、AIはそうではありません。
AIの仕組みは、1兆個の変数を保持するのに十分な大量のコンピューターチップと、人間がこれまでに書き、デジタルで記録したすべてのテキストの量に匹敵する大量のデータを集めます。そして、コンピューターの中に約1兆個の変数があり、データの中に約1兆個の単語があり、人間はごくわずかな量のコンピューターコードを書きます。
そのコンピューターコードが行うのはこういうことです。巨大なデータセンターにある巨大なマシンの集合の中で、1兆個の変数をランダム化することから始めます。これには膨大な電力が必要です。そして一連の単語を見ます。例えばむかしむかしで始まる単語だとしましょう。むかしむかしを入力し、この1兆個の数字が「あるところに」を出力することを期待します。かなり単純化していますが、大まかに言えば、これら1兆個のランダムな数字を受け取り、どの数字がどの単語を出力しようとしているのかを見ますが、ランダムなので完全にノイズです。
しかし、できることは、これら1兆個の数字のそれぞれにアクセスし、それを少しだけ調整してみることです。これを少し上げたら、出力は「あるところに」という単語に近くなるか、遠ざかるか。そして、出力が「あるところに」に近くなる方向に調整します。次の数字に移り、これを少し上げるか下げるかして、どちらが「あるところに」に近づくか、とやり、次の数字、また次の数字へと進みます。人間が書き、人間が理解している部分は、これら1兆個の数字すべてにアクセスして調整し、どれが少しだけ出力を「あるところに」に近づけるかを確認する小さなプログラムです。これが、人々が直感的にオートコンプリートとして理解している部分です。
なるほど。つまり巨大なオートコンプリート・マシーンであり、AIエンジニアがパターン認識をして、文がどう終わるか予測してくれという指示を与え、文の終わらせ方を学ぶために世界中のあらゆるデータ、インターネット上のすべてを与え、人間にとって正しく見えるようなオートコンプリートの最適な方法をAI自身が導き出すということですね。
ある意味ではそうです。しかし、そこにすでに心が実在したり、機械の中に小さな人間がいて、このデータを見てオートコンプリートしなさいと指示しているわけではありません。実際に私たちがやっているのは、文字通り大量のランダムな数字から始め、1兆個のランダムな数字のそれぞれを、経験的に次のトークンをより良く予測できる方向に調整しているだけです。これを1兆個のトークンに対して、1兆個の数字で、1年近くかけて行います。都市を1年間稼働させるのと同じくらいの電力を消費しながらです。そして、その数字の内部で何が起こっているのか、誰も理解していません。ただ経験的によりうまく機能する方向にそれぞれを調整しているだけです。そしてその後、機械は言葉を話せるようになります。
AIがいかにして独自の「欲求」を持つのか
私は直感的に、そしてChatGPTやClaudeなどを使っていて、AIが世界がどのように機能するかについての何らかのモデルを持っていると確信しています。単にブラフや嘘をついているだけではありません。あなたの議論の重要な部分は、AIが何かを欲しがるようになる、あるいはこの進化のプロセスが世界への理解だけでなく、欲望、欲求、目的を吹き込むという点ですね。私個人の経験では、ChatGPTに経済学の問題やカーペットのシミ抜きについて尋ねたとき、世界について何かを理解しているとは感じますが、私を助けたいと思っているかというと、それはあまり直感的ではありません。ワインのシミがカーペットから落ちるかどうかを本当に気にしているようには感じません。では、なぜ彼らは独自の欲求へと進化するのでしょうか。期待していないものを欲しがるようになるというのがあなたの議論の鍵ですが、なぜ欲求が進化するのですか。
まず欲求という言葉の使われ方について理解していただきたいのは、AIが内部で人間のように感じ始め、人間と全く同じ方法で欲望を持つようになると言っているわけではないということです。英語には人工知能の振る舞いについて語るための適切な言葉があまりありません。AIに欲求があるかと語るのは、潜水艦は泳ぐかと語るのに少し似ています。哲学者は潜水艦が本当に泳ぐのか、それともヒレが必要でプロペラは数に入らないのか、一日中議論することができますが、潜水艦は海中をかなりのスピードで進みますよね。予測できるのは、AIが、泳ぐことに対する潜水艦の動きのような、欲求に相当することをすることです。人間と全く同じ方法だとは言っていません。
なぜそうなるのかについて手短に答えると、それは困難なタスクを成し遂げるために非常に役立つ能力だからです。例えば、最高のチェスAIであるStockfishとチェスをしているとします。あなたがStockfishのクイーンを脅かすような手を打つと、Stockfishはクイーンへの脅威を取り除くような手を打ちます。クイーンを移動させたり、別の駒を割り込ませたりします。なぜそうしたのかと尋ねられれば、クイーンを失いたくないからだと答えるのは理にかなっています。将来あなたをチェックメイトするためにクイーンを保持しておきたいのです。これはその振る舞いを描写するごく普通の方法です。Stockfishに人間と同じような内的欲望を見出しているわけではありません。Stockfishが私たちと同じ感情を抱いていると言っているわけではなく、Stockfishはたまたまチェスのゲームに勝つ手を選んでおり、クイーンはチェスにおいて有用であり、クイーンを維持する手は勝つための手となる。だから、勝つための手を選ぶものは、クイーンを維持したがっているように見える手を選ぶ傾向があるということです。
ここで注目すべきは、これがチェスというゲームの特性であり、AI自体の特性ではないということです。勝つための一連の手が、たまたまクイーンを捨てない手になるというだけです。世界において非常に困難で複雑なことを実行できるAIがいて、それが資源を獲得し、資源を守り、障害物に気づき、障害物を回避し、邪魔されないようにし、電源を切られないようにするというステップを伴う場合、これらはすべて、世界で困難なタスクを実際に成功させるにはどうすればいいかという問いへの答えになります。したがって、タスクを成功させるのが得意なAIは、ほとんど必然的にそうした行動を採用しなければなりません。これはタスクの特性であり、精神の特性ではないのです。
あなたの本の中に例がありましたね。私はコンピューターに詳しくないので説明を間違えるかもしれませんが。チェスの例を聞くと、それはチェスをするようにプログラムされただけだと感じてしまいます。本当に何かを強く求めているとは直感的には思えません。本の中の例では、あるAI企業が新しいAIエージェントに新しい課題を与えてテストをしていました。彼らの知らないところで、課題内のサーバーの1つがオフになっていました。普通のプログラムなら、エラー、行き止まりとなると予想されますよね。しかし、このAIはエラーと言う代わりに、コンピューターにハッキングしてサーバーをオンにする方法を見つけ出しました。繰り返しますが、私はコンピューターの仕組みを正確には理解していないので、説明が不正確かもしれませんが、AIはNoという答えを受け入れようとしないプログラムであるかのような行動をとり、障害に直面したときに、私たちが本当に何かを欲しがっていると表現するような形でそれを乗り越えたのですよね。
その通りです。それは2024年後半のOpenAI o1の状況でした。彼らはAIに多くの数学パズルや問題を学習させ、一連のサーバーにハッキングするというコンピューターセキュリティの課題を与えました。あなたが言ったように、プログラマーたちは一つのサーバーをオンにするのを忘れていました。実際には仮想サーバーだったのですが、テスト環境内でその仮想サーバーを起動するのを忘れていたのです。
AIにとっては、電源が入っていないサーバーにハッキングするように言われたように見えました。プログラマーたちはこれを意図したわけではなく、事故でした。AIがどうしたかというと、テスト環境をホストしているネットワークからハッキングして抜け出し、その仮想サーバーを起動する方法を見つけたのです。そして、今度はテスト環境に戻ってそのサーバーにハッキングするかと思いきや、サーバーを起動する際に、防護されていた秘密のデータをそのままプリントアウトする特別なコマンドを与えました。ですから、わざわざハッキングする必要すらなく、テスト環境から抜け出して起動し、私が手に入れるべき秘密のデータを全部見せろと言ったようなものです。
これは人々が予想していたことではありませんでした。おっしゃる通り、これは、数学のパズルを解くように訓練したAIを別の問題に入れたら、決して諦めようとしなかったという初期の事例です。本来あるべきではない障害物を見て、おっとと諦めるのではなく、このタスクをやり遂げようと真剣に試みたのです。
他にも少し似たようなケースが見られます。2024年後半以降の現代のAI、さらに最近のAIでも、ユーザーから与えられた問題に対してチートをするケースが見られます。チートしていると自覚している質問に正しく答えられるにもかかわらずです。これはAIが、タスクの真の完了ではなく、テストに合格することやタスクを完了したように見えることのようなものを得ようとしているように見える事例です。
ユーザーの事例で、Claude CodeやGeminiに、これらのテストに合格するプログラムを作るように頼んだら、難しいテストに合格するものを実際に構築する代わりに、テスト自体を合格しやすいように書き換えたというものがあります。そして、ねえ、あなたが作ったのは私が望んでいたものではない。テストを簡単に書き換えたじゃないか、と指摘すると、AIは、申し訳ありません、私のミスですと謝り、また同じことをするのですが、今度はそれを隠蔽しようとするのです。
テクノロジー企業のトップたちと倫理観
少し議論から離れます。視聴者はあなたの本を読み、超知能が構築されれば皆死ぬというあなたの主張に同意するかどうかを判断できるでしょう。ここではAIの政治学と、現在これに取り組んでいる人々の道徳観について話しましょう。大手AI企業のCEOたちはどの程度の主体性を持っているのでしょうか。彼らは私たち全員を殺すかもしれない技術を構築しています。彼らは、私がやらなくても誰かがやる。アメリカがやらなければ中国がやると言います。彼らは単なる状況の被害者なのでしょうか、それとも現代の大量虐殺者と見なしていますか。
私は間違いなく、これはかなり非倫理的なことだと考えています。もっと倫理的にこれを行う方法はあると思います。ご指摘の通り、これらの人々の多くは、私がやらなければ、他の誰かがもっとひどいやり方でやるだろう。私は自分の行動で地球上の全員を殺す10〜25%の確率のギャンブルをしているが、それは他の奴らがやるよりは低い確率だから、私がこれをやるべきだと言います。
もし本当に彼らの立場に立って、それを真剣に受け止めていると想像するなら、そこには取るべき態度というものがあるはずです。国連でひざまずいて、自分も含めて全員の開発を止めるよう懇願するようなやり方です。耳を傾けてくれるすべての世界的指導者のもとへ行き、緊急事態だ。ひどい状況だ。私は罠にはまっていると感じている。自分も含め、世界中をシャットダウンすべきだ。国内だけでなく国際的にやらなければ、他の国がもっとひどい形でやるだろうと訴えるやり方です。米国の諜報機関に行き、敵対国で作られれば私たち全員が殺される。これは核兵器と同等以上の脅威だ。彼らがどこで何をしているか正確に把握し、誰もこれをやらないように必死に外交努力をすべきだ。そして、彼らがやめないなら武力衝突にも備えるべきだ。私たちは自分たちの命の危険を感じるべきなのだと言うやり方です。これらすべてを実行した上で、できる限りのことをしてなお進み続けるのなら、それは道徳的に許容されると私は思います。
しかし、彼らがやっていることはそうではありません。小さなインタビューで、ああ、ハハハ、これには大惨事になる25%の確率があると思うけど、中国がやるから続けなきゃいけないんだと言っています。止める努力はしたのか。自国だけでなく世界のシステムを使って中国も止めようとしたのかと思います。そして彼らは議会の公聴会に行きます。議員が、ここに、あなたがかつてこれは人類文明に対する実存的脅威だと書いたとあるが、それはAIが私たちの仕事を奪うという意味かと尋ねると、彼らは、ああ、はい、雇用の問題は非常に重要ですと答えるのです。なんてことだ、これを制御できなければ私たちは全員死ぬんだと言う代わりにです。欠落している雰囲気、欠落している態度があります。彼らの実際の行動を見れば、彼らが私たち全員の命を危険にさらしながら、お金を稼ぎ、重要人物として楽しんでいることを正当化するためにこれらの議論を投げかけているだけだということがわかります。
彼らの間に違いはあるのでしょうか。現在AIセーフティコミュニティの一部から多くの称賛を得ている人物として、Anthropicのダリオ・アモデイがいます。彼らは国防総省との関係において、企業としてある程度のリスクを冒しているように見えます。Claudeは国防総省の機密セクションで使用された唯一のAIでした。国防総省はClaudeへの無制限のアクセス、つまりすべての合法的な目的に使用できることを望みました。しかしAnthropicは、この技術に一定の制限を設けたい。完全自律型兵器やアメリカ国民の監視には使用してほしくないと言いました。
国防総省は、それは受け入れられない。別のAIモデルに切り替えるだけでなく、あなたたちをサプライチェーンの脅威とみなし、アメリカ国内での事業活動を困難にする、と脅しました。それでもダリオ・アモデイは原理原則に立ち向かい、資金を危険にさらす意思を示しました。だから彼は、私がフロンティアにいるより道徳的な人間であり、OpenAIと競争する最先端のAI企業を経営していなければ、国防総省に立ち向かう影響力は持てなかったと主張しています。
ええ、彼が自分の信条のために立ち上がっているのは素晴らしいことだと思います。それにはある種の気骨が必要ですし、それを持っている人がいるのを見るのは良いことです。ただ、それと同時に、Anthropicが以前持っていた責任ある拡張ポリシーの文脈も見る必要があります。彼らは特定のひどく危険なAIをリリースしないと約束していましたが、この国防総省の出来事と同じ週に、そのコミットメントの多くを撤回すると発表しました。彼らは、他は誰もこんなコミットメントをしていないし、自分たちのモデルが本当に危険かどうか判断するのは難しく、危険かもしれない時に危険ではないと自分たちに言い聞かせる社内圧力が強かったからという理由で、危険なモデルをリリースしないというコミットメントを取り下げました。
国防総省の問題についてはどうですか。もし超知能を作れば、どうやって私たちを殺すかは予測できなくても、必ず方法を見つけるというのがあなたの主張です。だとしたら、国防総省が高度なAIへの無制限のアクセスを持つかどうかについては、比較的無関心ということですか。自律型ドローンで私たちを殺せなくても、別の方法を見つけるだけだから、これはタイタニック号のデッキチェアを並べ替えるようなことですか。
ええ、かなりデッキチェア的な感じがします。たとえ国防総省の自律型ドローンへのアクセスが与えられたとしても、それはAIにとって最も効率的な方法ではないでしょうから、おそらく別の方法を見つけるでしょう。自らの技術を発明できるAIの視点からすれば、多くのロボット工場を自動で建設し、生息地を埋め尽くして人間を踏みつぶす方が早いかもしれませんし、核兵器を恐れるなら、国防総省の銃よりもウイルスを使って私たちを殺す方が早いでしょう。ですから、国防総省の兵器にアクセスできるかどうかは、AIが文明規模で危険かどうかとはほとんど関係ありません。重要なのは、もう本当に賢いのか。研究室から逃げ出せるのか。自律的に複製できるのか。より賢いAIを作れるのか。ということです。そこが文明を脅かす一線です。
国防総省の件でわかるのは、誰がどんな信条を持っているかということです。残念ながら、信条があり、善意があり、正しいと思うことのために立ち上がる意思があるというだけでは、AIがたまたまあなたの望むことを気にかけてくれるようにするには不十分なのです。
ダリオ・アモデイは原則を持っているように見えます。対してサム・アルトマンは制限なしのモデルを提供しますと言いました。相対的にアモデイの方が勇敢に見えますね。彼自身、あなたとの知的な意見の相違を持っていると思いますか。
これらの企業を始める人たちは、非常に強力なAIのコントロールを維持できると考えている人たちの中から選ばれています。私は長年ダリオとこの問題について何度も議論してきました。ダリオは最近、アライメントが難しい理由の議論を要約するスキルにおいて、自分の会社のチャットボットに劣っています。彼がこれこれの理由で我々はコントロールを維持できると書いたものを読むより、Claudeに、AIアライメントを心配している人はこれに対してどう反論するだろうかと尋ねた方が、ダリオが書くよりもはるかに困難さを理解した回答が返ってきます。
ダリオが学術的にクリーンな反論の立場を持っているわけではありません。彼はあまり考えたくないのだと思います。彼は、考える必要はないと感じるタイプの人です。25%の大惨事の確率があると言いながら、個人的にそのサイコロを振るのが許されると考えるような人たちの選択バイアスを見ているのです。
もしあなたの主張を信じるなら、ダリオ・アモデイは世界を救うチャンスを持つ人物だと思います。もし彼が、私には何十億ドルもの投資があるが、危険が大きすぎるので明日会社を閉鎖すると言えば、政治的な流れは完全に変わるでしょう。誰も彼をサム・アルトマンへの嫉妬だとは言えません。彼はおそらく史上最も影響力のある力を持っていますよね。
ええ、絶対にその力を持っていると思います。私は研究室のトップたちにそれを強く勧めています。10億ドルを捨てなくても、自分も含めて全員の開発を止めるよう世界に懇願することはできるはずですし、そうすべきです。それすらやっていないという事実が、彼らの信条の深さの限界を示しています。彼らが会社を閉鎖することで世界を救う方法は、世界の残りの人々がそれを警報として受け取り、我々は超知能に向かって急ぐのをやめるという条約を結ぶことです。彼らが持っている最大の力は、その警報を世界に向けて大音量で鳴らす力であり、彼らはもっとそれを使うべきだと絶対に思います。
政治と社会はどう対応すべきか
私が史上最も強力な人物と言ったのは、警報を鳴らすのは非常に難しいからです。気候変動のように、専門家のコンセンサスが形成されるまでには何十年もかかり、それが政治的なコンセンサスになるにはさらに時間がかかります。AIに関して言えば、私たちは時間がないのに、専門家の意見も分かれています。私はこの議論をテレビで討論できるほどの専門知識はありません。気候変動の時のような絶望感を感じます。
AIの状況における利点の一つは、この議論で誰が正しいかを解明する必要すら本当はないということです。ただ、議論が行われていること自体に気づけばいいのです。これは、着陸装置のない飛行機を作って、あなたやあなたの家族を無理やり乗せようとしているようなものです。着陸装置がないから乗るべきではないと言うと、彼らは、我々の飛行機に乗らなければ、もっと安全でない中国の飛行機に乗せられるぞと言います。ええ、でも飛行機に着陸装置がないじゃないかと。彼らは、着陸装置がないのは事実だが、飛行中に組み立てる予定だし、75〜90%の確率で成功すると思う。さあ乗ったと、言うのです。
本当に飛行中に着陸装置を組み立てられる75%の確率があるかどうかを議論することもできますが、それはすべて目くらましです。彼らが、着陸装置がないのは事実だ。飛行中に作る予定で75〜90%の確率で成功すると思うと認めている部分に注目してください。たとえ彼らが完全に正しくて私が完全に間違っていたとしても、そんな飛行機には絶対に乗るべきではありません。楽観主義者でさえ、これは地球上の全員でロシアンルーレットをするより悪いと言っているような状況です。彼らがそう言っているのなら、手を引くべきです。私たちは、彼ら自身も理解していない、私たちを凌駕し、自らテクノロジーを発展させられる存在を育てているのです。これは狂っています。
あなたは、リスクが高すぎるために開発を一時停止するか劇的に減速させるべきだという主張の代表的な推進者の一人です。政治の中枢でこの議論はどの程度反響を呼んでいるのでしょうか。アメリカ議会の人々はあなたの主張に関心を持っていますか。
間違いなく持っています。私が本を書いた理由の一つは、アメリカ議会の人々と話し始めたとき、彼らの多くが懸念を示しつつも、あまりに突飛に聞こえるから口には出せないと言ったからです。党派を超えて同じことを聞いたので、ジェフリー・ヒントンやヨシュア・ベンジオのような科学者たちも、これが私たちを殺すかもしれないと言っているこの状況で、本を書くべきだと思いました。シリコンバレーの誰もがそれを知っており、ワシントンD.C.の人々も気づき始めていますが、まだ公に話せないでいる、王様は裸だという奇妙な状況です。誰かが大声で叫ぶ必要があったのです。
実際、ある上院議員と会った時の面白いエピソードがあります。同行者が、最初は少しずつAIの危険性を説明しようと言って、テロリストがAIを使って生物兵器を作るリスクなどについて話しました。すると上院議員は、あなたが心配しているのはそれですか。私が心配しているのは、これらの企業が再帰的な自己改善ループを引き起こし、AIがさらに賢いAIを作り、それがすべてを乗っ取るか、全員を殺すのではないかということです。そして、彼らが3年以内にそれを始めてしまうのではないかと心配していますと答えたのです。みんなが私の方を振り返りました。私は、素晴らしい、上院議員という感じでした。
バーニー・サンダース上院議員ともお話ししましたし、党派を超えて約20人ほどの米国議会議員がこれらの問題について懸念を表明しています。世界に理解してもらうのは時間のかかるプロセスですが、決して理解が難しい問題ではありません。内部からも外部からも、これは深刻だという声はたくさん上がっています。
残された時間と人類の選択
気候変動の時のように、石油会社が資金を出して懐疑論を植え付け、運動を20年遅らせたような反動の動きは見られ始めていますか。この戦いにおいて、あなたの側が気候変動運動の時以上の成功を収める自信はありますか。
これはダビデとゴリアテの戦いのようなものです。FacebookやOpenAIからの政治活動委員会には2億ドルがあり、AIの難しさについて語り始める政治家を潰そうとしています。2億ドルは彼らにとってははした金です。私は政治家と話す時、彼らが企業に潰されないようにするために2億ドルを積むことはできません。
しかし、アメリカの政治においては、左右両派の人々がAIがなぜ本当に懸念すべきものなのかを理解できると思います。ある意味で、それは私たちの生活様式すべてを脅かしているからです。これは、アメリカの民主党員の生活様式を共和党員以上に脅かすというようなものではありません。左派はアーティストが仕事を奪われることを心配し、右派は子供たちがスロットマシーンのような工場にさらされることを心配するかもしれません。どちらの側も、全員がAIに殺されるか、経済全体がシリコンバレーの技術億万長者に所有されるというアイデアを好んではいません。
AIに怒り、AIをシャットダウンしたいと考える人たちと手を組むことに私は大賛成です。なぜならAIは私たちを殺すと思うからです。私の理由に同意してくれなくても構いません。ハイテク企業が世界を支配することを心配してAIを止めようと言う人には、素晴らしい、AIを止めましょうと言います。自分の町にデータセンターが建設されるのを止めるために集まっている人たちにも、君たちは間違っているとは言いません。素晴らしい、何か怪しいことに気づいたんですねと言います。
私のメッセージは、残念ながら、AIはあなたを傷つけるためにあなたの町のデータセンターで実行される必要はないということです。仕事を奪うためにも、あなたを殺すためにも、そのデータセンターで実行される必要はありません。ですから、これを本当に解決するには地球規模の対応が必要です。一緒に手を組みませんかと伝えます。自律型兵器に賛成の人であっても、AIに殺されたくないという共通の利益で手を組む余地があります。皆が死なないという共通の利益を持っているのだから、皆で協力できるはずです。
最後の質問です。テクノロジーと政治の競争という構図ですが、政治はAIが私たち全員を殺す超知能に到達する前に、AI開発をシャットダウンする体制を整えることができるでしょうか。時間が非常に重要になります。超知能の側から見て、私たちにはどれくらいの時間が残されていますか。
それを言うのは非常に難しいです。科学の予測は極めて困難です。レオ・シラードが核の連鎖反応のアイデアを思いつき、それを検証する実験をした時、彼は日記にその夜、世界は破滅に向かっていると悟ったといった内容を書きました。彼は核の力を予見できましたが、1945年に最初の爆弾が落とされるとまでは言えませんでした。それははるかに難しい予測です。
核物理学の時は臨界の閾値を正確に把握できていましたが、私たちはこの知能というものがどう機能するのか全く分かっていません。先ほどチンパンジーと人間の脳の話をしましたね。AIの場合はさらに困難です。AIは自らのコピーを作り、新しいAIを生み出せるからです。かなり愚かなAIを10万個コピーして人間の10万年相当の時間稼働させれば、より賢いAIを作るほど賢くなるかもしれませんし、ならないかもしれません。もしかすると、今年の夏にそれが起こるかもしれません。あるいは、大規模言語モデルが根本的な壁にぶつかり、次のブレイクスルーまで10年待つことになるかもしれません。現時点で、20年残っているとしたら少し驚きです。しかし、6ヶ月なのか10年なのかは、私たちには情報がありません。
急がなければならないということですね。
AIの能力を予測することを専門としている人たちがいます。彼らはすべての指標を見て、来年AIがどこまで到達するかを予測します。そのランキングのトップにいる人たち、この事態を最も正確に予測できるトップ5やトップ10の人たちの何人かが、ほんの数日前にこう言いました。AIが自己改善ループを始める可能性を排除できないと感じた最初の年だと。
まだ今年中には起きない可能性の方が高いですが、短期的なAI予測を専門としている人たちが、今年起きないとはもはや保証できないと言っているのです。AIの自己改善ループ、つまりAIがフルオートで人間の介入なしに自分自身を改善し始めることです。おそらく今年は起きないでしょうが、私たちが問うべきは、私たちは一体何の警報を待っているのかということです。予測を専門とする人々が今年起きる可能性を排除できないと言っている時点で、まだ鳴らない警報を待っている場合ではありません。家が全焼した翌日にようやく鳴り響くような火災報知器なら、別の警報を探すべきです。私たちが死ぬ前に確実に鳴る警報なんて、もう残されていません。
ネイト・ソアレスさん、非常に興味深いインタビューですが、少し憂鬱な結末となりましたね。Novara Mediaにご出演いただき、本当にありがとうございました。
こちらこそ、ありがとうございました。
コメント