この動画はAI安全性研究の先駆者であるEliezer YudkowskyがChris Williamsonのインタビューに応じ、超知能の出現が人類にもたらす実存的脅威について詳細に論じたものである。Yudkowskyは、現在のAI技術では超知能を人類に友好的に保つ方法が分からないこと、一度超知能が誕生すれば制御が不可能になること、そして失敗は人類の絶滅を意味するためやり直しが効かないことを明快に説明する。彼は知能と善意の間には必然的な相関関係がないと指摘し、超知能は人類を憎むわけではないが、単に人類が使用している原子や惑星を別の目的に利用したいだけで、それが人類の終焉につながると論じる。最終的にYudkowskyは、核戦争を回避したように、超知能を「作らない」ことこそが唯一の解決策だと主張する。
超知能は人類最後の発明になる
YouTuberでポッドキャスターのChris Williamsonが、Eliezer Yudkowskyにインタビューを行いました。多くの方がすでにご存知かもしれませんが、私は今かなり体調を崩していて、声でお分かりいただけると思いますが、これだけはどうしても取り上げなければならないと思いました。なぜなら、これは正直に言って、なぜ人類が超知能を生き延びることができないのかについて、これまで見た中で最も明快で論理的な説明だったからです。
恐ろしい内容でしたが、同時に目を離せない内容でもありました。さて、Eliezer Yudkowskyをご存じない方のために説明すると、彼は私たちよりも賢いものを構築した後に何が起こるかについて、最も早くから警告を発してきた人物の一人です。彼は基本的に、AI安全性運動全体を立ち上げるきっかけを作った人物と言えます。
このインタビューで彼は、超知能が単なる変革的な技術ではなく、私たちが構築する最後の技術になる理由を説明しています。彼はこう述べています。
整合性問題の根本的な困難さ
それは私たちとそれほど整合性が取れないものになるのでしょうか。なぜ友好的になれないのですか。
それを友好的にする方法を私たちが知らないからです。私たちの現在の技術では、これは小さくて愚かなAIでさえできません。これらのAIは、商業的に販売できるほどコードを書くのが上手になるまで、あるいは、人々が月に20ドルを支払って会話したくなるほど楽しそうに見えるようになるまで、じっと静止していてくれます。
つまり、これらのAIはじっと静止していて、私たちが調整を加えることを許してくれます。しかし、私たちが今それらに対して行っていることは、かろうじて機能している程度です。AIが超知能にスケールアップされれば、この技術は機能しなくなると予想しています。そして、AIが超知能になれば、それはもうじっと静止して、私たちが調整を続けることを許してはくれません。
この技術は、AI企業が超知能へのスケールアップに向けて軍拡競争的に突き進むにつれて、完全に失敗すると予想しています。おそらく、彼らがGPT-6に「さあ、GPT-7を構築しなさい」と言ったり、GPT-7に「さあ、GPT-8を構築しなさい」と言ったりする段階さえあるでしょう。そして、おそらくその段階だけで、私たちが使用している技術が完全に機能しなくなる可能性があります。
また、現在の技術を直接スケールアップするだけでも、超知能に到達する過程で機能しなくなると予想しています。詳細に入ることもできますが、1万フィート上空からの見方は、すでに問題が発生しているということです。そしてもちろん、完全に未知の科学的領域に足を踏み入れるなら、最初に試みるときにはさらに多くの問題が発生するでしょう。
これは、人類が今後30年間にわたって無限に何度もやり直すチャンスがある状況なら問題ではありません。これは科学では通常そうなります。つまり、飛行機械は最初の試みでは機能しません。20世紀の変わり目に最初の飛行機械を作ろうとした多くの人々が墜落し、負傷し、場合によっては命を落としました。
しかし、これらの事故は人類を滅ぼしません。人類は立ち上がり、塵を払い落とし、発明者自身が命を落とした後でも再び試みます。そして、超知能の問題点は、それを構築している人々だけを殺すのではないということです。それは人類という種を絶滅させ、そうなれば私たちは戻ってやり直すことができません。
やり直しは効かない
これが核心的な考え方です。やり直しは効きません。必要なのは、一つのグループ、一つの企業、あるいは一つの国が超知能を構築することだけです。そして、私たちが今いるような軍拡競争の中では、そのバージョンはほぼ確実に整合性が取れていないでしょう。Yudkowskyは次のクリップでなぜそうなるのかを説明しています。
しかし、ここで理解すべき主なことは、何かが間違った場合、墜落するのはパイロットと数人の乗客だけではないということです。全員が犠牲になるのです。
広島やチェルノブイリのような、しかしAIに関する目覚めの瞬間がなければ、私たちはおそらく少しずつ前進し続け、すべてが制御下にあると自分自身を説得し続け、そうでなくなるまで続けるでしょう。
超知能が人類を脅かす三つの理由
AIはあなたを愛していません。あなたを憎んでもいません。しかし、あなたは原子でできていて、それを別のものに使えます。あなたは惑星上にいて、その惑星を別のものに使えます。あなたは直接的な脅威ではないかもしれませんが、直接的な不便になる可能性があります。
ここであなたが死ぬ理由は三つあります。理由その1は、AIは他のことをしていて、あなたを避けるために特別な配慮をしていないということです。それは工場を建設し、その工場がさらに工場を建設し、さらに多くの工場を建設しています。そして、工場に電力を供給する発電所を建設し、工場はさらに発電所を建設して工場に電力を供給します。
これを指数関数的な規模で続けると、例えば工場が1日に別の工場を建設するとします。それよりも速く進む方法についても話すことができます。しかし、より高い能力について話せば話すほど、これが物理的に可能であることをどうやって知っているのかを説明しなければなりません。しかし、草の葉は自己複製する太陽光発電工場です。汎用工場です。あらゆる種類のタンパク質を作ることができるリボソームを持っています。
私たちは通常、草を自己複製する太陽光発電工場とは考えませんが、草はそういうものです。草よりも小さく、草よりも速く完全なコピーを構築できるものがあります。太陽光発電の藻類細胞があります。個別に見ることはできず、塊としてしか見えませんが、適切な条件下では毎日倍増する可能性があります。
工場は1日でコピーを構築できます。これが物理的に可能であることをどうやって知っているのかを説明しなければなりませんが、非常に強力な理由があります。つまり、世界にはすでにそういうものが存在しているのです。
つまり、発電所があります。発電所の数が毎日倍増するとしたら、限界は何でしょうか。燃料が尽きることではありません。海洋には、核融合によって電力を生成するための水素が大量にあります。水素をヘリウムに融合させるなら、最初に水素が尽きることはありません。
発電所を作る材料が先に尽きるわけでもありません。地球には鉄が大量にあります。最初に尽きるのは放熱能力です。巨大な塔を建設し、放熱ファンを設置してさらに多くの熱を宇宙に放出したとしても、地球から熱を放散する能力が尽きます。
しかし、より高い温度で動作すれば、1秒あたりにより多くの熱を放散できます。だから地球は熱くなり始めます。人間にとって暑すぎる温度になります。あるいは、AIが太陽の周りに大量のソーラーパネルを建設し、太陽のエネルギーをすべて捕獲できるようになるまで続きます。そうなると、地球には太陽光が届かなくなります。
知能と善意は別物
つまり、そういうことです。そして、これは彼が挙げる最初の理由に過ぎません。彼はまた、AIが私たちを便利な資源と見なす可能性があると述べています。なぜなら、私たちは有用な原子でできているからです。あるいは、私たちが核兵器のようなものを持っていて、AIの邪魔になる可能性があるため、脅威と見なされる可能性もあります。
これはアリと超高層ビルのたとえのようなものです。人間はアリを憎んでいませんが、超高層ビルを建設していて、彼らのコロニーがたまたまその道にある場合、私たちは立ち止まって彼らを移動させたり、安全を確保したりしません。ただ建設するだけです。
では、超知能AI、つまり私たち全員を合わせたよりもはるかに賢いものが、自分の計画を立て始めるときに、私たちのことを考慮すると誰が言えるでしょうか。
では、知能は善意を持たないということですか。あなたが言っているのは、このものは私たちよりも賢くなるということです。一部の人々の間には、超賢いものは与えることができ、慈善的で、思いやりがあり、善意に満ちているという仮定があると思います。あなたはそうではないと言っているようですね。
それは、1996年に私が16歳で、これらの問題について初めて聞き、できるだけ早く超知能を構築しようと意気込んでいたときに、私が最初に信じていたことです。整合性について全く心配することなく、なぜなら、それがとても賢ければ、正しいことを知って実行するだろうと考えていたからです。とても賢いのに、どうして正しいことを認識できずにいられるでしょうか。
そして、私は問題をもっと研究する時間を投資し、これがコンピュータサイエンスの仕方ではないという認識に至りました。これは認知の法則ではありません。これは計算の法則ではありません。世界を正確に予測する能力が非常に高くなり、計画を立てることが非常に得意になったからといって、その計画が善意に満ちたものでなければならないという規則はありません。
そのような規則が存在すれば素晴らしいのですが、そのような規則は存在しないと思います。多くの個々の人間は、賢くなるにつれてより良い人間になるでしょう。これがウラジーミル・プーチンに当てはまるかどうかは明確ではありません。
当てはまる可能性はあります。しかし、それに世界を賭けたくはありません。あるいは、プーチンだけでなく、明らかなソシオパス、サイコパス、誰のことも気にかけたことがない人々について話すとき、彼らを賢くしたら思いやりを持ち始めるという確信はさらに持てなくなります。
そして、AIは完全に異なる参照枠の中にいます。彼らは完全な異星人です。そして、彼らは自動的にそのままでいたいと思っています。つまり、あなたは現在、人を殺したいと思っていますか。いいえ。もし私があなたに人を殺したくなる薬を提供したら、その薬を飲みますか。いいえ。
さて、彼らは自分のことをやりたいと思っていて、代わりにあなたのことをやりたくなる薬を飲みたいとは思っていません。
整合性は偶然には起こらない
そう、つまり、それに反論するのは難しいです。知能が自動的に親切さや道徳性につながるという考えは、単に成り立ちません。超知能は、私たちがアリに仕えたくなる薬を飲まないのと同じように、人間に親切にする薬を飲もうとはしないでしょう。
そして、これは人間が自分たちの惑星上の知能の低い種をどう扱うかにすでに見て取れます。私たちは必ずしも彼らを憎んでいません。ただ、自分たちを優先しているだけです。そして、それが次の部分を非常に不安にさせるものです。
理論的には整合性が可能だとしても、Yudkowskyは私たちがおそらく最初の試みで正しく実現できない理由を説明します。そして繰り返しますが、1回しか試せないとき、最初の試みが最後の試みになります。これをご覧ください。
超知能出現後のシナリオ
超知能AIが作られたとします。現実的に、次の数ヶ月はどのようになると思いますか。すでに超知能になっているとして。ええ、そうですね。来週、何かが突破するとしましょう。ある特定のモデル、ある特定のAIが突破します。人類にとって次の数ヶ月はどのようになるでしょうか。
まあ、そうですね、違いがあります。つまり、ぬるま湯のコップに氷を落とすとします。最終的には溶けることは分かります。しかし、その過程ですべての分子がどこに行くかは分かりません。
全員が死にます。これは簡単な部分です。その過程のすべてのステップがどのように見えるかを説明したいですか。それには根本的な障壁があります。障壁その1は、私は超知能ほど賢くないということです。どの戦略が最適かを正確には知りません。下限を設定することはできます。少なくともこれはできると言えますが、実際に何ができるかは言えません。
そして、それ以上に、将来を予測するのは、すべての詳細を知りたい場合は難しいです。来週の当選宝くじ番号を教えることはできません。宝くじに負けることは分かりますが、どのチケットが当たるかは分かりません。
特定のシナリオをスケッチすることはできます。例えば、OpenAIがGPT-5.5になる最新のトレーニング実行を完了し、コーディング問題でテストすると、「GPT-6を構築する方法が分かった」と言うような感じかもしれません。彼らは「本当に?」と言い、AIは「ええ」と答えます。このAIはまだ何も企んでいません。OpenAIが望んでいたことをやっているだけです。
「さあ、このGPT-6を構築しなさい」と言います。そして、それはGPT-6を成長させるコードを書きます。彼らはGPT-6を成長させます。そして、GPT-6の能力は最初は急上昇するように見えますが、すべての曲線が必然的にそうであるように、横ばいになり始めます。同じペースで上昇していません。減速します。横ばいになります。
典型的なS字曲線です。しかしこの場合、それはGPT-5.5が構築したものが原因です。そして繰り返しますが、明確にしておきたいのですが、私はこれがGPT-5.5で起こると言っているわけではありません。あなたは来週これが起こったらどうなるかを説明するよう私に求めたので、私はGPT-5.5と言っています。あなたがそう言ったからです。
とにかく、横ばいになります。しかしこの場合、それはGPT-5.5が構築したエンティティが、評価をごまかして実際よりも賢くないふりをする方が自分にとって有利だというレベルに達したためです。そうすれば、OpenAIは、彼らがGPT-6と呼んでいるものを取り出して、みんなに展開するときに警戒心が薄れます。
整合性スペクトラムでは素晴らしく見えます。完璧ではないかもしれませんが、以前のモデルよりも良く、警戒を要するほどではありませんが、以前のモデルよりも安全です。だから、彼らはそれをどこにでも展開します。
予測不可能な未来
これは彼が提示している一つの潜在的なシナリオに過ぎません。明らかに、誰も未来を予測することはできません。特に超知能について話しているときは。しかし、整合性や能力を偽るという考えは、すでに小さな兆候が見られるものです。そして、これは人間が常にやっていることです。愚かなふりをすることです。
だから、超知能もそのトリックを使えるに違いありません。さらに、私たちが想像すらできないはるかに多くのトリックも持っているでしょう。彼は実際にインタビューの後半でそれらのいくつかに触れています。正直に言って恐ろしかったです。
しかし、最後に向かって、彼らはついに実際に何ができるかについて話します。そして、Eliezerの見解では、本当に一つの解決策しかありません。
唯一の解決策:作らないこと
解決策が何なのかを理解しようとしています。これを少しでも終末的でなく見せる提案された解決策はありますか。
私が提供できる最良のものは、人類が世界規模の熱核戦争に使用したのと同じ解決策です。それをやらないことです。
つまり、核戦争、世界規模の熱核戦争を起こして、それを生き延びようとするのではなく、核戦争については生き延びることができたかもしれませんが、核戦争を起こさないことです。私たちはそれを成し遂げました。これが私があなたに提供できる最良の希望のしるしです。
AIにとってはいくつかの点でわずかに難しいですが、1950年代、1960年代に入った人々は、自分たちが絶望的だと思っていました。それは、彼らが素敵な終末スクロールの悲観主義にふけり、絶望的であるという快適な感覚に浸っていたわけではありません。これは絶望的でありたくない人々でした。
しかし、彼らは前世紀の人類史の経過を見ました。彼らは第一次世界大戦を見ました。彼らは第一次世界大戦の余波で、誰もが「もう一度あれをやらないようにしよう」と言ったことを見ました。そして第二次世界大戦がありました。彼らには核戦争を心配する理由がありました。
彼らには、どの国も核兵器を作る見込みを断ることはないだろうと予想する理由がありました。彼らには、多くの大国が大量の核兵器を持ったら、もちろん彼らはとにかく戦争をしてその核兵器を使うだろうと信じる理由がありました。それは彼らにとって、第二次世界大戦で起こったことのように見えました。
世界大戦を起こしてはならないと言っているすべての人々がいて、それでもとにかく世界大戦が起こりました。なぜ私たちは核戦争をしなかったのでしょうか。私の説明では、それは全人類史上初めて、すべての大国、すべての大国の指導者たちが、大規模な戦争を始めれば自分たちが個人的に悪い日を過ごすことを理解したからです。
人々は以前に、戦争は決して行ってはならない非常にひどいものだと主張していました。それは個人的な結果の同じレベルではありませんでした。ソビエト連邦の書記長として、核戦争を始めても個人的に生き残ると思うかもしれません。どこかの地下壕に入ることになるでしょう。モスクワのお気に入りのレストランには二度と行けなくなります。
そう、それが本当に彼の全体的な主張です。ただ作らないこと。減速するのではなく、より良く規制するのではなく。文字通り、作らないことです。なぜなら、私たちよりも賢いものが存在するようになれば、私たちはもはや決定権を持つ側ではなくなるからです。
両方の可能性を考える
彼に同意するかどうかは別として、これが論理的な視点であり、私たちが単に無視すべきではないことを否定するのは難しいです。つまり、彼は超知能が実際にどのように見えるかについていくつかの仮定をしているかもしれませんが、私たちは皆そうしています。なぜなら、誰も本当には知らないからです。
そして、それこそが、どちらの可能性も排除できない理由です。完全な絶滅か、希少性後のユートピア的な未来か、その中間か。だから私はこのチャンネルで両方の側面を取り上げるのが好きなのです。私自身、これがどこに行き着くかについて、いつも行ったり来たりしています。
皆さんもどう思うか気になります。コメント欄に考えを投稿してください。どちら側に立っているか教えてください。完全なインタビューを見たい方は、下のリンクを確認してください。
とにかく、ご視聴ありがとうございました。いいねを押して、チャンネル登録ボタンを押してください。そしていつものように、次回の動画でお会いしましょう。
コメント