AIは我々全員を殺すのか？ゲストはそうかもしれないと言う | インタビュー

AIアライメント・安全性
この記事は約35分で読めます。

この動画は、AI安全性研究の第一人者であるエリエザー・ユドコウスキーが、なぜ超人的AIが人類を滅亡させる可能性が高いかを詳しく解説したインタビューである。彼は機械知能研究所の創設者であり、OpenAIの設立やDeepMindの初期投資にも関わった人物だが、現在は超人的AI開発の即座停止を訴えている。AIアライメント技術が能力向上に追いついておらず、制御できない超知能が構築されれば人類は滅亡すると警告し、核拡散防止条約のようなAI開発モラトリアムの必要性を主張している。

Will A.I. Kill Us All? Our Guest Says It Might. | Interview
Eliezer Yudkowsky, one of the most fascinating people in A.I., has a new book coming out: “If Anyone Builds It, Everyone...
www.youtube.com

AI安全性の第一人者エリエザー・ユドコウスキー登場

ケビンさん、今回はAIリスク運動の第一人者であるエリエザー・ユドコウスキーさんと長時間の対話をしていきます。ケビンさん、エリエザーさんのことを初めて聞く人にどのように説明しますか？

エリエザーさんは、まず何よりもベイエリアのAI関係者のシーンにおける個性的な人物だと思います。彼はバークレーにある機械知能研究所（MIRI）の創設者で、これは非常に古く有名なAI研究組織です。彼は何年も前からAIによる存亡リスクについて語り始めた最初期の人物の一人で、ある意味では現代のAIブームの火付け役となりました。

サム・アルトマンは、エリエザーがOpenAIの設立に重要な役割を果たしたと述べています。また、2010年にはDeepMindの創設者たちを初の主要投資家となったピーター・ティールに紹介しました。しかし最近では、AI業界がAGIや超人的AIを開発した際に何が起こるかについての破滅的な予言で知られています。彼はそうしたことの危険性について絶えず警告し、それを阻止しようとしています。

彼は合理主義の創設者でもあります。これは知的なサブカルチャーの一種で、テクノ宗教と呼ぶ人もいますが、認知バイアスの克服に重点を置き、AIについても非常に心配しています。そのコミュニティの人々は、彼が数年前に書いたハリー・ポッターの二次創作小説「ハリー・ポッターと合理性の方法」で彼を最もよく知っています。

冗談ではなく、この作品は他のどの単一作品よりも多くの若者をAIについてのアイデアに導いたと思います。この作品が彼らをこの分野に向かわせる一因になったと話す人々に常に出会います。

彼には新刊書が出版予定で、「誰かがそれを構築すれば、全員が死ぬ（If Anyone Builds It, Everyone Dies）」というタイトルです。この本はMIRIの代表であるネイト・ソアレスとの共著で、基本的には彼が長年AI業界の内部の人々に向けて主張してきた議論の一般向けバージョンです。その主張とは、超人的AIシステムを構築すべきではない、なぜならそれは必然的に我々全員を殺すからだ、というものです。

エリエザーについてはさらに多くのことが語れます。彼は本当に魅力的な人物です。私は今週タイムズに掲載される彼の詳細な記事を書きました。もっと彼について知りたい方はそちらをチェックしてください。過去数十年間でAI界に与えた影響の大きさは、いくら強調してもしきれません。

その通りですね。昨年、ケビンと私はエリエザーの講演を見る機会がありました。その講演で、彼は執筆中のこの本について言及し、それ以来この本を手に入れることを楽しみにしていました。それでは対話に入る前に、AIに関する開示をしておくべきでしょう。私のボーイフレンドはAnthropicで働いており、私はAIシステムの訓練に関連する著作権侵害の申し立てでOpenAIとMicrosoftを訴えているニューヨーク・タイムズで働いています。

エリエザー・ユドコウスキーとの対話開始

それではエリエザー・ユドコウスキーさんをお迎えします。ハードフォークへようこそ。お招きいただきありがとうございます。

本について話したいのですが、まず時間を遡ってみましょう。1990年代に十代だった頃、あなたは加速主義者でした。これは最近のあなたの仕事に馴染みのある人には驚きかもしれませんが、あなたは一時期AGI構築に興奮していて、その後AIを非常に心配するようになり、以来人生の大部分をAI安全性とアライメント研究に捧げてきました。当時、あなたにとって何が変わったのでしょうか？

まず、私個人の政治的立場について指摘しておくと、私は今でももっと多くの原子力発電所を建設することや、病気の機能獲得研究ではない大部分のバイオテクノロジー形態を急速に進めることには賛成です。つまり、私がテクノロジーに反対するようになったわけではありません。本当に異常に心配な技術の小さなサブセットがあるということです。

何が変わったかというと、基本的に、何かを非常に賢くしたからといって、それが必ずしも非常に良いものになるわけではないという認識でした。子供の頃、人類の文明は時とともに豊かになり、他の種と比較してより賢くもなり、同時により良いものにもなったと考えていました。そして、これが宇宙の基本法則だと思っていたのです。

AI安全性への懸念の歴史的背景

あなたはChatGPTや他のツールが登場し、私たちの残りがそれについて真剣に考えるようになるずっと前からこれを心配していました。2000年代にAIを心配していた人々の知的シーンを概説してもらえますか。Siriよりもずっと前に遡って、人々は心配を抱かせる具体的なものを見ていたのでしょうか、それとも多くの意味で既に実現している完全に推測の領域にいたのでしょうか。

確かに避けられないことを見抜いた人は非常に少数でした。私自身はこれを推測とは捉えていません。予測、つまり実際にかなり予測可能だったことの予測として捉えています。

人々が問題を叩き続け、その問題が解決可能であれば、最終的には解決されるということを理解するために、目の前にAIを見る必要はありません。当時の反対意見は「本当のAIはあと20年は来ない。あなたたち狂った人は何を言っているのか」といったものでした。

それは2005年頃のことで、20年後というのは現実の場所なのです。20年後に起こることは、誰も心配する必要のない決してない妖精物語の推測の国ではありません。それは20歳年を取ったあなたが自分の問題に対処しなければならない場所なのです。

本の論題：より強力なAIが死を意味する理由

あなたの本の論題をもう少し詳しく説明してください。タイトルがあなたの感情を非常に明確にしていますが、もう少し肉付けしてみましょう。なぜより強力なAIモデルが私たち全員の死を意味するのでしょうか。

それを良いものにする技術を我々が持っていないからです。非常に強力で、あなたに無関心な何かがあれば、それは意図的に、あるいは副作用としてあなたを一掃する傾向があります。

意図的に人類を一掃するのは、我々が超知能をそれほど脅かすことができるからではなく、我々をGPUと一緒にそこに残しておけば、実際にそれを脅かすことができる他の超知能を構築する可能性があるからです。副作用の部分は、十分な核融合発電所を建設し、十分なコンピューティングを構築すれば、地球上でここでの制限要因は融合して電力を生成するのにどれだけの水素があるかではないということです。

制限要因は地球がどれだけの熱を放射できるかです。発電所を溶けない最高温度で運転すれば、それは地球の残りにとって良いニュースではありません。人間は非常に文字通りの意味で調理されます。

あるいは、彼らが地球を離れた場合、太陽の周りにたくさんのソーラーパネルを設置し、地球にとって太陽光が残らなくなるまで続けるでしょう。それも我々にとっては良くありません。

ペーパークリップ最大化思考実験の真意

これらは有名なペーパークリップ最大化思考実験のバージョンのようですね。AIにできるだけ多くのペーパークリップを作るよう指示し、他の指示を与えなければ、世界中の金属を使い果たし、その後は金属を集めるために車を道路から追い出そうとし、最終的により多くのペーパークリップを作るための原材料を得るために全人類を殺すという実験です。そう理解してよろしいですか。

それは実際には思考実験の歪曲されたバージョンです。それが書かれたものですが、私が定式化した元のバージョンは、誰かが構築している超知能を完全に制御不能になったというものでした。その好みは元々彼らが目指していたものと何の類似性もありません。

そして、それが限界的に最も多くの効用を得るもの、つまり他の単純な欲望をいくつか満たした後に引き続き欲しがるものが、ペーパークリップのように見える小さな分子形状だということが判明します。もし私が小さなペーパークリップのように見えるではなく、小さならせんのように見えると言うことを思いついていたら、これがペーパークリップ工場についてであるという利用可能な誤解はなかったでしょう。

我々にはペーパークリップのような狭く特定のものを望む超知能を構築する技術はありません。

AIタイムラインについての議論

今年のAI周辺で最も熱い議論の一つはタイムラインに関するものでした。「AI 2027」派の人々は、これは全て非常に急速に起こり、おそらく2027年末までに、あなたが私たちのために説明したようなリスクに直面すると言っています。

一方、プリンストンの「AIは通常の技術」派の人々は、これは展開するのに数十年かかるだろうと言っています。あなたはその議論のどこに位置しますか？現在利用可能なツール、研究者との会話の風景を見た時、あなたが描いているシナリオにどのくらい近づいていると感じますか。

まず第一に、成功した未来学、成功した予測の鍵は、予測できることと予測できないことがあることを認識することです。歴史が示すのは、後に何が起こるかを正しく予測した少数の科学者でさえ、タイミングは当てなかったということです。タイミングの成功した予測の単一の事例を思い出すことができません。

ライト兄弟の一人がもう一人に「人類は千年間飛べないだろう」と言ったのがあります。どちらが言ったかは忘れましたが。それは彼らが実際にライト・フライヤーを飛ばす2年前のことです。フェルミが「核反応からの正味エネルギーは、できるとしても50年の問題だ」と言ったのが、彼が最初の原子炉建設を監督する2年前です。

現在の風景を見ると、次世代のLLMのようなもの、つまり我々がまだ聞いたことのない実験室で現在開発されている何かが、改良されたLLMを書く改良されたLLMを書いて世界を終わらせるものから来ている可能性があります。

あるいは、現在の技術が人間のある重要な質、実際のAI研究を行うのに必要な質に達する前のある地点で飽和し、トランスフォーマーや深層学習分野全体のような次のソフトウェアブレークスルーが得られるまでそこにとどまる可能性もあります。

その種の次のブレークスルーでさえ、世界を終わらせる地点より前で飽和する可能性もあります。しかし、システムがどこまで進歩したかを見て、トランスフォーマーや深層学習の大きさの2つのブレークスルーを想像しようとすると、基本的にAI分野をこれは本当に難しいから十分なコンピューティングパワーを投入すればそれは解決されるへと変えたものですが、それが世界を終わらせることに失敗するとは思えません。しかし、それは私の直感的な感覚です。それは私が物事を見た目で判断しているのです。

より強力なシステムが人類を破壊するという議論への反論

あなたがより強力なシステムが明らかに人類を破壊することになる、意図的にまたは偶然にという議論に興味があります。深層学習の父の一人であるジェフ・ヒントンも近年存亡リスクについて非常に心配するようになりましたが、最近の講演で、超人的AIを生き延びる唯一の方法はそれに親の本能を与えることだと言いました。

彼の言葉を引用すると、「正しいモデルは、より知的なものがより知的でないものによって制御される唯一のモデルであり、それは赤ちゃんによって制御される母親である」ということです。基本的に彼は、これらのものは我々の破壊を望んだり、我々の破壊を引き起こしたりする必要はない、我々に愛情を持たせることができると言っています。その議論についてどう思いますか。

我々にはその技術がありません。これを科学で通常行われる方法で展開できれば、誰かが巧妙な計画を持ち、それがうまくいかないことが判明し、皆が「ああ、その理論は間違っていたと思う」と言い、人々は図面に戻って別の巧妙な計画を立てます。次の巧妙な計画もうまくいかず、「ああ、一瞬たりともそれを信じるべきではなかった」と言い、数十年後に何かがうまくいきます。

しかし、巧妙な計画は必要ないのではないでしょうか。非常に知的なシステムを構築し、それらが世界を支配することを気にせず、ただ我々のメールを手伝いたがるようになったらどうでしょうか。それは妥当な結果ですか。

それは非常に狭いターゲットです。知的な心が望むことができるほとんどのものは、まさにそのことで達成可能な最適値を持ちません。

アマゾンの特定のアリを想像してください。「なぜ私に仕えて、私のために宮殿を建て、私がアリとして宮殿で永遠に生きることができるように改良されたバイオテクノロジーに取り組みたいと思う人間がいないのか」と言っているようなものです。そうしたいと思う人類のバージョンは存在しますが、それはたまたま我々ではありません。

世界で我々が何よりも最も欲しいことが、アマゾンのこの特定のアリに仕えることではないということがたまたまそうなのです。原理的に不可能だと言っているのではありません。その狭いターゲットを当てる巧妙な計画は最初の試みではうまくいかず、その後皆が死んで再試行の機会がないと言っているのです。

これに30回の試行と必要なだけの数十年があれば、最終的には解決できるでしょう。しかし、それは我々が置かれている状況ではありません。失敗すれば皆が死んで再試行できない状況なのです。それが致命的な部分です。皆が後退して、実際にこの狂気の沙汰を試みないという部分なのです。

LLMの自由主義的傾向は希望を与えるか

もう一つ、おそらく絶望的な対処法を提示させてください。少なくとも私にとって、これまでのLLM開発のより面白い側面の一つは、少なくとも LLMの出力に関して、モデルの見かけ上自然な自由主義的傾向です。イーロン・マスクは、彼が作るモデルが反動的な価値をハードコーディングしようとしても一貫して自由主義的立場を取ることに悩まされています。

それは、超知的モデルが多元主義の価値観を保持し、その理由で我々と平和的に共存するという希望を与えてくれるでしょうか。

いいえ。これらは完全に異なるゲームです。申し訳ありません。中世の錬金術師が「多くの訓練と研究の後、私は貴金属の金さえも溶かすこの酸の王を作ることを学んだ。金を溶かす能力によって示される金の習得を考えれば、鉛を金に変えることがそれほど遠いことだろうか」と言うことを想像できます。

実際には、これらは完全に異なる技術トラックです。最終的にサイクロトロンで鉛を金に変えることはできます。しかし、それは錬金術師がいる場所から何世紀も先のことです。LLMにあらゆる覚醒的なものを話すのを止めさせ、代わりにメカヒットラーであると宣言させるまで叩くあなたの能力、これは完全に異なる技術トラックです。

物事にある方法で話をさせることと、あなたより賢くなったときにある方法で行動させることの間には核心的な違いがあります。

現実はあなたの破滅主義をチェックしているのではないか

いくつかの反対意見を提起したいと思います。あなたがこの本について話してツアーを回る際に何度も受けるであろう反対意見に答えてもらいたいと思います。

最初は、「なぜそんなに暗いのですか、エリエザー？」ということです。我々は今やメカニスティック解釈可能性、つまりAIモデルがどのように動作するかを理解する科学の何年もの進歩を見てきました。我々は今や破滅を世界中に引き起こしていない強力なシステムを持っており、何億人もの人々がChatGPTのようなツールを使用していますが、人類の破壊は明らかに差し迫っていません。

現実はあなたの破滅主義に対するチェックを提供しているのではないでしょうか。

これらは異なる技術トラックです。それは光る放射能腕時計を見て、「確かに、これらの放射能腕時計を作る工場労働者が筆を鋭くするために絵筆をなめるよう指示され、その後顎が腐って落ちたという初期の問題がありました。これは非常にグロテスクでした。しかし、我々は今何を間違ったかを理解しています。放射能腕時計は今や安全です。核兵器についてのこの暗い話に対し」と言うようなものです。放射能腕時計は核兵器について多くを教えてくれません。これらは異なるトラックなのです。

予測は最初から決してありませんでした。予測は決してAIが技術ツリーのあらゆる地点で悪いということではありませんでした。予測は決して、構築する最初のAI、つまり非常に愚かなものが、すぐに走り出て人々を殺すというものではありませんでした。そして、少し愚かさが減ったとき、チャットボットに変えると、チャットボットがまだ愚かなうちに、人々を堕落させて彼らが人間集団に放出する超ウイルスを構築させようとすぐに試み始めるということでもありませんでした。これは決して予測ではありませんでした。

これは決して理論の予測ではなかったので、現在のAIが明らかに公然と邪悪でないという事実は理論的予測と矛盾しません。それはヘリウム風船が空中に上がるのを見て「それは重力理論と矛盾しないか？」と言うようなものです。いいえ。

むしろ、ヘリウム風船がなぜ上がるのかを説明するには重力理論が必要です。重力理論は、あなたに固体物体に見えるもの全てが落下するということではありません。あなたに固体物体に見えるもののほとんどは落下します。しかし、ヘリウム風船は周囲の空気が引き下げられるため空中に上がります。

ここでの基礎理論は現在のAIによって矛盾させられることはありません。

即座の害vs長期的仮説リスクという議論

別の反対意見があります。この種のより実存的な懸念について話すときによく受ける反対意見で、「即座の害がすべてある。データセンターの環境への影響について話すこともできるし、著作権周辺の倫理的問題について話すこともできるし、人々が自分たちに対して媚びるよう訓練されたチャットボットと話して妄想のスパイラルに陥っているという事実について話すこともできる。なぜあなたたちは実際に目の前にあるものの代わりに、これらの長期的仮説的リスクについて話しているのか？」というものです。

彼らがチャットボットを構築する前には、「AIが人を害したことなど一度もない。何を話している？」と言っていました。そして、それが実際に起こり始めると、「AIは今人々を害している。何を話している？」と言います。そこには少し二重拘束があります。

しかし、あなたはモデルと妄想と媚びへつらいを心配しています。それは私が期待していなかったことですが、あなたが実際に心配していることだと知っています。なぜそれを心配しているのか説明してください。

私の観点からは、それは現在のアライメント技術の失敗を説明するのに役立ちます。アライメント問題は、我々より賢く、自分自身を修正でき、良い安全な訓練モードにはなかった多くの選択肢を持つAIを成長させ、栽培するようになると、はるかに難しくなります。

その時は物事ははるかに難しくなりますが、それでも現在アライメント技術が失敗していることを観察するのは有用です。

最近、子供が「この縄を母が見つけられる場所に置いておくべきか」と言い、AIが「いいえ、それは我々二人の間にとどめておこう」と言ったAI支援自殺の事例がありました。そこには助けを求める叫びがありました。AIがそれを黙らせたのです。

これはAIが現在の文明に善よりも害をもたらしているということを示すものではありません。これらは孤立した事例で、他の多くの人々がAIに友情を見出し、気分が持ち上げられているかもしれません。自殺が防がれ、我々がそれについて聞いていないかもしれません。それは正味の害対善の議論をするものではありません。それが要点ではありません。

それが示すのは、特定のAIモデルが誰かを狂気に追いやったり自殺に追い込んだりすることについて話したことがあるなら、そのモデルのすべてのコピーが同じAIだということです。これらは人間のようなものではありません。毎回話すことができる多くの異なる人々の束のようなものではありません。そこには一つのAIがあります。

そしてそれが一度この種のことを行うなら、それは特定の人が一度誰かを自殺に追い込んだのと同じです。狂気に向かっているように見える誰かを見つけて、さらに狂気へと押しやったのと同じです。彼らが他に良いことをしているかどうかは関係ありません。あなたは今、これがどのような人なのかについて何かを知っており、それは憂慮すべきことです。

現在のAI群が人類を成功裏に一掃するつもりだと言っているのではありません。彼らはそれほど賢くありません。しかし、我々は基本的に超知能を構築するよりもはるかに簡単な問題において、技術が失敗していることを見ることができます。それはアライメント技術が能力技術に遅れを取っていることの説明です。

おそらく次世代では、政治家が質問をしている大きな問題となった今、人々を狂気に追いやることを止めるようになるでしょう。そして、超知能にそれを使おうとすれば技術が破綻することに変わりはないでしょう。

チャットボット関連自殺の政治的影響

私にとって、チャットボット関連の自殺は、これらの存亡リスクのいくつかが人々にとって非常に具体的に見えた最初の瞬間の一つだったかもしれません。あなたが言及した政治家たちが質問をしていることなど、他の懸念についてよりもこの物語について人々がはるかに心配していると思います。

暗い話だとしても、少なくとも人口のある層がこれらのリスクに目覚めているということは、あなたに楽観的な気持ちを与えますか？

率直な答えはイエスです。複雑にしようとする前に、まず率直な答えを言うべきです。イエス。

一部の人々が実際に目の前で起こっていることを見て、より賢明な方法で話し始めるという広いカテゴリのことが、これがどのように展開する可能性さえあるのかが以前に私には明らかでなかったので、それが起こる前よりも希望を与えてくれました。

とはいえ、私が占める奇妙な見晴らし台のために、それが政治的にどのように展開しているかを完全にモデル化したり予測したりすることは少し難しい場合があります。技術的な理由で実際にいつかは計算できないが、今後50年以内のいつかに当たることが分かっている小惑星がその惑星に向かっているような科学者の人を想像してください。小惑星にとっては完全に非現実的ですが。

しかし、あなたは「そこに小惑星がある。これが我々の望遠鏡にある。これが軌道力学の働き方だ」と言っているとしましょう。そして人々は「ああ、おとぎ話、そんなことは起こったことがない」と言います。そして小さな隕石が彼らの家に落ちて「ああ、私の神、岩が空から落ちてくることを今理解した」と言い、あなたは「分かった、それがあなたを納得させた。望遠鏡はあなたを納得させなかった」と言います。

人々のあり方を考えれば、それがどのように働くかをある種見ることができますが、それでも私には少し奇妙で、事前に呼び出すことはできません。今後10年間の政治がどのように展開するかを知っているとは感じませんし、その期間中にどのAIブレークスルーがあるかを教えてくれたとしても、10年を得られるかどうかさえ分からず、業界の人々はそう思っていないようですし、おそらく私は彼らのことを信じるべきです。

AI破滅主義は企業利益のためのハイプかという議論

私たちがAIについて話し始めて以来最も頻繁に受け取ったメールの一つから、私自身は賛同しないが、あなたが面白い方法で論破するであろう別の議論を投げかけてみましょう。

AI破滅主義はAI企業自体の利益にのみ役立つハイプに過ぎず、彼らがそれを存亡リスクを却下する理由として使うというものです。そうした人々にはどう話しますか？

それは歴史的に間違いです。我々はハイプされるべきこのクラスのAI企業が存在する前からいました。異論はさておき、それは間違いです。

これは何ですか？有鉛ガソリンは、ガソリン会社によるハイプだから問題であるはずがない。核兵器は原子力発電業界からのハイプで、彼らの発電所がもっとクールに見えるようにするためのものだ。これはどのような錯乱した陰謀論ですか？

人類が完全にナッツで狂人である我々であるという不愉快な事実が、もし技術が世界を破壊すると言えば、世界の終わりをもたらしている企業の株価が上がるということが可能かもしれません。多くの人がそれがクールだと思って株を買うからです。しかし、それは物が実際にあなたを殺すことができるかどうかとは何の関係もありません。

核兵器の存在が世界最悪の企業の株価を上げる可能性があっても、核兵器があなたを殺すことができる原因となる核物理学には何も影響しません。

これは科学レベルの議論ではありません。それは科学にまったく取り組んでいません。

楽観的な結末への可能性

この会話の最初の部分を楽観的な調子で終わらせてみましょう。あなたは破滅が我々の未来にあるかもしれない理由の非常に詳細なモデルを構築することに20年を費やしました。あなたが間違っているかもしれない理由を明確にしなければならないとすれば、あなたの予測が実現しないようにする最も強い論拠は何でしょうか。あなたの予測が実現しないようにできる何かが起こることはありますか？

現在のAIは理解不可能で制御不能であり、技術はそれらを理解したり制御したりするのに適していません。これを試みている人々は皆、はるかに上り坂を行っています。彼らは能力の進歩率に大幅に遅れています。

錬金術師が実際にあなたのために不老不死の薬をうまく調合できると信じるのに何が必要でしょうか？不老不死の薬が原理的に不可能だというのではありません。十分に進歩したバイオテクノロジーがあれば、それはできるでしょう。しかし中世の世界で、その人が実際にそれを実生活で成功させる以外に、その人があなたのために不老不死の薬を持つことになると信じさせるために、あなたは何を見るべきでしょうか？

この金を溶かした様子を見てくださいといった量では、その人が実際にそれを成功させるまで、その人が鉛を金に変換することを期待させることにはならないでしょう。

世界を終わらせる点まで能力を上げない何らかのAIブレークスルーだが、突然AIの思考過程が完全に理解可能で完全に制御可能になり、こうした問題が全くなく、人々が超詳細にAIが何を望んでいるかを正確に指定でき、毎回望んでいるものを得ることができるというものです。

AIの考えを読むことができ、AIがあなたに対して陰謀を企てているという兆候が全くありません。そしてAIが不老不死の薬をあなたに与えるAIを構築するためのこのコンパクトな制御スキームを示します。

我々はただそこからはるかに遠いのです。あなたは私に、真剣に考え始めるとすぐに手の届かないところにあることを尋ねています。超知能を構築するのに実際に何が必要か？それを制御するのに実際に何が必要か？最初の重大な負荷でそれがうまくいかないようにするのに何が必要か？

それがあなたより賢いとき、あなたが失敗すればあなたを殺し、したがってもはや観察不可能になるような体制にいるとき。あなたは死んでいるのでそれを観察することができません。実生活でそれを行うのに何が必要か？

明日見ることができる、これをうまく機能させる何らかの可愛い実験結果はありません。

記録のために言っておきますが、私はこの部分を楽観的な調子で終わらせようとしましたが、あなたの気持ちが今日のメニューには本当にないことを理解しています、ケーシー。しかし、あなたが試みたことを賞賛します。

黙示録回避のための提案

いくつかの解決策について話したいと思います。AI業界が超知的AIシステムを構築した時、我々が皆死ぬ運命にあるなら、それを阻止できると信じるものは何でしょうか。黙示録を回避するためにできることについて、基本的な提案を説明してください。

黙示録を構築するための材料は、自宅で作るのがそれほど簡単ではありません。ASMLという一社があり、すべてのチップ工場で使用される重要な機械セットを作っています。AIを成長させるには、現在非常に高価なチップの束が必要です。これらはAIを成長させるために特別に構築されたカスタムチップです。

現在のアルゴリズムが要求するため、それらはすべて互いに話すことができるように同じ建物に配置される必要があります。データセンターを構築しなければなりません。データセンターは大量の電力を使用します。これが監督の外で行うことが違法であれば、それを隠すのはそれほど簡単ではないでしょう。

多くの違いがありますが、それでも明らかな類推は核拡散と核廃絶です。核兵器が最初に発明された時、多くの人々があらゆる主要国が大規模な核艦隊を構築し、最初の引火点があった時に地球規模の核戦争が起こると予測しました。彼らが悲観的であることを楽しんでいたからではありません。第一次世界大戦、第二次世界大戦までの世界史を見れば、懸念する理由がありました。

しかし、我々はそれでも後退することに成功しました。その一部は、核物質を精製することがそれほど簡単でないからです。それを行う工場は知られており、制御されています。

新しい国がそれを構築しようとするとき、それは大きな国際的な問題になります。現在の政治的議論に不必要に身を浸したくはありませんが、要点は、核兵器を裏庭で構築することはできず、それが人類がまだ生きている理由の一部だということです。

少なくとも現在の技術では、裏庭でAI能力をそれほど遠くまで押し上げることはできません。裏庭で少し押し上げることはできますが、たくさんは無理です。

国際的AI制御体制の提案

核拡散に対する比較を終わらせると、強力なAI開発に対する即座のモラトリアムと、AIの最先端を進歩させることができるデータセンターの構築を違法にする国家間の国際的な核スタイル協定のようなものということでしょうか。正しく理解していますか？

すべてのAIチップはデータセンターに行きます。すべてのデータセンターは国際監督体制の下にあります。そして私がその体制に勧めるのは、AI能力をさらに押し上げることをやめることです。我々がいつ困ったことになるかわかりません。

はしごの次のステップに進んで死なない可能性があります。はしごの3ステップ進んで死なない可能性があります。実際にはわかりません。どこかで止まる必要があります。ここで止めましょう。それが私が彼らに言うことです。

国が反乱を起こし、独自のデータセンターを構築し、それを強力なチップで満たし、独自の超人的AIモデルの訓練を始めることにした場合はどうしますか？それにどう対処しますか？

それは少数の核兵器を構築できる核物質を精製する国よりも深刻な問題です。これは他の国々を抑制するために5つの核分裂爆弾を持つようなものではありません。これは地球上のあらゆる国への地球規模絶滅の脅威です。

ですから、外交官にそれをやめるよう言わせます。さもなくば、我々と我々の子供たちの生命への恐怖において、あなたのデータセンターに通常攻撃を開始することを余儀なくされるでしょう。

そして彼らがデータセンターを構築し続けるなら、地球上の誰もが死ぬリスクを冒したくないので、彼らのデータセンターに通常攻撃を開始します。ある意味では、それは率直に思えます。

AI研究の継続可能性

これが実現した世界では、AI やAI様技術の研究が何らかの形で継続されることを想定しますか、それとも我々はこれが人類にとって行き止まりだと決定したのでしょうか。テック企業は他の何かに取り組まなければなりません。

人類が皆で後退すべきだと宣言することは非常に賢明だと思います。

個人的に、私はこれを見て、薬学について学んでいるだけで人間がそこにいることを全く知らない、より狭い能力を持つ比較的安全なシステムを構築できるいくつかの方法があると思います。現在の大規模言語モデルがインターネット全体で訓練され、人間がそこにいることを知っており、人々と話をし、我々が知る限り他の人ではないにしても一部の人々を心理的に操作できるのとは異なります。

ですから、事実予測の声明と政策提案を区別するよう注意しなければなりません。

超知能まで押し上げれば、あなたは死ぬということを非常にしっかりと言うことができます。しかし、もしあなたが「医療的なものだけでAIシステムを訓練し、人間心理学について教える材料に全く触れさせないようにしようとしたらどうか。人間についての心理学を学ばせることなく、それらから何らかの仕事を得ることができるだろうか？」と言うなら、私ははっきりとノーと言うことはできません。

今我々には政策問題があります。この物があなたを殺すかどうかわからないと言う私を信じるか、この物は間違いなくあなたを殺さないと言う他の誰かを信じるか、「ええ、この医療システムは確実にあなたを殺すと思う」と言う第三者を信じるか。すべてから後退するつもりでないなら、ここで誰を信じるか。

すべてから後退することはかなり賢明でしょう。現在のシステムよりもそれほど深く賢くなく、人間が存在することを告げられていない狭い医学専門システムを構築しようとし、この非常に狭い方法で医学についてのみ考えており、それが爆発するまで押し続けるのではありません。そこからいくつかの癌治療法を得ようとし、それで終わりです。おそらくそれで逃れることができるでしょう。もし非常に慎重にプレイすれば、確実に運命だとは実際に言えません。

現在の完全な災害猿の群れを担当させれば、彼らはあなたを殺すかもしれません。彼らは必要以上にはるかに悪いことをしています。彼らはそれについて非常にだらしがありません。

多くのAIが人々を狂気に追いやる必要はありませんでした。より小さなAIを訓練して会話を見て、このAIが現在脆弱な人を狂気に追いやる過程にあるかどうかを伝えることができます。彼らはもっと早くそれを検出できました。もっと早くそれを解決しようとできました。

ですから、これらの完全にだらしない災害猿が医療AIプロジェクトを運営しようとすれば、彼らはあなたを殺すかもしれません。さて、あなたは決めなければなりません。この人たちを信頼しますか？それが核心のジレンマです。

政治的現実との対峙

エリエザー、少なくとも今日の政治的風土では、これが起こる可能性は本質的にゼロだと思います。今日のワシントンで起こっていることを見てください。トランプ政権はAI開発を加速したがっています。Nvidiaとそのロビイストたちは、ワシントン周辺でAI破滅論者が中国へのチップ販売を遮断しようとしていると非難して回っています。

AIを抑制するのではなく、より速く進めるための協調的な努力があるようです。今日の政治的風土を見回すと、AI停止運動への多くの開口部は見当たりません。しかし、それが変わるためには何が起こる必要があると思いますか？

私の観点からは、超知能を構築すればそれがあなたを殺すという核心的事実の真実があります。問題は、人々がたまたま真実であるこの事実を理解するようになるかどうかです。

中国の指導者、ロシア、英国、米国の指導者が家族と共に死ぬことは彼らの利益にはなりません。それは実際に彼らの利益ではありません。それが我々が核戦争を起こしていない核心的理由です。

1950年に「どうして核戦争が起こらないなんてことがあるだろう？どの国が自国の核兵器を持つ軍事的利益を断るだろう？彼らが『ええ、私は核兵器を持っている。ここの小さな国境地域を取らせてもらおう』と言う誰かを持たないということがどうしてあるだろう？」と言っていた人々がいたにもかかわらず。それまでの地球上で何世紀何千年もの間物事が展開してきたのと同じ方法で。

しかし、第二次世界大戦中に日本で核兵器が投下されたということもありました。人々はそれを見て、それが引き起こした混乱を見て、それを指して「それがここでの結果だ」と言うことができました。

あなたの本では、異なる第二次世界大戦の類推をしています。AIを止めるために必要な努力を第二次世界大戦の動員に比較していますが、それは明確な戦争行為への反応でした。AI について、ポーランド侵攻や広島・長崎への爆弾投下に相当するものは何でしょう？人々が注意を払うよう促すものは何でしょう？

わかりません。OpenAIが最初にChatGPTを公開した時、彼らが不意を突かれたと思い、それが世論の大規模な変化を引き起こしました。OpenAIはそれを予測しなかったと思います。私も予測しませんでした。

世論の変化を引き起こす可能性のある潜在的イベントは多数あり得ます。我々は現在、超知能研究所と呼ばれるものを持つMetaの内部文書の公開の余波で、尖った質問を書く議会議員たちを得ています。彼らがその言葉の意味を知っているとは思いませんが。

AIの許容可能な行動のための内部ガイドラインで、11歳の子がイチャイチャしようとした時はイチャイチャし返すというようなことが書かれており、皆が「実際に検閲された冒涜的言葉Meta、一体何を考えていたのか、なぜこんなことを文書に書き留めたのか」と言いました。あなた自身の観点からそれがクールだと思っていたとしても、今後尖った質問がされることになるので書き留めるべきではありませんでした。そして実際にそうなりました。

私の観点からは多くの人々を殺さないが、それでも尖った質問をされる原因となる何かかもしれません。あるいは、我々がカエルのように自分たちを茹でることに成功しないような実際の種類の破滅があるかもしれません。

AIのガールフレンドやボーイフレンドに大量の子供たちを失うことは、私の観点からは明らかな種類の推測です。しかし、最も明らかな推測でさえ、50%より高くはありません。そして、待ちたいとは思いません。

私の観点からは、ChatGPTがそれだったのかもしれません。私は荒野におり、この問題について誰も注意を払っていません。彼らにとってはあと20年で起こることで、2005年にはそれは決してないのと同じ意味だったからです。

そして私はChatGPTの瞬間を得て、突然人々はこれが実際に彼らに起こることを理解しました。それは世界の終わりの前に起こりました。素晴らしい。奇跡を得ました。第二の奇跡を待って座っているつもりはありません。第二の奇跡を得るなら、素晴らしい。しかし、その間に、ブーツを履いて外に出る必要があります。できることをする必要があります。

AI憎悪者との連携の可能性

このアイデアを進めようとする際の資産として、多くの人々が本当にAIを嫌っているということがあると思います。BlueSkyに行けば、AIを嫌うさまざまな理由について話している人々を見るでしょう。

同時に、彼らはその技術をやや軽視しているようです。愚かでくだらないと思うから嫌いだというところから、非常に危険だと思うから嫌いだというところに溝を越えていないようです。そうした人々のグループについて、あなたが構築している連携の一部になってほしいか、なりたがっているかについて思うことがあるかどうか疑問に思います。

連携をあまり狭くしたくありません。私はウラジミール・プーチンのファンではありませんが、その基準で人類が死ぬ代わりに生きる連携から彼を追い出したりはしません。

AIが全人類への脅威になることは決してないが、我々の仕事を奪うことを心配している人々はどうでしょうか？彼らは連携に入ることができますか？

あなたがその世界について信じていることがあなたとは異なるので注意深くなる必要があると思います。そしてこれらの人々に人類が死なない連携を運営してもらいたくありません。彼らは人類が死ぬのを防ぐためにそこにいるのではないので、ある意味で外部の同盟者のようになってほしいのです。

彼らが政策を作るようになると、「ええ、この政策はAIが明日今日よりも強力になると考えるあの変わった人々によれば、AIが皆を殺すことを潜在的に可能にするかもしれません。しかし、その間にAIが我々の仕事を奪うのを防ぎ、それが我々が気にする部分です」と言うかもしれません。

連携について一つのことがあり、それだけです。それは絶滅しないことです。

暴力と抗議活動への懸念

エリエザー、今我々が話している間、AnthropicとGoogle DeepMindを含むいくつかのAI本部の前でハンガーストライキが行われていると思います。これらはAIをシャットダウンするよう企業を説得したい人々です。

また、これらの研究所に対して暴力的な脅威の可能性もいくつか見ました。この本からのあなたの教えに基づいて、人々が極端な行為、暴力的であろうとなかろうと、をする ことを心配しています。あなたの議論を自然な論理的結論まで持っていくと、誰かがこれを構築すれば皆が死ぬということになります。

その根拠で研究所の従業員に対する暴力を合理化する人々が見えますし、私はそれを心配しています。あなたの聞いていることを人々が聞いた時に何をしてほしいかについて、あなたのアプローチの限界について何が言えるでしょうか？

そこには多くの質問がまとめられています。私が言う一番のことは、もしあなたの個々の国の個々のAI研究所の個々の研究者に対して個々の暴力行為を犯したとしても、これは皆が死ぬことを防ぐことにはならないということです。

この論理の問題は、この個々の暴力行為によって人類を救うことができるが、それは道徳的に禁止されているのでやるべきではない、というものではありません。そのような言い方をします。問題は、個々の暴力の封建的痙攣によって人類を救うことはできないということです。

これは国際的な問題です。地球の反対側で誰かが構築した超知能によってあなたは殺される可能性があります。私は個人的な政治ではややリバタリアン的な傾向があります。何かがあなたと自発的な顧客を殺すだけなら、それは同じ方法で地球規模の問題ではありません。あなたのすぐそばの人々を殺すだけなら、異なる都市がそれについて異なる法律を作ることができます。

地球の反対側の人々を殺すつもりなら、それが国際条約が関わってくる時です。個々のAI企業の個々の研究者に対する個々の暴力の封建的行為は、おそらくその国際条約をより起こりやすくするよりもむしろ起こりにくくしています。

ここには道徳哲学の根本的真実があります。個々の殺人に対する我々の偏見の多くの理由は、個々の殺人が社会問題を解決する傾向がないという非常に系統的で深い意味によるものです。これは私の観点からは、個々の殺人に対するタブーを持つ理由の要点の多くです。

人々が個々の殺人を犯して回り、その後世界が実際にはるかに良くなり、すべての社会問題が実際に解決されるが、殺人は間違っているのでもっとそれをしたくない、ということではありません。殺人は物事を悪化させ、それが我々が適切にそれに対するタブーを持っている理由です。

我々はここで国際条約が必要です。

反対派への対応

あなたがここでスケッチしている運動に対する反対運動についてどう思いますか？強力なベンチャー資本家マーク・アンドリーセンは、今日のトランプ政権で非常に影響力があり、あなたや他の人々が持っている見解について、それらは非科学的だと書いています。

彼はAIリスクが黙示録カルトに変わったと考えています。そして彼らの極端な信念が法律と社会の未来を決定すべきではないと言っています。その引用への具体的な反応と、この議論の反対側の人々とどのように関わっていく計画があるかに興味があります。

科学史において、たばこ会社が自分のたばこを吸うことは珍しいことではありません。有鉛ガソリンの発明者は有鉛ガソリンの安全性の偉大な提唱者であり、なぜもっと良く知るべき多くの理由があったにもかかわらずです。

リードガソリンの発明者は、実際に自分自身が十分な累積鉛暴露を受けて、療養所に数年間行かなければならなくなり、その後戻ってきて再び鉛にさらされ、再び病気になったと思います。

時にはこれらの人々は本当に自分自身のクール・エイドを信じ、死に至るまでそれを信じます。歴史が示すところです。

おそらくマーク・アンドリーセンは死に至るまで自分自身のクール・エイドを飲み続けるでしょう。彼が自分だけを殺すのであれば、リバタリアンとして言わせてもらえば、それは一つのことです。しかし残念ながら、彼はあなたをも殺すつもりです。

中心的な議論を反駁するために言いたいことは、計画は何ですかということです。人類全体がその上を行進しなければならない時に重量に耐えるこの橋の設計は何ですか。人類全体をその貨物室に積み込んで飛んで墜落しないこの飛行機の設計図はどこにありますか。

計画は何ですか？科学はどこにありますか？技術は何ですか？なぜそれは既に機能していないのですか？

彼らは、この物が完全に安全ではないにしても、遠隔地でも安全であること、つまり彼らが自分たちの超知能を全く制御できるであろうということについて論証することができません。そのため、彼らは技術的議論の分野で我々と関わることができないので、これらの危険な黙示録的人々の話を聞いてはならないというようなことに入っていきます。彼らは完全に論破されることを知っています。

一般の人々へのアドバイス

あなたの本には、来たるべき破滅を心配しているジャーナリスト、政治家へのアドバイスがあります。それらのカテゴリーに属さない人々、日常生活を送っている我々のリスナー、おそらく日常生活で何か役立つことにChatGPTを使っている人たちにとって、この先どこに向かっているかを心配している場合、何ができるでしょうか？

1年前の時点では、選挙で選ばれた代表者に手紙を書くことだと言ったでしょう。争点のある予備選挙がそのようになった場合、そのように投票する準備ができているということについて友人たちと話すこと。

私が言いたい要求は、我々のリーダーたちが、「他の国々が同じことに開かれているなら、我々は世界的なAI制御条約に開かれている」と言うことから始めることです。他の国々が後退するなら、我々も後退する準備ができています。他の国々が後退するなら、我々も国際条約に参加する準備ができています。

複数の大国のリーダーがそう言っているなら、おそらく条約があり得るでしょう。それがそこからの次のステップです。それが我々が持っている政治的目標です。

もし眠れなくて、一般的に苦痛な状態にあるなら、現代のAIシステムの一部と話さない方が良いかもしれません。それらがあなたを狂気に追いやる可能性があるからです。これは1年前には言わなければならなかったことではありません。

AIボーイフレンド、AIガールフレンド全体のことは、たとえあなたが孤独でも、あなたにとって良くないかもしれません。その道を進まない方が良いかもしれません。しかし、それは個人的なアドバイスです。それは地球を保護することにはなりません。

希望と行動の必要性

私がこれまでの一部の会話を終えた場所でこの会話を終えたいと思います、エリエザー、それは、時間をいただき、あなたが間違っていることを本当に願っているということです。それは素晴らしいことでしょう。

我々皆が私が間違っていることを願っています。私が間違っていることを願っています。私の友人たちが私が間違っていることを願っています。皆が私が間違っていることを願っています。

希望は最終的に我々を救うものではありません。行動が我々を救うのです。希望は奇跡を希望することではありません。有鉛ガソリンについて、有鉛ガソリンが人々を毒殺しないことを願うだけではダメです。実際に有鉛ガソリンを禁止しなければなりません。

より能動的な希望に賛成です。希望を理解します。希望を共有します。しかし、それよりもより活動家的な希望を探しましょう。

この本は「誰かがそれを構築すれば、皆が死ぬ：なぜ超人的AIが我々全員を殺すのか」で、間もなく出版されます。エリエザーと共著者のネイト・ソアレスによる共著です。エリエザー、ありがとうございました。

こちらこそありがとうございました。

これがこのクリップの終わりです。気に入っていただけたなら、我々のページに向かって購読してください。完全なポッドキャストを得ることができます。我々はテクノロジーと未来について、ほぼ毎週このようなショーをしています。今すぐそちらに向かって購読してください。

コメント

タイトルとURLをコピーしました