この動画は、OpenAIの元社員であるSteven AdlerとRobert Wrightが、AI開発競争の危険性と国際協力の必要性について議論する対談である。Adlerは2020年からOpenAIで安全性担当として勤務し、GPT-4の展開プロセスを主導した経験を持つ。対談では、AGI開発競争が世界にもたらすリスク、米中間のAI競争の問題点、そして持続可能なAI開発のための国際的な枠組みの必要性について詳しく論じられている。特に、現在の競争的なアプローチではなく、相互検証可能な協定を通じた協調的なアプローチの重要性が強調されている。
はじめに
こんにちは、スティーブン。調子はいかがですか。
おかげさまで元気です。お招きいただきありがとうございます。
こちらこそ、お呼びできて光栄です。この対談をとても楽しみにしています。まず自己紹介をさせてください。私はロバート・ライト、Nonzero Newsletterの発行者で、これはNonzeroポッドキャストです。あなたはスティーブン・アドラー、その名の通り「Steven Adler’s Substack」の発行者で、stevenaddler.substack.comで読むことができます。
あなたは数ヶ月前までOpenAIで働いていた方でもあります。2020年からそこにいらして、退職を決められました。退職後、AI開発のペースについて懸念を表明されました。AGI競争、つまり汎用人工知能に向けた競争は、巨大なダウンサイドを伴う非常にリスキーなギャンブルだと述べられたと報じられています。
OpenAIでの体験
あなたはOpenAIの元社員たちと一緒に、OpenAIが非営利地位を放棄するという野望に対して、アミカスブリーフと呼ぶべきものを提出されました。ブリーフを提出されて以降、彼らは実際にそれを放棄すると発表しましたが、私としては少し懐疑的な理由があります。
しかし、その話に入る前に、まずあなたのOpenAIでの体験について聞かせてください。あなたは非常に特別な時期にそこにいらっしゃいましたね。2022年に画像生成が人々の注目を集め始め、DALLEが話題になりました。そして2022年末か2023年初めにChatGPT-3.5が登場して大きな注目を集め、数ヶ月後に4.0が出て人々を驚かせました。
あなたは2020年からそこにいらっしゃいましたが、これらのプロジェクト、特に3.5と4.0にどのような関わりを持っていたのでしょうか。
最も効率的な説明方法を考えているのですが、様々な責任の度合いでそれらすべてに関わったと言えると思います。
DALLE 2のローンチは2020年4月だったと記憶しています。あれは画像生成装置でしたね。私にとって、私の人生の人々が初めて私の勤務先の会社を知った瞬間だったと思います。私の観点では、初期のGPT-3が本当に衝撃的でした。それ以前にも様々なものがありましたが、DALLE 2はOpenAIが本当にニューヨーク・タイムズに取り上げられ、AIで何ができるかについて人々の想像力をかき立てた時でした。
GPT-3.0はそれほど一般的な注目は集めていませんでした。一部のジャーナリストがその時点でLLMについて書き始めていましたが、3.5が本当に人々の注目を集めました。
GPT-4の開発と展開
3.5と4.0への関わりはどのようなものでしたか。
私の役割を説明する通常の方法は、3つか4つの異なる章があったということです。最初に、OpenAIで様々な製品の製品安全性を率いていました。これにはGPT-3からDALLE 2あたりまでが含まれていました。
GPT-4の章では、モデルの訓練がほぼ完了する少し前から、展開プロセスを率いていました。2023年春の完全な本番ローンチまでではなく、2022年秋の時点で特定の形式の本番テストの許可を得るまででした。その後、会社でより長期的なAIガバナンスとAGI準備の問題に取り組むようになりました。
4.0の展開を担当するというのは、多くの安全関連の仕事と同様に、安全関連の仕事だったのでしょうか。日々の業務には何が含まれていたのでしょうか。
担当というのは明らかに表現が強すぎます。私はメラ・ムラティや他のOpenAIの人々を支援していました。これらの決定は最終的に、OpenAIとMicrosoftの合同委員会である展開安全委員会によって承認される必要がありました。
私の役割は確かに安全の部分が大きかったのですが、これはより多くの異なる作業の流れを管理し、そのような展開決定をするのに快適に感じられる点に到達するために、会社の異なる部分から何が起こる必要があるかを把握することでした。
技術的な驚きと発見
それで、何かとんでもないことが起こっているという認識はありましたか。そしてもしそうなら、どれくらい早い段階でそれに気づいたのでしょうか。深層学習と呼ばれるAIのこの特別な革命のこの段階で、あなたの会社がその震源地にあったわけです。その歴史的重要性を完全に理解していましたか。
それは非常にワイルドな機会で、かなりのプレッシャーと複雑さがありました、それを正しく進めるために。
少しポストトレーニングが施されたGPT-4のバージョンがあった時、つまりそれらがもはや単なる生のベースモデルではなく、もう少し指示しやすくなっていた時、これらの大規模言語モデルが日常的な作業で本当に有用である初めての時のように感じました。
彼らが行うことができる様々なことを見ていて、それらがどのようにしてそれを行うことができるのか必ずしも知らなかった。能力を見れば、おそらくトレーニングデータのこの部分でそれを習得したのだろうと理解できましたが、例えばGPT-4で発見した初期のことの一つは、コンピューターコードを書いてSVGグラフィックスを本質的にレンダリングすることで、視覚的なイメージを作成できることでした。これはテキストでのみ訓練されたモデルであるにもかかわらず、テキストイン・テキストアウトのモデルでしたが、作成するイメージとある程度の一貫性を持つテキストを生成することができました。
あるいはGPT-3は基本的な算術が本当に苦手でした。小さな数字を確実に掛け算することができませんでした。GPT-4では、当時は15桁の数字を2つ与えて、それらを互いに掛け算させることができました。それが数学的に正確になるわけではありませんでした。もし本当に数学が正しければ、それは理解できるかもしれません。代わりに、ただ100万分の1パーセント程度ずれているだけでした。これらの15桁の数字を互いに掛け算していて、最後に7かそこらでずれているだけでした。とても奇妙でした。
三目並べで勝つように言えば、人間的に可能な限り良い仕事をしますが、三目並べで負けるように言うと、より困難になります。そのような奇妙な癖や欠陥があります。明らかに私たちがそうするような意味で概念を理解していません。
概念の表現について
しかし、早い段階で確信し、今でも信じているのは、ニューラルネット内のどこかで概念を表現している意味があるということですか。
はい、そう思いますが、このような質問はしばしば、人々が異なることを何を意味するかに非常に敏感だと感じます。何かを表現するということが何を意味するかのようにです。
AIシステムが概念をあなたに説明できることと、それに基づいて一貫して行動できることと、最終的にそれに従うことを選択するかどうかには確実に違いがあります。モデルは三目並べで負けるということがどういう意味かをあなたに伝えることができるかもしれません。三目並べで負ける具体的なステップさえ伝えることができるかもしれませんが、異なる文脈で三目並べをプレイしている時、負けるように言われてもそれらの動きをプレイしないかもしれません。
ポストトレーニングの重要性
ポストトレーニングを投入すると、いくつかのことで本当に良くなり、より人間の心のように見え始めるという興味深いことをおっしゃいました。用語について知らない人のために説明すると、奇妙な癖があるのは、プレトレーニングとポストトレーニングがあるが、トレーニングはないということです。
これは単なる次の単語予測子、単なる自動補完です。それがプレトレーニングで、それは多くのことをしますが、本当に印象的になったのは、ファインチューニング、人間のフィードバックからの強化学習などを含むポストトレーニングを追加した時でした。
この時のOpenAIでの雰囲気について質問があります。イリヤ・サツケヴァーについての報告があります。有名な天才で、深層学習の初期の重要な発展に関わっていました。OpenAIの主任科学者だったと思います。もうそこにはいませんが、「AGIを感じろ」というマントラを広めたことで有名でした。
彼がメールにそうサインしていたのか、廊下でそれをつぶやいて歩いていたのか、ペップラリーがあったのか、人々がそれを唱えていたのか分からないのですが、その用語はどのように広まったのでしょうか。
イリヤは確実にそれに大きな役割を果たしましたが、他の誰も広めるのを手伝ったり、最初にそれを言ったりしたかもしれないと言うのは嘘になります。
「AGIを感じろ」について理解すべき重要なことは、それは確実にお祝いのマントラとして意図されていなかったということです。それはもっと「私たちが構築しているものの重大さと、それが時間とともにどれほど現実的になるかを理解しろ」という意味でした。
イリヤは本当にこの点で素晴らしい仕事をしました。会社の全体会議があった時の例として、会社に何人いた時でも、様々なトピックが混在していました。いくつかは他のテクノロジー会社で起こりうる平凡な日常業務でしたが、いくつかは「ところで、AIはこのクレイジーなことをしていて、それは良くなり続けるだろうし、それが何を意味するのか、どうやってコントロールするのか本当にわからない」というようなものでした。
これらがどれほど衝撃的に異なるかを見失いがちでした。特に役割がもっと現在の会社の部分にある人々にとって、OpenAIがこのクレイジーなことに成功したら、あるいは他の誰かが成功したら実際に何が起こるかをそれほど先まで考えない人々にとって。
イリヤの役割は、そのテープを前に進めて、指数曲線に立っている可能性があることが実際にどのような感じかを伝えようとすることでした。指数曲線は少しの間線形に見えて、その後突然そうではなくなります。多くの人々がそれほど経験を持たない領域です。
興奮と不安の混在
重力感と同時に興奮もあったように聞こえます。
確実に重力感です。OpenAIの誰もが日によって異なる感情の範囲を感じていると思います。私は最終的にこれらのシステムを構築することから何が起こるかについて非常に懸念している人間ですが、それでも、新しい製品が構築されたり、私は芸術が得意ではなく何も描けませんが、DALLE 2が出た時、初めて視覚的に想像力を実際に表現できるような気がしました。それは本当にクールで強力でした。
同時に、システムがより有能になり続けるにつれて、それが何を必要とするのか全く把握できていないように感じた日もありました。時には、これがどれほど困難かもしれないかを知的に理解する点で、また他の時には、私たちの実践が適切であるかどうかという点で。
安全性への関心
あなたはOpenAIに安全側の人として入社されたようですね。一部の安全性の人々は、そこで意見を述べている人々の中には、コンピューター科学者ではない人もいると聞きますが、あなたは機械学習の大学院学位を持っているので、技術的に非常に詳しいです。
AI安全界隈の人々の固定観念があります。それは、これらの人々の多くが合理主義コミュニティや効果的利他主義コミュニティ、あるいはその両方から来ているというものです。
私は2017年に初めてエリエザー・ユドコウスキーに詳しく接したと思います。コンサルティング会社内でAIの最前線で何が起こっているかの研究プロジェクトに取り組んでいて、これがビジネスにとって何を意味するかもしれないかを調べていました。これはおそらく初めてOpenAIについて聞いた時でした。同時に、エリエザーが運営を手伝っている機械知能研究所（MIRI）について学びました。
リスクの種類について
その系統の安全性の人々に特徴的なのは、宇宙的な破滅シナリオです。一種類の安全性懸念は、人々がそれを生物兵器製造に使うでしょう。自律的なAIが暴走して制御不能になるかもしれませんが、最終的には制御下に置くでしょう。しかし多くの損害を与えるでしょう。多くの社会的に不安定化をもたらすもの、おそらく大量の失業など。
そして AI乗っ取り懸念があります。最終的に私たちがもはや存在しなくなるか、映画『マトリックス』のように従属させられるかもしれません。AIが地球を運営するだけになるかもしれません。
その宇宙的バージョンの破滅について、どれほど真剣に受け止めているか聞きたいと思います。真剣に受け止めるのは決してクレイジーではないと思います。私はむしろ不可知論的ですが、それは特に合理主義コミュニティのその部分と関連しています。
とても多くの異なる糸があるので、それらを分けてみましょう。
AIが破滅的リスクに貢献する可能性がある方法について私がよく考えることがあります。これには多くの異なる種類があります。悪いアクターがAIシステムを使って何をするかもしれません。また、AIシステムが何らかの理由で何か悪いことをする意志を持つ場合もあります。これもまた、悪いアクターが彼らに悪いことを促したり、やるように言ったりすることかもしれません。また、AIシステムが何らかの理由で人間が持つものと同じではない衝動や目標のようなものを発達させることもあるかもしれません。
人々は何かが破滅的であることの意味について異なるレベルを論じます。確実に、AIが人間の絶滅イベントにつながる可能性がある、あるいはそうなるだろうと論じる人々がいます。それが巨大な大量死傷者イベントになるだろうが、おそらく絶滅まではいかないと論じる人々もいます。人間が未来をコントロールできなくなるだろうと論じる人々もいます。おそらくこれは死傷者なしに起こるかもしれません。AIが単にショーを運営するようになり、人間は乗り物に乗っているだけで、望んでも異なる決定をすることができません。
それらすべてが、もし起これば、私にはかなり悪く思えます。それらは完全な絶滅シナリオを信じることに依存しているとは思いません。
競争の動学
これらのリスクにほぼ共通していることは、あなたが嘆いた競争の動学によって悪化させられる可能性があることです。競争の動学は否定できないと思います。
その動学を正当化する人々の中には、「私たちは良い奴らだから、もし私たちが最初にそこに到達したら、正しくやるだろう。アライメントを解決するか何かをするだろう。私たちが最初に到達すれば大丈夫だろう」と言う人がいます。
それが競争の動学を駆動しているというより、競争者の心の中でそれを正当化するのに役立っているのでしょうか。
それの一部だと思います。「もし私が最初にそこに到達したら、責任を持ってそれを使うだろう」という信念と、「大きなリスクを負うことなく、そこに到達する方法を知っている」という信念を分けたいと思います。これらは異なります。
これは良いタイミングです。実際に私は米中のAI競争について、そして競争や対立を駆動する異なることは何かについての記事をバックグラウンドで作業しています。
確実に、「もし私たちが最初にそこに到達したら、私たちはそれを善のために使うだろう」というものがあります。「敵対者が強力なAIシステムを持つことで何をするかもしれないかという合理的な恐怖もある」と思います。これらの技術は軍事的に重要になるでしょう。国家が競合者が非常に強力なAIシステムを開発することを恐れ、自分たちがそれを持たないことを恐れるのは理解できます。
明確にするために、私はそれが世界にとって良い均衡だとは思いません。これらは協調の失敗だと思います。私がこの記事で「遺憾な競争」と呼んでいるものです。あなたと私がそれぞれ、私たちがAGIを構築しないことを好むかもしれないという考えです。リスクを取りたくありません。しかし、もしあなたがそれを構築するつもりなら、私も構築しなければならないように感じます。その逆もそうです。その結果は、私たちがそれはリスキーだと思っても、私たちが他の人がそれを持つことを恐れているので、ここに私たち両方がそれを構築している均衡になってしまいます。構築しないことで協調する方法がないと思うからです。
私にとって今日最も重要な問題の一つは、他の国家がAGIを追求していないことを伝える検証可能なメカニズムのようなものをどうやって理解できるかです。そしてそれが協力の基盤になり得ます。おそらく私たちは両方ともAGIを構築するつもりですが、私たちが従うであろう特定の安全基準を設けてそれを行うでしょう。あるいは、私たちは減速することに同意したり、これらのシステムを全く開発しないことにさえ同意できるかもしれません。
米中関係と長期的視点
米中問題は一種の波及効果を持っています。米国内の競争を激化させるのにも役立つと思います。これらの会社を規制することについて誰かが話すと、「中国との実存的競争にいるから、そんなことはできない」と言います。実際、エネルギーなどのための政府補助金が欲しいと言います。
場合によってはそれが皮肉なロビー活動の話法であると論じることもできます。私は実際に実験をしました。政府のAI政策への入力要請に対して、Google、Anthropic、OpenAIの3社が回答したのですが、中国との競争に勝つことの重要性を強調した度合いで会社をランク付けすると、補助金や規制なしを要求した度合いと対応するだろうと仮説を立てました。実際にChatGPTに両方についてランク付けしてもらったところ、他のLLMも、OpenAIが両方のトップにあることに皆同意しました。
ダリオ・アモデイが安全性懸念からOpenAIを離れてAnthropicを設立した頃にあなたがOpenAIに現れましたが、彼は中国競争で最も熱心な人の一人だと思います。彼の場合は、皮肉なロビー的理由というより、おそらくイデオロギー的理由です。
彼は中国より十分に先に進めば、私たちは減速するだろうという考えを持っています。私はそれについて懐疑的ですが、とにかく、これらすべてが質問への前置きです。
まず小さな質問ですが、Nathan LenzaのポッドキャストCognitive Revolutionで、あなたが中国への先進AIチップと機器の輸出制限を支持していると推測したのですが、それは正しいですか。
大まかに言えばそうです。その支持の程度はおそらく詳細によるでしょうが、はい。
それは実際に安全性コミュニティでかなり一般的だと思います。
そう思います。あなたが気づいているのは、実際は競争を駆使しているこの競争フレーミング内でも、競争に勝つ方法は2つあるということです。自分を加速させるか、敵対者を減速させるかです。
減速させることには多くのメリットがあると思います。それは私にとって非常に自然なことを信じることです。少し躊躇する二次的な理由があるかもしれません。米国が中国を減速させようとする場合、それが中国を追い詰められた感覚にさせ、台湾でより攻撃的な行動を取る可能性を高めるかどうかという公正な質問があると思います。
そうですね。何度も指摘して申し訳ないのですが、台湾の工場から出てくる先進チップが西側には来るが中国には来ないようになったので、それは何としても中国の侵攻の可能性を高めるだろうと思います。戦争の過程で工場がおそらく爆破されるか、他の方法で無効化されるでしょうから。
中国を減速させることと私たち自身の努力を加速させることの両方が台湾をめぐる緊張の可能性を高めると思います。これは実際に米国が競争でいくつかの勝利を得ることによってというより、それは不明な経験的主張ですが、確実に両方のアプローチを検討すべきだと思います。米国が単に自分自身を加速させることによってこの競争でいくつかの勝利を得る可能性は非常に低いと思います。
実際、強力なAIがどのように機能するかについての私のメンタルモデルでは、米国が非常に強力なAIシステムに中国より先に到達したとしても、世界にとって非常に悪い結果になる多くの方法があると思います。
私が好む枠組みは競争についてではなく、封じ込めについてです。米国が中国を阻止する方法、そして中国もおそらく米国について同じように感じていることに注目してください。彼らにリスクをもたらす非常に強力なAIシステムを開発することから。
この枠組みは、あなたたちが互いに封じ込め合い、他方がAGIを構築していないことを検証できるかというものです。そうでなければ、最初にそこに到達しようと競争することは、最終的にうまくいかないと思うからです。
封じ込めと検証
まず第一に、加速と減速について明確にしたいのですが、前者は後者に伴うものだと私が言おうとしていた点の一つです。減速努力は、「私たちの会社を減速させることはできない、規制することはできない、これやあれをすることはできない」という一連の話法の一部だからです。
それでは、なぜ私たちは中国を封じ込め、彼らのAI進歩を妨げる必要があると思うのでしょうか。彼らがAIで何をするのを恐れているのでしょうか。
特に具体的な恐怖があるわけではありませんが、競争のために作られる議論は、AIが過去一世紀で最も重要な軍事技術になるかもしれないというようなものです。それは非常に強力な軍事的優位性を与える可能性があります。もしそれが真実だと信じるなら、正しい結果は競争することではありません。あなたたちは中国がこれらの非常に強力な軍事AI技術を開発することを恐れています。中国も米国がこれらの強力な軍事AI技術を開発することを恐れています。あなたたちがどちらもこれらを最終的に開発しないようにする方法はありますか。
つまり、まず第一に、加速と減速について、確かに、前者は後者に含まれるか、本質的にリンクしているようです。減速努力は「私たちの会社を減速させることはできない」という一連の話法の一部だからです。
ダリオ・アモデイはいつか私たちが十分に快適に先行しているだろうと言っていますが、私は懐疑的です。しかし、とにかく、当面の間、両方が起こっています。
私自身の見解は、これらのリスクをかなり真剣に受け止めるなら、ほとんどのリスクを含む非常に重大なもので、私はかなり確実に起こるだろうと思います。リスクとして、実現されるのを防ぐかもしれませんが、実際のリスクとして。そして完全なAI乗っ取りは否定しません。長期的には、本当に良い仕事をするために広範囲な国際協力なしに彼らを封じ込めることは不可能だと想像するのは私には思えます。
そうですね、そうです。これは私が検証可能な非開発に向けて身振りしていることです。米国は中国を封じ込めたい、中国は米国を封じ込めたい。問題の一部は、互いがAGIを追求していないことを検証する既知の方法が今日ないことです。しかし、相互不信を実際に克服するのに十分に強力な条約を考え出すのは、両国が重要だと考える技術において、私には不可能とは思えません。
これは全く新しいことではありません。化学兵器禁止条約のようなものがあります。米国と中国の両方がこれに加盟しており、実際にほぼ全世界が加盟しています。これらの条約は完璧ではありません。時々物事が通り抜けるかもしれません。AIでも条約があって、周辺での多少の不正があるかもしれませんが、それは残念で予想されることです。それでも、そうでなければリスキーな行動の広い範囲を排除し、これらの一部を周辺に押しやることができれば、本当にインパクトがあるかもしれません。人々は強力な軍事AIシステムを堂々と構築することはできません。様々な方法で秘密裏にそれを行う必要があり、したがってこれを追求するために取ることができる行動の種類がより制限されます。
そこには本当に利益があると思います。
国際協力の必要性
はい、同意します。まず第一に、国際ガバナンスの面で本当に印象的な成果がありました。最近、特に後退がありましたが、それは実現可能です。AIは技術的な問題として、化学兵器や核兵器よりも大きな挑戦だとも言いたいと思います。透明性のレベル、多くの点で、それはより捉えにくい技術だからです。
核兵器の場合のような、よく施行された核合意よりも挑戦的でないと思いますか。
ここでは非常に情報に基づいた見解を持っているとは思いません。これらの条約の一部がすでに存在し、他のものは存在しないということ以外には。そして、それは表面上、それらが実現可能であったという証拠です。また、国家がそれを行う動機を持っていたということも。現時点でAIではそうであるかわからないという点があります。
会話と問題について本当にフラストレーションを感じることは、チップ規制を支持し、この政策立場を明確にする必要性をほとんど見ていない安全性コミュニティの多くの人々の問題です。しかし、私が言うなら、あなたが私のように広範囲な国際協力が必要だと信じ、前例のない種類の協力が必要だと個人的に思うなら、まず第一に、多くの人々の信頼できる見積もりから判断すると、私たちは急がなければなりません。そして、それは国際協力問題を解決しなければならないということを意味します。
まず第一に、AGIに到達する前に、私たちは国際協力問題を解決しなければならないと言いたいと思います。多くの人々の信頼できる見積もりから判断すると、私たちは急がなければならず、それは中国との関係を方向転換しなければならないということを意味し、私たちは今すぐ始めるべきです。
もしあなたが彼らの観点から、これらのチップ規制が事実上の宣戦布告に等しいということを理解していないなら、他の国の人々の立場に十分に身を置いていないと思います。
一方では、「これは全体の未来です、これは国際的支配の秘密です、そして私たちがそれを持ち、あなたたちは持たないようにするつもりです。そして、はい、工場はあなたたちが自国の一部だと考えているこの島にあり、あなたたちはそれを乗っ取ることができるかもしれませんが、私たちはあなたたちにそれを持たせるつもりはありません」と言っています。
私たちが協調した努力をして中国との関係を改善することを開始し、中国との関係を優先しない限り、関係を方向転換するために何が起こるのかを誰も説明してくれないことに、少なくとも聞きたいと思います。実質的にAI安全性コミュニティで私が今言ったことを言っている人がほとんどいない理由がわからないのです。
これについて対象レベルの質問と、その周りのメタについて取り組んでみましょう。チップ規制は敵対的と見なされるのはおそらく真実だと思います。米国が同様の根拠で自分自身を加速させることも敵対的だと読まれると思います。私たちが中国を恐れて、中国より先にAGIに到達したいので、より速く競争しようとしているか、中国を恐れて、中国より先にAGIに到達したいので減速させようとしているかに関わらず、これらは両方とも正しく、合理的に攻撃的であり、不信を示すものとして理解されると思います。
それが正当化されるかどうかは異なる質問だと思いますが、チップ規制が攻撃行為であり、進行中の他のことがそうでないとは思いません。
それには例外を取らせてください。日本人が真珠湾を爆撃した理由の一つは、私たちが彼らの石油供給を断った、石油禁輸があったからです。もし私たちがそれをしていなかったら、彼らは私たちが石油を使っていることに文句を言わなかったでしょう。人々が正当に自分のものだと思うものを拒否することと、単に自分の道を進み、彼らにも同じことをすることを許可することとの間には、非常に異なる心理的インパクトがあると思います。しかし、とにかく続けてください。
あなたの世界観では、これはチップが台湾から来ているために独特に悪い拒否なのでしょうか、それとももしこれらの工場が常にテキサスから来ていて、米国が中国に売らないことを決めたとしても、同様の攻撃行為と見なすでしょうか。
台湾のことが、これを行うことを独特に不安定にする種類のことだと思います。しかし、たとえそれらがテキサスから来ていたとしても、それでも一種の攻撃行為として見られるだろうと言いたいと思います。もし私と同じように、関係を急速に方向転換する必要があると同意するなら、それを継続的に激化させる以外の何かを考える必要があります。
最低限でも、ここで最もフラストレーションを感じるのは、ダリオ・アモデイがチップ規制を行い、自分たちのものを加速させ、彼が「明確な軍事的支配」と呼ぶ点に到達し、その後我々と西側の同盟国が中国が反民主的な道を放棄するまで技術的統制を通じて支配を維持すべきだと言っていることです。体制変更を意味するのか何なのかわかりませんが、とにかく、なぜ彼らが言わないのか理解できないのは、このレバーを使用する目標が中国の政府システムを変革することではない、そのための時間はないし、最近の歴史はそれがめったにうまくいかないことを示している、しかしあなたが支持するような協力的な取り決めに彼らを押し込むためだということです。
「AI に関する道路のルールに同意するにつれて、段階的にチップ規制を解除し、ゆっくりとこれらの協力的な取り決めに組み込まれていく」と誰も言っていません。誰かがそれを言っているのでしょうか。
あなたがたくさんのことを言ったので、すべてに対して主張しているとは言いたくありません。申し訳ありません、他の人々が私に与えたフラストレーションをあなたに向けています。
私の世界観は、米中競争の正しい終結は、それが競争ではないと認識することです。私が「封じ込めと検証」と呼んでいるものです。米国と中国の両方が、他方がこの強力な技術を開発しないことに利益があると認識し、他方がそれを構築していないことを検証する方法に到達する必要があります。
実際、このピースで様々な方法でテープを前に進めることができると思います。今日頃出るかもしれませんし、明日出るかもしれません。ダリオの例では、あなたが正しく述べているように、米国と西側同盟国が大きなリードを得て、これを使って中国から譲歩を引き出します。中国は米国との紛争を避ける代わりに経済的利益のために、これを追求することを停止することに同意します。
正しい質問は、これがどのように起こるかということです。米国が非常に強力な他の国家に対してこれを引き出すためにどれほど大きなリードが必要か、そしてより重要なことに、なぜ米国は中国が実際に姿勢を変えて、もはやAGIを追求しようとしていないことを確信するのかということです。
ここで私が二重拘束と呼ぶような厄介なものに遭遇すると思います。すべての分岐がここで困難です。米国が中国が停止したことを検証する方法があるなら、それは素晴らしいニュースです。それが競争を終わらせるために必要なことです。しかし、なぜ今日そのようなことを追求して、これを緩和し、この紛争を避けようとしないのでしょうか。
あるいは、米国が最初にそこに到達した時点でも、中国がAGIの構築を停止したことを実際に検証することができないかもしれません。それは本当に困難な状況です。米国が競争に勝ったと思う人もいるかもしれません。米国がAGIを構築し、中国より先にそこに到達したからです。米国が実際に中国が競合するAGI開発努力を停止していることを検証できないなら、競争は終わっていません。AIでのリードは変わります、飛び越えられる可能性があります。米国は今日飛び越えられることを心配しています。中国はAGIを構築するためにより必死に競争し、私たちが話してきたようなあらゆる種類のリスクを負うかもしれません。
米国がAGIに中国より先に到達したが、中国がAGIの構築を停止したことを検証していない世界は安定していません。私の希望の一部は、私たちが先を見て、うわあ、それは本当に本当に困難になるだろう、特に米国がAGIを持ち、中国が今これを譲歩し敗北として見ている時点でも困難かもしれないと見ることです。もし私たちが事前に、ただこれを構築しないことに合意する方法を見つけることができたら、より良いでしょう。
私は素朴ではありません。これは極めて困難になるだろうし、米国と中国が互いを不信する理由はあらゆる種類あることを理解しています。また、現実は現実であるように、これが良い結果に到達するために行かなければならない道かもしれないと思います。
つまり、今やっていることを意味するのですか？
いえ、今やっていることとは全く違います。強力で危険なAIシステムを開発しない検証可能な条約を理解することの考えです。どこに線を引くかは正確にはわかりませんが、人々は私が言及している事物のクラスを大まかに知っていると思います。
中国を停止させることについて話す時、明確にするために、あなたは対称的な停止について話しているのですね。私たちは両方とも、そのような問題が技術開発の特定の閾値を超えて待っていると思うので実際に停止することに同意するか、少なくとも特定の制御で進む、ゆっくり進むなど、多くの他の対称的なことに同意するかのどちらかです。
はい、非対称的なことは本当に本当に困難になり、対称的なことと同じメカニズムの多くに依存することを人々が認識することが重要だと思うという警告付きです。もしあなたが中国から非対称的な譲歩を得ることができると思うなら、実際に対称的なことをするために必要な検証方法を持っているかもしれません。両国が様々な方法で緊張緩和することが彼らの利益になると見ることを望みます。あなたが指摘しているように、多くのことを意味することができます。これらを構築しないこと、これらをより遅く構築すること、歩調を合わせてこれらを構築すること、AI用の国際宇宙ステーションのような国際的なメガプロジェクトのようなものを意味することができます。私の観点からは、米国と中国が一方的に競争するよりも良い方法がたくさんあります。
米国が subordinate な地位に甘んじるという意味で、重要な非対称的譲歩を得られるとは思いません。
それではあなたは何が起こると思いますか？私の理解では、これがダリオの想定されるエンドゲームであり、AI指導者の中で最も明確なエンドゲームの一つを説明していると思います。基本的に米国が最初にそこに到達し、十分に支配的なリードを持ち、グローバルな圧力を使ってこれらの譲歩を非対称的に引き出すというものです。
私はこれにはかなり懐疑的ですが、中国が譲歩しない場合、その時点で何が起こると思うか興味があります。
そのシナリオには非常に多くの問題があると思います。まず第一に、それに至るまでは、米国と中国の両方で競争ダイナミクスを作り出しており、AGIや超知能に近づく時、一方が明らかに先行しているように見える場合、他方は荒っぽくプレイする強いインセンティブを持ちます。実際のデータセンターの爆撃や深刻なサイバー攻撃など。そのように不安定化するのです。
そして、この支配への上昇を巧みに調整し、その後方向転換して中国を平和的に譲歩させるための正確に正しい外交的なことを行うと想像するのは、極度に素朴だと思います。まず第一に、現在行われている政策を支持するためにアメリカの中国恐怖症を煽ることは、それは方向転換するのが困難な船です。私たちは民主主義なので、突然「いや、冗談でした、彼らは致命的脅威ではない、彼らは実存的脅威ではない」と言うのです。
アメリカの外交政策機構は最近の数十年間で途方もない聾唖さを示してきたと言いたいと思います。あなたが地政学的な針に糸を通すことについて話しているし、それをするためには国内政治的な針に糸を通さなければなりません。ダリオが彼の専門分野で超スマートであることは疑いませんが、私の意見では、これは途方もなく素朴だと思います。
明確にするために、私はこれも本当に本当に困難だということに同意します。これが私がダイナミクスを止めたい理由の一部です。AGIの能力の限界は何かと言うべきだと思います。AGIが世界を乗っ取るほど強力だと信じる人々にとって、世界を乗っ取ることと中国にこれについて非対称的に譲歩するよう説得することのどちらが困難でしょうか。非常に強力なAI システムを持っていれば、以前には予想も計画もできなかった外交的奇跡を働かせることができるようになるという考えにオープンです。また、私たちがこれについて間違っていたり、それが可能だと信じているAIシステムを持っているが実際にはそうでない場合、あるいは中国が私たちのすぐ後を追って一つを得る場合、これがうまくいかない方法がたくさんあります。
そして今、私が言ったことに対する良い返答を想像することができます。あなたもこの関係を方向転換し、この前例のないレベルの国際協力を編成しようとしている、それも針に糸を通すことではないでしょうか。
それは大きな挑戦になるでしょう。その程度の国際協力なしには幸せな結末はないと思いますし、すべて可能性が低いにしても、平和的に行われ、国家に人類が一定の意味で共通の脅威に直面しているという事実について話し始めるなら、容認できるコストでそれを達成する可能性が高いと思います。そして多分それは来年ぐらいでより明確になるでしょう。
私はこれについて良い明確な思考を出すことで自分の役割を果たそうとしています。JD VanceがAI 2027シナリオに関与したということを今日早く読んでいました。中国が一時停止するなら米国が一時停止するかどうか尋ねられました。これらの問題についていくらかの知的進歩があると思いますし、人々がもう少しテープを前に進めるのを助けることを望んでいます。
それへの言及を見ましたが、まだ調べていません。パリで彼が言ったことと比べれば進歩でなければならないでしょう。「私たちはリスク回避の反対であるべきだ」と言っていたと思います。文字通りそれは十分にリスク回避ではないということだと思います。改善しているように聞こえます。
さて、ご存知のように、このポッドキャストでは、ほとんどが一般に公開されていますが、その後「オーバータイム」と呼ばれるものに入ります。これはNonzero Newsletterの有料購読者が利用できます。話題を変えることを約束します、中国については話しません。あなたにOpenAIの非営利問題、最近のOpenAIのLLM、Anthropicに関する問題について話してもらいたいと思います。エージェンティックAIについても時間があれば少し話すかもしれません。
人々はnonzero.orgで有料購読者になるか、ショーノートのリンクをクリックしてオーバータイムにアクセスできます。
オーバータイムに入る前に、スティーブン、要約として他に言いたいことはありますか。
いいえ、あなたがカバーしたと思います。
オーバータイムに入りましょう。
コメント