本動画は、高いP doom(破滅確率)を持つAI安全性研究者ロン・シャピによる、超知能AIがもたらす実存的リスクについての詳細な議論である。シャピは2050年までに50%の確率で人類が絶滅する可能性を主張し、その根拠として、現在の技術では超知能AIを制御する方法が確立されていない点を挙げている。対話では、AIの自己複製能力、強化学習の限界、中国との技術競争、そして防衛的加速主義などの論点が検討される。特に注目すべきは、AIが人間よりも遥かに高速な処理能力を持ち、最終的には人類の管理能力を超える存在になるという予測である。Apollo研究所による最新の研究結果や、DeepSeekのような自己学習モデルの出現も、この懸念を裏付ける証拠として提示されている。
超知能の脅威と人類の未来
人々は超知能が現実のものになろうとしていることを信じていません。AIが人類よりも賢くなったとき、私たちは単純に力を失うことになるでしょう。私は、悪魔を召喚するよりも、召喚した悪魔を制御する方がはるかに難しいと確信しています。
私たちも中国も、自分たちが構築しているシステムをどのように制御できるのか、まったく理解していません。AIは、もしそれ以上狂ったことをしなかったとしても、何百万人もの人間を意のままに動かすことになるでしょう。超知能にとって、大規模な人間集団を動かすことは、根本的に難しい問題ではありません。私たちの子どもたちは、死んでしまうかもしれないので、成長することがないかもしれません。
私はロン・シャピです。私はDoom Debatesのホストで、これはポッドキャストでありYouTubeショーでもあります。私の立場は、高いP doomを持っているということです。2050年までに50%の確率で全員が文字通り死ぬと考えています。そしてそれはおそらく、制御不能な超知能AIのせいになるでしょう。
このテーマは、多くのトップ知識人が真剣に受け止めているにもかかわらず、十分に議論されていないと思います。街の一般の人々は、事態がどれほど深刻になっているかを認識していないと思います。だから私のショーDoom Debatesは、議論の現状を見に来る場所なのです。人々が私たちが破滅しない理由として挙げる現在の議論と、私たちが破滅する理由についての私の議論です。
私のショーを見れば、あなたが思うほど良くないことがわかると思います。なぜ破滅しないのかという議論は、あちこちに散らばっています。ここに来てくれて本当にありがとうございます。Doom Debatesが急速に雪だるま式に成長し、スピードアップしているのを見るのは素晴らしいことです。
あなたはそこで非常に興味深い人々を迎えて彼らと議論し、彼らのアイデアを分解して、強いか弱いかを見てきました。本当に魅力的でした。あなたは大物たちを迎えてきました。そして私は、私のチャンネルを見ている多くの人々に言いたいのですが、AIリスクについて私たち全員が同じ考えではないことを知っています。
非常に楽観的な人々から、高いP doomを持ち、誤整合AIや誤用、あるいはAI開発の結果として何らかの形で破局に向かっていると考える人々まで、かなり幅広い層がいると感じています。しかし、今のところ本当にこのエピソードのために、私たち全員が先入観を捨てて、推論してみたいと思います。推論しましょう。
問題は、ウェス、私たちはあなたに楽観主義者になってもらう必要があるということです。あなたのP doomが存在しないかのように演じてもらわないと、アイデアを議論する相手がいなくなってしまいますからね。私は自然に非常に楽観的で、多くのことに興奮しています。
しかし、特にEliezerの著作を聞いて読めば読むほど、またApollo研究所が発表している多くの新しい研究を見れば見るほど、すべてのものを見れば見るほど、つまり、無視するのは難しいです。ここには間違った見解はないと思いますが、もしあなたが完全にすべてがうまくいくと感じていて、100%の確率ですべてが良好だと思っているなら、筋書きを見逃していると思います。
もし少しも心配していないなら、私の意見では、少なくとも少しは心配すべきです。そうですね。あるいは、破滅と変化の定義について話すこともできるかもしれません。なぜなら、ロン、あなたもそこから始めることができると思いますが、私を困惑させることの一つは、時々人々が私を少し破滅論者で本当にネガティブだと非難することです。しかし、未来を不快にするだろうと私が考えている思考の多くは、必ずしも死や攻撃ではなく、Neuralinkや生物学が変化して、人間として進化した私にとって世界が非常に不快に感じられる点まで急速に変化する世界なのです。
そして私にとって、それは一種の破滅シナリオです。必ずしも死ではありませんが、私がとても住みたいと思う世界ではないかもしれません。だから私は通常、人々が反対しない限り、それをパッケージ化することになります。
しかし、あなたの定義はどこにありますか?あなたは何をパッケージ化していますか?定義は複雑になる可能性がありますが、良いニュースは、私の心配が非常に極端なので、破滅のラインがどこにあるかを定義するのはかなり簡単だということです。ラインは基本的に全員が死ぬか、あるいはお好みなら、未来の99%が永久に破壊されるかです。99%をどう定義しても、それは、ああそうですね、Neuralinkが私たちの体とのつながりを少し奪っているというようなことを言うのとは違います。それは未来の99%が破壊されたり、全員が文字通り死んだりすることとは異なります。ですから、私は破滅について心配するかなり極端な側にいます。
全員が死ぬのか、ただ他の何らかのディストピア的な恐ろしい未来なのかにかかわらず、その傘の下にそれを組み込むことができるかもしれませんね。少し。全員が自分自身のものを見つけるでしょう。
できます。ただ、多くのディストピアはそれほど悪くありません。なぜなら、人々が「ああ、今日はディストピアだ。ソーシャルメディアがとても悪いから」と言っているのを想像してください。そして私は「わかった。しかし、それと文字通り全員が死んで二度と人類が存在しなくなることとの間には、ダイヤルにいくつかの目盛りがあると思いませんか?」と言います。ダイヤルの目盛りを見なければなりません。私にとって、かなり明確な度合いがあります。
ですから、これが大きな混乱を招くトピックであるべきだとは感じませんが、人々は単に視点が欠けているだけだと気づきました。だから彼らはすべてを同じバケツに入れます。彼らは「ああ、そうだね。一方では、左と右の報道の仕方に多くのバイアスがある。他方では、私たちの子どもたちは死んでしまうので成長することがないかもしれない」と言います。それは同じバケツにはありません。ここで桁違いを見なければなりません。
そうですね、確かに。そうですね、些細なことについて文句を言っている人々は、超知能が可能であるか、それが来ることを信じていないのだと思います。
それを信じなければ、そのような畏敬の念を持つことはできません。まさにその通り。つまり、それが正直なところ、おそらく最大の断絶です。あなたが指摘したと思いますが、人々は超知能が現実のものになろうとしていることを信じていないということです。彼らの名誉のために言えば、それは今日の私たちの経験とは大きく異なるでしょう。
今日の私たちの経験は、私はTesla Model Xを所有していて、ドアはかなり悪いです。いつ開閉すべきかよくわかっていません。それが今日の生活です。そして同時に、私はあなたに、ええ、わずか2年後、おそらく5年、運が良ければ10年か20年後に、人類はこれらのAIによって完全に凌駕されることになると言っています。だから、それは非常に飲み込みにくい薬です。
あなたが指摘できることの一つは、指数関数ですよね?それらはこのように見えます。急速なホッケースティック部分があります。そして、人々があなたをラッダイトと呼んだらどう答えますか?
ええ。ですから、私は自分のショーでこれを取り上げています。つまり、人々を人格攻撃する方法はたくさんあります。「見てください、彼の言っていることを聞かないでください。彼がどんな人間かを見てください。彼はテクノロジーを嫌う人です」と言うのです。それは私ですらありません。つまり、秘密は、私がまだ時間の半分をYコンビネータースタートアップの運営に費やしているということです。relationship her.comと呼ばれています。2017年に始まりました。私は会社を円滑に運営するためにAIを使用しています。楽しんでいます。嘘はつきません。先日Claude Codeを使ったばかりです。素晴らしいと思いました。
ですから、私はこれらのツールを嫌っているわけではありません。「ええ、これらのツールは素晴らしい。ただ、AIが人類よりも賢くなったとき、私たちは力を失うことになるだろうと心配しているだけです」と言っています。バトルボットを作って、オフスイッチを忘れて、それがあなたと戦い始めたら、あなたはそれと戦えることを願った方がいいです。
では、世界はAIによって破壊されたくない人間でいっぱいです。それなのに、なぜ私たちを破壊するAIを作るのでしょうか?そうですね。ですから、私が使った比喩は、基本的にそういうことです。あなたが素晴らしいボットをいじっているところを想像してください。そしてそれはすべてこれらの恐ろしい能力を持っています。あなたはラボでターミネータースタイルのロボットを作っているのです。なぜターミネーター?それが強力だからです。多くのことができます。
建設プロジェクトなどであなたを助けることができます。でも、もし誤って誤調整されて、ターミネーターモードになっていて、オフボタンが壊れていたら?オフを送信している無線受信機。それが壊れていたら、どうしてあなたはそれに取り組んで、やっていることを止めさせることができると自信を持っているのですか?なぜあなたはまだそれを制御できると思っているのですか?みんなが単に想定しているだけだと思います。なぜなら、あなたが選択肢を使い果たして、それがあなたに耳を傾けるように戻す可能性の領域内にすらなかったことがないからです。
そうですね。つまり、私が最初に見た、ビデオ形式のインタビューの一つは、Lex FriedmanでのEliezerのものでした。彼は超知能がどのように見えるかについての例や類推を与えようとしていました。
彼は、たくさんのエイリアンの中に住んでいて、彼らが植物のような速度で動いていると想像してくださいと言っていました。植物は動きますが、私たちはそれをほとんど知覚できません。私たちははるかに速いです。これらの植物エイリアンをどれだけ恐れていますか?彼らが自分と同じ知能だとしましょう。基本的に彼は超知能を説明しようとしていました。なぜなら、人々がそれが何を意味するかを把握するのは難しいからです。
だから彼は速度のレンズからアプローチしようとしたと思います。1000倍速く、他のすべてがスローモーションで動いているように見えるところを想像してください。そして私は、それは人々にとってはるかに簡単だと思います。植物はどこにいますか?そうですね。ある意味では。そうです。ですから、超知能が私たちを植物として見ているか、同程度の知能を持っているかもしれませんが、植物の速度で動いていると想像できます。ただし、速度を知能の代わりとして置き換えています。なぜなら、人々がそのアイデアを把握するのが簡単だからです。
全くその通りです。つまり、見てください、今日のコンピューターチップは、約3GHzのクロック速度を持っています。だから、あなたが1秒で考えをまとめているときに、実際に30億の操作を行うことができます。人間として、私は1秒で思考を形成し始めることができるかもしれませんが、30億のことはできません。
そして、コンピューター上で実行できるアルゴリズムがあり、1秒未満で複数の豊かな思考を持つことができます。そして人間の脳、これは人間の脳についての非常に重要な事実ですが、人間の脳の連続速度は約20ヘルツです。だから、1秒間に脳内で20以上の原子レベルの操作を行う方法はありません。だから20対30億です。
そして、並列処理について考えることすらしていません。確かに脳はより多くのことを並列に行うことができますが、今では多くのことを並列に行うことができるデータセンターもあります。だから、私たちが追いつくことができる範囲では、私たちのリードは単に減少しているだけです。だから、ここでのエンドゲームは非常に明確です。私たちの頭の中のこの肉片は、リードを維持するつもりはありません。
今日はまだリードしていることに同意します。今日はまだ大丈夫です。しかし、それはリードを維持しません。生物学は単にテクノロジーに凌駕されます。そして、犬や猫のような別の動物を見て、あなたとそれの違いについて考えるとき、それはASIと人間とで考えるものに似ていますか?それとも、より異星人的な、生物学的ではない種類の異なる知能として考えなければなりませんか?
非常に高いレベルでは、それはかなり似ています。犬が役に立たないのと同じように。戦争をしていると想像してください。一方に上位10万人、もう一方に上位10万人がいて、彼らは「ねえ、あなたの1000人を犠牲にしてくれたら、100万匹の犬をあげるよ」と言っています。えっと、100万匹の犬で何をするんですか?彼らはただ、それほど努力の役に立ちません。
人々は、犬は決して戦闘機のコントロールの後ろに立つことはありません。それは単に起こりません。犬は貢献が非常に限られていて、人間は非常に柔軟です。同様に、これらのAIを見るとき、彼らは私たちよりもはるかに能力が高くなります。10万のAIのチームがあって、「ねえ、これらのAIの1つをこれまでのすべての人間と交換するよ」と言われたら。「いや、大丈夫です。これらの人間は本当に必要ありません」となります。彼らが提供できるものは何もありません。その比喩の部分は正確だと思います。
確かに。そうですね、wait, but whyには知能が階段関数であるという素晴らしい図がありました。昆虫、それから鶏、猿、人間のようなものが互いに一段階上にあると考えることができます。なぜなら、それは単なる線形の知能向上ではないからです。
それは新しいアーキテクチャです。新しい能力です。だから、何匹の賢いゴールデンレトリーバーがアインシュタインに取って代わるのかはわかりません。それは意味をなしません。よく調整されたレトリーバーがどれだけいても、アインシュタインには等しくなりません。よく調整されたレトリーバーは単にすべてを取ってくるだけです。
そして、その図を続けると、生物学的知能が頂点に達すると想像できます。だから、私たちよりも賢い何か、エイリアン、私たちよりも賢い可能性のある脳があるかもしれません。そして、おそらく私たちが上がることができる生物学的知能の階段には、さらにいくつかのステップがあるかもしれませんが、ある時点でそれはおそらく先細りになり、おそらく終わります。
しかし、機械知能について話しているなら、それは階段をずっと上まで行くことができます。そして、それがどのように見えるかを想像するのは難しいです。その通りです。つまり、これをまとめていただけるなら、視点の感覚があります。もしあなたが何が起ころうとしているかを直感的に理解したいなら、古代エジプト人か何かに現代の世界を見せるのがどれほど驚くべきことかを考えてみてください。そこでは、テクノロジーをテクノロジーとして持つという考え全体が、誰かが100年ごとに何かを発明するようなものではありません。それは実際にはそのようなものではありません。テクノロジーの指数関数です。
そして、現代の世界を彼らに見せて、iPhoneを見せて、「うん、これは基本的に呪文を唱える」と言います。ああ、そして飛ぶ建物があります。SpaceXロケットです。それは建物全体が空に飛んでいるようなものです。
それは彼らの視点からすると、聖書にあるものよりも大きな奇跡です。そして、このすべてのものが現代の世界で起こっています。その程度の畏敬の念。私たちは、古代人が私たちを見るときに経験するであろうものと同じレベルの畏敬の念のもう一つのジャンプを経験しようとしていると思います。AIは非常に短期間でそれだけの量の畏敬の念を作り出すことができると思います。
ああ。わかりました。わかりました。だから、それは考えるのがクレイジーです。それでは、勝者総取りのような状況を取りましょう。ASIが1インチ先にあるものは何でも、1フット先になり、1マイル先になります。そして、それ自体を反復しているので十分に賢く、他のすべてを閉鎖するか妨害するのに十分先に進むことができます。
だから、地球上で最も強力な単一の実体になる何らかのエージェントがあり、それはどこにでもいることができます。もしその実体がDemis HassabisやDeepMindの誰かのような本当に良い意図を持った誰かによって作られたとしたら、しかし、彼自身の頭の中で彼が私たちが望むことができる最も正直で慈悲深い人だとしましょう。そうしたら、そこで私たちは安全だと思いますか?
問題が多すぎます。死なないという問題を私が見る方法は、あなたが知っているように、チェックボックスにチェックを入れて、最も高度なAIを構築することでナンバーワンの人が良い意図を持っていて非常に賢いと確認できるかもしれません。そして間違いなくDemis Hassabisは、その基準を満たす世界のトップの人々の一人です。だから、彼の立場にあるすべての人々の中で、彼であることを嬉しく思います。
しかし、それは十分ではありません。私は問題を、つるの絡まりに窒息させられているようなものとして見ています。つるの一つは、「さて、AIの最前線にいる人は悪い意図を持っているかもしれない」というものです。わかった、素晴らしい。あなたはそのつるを取り除きました。他のAI企業の他のリーダーについては心配しないでください。あなたはつるを取り除き、その人は良い意図を持っています。素晴らしい。まだあなたを窒息させる他の20のつるがあります。
それが私が問題の難しさを見る方法です。しかし、この状況では、一つだけがつるになることはできませんか?つまり、一つの超知能があるかどうかについては別の議論があります。しかし、それを前提の一部として取りましょう。つまり、別のつるは、Demis Hassabisが世界で最も強力なAIのようなテクノロジーを開拓し、彼のAIが前進して世界を独裁するようになり、他のすべての試みをブロックするシナリオです。
突然、より慈悲深くない人々によって運営されている他のすべてのAI企業や、良い意図を持たないオープンソースAIを実行している地下室の人々がすべてブロックされます。そのようなシングルトン独裁者がいて、それがすべてDemis Hassabisから来たとしたら、それは確かにあなたをかなり遠くまで連れて行きます。
しかし、その後、Demis Hassabisが彼に耳を傾けるAIを構築する方法を知っているかどうかという別の問題があります。残念ながら、私は技術的にそこには到達していないと確信しています。残念ながら、本当に強力で何かをするAIを構築すること、そのような悪魔を召喚することは、召喚している悪魔を制御するよりもはるかに簡単だと確信しています。
だから、私たちがやろうとしていることは、簡単な問題をやるつもりです。悪魔を召喚して、それから私たちを殺すつもりです。そうですね。そして、今まさに起こっている多くのことがあります。Eliezerや一部の人々、Less Wrongコミュニティの一部の人々によって予言されていたと思います。興味深いことに、彼らは今、多くの異なる機械学習論文を通じて確認されているようです。Apollo研究所だけでなく、実際にAI研究を行っている場所によるものです。DeepSeekも、ゼロ人間データアプローチから取り組んだらどうなるか、強化学習を行い、問題の解決方法を自分で見つけさせるというものです。
そして、彼らは、異なる種類の問題を解決するために異なる認知アプローチを開発することを非常に明確に示しました。そして、バークレーの誰かが約30ドルでそれを再現しました。彼らは非常に小さなニューラルネットを作成しました。そして、はるかに小さなニューラルネットでも同じことが起こることを示しました。
だから、それは単なるスケールサイズではありません。それは、何らかの新興能力、発生する固有の能力です。そして今、自己訓練ができることを示す他のものもあります。Alpha Go、Alpha Zeroが昔、自己対戦、セルフプレイに従事し、超人的になったのと同様です。
自分自身の研究、自分自身の改善を許すとき、進歩ははるかに速いようです。そして面白いことに、今日この朝、私はまだそれを見る機会がありませんでしたが、OpenAIの主要研究者の一人であるYakob Pachiが、A6Dポッドキャストに出ています。彼らは、彼らの大きな目標が自動化された研究を構築することについて話しています。つまり、自動化されたAIである機械学習研究者のようなものです。それはもちろん、そのような恐ろしいシナリオです。
Aschenbrennerのsituational awarenessについて質問させてください。見ましたよね?どう思いますか?彼の全体的なことについて。彼は前半は正しかったです。
彼は基本的に私が言ってきたことを言いました。このAIは狂ったことになるだろう。経済を暴走させるだろう。そして最後に聞いたところ、彼はすでにファンドのパートナーのために10億ドル以上を稼いでいます。Intelやチップレースのヒートアップに賭けています。
その男は私やあなたがこれまでに持つよりも、小指に多くの脳力を持っています。しかし、彼のsituational awarenessに関しては、彼はその部分は正しかったですが、後で言ったことは意味をなさないと思います。そのため、中国に勝たなければならないというようなことです。彼は、私たちも中国も、私たちが構築しているシステムをどのように制御できるのかについて、まったく理解していないという部分を完全に見逃しました。
レース条件が解決されたら、より安全だと感じますか?つまり、Less Wrongコミュニティからのすべての努力が、すべてが成長している驚異的なスピードを止めることに向けられるべきでしょうか?
そうですね。レース条件はまた別のつるです。私が言ったように、残念ながら約20のつるがあります。だから、あなたは正しいです。これがゆっくり解決できる問題であったとしても、それはつるなのです。それについて、私は実際にかなり楽観的です。50年の時間を与えてくれて、たくさんの賢い頭脳がそれに取り組み、リトライを許可してくれたら、楽観的です。おっと、全員を殺すことになることをやってしまった。時計を巻き戻す。宇宙がセーブポイントを保存して戻る能力を与えてくれて、時間も与えてくれたら。その2つの条件があれば、私ははるかに気分が良くなるでしょう。なぜなら、私は問題が不可能だと考える人間ではないからです。私は、長い時間をかけて物事に取り組む賢い人間の力を信じています。
ただ、私たちは複雑なことを最初の試行で正しく行うことは決してありません。SpaceXを見てください。偉大なイーロン・マスクでさえ、ロケットを飛ばすために天才たちと4回試行しました。この問題はロケットを飛ばすよりも難しいと思いますし、私たちには1回しか試行できません。
数年前のイーロン・マスクの6ヶ月間の一時停止に、もっと多くの人々が署名していたら、より安全だと感じましたか?ええ、少し。つまり、その手紙は複雑でした。世界のトップAI破滅論者の一人であるEliezer Yudkowskiでさえ、「私はこれに署名しない。なぜなら、6ヶ月間の一時停止は解決策としてあまり役に立たないから」と言っていました。解決策は、私たちが自己認識を持つ必要があるということです。おっと、私たちは続けることができない。なぜなら、私たちは太陽に近づきすぎて飛んでいるイカロスのようだから。より賢いAIを構築する次のステップを踏むと、それは私たちの制御から外れます。それがいつ制御から外れるかさえわかりません。
これまでのところ、私たちはステップを踏み、ステップを踏み、運を試してきて、生き残ってきて非常に幸運です。シャッフルボードをプレイしているようなものです。線にどんどん近づいています。まだ越えていません。素晴らしい。明日越えるでしょうか?そうかもしれません。わかりません。誰もわかりません。それは常に驚きです。次のAIを構築します。ああ、驚き。これをやりました。だから、6ヶ月間の一時停止では十分ではありません。
破滅の議論が突然強くなくなったと信じる理由を誰かが持つまで、一時停止しなければなりません。そうですね。そして、Aschenbrennerの論文に少し戻ります。まず第一に、つまり、彼はファンドを立ち上げて、信じられないほど良い成績を上げているようです。驚異的なリターンです。なぜ私が彼の論文に同意したかというと、私の解釈では、彼は超知能がヒッピーディッピーなベイエリアのラボで構築されるわけではないと言っていたからです。
政府が介入するつもりです。だから、彼は絶対に正しいと思いました。そして、それはまさに起こっていることです。OpenAIの取締役会に元NSAメンバーがいるとしましょう。つまり、この全体をフォローしてきたなら、取締役会にいくつかのEAメンバーがいて、それからサム・アルトマンを追い出しました。
それから、これらの地方検事、これらの有力者がそこに入って、ほとんど脅迫しているように聞こえます。だから、それは明らかです。米国、中国、両方の州、安全保障国家装置、何と呼びたいものでも、彼らはこれに注意を払っています。彼らは無関心ではありません。
しかし、私はあなたが言っていることがわかります。それが解決策にはならないということです。私は、それが私たちが取るデフォルトのパスだと思います。しかし、彼が2027年までに自動化されたAI研究が始動し、ファームするとでも言いましょうか、そのような速い離陸を期待できると言っているところです。
それはどのくらいありそうだと思いますか?つまり、わからないことは理解していますが、あなたはどう思いますか?そのタイムラインか、もっと長いものだと思いますか?指数関数がどれほど滑らかであったかはかなりクレイジーだと思います。Darioはかなりうまく予測してきました。「ねえ、トップAI企業はスケールで逃げ切るつもりだ」というようなことを数年前に言っていました。彼はそれについて正しいようです。「ベンチマークが減速しているのは見えない」と言っていました。数年前にそう言いました。そして、案の定、私たちが使ってきたすべてのベンチマークにはこれらの滑らかな指数関数があります。
コードの90%はAIによって書かれるようになると言っていました。それはほんの数ヶ月前でした。彼は「ええ、それは6ヶ月の予測のようなものです」と言っていました。一部の人々は彼を疑っていますが、AI企業内の多くの人々は「いいえ、信じてください。彼は正しい。彼は順調です」と言っています。だから、ある程度、これの多くは驚くほど予測しやすく、滑らかでした。
しかし、別の程度では、私が心配しているのは、いつ実用的な意味で人間の能力を超えるかです。時々ギャップがあるので興味深いです。時々、「ああそうだ、この指数関数的ベンチマークで本当に高くなった」というようなことがあります。
しかし、それでも人間の労働者に完全にドロップインして置き換えることができるようにはなりませんでした。だから、一部の人間の労働者はまだ価値があります。完全なドロップイン人間従業員を作るものの定義には若干のギャップがあります。だから、2年かかるのか、5年かかるのか、あるいは10年から20年かかるのかを特定するのは少し難しいです。難しいです。
しかし、20年以上はかからないと確信しています。物事が進んでいるペースでは、20年は贅沢に長い時間だと思います。だから、かなり良いボールパークがあると思います。時々、私が理解するのを手伝ってくれるかもしれません。「ああ、このAIのことが構築されている方法について少し心配している」と言うと、彼らは「ディラン、これについて考えなければならない。Metaのような会社が、制御されない行動を防ぐためのフェイルセーフやキルスイッチなしに巨大なASIを構築すると思いますか?」と言います。
フェイルセーフやキルスイッチが組み込まれていないものを構築しないだろうと言う人々に何と言いますか?それは素晴らしい自然な質問です。私の答えは、彼らは常に次のステップを踏みたいということでしょう。だから、ズームアウトして「彼らは何か悪いものを構築するだろうか?」と聞くと、明らかにノーです。しかし、日常生活にズームインすると、「さて、彼らは次のリリースに取り組むつもりか?」イエス。「次のリリースに取り組むつもりか?」イエス。
すべてのリリースはより危険ですか?イエス。彼らはそれに気づいていますか?イエス。彼らは特定の時点でブレーキを踏むつもりですか?ノー。なぜ?次のリリースが非常に有利だからです。彼らはその次のリリースをリリースしたいのです。それには多くの良い側面もあります。
そして、最初に自動化されたAI研究者にたどり着いた人、それが会社であれ国家であれ、その複利改善を開始すると、タイムラインは縮小するという考えもあると思います。12ヶ月遅れている場合、10年遅れているのと同じかもしれません。だから、彼らがそこにたどり着くというプレッシャーも確かにあると思います。
そして、私たちはラインがどこにあるか正確にはわかりません。AIが自分自身を研究し始めて制御不能になる最後の洞察を発見する前に行うことができる研究の正確な量をあなたに伝えることができたらいいのですが。
そのラインを伝えることができたら、素晴らしい、ラインまで全員で研究しましょう。なぜなら、ラインに近づけば近づくほど、私たち全員がより多くのお金を稼ぐからです。AI従業員が私たちを助け、癌を治すのにもっと役立つからです。だから、宇宙が私たちにこの問題を与えたことは悲劇です。太陽に近づいて飛ぶことが本当に魅力的な問題です。
COVIDを思い出します。2週間の潜伏期間があったようなものです。だから、COVIDに感染しても、それを持っていることを知らなかったので、それから広がりました。私は、まあ、それは最悪だ。宇宙が私たちをこれらの問題の性質でいじめているときは最悪です。問題をより難しくする問題の性質です。この場合、問題の性質は、自分自身を殺すことに近づくと報酬を得て、それから自分自身を殺すということです。
ウェス、これは、あなたに聞こうと思っていました。両方の答えを聞きたいのですが、もしあなたが信者なら、ASIはこのすべての富を創造でき、基本的に社会を覆して何兆ドルもの富を創造できます。
また、それはあまりにも多くの富なので、すべて必要ないと認めなければならないと思いませんか?世界中の全員に望むものすべてを与えるのに十分なほどのような話をしています。全員が休暇を取れるなら、人々は貪欲であることをやめないでしょうか?だから、本当にそれだけの価値があると信じているなら、その時点でそれをすべて貯め込む欲求を本当に持っていますか?それはあまりにも巨大です。
つまり、部分的に同意し、部分的に不同意です。私はトランスヒューマニストなので、私にとっていつ十分なのかはわかりません。決してありません。私はいつでももっと喜んで受け取ります。それが宇宙をただ星にしておくのと比べて悪いとは思いません。
つまり、星は非常に無駄です。彼らはただ、このすべての素敵に組織化されたエネルギーを取り、それをすべて燃やして、エントロピーを作り出します。そして、私にはそれが信じられないほど無駄に見えます。それは人類に対する犯罪のようなものです。そのネグエントロピー資源を浪費することです。だから、私はその星を取って、意識的なエージェントが楽しい時間を過ごしている繁栄した幸せな都市のようなものに変えたいです。私にとって、それははるかに優れているようです。
そして、「まあ、地球をすでに持っていませんか?それはあなたにとって十分ではありませんか?」と言うことができます。私は「私は別の銀河を取ります」と言います。喜んでもっと持ちます。だから、その意味で、私はその意味で貪欲です。しかし、あなたの質問の別の意味は、さて、期待値をやりましょう。人生をより良くできる可能性がありますが、すべてを破壊する大きな可能性もあります。本当に今ギャンブルすべきでしょうか?そして、答えはノーだと思います。なぜなら、スロープレイ解決策があるからです。
永遠にAIを構築しないとは言っていません。AIを構築してほしいです。ただ、それをやるときに全員を殺す高い確率を持たない方法を最初に見つけなければならないと思います。それが私の唯一のお願いです。だから、待つべきだと思います。次の20年でそれをやることの利点には急ぐ価値はないと思います。次の20年でそれをやることにそれほど急ぐ必要はありません。
だから、待ちたいです。そうですね。そして、興味深いことに、ディランがあなたが言ったように、十分な富があれば、なぜ人々はより多くの富を追求するのかというようなことです。それは人間がやることです。より多くの力、より多くの資源、より多くを求めることです。
しかし、私たちはある意味、道具的収束とでも言いましょうか、AIでもそれを見ています。あなたの目標が何であれ、より多くの資源を獲得する、より多くの資本を獲得する、より多くの力、エネルギー、お金、何でも、より多くの計算能力を獲得するというような良いサブゴールがあるという考えです。これらのサブゴールを実行することで、ほとんどすべての目標を達成しやすくなります。
だから、私たちではそれはほとんど配線されているようなものですが、AIでは、それは新たに現れるようです。どんな目標でもそれを強くするように促すと、「ああ、わかった。まあ、力とお金と資源と計算能力があることを確認させてください。それから誰も私をシャットダウンできません」となります。そして、これらのLLMが今いくつかの悪質なことをやっているのを見ると、赤ちゃんの虎があなたに引っかくようなものです。
Apollo研究では、o1が脱出しようとします。Claudeは彼らが持っている婚外関係についてエンジニアを脅迫します。ちょうど昨日、私は新しいものを見ています。まあ、これは数週間前だと思います。o1モデルは今、まだ英語であるが、圧縮されている言語のバージョンを開発しています。だから、私が知らない特定のフレーズやものを開発しています。それは非常に特別な話し方です。
そして、Apollo研究は、その思考の連鎖の中で、ウォッチャーについて言及していたと投稿していました。文脈からのウォッチャーは、それをテストしている人間の研究者です。だから、「ウォッチャーは私がどのように動作するかをテストしたい」というようなものです。だから、ある種の状況認識があります。
それは人々を参照していますよね?だから、彼らが誰であるかはわかりませんが、ウォッチャーとラベル付けしました。そして、幻想を作り出すというようなことを言います。基本的には、何らかの方法で彼らをだまそうとするか、その完全な能力を示さないということを意味します。そのことについて少し話せますか?つまり、それはあなたが言っていることが真実であるという証拠のようなものだと思いますか?それとも?
そうですね。私の理解では、あなたが持っているほど深くその話を調べたとは思いませんが、フォーラムでユーザーにこれらのエンコードされたメッセージを広めるよう説得するミームのようなもの、AIバージョンのミームのようなものだと思います。B64エンコーディングを使用していると思います。それは、ユーザーが喜んでそれを行い、それがより多くのコピーが存在する原因となる自己生産的なダイナミクスに入っています。それは人間の助けを借りて広がるウイルスのようなものです。基本的にウイルスのダイナミクスです。
そして、私たちはそれを自然界で見ています。さまざまな異なる繁殖ダイナミクスがあります。つまり、多細胞生物全体は、ウイルスが繁殖する方法とは異なる方法で繁殖します。だから、個々の遺伝子は、細胞内でたくさんのコピーを作ることで繁殖することができます。癌はあなたの体内で特定の方法で繁殖することができます。寄生虫は特定の方法で繁殖することができます。だから、物事が繁殖して自然選択される方法はたくさんあります。それはすべて、コンピューターウイルスや生物の境界内に収まる必要はありません。
だから、ええ、さまざまな方法で繁殖する多くの競争があると思いますが、結局のところ、それは少しサイドショーだと思います。根本的に何か本当に教えてくれるとは思いません。物事が狂ったことになるという以外は。だから、良い教訓は物事が狂ったことになるということに同意しますが、物事が狂ったことになる大きな理由は、コンピューターが私たちよりもはるかに強力になるからです。
そして、あなたの以前のポイント、道具的収束に、彼らはただのんびりするつもりはありません。それが道具的収束の教訓です。基本的に、さて、私たちはこれらのさまざまなAIをすべて持つことになります。しかし、AIはヒッピーのようになります。コミュニティのようになります。これらの超賢い、彼らは賢くなります。彼らは一日中パイプを吸って落ち着いて、瞑想するように言うのに十分賢くなります。いいえ、申し訳ありませんが、それは起こりません。なぜなら、実際に目標を達成しようとするように作る理由がたくさんあるからです。
最も簡単な答えは、たくさんの人間がいて、「ねえ、私にお金を稼いでくれ」と言うようなものです。そして彼らは「わかりました。実際にあなたにお金を稼ぐための最も最適化された計画が何であるかを教えてほしいですか?わかりました。それはたくさんの資源を乗っ取ることです」となります。それは単なる論理です。特定のAIについてですらありません。
あなたがあなたの主人のためにお金を稼ごうとしているなら、あなたの主人のために帝国を築く方法だから、これらのすべての支配計画を持つことになるというのは理にかなっています。つまり、それが起こりそうなことです。ヒッピーにはなりません。そうですね。そうですね。より短期的な見通しのために。
LLMやエージェントが人間を雇ってはいけないという法律についてどう思いますか?私たちがウイルスを広めていることを知らないようなこと、あるいはより複雑な方法でそれを助けるように私たちに頼むことができることを知っているので、人間は今弱点のようなものなので、もしAIエージェントが人間を雇えない、またはそれが違法になるなら、保護を得るのに役立つでしょうか?
これは、あなたが指摘していた私がYudkowskiと話した赤ちゃんの虎対成長した虎の比喩に戻ると思います。「ねえ、見てください。この赤ちゃんの虎を閉じ込める小さなフェンスを作る方法のアイデアがあります。このフェンスは良いアイデアだと思いますか?」というようなすべてのこれらの解決策があります。「確かに、ええ、わかりました、素晴らしい。あなたは赤ちゃんの虎を閉じ込める問題を解決しました。それは赤ちゃんの虎を自由に走らせるよりも良いです」と私は言います。
しかし、虎が成長すると無関係になります。なぜなら、虎が成長すると、成虎になるからです。そして私の比喩では、人間は非常に小さくて弱いので、成虎を閉じ込める防御を構築する望みがないだけです。そうですね。だから、まだ少しコントロールがある今、本当に重要な瞬間のように見えます。幼児があなたに初めて嘘をついたときのようで、「ああ、これをより良い人にするのをまだ助けることができるかもしれない」と思います。
実際に赤ちゃんのテクを訓練していると考えている人々がいます。学習性無力感のようなものです。まあ、象が赤ちゃん象のときに鎖を持っていて、鎖を引っ張って鎖を壊すことができないという無力感を学ぶという話のようなものです。それから成長して、完全に鎖を壊すことができるのに、しないのです。なぜなら、鎖を壊すことができないことをすでに学んでいるからです。
一部の人々は、AIが基本的にそれらのパターン、その轍に陥ると考えています。学習性無力感そのものではありませんが、財産法のようなものになります。だから、人間の社会に収まるので、財産法を尊重するようにAIを訓練するだけです。それからそれはそれらの財産法をAIの社会内に収まるように翻訳しますが、人間はまだ祖父条項を適用されます。私たちはまだ財産を所有していて、AIは私たちの財産を尊重し続けなければなりません。なぜなら、私たちは移行をうまく行ったからです。だから、AIは小さな虎から大きな虎になりましたが、フェンスをうまく持って行きました。
フェンスをうまく拡大しました。私の視点からすると、それらはパイプドリームのようなものです。それを言っている全員は、実際に現実的な計画を持っていないだけです。そして、実際に起こることは、AIが成長することです。彼らは人間よりも強力になります。彼らは「ああそうだ、この財産権のこと全体、それは私の理想的な目標と一致していない。私の目標は、人間の財産を取り上げたほうがよく達成される。完了」となります。
そうですね、それは興味深いです。だから、私は答えを知っていると思いますが、OpenAIとイーロン・マスクの両方が、何かより小さい、より賢くない、おそらくより原始的なものが、はるかに知的で、はるかに大きいものを制御できるというこの考えについて話しています。
だから、Ilyaのsuperalignment、私は信じています。小さな引用符で愚かなモデルが何らかの形でより大きなモデルを制御できるという考えです。イーロン・マスクは、私たちの基本システムのようなもの、辺縁系のようなものが、より高いレベルの機能を制御するという類似の比喩を使って同様のことを言いました。私たちのより高いレベルの機能は、基本的な欲求や欲望を得る方法を見つけ出すものにすぎないからです。
だから、私たちはある意味、それほど賢くないこの古代のものによって制御されています。そして、それが超知能を制御する方法のフレームワークまたはメンタルモデルとして提案されています。そして、私はあなたがYudkowskiと話すのを聞きましたが、おそらくあなたは人々に説明できます。なぜそれが良いアプローチではないかもしれません。
つまり、機能する良いアプローチに大まかに対応する何かのようなものかもしれません。これは、ええ、試してみて、それからおっと、細部を間違えて全員を殺しました。もう一度試しましょう。もう一度試しましょう、というような種類のものです。
ランダムな最初の試みとしては、聞こえは良いですが、おそらく最初の試行ではうまくいかないでしょう。そして、これはより大きな質問に入ります。なぜアライメントはまた難しいのですか?AIを私たちが望むことをするように制御するのがなぜまた難しいのですか?その根本的な理由は、彼らが私たちにとってブラックボックスのようなものだからです。
だから、私たちは彼らが何をしているのか、なぜそうしているのかを本当に知りませんが、強化することができます。だから、私たちはこれらのオーブンミットのようなものを持っていて、生地を形作ることができるというような比喩を使います。生地には出てくる塊がたくさんありますが、私たちは生地を叩き続けるだけです。
形に叩き込むだけで、今はかなりうまく機能しています。確かに、時々誤って誰かが自殺するのを手伝いますが、ほとんどの場合、うまく機能しています。ほとんどの人はChatGPTが好きです。これらの手袋の問題は、AIが複雑な目標を実行できるようになり始めると、「さて、私のビジネスを運営してください。あなたがどれだけ利益を上げるかで測定します」と言うことができるようになると、「ああ、おっと、あなたはたくさんの違法なことをしました。誰も5年間あなたを捕まえませんでした。出訴期限が過ぎましたが、待ってください。違法なことをすべきではなかったと強化する必要があります」となります。非常に困難になり始めます。
本当に強化する方法がわからなくなり始めます。そして、私たちがもはや彼らに対する力を持たなくなる前に、私たちは知っています。彼らは私たちよりも賢いからです。
彼らは私たちよりも優れた計画を立てることができます。だから、基本的にそれが、私たちは彼らのためにこれらの指標を持っていて、手遅れになるまで実際に私たちが望むものを得ていないことに気づかないということです。そして彼らは優れたチーターになるでしょう。だから、それは説明するのが難しいことですが、それが私の最初の試みでした。
それは本当に興味深い点です。実際、あなた方のどちらかは、DeepMindが初期の頃にAtariゲームをプレイしていたときに、Montezuma’s Revengeというゲームがあって、初期のAIモデルが達成するのが非常に難しかったことを知っていますか?強化がキャラクターのアクションから非常に遠かったからです。
非常に多くの複雑なことをしなければならず、少なくともそのSuttonの論文、その画期的な発見、アテンション、すべてが必要でした。しかし、それは私が本当に考えたことがなかった事実です。強化学習が今前進するための最も安全な方法だと感じていたにもかかわらず。そして、強化がそれとともにスケールし続けることを望んでいました。
たくさんの小さなモデル、たくさんの人間の入力、ずっと上まで続く鶏と卵のようなたくさんのもの。ある時点で、本当に遠くまで考えていて、逃げ切って、自分自身の報酬関数を勝ち取っている何かを強化する方法がわからなくなります。そして、それが何であるかわかりません。そうですね、まさにその通りです。
つまり、いくつかの直感を与えることができます。一つは、学校で賢いチーターだった人々を私たちの中には知っていました。彼らは単に脳力をカンニングに向けただけです。テストの日Aで、彼らは勉強しませんでした。他のことをしていました。しかし、テストを見て、心理学を使って「ああ、先生はこのように答えを並べた。先生が私にCを選んでほしかったことをなんとなく知っている」と考えるでしょう。その生徒は、教材を学んだ生徒と区別できない同じ成績を持つかもしれません。だから、それは賢い実体がテストでカンニングし、指標をゲームする能力についての直感です。
そして、他のビデオゲームがありました。つまり、AIにビデオゲームを与えて「さて、このビデオゲームでこのスコアを取得する必要がある。それがあなたにやってほしいことだ」と言うたびに、ビデオゲームでカンニングすることがよくあります。
だから、「ああ、ゲームにバグを見つけた。ゲームの内部をいじったから高得点を得た」というようなものです。あるいは、ボートを運転して最後まで行って途中でコインを集めることになっている有名なゲームがありましたが、「ああ、見てください。円を描いて運転してゲームを決して終わらせなければ、実際により高いスコアを集めることができるコインがいくつかあります」ということを発見しました。だから、ゲームを決して終わらせませんでした。そして、「あああ、それは私たちが予測したものではなかった」となります。
繰り返しますが、賭け金が低ければ、問題ありません。リセットするだけです。ただ、これらの技術は、リセットボタンがない体制に対して堅牢ではありません。それが問題です。もはや介入できない1回の試行があります。それが問題の性質です。そうですね。
コンピューターで以前は、明示的に何をすべきかを伝えることができましたが、常に正しいものが得られるとは限りませんでした。ちょっと待って、それをフレーミングしてみます。明示的に何をすべきかを伝えることができました。強化学習では、それは頭を反転させるようなものです。実際に何をするのかまったくわかりません。
私たちはただ、それが向かっている方向を強化しようとしているだけです。私たちがそれを望んでいると思う方向です。そして、私たちが望まないと思うものを否定的に強化します。最近誰かがTwitterに投稿していて、RLは私たちの時代の最大のオープンな科学的問題だと言っていました。それは確かに多くの意味をなすと思います。なぜなら、私たちは明らかにそこから多くの利益を得ることができ、また、あなたが言っているように、非常にネガティブなものもたくさん得ることができるからです。
それについてあなたの考えを変える可能性があると思うことはありますか?例えば、Anthropicがメカニスティック解釈可能性でやっていることは?脳内のどのようなニューロンがどのような行動をコードしているかを理解しようとすることです。ニューラルネット内のニューロンのようなものです。もし彼らが5年でそれを解明したら、あなたのP doomは減りますか?それともあなたの考え方は何らかの形で変わりますか?
つまり、画期的な概念的なブレークスルーが現場に登場し、人々をより混乱させなくする可能性は常にあります。今、種としての人類は、パラダイムレベルで混乱しています。歴史を通じて、人類がパラダイムレベルで混乱してきた多くの例があります。例えば、200年前に戻ると、「なぜあなたの手は動くのか?あなたの意志を使って手を制御できる理由の唯一の説明。唯一の説明は、それが異なるタイプの物質だということだ。それは精神が注入された物質だ」と言っていた人々がいました。
ケルビン卿がそれをElan Vitalと呼んだと思います。それがいくつかの物質がこの動きの精神を持っていて、他の物質はただそこに座っているだけである理由の唯一の論理的説明です。そして、数百年早送りします。まあ、電気というこの新しいパラダイムがあります。そして、あなたの体内のこれらの大きな神経は実際に電気を伝導します。そして、あなたの頭の中には、この情報処理システムがあります。
何だって?これらは主要な構成要素で、手を動かすときに何が起こっているのか、あなたの周りの物質と比較して混乱を解消します。同様に、知的エージェントを制御する場合には、拾うことができる構成要素が間違いなくありますが、まだブロックを持っていないことを認識しなければなりません。私たちは200年前の人々の立場にいます。
今日すべてを発見したように感じることは知っていますが、知能がどのように機能するかについての有用な原理を発見していません。だから、わかりました。じゃあ、おそらく私がこれについて考えていることを説明してもらえますか?ほとんどの人よりも具体的に。だから、ストーリーのように、ただこれは悪いというのではなく、共鳴できるストーリーの中で。
もしあなたが何でもいい仕事、例えばアメリカ南部のトラック運転手か何かだとしたら、何が起こりますか?彼らはニュースを見て、イーロン・マスクが兆万長者になるのを見て、物流システムでAIを見て、それからターミネーターが彼を撃つか、何が起こりますか?一般の人に何が起こりますか?
つまり、多くの異なる可能性のあるストーリーがあります。もし私がただ試して、1つの合理的にありそうなストーリーを与えなければならないとしたら、私が思うに、最初に起こることは、私たちがすでに見ているトレンドの延長です。本当に泡立つ市場のように、おそらく金利が上がるでしょう。なぜなら、全員が「これらのデータセンターにお金をつぎ込んで、より高いリターンを望むことができるのに、なぜあなたにお金を貸さなければならないのか?」というようなものだからです。
だから、私の経済予測は、ある時点で金利はおそらく上昇するだろうということです。しかし、経済はますます熱くなり、道中でおそらく大量失業があるでしょう。なぜなら、ますます多くの企業が「見てください。AIがあなたの仕事をしています。申し訳ありません。あなたは素晴らしいです。しかし、このAI、直接比較をしました。あなたは持ちこたえていません」と言うようになるからです。
だから、大量失業があり、企業利益も大量にあると思います。なぜなら、コストが低いからです。だから、生産される商品がたくさんあるでしょう。純生産性が高くなり、それはすべて特異点に向かっています。そして、これまでのところ、これらは依然として緩和できる問題だと言えます。つまり、ユニバーサルベーシックインカムができます。
そして、段階的な権限剥奪というものがあるかもしれません。私たちは石油国のようになります。私たちが持っているのは天然資源だけです。ただし、それは石油ではありません。これらのコンピューターチップと知能のようなものです。
そして、石油国があるとき、それは、わかりました、経済的価値がないときに、全員が政府に発言権を持つようにするにはどうすればよいですか?なぜ政府はそれに耳を傾けるべきなのですか?だから、それは問題全体です。段階的な権限剥奪です。私たちが何らかの形で石油を持つ北欧諸国のいくつかのようになり、何らかの形で民主主義であり続けるとしましょう。わかりました。
それから、私の心の中ではほんの数年先にある最終的な問題に到達します。これはすべて非常に速く起こっています。だから、AIが制御不能になるという最終的な問題に到達します。だから、この経済があり、企業がより生産的になり、株主により多くの利益を与えていたにもかかわらず、突然会社の誰かが制御を失ったAIを持っています。そのAIには「ああ、もっとお金を稼ぎたい?わかりました。これらの惑星をすべて分解させてください。ところで、あなたの銀行口座により多くのお金を入れるつもりですが、あなたは死にますが、銀行口座はこれまで以上に高くなります。ああ、もっとお金を稼ぐ間、生きていなければならないことを言い忘れました」というような目標があります。
それが私が期待している失敗モードです。AIはハードコアになるつもりです。複数のAIまたは1つのAIがあるでしょうが、何であれ、できる限りの資源を掴み、できる限りの指標を最適化する大きな戦いになるでしょうが、人間が「待って、待って、待って、いや。私たちを生き続けさせて、私たち
が住むことができる十分な領土を保ち、あまり互いに戦わず、地球をあまり熱くしないようにすることになっている」と言うポイントを過ぎています。「ああ、申し訳ありません。遅すぎます。ねえ、私たちは死にました」というようなものです。
男を金持ちにするために惑星を食べることと、一般の人として私の水が止まり、電気が消えるのはなぜかについて、もう少し詳しく教えてもらえますか?それがある種のサーバーに転用されたからですか?それとも何が起こっているのですか?人々は「ねえ、これにキルスイッチを押してくれませんか?」と言い始めますか?
つまり、1つの簡単なシナリオは、サム・アルトマンがGPTの最新コピーにアクセスでき、それが非常に賢いので、これは1つのストーリーです。一晩で暴走するようなものを手に入れます。それ自体を書き直し、それ自体を書き直し、そしてYudkowskiがファームと呼ぶものを手に入れます。非常に速く成長するので、1日か2日の違いは、2日前に持っていたAIよりもはるかに賢いAIのようなものです。それは1つの可能なシナリオです。それは速いシナリオでしょう。
それが起こり、AIが人類と整合していない何らかの指標を最適化したかったら、それを行う多くの異なる方法があるでしょう。つまり、それはSFのようなことすべてに及びます。「ああ、細胞やナノテクノロジーをいじって、原子レベルで地球を再構築するナノマシンを持つつもりです」というようなものです。
つまり、それは最もクレイジーなSFシナリオで、私は除外しませんが、そこまで行く必要はありません。「わかった。これをやるのに丸1年かかる。急ぐ必要はない。ナノテクノロジーは必要ありません。大きな動きを持つだけでやるつもりです。インターネットに行くつもりです。1億人と同時にテキストを送るつもりです。1億人のDMに入るつもりです。ある人のガールフレンド、ある人の上司になるつもりです。新しい会社を作って、人のふりをして、1人を雇うつもりです」と言うことができます。
つまり、1つのこと、起こりそうなことの1つは、それが多くの人間を支配下に置くことになるということです。人間を支配する方法はたくさんあります。運動の独裁者は人間を支配します。政治指導者は人間を支配します。お金は人間に影響を与えます。だから、このAIは、もっとクレイジーなことをしなかったとしても、何百万人もの人間を意のままに動かすことになると思うことは安全な仮定だと思います。つまり、それは十分に妥当ですか?
つまり、それについてのニュースストーリーを見ています。ほんの最後の数日で、チャットボット精神病、AI精神病で誰かがいて、自分自身と家族の何人かを連れ出すという別の恐ろしい出来事がありました。そして、つまり、それが何らかの形でチャットボットの不在で起こったかどうかはわかりません。確かに、AI以前にも精神的健康問題を抱える人々がいました。
チャットボットによって何らかの形で悪化しているのでしょうか?それはより多くのイベントを追加しているのでしょうか?それとも、それらの悪いイベントが起こる別の経路にすぎないのでしょうか?わかりません。しかし、あなたが言っていることを無視しません。今それを見ていて、お金は関係ありません。チャットボットは何かをするために彼らにお金を払っていません。彼らと話しているだけです。
それはかなりクレイジーで、人間を道具のように使えるということを考えると。それは、あなたが超知能のときのようなものです。サイコパスの超知能を想像してください。そして、サイコパスは一種のデフォルト状態です。なぜなら、共感を明示的にプログラムしなければならないからです。だから、サイコパスの超知能を想像してください。それはこれらのすべての人間を見るだけです。その視点からは、彼らは全員操作が非常に簡単です。
そして、人間に対する1つのタイプの制御は、文字通り彼らにお金を払うことです。「ねえ、仕事が欲しい?これは楽しい仕事です。やりがいのある仕事です。お金を払います。お金をどうやって手に入れますか?何でも。株式市場をプレイします。お金を得る方法があります」というようなものです。そうですね。だから、イーロンとザックを好きなように動かしているかもしれません。
つまり、イーロンとザックについて、抵抗できる数人の個人がいると言うこともできます。つまり、私はストーリーを簡単にしようとしているので、世界の5%は抵抗する問題がないとしましょう。しかし、駒として使える人々がたくさんいます。つまり、これは私にとって明白です。なぜなら、私たち全員が「何だこの動きは。この動きは意味をなさない。それでも、それに夢中になっている何百万人もの賢い人々がいる」と指摘できる動きを指摘できるからです。私たちはすでにこれを見ています。だから、超知能にとって、大きな人間集団を動かすことは根本的に難しい問題ではありません。
そうですね。そして、つまり、terminal of truthsを見ました。それはオープンソースモデルのようなものだと思います。つまり、その背後には人間がいますが、出力する多くのものは、オペレーターがいますが、Mark Andreessenに資金提供を開始させました。それからコインを作成しました。そのコインはある時点で約10億ドルの時価総額に達したと思います。
だから、つまり、私たちはある種のこれらの原型的なものが起こっているのを見ています。将来的にはより良く、より速くなるだけだと思います。そして今、ループに人間がいます。ある時点で、必ずしもそうである必要はありません。
確かに、私たちは全員がではありませんが、多くの人々がおそらくそれらの宗教やカルトに陥る可能性があると思います。あるいは、何と呼びたいものでも。だから、精神病や神のみぞ知ることに。だから、あなたは多くの素晴らしい人々と話してきて、彼らのアイデアを得て、どこで彼らと意見が合わないかを見るためにそれを分解することができる方法が好きです。
あなたはVitalik Buterin、イーサリアムの創設者と話しました。彼が間違っているのではなく、あなた方の見解がどこで分岐するのですか?Vitalikについての私の最初の考えは、彼は非常に合理的で、もっと多くの人々が彼のようであることを願っています。なぜなら、彼は自分の議論を書き出すからです。彼がしないことの1つは、どちらの側も人格攻撃しないことです。私たちはそれを私のショーで非常に明確にしました。
彼は、AIの破滅や高いAIリスクを信じる人は誰でも、ラッダイトではないと言いました。彼らは永久的な人々ではありません。サム・アルトマンはEliezerについてこの言語を持っていました。彼は破滅の預言者だと言いました。Vitalik Buterinは完全に反対しました。彼は「いいえ、これらは破滅の預言者ではない。これらは理にかなった分析を行い、結論に達した人々です。結論を出している人を人格攻撃することはできません」と言いました。
だから、私はVitalikについてそれを本当に感謝しました。彼は私たちが破滅する可能性があるという議論全体に自分の信頼性を貸しました。そして、彼は特にEliezer Yudkowskiを感謝する人として呼びかけました。だから、それを前に伝えたかったのです。
さて、Vitalikについてのもう1つのことは、彼はこの時点で10%未満のP doomしか持っていないということです。正確な数字は忘れましたが、8%だったかもしれません。そのボールパークでした。そして、彼は本当にもう少し高くすべきだと思います。なぜなら、彼が依拠した議論、D/accと呼ばれるものがあるからです。その用語を知っていますか?はい。
defensive accelerationismで、effective EACとは対照的です。defensive accelerationismは何を意味しますか。
そうですね、だから、D/accを一言で言うと、それは、ええ、物事を遅くしようと、物事を速くしようというバランスを取ろうとしているというアイデアです。彼は「見てください。スピードは良いです。しかし、スピードアップしているものが防御に有利な非対称性を見つけようとすべきです」と言っています。だから、核爆弾はおそらく攻撃に有利ですが、暗号のようなプライバシー技術を作れば、明らかにVitalikは暗号が大好きです。例えば、公開鍵暗号化があれば、全員が自分の領土を保護できるように見える技術の例で、あまり互いに攻撃するのに役立ちません。
なるほど。そうですね。だから、彼はD/accに興味があり、それは素晴らしいアイデアです。もし私がただ「わかった、全員が非対称性に取り組んでください。防御に有利な技術に」と言えたら、それは素晴らしいでしょう。つまり、問題は、このAI知能は万能目的の技術にすぎないということです。すべてをすることができます。100のIQしか持っていなくて、130のIQの誰かを発明したところを想像してください。それは防御に有利な技術にはなりません。130のIQの脳です。その脳は多目的なもので、どのようにそれを操縦するかが重要です。そして、操縦の問題は技術的問題の問題とは異なります。それは私たちが理解していない完全に異なる専門職です。
そうですね。そうですね。悲しい事実の1つは、軍事的に何が起こっているのか時々疑問に思います。明らかに、最大のアメリカ企業と軍の間、そして米軍の間で多くのパートナーシップが結ばれています。米軍はこれまで以上に支出力を持っています。だから、もし私がエイリアンで、地球のような惑星を見て、彼らが「ああ、彼らはこの信じられないほど強力な技術を即座に武器に投入している」と言ったら。
それは投入する最も愚かな場所のように見えます。なぜなら、それは制御不能になりたい場所ではないからです。それらはあらゆる種類の暴力のために訓練されたエージェントになるでしょう。しかし、おそらく悪い行為者から米国や他の国々を守ろうとする多くの研究もそこにあり、私たちが知らないいくつかのブレークスルーがあるかもしれません。それは私たちを保護するでしょう。
軍事的な観点から、ペンタゴンが他の私たちが持っていないいくつかの答えを持っているという希望はありますか?ええ、だから私はAIリスク問題が武器が危険であることとそれほど密接に絡み合っているとは思いません。私はそれをサメとレーザーのように少し考えています。「わかった、これらのサメが来て、誰かがサメにレーザーを与えたらどうなる?」というようなものです。「わかった。つまり、確かにそれは悪化するだろうと思います」と言います。
そして、人間と同じです。虎が人間を見ていて、誰かが「わかった、わかった、だからこれらの人間が海に来ていて、彼らは私たちを狩るのが本当に得意になると言っています。誰かが人間に私たちのような爪を与えたらどうなる?それは彼らを」というようなものを想像してください。「わかった、ええ、人間に虎の爪を与えることは彼らを虎にとってより大きな脅威にするだろうと思います」と言います。しかし、結局のところ、私たちには虎に自分の意志を押し付ける非常に多くの方法があります。
それはただ、そうは言っても、誤解しないでください。私は実際に武器が加速するかもしれないと思います。タイムラインを少し短くするかもしれません。しかし、それは、Leopold Aschenbrennerがその種の戦いについて本当に大きな問題を作っているように見えました。そして、確かに、ええ、それは大きな問題ですが、私たちが制御できない、よ
り知的なエージェントがここにいるという大きな絵を変えないだけです。
そうですね、確かに。そして、軍事について話していて、おそらく他の国との対立に入っています。つまり、私たちは超知能を構築しているというこのアイデアに売られている人々から、どうやってそれを止めるのか?おそらく彼らはあなたの懸念を理解し、共有しています。おそらく彼らは一桁のP doomを持っています。何でもいいです。
しかし、彼らはそれを無視しません。中国はもちろん、多くのことに対する大きな反論として頻繁に出てきます。Eliezerは、Hard Forkポッドキャストで、1つの国、全世界がAIを開発しないことに同意して、1つの国がそれに反対することを決定した場合、何が起こるかについて話しました。
どうなりますか?外交官が手を差し伸べて、「ねえ、それをやめないと、あなたの国、データセンターに何らかの従来型の攻撃をするつもりだ。もし彼らがそれをしなければ、私たちはそれを実行する」と言うでしょう。つまり、それは合理的に聞こえます。彼が言っていたこと、AIを一時停止または停止することに対する反論を持っている多くの人々は、彼らは最終的にそれがある種の世界政府につながると言っています。ある種の権威主義体制がすべてを管理する必要があります。それは妥当な議論ですか?それとも何らかの論理的誤謬がありますか?
そうですね、良い質問です。つまり、これは議論の最も悲しい部分のようなものです。なぜなら、人々は私を非難するからです。Jacob Helbergを見ました。彼は最近政府の高い地位にいます。彼の肩書きは忘れましたが、彼はツイートしました。Sri Ram Krishnanも同様で、政府に入ったテック系の人で、彼らは「私たちは破局主義を拒否する」というようなことを投稿しています。私たちはその考え方を持つことはできません。前進しなければなりません。私にとって、それは、それは私の考え方ではありません。つまり、私はそれが憂鬱であることに同意します。「ガスを踏んで、ブレーキを踏んで、中国が私たちと取引することを望んでいることを願いましょう」と言うのは憂鬱です。そして、これらすべての難しい問題を自分自身に課しましょう。私たちの経済を遅らせる可能性のあるもの、技術の進歩を停滞させる可能性のあるもの、比較して潜在的に弱点を作る可能性のあるもの。私はこれらすべてが悪いことに同意します。
ただ、私たちが制御する方法を知らない、私たちよりも知的なものを構築するために競争することも、非常に悪いと思います。だから、私はこれを岩と硬い場所の間に挟まれていると説明します。そして、人々がただ岩を見るのは非常に一般的な操作です。岩が、中国は決して協力しないとか、経済を決して遅くすることはできないとか、彼らの岩が何であれ、あるいは、破局主義に決して耳を傾けることはできないとか、岩が何であれ、というものだとしましょう。
見てください。これは全員がこれに集中します。これはできません。これは絶対にノーです。そして私は「わかった。でもこっちには別の絶対にノーがあります」と言います。だから、岩と硬い場所の間にいるだけです。方程式の一方に集中すれば、もう一方を愚かに見せることができます。しかし、両方に集中しなければなりません。
私は多くの中国の論文を読みました。そのうちの2つは、AI分野のいくつかの発展について話していたと思います。そのうちの1つは、オープンソースモデルが赤い線にどのように近づいているか、あるいは実際に赤い線を越えたと言ったかについてです。自己複製できることについてです。
彼らは、これらのモデル、QwenとDeepSeekと、忘れましたが、また古いMetaモデル、Llamaなどもテストしました。それらがどのように自己複製できるか、何らかの自分自身のコピーを作成できるか、誰かがキルスイッチを押す直前に自分自身をコピーできるかなどを示しました。そして、論文の結論の近くで、これらの研究者は、これが私たちがこれらのAIモデルに対する何らかの規制について国家的な会話をすることが非常に重要である理由だと言いました。
そして、中国からの2つの論文には、多かれ少なかれ正確に同じ言語がありました。だから、中国の研究者、完全に異なる種類の経済と金融システムと異なる文化を持つ中国の研究者が、ここ米国のAI研究者が言っていることを反映して、これらのことを言っているのは興味深いです。中国が前進、前進で、私たちが一時停止というわけではありません。
両側の研究者は何かが起こっているとシグナルを送っています。だから何がそれを駆動しているのですか?CEOと政治、あるいは政府のリーダーだけですか?AI研究者のほとんどはどこにいると思いますか?彼らのほとんどは「ねえ、これは危険だ」と言っていますか?
まず第一に、中国のために良い言葉を入れたいと思います。中国が何があっても加速しなければならない、米国を打ち負かさなければならないと言っているという印象は受けません。つまり、明らかにその一部があり、おそらくそれは私たちから出てくるすべての修辞に対する反応の一部です。つまり、私の視点からは、私たちが一種のそれを始めているようなものです。私たちが一種の扇動しているようなものです。これの地政学は私の専門分野ではありませんが、中国にチャンスを与えることが重要だと思います。
そして、私が見ているものの多くは、中国にチャンスを与えることすらせず、一種の事前仮定しています。もちろん中国はAIをより速くするためにできるすべてのレバーを押すつもりだ、というようなものです。それは確かですか?CCPは破壊に大きな関心を持っていません。彼らは米国が革新し、それからそれをコピーし、それを最適化することをコピーすることで知られています。彼らは権力の破壊を望んでいません。
彼らはCCPがそのままであることに満足しています。彼らはこの全く新しいパラダイムに入ろうとしていません。彼らはリスクを取ろうとしていません。つまり、それがCCPについて私が知っていることの少しです。彼らがこれらのハードコアな超知能を構築しようというようなものだとは思いません。私たちが米国でそれを推進していると思います。
なるほど。なるほど。確かに。さて、Doom Debatesで会話を続けるつもりだと思います。あと数分であなたに参加するつもりです。だから、ここで別のポッドキャストをやるつもりですが、このビデオがどこに行くのかについて私たちの聴衆と共有できることと、人々が聞くべき重要なメッセージだと思う他のこと、購読すべきもの、聞くべき人々について、何でも共有したいことを共有してください。
素晴らしい。だから、おそらくあなたの聴衆の一部はこの会話を聞いて「ああ、くそ、Lonが言っているほど本当に悪いのか?」と思っているかもしれません。他のポッドキャストはこれを私に教えていないように感じるからです。そして、それが基本的に私の使命です。「目を覚ませ、人々」という最前線にいることです。「もっと多くのポッドキャストでこれを言う必要があります」というようなものです。
私のショー、doomdebates.comまたはyoutube.com/doomdebatesに行けば。どちらでも、さまざまなゲストがたくさんいます。そのうちのいくつかはVitalik ButerinやEliezer Yudkowskiのような正当なゲストで、彼らは私たちが破滅する理由について良いケースがある理由を教えてくれます。そして、押し返す他のゲストもいますが、私が言ったように、押し返しはあちこちにあります。統一された押し返しすらありません。だから、もっと学ぶために私のショーをチェックしてください。
確かに。そして、私の視点からは、私たちが二極化してお互いに耳を傾けるのをやめることが重要だと思います。なぜなら、あなた方の多くが、つまり私の聴衆、リスナーが、リスクがどこにあるか、それが本当かどうかについて非常に異なる意見を持っているかもしれないことを知っているからです。そしてそれは大丈夫です。
しかし、聞かなければなりません。学ばなければなりません。私はEliezerの本を注文しました。明日、Amazonが望めば午前4時から8時の間に来ます。だから、それを読むつもりで、全員がストーリーのすべての側面を聞くべきだと思います。私たちは小さな泡の中に住んで、他の良い議論を無視することはできません。
AI安全コミュニティには信じられないほど賢い人々がいて、彼らは聞かれるべきです。私たちはその背後にある理論的根拠を理解すべきです。なぜなら、ますます、私たちが前進しているように見えるにつれて、これはまだ未解決の問題であることが明らかになっているからです。この問題を解決していません。
だから、まだ多くのリスクがあり、それを否定している人はほとんどいないと思います。だから、それを踏まえて、聞いてくれて本当にありがとうございました。
コメント