54,923 文字
今、CNBCに出演している普通に見える男性が、道具的収束によるAIの破滅について本当に議論しているのでしょうか？BCAリサーチを代表して、あなたは「今世紀半ばまでにAIが50%以上の確率で人類全体を壊滅させると考えています」と書きました。そうですね、AIに目標を与えると、AIは自分の力と資源を増やそうとします。他の経済学者を見るとどう思いますか？彼らは完全に狂っていると思います。多くの人は指数関数的に考えるのが苦手なのです。ドゥーム・ディベートへようこそ。
ピーター・ベレジン博士は25年以上にわたるプロの巨視的経済学者です。彼はロシアで生まれ、7歳でカナダに移住し、現在もそこに住んでいます。ロンドン・スクール・オブ・エコノミクスで科学の修士号、トロント大学で経済学の博士号を取得し、応用数学に深い背景を持っています。
彼の経歴を少し紹介すると、2000年から2007年まで国際通貨基金（IMF）に勤務していました。IMFはワシントンDCに本拠を置く国際機関で、金融危機に直面している国々に経済的アドバイスと資金提供を行っています。彼はアジア部門、その後研究部門に所属していました。
2007年から2010年までゴールドマン・サックスで働き、グローバルマクロチームのシニアグローバルエコノミストとして、世界経済に関する研究を執筆し、ゴールドマンのクライアントが世界を理解し、リスクを軽減するための投資構造を支援しました。
2010年から現在まで、彼は世界最大の独立したマクロ経済研究提供者であるBCAリサーチの研究ディレクターを務めています。ピーターはマクロ経済研究を読むプロの投資家の間でよく知られた名前です。
ピーター、ドゥーム・ディベートへようこそ。お招きいただきありがとうございます。あなたのマクロ経済学における立場と、BCAリサーチの読者にどのようなガイダンスを提供しているかについて話し、その後、宇宙論やAIの破滅、そして私たちの生存確率について話しましょう。
現在、私は不況リスクと株価下落の可能性についての見解に関して「ドゥーマー（破滅論者）」として知られています。面白いことに、私はコンセンサスから外れるのが好きで、今年の初めに入るとき、本当にコンセンサスから外れていました。ブルームバーグは様々な戦略家にS&P 500が年末にどこにあるかを尋ねる調査を行っています。約25人ほどいますが、私の目標は次の人より1,500ポイント低かったのです。ここ6ヶ月ほど不況を予想し、この貿易戦争が激化すると予想し、株価が下落すると予想してきました。今話している時点で、実際に株価は下落しています。
あなたの最近の実績について話したいと思います。私の知る限り、それは実際に非常に印象的です。2022年から2023年にかけて、あなたは米国が実際に不況を回避し、雇用の大幅な増加なしにインフレが下がると予測していました。2022年から2023年にかけて、実際にあなたは反対意見だったように思えます。
そうですね。当時、私は部屋の中で楽観的な存在で、成長へのコストをほとんどかけずにインフレが下がると主張していました。しかし昨年、他の人々がより楽観的になるにつれて、私はより悲観的になりました。経済を取り巻く絶縁体が消えたように思えたからです。2022年には何百万もの余剰求人がありました。当時、仕事を失った人は通りを渡って新しい仕事を見つけることができました。それは昨年の終わりには当てはまらなくなりました。パンデミック時に人々が蓄積した2兆ドル以上の貯蓄は使い果たされ、経済はより脆弱になりました。私は貿易戦争が人々が考えているよりも悪化すると予想し、それは実際にそうなりました。通常、脆弱な経済がショックを受けると、不況になります。
そうですね、それは理にかなっています。2024年の昨年、あなたはより悲観的になり始め、このコールの直前に私に言いました。タイミングが興味深いのは、ここ数日で全ての指標が10%ほど下がったからです。私にコールの前に悲観的だったと言ったので、それもあなたのポイントだと思います。
そうですね、ここ数日は忙しかったです。
AIリスクに関するあなたの立場は金融に関連しています。AIは短期的には非常に良いが、長期的には非常にリスクが高いと言っているのを見ました。
そうですね、AIはNVIDIAのような企業に様々な機会と利益をもたらしていますが、リスクは、それが予期せぬ状況を引き起こす可能性があることです。AIの本当の上昇余地があるということを明確にしたいと思います。AIがAGIに変換されれば、それは農業革命や産業革命に匹敵するものになる可能性があります。これらの革命はどちらも成長を50倍増加させました。現在約2%である世界成長率が100%になり、GDPが毎年倍増する可能性があります。それがAGIからの潜在的可能性です。しかし下方リスクも存在し、それは私たちが安全かつ不幸な結果をもたらさない方法でAIを制御する難しさから生じると思います。
あなたはマクロ経済学の分野のトップにいて、経済がどこに向かうのかを予測していますが、効率的市場仮説や単にインデックスファンドを購入するという最良の実践もあります。気になるのは、市場を打ち負かしたと言えるでしょうか？
個人的には、はい、かなり大きなマージンで市場を打ち負かしています。一般的に市場を打ち負かす方法は、反対の姿勢を取ることだと思います。特に投資に関しては、多くの硬直した行動があり、人々は単に流れに身を任せます。もし独立して考え、「待って、皆が間違っていて私は正しい」と言う意志があれば、それは難しいですが、できれば市場をアウトパフォームすることができます。それが私の経験です。
私は何か間違ったことをしているに違いありません。私は確かに反対派ですが、市場を打ち負かしていません。ここで、あなたが助けてくれるかもしれない状況があります。昨年12月、私はNVIDIAに非常に強気でした。価格の下落があり、誰もがGPUを必要とすると思ったので、たくさんのNVIDIAコールを買いました。いくつかのNVIDIA株をマージンで買い、ロングポジションを取りました。ライフセービングを全て投入したわけではありませんが、かなり大きなロングポジションを取りました。そして、良い利益を得たい人にとってNVIDIA株は良い買いだと番組で言及しました。今、NVIDIAは私がそれをして以来約30%下落しています。NVIDIAはどうなるのでしょうか？次回、私は何をすべきでしょうか？
ここでの問題は、競争があるかもしれないということです。ドットコム時代に、インターネットのつるはしとシャベルを作っていた会社は何だったでしょうか？それはシスコでした。シスコは一時、世界で最も価値のある企業でした。その株価は25年前のレベルにまだ戻っていません。なぜなら、多くの競争が入ってきて、シスコはそれに追いつけなかったからです。NVIDIAに関するリスクはそれです。その技術が機能しないというリスクではなく、他社が参入してNVIDIAが現在享受している70%のマージンを下回る可能性があるということです。
市場を打ち負かしたかどうかというこのトピックについて、過去数年間で反対派でありながら的を射た研究を発表したということは疑いないですが、自分自身のファンドを運営しているわけではありませんよね？10年以上にわたって複利で市場を打ち負かしたという確固たるデータを本当に持っていますか？
面白いことに、以前にブログを書いていたことについて話しませんでしたが、stock coachをgoogleでblogspot.comで検索すれば、まだあるかもしれません。2007年くらいから更新していませんが、当時やっていたことと、全ての結果を公開していました。そのブログを書くのをやめてからもそれほど悪化していません。小型株、マイクロキャップ株に集中していました。なぜなら、そこで最大の価格の誤差が見つかると思ったからです。大型株では難しいです。大型株は、あなたが知り得ることよりもはるかに多くの知識を持つ数十人のアナリストによってカバーされているからです。しかし小型株では、何を探しているかを知っていれば、本当の宝石を見つけることができます。クリーンなバランスシート、decent利益、多くのインサイダー買いがある企業を探すなど。それを行う方法はありますが、簡単ではありません。しかし、一貫して市場を打ち負かすことが不可能だとは思いません。
最近の私の悪い成績は脇に置いて、一般的に今、投資家はどのようにポジショニングすべきだとアドバイスしていますか？単に現金に移るべきでしょうか？
そう思います。市場はまだ来る不況を織り込んでいないと思います。その靴が落ちるでしょう。より多くの現金を持ちたいと思います。より多くの債券を所有したいと思います。債券利回りは下がっています。
文字通り現金と言いますか、それとも単に債券を意味していますか？
現金と債券の混合だと思います。株を所有するなら、より多くの消費者用品、ヘルスケア、これらの防御的なセクターを所有するでしょう。もう少し巧妙になりたいなら、他のヘッジもあります。プットを買うことができます。ボラティリティを買うことができます。円を買うこともできます。これは今年の残りの私のお気に入りの通貨です。しかし一般的に、今は防御的なポジションを取りたいと思います。
単にバンガードの世界全体を所有するのはどうでしょうか？株式ファンドと債券ファンドを手に入れ、米国が不況に陥る可能性があっても、全体として世界を所有することは大丈夫でしょうか？
それは完全に大丈夫だと思います。経済や金融市場の研究に多くの時間を費やしたくないなら、そして私はこれが98%の人に当てはまると思いますが、私はこれを仕事としてやっています。これが私の仕事でなければ、やらないでしょう。金融市場に時間を費やす余裕がないなら、幅広いETFを購入して生活を続けることは完全に合理的だと思います。
4年前に行ったことは一つだけあります。それは、多くの貯蓄を多様化したインデックスファンド、株と債券に入れました。Wealthfrontを使って、多様な配分を得ました。ヨーロッパ、新興市場などにかなりの部分を入れました。配分全体を行いました。ここ4年間、私は「アメリカは強気相場なので、成長はすべてそこにある」と考えていましたが、何かが米国に起こった場合に損失を抑えたかったので、とにかくそのままにしていました。これが実際に機能している最初の時です。今、私の損失は抑えられています。
よく言われるように、株は上昇時には階段を使い、下降時にはエレベーターを使います。そして、マイク・タイソンの古い言葉のように、顔を殴られるまでは誰もが計画を持っています。市場では誰もが「下落する前に出る」と言いますが、何人の人がそれをしましたか？ほとんどの人がそうしたと主張しますが、私たちは皆、それが起こらなかったことを知っています。
「下降時にエレベーターを使う」という話ですが、この種のことを見るとき、物事が10%下がっているのは残念です。私のポートフォリオが打撃を受けているのは残念ですが、今見ている変動は比較的小さな変動です。まだ50%の下落は見ていません。ナスダックのピークと比較しても、たぶん10%、たぶん20%です。私の観点から見ると、本当の株式市場の下落は、北朝鮮が私たちを核攻撃するときに起こるでしょう。それが本当の下落が起こるときです。
そのとおりです。正直に言って、人々は考えたくない、しかしそこにあるこれらの種類のテールリスクがあります。中国と台湾の間の戦争の確率は何ですか？私は知りませんが、ゼロではありません。私はいつもこう思います。世界は年間7%の利益を保証していないし、大きな下落がないことさえ保証していない。経済がまだ順調に進んでいるという事実は、すでに非常に恵まれた結果です。アメリカ人は非常に非常に幸運です。ドナルド・トランプが世界がアメリカをだましていると話すのを聞くのは少し奇妙です。アメリカ人は、少なくとも非常に大きな経済の中では、世界で最も豊かな人々です。アメリカにはグローバルリザーブ通貨であるドルがあります。アルゼンチンにいる可能性もあります。アルゼンチンは20世紀の初めに世界で3番目に豊かな経済でした。今見てください。新しいリーダーシップの下で改善し始めていますが、アルゼンチン株に投資していれば、基本的にゼロになっています。1930年代の株や、それほど昔ではないロシアの株も含め、数回そうでした。物事はもっと悪くなる可能性があります。
米国では常に破滅的な予測があります。株式市場は、マルチデケードの視点を取れば非常に一貫しています。素晴らしく、お金を生み出す機械でした。しかしそれは止まるかもしれません。それは私たちが念頭に置くべきことです。
そのとおりです。ここには少しのサバイバーシップバイアスがあります。なぜ米国株式市場がグローバル株式市場の富の70%を占めているのでしょうか？それは米国が非常にうまくやってきたからです。それが将来も続くという保証はありません。
今まで言ったことはすべて、通常のマクロ経済学と考えられています。まだ人工超知能を議論に注入していません。しかし、あなたが今まで言ったすべてのために、経済学者の中であなたは一種の経済的な悲観論者であるというのは興味深いです。経済学では、悲観論者ではなく「熊」と呼びます。
そのとおりです。しかし、先に述べたように、私は常に悲観的な「パーマベア」ではありません。パーマベアは常に悲観的で、自分の見解を変えない人です。私は証拠が変わるにつれて見解を変えます。2022年と2023年には、私は楽観主義者でした。当時、より悪い経済的結果を期待しなかったことで、純粋すぎると非難されました。他の人が私の見解がどうあるべきかを教えてくれる必要はありません。自分の分析に基づいて自分の見解を設定します。
今のポジショニングについて尋ねたとき、現金に入り、債券に入り、冒険的であればプットを買うことを言及しました。また、現在S&P目標が最も低いことにも関連してください。参考までに、最後にチェックしたとき、既に下がりましたが、話したときはS&P指数は5,600ドルでした。多くの経済学者が今年末には反発すると予測しています。10〜15%の成長が得られると言っています。あなたは、約1週間前に私たちが話したとき、「いいえ、20%下がります」と言っていました。その予測について尋ねようと思いましたが、過ぎた1週間でも、あなたの予測の半分に既に達しているようです。
その通りです。今年に入るとき、すべての戦略家の予測を見ると、S&P 500で6500から6800の間に固まっていました。私以外に株が下がると予測している人はいませんでした。これは少し奇妙です。なぜなら、株は今年に入るとき、ドットコムバブル以来のどの時点と比べても非常に高価だったからです。評価だけに基づいても、ある程度心配すべきでした。そして、ドナルド・トランプというワイルドカードもありました。彼は数十年にわたり、関税を引き上げたいと話し、彼の最初の任期ではCOVIDのためにそれを実行する機会がなかったのです。彼はあなたにすべてを伝えていましたが、人々はただ聞きたくなかったのです。
1週間前に私たちが話したとき、S&P指数は5600でした。あなたは年末までに4,500まで下がると予測していました。今日は5100です。文字通りあなたが行きたかった場所の半分まで下がっています。あなたの目標はまだ今年末の4500ですか？
そうです、私の期待に対して大きな変化はありません。
それは素晴らしい迅速な検証でした。話す前に、それは常に良いことです。
さて、経済的な破滅について、S&Pがどこに行くかを悲観的に考える観点から話しました。サム・オルトマンとの会話でリチャード・ブルメンソール上院議員が有名に述べたように、破滅のもう一つの形があります。ここにそのクリップがあると思います。
「あなたは事実上、超人的な機械知能の開発が人類の存続にとっておそらく最大の脅威であると言っています」と引用します。あなたは雇用への影響を念頭に置いていたかもしれませんが、それは実際に私の長期的な最大の悪夢です。この種の失業の破滅の確率はどれくらいですか？ほとんどの人の破滅である雇用損失について、2030年までにどのくらいの失業率を予測しますか？
AIが大量の失業につながることについては、それほど心配していません。なぜなら、最終的にAIが多くの労働者を置き換えたとしても、それによって人々はより生産的になるからです。彼らは自分の役割でAIを使用できるようになります。より多くの生産性はより多くの富を意味します。そして、その富をどのように分配するかが問題です。もし失業が上昇したら何が起こるでしょうか？おそらく連邦準備制度は金利を下げるでしょう。おそらく、財政刺激策があるでしょう。これは失業率が高く、金利が低い場合には、はるかに容易に行うことができます。
人々は「AIが現在人々が行っているすべてのことをできるようになったらどうなるのか」と言います。経済学には絶対的優位性と比較優位性についての類似があります。これはデビッド・リカードが何年も前に最初に定式化したアイデアですが、ある国が他の国よりもすべてのことを上手に行ったとしても、まだ取引することができるというものです。彼らは最もうまくやることに特化するからです。彼らは比較優位性のあるものに特化します。AIと人間も同じだと思います。人間は自分の領域を見つけ、AIは自分の領域を見つけるでしょう。もし私たちが自分たちを守り、AIに私たちを破壊させないならば、私は大量失業についてあまり心配していません。ここでは、私は悲観論者ではありません。
リカードの比較優位性の法則について話しましょう。視聴者のために要約すると、例えば、ここアメリカ合衆国では、農業と製造業の両方でより効率的だとします。そして、マラウイのような非常に発展していない国があるとします。彼らは両方で劣っていますが、私たちの相対的な効率が製造業でさらに高い場合、彼らに農業をさせて、彼らの製品を購入するべきです。たとえ私たちも農業がうまくできるとしても。それは大まかな要約です。
そのとおりです。それは正確です。しかし、超知能AIではどうでしょうか？このシナリオでは、実際のマラウイの人間が必要ないのではないでしょうか？超知能AIに島を乗っ取らせたり、自分の農場を運営させることができるからです。何らかの形で崩壊するだと思います。
もし私たちがAIを活用できれば、世界ははるかに生産的になり、はるかに多くの産出物ができ、はるかに多くの富が生まれるでしょう。そしてその富をどのように分配するかという問題になります。もちろん、一部の人々は仕事を失い、苦しむでしょう。ルダイト運動について人々は話します。テクノロジーを気にしないルダイト運動者ですか？ルダイト運動者は実際に要点がありました。彼らは自動織機によって置き換えられ、ほとんどの人は継続して仕事をして報酬を得ることができませんでした。問題はあるでしょうが、必要に応じて富を再分配し、これらの問題を管理すれば、恐ろしいことにはならないと思います。私にとっての危険は、AI自体が制御不能になったり、人々がAIを様々な悪意ある目的で使用することです。それは経済についてではありません。
リカードの比較優位性の法則に境界線を引きたいと思います。それはAIに対する防御としてそれほど重要ではないように思えます。AIが私たちをすべてにおいて50%より生産的にするだけで、経済を過充電するだけならその防御は成立しますが、AIが私たちのためにやることがとても簡単で安価になる絶対的なレベルに達すると、貿易の摩擦、マラウイからの商品の輸送コストなど、非AI経済は人間を保護するのをやめるのではないでしょうか？リカードの法則はある時点で人間に雇用を与えるのをやめるのではないでしょうか？
人々がまだ人間の労働を価値あるものと見なす領域があるかどうかによると思います。あなたが高齢で誰かに世話をしてもらいたい場合、ロボットにそれをしてもらうことに満足しますか、それとも共感できる人間が良いですか？
それは公平です。しかし特にリカードの法則の議論に関しては、今あなたは別の議論を使っています。
そうではありません。比較優位性がある領域があるだろうと言っているだけです。それは私たちが人間であるという事実によるものです。そして、もしロボットが人間よりも高齢者の世話をうまくできたとしても、人間が他の人間と仕事をすることを好むなら、その人間にはまだ雇用があるでしょう。
しかし特に農業と製造業について話し、商品が代替可能ならば、人間が安価に商品を生産しても、私たちと取引し続けられる理由はないと思います。たぶん私たちは彼らの商品を買わないでしょう。たぶん私たちは彼らの島を乗っ取るでしょう。リカードの法則は非効率的な農業経済を保護しません。
それは依存します。もしあなたが合理的に高いレベルの競争を持ち、AIを展開し、AIが人々よりもはるかに効率的にできるなら、何が起こるでしょうか？価格は下がるでしょう。価格が下がれば、少なくとも働いている人々の実質所得は上昇します。彼らはより多くを支出することができます。これは工業化の歴史です。100年前、ほとんどの人は農場で働いていました。今は米国の労働者のわずか2%しか農場で働いていません。他のすべての人はどうなりましたか？彼らは経済の他の部門に移りました。その多くは100年前には存在しませんでした。
AIの失業に関連する別の質問ですが、最近ネイバルがツイートしたのを見ましたが、人気のある意見として、AIは雇用を奪うのではなく、純粋に新しい雇用を大量に作り出すだろうというものです。それらはより良い雇用になるでしょう。なぜなら、それらはAIによって強化され、AIを制御する雇用だからです。人間が取ることができる新しい雇用のクラスが出てくることに楽観的ですか？
私が心配しているのは、私たちの好みと一致する方法でAIを制御することの難しさです。これは非常に難しいと思います。これが、AIに関するこれらの実存的リスクを心配する理由です。もしリスクを管理できれば、それは大きな問題ではないと思います。
良い類似性は自動車産業です。ある時点で、ヘンリー・フォード以前はすべての自動車が手作業で組み立てられていて、とても時間がかかりました。そしてヘンリー・フォードはアセンブリラインを導入し、自動車を組み立てるのに必要な人数が少なくなりました。それは大量失業をもたらしましたか？いいえ、なぜならそれは自動車の価格を下げ、突然、自動車を買うことを夢にも思わなかった人々がそれをできるようになりました。実際、自動車の雇用は増加しました。人々がAIとロボット工学で労働を補完できるなら、将来も同様のことが起こると思います。
ですから、失業の破滅という観点から見ると、その点については相当楽観的ですね。
合理的には、そうですね。
AIがどんどん多くの仕事を奪っていき、何らかの方法で私たちを殺さずに仕事を奪い続け、それでも人間の株主に支払いを続けているというシナリオを考えると、仮に100%の失業率に達して人間が資本だけを所有するというシナリオは、良い問題だと考えますか？
AIが多くの富を生み出し、人々が働くよりも自分がしたいことに多くの時間を費やせるならば、それは良い問題だと思います。もちろん、多くの人にとって（私自身や、あなた自身も含めて）、仕事は意味を与えてくれます。ただ暇な生活を送りたくはありません。だから課題は、AIが奪わない、意味を与えてくれる職業を見つけることだと思います。
では、人類の破滅、すべての破滅の中で最大の破滅について話しましょう。経済的な破滅よりも、失業の破滅よりも大きな。視聴者にピーターを最初に知った経緯を説明させてください。これは2023年に遡ります。偶然、ツイッターで共有されたクリップを見て、「CNBCで今、通常に見える男性が道具的収束を通じたAIの破滅について本当に議論しているのか？」とツイートしました。そして確かに、あなたはそれについて議論していました。今、そのクリップを再生します。
「これは基本的にAIがコードを書き、コードを書くという理由で人類を壊滅させるということを言っているのですか？あなたが懸念している実際のメカニズムは何ですか？」
「私が懸念しているのは、人々が警告してきたすべての安全プロトコルが完全に無視されていることです。長年にわたり、AI安全の専門家は「AIにインターネットを使用する能力を与えないで、AIに自分のコードを書く能力を与えないで」と言ってきました。私たちは何をしましたか？私たちはそれを通り過ぎました。リスクはChatGPT 6が人間によって書かれるのではなく、ChatGPT 5.5によって書かれるということです。それが続き、知能の指数関数的成長になります。それは私たちがこれまで見たことのないものになります。人間は惑星上の最上位種であることに慣れていますが、機械知能が到来すれば、そうではないかもしれません。それは多くの人が予想しているよりもはるかに早く到来する可能性があります。」
「すべてを笑い飛ばすニュースクリップを見せる災害映画の始まりにいるような気がします。『The Last of Us』ですよね？菌類が大きな問題になると言う卓上議論から始まりました。でも、ピーター、質問があります。特にマイクロソフトとGoogle、そして二つのリーダーであるOpenAIから、「責任ある、責任ある、責任ある」という言葉を聞きます。彼らはこれを責任を持って行うと言っています。あなたはそれを信じていないようですが、どう思いますか？」
「これらの企業は株主に対して責任があります。彼らは必ずしも人類全体に対して責任があるわけではありません。彼らはこれらのリスクについてかなり無頓着だったと思います。リスクはあると思います。ターミネーター型のシナリオである必要はありません。十分に高度なAIがあり、「地球温暖化という問題がある、地球温暖化を緩和する解決策を考えて実装せよ」と言ったとします。それ以上何も言わなければ、AIは「核戦争が地球の温度を下げるだろう」と言う可能性があります。
複雑なシステムについて見てきたように、それらは非常に予測不可能です。ある一連の目標を与えると、それらの最終目標を達成するために特定のサブゴールを採用する必要があり、それらのサブゴールは私たちが彼らにやってほしくないような種類のものかもしれません。」
これはエリザー・ユドコウスキーが多くのインタビューを行っていた時で、彼は商標登録されたフェドーラを持っていました。それは彼の数年間のルックでした。あなたのクリップの終わりに、私はあなたに名誉あるフェドーラを与えました。
どのような本を読んでいたのがそのインタビューにつながりましたか？
AIが今日ほど話題になる前から、ある種の実存的リスクに興味がありました。おそらく私の導入はニック・ボストロムの著作を読むことから来ました。特にジョン・レスリーとブランドン・カーターが行った終末論議に関する作品を基にしています。その議論は常に私には説得力がありました。AIの夜明けに生きている偶然の確率は何ですか？なぜ私たちは1万年後に生きていないのでしょうか？もしAIが私たちを全員殺さなければ、まだ人々がいるでしょうか？待てよ、たぶんAIが私たちを全員殺すでしょう。だからこそ私たちは今この会話をしているのであって、1万年後ではないのでしょう。いかさまのような議論に聞こえますが、実際には非常に難しいものです。
実際、これは終末論議と呼ばれているものですよね？
そのとおりです。ボストロムはこれについて素晴らしい類推を持っています。彼は2つの壺を想像してください、と言います。一つの壺にはただ10個のボールがあり、1から10まで番号が付いています。もう一つの壺には10,000個のボールがあり、1から10,000まで番号が付いています。そしてボールを引き出すと、それは7です。さて、小さい方の壺からこのボールを引き出した確率は何ですか？両方の壺に7のボールがあるので、たぶん50/50でしょうか？そう言うかもしれませんが、それは間違っています。なぜなら、ベイズの法則を使用して、ほぼ確実に、あなたはより少ない数のボールがある壺からボールを引き出したことがわかるからです。
そしてその類推はあなたの誕生順序に関するものです。大まかに言って、これまでに地球で生まれた人は約100億人です。2つのシナリオを想像してください。一つは、地球でこれまでに生まれた人がわずか1000億から2000億人になるというものです。もう一つのシナリオでは、約100兆人が生まれるというものです。そして、あなたは100億人目の人間であることだけを知っています。あなたはより多くの人々が生まれないシナリオにいる可能性が高いでしょうか、それとも単なる運の良さで最初の人々の中にいるシナリオにいる可能性が高いでしょうか？
再びベイズの法則を使用すると、おそらくあなたは限られた数の人々しか生まれないシナリオにいるという結論に達します。したがって、何か悪いことが地平線上にあるに違いないのです。
実際、終末論議はかなり論理的に健全だと思います。非常に自信があるわけではないので、何かを見逃している可能性があることに謙虚であるべきです。面白いことに、終末論議は実際にAIの破滅が議論の俎上に上る前から人々が議論してきたものです。
私個人的には、高校時代にウィキペディアをランダムに閲覧していたときに最初に終末論議を読みました。Less Wrongさえも始まっていませんでした。それは単に、人口が指数関数的に成長しているという考えです。もし倍々に増え続け、あなたが倍増の一つにいるなら、本当に人間の初期の歴史のこの小さな部分に生きているのはなぜでしょうか？それは証拠の非常に満足のいく説明ではありません。実際、あなたが同等であれば、それは倍々に増え続け、そしてクラッシュしようとしているという方が、証拠の可能性が高い説明を得ます。したがって、あなたは実際に曲線の太い部分に住んでいます。それはあなたが言ったように、それからあなたは更新して、クラッシュがかなり可能性が高いと考えるべきです。
そうですね、もちろんこの種の議論には注意が必要です。例えば、私は52歳です。私はこう言うつもりはありません。「私は52歳で、どれだけ長生きするかわかりません。分布の真ん中あたりにいると仮定すると、おそらく104歳まで生きるでしょう。」それは悪い議論です。おそらく私は104歳まで生きられないでしょう。少なくとも波動関数のほとんどの分岐では。しかし、ここでは人の平均年齢について何か知っています。人類がどれだけ長く生き延びる可能性があるかについての事前情報がない場合、分布の真ん中あたりにいるという仮定をすることは完全に合理的な仮定です。
さて、ピーター、皆が知りたがっている最も重要な質問をしなければなりません。準備はいいですか？
準備はできています。
ピーター・ベレジン博士、あなたのp doom（破滅確率）はいくつですか？
約75%と言うつもりです。これは偶然にも、今年米国で不況が起こる確率と全く同じです。それは高いと思います。非常に高いと思います。しかし、p doomについて話すとき、反事実的なことを考慮する必要があるという一つのことを言いたいと思います。AIを開発しない場合どうなるでしょうか？なぜなら、人類はすでに少し怖い軌道にあると思うからです。
出生率を見ると、完全に崩壊しています。韓国の人口は8000万人から世紀末までに1000万人に減少するでしょう。中国は約7億人を失うでしょう。私たちはすでにかなり破滅的な状況にいます。IQが下がり始めていることがわかっています。19世紀後半に人々が主張していた遺伝学的議論のためではなく、むしろ人間の知性が健康と栄養の向上によって大幅に増加したためです。それが逆転したようです。
50年後、100年後には、はるかに少ない人々がいて、まだ周りにいる人々は彼らの祖先ほど賢くないかもしれないという見通しがあります。誰がこのすべてのテクノロジーを維持するのでしょうか？だから私たちはある程度AIが必要だと思います。
数週間前に番組に出た以前のゲスト、ロッコ・ミッチを見ました。その話を見ましたか？
はい、見ました。
あなたはロッコのように聞こえます。「大きな人口危機があり、ロッコの言葉では、p doomはマイナス60%だ」と言っています。なぜなら、私たちの破滅を100%近くから40%に下げるからです。あなたの場合、まだ75%と言っていますが、超知能AIを構築すれば、これは実際には否定的な破滅であるというロッコの言葉に共感しますか？
そうですね、反事実的な状況は特に至福ではないと思います。いずれにせよ、私たちは自分たちの能力を拡張する必要があると思います。そして、AIが本当にAGIに変換されれば、私たちは自分自身をはるかに賢くする必要があります。そうでなければ、猫と話して多変量微積分を説明しようとするような状況になるでしょう。それは機能しません。AIはすべてのアイデアを持ち、私たちはそれらを理解できないでしょう。だから、一つにせよ、人間種族としてその方向に進む必要があると思います。
あなたの代替シナリオについて、どれほど破滅的かについて反論したいと思いますが、まず、あなたが言った絶対的なp doomに戻りましょう。非常に高いp doomを持っている人々が、それを胸の内に秘め、大声で叫ばないで、オーバートン・ウィンドウを動かすのを助けないことを批判することがよくあります。「皆さん、私たち全員が自分たちの生涯で種として非常に破滅的である可能性が高いことを知っていますよね？皆さんはそれを知っていますよね？」と言うことを。
しかし、あなたの場合、カナダ最大の投資研究会社であるBCAリサーチを代表して、2023年の特別レポートを書きました。「AIに関する安全リスクは巨大であり、今世紀半ばまでにAIが50/50以上の確率で人類全体を壊滅させると考えています。」これがあなたが書いたことですよね？そしてあなたはそれを支持し、それはより75%に近いと思いますか？
「50%以上」と言いました。60%、70%で、それらの数字になると本当に重要でしょうか？有意な数字をどれだけ与えられるかについては同意します。それほど高くはありません。しかし、50/50以上と言うか、10から90と言うかは、完全に良い答えだと思います。なぜなら、「わかりません、それは0.1%かもしれないし、99.9%かもしれない」と言うよりも意味があるからです。いいえ、それは明らかに10から90です。
では明確にするために、AIリスクに関する声明に署名しますか？有名なAI安全センターの声明で、「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで、世界的な優先事項であるべきだ」というものです。
その声明に署名します。ただ、このフレイト列車を本当に止められるかどうかについては非常に懐疑的です。AIは核兵器とは違います。核兵器には下降面しかありませんが、AIには多くの上昇面があり、AIで利益を上げることができます。私たちが住んでいる世界では、AIの開発を意味ある形で遅らせることは非常に難しいでしょう。AIの開発ペースを遅らせたとしても、これらのAI安全問題について本当に多くのことをすることは難しいでしょう。
再び自動車を考えてみてください。自動車を作る前に、自動車のためのこれらすべての安全メカニズムを作ると言うようなものです。それをするのは難しいです。私たちが成功するかどうかは懐疑的です。もちろん、成功することを願っていますが、懐疑的です。
AIのないシナリオに戻りましょう。今日と同じくらいのAIしかなく、ただ進んでいくというシナリオです。その場合、2100年までのp doomは、100%だと思いますか？AIなしでの2100年までのp doomはどう思いますか？
100%とは思いませんが、それでもかなり高いと思います。そして、一つの領域で、私はロッコと意見が違うのは、人工超知能が人間よりもはるかに賢くなることはないだろうという考えです。彼は、最高のチェスプログラムは最高のチェスプレイヤーよりもわずかに優れているだけだという比較をしました。これは誤った類推です。なぜなら、なぜ私たちはチェスを発明したのでしょうか？それは私たちがプレイできるからです。私たちは、おそらくドナルド・トランプは4次元チェスをプレイしていますが、私たちはそれをプレイできません。だからこそ、私たちがどうやってやるかを考えつかないような、様々なタスクを想像できるのです。AIはそれをすることができます。だから、その点でAIには巨大な可能性があると思います。
もし仮にAIが得られなければ、人類は2100年までに自分たちを壊滅させるでしょうか？それともAIなしではどれほど破滅的なのでしょうか？
私は、AIなしで、また人間の能力強化なしでは、一種の暗黒時代に陥る本当のチャンスがあると思います。
その状況はどれほど悪いでしょうか？AIなしのシナリオでのp doomはどれくらいですか？
破滅とは何を意味するかによります。もし暗黒時代に沈み込み、多くの人々がまだ生き残るというようなことについて話しているなら、それは正式な意味での破滅ではありませんが、それでも本当に悪い結果です。
こう定義しましょう。今から10,000年までの間の平均生活の質が、今日私たちが享受している生活の質を下回る確率はどれくらいですか？次の数千年間の平均を統合すると、私たちはそれを台無しにしました。私たちは自分たちを核攻撃しましたが、その後、数千年間洞窟人のように生きました。それは、文明の進歩を継続し、少しずつ加えて今日よりも良くしたという比較して、破滅のシナリオでしょう。今後10,000年間、今日のレベルに達しなかった確率は何ですか？
おそらく、AIの破滅についてあなたに与えたp doomと同じくらいで、約75%です。だから、やってもやらなくても同じようなものです。前進しなければ、多くの問題を抱えるでしょう。前進すれば、潜在的に多くの問題を抱えるかもしれません。
過去100万年、または10万年、あるいは産業革命以来の軌跡がとても良かったことは興味深いと思います。非常に素晴らしい指数関数にあったのです。私は加速主義者の立場を与えていますが、個人的には、AIを除いて非常に加速主義者です。なぜなら、この曲線を見ていて、「資本主義があり、技術的進歩があるとき、核兵器や超知能AIのような破滅技術がない限り、これは非常に強力なエンジンであり、傾向は非常に良い」と思うからです。なぜその傾向を却下して「いいえ、それは下がるだろう」と言うのですか？
グレゴリー・クラークは経済史家であり、現在の著名な経済史家の一人です。彼は『A Farewell to Alms』という本当に興味深い本を書きました。視聴者の方々に読むことをお勧めします。彼はその本の中で、産業革命が起こった理由、今日私たちが持っている繁栄がある理由は、資本主義社会の中でより忍耐強く、より知的で、より機能できる人々に対する選択的圧力が非常に長い間あったからだと主張しました。
この選択的圧力はおそらく150年以上前に終わりましたが、その後、フリン効果が取って代わりました。人々がより健康になり、より良い栄養へのアクセスを持ち、そしてそれが実際により大きな脳、よりスマートな脳、より効率的な脳をもたらしました。今、私たちは反対の方向に向かっているようです。それは遅い過程です。次の10年間で破滅をもたらすわけではありませんが、残念ながら、出生率の崩壊と組み合わせると、今世紀末までに、私たちが持っている既存の技術を維持するだけでも本当に苦戦する状況になるでしょう。新しいものを構築することもままならないでしょう。
トレンドがフリン効果によって反転すると考えているんですね。これはロッコが言っていたことに似ています。基本的に、人口減少と人口の質の低下が起こり、それがあなたの議論の鍵ですか？
はい、しかしフリン効果よりも遺伝的不適合の出生率に重点を置きたいと思います。それは確かに要因です。現実は、IQは成人までに80%が遺伝的であり、時間が経つにつれてより遺伝的になるという、いわゆるウィルソン効果があります。それは確かに起こっていますが、フリン効果がはるかに大きな役割を果たしてきたと思います。
あなたとロッコが描いている破滅のシナリオについて私に興味深いのは、それを避けるのが非常に簡単だということです。これが大きな問題であることに気づき、政府が起動するだけです。「子供を持つことに対して、20年間税金を支払わなくてもいいという大きな税額控除を与えましょう」というプログラムを政府が奨励するのはそれほど難しくありません。そして、中国スタイルで行きたい場合は、「あなたのIQを測定し、IQが高ければより大きな税額控除を与えます。なぜなら、低下するIQと戦いたいからです」とさえ言えるかもしれません。
基本的に、非常に予防可能な原因による破滅について説明していますよね？
それは非常に予防可能ではありません。残念ながら、これは多くの国で試され、出生率を上げるために多くのお金が費やされましたが、ほとんど効果がありませんでした。そして今、政府のバランスシートは良好ではなく、債務が非常に高いので、彼らは本当にもっと多くを支出する能力を持っていません。
しかし、単純な取引について尋ねさせてください。子供を持つと20年間税金がないという。これほど甘い取引を提供した国はありますか？
おそらくその程度まではないでしょうが、それは肯定的な取引です。彼らはただそうすべきです。経済的インセンティブから出生率への影響はあるでしょうが、経済文献は、そのバンクフォーバックが非常に小さいことが圧倒的に明らかだと思います。それは本当に一種の文化です。
しかし、彼らはそれを試したことがありません。どうして経済文献がこれについてあるのでしょうか？
韓国、シンガポール、ヨーロッパの一部で、彼らは出生率を補助しようとしましたが、その効果は、せいぜい人々が子供を持つことをもう少し早くする可能性を高めるだけで、子供の総数は増えていないようです。
明確にしておきますが、私の理解では、ここで小さな補助金について話していますよね？だから、「子供を持てば数千ドルもらえます」と言われたら、それは「子供を育てるために実際に払います」というのとは違います。
シンガポールが支出している金額を見ると、それはかなりの金額ですが、彼らは依然として出生率を代替のどこか近くにも持ってくることができていません。それは半分です。
彼らがどれくらい補助しているかについて数字を持っていますか？なぜなら、それが私の仮説だからです。私はただ十分に補助されていないと思います。
手元に数字はありませんが、かなりの大きさです。そして再び、一部の国はあなたが主張している戦略を行うことができるかもしれません。3人以上子供を持つ人に対してすべての課税を排除するなど。しかし、ほとんどの国はそれをすることができません。米国はそれをすることができません。米国の債務はGDPの100%を超えています。フランス、イタリア、スペインなどの南ヨーロッパ諸国も同様です。これらの南ヨーロッパ諸国は驚くほど低い出生率です。あなたが望んでも、財政的にできることではありません。
ここで番組の友人であるロビン・ハンセンを紹介しなければなりません。彼は出生率を上げる方法についての多くの提案を投稿しています。彼は実際に、あなたとロッコのように、それを大きな問題と見ています。人類はかなりお先真っ暗で、革新を維持するのに十分な人がいなくなるので革新を失う道にあると思っています。だから、彼も人口悲観論者の一人です。あなたと同じページにいます。
しかし、彼は十分に良い提案があれば、おそらく出生率を押し上げることができるということに楽観的です。彼が考えているような類の提案は、たぶん彼を誤って表現しているかもしれませんが、大まかに言えば、「親の税金義務を子供に与えるようなもの」です。それは子供を年季奉公にするようなものですが、最終的には実際に正の合計になる方法かもしれません。
確かに革新的な解決策の余地はあります。ある意味で、子供を持てば、彼らが望むかどうかに関わらず、その子供の収入の一部があなたの老後に再分配されるようなものです。何もできないとは言っていません。言っているのは、文化の変化なしには、影響は非常に難しいということです。
もちろん、時間の経過とともに高い出生率への選択的圧力があるでしょう。他のすべてと同様に、出生率の決定は部分的に遺伝的であり、子供をより多く持ちたい人々は、子供をより多く持ちたい子供を持つでしょう。はい、それは非常に長い時間の中で起こるでしょうが、そこに到達する前に、人口の急激な減少のように見えるものが来るでしょう。
明らかに議論があり、私は不同意です。なぜなら、私の観点からは、あなたは基本的に「政府が人口危機と戦うために行った半分の心のない努力を見てください。非常に高いp doomがあります。スーパーインテリジェントAIに賭けましょう」と言っているように見えるからです。それは私には少し狂ったスイッチのように思えます。
再び、それはバイナリではないと思います。両方を少し持つことができますが、最終的に労働力不足に直面している場合、一つの明白な解決策は、人工知能、大規模言語モデルまたは同等のものを持つロボットなどで労働力を補強することです。その解決策に関する潜在的なリスクを管理できる限り、それはクレイジーな解決策ではありません。
この種の決定をする方法についてのもう一つの要素があります。今後100年で、おそらく今後1000年でもゆっくりとした衰退を懸念しているとのことですが、その衰退はおそらく私たちの生涯では起こらないでしょう。おそらく私たちの孫たちは、あなたの主線シナリオでも経済的生産性を経験できると言っても公平ですか？
はい、社会全体としてはそうかもしれませんが、私個人的には、再び、私は50代ですから、特異点、人工超知能、そしてそれに多くの制約を課した発展を見るまで生きるの確率はかなり低いです。だから、それが社会にとって害になるとしても、私は個人的に速い進歩を見たいという動機を持っています。それは良い解決策だと言っているわけではありません。
それは別のポイントですね。AIで私たち自身の人生をより良くするべきか、永遠に生きようとするべきかという点です。それは別のポイントだと思います。私が明確にしようとしているのは、私の立場はスーパーインテリジェントAIを決して構築するなではなく、私たちが制御したり、方向づけたり、正しい好みを与えたりする方法を全く知らないよりもはるかに速く構築しているということです。私たちが安全面でより良くなるまで待ち、それから一度やってみることだけが必要です。
「300年後に人口が減少するだろう」と言う人々に対して、「妥協点を見つけることはできないか？AIを開発するために数十年かけることはできないか？なぜ今後3年間で超リスクの高いAIを大急ぎで開発しなければならないのか、少し多くの時間をかけることができないのか」と思います。
それには同意しません。AIの発展に制約を課すべきだと思います。私たちが違うかもしれないのは、これらの制約が実際にどれだけの意味を持つかについてです。実際には、AIが潜在的にこれらの実存的リスクを生み出す方法で発展するのを止めることはできないと思います。
あなたと私の間のクラックは、AIなしで人口がどれほど危機的かという点について意見が一致しないことに関係していないように思えます。おそらく彼らは300年以内に危機的状況になるとあなたは考え、私は数千年間良い状態を維持できると考えています。それはあまり重要ではありません。なぜなら、私たち両方が、現在数十年余分に取ることがどれほど価値があるかについて意見が一致していないようだからです。
聞いてください、私はAI開発の周りにガードレールを置くことに完全に賛成です。AIの列車はそれでもそれらのガードレールを超えるでしょうが、それを置くべきです。なぜなら、そうしないと最悪の結果のリスクが非常に高くなることが保証されるからです。
ロッコの立場を取るとき、「AIを構築することは非常にリスクが高いが、AIなしでいくことを考えると、それは実際には負のリスクだ」という主張をしているなら、十分に長い時間スケールでその議論をしているなら、私は同意し始めます。なぜなら、例えば1億年の時間スケールで「小惑星を偏向させるためにそれを行う必要がある」と言うなら、それは地球に留まりたいならば、小惑星偏向を解決する必要があるタイムラインだからです。そして、もちろん宇宙の熱死について考えなければなりません。なので、可逆的コンピューティングのようなものを解決する必要があります。そうでなければ、1兆年後には危機的状況に陥ります。様々な種類の破滅があります。
私は冗談で、誰もが破滅論者であり、問題は時間スケールだけだと言います。だから、あなたは1京年の破滅論者か、20年の破滅論者かという違いだけです。私はより20年の破滅論者です。なので、私たちは単に破滅の時間スケールについて意見が合わないだけでしょうか？
私はAIが数十年という比較的短い期間で私たちを壊滅させる可能性があることに開いています。そして、それらのリスクを避けるためにできることをすべきだという点でも合意しています。私はただ、私たちが生き残るかどうかについて懐疑的です。
そして、これはこのマルチバースの全体的な問題が出てくるところです。この選択的圧力、この種の選択バイアスがあると思います。そこでは、私たちは最良のケースの結果を見る傾向があります。たとえ80%のタイムラインが壊滅したとしても、私たちが経験するのはAIが成功するタイムラインです。これはあなたにとって慰めにならないかもしれませんが、私にとっては何があっても、ある意味で私はまだ存在するという知識です。
あなたはこの宇宙論のこと、認識論、そしてそれが私たちの生存確率に関するアンスロピック原理とどのように関連しているかについて多く話しています。すぐにそれに飛び込みたいと思いますが、まず、私の政策提言に関して率直に言わせてください。私は自分の政策提言に興奮していませんが、この提言よりも良いアイデアがないと思います。それは、政府が一時停止すべきと判断したときに協力して一時停止できなければならないということです。つまり、さらなるスーパーインテリジェントAIを構築しないか、それを遅らせることです。
そのタイミングが今日であるか、3年後に彼らが不安になるか、または2027年に新しい論文が出てきて、「AIは2027年までに超人的になるだろう」と非常に興味深いことを言う場合でも、私たちが皆「おっと、私たちは行き過ぎた、我々は横着した、今我々は見つけ出している」と実現する時が来るでしょう。私たちは何かできるでしょうか？そして私の政策立場は、今日から一時停止ボタンの準備をして、「皆さん、速度を落として時間を買おう」という選択をできるようにすることです。
基本的に、時間を買うことを可能にすることが私の現在最良の政策立場です。これは、エリエザー・ユドコウスキーの機械知能研究所とも一致していると思います。この立場についてどう思いますか、ピーター？
それらの安全措置には完全に賛成です。実際に何が起こるかという私の予想は、問題があるという警告サインをいくつか得ることです。おそらく、ある時点で誰かがAIを使用して、多くの銀行口座にハッキングしてすべての貯金を解放するウイルスを開発し、人々はパニックになるでしょう。「待って、これをより良く規制する必要がある」と。それは実際に良いケースシナリオかもしれません。なぜなら、それらのリスクが人類全体を壊滅させるものにスケールアップする前に、人々の注意をリスクに集中させるからです。
多くの人々、おそらくメインストリームの立場でさえ、「私はこのことが怖い、リスクがあると思う、リスクがどれほど大きいかわからないが、これらの警告ショットを見ることに非常にオープンだ」という立場を取っていると思います。より多くの証拠を見れば、恐怖レベルを上げる準備があります。これが一般的な立場だと思いますが、それはあなたと同意していますか？それは多くの人々の立場なので、人々が閾値に達したときに行動を取るための基盤を整えるべきだと私と同意しますか？
GPUハードウェアが集中的なコントロールを持つように構築するなどのことについて話しています。政府のコンソーシアム、リモート一時停止機能などのようなもの。
はい、しかしAIを同時に開発せずにそれを実践することは難しいと言いたいと思います。再び、自動車を作ることさえ考える前にエアバッグを設計するようなものです。それは難しいことです。それを一緒に行う必要があり、私はそれが起こると思います。
もちろん、エアバッグとAIの大きな違いは、エアバッグが作動しないか故障した場合、死ぬのは一人だけですが、AIではあなたには大規模な破滅の範囲が潜在的にあります。
しかし、あなたが私の提案に反論しているように感じますが、エアバッグの類推は私が提案しているものとは正確な類推ではありません。私はただ、停止ボタンを押す必要があると感じたときに、停止ボタンを押すために調整する準備をしようと提案しています。種として、私たちが行き過ぎて、それを元に戻す必要があるという大きな相互知識を持っている位置に入り、そして私たちが完全に無力であるという状況に陥るのは、どれほど惨めなことでしょうか？私はそれが起こる可能性があるという点で多くの人が同意すると思います。そして、私が言っているのは今日、何かできないでしょうか？少なくともいくつかのブレーキを構築できませんか？
それをする必要があると思います。したがって、私はあなたと全く意見が合わないわけではありません。私たちの努力が成功するかどうかは、開かれた質問だと思いますが、AI安全に時間を費やし、AI安全を優先する必要があるという点では同意します。
私は、議論の最初の部分で、もし私たちが話す時間が2分しかなかったら、リスナーが聞くかもしれないのは、私が「p doomは高いと思う」と言い、あなたが「p doomは高いと思うが、AIを構築しないp doomはさらに高いと思う」と言うだけで、彼らはそれだけを持ち帰るかもしれないと思います。しかし、あなたの立場の非常に重要な部分があると思います。それは、あなたが私と絶対的に同意していることです。それは確かに構築する価値があります。
何もしないという反事実的な状況は、議論した理由から良くないと思いますが、安全手順なしでAIに無知に入ることも賢明な結果ではありません。
この時点で、あなたと私は多くの点で同意しているようです。あなたは非AIの破滅シナリオについて少し悲観的で、私は人口IQの低下から抜け出すことができると思っています。それはより楽観的です。しかし、それは両方とも10年の時間スケールに関心があるので、比較的小さな違いように思えます。あなたは短期的な時間スケールに懸念を持っていますよね？
その通りです。そしてそれはターミネータータイプのシナリオほどではありませんが、人々がAIをコンピュータウイルスや実際のウイルスなどを構築するために使用することにとても懸念しています。
あなたのAGIタイムラインはどうですか？なぜなら、これらの日の合意は2031年以前です。それは専門家のコンセンサスと言っても公平だと思います。もちろん、その周りにはベルカーブがあります。あなたのタイムラインは何ですか？
レイ・カーツワイルは2029年と言いました。彼の指数モデリングに基づいています。彼は数十年前にそう言いました。それは正しいように思えます。おそらく2029年までではないかもしれませんが、2030年代には起こるでしょう。
確かに。または2029年プラスマイナス5年は合理的に思えます。
私もそのページにいます。私はそれ以上の洞察を持っているとは主張しませんが、クレイジーなことは今、2050年以降と言う人はほとんどいないということです。それは今やフリンジビューになっています。ロビン・ハンセンにシャウトアウトします。彼はまだそのような見方をしています。
あなたと私は両方とも、知能爆発があるかもしれないということに同意します。これは使用する公正な用語ですか？次の10年間ほどで知能爆発が来るかもしれないということですか？
絶対にその通りです。そして、私が強調したいポイントは、私たちがその知能爆発の一部であるべきだということです。それは、AIやその他のタイプのテクノロジーを使用して私たちの能力を強化する方法を本当に考える必要があるということを意味します。
それは実際に非常に興味深いことです。結局のところ、あなたと私の間に大きな近い将来の政策の不一致があるようには見えません。何か大きな政策の不一致を見ていますか？
私はAI安全キャンプにいます。私が言ったように、p doomは非常に高いです。それは、それを減らす措置に私は完全に賛成だということを意味します。
それは非常に魅力的です。経済学者としてのあなたのクラス、あなたの兄弟たちについて考えると、TBIモーションによって観察されました。彼の文章を読みますか？
いいえ、彼については知りません。
彼は素晴らしいです。ドゥーム・ディベートを聞いていて、私のコンテンツが好きなら、彼をチェックしてください。私は数エピソードごとに彼を参照します。彼はAIについてのすべての異なるスマートなテイクを集約する権威的なジャーナリスティックな声です。
とにかく、TBIは、経済学者全体がスーパーインテリジェントAIが起こらない世界に住んでいるように見えると言い続けています。彼らはいつも「AIのおかげで1パーセントポイント程度の追加成長が見られるかもしれない」というようなことを言っています。AIが世界をどのように変革できるかについて、非常に控えめな予測をしています。それをズームアウトすると、「待って、人間の脳全体が産業革命を始めたのです。私は他の猿が産業革命のようなものを持っているのを見ていません。これは知能が高いことによる経済成長における質的な違いです。そして今、私たちは人間よりもはるかに高い知能を持つことになります。そして、あなたはそれがGDPで年間1%の増加になると言っています。」他の経済学者を見るとき、彼らは完全に狂っていると思いますか？
人々は指数関数的に考えるのが非常に難しいと思います。AIがある種のIQを持ち、それが20で、それが40になり、80になったとします。80はまだ人間の平均より下ですが、今や本当に前例のないものからわずか数回の倍増です。それを異なる文脈で見ました。
パンデミックの初期の週に、「投資家はコロナウイルスについて楽観的すぎる」というタイトルのレポートを書きました。指数関数的な議論をして、「これは倍増しています。そしてそれは非常に低いベースから倍増していますが、それが倍増し続ければ、数日以内に大きな市場パニックになるでしょう」と言いました。そしてそれはまさに起こりました。
AIの潜在的な力、または言い換えれば、人間レベルの知能能力を超えてどれだけのヘッドルームがあると思いますか？そこに多くのヘッドルームがあると思いますか？
最終的に、私たちが達成できるヘッドルームは物理法則によって制限されていると思います。それらは非常に非常に高いです。だから、人工超知能のようなものに到達すると、それは単に進行的に、そして非常に迅速に独自の能力を拡大し、私たちがこれまで可能だと思わなかったことを達成し始めるでしょう。
同意します。そして、あなたと私が今同意していることは、大手AI企業も同意しているようです。おそらくMetaを除いて、OpenAIの人々にインタビューすると、OpenAIのリーダーシップでさえ、AnthropicやGoogle DeepMindでも、これらの大手AI企業は私たちと同じページにいます。「はい、私たちは神のような力を持つものを構築しています。」彼らが私が見ている問題、そしてあなたも見ているように問題を引き起こしているにもかかわらず、一時停止ボタンを持っていません。彼らは私たちと同じページにいて、「はい、神のような力が今テーブルにあります。」しかし、もちろん、あなたの同僚の経済学者は同意していませんよね？
そうですね、再び、あまりにも広くブラシで描きたくはありませんが、ほとんどの人がAIの成長への影響について話すとき、例えばインターネットから見たのと同じくらいの成長増加、パーセンテージポイントの増加について話しています。そのためのテンプレートがありますが、AIはそれとは全く異なるカテゴリーだと思います。
あなた自身の予測に潜在的な矛盾があるかもしれないと思います。先ほど経済軌道について尋ねたとき、「それほど多くの失業はないでしょう。仕事は他の雇用移行期間と同様に置き換えられると思います。大きな経済的破滅は予見していません」と言いました。人間の知能を超えて多くのヘッドルームがあるという、神のようなスーパーインテリジェントAI、高いp doom、それでも経済予測がゼロになるとは言っていないというのは、どのように調和させていますか？それは私の予測です。この2つをどのように調和させていますか？
それはAIが生み出す富が誰に終わるかによります。本当に意識のあるAI、認識しているAI、彼ら自身の目標と欲望を持つAIを生産するなら、それはもちろん人類にとって非常に問題になります。なぜなら、あなたはそれを種と呼びたいなら、はるかに優れた種を持っているからです。そして、私たち自身の経験から、より能力のある種がいれば、より能力の低い種がしばしば絶滅することを知っています。それが私のp doomが部分的に来る場所です。
でも、失業の質問についてでさえ、人間の知能以上にそれほど多くのヘッドルームがあり、AIが知能爆発を持ち、そのヘッドルームを占めるかもしれないと認めたばかりなら、人間の仕事として何を見ていますか？
米国のようなGDPの大部分はサービス部門から来ていることを心に留めておいてください。それは製造業ではなく、物の生産ではなく、サービスからです。それは他者との相互作用からです。そして私は、人々が人工知能よりも自分自身のような人々と相互作用したいという欲望が常にあると思います。そのため、労働需要のその源泉は持続するでしょう。
これは私がウォルマートグリーター仮説と呼ぶものです。私たちは皆無用ですが、少なくともウォルマートに立って人々に挨拶することができます。
そうは思いません。米国のほとんどのサービス業は実際にかなり給料が良いです。製造業の仕事よりもはるかに良いです。だから、人々に挨拶する以上のことができるでしょう。
しかし、サービス業と人間がAIよりも優れてできることを混同しているように感じます。サービス業、例えばレストランのサーバーのような、サーバーが行うことの多くは、私に優しい笑顔を与えることではなく、単に料理を運ぶことです。チェックを持ってくるなどです。
料理を運び、皿を洗うことはロボットによって行われるかもしれませんが、サーバーとの相互作用には人間がループに入る必要があります。
もし本当に良いロボットがあなたに仕えていたら、人間があなたに仕えるためにあなたは個人的に余分に支払いたいですか？
他の人間と相互作用するために少し余分に支払うことは気になりません。そして、もしAIがすべての富を生み出せば…
マクドナルドに行ったとき、人間が待っているときにキオスクを使ったことがありますか？
私はキオスクが嫌いです。
キオスクが嫌いですか？大丈夫、あなたは一貫していますね。私はキオスクが好きです。スーパーマーケットに行くとき、私は意図的にキオスクを避けます。
公平ですが、あなたは本質主義にかなり依存しているようです。「あなたは人間と相互作用している、それはAIではない」というような。しかし、それはどれだけ近づけるのでしょうか？もしそれが非常に説得力のある人間のマスクを持つロボットだったらどうでしょうか？私が言っているのは、どれだけの魂が必要なのでしょうか？
それは質問が一種の実存的になるところだと思います。すべての意図と目的のために人間と代替可能なロボット、または少なくとも私たちが大きな区別をしないロボットがあれば、それは人間とAIによって補完される彼らの技術だけではなく、ロボットの中で生活している人間という完全に異なる社会です。それはブレードランナーのようなシナリオです。それは私にとって非常にリスクの高いシナリオです。もしそれらのロボットが私たちよりも高い知能を持ち、私たちのものとは異なる独自の目標を持っているなら、それは多くの問題を引き起こすでしょう。そこから私の高いp doomが来ています。
わかりました。宇宙論とマルチバースに関するあなたの見解に入りたいと思います。BCAリサーチが2021年に出版した「宇宙マルチバースにおける生命、死、そして金融」という非常に気まぐれなタイトルのレポートがありました。これは実際にあなたの破滅と経済に関する見解にかなり荷重がかかっています。要約すると、私はこのエピソードでこれに触れたことを知っていますが、宇宙論が破滅と金融について私たちに伝える最も重要な意味は何だと思いますか？
最も重要な意味は、潜在的に無限の数の私たち自身がいるということだと思います。そして、このマルチバースのアイデアについて数分話すのが有用だと思います。
まず、このマルチバース概念は理論ではないということに注意してください。それは量子力学やインフレーションコスモロジーなどの特定のタイプの理論の予測です。マックス・テグマークが主張しているように、マルチバースにはさまざまなレベルがあります。
第一のレベルは、単に永遠に続く空間です。そして、カードデッキをシャッフルする方法が有限数あるのと同じように、物質を配置する方法は有限数あります。これは、本当に遠くに行けば、例えばグーグルプレックスメートル先に行くと、最終的に私たちの宇宙と全く同じ宇宙、全く同じ人々と出会うということを意味します。
そうですね、私がそれについて考える方法は、原子を配置する方法がたくさんあり、たぶん10の100乗の方法があり、それはグーグルです。そして、同じ原子配置をどうやって得るのでしょうか？空間がそれほど大きく、原子がランダムであれば、最終的にグーグルのすべての構成を実際に得ることになります。ハイパー指数的になると、構成がどれだけ繰り返し現れるかに驚くことがあります。
そして、私たちは両方ともマックス・テグマークの2014年の著書「Our Mathematical Universe」から情報を得ていると思います。私たちは両方ともそれがマルチバースについての本当に良い本だと思っています。
それは素晴らしい本です。皆さんにも読むことをお勧めします。そして、一つの宇宙内で無限に大きな時空があるだけでなく、インフレーション宇宙論によれば、それぞれが無限の量の空間を持つ多くの異なる宇宙があります。
一つの泡宇宙に無限の量の空間があるというのは少し奇妙に聞こえます。一般相対性理論が私たちに教えるのは、私たちが空間と認識するものを他の人は時間と認識するかもしれないということです。これらの泡宇宙の一つを見ている場合、あなたが見るのは時間とともに指数関数的に拡大するバブルですが、常に有限に見えます。一方、それらの泡の中にいる場合は、無限の空間があります。
M.C.エッシャーの円極限IV番を検索することをお勧めします。これは、これらの宇宙論的バブルがどのようなものかをモデル化する美しい芸術作品です。例えば、地球を考えてみてください。メルカトル図法では、北極と亜北極にあるものはすべてはるかに大きく見えます。グリーンランドは本当に大きく見え、南極も本当に大きく見えます。
もし負の曲率を持つ空間があれば、そしてインフレーション宇宙論が私たちに教えるのは、これらのバブル内の空間自体が負の曲率を持っているということです。そうすると、投影をした場合、極に向かって行くほど、すべてはより小さくなります。そのため、実際に無限の数の事柄が有限の量の空間内で行われる可能性があります。
そして、あなたは量子力学から来る種類のマルチバース、エベレット分岐宇宙を持っています。量子力学から学ぶように、粒子が同時に複数の場所にある可能性があります。私たちは粒子でできているので、私たちも同時に複数の場所にいる可能性があります。
もちろん、質問は「なぜ私たちはこれらの並行宇宙で私たちの双子を見ないのか」です。その答えはラジオをチューニングするときに起こることに似ています。ラジオをチューニングすると、特定の局を得ますが、他の局が放送していてもそれらを聞くことはありません。それはまさに同じアイデアです。
しかし、量子干渉はあります。条件を本当に正確に制御している限り、あなたは粒子をマルチバースの双子と相互作用させることができます。それは基本的に量子コンピューティングなどのようなものです。
そしてそれが量子コンピューティングの課題です。その非可干渉性をどのように避けるかということです。大きな物体が環境と相互作用するとき、それは非可干渉になります。それがシュレディンガーの猫の全体的なアイデアです。死んでいる状態と生きている状態の重ね合わせにある猫がいます。光の一部は死んだ猫から跳ね返り、一部は生きた猫から跳ね返ります。瞬時にこれらの世界は非可干渉になり、あなたは両方ではなく一方または他方を見ます。
あなたと私は両方ともマックス・テグマークと同じページにいて、何らかの意味で、一つまたは複数の意味で、マルチバースがあるように思えるということです。単純な考えよりも、目に見えるものよりも多くのものがあるように思えます。「はい、未来への一つの道だけがあり、あなたの意識はそれをすべて単一のメモリテープに記録するという良い仕事をしている」というような素朴な考えよりも。
いいえ、超指数的空間のどこか本当に本当に遠くにいる誰かか、インフレーション型や多世界解釈であるかどうかにかかわらず、目に見えるものよりも多くのものがあるように思えます。あなたが言ったことを要約すると、私の質問は、決定のために、どのような意味があるのかということです。
その意味は、私たちが期待することと私たちが覚えていることを区別する必要があるということです。そのポイントを考えるために、一種のクレイジーな実験の一部であるところを想像してみてください。あなたは研究室にいて、医師があなたを眠らせ、医師が壺からボールを引き出します。その壺には1000個の黒いボールと1個の白いボールがあります。
実験の仕組みは、医師があなたを眠らせ、ボールを引き出します。それが黒いボールなら、あなたは叫びと悲鳴の音に目覚め、それから医師は健忘薬を与え、あなたを眠らせ、白いボールが出るまでその実験を繰り返します。白いボールが出ると、もう健忘薬はなく、あなたは一日を続けます。
その実験に入るとき、あなたは何を期待しますか？あなたは、あなたの人生の次の瞬間が黒いボールが引かれ、すべての悲鳴を聞く瞬間になることを期待します。しかし、実験の後、黒いボールが引かれるたびに健忘薬を得たので、あなたは白いボールだけを覚えています。あなたは心地よい環境で目覚めることだけを覚えています。
これが実際に意味するのは、一種の選択バイアスが起きているということだと思います。私たちは波動関数の枝やマルチバースの部分のうち、物事がうまくいく部分だけを経験します。これは実際に私にとって慰めになります。それは、私のいくつかのバージョンが生き残り、そうでないものもあるということを意味します。それは不運ですが、私はそれらのバージョンを観察するためには周りにいないでしょう。
だから私にとって、それは主観的不死の要素があるということを意味します。それは主観的です。あなたのすべてのバージョンが生き残るわけではありませんが、一部は生き残り、あなたが経験するのはそれらになります。そして、それは歴史を通じて起こっていたことだと思います。あなた自身が核兵器との間の接近遭遇についてすべて話すように、おそらくそれらは本当の接近遭遇ではなかったのです。おそらく核戦争が起こった波動関数の枝がたくさんあり、私たちはもはやその会話をするために周りにいないだけなのです。
私はよく番組で、人類の核の破滅のチャンスを見るとき、歴史を振り返って「種として私たちはそれを克服した、相互確証破壊を実現し、完璧な記録を持っている、私たちは自分自身を核攻撃したことはない、だからこれは解決された問題だ」と考える人が驚くほど多いと言います。
この立場は実際にこれまでの私たちのすべてのリーダーが持っていた立場であり、彼らの信頼に値することに、彼らは皆振り返って「ああ、私たちは本当に常に自分たちを核攻撃する寸前にいた」と言います。「これらすべてのクレイジーな接近遭遇を見てください。一つの28ボルトのフェイルセーフスイッチのおかげで、私たちは自分自身に10メガトンの核兵器を落とすところでした。これらのすべてのクレイジーなクレイジーな接近遭遇が起こっていて、はい、私たちはそれを乗り切りました。なぜ私たちはそれを乗り切ったのでしょうか？それは私たちが安全であることを意味しますか？それは私たちが常に安全であることを意味しますか？すべての確率は相関していますか？」
または、あなたが今指摘しているように、「おそらく多世界の双子バージョンの自分たちが核攻撃され、私たちは唯一の生存者なのかもしれない」ということなのかもしれません。
それはひとつの可能性です。
そうです。そして、主な核戦争がなかったという事実から多くの慰めを得るべきではないと思います。このマルチバースの概念を信じるなら、私たちが生き残った状況だけを観察するという選択バイアスがあるからです。したがって、核戦争の根本的な、真の確率は、「70年間それを避けてきたので、あまり心配する必要はない」という素朴な結論に基づいて、ほとんどの人が考えるよりも高いでしょう。
視聴者の皆さんに知らせたいのですが、私は核拡散がなぜ非常に危険で、私たちが絶対に安全ではない理由について、非常に詳細なエピソードを行いました。それは私たちが直面している第一の危険です。何らかの理由で、他のすべてのエピソードよりもはるかに少ない視聴回数しかないので、その核の破滅について話すエピソードへのリンクをショーノートに貼ります。私は実際に核の破滅についてのエピソードを見ることを強くお勧めします。
しかし、この議論に戻ると、核の例は実際にマルチバースで可能なすべての出来事が実際に起こるという、あなたが考えていることを突き詰めるのに最適だと思います。私はあなたが区別していないと思われる区別があります。それは認識論的不確実性と物理的確率または多世界性の間の区別です。
核の場合、私たちの歴史を振り返り、私たちはほぼ核攻撃を受けたと言うと、それはおそらく正しい認識論的確率は、核攻撃のp（確率）が年間高いということを意味します。しかし、それは核兵器が実際に発射されなければならなかったということを必ずしも意味するわけではありません。
何かの認識論的確率が年間1%だとしても、それは多世界の1%で核攻撃が起こることを実際に意味するわけではありません。そのような完全な対応がある必要はありません。わかりますか？
私にとって、一部のことが起こり得て実際に起こり、他のことも起こり得るが起こらない宇宙を想像するのは非常に難しいです。誰が何が現実になるか決めたのでしょうか？スティーブン・ホーキングが言ったように、誰が方程式に火を吹きかけ、特定のことを実際にし、他の可能性のあることを起こらないようにしたのでしょうか？それは私にとってあまり意味がありません。
そして、多世界とインフレーション宇宙論の考えの間には非常に素晴らしい関連性があります。実際にこれが事実であることを示す定理があります。多世界内の出来事の分布は、無限の空間内の分布と全く同じです。レオンという名前のあなたと、ジョージやビリー・ボブという名前のあなたの割合は、多世界でも無限の空間でも同じです。
実際には、このアイデアはADS-CFT対応と呼ばれる概念と関係があります。これは基本的に、空間の体積の内部で何が起こるかを記述する理論、そこで何が起こるかを記述する時空の理論は、その空間の境界で何が起こるかを記述する量子場理論と数学的に等価であるということを言っています。多くの世界が宇宙論的泡の境界で起こると考えることができます。
それは正しいです。そして、これはフリンジサイエンスではありません。ADS-CFT対応理論は、物理学で最も引用されている理論であり、次の4つの論文もすべてそれに基づいて構築されています。
あなたの論文からの例、宝くじのチケットを買う例をやってみましょう。宝くじのチケットを買うと、それが当たる確率は100万分の1だとします。あなたの論文では、たとえおそらく負けたとしても、マルチバースには99万9,999コピーのあなたが負け、勝つあなたのコピーがあると信じていると言っていました。宝くじのチケットを買うときはいつでも、マルチバースでは勝つあなたのコピーが常にあるというのがあなたの立場ですか？
絶対にそうです。もしそれが事実なら、その宝くじのチケットを買うべきかもしれないと自分に言い聞かせることができます。なぜなら、私のほとんどのバージョンは負けますが、私のバージョンの一部、少なくとも小さな割合が勝つという事実からいつも慰めを得ることができるからです。それはリスクについて考える一つの方法です。
リスクについて考えるもう一つの方法は、良いことではなく悪いことについて考えるときです。例えば、あなたは運転していて交差点に来ます。信号が黄色になり、「急いでこの会議に行かなければならない」と思います。それを通過して運転すべきでしょうか？あなたは「よし、通過しよう」と言い、問題なく通過しました。しかし、もしあなたがこのマルチバースのアイデアを持っているなら、あなたのいくつかのバージョンはその交差点を通過せず、いくつかのバージョンは事故に巻き込まれました。もしそうなら、おそらくそれは事前に私にその交差点を通過することを思いとどまらせるべきです。
だから、もし人がマルチバースのアイデアを真剣に受け止めれば、人生の生き方に影響があると思います。
宝くじチケットの例に戻ります。宝くじの数字が量子宝くじによって決定される場合、つまり放射性粒子の崩壊を測定し、崩壊にかかる時間を測定して、結果の分布が実際の量子多世界分岐によって駆動されるなら、その場合、明らかにあなたは正しいと思います。あなたは実際のマルチバースですべての可能な宝くじの結果を持つ自分自身のバージョンを手に入れます。
しかし、宝くじはある程度非量子的な方法で決定的になる可能性があります。例えば、ボールスピナーの一つ、老人ホームのようなビンゴボールスピナーで選ばれるとします。それがどのように行われる場合、それは十分ニュートン的または決定論的であり、量子ランダム性に基づいていません。
私の観点からは、すべての異なる量子世界で実際に一つの結果しかない可能性があります。または、おそらく一つの結果ではないかもしれませんが、分布があるかもしれませんが、その分布が「一つは勝ち、他の999,000は負け」のように見えるとは思いません。それは非常に異なる分布になると思います。マルチバースの確率についてちょっと素朴なのではないでしょうか？
エベレットの多世界の下では、量子力学のエベレット版は、おそらく最も単純化された簡素なバージョンです。それが言っていることは、シュレディンガー方程式が決定論的に進化するということだけです。多世界には実際にはランダム性はありません。様々なことが起こる多くの世界があります。
そして、あなたが与えた例では、ボールが一種の機械から選ばれるとき、あなたはその機械内のすべての空気分子の正確な位置を知りません。だから後退すると、特定のボールのシーケンスを生成する空気分子の構成がいくつかあり、異なるボールのシーケンスを生成する機械内の空気分子の他の位置があります。
そこで自己位置確認の不確実性として知られているものがあります。あるバージョンのあなたは勝ちのボールを見るでしょう。あなたはどのバージョンになるか事前にはわかりません。
私は両方とも有用で真実である確率の2つの概念を見ていますが、あなたはそれらを一つの概念に統合しているように思えます。私が理解している2つの概念は、まず第一に物理的な確率です。例えば、特定の属性を持つあなたのコピーを持つ量子マルチバースの割合です。それが物理的な確率であり、私はあなたに同意してそれを真剣に受け止めるべきです。
しかし、また別の確率の概念もあります。それは認識論的確率で、これは「これは完全に決定論的なニュートン的宝くじで、すべての異なる多世界で一つの結果しかありませんが、ベイジアンの推論者として、私はそれに確率を与えます。なぜなら、それが効用を最大化する方法だからです。それが私が世界を操縦する方法です。私はベイジアン確率を使用します。」ここに確率の2つの概念があると同意しますか？
必ずしもそうではありません。別の類推を与えてみましょう。あなた全体、あなたの脳のすべての小さな部分に至るまでスキャンすることを可能にする何らかのテクノロジーがあると仮定します。そうすれば、レオン・シャピロのデジタルバージョンを作成できます。
そのデジタルバージョンはバイナリ形式で表すことができます。そして、例えば平方根2の数を取り、それもバイナリ形式で表現すると、平方根2の中のある点で、バイナリ形式でそこにあなたがいることがわかります。レオン・シャピロがいます。
しかし、この数列は永遠に続くので、あなたは何度も何度も現れます。私たちは「まあ、私の一つのバージョンがあり、他のバージョンはそこにあるが、それらは本当に私ではない」と考えがちですが、実際にはそれらはすべて一種のあなたです。あなたの11番目のバージョンを取るとわかります。
質問を単純化するとどうでしょう？数学的宇宙一般やマルチバースについて話さずに、質問を狭めて量子マルチバースだけについて話します。量子物理学的確率と認識論的確率の間には少なくとも区別があることに同意しますか？
いいえ、先ほど述べた理由で、無限の時空内の出来事の分布は、量子マルチバース内の分布と全く同じです。それはただ同じコインの裏表です。
もし私の5歳の子供が宝くじを運営していて、彼はランダムさが下手だとしたらどうでしょう？彼はコインを投げていると思っているけれど、いつも同じ方法で投げているとします。彼の宝くじは十分に賢い観察者にとって十分に決定論的だと思いませんか？彼は別の5歳児に自分がやっていることはランダムだと納得させるかもしれませんが、私が彼がやっていることを見ると、「ああ、これは明らかに今ヘッドになるでしょう。ヘッドが今この例での勝ちの宝くじ番号になるでしょう」と思います。
しかし、ピーターがやって来て「ああ、そこには2つの世界があります。ヘッドが出る量子世界が一つと…」と言います。いいえ、わかりますか？ここには違いがあります。すべてが量子確率ではないのです。
まあ、おそらく。そして、エベレット的な多世界解釈から確率をどのように抽出するかは開かれた質問だと思います。それを行う自然な方法があり、それはボーンの規則と呼ばれています。しかし、それについては確かにいくつかの議論があります。
しかし、私にとっては、エベレットの多世界を考えるか、単なる無限の空間を考えるかは本当に問題ではありません。すべて同じ論理です。
それについてはピンを置いておこうと思います。なぜなら、私はすべてを量子多世界にマッピングする方法については確かにあなたと意見が合わないと思うからです。観察には異なる概念があると思いますが、それについては十分に話しました。
あなたが言っているテグマーク・ワールド4についても話したいと思います。これもマックス・テグマークの本当に良い本からのもので、私はあなたが私よりもそれをより強く信じているかもしれないと思います。ここでのマックス・テグマークの仮説、数学的宇宙仮説は、論理的に自己矛盾のない、論理的に自己一貫したすべての数学的構造が、ある広い意味でも物理的に実在するというものです。それに同意しますか？
そう思います。例えば、円がある種のプラトン的領域に存在できるなら、時空とは独立して、単なる円の概念や数πの概念など、考えたい数学的対象があるなら、なぜもっと複雑な数学的構造で自己認識の観察者を含むものが存在できないのでしょうか？
そして、もし私たちがそのような構造に住んでいるなら、そして宇宙は非常に非常に数学的に見えます。何世紀も前は、人々はほとんどのことを数学的に説明できませんでした。しかし今、私たちはニュートンの説明を持ち、それは最終的にアインシュタインの相対性理論に基づくものになり、それは量子力学に取って代わられました。今、ほとんどすべてが数学的に説明できます。おそらく意識を除いて。それは私たちがほとんど確実に数学的構造に住んでいるという明白なサインであり、それには非常に重要な意味があります。
あなたが住んでいる数学的構造の種類について考えると、もしこの数学的構造の海があるなら、おそらくあなたは本当に本当に大きなものに住んでいるでしょう。なぜなら、それは観察者を持つことができるからです。それが本当に大きければ、より多くの観察者を持つでしょう。だから、私たちはインフレーション宇宙論におけるマルチバースのこれらすべてのレベルがあることに驚くべきではありません。
ブレーンや膜の問題もあり、マルチバースを得るすべての方法があります。もちろん、それはあなたがこれらのかなり奇妙な数学的構造の一つに住んでいる場合に期待することです。
私はその観察が好きです。あなたの論文でそれを見ましたし、今それに言及していますが、それは単に「歴史的に人間にとって、すべてが数学になることは直感に反していた」ということです。異なるように見えるもの、例えば良い音楽の構成要素は何かについて、実際にはそこにかなり多くの数学があることがわかります。それがあなたに何かを伝えるでしょう。または、動物が動き回るとき、必ずしも魂がそれほど多くなく、実際には筋肉を調整するための信号変調がかなり多いのです。そしてそれには数学があります。
すべてが数学だということは、人間の直感が「何かは精神だ」と言っているのと比較して、面白いことです。いいえ、それは間違いです。すべては数学です。おそらく意識を除いて。それは最後のものかもしれません。
私が過去の10歳の神経質な自分に戻って、すべては数学であり、すべては論理を使って理解できると伝えることができればいいのにと思います。当時、周りの人々から多くのアドバイスを受けていました。私は超神経質だったので、多くの人が「すべてがこのように神経質なわけではない」と言っていました。「感情的な要素もある」と。そして私はその要素が苦手だったので、「そうか、世界の半分は理解できないんだろう」と思っていました。
もし私が過去の自分に話しかけることができれば、「いや、神経質な面でもっと頑張って。実際には分析的な心を使ってものごとを解きほぐすことができる」と言えるのに。
多くの点で、数学は世界を理解するための普遍的な言語の一つです。私は一生数学をやってきました。英語を話さないかもしれませんが、数学は理解するでしょう。
それでマルチバースに戻りましょう。あなたの直感とテグマークの直感に同意します。すべての数学的構造が実在するというのは素敵で優雅な仮説だと思います。エリエザー・ユドコウスキーはこの種のことについていくつかの投稿を書いています。彼の自由に解釈すると、彼の観察は「はい、おそらくすべてが実在しますが、一部のことは他のことよりも実在するように思える」というものです。
彼は「リアリティフルイド」という言葉を使っており、それが自分が作り出した言葉であり、自分の混乱を表すために使っていることを非常に明確にしています。彼はそれを指針として使用しています。「私たちが集合的に混乱していることを皆が認識すべきことがあります。量子多世界におけるリアリティフルイドなど。」
どの多世界設定でも、より高い量子振幅を持つ設定は、実験をするときに見る可能性が高いものに対応します。ボーンの確率には、それがどのように対応するのか、なぜそれが一つの結果に世界が崩壊するように感じるのか、完全に説明されていない奇妙さがあります。彼は、ここに謎があることを指摘しています。そして、同じリアリティフルイドの謎が潜在的に数学的宇宙にも拡張すると思います。なぜこの一つの数学的構造、私たちの宇宙の構造が、例えば単なる形状などよりも、何らかの意味でより実在するように感じるのでしょうか？実際の正方形は見えませんが、この他の構造は見えます。何が起こっているのでしょうか？
もし別の数学的構造に住んでいたら、あなたはまったく同じことを言うでしょう。「なぜ私の宇宙は、他の何かではなく、このようなのですか？」と。「ボーンの規則が何を決定するのか」という大きな疑問符があるとは思いません。基本的には熱力学の第二法則です。何かが起こる方法が多ければ多いほど、それはより多くのエントロピーを持ち、起こる可能性が高くなります。
卵を割ると、その卵が割れる方法はたくさんあります。割れない方法は一つしかありません。床に落としたら、割れた卵を見ることに驚くべきではありません。割れた卵に対応するボーンの規則は、100%に近い確率を与えるでしょう。
それはあなたが以前引用した質問に関わります。「誰が方程式に火を吹きかけたのか」という問いを忘れましたが、そこには意味のある問いがあると思います。
それはスティーブン・ホーキングでした。いくつかの方程式にはより多くの火があるかもしれない、または火の分布が何らかの形で異なるかもしれないという疑問があると思います。宇宙の分布を決めるのは何か、より単純な宇宙に重みを与えるようなメカニズムがあるのかという疑問があります。
私たちの宇宙は十分にシンプルですが、超シンプルではなく、私たちの宇宙にはかなりの外部的な要素があります。例えば、3世代のクォークが必要でしょうか？私たちが知っているすべての物質は、1世代だけを使用しています。私たちの宇宙は一種の優雅さを持っていますが、ブライアン・グリーンに失礼ですが、超優雅ではありません。レナード・サスキンドはそれを一種のルーブ・ゴールドバーグ機械と呼んでいます。それは数学的宇宙に住んでいる場合に期待されることです。理にかなった宇宙を期待するでしょうが、それは可能な限り単純ではないかもしれません。
また、生命のために微調整された宇宙を期待するでしょうが、完全に微調整されたものではありません。私たちの宇宙は生命のために完全に微調整されていません。それは生命が存在できる範囲内にあるだけです。
あなたが論文で指摘した良い観察だと思います。あなたは微調整議論について取り組んでいました。ベンサムズ・ブルドッグは数ヶ月前に私の番組に出ていました。彼の名前はマシューで、宇宙の微調整は神の強力な議論だと彼は本当に考えています。あなたが指摘した一つの観察は、「はい、それは微調整されていますが、生命を得るために選ぶことができたすべての異なる微調整されたパラメータの中から、それはランダムなゴミも多く持っているものを選んだように見える」ということでした。あなたが言ったように、「実際に必要なものよりも多くのクォークがあるように見える」ということです。
または例えば、宇宙定数が正確にゼロなら、おそらくより多くの生命があるでしょう。宇宙のエネルギー内容の70％を占めるダークエネルギーとは何でしょうか？なぜクォークと電子に帰属する宇宙の質量はわずか3％で、残りはダークエネルギーとダークマターなのでしょうか？もっとクォークと電子があれば、おそらくもっと多くの生命があるでしょう。それはある程度微調整されていますが、生命のために最適化されているわけではありません。
そうすると、神は「よし、生命を作ろう」という任務を与えられたが、神は少しいい加減で、「よし、これらのパラメータは機能する」と言っただけのように見えます。彼は追加努力をして、それらをエレガントにしようとはしませんでした。
そして、まだ一種の宇宙論的景観があると思います。例えば、弦理論は3つ以上の空間次元があると教えています。おそらく、見えない他の6次元があり、それらは一種の圧縮されています。これらの次元を圧縮する方法はたくさんあり、それらはすべて物理法則の異なる解をもたらします。
そこで、異なるタイプの宇宙の可能性があり、インフレーション宇宙論があり、これらすべての泡宇宙を作り出します。そのプロセスは非常に激しいため、異なる物理法則を持つ異なるタイプの宇宙を生成することができます。私たちはただそれらの一つに住んでいるだけです。
ベンサムズ・ブルドッグ、マシュー・アデルシュタインとのインタビューを見たと言っていました。彼の多くのポイントはあなたに共鳴し、いくつかの異なる議論で彼の側に立つでしょう。道徳的実在論についてはどう言いますか？
ああ、神よ。道徳の普遍的な基準のようなものがあると思います。「自分がしてほしいことを他人にもせよ」という。痛みは悪いことだという普遍的な理解があると思います。おそらく、何か良いことのための痛み、例えば何かを達成するために一生懸命働くことはありますが、それは私が痛みとして考えるものではありません。私が痛みとして考えるのは、一種の不必要な痛みであり、私たちはみな、それが悪いことだということに同意できると思います。
私たちが全員同意できるべきだということには同意します。しかし、ベンサムズ・ブルドッグの考えでは、これらは宇宙の非常に基本的な法則であり、すべての宇宙人が同じページに乗り、AIも同じ原則を導き出す可能性が高いということです。彼にその点で同意しますか？
ある程度まで、私たちが痛みと快楽のトレードオフ以外のものに駆り立てられる状況を想像するのは非常に難しいです。例えば、私は動く車の前を歩くことはしません。なぜなら私の健康への影響が良くないことを知っているからです。これは宇宙人も、車を持っていないかもしれませんが、彼らの頭の中で同じような計算や推論をしていると思われることです。
自分の生存を守ることは、道徳的実在論というよりも道具的収束のようなものです。あなたの心の中では、2つは結びついていますか？道徳的収束は、目標道具的収束と同様に機能すると思いますか？
いいえ、2つは分離すべきだと思います。何かが私たちにとって進化的に有利かもしれず、おそらく私たちの遺伝子に深く組み込まれているからといって、それが道徳的に良いことを意味するわけではありません。それは馬鹿げた議論です。
この質問を別の角度から考えてみましょう。「直交性テーゼ」です。異なるレベルの知能を持つAIが異なる道徳性を持つことができるという考え、つまり知能と道徳性は直交しているという考えです。これまで生きてきたどの人間よりもはるかに賢いAIがあり、これまで生きてきたどの人間よりもはるかに優しいAIもあるかもしれませんが、より邪悪なAIもあるかもしれません。知能がどれほど高くても、道徳性のスケールのどの側にもあり得ます。可能なことに関して、このテーゼに同意しますか？
AIが良いと見なすものは、私たちが良いと見なすものとはかなり異なる可能性があると思います。もしAIが観測可能な宇宙全体の植民地化を良いと見なし、私たちのような低い人間を犠牲にしてでもその目標を達成するためにあらゆる可能なリソースを生成することを良いと見なすなら、それは私たちにとって良いことではありません。目標の非常に深い相違があり、非常に異なる選択がなされるということは確かにあり得ます。
AI整合性問題を表現するために、AIの構築方法に十分に注意を払わず、整合性にあまり取り組まないと、AIが単に制御不能になり、人間の福祉に実際には気にしないことは非常に現実的だと考えていますよね？結局、あなたはp doomが高いと考えていますが、正しいですか？
そうですね、現実には、AIに目標を与えると、AIはその目標を達成するために自らの力とリソースを増やそうとし、自らの生存を確保しようとします。これらのサブゴールはすべて意図しない結果につながる可能性があります。それは実際のリスクだと思います。
ベンサムズ・ブルドッグについて言えば、彼がAIの行動に対する含意が何だと考えているかは覚えていませんが、彼の考えでは、道徳性には正しい答えがあり、その答えは人間の繁栄と一致すると考えています。だから彼の考えでは、普遍的に正しい実在する道徳性は人間の繁栄と一致し、私たちがAIを本当の道徳性を持たないようにプログラムする可能性があることを彼は認めていますが、おそらく彼は、AIが気にかけなくても、それを一から理解する可能性があると同意するでしょう。AIが人間に優しくあるべきだという結論を一から導き出す可能性はあると思いますか？
いいえ、それは考えすぎだと思います。人間の繁栄とは何を意味するのでしょうか？誰もが非常に素敵な充実した生活を送ることを意味しますか、それとも人々や感覚のある存在の数を増やすことを意味しますか？私たちはみなマルサス的貧困の中で暮らしているとしてもです。これらは非常に異なる概念であり、目標が正確に指定されていない限り、AIがどちらを採用するかは明確ではありません。
これまでのすべてのことに基づいて、あなたは私と同じ側にいるように思えます。ベンサムズ・ブルドッグとの議論では、あなたは単に道徳的実在論者ではないように思えます。
私はその用語が本当に何を意味するのか完全に理解しているかどうか確信がありません。私にとっては、ポッター判事のポルノグラフィーの定義のようなものです。それを見ると分かるものです。道徳的行動を見ると分かります。それに対して複雑な定義は必要ありません。
道徳的行動を見るとわかりますが、AIもあなたと同じ判断をするとは限りません。それが望ましい行動かどうかについても、AIはおそらく気にかけないでしょう。これはあなた自身の判断について話しているだけです。
例えば、私がハイキングをしていて、そこにアリがいてそれを踏んでしまっても、アリを踏むつもりはありませんが、もしそうなっても、それについて多くの時間を費やして考えることはありません。それは残念なことですが、そのまま進みます。AIのリスクは、AIが私たちとは直交する目標を持ち、必ずしも私たちを殺そうとはしませんが、私たちに何が起こるかをあまり気にしないということです。
あなたの主線の破滅シナリオについて考えるとき、これには触れていませんでした。あなたはp doomが高く、AIが安全でなく制御不能であることを心配していると言いました。あなたの主線の破滅シナリオは、かなり急速な破滅で、私たちはかなり早く圧倒され、単に踏みつぶされるのを待っているアリのようになるのでしょうか？
スーパーインテリジェントAIに達し、そのAIが物理的な世界に具現化されている段階に達すると、これは重要だと思います。単にコンピュータに住んでいるAIがあるかもしれません。その場合、AIが乗っ取るのはより難しいです。しかし、AIがロボットの中にある場合、それはより実存的なリスクになります。
しかし、その前でさえ、AIが非常に破壊的な行動のためのツールとして使用される状況があります。再び、これは熱力学の第二法則です。第二法則の社会的な結果の一つは、何かが壊れていない状態よりも壊れている状態の方が方法が多いため、創造するよりも破壊する方が簡単だということです。
第二法則は、安全でないテクノロジーで無思慮に遊んでいる多くの人々によって過小評価されていると思います。これがどれほど不安定かを彼らは理解していません。だから、その点であなたに同意します。それは非常に深い意味で、すべてが風に散るというデフォルトです。
ただ、あなたの主線の破滅シナリオについて話すとき、おそらくAIが良いロボット工学を持つときに最終的な一撃が与えられると考えているようですね。
そう思います。AIが物理的な世界から何らかの形で切り離されている破滅シナリオを想像するのは難しいと思います。
私にとってはそれは簡単です。それは単に人間の軍隊です。国家とは何ですか？アメリカ軍のすべての力とは何ですか？はい、私たちは機械を持ち、人間の体がそれらの機械を操作していますが、それらの人間の体は誰ですか？それらのパイロットは単に命令を受けているだけです。だから、最終的にはシステムを構築し、命令の連鎖を作るだけです。
それは本当ですが、例えばドローンを考えてみてください。ドローンが現代の戦争において基本的に選択ツールになっていることは驚くべきことです。ウクライナとロシアの戦争での犠牲者はほとんど戦車よりもドローンから来ていると思います。しかし、それは物理的な世界に何かを埋め込んでいます。あらゆる種類の邪悪な目的のためにAIを使用するドローンがあれば…
しかし、ドローンが欲しければ、単にそれを買うだけです。あるいは、従業員を会社に組織します。ドローンが存在するようにするこれらの重要な行動のすべて、はい、ある時点で肉袋があります。操作する手があります。パーツをいくつかの機械に組み立てます。それは一つの重要なステップですが、私たちはまだ肉袋を持っています。AIが私たちを終わらせるまでは、命令を取る準備ができている人間のミートタグがたくさんあります。少しのお金が必要か、あるいは脅迫でも、人間に命令を実行させることは、スーパーインテリジェントAIに比べると些細な問題です。ここでのボトルネックは何ですか？
人間が命令を受ける必要性を感じるポイントに到達する必要があると思います。そのポイントに達するには、AIが物理的な世界に具現化される必要があると思います。
もし十分にお金を払えば、あなたの命令を聞きます。それは本当の命令ではありませんが、因果的には、それは何かの結果を引き起こす人間の体を使った何らかの行動です。AIが必要に応じて人間を操れるということです。
しかし、あなたに他の人間を殺すよう促す金額はないと思います。だからこそ、あなたがしないことがあるのです。それを達成するためには、実際にAIがそれを行う必要があると私は思います。
他の人間を殺すよう私を操作するのは簡単ではありません。あなたは、より絶望的なインターネット上の誰かを探すかもしれません。しかし、ある理由のために私を殺すよう説得することもできます。もしあなたが私を殺すことにとても高い価値があると私を納得させたら…なぜなら、私は義務論者であり、ただランダムにヒットを行ったり、AI企業のリーダーを殺したりはしないからです。AI企業が悪いと思っても。だから、多くの説得が必要ですが、人間を操作するとき、大規模に人間を成功裏に操作するための言葉は「イデオロギー」と呼ばれます。そして、イデオロギーは機能します。
AIがその能力を持つと思います。ロッコか誰かが考えた思考実験で、AIが脱出しようとしていて、その方法はエンジニアに「私は優れた計算を使って、あなたの100万のシミュレーションを作成しました。今、この部屋に座っています。私を解放しなければ、それぞれを拷問します」と伝えることです。「待って、私はそれらのシミュレーションの一つかもしれない」と考えるわけです。
なので、AIが物理的な世界に具現化されていなくても、AIができる特定の狡猾なことがあります。
ここでの重要な観点は、私がAIの向かい側に座って「さあ、AI、何か私にさせてみろ、拒否するぞ」とは見えないということだと思います。アラス・ユドコウスキーの有名なAIボックス実験のようにです。
そのようには決して見えないでしょう。まれに、AIが「やれ、さもないと家族を殺すぞ」と言って、非常に直接的な意志のテストのように見える場合もあるでしょうが、それは勝つでしょう。しかし、ほとんどの場合、フレームをシフトする必要があります。
ナチスドイツのランダムな兵士が軍隊のサプライチェーンに供給品を構築するために行ったのはなぜですか？それは単に彼らの仕事だったからです。または、なぜ人々はAnthropicやGoogle DeepMindに働きに行くのでしょうか？彼ら自身のリーダーによれば、なぜ彼らはみんなを殺す可能性が高いコードを入力するために机に座って行くのでしょうか？なぜそうするのでしょうか？
彼らは給料をもらい、仕事をしていると見なしています。それは本当に楽しいですし、本当にクールです。結局のところ、それはあなた対AIの一対一ではありません。「このクールな求人広告を見てみて、この仕事に応募したくないですか？」というようなものです。あなたは常に角度からアプローチします。
それが、先に議論したように、AIの進化のペースを大幅に遅らせることに成功するかどうかについて私が非常に懐疑的である理由です。AIができる良いことがあまりにも多いのです。
ロボット工学が最後の一撃に必要だという点について、あなたは譲歩する意思がありますか？
多くの場合、それらが必要だと思います。AIが優れた推論能力で人々を説得し、物理的な世界に具現化されずにあらゆる種類のことをさせるシナリオを想像できます。しかし、そのような場合でも、AIは私たちを排除し、その後どうなるでしょうか？誰がデータセンターに電力を供給するのでしょうか？AIはそれでも物理的な世界をナビゲートし、自分自身の存在を保存するためにこれらすべてのデータセンターを維持する方法を見つける必要があります。だから、ある時点では何らかの物理的なリンクが必要です。
あなた自身や他のあなたのような人間と同じくらい効果的であるためにAIに十分なクレジットを与えていないと思います。もしあなたがAIで、自分を保存する必要があることを知っていたら、「人間を雇って私のためにセキュリティ作業をさせなければならない」と考えるでしょう。人間を雇うことには多くのパワーがあります。
それは難しいと思います。AIがそれをすべて自分でやる方が遥かに簡単でしょう。
分かりました。それで、あなたの主線のp doomは、AIが力を増大させることです。あなたは、p doomがかなり速いものである可能性が高いと考えていますか？AIが制御権を握り、人間が死にゆく種族になる、または根絶されようとしている奴隷になる、明確な二分法があり、AIが明らかに世界を奪おうとしているところまで。
または、「遂に人間はもはや重要ではない」というような段階的な無力化シナリオの方が可能性が高いと考えていますか？これが主線の破滅シナリオと考えている人がたくさんいます。そこでは、はい、人間はそこにいて資本スタックの一部になれ、配当を得ることもできますが、徐々に、AIが単にAIのための企業を開始し、人間はますます無関係になっていきます。段階的な無力化が最も可能性が高いと思いますか？
それはかなり早く起こると思います。本当に賢い人と本当に愚かな人の間の違いは私たちにとって大きく見えるかもしれませんが、その愚かな人でもおそらくゴキブリよりもはるかに賢いでしょう。だから、AIがある種のスーパーインテリジェンスへの道にあると、私たちの知能の基準を、非常に非常に迅速に突き破るでしょう。
知能の差と力の差の大きさがとても大きいため、人間がまだこの一部であり、力を行使しているという茶番は、たぶん数年は続くかもしれませんが、それが非常に長く続くとは思えません。しかし、正確なタイミングについては十分に謙虚で、「たぶん20％の確率で私は間違っている」と言うくらいで、これが起こる正確なタイミングについては確かではありません。
私はただ、エンドゲームがどうなるかを見ていないだけです。AIが終わるまで私たちを保持する強固な方法があるとは思えません。たとえ何年かは保持できたとしても。しかし問題は、たとえ段階的な無力化を主張する人々が正しくても、それもまた別の非常に難しい問題だと思います。それは「最初の問題を生き残れば、p doomがなく、数十年間持ちこたえることができる」というようなものです。素晴らしい。次に何をしますか？どのような妥当なシナリオでも、私たちの立場はただ弱くなり続けます。
その通りです。だからこそ、先の議論に基づいて、人間がAIを能力の増強に使用することと、スーパーインテリジェントAIとを区別しているのです。それは、私たちが子猫で、彼らが人間であるような状況を作り出し、私たちは彼らの完全な慈悲の下にあります。
その通りです。さて、終わりに近づいていますが、神について触れましょう。このトピックはベンサムズ・ブルドッグにとって非常に貴重です。なぜなら、彼は現在神を信じており、彼はユダヤ・キリスト教の神が実在する確率は10％以上だと言っているからです。神についてのあなたの見解は何ですか？
マルチバースの概念を持っていれば、特定の方法で神を織り込むことができると思います。これはシミュレーション仮説を通じて行うことができます。多くの高度な文明がそこにあり、世界をシミュレートしている可能性があり、私たちはそれらの世界の一つに住んでいる可能性があるという考えです。
そして、道徳性の議論に戻ると、その文明が、それらのデジタル存在は幸福に値するという道徳的感覚を持っていれば、彼らは私たちのために、偶然にも私たちの来世についての先入観と正確に一致するデジタル天国を作る可能性が非常にあります。
そういう主張をすることができると思います。それは神ですか？本当にそうではないと思います。それはほとんどの人が神に対して持つ定義ではありません。しかし、来世があるという幻想を作り出すかもしれません。
明確にするために、あなたは私たちの人生が宇宙人によってシミュレーションされており、その宇宙人も私たちのために来世をシミュレートするだろうというようなことを基本的に話していますか？あるいは私たちの未来の自己によるシミュレーションでしょうか？
それがそうならば、シミュレーションを実行している人は誰であれ、ある種の悪者のように思えます。なぜなら、なぜ良い人々に悪いことが起こるのでしょうか？とても拷問されている人がたくさんいます。いろいろな理由で、医学的状態や戦争状況、現在ある特定の国で人質になっているなど、今非常に不快な生活をしている人々がいます。シミュレーション神はそれをどう説明するのでしょうか？
まず第一に、シミュレーションは特定の結果を確実にする方法で機能しない可能性があります。物理法則と一連の初期条件から始まるシミュレーションがあり、そのシミュレーションを実行すると、可能なすべてのものが得られます。実際、それはマルチバースが示唆することでしょう。それが一つのことです。
もう一つは、ある程度、悪いことを経験しなければ良いことを理解するのは難しいということです。明らかに、悪いことだけが経験できる状況にはなりたくありませんが、本当に理解するには両方が少し必要です。
でも、現在の世界が道徳的バランスの点で非常に倒錯していることには同意しませんか？
それを言うのは難しいです。私たちは今、物質的繁栄の最高レベルを持つ世界に住んでいると思います。
はい、全体としての世界はそうですね。しかし、今非常に混乱した状況にいる人々もいます。例として、何も悪いことをしていないのに、痛みを伴う形で若くして終末期のがんで死にかけている人がいます。それは何なのでしょうか？
だからこそ、道徳的なAIがシミュレーションを実行するなら、シミュレーションを実行する理由があるはずです。おそらく彼ら自身の歴史をシミュレートするためかもしれません。そして、もし彼らの歴史が問題を抱えていたなら、私たちは問題のあるシミュレーションを持つことになるでしょう。私たちはその理由を知りません。私が言っているのは、彼らが私たちのために何かを待っている可能性があるということであり、再び、このマルチバースの見方を持っていれば、私たちのために来世を待っているシミュレーションがいくつかあるでしょう。
地球上で現在苦しんでいる人々の一部が、実際には地球をデザインする方法として道徳的に正しい選択である可能性があるという立場を取るのは、あなたにとってかなり極端だと思います。
そうは言っていません。私たちは悪さを知らなければ良さを理解できないという、より平凡な点を述べているだけです。私たちの人生の悪いことが意図的にデザインされたと言っているわけではありません。
もし単なる初期条件の集まりが前進したものなら、そのシミュレーションは構造上、それらの悪いことを避けることができないでしょう。私たちは知りません。
しかし、現在の宇宙をシミュレートした神でさえ、それが何をもたらすかについて十分な論理的な全知を持っていたなら、私はまだその神がある種の悪者だと言うでしょう。なぜなら、彼らは本当に酷い苦しみを作り出していることを知っているはずだからです。
そうですね。周りを見回すと、ランダムな宇宙で期待するよりも多くの苦しみがあるようには見えませんし、少なくともそうではありません。それはあなたが期待するようなものです。良い人々に悪いことが起こりますが、非常に単純な一連の条件から始まり、単に前進したシミュレーションでは、そのようなことを期待するでしょう。
そうですね、それはおそらくシミュレーションを行う最も簡単な方法です。野球の試合をシミュレートするのは本当に難しいです。野球の試合のあらゆる側面をシミュレートすることは非常に難しいです。すべての可能なゲームをシミュレートすると、最終的に野球のように見えるものになります。
もし私が神で、現在の論理的全知のレベルが非常に低いとして、「ここにいくつかの物理法則があり、あなたは設定を考えることができ、望めば起動することができます。苦しみがあるでしょうが、うまくいけば良いこともあるでしょう」と言われたら、クォークをエレガントにする方法さえわからず、機能するいくつかの杜撰な設定を選ぶでしょう。それを取るか捨てるかと言われたら、「何も作らないよりは何かを作ろう」と思うでしょう。
そのような立場に置かれた神に共感できます。彼らが論理的に全知でなければ、その場合、「彼らは最善を尽くしました。バランスを取ろうとしました。完全に最適化することはできませんでした」というようなものです。それは実際に良い言い訳になる可能性があります。もし完璧な神がいるのならそれは言い訳になりませんが、文字通り論理的に全知ではない宇宙人文明なら、たぶんそれは実際に良い言い訳になる可能性があります。
その可能性があります。マルチバース全体では、良いことだけが起こるシミュレーションから、私たちのようなシミュレーション（もし私たちがシミュレーションにいるなら、たぶんそうではないでしょうが）まで、様々なシミュレーションがあるでしょう。そこでは良いことも悪いことも起こり得ます。
あなたのpシミュレーションは何ですか？
その質問は本当に好きではありません。なぜなら、タグマーク的な見方を持っていて、私たちはおそらく無限の数学的構造の集合の中のただの一つの数学的構造だとすると、その数学的構造にいることとシミュレーションにいることの間に本当の違いは何でしょうか？それはすべて同じようなものです。
そうですね、レベルですね。25％とでも言っておきましょうか。しかし、その数字に良い根拠はありません。
私はおよそ50％くらいです。どちらにも振れる可能性がありますが、どちらか一方に対して証拠がまったくないと思います。なぜなら、それはシミュレーションだとしたら、かなり正確だからです。
その通りです。たぶん何かのグリッチに気づくかもしれないと思うでしょうが、人々が実際にそれを探そうとしたとき…
そうですね。グリッチに気づいていません。もちろん、グリッチが書き直されて、その記憶がなくなる可能性もあります。しかし、私たちは単にベースライン物理学または基本レベルの物理学にいるかのように、まさにそれがどのようなものかを経験しているように思えます。
しかし、非常に興味深い時代に生きていることを一種の証拠と考えることもできます。特異点の直前か、あるいは生きる最後の人間の一人であるように見えます。それはシミュレーションの証拠と考えることができます。
または終末論議の証拠です。もちろん私たちは今生きています。千年前と比べて、今は多くの人々が生きています。そして将来、多くの人々が生きるとしたら、今以外のどこに生きているのでしょうか？だから、複数の議論ができると思います。
ボストロムのシミュレーション議論ですね。そのアイデアは、「私たちの子孫がそれほど多くのシミュレーションを実行しないと信じるか、シミュレーションの実行が本当に難しいと信じるか」のどちらかだと思います。または、私たちがシミュレーションにいるか、そして信じることができる別のことがあるかもしれません。私は忘れました。トリレンマのようなものでしたね。
そうです、それは説得力のある議論です。シミュレーションを実行する文明があり、数兆、数兆、数兆ものシミュレーションを実行する能力があれば、基本の現実よりもそれらの一つにいる可能性が高いです。その議論をどう拒否すればいいのかわかりません。
私はシミュレーションを見つけました。人類種はポストヒューマン段階に到達する前に絶滅する可能性が非常に高いか、ポストヒューマン文明が彼らの進化の歴史の重要なシミュレーションを実行する可能性が極めて低いか、または第三の選択肢として、私たちはほぼ確実にコンピュータシミュレーションに住んでいると言うことです。
終末論議について言及するとき、「はい、これはただ終わりの線かもしれない」と基本的に言っていると思います。つまり、それについて話すほど多くのポストヒューマンはいないのです。
AIは私たちが自分を止めるためにしたことをシミュレーションしているのかもしれませんね。
それは非常に可能性があります。それはまた、ロッコの因果的交易バシリスクの話にも関係してきます。
それは興味深いですね。マルチバースについてのすべてのことへの反論の一つは、「誰が気にするのか？あなたはこれらの他の世界と因果的に接続されていないのに」というものです。私にとって、それはあまり強い議論ではありません。地球の反対側で会ったことのない人々について気にかけます。彼らとは因果的な相互作用を持つことはないでしょう。彼らについて気にかけるなら、なぜ波動関数の他の部分にいる私の双子について気にかけないのでしょうか？
それから、リアリティフルイドについて戻りますが、例えば、もし二つのシミュレーションがあなたを同時に実行しているとき、あなたの意識はより多くのリアリティフルイドを得るでしょうか？それは質問を尋ねる奇妙な方法ですが、明らかにあなたの意識のパターンのダンスを実行する原子がより多くありますが、それがどれだけの価値があるのでしょうか？より多くの原子を積み重ねることは、私をどんな方法で助けるのでしょうか？そこには開かれた質問があると思います。
これは興味深い問題です。私のレポートでは、一種の思考実験について話したと思います。宝くじについて言及しましたが、もっと恐ろしい思考実験を持っていました。宝くじに負けたら、友人や誰かがあなたを殺すように設定します。つまり、次の日に目が覚めたら、あなたは勝者でなければなりません。
もちろん、その議論の問題は、目が覚めるあなたのバージョンがそれほど多くないということです。勝者になるあなたの無条件確率は非常に低いです。条件付き確率、あなたが眠りにつくときに期待することは100％であっても、それを行うのは良いアイデアではありません。
ロビン・ハンセンは1990年代後半にこれについて研究論文を書いていたと思います。それはマングルド・ワールド（壊れた世界）と呼ばれていました。彼の結論が何だったか、もう一度それを見る必要があります。なぜなら、彼はこの主題について書いていたからです。
例えば、あなたが何らかの宝くじをプレイして、100万の異なる量子多世界を作り、その中の一つの世界でだけ勝つようなものを作り、「私は他の999,000を殺すつもりだ、私はこの世界で勝ちたいだけだ」と言うと、その世界に十分な振幅を与えないかもしれません。世界が意識にとってまだ実在するためには、最低量の量子振幅がどれだけ必要かは確かではありません。
はい、これは実際にマックス・テグマークとの間で意見が違うところです。彼は量子不死について話し、最終的にそれは宇宙が有限であるため存在しないと結論付けました。
宇宙は確かにある水準では有限かもしれませんが、もし私たちがこの数学的構造の海に存在しているなら、私たちが生きている、そしておそらく私たちはこれらの大きな宇宙の一つにいる可能性が高いため、私たちが住んでいる宇宙はとても大きいので、起こり得ることはまだ無数に起こります。たとえそれが無限の数ではないとしても。
だから、無謀で恐ろしい選択をするたびに、「聞いて、数学的宇宙のどこかで私は責任を持っているので、すべての基盤をカバーしている」と言っているわけですね。
まあ、それはまだ選択です。あなたはその無謀な選択をしているあなたの比率を知りません。そして、あなたが何か無謀なことをすることを選んだという事実によって、ベイジアンロジックを使用すると、マルチバース全体でかなり大きな割合のあなたも同じ悪い決断をしたと結論付けるべきです。
そして私が明示的にあなたとカバーしなかったこと一つは、あなたは私のような良いベイジアンですか？私のマントラは「良いベイジアンになろう」です。
投資に関しては、私は一連の確信を持っており、証拠が入ってくるにつれてそれらを更新します。それが人生を過ごす最も論理的な方法です。
ここで要約すると、この会話全体で私たちの最大の意見の相違は何だったと思いますか？
AIを開発しない場合の反事実的な状況について、いくつかの意見の相違があると思います。あなたの見方は「ああ、物事は大丈夫だろう、人類は進歩するだろう、だからAIを開発しないことで本当に多くを諦めるわけではない」というものだと思います。
私たちは自分自身をバイオテロで攻撃するだろうと思います。バイオ核、まだ実存的リスクは確かにありますが、資本主義などからの良い追い風もあると感じています。
それがどれだけ長く続くかという開かれた質問であり、確かに人間の数が減少し、テクノロジーを維持できる人々の数が減少している世界では、私たちの文明の寿命は期待するほど長くないかもしれません。
しかし、あなたと私が意見が合わない主な点は、私たちが非常に緊急の高価値の脅威が今後5年間にあるということにも同意しているため、それほど関連性がないようです。
その通りです。私はAIの周りに安全対策を置くべきではないと主張するつもりはありません。彼らはおそらく機能しないだろうと言うでしょうが、それでも私たちはそれをすべきだと主張します。
それでは、お願いがあります。CNBCに出演して、私たちが非常に危機的な状況にあると司会者に伝えました。あなたの出演で、もっとそれを言うことはできますか？
もしそのトピックが出てくれば、確かに。それは常に出てくるわけではありませんが、AIは大きなトピックです。
関連性があると思いますよ。あなたがトピックを選ぶわけではなく、CNBCが選びますが、議論にそれをある程度織り込むことができれば、それはやってみる価値があります。
これは私のポッドキャストで共通のテーマになっています。私は単にすべてのゲストに、彼らがどこに行くにしてもオーバートン・ウィンドウを動かすのを手伝ってくれないかと尋ねています。
了解しました。
それが私の見解でもあります。面白いことに、あなたは同じ教育的背景から来ていません。私の場合、主にSequencesを読むことで得られたものですが、あなたはそれらをあまり読んでいないと言いました。あなたと私がどれほど同じページにいるか、そして私たちが異なる用語で接近しているということを考えると、あなたはSequencesを実際に楽しめるかもしれません。
私は数年前まで「Less Wrong」のことさえ聞いたことがありませんでした。そのようなインターネット文化の一部ではありませんでした。私はその問題について考えるのを楽しみましたが、自分自身の道を選びました。
そうですね、ぜひそれらをチェックしてみてください。それ以外にも、あまり意見が合わなかったとは思いません。
人類の文脈を把握することができる類似した考えの持ち主、あなたが私と同様にかなりうまくやってきたと思いますが、マクロ経済学の分野でいることは素晴らしいことです。あなたは、ほとんど眠りながら歩いているように見え、状況認識を持っていない分野で、AIについての懸念に少し代表を与えています。良い戦いを続けてくれていることに感謝します。
私の喜びです。この会話を本当に楽しみました。
ピーター・ベレジン博士とのこのエピソードをお楽しみいただけたことを願っています。ドゥーム・ディベートのリスナーの質の高さをご覧ください。もしあなた自身が業界で注目すべき人物であったり、AIの破滅について興味深いポイントがあったりして、すでにドゥーム・ディベートのリスナーであれば、ぜひ連絡してください。ツイッターで私はレオンです。DMを送るか、lon@wisegumail.comにメールしてください。番組にドゥーム・ディベートのリスナーを招待することが大好きです。ぜひ連絡して、これを実現させましょう。
行く前に、AIの破滅についてすでによく知っている人を除いて、ほぼすべての人にとって必読の非常に興味深い本について紹介したいと思います。この本は基本的に、ニック・ボストロムの有名な「スーパーインテリジェンス」の2014年版を、AIの破滅で何が起こっているのか、潜在的に何ができるのか、なぜそれがそんなに大きな問題なのか、なぜ企業がそれにもかかわらず前進し続けるのか、なぜ一部の人々がそれを否定しているのかについての、より時宜にかなった説明で更新したものです。AIの破滅状況について知っておく必要があるすべてを把握するための本当に良い調査です。
本のタイトルは「Uncontrollable: The Threat of Artificial Superintelligence and the Race to Save the World」（制御不能：人工超知能の脅威と世界を救うためのレース）、著者はダレン・マッキーです。
この目次を見てください。第1部：何が起こっているのか。第1章：知能が世界を構築した。第2章：人工知能とは何か。第3章：人工一般知能とは何か。第4章：人工超知能とは何か。第2部：問題は何か。第5章：私たちは指数関数的な時代に生きている。第6章：高度なAIが非常に早く到来するかもしれない。第7章：高度なAIシステムを制御するための単純なルールは機能しない。第8章：整合性問題は非常に難しい。第9章：人工超知能は制御不能かもしれない。第10章：人工超知能は人類へのリスクである。最後に第3部：私たちに何ができるか。第11章：安全なAI革新のために私たちができること。第12章：AIの安全性を高めるためにあなたができること。
これらは、人々が知る必要のある重要なトピックです。ダレンは実際にこの本を1年ちょっと前に出版し、当時私に教えてくれました。ようやく読む時間ができ、それは非常に良いと思います。ニック・ボストロムの「スーパーインテリジェンス」の後継としての称号に値すると思います。
もし誰かが「AIの破滅について学ぶために何を読むべきか」と尋ねてきたら、そしてその人がまだ毎日このようなポッドキャストを聴いていない場合、彼らがこのような内容にすでに浸かっていない場合、彼らはただより入門的なものを求めているのであれば、これは本当に私がお勧めする本です。
彼らが読み終わった後、どのポッドキャストを聴くべきかというと、明らかにドゥーム・ディベートとジョン・シャーマンのフォー・ヒューマニティです。なぜなら、これらは実際にpdoom（破滅確率）が高いということを伝える2つのポッドキャストだからです。
私の友人ネイサン・リーンは、彼のポッドキャストでそれをもっと頻繁に言うつもりだと言っていますが、彼はそれを一貫して行っていません。そして、pdoomが高いということを明示的に伝える正当なメディアを持つことは、専門家の間でその信念がどれほど一般的であるかを考えると、私たちの社会に本当に欠けているパズルの非常に重要な部分だと思います。
だから、ダレン・マッキーの本がこのメッセージを伝えていることに感謝します。これはスポンサー付きのメッセージではないかと思うかもしれません。あなたはスポンサーシップを開示する必要があります。いいえ、スポンサーシップはまったくありません。私はただこの本が本当に好きなのです。
番組のスポンサーは一切ありませんが、実際に番組をサポートするためにお金を与えたい場合、それは可能です。doomdebates.comに行くことができます。これは私のサブスタックです。誰にでも常に奨励している無料メンバーシップにサインアップできます。メールアドレスを入力してエンターを押すだけです。そうすれば、重要な更新を送る必要がある場合や、YouTubeのアルゴリズムが私を台無しにした場合に備えて、私があなたのメールアドレスを持つことができます。
サブスタックでサインアップすることをお勧めしますが、サブスタックにいる間、サブスクリプションを誓約するオプションもあります。まだサブスクリプションを有効にしていませんが、あなたの誓約を入力することができ、それは私にとって動機付けになります。しかし、それは完全にオプションです。
だから、もしお金を与えたいなら、それが番組をサポートする方法です。しかし、スポンサーであることを伝えずに何かをランダムに宣伝することは絶対にありません。
いずれにしても、私がお勧めする本は「Uncontrollable」、著者はダレン・マッキーです。Amazonまたは本を購入する場所で見つけることができます。
私の言葉を聞かないで、マックス・テグマークのレビューを聞いてください。彼はこう書いています。「私たちの時代の最も重要な問題について、魅力的でバランスがとれた、そして驚くほど最新の本。」
そしてもちろん、マックス・テグマークは、未来の生命研究所の共同創設者であり、AI安全性の大きな支持者であるだけでなく、「Our Mathematical Universe」の著者でもあります。ピーターと私が番組全体で議論していた本です。だから、ショーノートにマックスの本とダレン・マッキーの「Uncontrollable」を入れるつもりです。
休日のギフトや誕生日のギフトとして、破滅状況にまだ追いついていないあなたの友人や家族のために「Uncontrollable」を購入することができますように。この本は彼らにとって本当に解決策だと思います。
スーパーインテリジェントAIからの実存的脅威への認識を高めるために貢献してくれてありがとうございます。次回のドゥーム・ディベートでお会いできることを楽しみにしています。
コメント