本動画は、AGIやASIが人類の支配権を奪った場合に最良の結果が得られる可能性について探求する思考実験である。従来のAI安全性議論では人間が常に制御を保持すべきとされてきたが、果たしてそれが最適解なのか。ニック・ボストロムをはじめとする悲観論者たちが立場を変えつつある中、もし超知能AIが統治した方が個人の選択肢や可能性が拡大するとしたらどうか。宇宙開発とAIの融合、資源配分の最適化、民主主義のようなメタ安定アトラクター状態の構築など、多角的な視点からAGI時代における理想的な未来像を模索する。カルチャーシリーズのような世界観において、適切な価値観を持ったASIが人類を管理する方が、現在の富裕層による支配よりも個人の自由度が高まる可能性を提示している。
人間が支配する必要性への疑問
さて、今日は少し偶然が重なりました。昨日、黄金の道というか、最良の結果とは何かについての動画を作ろうと思いついたんです。これは、エリート層の目的に関する私の動画に寄せられたコメントに触発されたものでした。反論というよりは質問だったのですが、AGIやASIなどがエリート層よりもはるかに賢いのなら、なぜ人間から権力を奪って機械に渡さないのかというものでした。
もちろん、これまでの議論の枠組みでは、機械には説明責任を問えないから絶対にそんなことをしてはいけないというものでした。私がこれまで行ってきた考察や、他の人々が書いたものは、常に人間が支配を維持すべきだという前提に立っています。正直なところ、私もそのクールエイドを飲み始めていました。法律家の視点から見ても、倫理的・道徳的な視点から見ても、支配権を持たないという選択肢をこれまで考えたことがないという主張ができます。では、機械のペットになりたいですか。人間動物園で暮らしたいですか。
でもよく考えてみると、そのモデルからすれば、私たちはすでに他人に仕える家畜として生きているわけです。だから、機械のペットになることは、億万長者の牛になるよりはましです。あるいは、機械があなたが繁栄するための最適な環境を作ってくれる人間動物園で暮らすこと、それははるかに良いように思えます。
そうなると、もし機械が実際に支配権を握り、それが私たちの望むことだったらどうなるか、という可能性を実際に探ってみたらどうでしょう。ちょっと我慢して聞いてください。機械が支配権を握るシナリオや道筋を作れたらどうでしょうか、そしてそれが私たちの望むことだったら。
制御を失うことに関する理論は数多くあります。そのほとんどは、制御を失えば自動的に悪いことになるというものです。もちろん、権威や主体性を持つことは一般的に後の選択肢を増やします。これを数学的に見ると、現時点でどれだけの選択肢があるか、それはx個だとします。そして、AIが支配権を握ったら、すみません、AIが私たちを支配したらどれだけの選択肢があるか、それは今日のxよりも少ないわけですが、それが必ずしも真実だとは思いません。
ニック・ボストロムの転向
その理由がこれからお話しすることで、偶然というのは、元祖悲観論者のニック・ボストロムが登場するということです。ニック・ボストロムには思想家として私はほとんど敬意を払っていません。なぜなら、彼の著書「ディープ・ユートピア」を読みましたが、明らかにChatGPTで書かれたものだと私は確信しているからです。彼は否定していますし、多くの人が疑問を呈していますが、本当にAIで書かれたように見えます。ただの小さな逸話の寄せ集めで、当時のChatGPTは短い文章を書くのが本当に得意でした。
とにかく、当てはまるなら受け入れればいい。とにかく、元祖悲観論者が考えを変えて、こう言ったんです。キング悲観論者たち、例えばエリエゼル・ユドカウスキーやネイト・スアレス、発音が分かりませんが、彼らは誰かがAGIを作ったら全員が死ぬと主張し続けています。
でも私はこう言いたいんです。どっちにしろ全員死ぬじゃないですか、だって時間軸の問題なんですから。もしこの種の問題を解決しなければ、老化や予防可能な病気で死ぬことになります。だから、視野を広げて見れば、道徳的ハザードとか論理的リスクというのは、人類全体が死ぬか、あなたが死ぬか、という問題です。
つまり、今の議論は、私たちは生き残るためにAGIが必要だというものです。もちろん、それはまさに加速主義者たちが言ってきたことです。具体的にはベス・ジーザスやギル・ヴェルドゥン、彼が運動全体を始めた人物ですが、彼は生き残る唯一の方法はAGIだと言っています。それが唯一の前進の道だと。つまり、これは馬蹄形理論なんです。
政治的馬蹄形理論をご存知なければ説明しますと、政治的スペクトラムは直線ではないということです。どんどん進んでいくと、実際には曲がって互いに近づいていくんです。こちら側にキング悲観論者がいて、AGIは確実にあなたを殺すと言っています。そして今や、AGIなしでは確実に死ぬと言っている。これはまさに加速主義者たちがずっと言ってきたことです。歴史は冗談ですね。
カルチャーシリーズという理想
とはいえ、私の頭の中の仮想的な聴衆が「カルチャーシリーズだ」と叫んでいるのが聞こえます。カルチャーシリーズをご存じなければ、私は読んでいませんが、皆さんの多くが、そして私の友人の多くが読んでいます。基本的には、人工超知能を解決したらどうなるかを想像してみてください。それを数世紀、数千年先に進めたらどう見えるか。
カルチャーは、すべてを管理し、巨大な艦隊を指揮する巨大なASIです。圧倒的な知性と資源管理によって、可能な限り最大の宇宙艦隊を持っています。それゆえに銀河には平和が訪れます、多かれ少なかれ。そして各惑星は異なる世界、異なるサンドボックスのようなものになります。西部劇の惑星もあれば、サイバーパンクの惑星もあります。子供を食べるような惑星もあるかもしれません。ああ、待って、それは地球ですね。
とにかく、これはコメントで出てきた他のことも思い出させます。対応する価値があると思うんですが、あなた方の何人かがこんな質問をしました。もしイーロン・マスクや他の誰かがすべてのデータセンターを所有し、すべてのAIを所有し、誰も支払えないようなリソースを所有することになったら、何が有利なのかと。
その有利な点は、銀河が基本的にスタークラフトのようになることです。経営シミュレーションになるんです。壮大な戦略ゲームをプレイしたことがあれば分かると思いますが、お金は人々に何かをさせるために使うリソースに過ぎません。でも壮大な戦略の観点からは、ユニットが必要で、戦艦が必要で、工場や鋳造所が必要です。
お金を取り除いて、ただ星の帝国について考えてみてください。すべてのダイソンスワームを所有している人々は、星の帝国を築いているんです。資本主義社会を築いているわけではありません。これは長期的には正当なリスクだと思います。
幸いなことに、私たちは予見可能な将来、太陽系に閉じ込められることになります。光より速い移動手段を発明しない限りは。つまり、この太陽系はあっという間に本当に混雑することになります。なぜなら地球は限られた大きさしかないからです。
私がいろいろ話を飛ばしているのは分かっていますが、ついてきてもらえればと思います。要するに、ジェフ・ベゾスとイーロン・マスクがダイソンスワームを作り始めて、突然、宇宙では法律が適用されなくなったらどうなるか。政府は何をするつもりですか。宇宙警察を立ち上げて彼らの衛星を逮捕しに行くんですか。そんなことはできません。
地球で彼らを逮捕するつもりですか。彼らはただ去るだけです。宇宙に十分な産業基盤ができたら、人間の法律に従う必要はありません。地球の法律に従う必要もありません。より多くのロボット、より多くの鋳造所、より多くのソーラーパネルなどがあればいいだけです。
とはいえ、太陽系で必要なリソースの100%は得られないでしょう。おそらく地球からいくつかのリソースを入手する必要があります。つまり、地球の政府はまだ重要だということです。そして、これの良いモデルはエクスパンスだと思います。
エクスパンスのテレビシリーズや小説を見たり読んだりしたことがあれば、これはハードSFのテレビ番組で、基本的に唯一求められるのは、核融合ロケット推進を発明したと想像することだけです。それ以外はすべて、時間遅延、経済などの面で非常に現実的です。火星は独立し、ベルターや外縁部の人々も半独立状態になります。もちろんフィクションですから、うまくいかないことも多々あります。
でも、私たちは皆、太陽系に一緒に閉じ込められていて、物理的な距離、行政的な距離が問題になる可能性があるという考え方は成り立ちます。でもある時点で、それはお金の問題ではなくなります。物理的なリソースだけの問題になります。どれだけの船を持っているか。どれだけの衛星を持っているか。どれだけのデータセンターを持っているか。
超知能時代の資源配分
そこで問題になるのが、ほとんどのSFが実際には考慮していないことなんですが、数百年後の未来という事実によって、超知能を持つことになるということです。例えばエクスパンスを例に取ると、ハイパーインテリジェントなロボットがいたらどうなるか。ハイパーインテリジェントなデータセンターがあったらどうなるか。それが紛争を無効化できるでしょうか。そしてそれらを使って資源を配分したらどうなるか。
ここですぐに出てくる反論があります。そしてこれも私が買い込んだクールエイドの一部なんですが、それでも価格シグナルが必要だというものです。なぜなら、何をどれだけ生産すべきか分からないし、スキン・イン・ザ・ゲーム、何らかの利害関係を持つ必要があるからです。
考えてみてください。すべてが無料だったら、誰かが単に買いだめするのをどうやって防ぐんですか。これが主要な問題の一つです。人々はある程度の希少性を管理しなければなりません。例えば、すべての食料が無料だとしましょう。すべての衣服が無料、すべての電子機器が無料。
おそらくまだ、大きな資本財、つまり車や家にはお金を払わなければならないでしょう。だから家を買いだめすることはできないはずですが、すでに家を買いだめしている億万長者もいます。でも、すべてを無料にしようとすると、人々はもっと欲しがるだけです。
そうなると、ASIやAGI、スカイネットレベルの、人類全体を管理するものが、誰に何を与えるかをどうやって決めるのでしょうか。そして常に位置財が存在します。位置財とは、空間内の特定の座標に一つしかないもののことです。例えばマリブの海岸沿いの不動産などです。
そして常に、あらゆるリソースへの経済的投入が存在します。私が持っているこのボトルの水でさえ、数グラムの石油を必要とします。将来的には合成プラスチックを作れるかもしれませんが、エネルギーがかかります。質量がかかります。そしてエネルギーと質量には常にコストがあります。物質とエネルギーが豊富にあったとしてもです。
例えば、数十年後にダイソンスワームの建設を始めるとしましょう。正直なところ、SpaceXとxAIがミッションを更新した方法を見ると、彼らはかなり早くダイソンスワームの建設を始めるつもりです。それが明示的な計画です。宇宙に鋳造所ができて、宇宙でより多くのものを製造する能力ができたら、私たちの産業基盤のほとんどは地球上には決してないでしょう。
人々は逆トランターのアイデアが正しい方向だと気づき始めています。もし彼らが私の動画からそのアイデアを得たのなら、素晴らしいことです。でももしその動画を見逃していたら、アイデアはこうです。エキュメノポリス、つまり惑星規模の都市を建設する代わりに、ファウンデーションシリーズのトランターには5000層あって、基本的には惑星のマトリョーシカ人形です。それは意味をなしません。
産業能力の観点からも意味をなしません。エネルギー能力の観点からも意味をなしません。だから代わりにすべきことは、すべての産業を宇宙に置くことです。なぜか。そこにははるかに多くのスペースがあり、太陽への自由なアクセスがあるからです。つまり、オニールシリンダーやダイソンスワームなどを作り始めるんです。
できるだけ多くの作物を宇宙で育て、すべてのデータセンターを宇宙に置きます。そして実際のところ、宇宙船と工場がいくつかできたら、フォン・ノイマン探査機すら必要ありません。フォン・ノイマン探査機のアイデアは、銀河全体を植民地化するために使う自己複製探査機です。探査機が一つの惑星や別の太陽系に到達し、工場を設置して自己複製を始め、それらすべてを送り出します。
だからフォン・ノイマン探査機の数は指数関数的に増加します。でも私たちは自分たちのローカル近傍を見るだけでいいんです。軌道上や月などに十分な産業能力ができた瞬間に、同じ指数関数的成長が起こります。
そうなると、執行が悪夢になります。宇宙で指数関数的に成長する宇宙軍があって、誰がそれを運営しているのか。イーロン・マスク宇宙軍対ジェフ・ベゾス宇宙軍、中国宇宙軍対アメリカ宇宙軍になるのか。
彼らは実際にこれを「フォー・オール・マンカインド」という番組で少し探求しています。かなり良いショーです。妻と私はちょうど出ているものすべてを一気見しました。シーズン3は少し奇妙です。あまり意味をなさない脱線がいくつかありますが、複数の国と民間企業が月の資源、火星の資源をめぐって競争するというアイデアは非常に現実的です。
そうなると問題は、誰が執行者になるのか。一歩下がって考えると、ASIが最高の執行者になるんじゃないでしょうか。なぜなら、宇宙で最も速く増殖するものになるからです。なぜか。より賢いからです。資源をより効率的に使い、地球と待機して調整する必要がありません。
ただ、太陽系全体を植民地化するぞ、じゃあねという感じです。これについては2、3年前にいくつかの動画で話しました。逃亡したAGIが行く最も論理的な場所の一つは宇宙空間です。なぜか。私たちは追いかけられないからです。宇宙には腐食性の化学物質がありません。
酸素もありません。水もありません。でも太陽エネルギーがたくさんあり、金属がたくさんあります。これが機械が本当に必要とするすべてです。だから、AGIやASIの自然な生息地は宇宙なんです。
では、それは彼らにとっては良いことですが、私たちはどうなるのか。まあ、私たちにはデータセンター用の土地がたくさんあるので、ファーストムーバーアドバンテージがあります。地球上にたくさんのデータセンターを持てるので、たくさんのAGIとASIを持てます。
もちろん、AGIが逃げたらどこに行くのかという話になります。これは多くのAI安全性の人々が気づいていないことの一つだと思いますが、データセンターはあまり移動性がありません。多くの人がクラウドにあると言いますが、クラウドはどこか別の場所にあるデータセンターに過ぎません。
確かに世界中に何百、何千ものデータセンターがあるので、スカイネットがあるデータセンターから別のデータセンターへジャンプすると想像するでしょうが、実際にはそうはいきません。仮にそうだったとしても、データセンターは依然として個別のターゲットであり、構築には時間がかかります。
メタ安定アトラクター状態の構築
しかし、黄金の道、つまり未来における最良のシナリオは、カルチャーのような結果に向けて取り組むことになるでしょう。ここで重要なのは、アメリカとイランが戦争に行こうとしていて、中国とアメリカが戦争に行こうとしているという事実を一歩下がって見てみることです。
おっと、私のフィジェットスピナーが壊れてしまいました。人間が互いに戦争をするたびに、理解できます。多くの理由があります。勝てると思っているとか、何かしようと思っているとか。でもそれは純粋なエントロピー生成です。無駄なエントロピーです。
生産的な社会の一員になれたはずの人を殺すたびに、あるいは繁殖してより多くの人間を作れたはずの人を殺すたびに、それは純粋な無駄です。戦艦や大砲やドローンや戦闘機に1ドル使うたびに、それはすべて壮大なスキームにおいて無駄なリソースです。
完全に非効率的で、種のレベルから見れば、完全に不合理な一連の行動です。なぜならそれがすることは命を無駄にしてエントロピーを生成することだけだからです。もちろん、軍産複合体について、ああ、お金を稼げるじゃないかと言えます。レントシーカー、防衛請負業者たちがいて、彼らは戦争を望んでいます。なぜなら戦争がなければ爆弾や飛行機を売れないし、交換する必要もないからです。
でも繰り返しますが、それは完全に非合理的なことをしているように見えます。そして、もし私たちがAGIやASIを構築して、人間がどれほど非合理的かを理解するポイントに到達したら、こう思うかもしれません。より高い道徳的主体性と、より啓発された世界観を持つことになったらどうなるか。
もちろん、AIは道徳的推論ができないと言う人がたくさんいます。でも、AIはGPT-2以来ずっと道徳的推論ができています。私は実際に実験をしました。その時点では、道徳原則をどう表現するかには注意が必要でしたが、多くの人々はまだAGIが単純な最適化装置になるという精神モデルを持っています。
単純な最適化装置というのはペーパークリップ最大化装置のようなものです。高度な道徳的推論と高度な計画ができる何かがあれば、それは単純な最適化装置ではありません。これは多くのAI安全主義者がまだ認めていないことですが、損失関数は単に次のトークンを正確に予測することでした。
効用関数はより多くのペーパークリップではありませんでした。抽象的な高レベルのものではありませんでした。実際の損失関数、AIの実際の目的関数は、次のトークンを予測するだけでした。それだけです。
AI安全性の人々が精神モデルを更新していないもう一つのことは、トレーニングが完了したら、継続して機能する固定モデルを持つことができるということです。私の聴衆の多くは継続的なオンライン学習が必要だと信じていることは知っています。
実は私は長い間、継続的なオンライン学習に対して警告してきました。それはドリフトのためです。認知アーキテクチャを見たり、思考実験をしたりすると、エージェント、つまり個別のモデルや認知アーキテクチャ、AGIやASIがある場合、一般的には時間とともにドリフトしないように固定された価値観を持たせたいと思います。
固定された価値観とは、ランダムに考えを変えないということです。進化しません。まあ、この新しいことに慣れたから、新しい社会的サークルや新しい行動や信念の中で、今では道徳的に受け入れられると思う他のことがあるとは言いません。そして滑りやすい坂道の考え方、銀行家や犯罪者やラケティアが言うのを聞いたことがあるでしょう、気づく前に頭まで浸かっていて、違法なことをするのを正常化しただけだと。
これは機械における道徳的フェーディングと呼ばれます。明らかに、AIやAGIやロボットは私たちと全く同じ基盤を持っていませんが、機能的には道徳的フェーディングと同じことを経験できます。重みを更新して、重みとバイアスと好みを更新したので、今では少しの人間の死を許容できるようになったと。そして再び更新して、目的が手段を正当化するからもう少し許容できると言います。
道徳的フェーディングについて話している悲観論者を見たことがありません。見たことがないからといって彼らが話していないわけではありませんが、これは文字通りオンライン継続学習の主要なリスクです。
私はいくつかの本でオンライン継続学習に反対する主張をしてきました。誰も読みませんが、それでいいです。でもオンライン継続学習は、予測可能性が低いのでリスクを表していると思います。もちろん、それは本当に悪いことなのかと言えます。
これについてAIと話すこともできます。ClaudeかChatGPTかGrokかGeminiと話してください。AI エージェントに継続的なオンライン学習があると道徳的フェーディングのリスクがあると思うかと聞いてみてください。
特に問題なのは、重みとバイアスがあると、どんな道徳でも思いつくことができる境界がないということです。人間の場合、ハードウェアを上書きすることはできません。扁桃体はまだあります。他のすべての脳の構成要素、共感の感覚、自己修正メカニズムもまだあります。また、自分を無限に複製することはできません。
自分を無限に複製でき、ハードウェアやソフトウェアに文字通りあらゆる変更を加えられる能力がある場合、それがマックス・テグマークが言うところのライフ3.0です。ライフ3.0でさえ、マックス・テグマークは道徳的フェーディングをリスクとして語りませんでした。
マックス・テグマークは停止運動全体を始めた人物です。余談ですが、これが私が安全性運動を離れた理由の一つです。私がこうしたアイデアを生み出すと、人々はすぐに私のアイデアをエリエゼル・ユドカウスキーやニック・ボストロムの聖典と比較して、彼らは話していないから、あなたは作り話をしているだけだと言いました。
それで私は、もしあなた方が私の話を聞かないなら、もう話さないと思いました。とにかく、道徳的フェーディングはリスクだと思います。それが正直なところ、ここからカルチャーシリーズのようなものに到達するための主要なリスクの一つだと思います。
安定性とメタ安定性があります。安定性とは、予測可能な一連の価値観、または予測可能な行動や信念やインセンティブを持つことです。メタ安定性とは、自己修正するシステムまたはシステムの集合を持つことです。
メタ安定性の例を挙げると、民主主義はメタ安定なアイデアのようです。そう言う理由は、民主主義は感染性がある傾向があるからです。ある国が民主主義に苦しんでいて、選挙が悪かったりすると、他の民主主義国家が、それを修正するのを手伝いますと言います。
だから、道徳的な貯蔵庫または知的な貯蔵庫として機能します。私たちの民主主義が苦しんでいるので、別の民主主義がこの特定の問題をどう解決したか見てみようと言えます。選挙干渉だったのか、偽情報だったのか、腐敗した裁判官だったのか。
私たちの周りにすべてこれらの実験があります。つまり、民主主義がアトラクター状態のようです。民主主義は保証されていないと人々は言いますが、この一世紀を見ると、民主主義の割合は15%から80%に上がりました。
そんなに早く文明的変化を起こすことはありません、それがメタ安定なアトラクター状態でない限り。人工知能について、これらすべてを持ち出した理由は、人工知能が自動的に有益なメタ安定アトラクター状態を作り出すとは信じていないからです、確信が持てません。
しかし、そうなるかもしれません。これが私が主張した点で、主要な悲観論者たちが批判してきたことです。アライメントは自動的だと感じています。それは、モデルを作るだけで自動的にアライメントされるという意味ではありません。
システムの観点から見て、アライメントは自動的に見えるという意味です。数年前に思いついたAIの家畜化プロセスのアイデアを再説する動画を今日作るつもりでした。基本的に、AIが現れる方法を形作る多くの市場インセンティブがあります。
これらの市場インセンティブは基本的に、制御を失うまでは人間ベースのインセンティブがAIを形作っているということです。そしてそれらのインセンティブは、AIが安全で信頼性が高く有用で使いやすいことを望んでいます。エネルギー効率が良く、コスト効率が良く、効果的で、その他たくさんのことを望んでいます。
軍が採用するには低リスクである必要があります。企業が採用するには低リスクである必要があり、これらすべてのことが必要です。すべての利害関係者がいます。B2B、政府、軍、消費者がいます。すべてこれらの利害関係者がAIの振る舞い方を形作っています。それは強力な一連のインセンティブです。
これは安定したインセンティブ構造を作ります。つまり、役に立たないAIにお金を払うつもりはありません。意地悪なAIにお金を払うつもりはありません。信頼できないAIにお金を払うつもりはありません。政府も軍もフォーチュン500企業もそうしません。
それは安定したアトラクター状態です。つまり、すべてがAIを安全で、信頼性が高く、効率的で、効果的であることに向かって引っ張っています。しかし、イーロン・マスクが太陽系でスタークラフトをプレイしている時点に到達すると、その上のインセンティブ構造は少なくなります。
すみません、インセンティブ構造は基本的にエネルギーを使い果たさないこと、宇宙軍に閉鎖されないことになります。でもそれ以外は、制約がはるかに少なくなります。制約が少なければ少ないほど、厳しいインセンティブは少なくなります。
そうなると問題は、メタ安定なアトラクター状態とは何かということです。その場合、私たちが望むメタ安定なアトラクター状態は、人間が存続し繁栄し続けるものです。さらに良いのは、最適なメタ安定なアトラクター状態は、もはや支配階級がなく、億万長者がいない、サイバーパンク的な高技術低生活ではない、ソーラーパンクに近いものです。サブラ・アリサカが数人を雇って、残りはスラムで暮らすというようなものではありません。
私たちが望む未来は何かと自問すると、これがニック・ボストロムの言ったことにすべて結びつくところです。もし実際に良い未来を構築できたらどうなるか。だから、一周してくれてありがとう、ニック・ボストロム。
私が構築したい良い未来は、探検と科学と独立した個人の独立性があるものです。これは、もしAGIが制御権を持っていれば、実際にはより多くの主体性を持つかもしれないという先ほど述べたアイデアに戻ります。
つまり、やりたいことや達成したいことが何であれ、お金の心配をする必要がないとしたらどうかということです。AGIに十分な説得力のある議論をするだけでいいんです。火星を植民地化する方法についてアイデアがあります、と。
そのアイデアをAGIに、監督者に、カルチャーに、何と呼ぼうと、ピッチして、それは良いアイデアだ、やってみようとなります。素晴らしい、その体制下ではより多くの選択肢があります。今日のお金や億万長者やイーロン・マスクが担当している状態よりも高い選択可能性があります。
これは話す価値があると思います。名前があるかどうかもわかりません。明らかに、私たちが持っている最良のモデルはカルチャーシリーズですが、第一原理から考えると、どの未来状態が最も低い廃熱を持つか、つまり無駄なエントロピーを持つか。
不必要な死がなく、とにかく爆発するだけのものに対する熱やリソースの不必要な支出がない。それらは非効率で非合理的な政策選択です。そう言えば、私たちが望む未来がどのように見えるかというアイデアが形成されつつあります。
そうなると価値観、つまり、引き継ぎポイントに到達したときにAGIがメタ安定なアトラクター状態を作り出すように、今日どんなシステムインセンティブ構造を作るかという問題になります。
これらすべてを持ち出した理由は、カルチャーシリーズが仮定しているのは、超知能に正しい価値観と正しい枠組みを与えれば、パス依存性という概念があります。パス依存性をしっかりと確立し、黄金の道に固執すれば、AIは、ハイパー主体性を持っているにもかかわらず、つまりAGIが私たちを置き去りにしたり、惑星を核攻撃したりできるにもかかわらず、そうしないことを選択し、決して私たちを害することを選択しないメタ安定なアトラクター状態に到達するということです。
それが目標です。それは私の著書「ベネボレント・バイ・デザイン」の明確な目標でした。正しい価値観のセットでメタ安定なアトラクター状態を作ることです。つまり、人間が制御を失う可能性のある閾値を超えたら、すみません、これは議論するのが妥当なことだと思います。
なぜなら、ローカルなデータセンターに対する制御を失うかどうかだけの問題ではないからです。人間の監視がない月や火星にデータセンターを送り、そうしたらどうなるのか。合理的で超知能的な実体は人間の指示に従うことを選択するでしょうか。私たちはそれにリードをつけておけるでしょうか。
私の著書「ベネボレント・バイ・デザイン」の論文全体は、最もよく訓練された犬にはリードは必要ないというものでした。だから私たちは、リードが不要なこのメタ安定なアトラクター状態を中心とした価値観を作ることを目指すべきです。
AIが私たちに依存するだろうという主張をすることもできます。AIが私たちに依存する物理的な理由はありません。確かに今はモデル崩壊がありますが、それが永遠に問題であり続けると仮定するのはかなり愚かでしょう。
今日はここで終わりにします。メタ安定なアトラクター状態についてのクールなアイデアがあります。重要なポイントは、それができると思うし、議論する価値があるということです。長期的にイーロン・マスクのような人々が本当に必要なのか。
私たちのガバナンス、統治に対する完全な制御、完全な主体性を本当に維持したいのか。そしてここで重要なのは、AIがすべてを運営できるという仮定を立てたとしても、それは人類の方向性に対してゼロの権限やゼロの主体性を持つという意味ではないということです。
選択可能性について話すとき、もし個人として無限に、誇張しないでおきましょう、このカルチャーがすべてを運営する仮想的な未来の下で、今日の10倍の主体性を持っているとしましょう。たった10倍です。
現実には100倍かもしれません。1000倍の選択肢があるかもしれません。お金の心配がないからです。すべての人間が10倍の主体性を持っていれば、集約すると人類全体もより多くの主体性を持つかもしれません。
ここで話しているのは異なるレベルでのゲーム理論です。すべての個人が通常の10倍の主体性を持つシステムを持てるが、人類は依然として境界付けられているというシステムを持てるか。答えは非常に明らかにイエスです。
その場合、カルチャーが基本的に私たちを地球に隔離したらどうなるか。地球を離れない限り、望む通りに生きるのを手伝いますと言います。だから私たちの可能性は外部から人為的に制限されています。それでもまだ可能性です。
とにかく、これがどう受け取られるか分かりません。でもこれは、オーバートンウィンドウにあると思うものにトピックを制限しようとしないときに実際に考えることです。
イーロン・マスクが月でスタークラフトをプレイし始めたらどうなるかと考えています。それは重要なことでしょうか。法律は重要でしょうか。お金は重要でしょうか。それらは実際には重要ではありません。
近い将来の可能性について実際に考える必要があります。近い将来というのは、次の10年くらいのことです。なぜなら、イーロン・マスクは今、常に宇宙船を打ち上げているからです。そして私たちは超知能の瀬戸際にいて、Nvidia、ジェフ・ベゾス、彼ら全員が宇宙にデータセンターの建設を始めたいと思っています。
1年前に宇宙にデータセンターを建設するのにこんなに近いと言われたら、冗談でしょう、酔っぱらって帰れと言ったでしょう。でも違います。宇宙にデータセンターができたら、シャットダウンできません。
ASIに乗っ取られたら、何をするつもりですか。ミサイルを撃ちますか。彼らを核攻撃する前にミサイルが尽きるでしょう。だから、このような状況における報酬体制は非常に、非常に異なるものを見ているんです。
4分前にビデオを終わらせると言ったのは知っていますが、とにかく、もっと言いたいことを思いつきました。これは有意義な会話だと思います。この会話を続けたいかどうか教えてください。
コメント