この長大なインタビューは、哲学者ウィル・マカスキルとロブ・ウィブリンが人工知能の急速な発展とその社会的影響について論じたものである。マカスキルは「知能爆発」の概念を提示し、AIが数年以内に人間レベルに達した場合、技術進歩が劇的に加速し、10年間で100年分の発展が起こり得ると警告する。この変化は破壊的技術の開発、権力の集中、デジタル存在の権利、宇宙統治など多数の「大きな挑戦」を生み出すが、人間の意思決定や制度の適応速度は追いつかない。単に絶滅を回避するだけでなく、平凡な未来から最良の未来への移行を重視すべきだと主張し、そのためにAIを活用した教育改善、取引促進、予測などの解決策を提案している。
94,259 文字
本当に立ち止まって考えるべきなのは、多くの企業が今「我々が目指しているのはAGI、つまり人間と同等のAIの構築だ」と言っていることです。それがどのようなものなのか？人間がいて、何兆ものAI存在が動き回っている時、良い社会とはどのようなものなのか？そのビジョンはどのようなものか？私たちはどのように倫理的で道徳的に尊敬できる方法で共存するのか？
そこには何もないのです。私たちは本質的に空虚なビジョンに向かって突進しているのです。それは些細なことでもありません。私は道徳哲学者ですが、その良い社会がどのようなものかまったく見当がつきません。
今日はウィル・マカスキルとお話しします。効果的利他主義の創設者の一人で、オックスフォード大学の哲学者、『What We Owe the Future』の著者、そして現在はForethought Centre for AI Strategyの研究者です。ショーに戻ってきてくれてありがとう、ウィル。
とても嬉しく思います。
前回出演してから数年が経ちましたが、その間にあなたは本当に大きく仕事の方向転換をしましたね。今はAI関連の問題により集中しています。あなたの研究アジェンダは何か、そしてなぜそのような大きな優先順位の転換をしたのか説明してもらえますか？
確かに。私が現在取り組んでいる分野を「AGI準備」と呼んでいます。これは近い将来、たとえ数年から5年以内であっても人間レベルの人工知能を持つという考えを真剣に受け止め、それが持つ可能性のある影響の規模、特に極めて急速な技術進歩の考えを真剣に受け止めるものです。
そして、それが引き起こす可能性のある課題をすべて把握し、現在軽視されているがAI乗っ取りのリスクや新しく設計されたウイルスによる世界的破滅のリスクと同程度に重要なものがあるかどうかを見極めようとしています。
これを行う方法は2つあります。1つは、人間がいくつかの重要なタスクで人間と同等に実行できるAIを持つようになった後の動態を本当に論理的に考え抜き、モデル化することです。そうなった後の10年間にどのような変化が予想されるかを見て、そこから何が生じるかを考えるのです。
2つ目は、私たちが本当に良いと感じるAGI後の未来について考え、それがどのようなものかを考えることです。そしてそこから逆算して、本当に良い結果を逃す方法について考えるのです。
そして、なぜ今これに焦点を当てているかという質問についてですが、1つは私たちがAIで見てきた狂気じみた進歩と発展です。
言うまでもないですね。
私はAIのタイムラインについて本当に見解を変えました。人間レベルの人工知能を今後3年から5年以内に実現する可能性を本当にかなり真剣に受け止めていますし、やや関連する理由で、知能爆発、つまりAI能力の非常に急速な増加とそれに続く技術変化の考えをさらに真剣に受け止めています。つまり、AIが本当に大きく集中すべきものだということです。
なぜこの特定の領域なのかという点では、1つは誤整合による実存的リスクに関する初期の基礎的研究がいかに影響力があったかを見たことです。私は2012年、2013年にニック・ボストロムの著書『スーパーインテリジェンス』のセミナーに参加していました。当時は少しいらだたしく感じていました。なぜなら、単なる空想のように思えて、大した影響はないだろうと思っていたからです。
しかし、そこで私は本当に間違いを証明されました。それは実際に現在起こっている議論に対して非常に影響力があったのです。ほとんどの人はそのアイデアがどこから来たのかさえ気づいていません。そして、私たちは他のいくつかの分野でも同じことができる可能性があります。
最後に、これは私の競争上の優位性を生かすものだと思います。必要な研究の種類はしばしば厄介で、混乱していて、かなり大局的です。倫理学と哲学のバックグラウンドが非常に役立つようなものです。
ウィル、あなたの以前の立場を持ち出して申し訳ないのですが、5年前にあなたは私たちが歴史上特に重要で決定的な時代に生きているという考えに疑念を表明したり懐疑的な記事を書いたと思います。人々はこれを「歴史の蝶番」論争と呼んでいます。
当時説得力があると感じていた、その懐疑論の議論を説明してもらえますか？そして今、それについてどう考えていますか？
確かに。高レベルな答えをしますが、世界について推論する2つの方法があります。「外観」と「内観」と呼ばれることがあります。これらは恐ろしい用語だと思います。
より外観的な視点は、私たちはいつの時代にでも生きることができたと言うものです。私たちが歴史上のこの重要で非常に重要な瞬間にいるということは非常に起こりにくいでしょう。
そして、非常に急速な技術変化も起こると言っているわけです。しかし、過去100年間のトレンドを見てください。進歩の率に関して実際には非常に安定していました。これらの広範なトレンドが続くことを期待すべきでしょう。これは実際にスーパーフォーキャスターが気づく傾向にある方法です。正直に言うと、私が今持っている見解の多くは、実際にはスーパーフォーキャスターに共有されていません。
そして代替的な視点があります。世界をより歯車レベルで理解するところです。これはしばしばトレンドの外挿を含みますが、基本的なトレンドを外挿することが時として高レベルのトレンドが非常に異なることを意味する場合があります。
私たちはこれを2020年初期のCOVIDで見ました。2020年1月と2月の状況の良い歯車レベルの理解は、コロナウイルスの指数的増長を真剣に受け止めることを含んでいました。それを真剣に受け止めれば、天才である必要はありません。それが世界を劇的に変えることを理解するために。しかし奇妙で扱うのが困難なことは、それが実際に世界がどのように運営されるかのより大きなトレンドが変わらなければならないことを意味することです。
2017年にそれを書いて以来、私は非公式に試験をしてきました。もっと正式にやればよかったと今は思いますが、非公式にこれら2つの視点のどちらが世界についてより良い予測をしているかを見てきました。そして、私はこのコミュニティ内の特定の人々からの内観的な視点が一貫して正しい答えを出していると思います。
コロナウイルスが1つで、ワクチンがいつ開発されるかも含まれます。太陽光発電のトレンドも成功していたと思います。そして最後に、AIのスケーリングと進歩もです。
つまり、私はより内観的な推論が世界について経験的な賭けをしているすべてのケースを見ています。しばしば人々は実際にお金を口に出したところに投資し、その結果市場を大きく上回るリターンを得ています。これらすべての総計が、実際にこのより内観的な推論が本当にうまくいっていることを私に示唆しています。
そうですね。そして私たちはそれがそれほど悪くないのだと思います。しばしば外観的推論をしたい理由は、自分を騙して聞こえは良いが実際にはうまくいかない議論に騙されることを心配するからです。
まさにその通りです。
私たちは技術のトレンドについてこれらの内観的議論をしている人々がしばしば合理的な実績を持っていることを発見しているだけだと思います。しばしばうまくいくのです。
はい。そして2つ目は、現在のAIに関する証拠の質です。私の見解では、2017年と比較して認識論的に根本的に異なる立場にいます。機械学習研究がどれだけうまくAIができるかを正確にテストするベンチマークでかなりうまくやっているモデルがあります。これが重要な能力です。
つまり、実際には終わりのように見えますが、実際にはAIがAI研究開発を自動化できる次の段階の始まりのようなものです。それが視野に入っています。
私たちはまた、現在十分に文書化された、コンピュートのスケーリングの信じられないほど速いペースのトレンド、アルゴリズム効率のトレンドも持っています。
そして最後に、特に今後5年間、しかし5年から10年間で、他のどの10年間と比較してもAGIに向けて異常に大きな進歩を遂げるという良い議論があります。単純にAIへの投資を大幅に拡大しているからです。
実際にこれは、次の5年または10年が本当に特別な時期であるという非常に具体的な議論があります。なぜなら、AIが全体経済のこの小さな一部から、かなり大きな一部に移行する時期だからです。そしてそれは一度きりの変化です。
わかりました、そこで提起したいくつかのことは後で戻って詳しく説明します。しかし、Forethought Centre for AI Strategyの優先順位とビジョンを示すこの論文「知能爆発への準備」に飛び込みましょう。その論文で何をしようとしていましたか？
この論文は、AIが非常に急速な技術変化を推進するという考えを非常に真剣に受け止めています。この論文で私たちが設定したバーは、AIが10年間でわずか1世紀分の技術開発を推進するという考えです。
リスナーの皆さんには実際に自分でやってみることをお勧めします。ポッドキャストを一時停止して、技術的に言って2125年の世界がどのようなものになると期待するか考えてみてください。そして、それらすべての変化がわずか10年の間に起こることを想像してください。もし今が2035年だったとしたら。
そして、そこには対処すべきことがたくさんあり、そこには対処すべきことがたくさんあると考えてください。
今週は物事が少し慌ただしく感じますが、もっとずっと慌ただしくなる可能性があります。
はい、物事はすでに慌ただしく感じます。私はすでにAIの発展のペースについていけません。読みたいもののうち100分の1も読めません。それがもっと激しくなるでしょう。
この論文はそのためのケースを作り、それを鮮明にし、そして私たちが直面するであろうさまざまな課題を多少体系的に検討します。それは少しリストのようなものです。そして最後に、これらのほとんどについて、整合した超知能を持つ時まで問題を先送りし、それに解決させるという考えに対処しています。多くの場合にそれは正しいと思いますが、すべてではありません。そしてそれについても議論があります。
わかりました、10年で1世紀のその比喩をもう少し掘り下げましょう。どれだけのものがどれだけ短い時間に詰め込まれるかの鮮明な説明があります。私たちに絵を描いてもらえますか？
確かに。10年未満で100年分の進歩が起こることを考えています。それがどれほど激しいかを感じる1つの方法は、それが過去に起こったと想像することです。1925年に10年間で1世紀分の技術進歩を得たと想像してください。
1925年から2025年の間に起こったすべてのことを考えるべきです。衛星、生物・化学兵器、原子爆弾、水素爆弾、それらの核兵器庫の拡大を含めて。概念的発展についても考えるべきです。ゲーム理論、社会科学、現代の科学的方法、コンピュータ、インターネット、AI自体などです。
脱植民地化運動。
はい、そして社会的・政治的運動も。脱植民地化、第2波・第3波フェミニズム、ファシズム、全体主義、全体主義的共産主義…
共産主義の興亡。
まさに、はい。ポストモダニズム。つまり、これらすべてがこの思考実験では10年の間に起こっているのです。
しかし、人間の意思決定と人間の制度は速くなりません。核兵器の場合を取ってみましょう。この加速されたタイムラインでは、マンハッタン計画の開始から広島への核爆弾投下まで3か月の間隔があります。キューバ危機は1日ちょっと続きます。毎年核の危機があります。
これは明らかに制度と人間の意思決定に対する巨大な挑戦をもたらすでしょう。そして、キューバ危機の重要な部分だったロバート・ケネディ・シニアは実際に、もし彼らがもっと加速されたタイムライン、つまり実際に持っていた13日間ではなく24時間で決定しなければならなかったら、おそらく実際に取ったよりもはるかに攻撃的で、はるかにリスクの高い行動を取っただろうとコメントしました。
この思考実験は、単なる変化の量だけでなく、複数の異なる種類の変化を含む変化の量を本当に感じ取らせるためのものです。そして私たちは10年で1世紀について話していますが、実際に得られる技術開発の量はおそらくもっとずっと大きいかもしれません。私たちは何世紀、あるいは10年で1000年について考えているかもしれません。
そしてその思考実験について考えると、中世の王が今、これまで聞いたことのない国からの全く新しいイデオロギー的脅威に対処するために、弓矢から原子兵器へのアップグレードを試みているようなものです。一方で、彼の神は存在せず、彼がサルから進化したという事実とまだ格闘している状態なのです。
それを数か月前に知ったばかりで。
数か月前に知ったばかりで、まさに。明らかに変化の単なる速度が巨大な挑戦をもたらします。
これがすべて完全に異なって展開されるだろうと人々が考えているかもしれません。なぜなら、AIが速くなるにつれて信じられないほど速く速めることができるものもあれば、そうでないものもあるからです。
それがまさにあなたのポイントです。先に進むものもあります。私たちは純粋数学の真の繁栄がAIの結果として非常にすぐにあり得ると想像できます。一方で、物理的世界のものはもう少しゆっくり起こるかもしれません。実験を必要とする生物学的研究はより遅く進歩するかもしれません。そして人間の制度と人間の意思決定に関するものは、相対的に遅くなるでしょう。
そしてそれがまさに基本的に問題です。なぜなら、いくつかのものが他のものに対して遅くなるので、私たちは速めることができなかったもののショートフォールから生じる問題で終わることになるからです。それが基本的に問題ですか？
はい、まさに。つまり、文字通り時間が10倍速くなったとしたら…
それが正確に何を意味するのかも明確ではありません。
実際にそれが可能かどうか、それが意味のある違いになるかどうかは哲学的な問題です。しかし、代わりに起こっていることは、いくつかの分野で、そして10年で1世紀でさえ、それは正確に同じ技術進歩ではないでしょう。なぜなら、あなたが言うように、科学のいくつかの分野は規制や遅い物理実験、または単に資本を構築する必要によって遅くなるからです。例えば、大型ハドロン衝突型加速器の建設は多くの時間がかかります。
しかし重要なことは、人間の推論、人間の意思決定、そして人間の制度は技術開発のペースに合わせて速くならないということです。実際、思考実験について考える別の方法は、技術開発の面で過去100年間が起こったが、人間が10倍遅く考えただけ、またはこれらの変化のために1日あたり1時間半しか起きていなかったと想像することです。一方向での速度アップは他方向での速度ダウンと同じだからです。
これは、聖なるたわごと、非常に多くの混乱があり、非常に多くのことが起こっているだろうし、私たちにはそれを処理したり、決定について十分に考えたりする能力がないだろうという直感を引き出すのに役立つと思います。
しかし、それをもう少し具体化するため、他のものに対して最も遅くなり、最大のボトルネックと最大の問題を作り出すと思う事柄は何ですか？
特に規制されている分野だと思います。というのも、このインタビューでAI支援アドバイスについてたくさん話すのは確実だからです。これに対する1つの自然な考えは、AIが今非常に速く考えていて、非常に多くのAI労働力があり、それが非常に高品質であるなら、それを使って多くの問題を解決することができないのかということです。
そして、それは民間部門では十分に速く起こるかもしれません。つまり、人間が運営する会社からAIが運営する会社にかなり迅速に移行するかもしれません。しかし、私はデフォルトでは政府では、例えばデータプライバシーや調達についてより多くの懸念があるため、はるかに遅いと予想しています。
または基本的に直接的な政治権力をAIモデルに手渡すことの正当性。
まさに。ClaudeやClaude大統領に投票できるポイントはいつですか？
現時点では私はそうするかもしれません。しかし多くの人はしないでしょう。
見てください、それが悪いアイデアだと言っているわけではありません…
ただ起こりそうにないと言っているだけです。
起こりそうにないと言っているだけで、この非常に変革的な10年間に間に合うように起こることは起こりそうにありません。
どの程度物事を速めることができると思いますか？つまり、この種の非常に混沌とした時代を経験していて、誰もがそれが私たちを完全にフリークアウトさせていることを認めたとしたら、議会を年中24時間運営し、人々にこれらすべてのことを議論して交代させることができるでしょうか？彼らがそれをするのは想像できるでしょうか？
興味深い考えです。24時間体制の議会や国会という考えは興味深いです。クォーラムを持つために誰がセッションにいるかを注意深く分割することで、政治家が物事に取り組む時間を増やすことは確実に可能です。しかし、その種の方法を通じて私たちが必要とするものに近いものを得ることは起こりそうにないと思います。
そのような合意を得ることさえ、遅くなる種類のことであり、十分に速く起こらないでしょう。
まさに。おそらく、はい。確実にほとんどの労働、または確実に労働のかなりの部分が今や時代遅れになったと想像できます。つまり、私たちは非常に迅速に人間がAIに物事をアウトソーシングするが、本質的に管理ポジションにいる、つまり常に彼らの仕事をスポットチェックするなどしている状態に移行します。そして、おそらく政府のサイズ、または少なくとも政治的意思決定のサイズが10倍、100倍増加します。繰り返しますが、それが実際に起こるとは思いません。
しかし、この種のこと、つまり人々がAIアドバイスに機敏に依存し始めることができる量を増やそうとすることは、実際にこの研究から飛び出してくる最も重要なことの1つだと思います。
概念的レベルで、あるものは速くなり、他のものは相対的に遅くなるので、私たちは遅いものが十分にないという問題で終わると言いました。それ以外に概念的に起こっていることはありますか、それとも結果として生じるすべての問題をそれが基本的に説明しているのでしょうか？
それは基本的にまとめていると思います。付け加えることは、人々はこれが来ることを知らないということです。
つまり、今は準備していません。これに備えるためのトークン的な努力だけです。
はい、まさに。もし世界が近い将来における知能爆発の可能性、たとえかなりの確率であっても、の考えを真剣に受け止めていたら、世界は非常に異なって行動していると思います。そして正直に言えば、もしそうだったら、私は世界についてずっと良く感じるでしょう。
この思考実験、10年で1世紀または4世紀と、あなたが実際に私たちがすぐに置かれそうだと思う状況との間に、心に留めておくべき重要な不類似点はありますか？
私たちが触れた最大のことは、規制のボトルネックや物理的ボトルネックなど、特定のボトルネックを持つものとの違いです。
つまり、数学やコンピュータサイエンスなどの科学分野では、哲学者が「アプリオリ」と呼ぶ用語があります。これは肘掛け椅子からだけで得られる知識です。ただし、この場合、それはシミュレーションの実行、既存のデータの検証を含みます。
計算生物学や材料科学、多くの社会科学の特定の分野でも非常に速い進歩を得ることができると思いますが、その後ははるかに遅い進歩になります。例えば、良い食事が何を構成するかを私たちはまだ知らないかもしれません。
それは非常にとげのある経験的問題です。
とげのある経験的問題です。脂肪対タンパク質を食べることのような：それはあなたの平均寿命にどのような影響を与えるのか？これに関する理想的な試験は70年かかるでしょう。なぜなら、人生の早い段階での食事が人生の後半での平均寿命にどのような影響を与えるかを見ているからです。
そして他のいくつかの分野は高度に規制されています。例えば新薬では、AIが何百、何千もの素晴らしい新薬を発明するかもしれません。しかし、それでも人間での試験を行わなければなりません。規制プロセスも通さなければなりません。そしてそれは大きなボトルネックとして作用する可能性があります。それは即座の影響はありませんが、それが最も重要な不類似点であることを心に留めておく価値があります。
私の知り合いの多くの人、そしてこのショーの多くのリスナーが科学と技術を速めようとしていると思います。進歩研究の群衆もそうですが、常識でもより多くの経済成長が欲しいなら、技術をより迅速に進歩させたいと示唆しています。その考え方を持つ人々は、これを単純に応援すべきでしょうか？なぜなら、これは彼らが創り出そうとしているものの種類だからです。ただ本当に極端なレベルで。
私は実際に、これがより遅い進歩率と比較して良いか悪いかを主張しているわけではありません。個人的に言えば、それは速すぎると予想しています。そして実際に知能爆発を遅くすることを勧めます。しかし、これは素晴らしいことだという見解を持つこともできますが、それでも重要な課題を提起し、私たちはそれらの課題に対処すべきです。なぜなら、それは実際に起こることではないからです。
とは言え、進歩研究の人々は…経済成長について話しましょう。その論文では話していませんが、彼らが話していることです。彼らは年間5%、6%の経済成長率を目指しています。なぜなら、最近あったものよりもずっと良いからです。一般的にずっと遅かったからです。
彼らは50%や100%のような経済成長率を目指しているわけではありません。いくつかの議論を真剣に受け取れば、実際にはそれよりもはるかに速くなる可能性があります。
実際に、それらの人々に最適なペースは何かと尋ねれば、おそらく年間10%かそこらと言うでしょう。それは実際に私が考える良い成長率のようなものです。人々の生活水準を非常に迅速にはるかに良くしています。
それは中国が最高レベルで経験した発展率のようなものです。
はい、まさに。つまり、私たちはそれに馴染みがあります。私たちの通貨がこれを説明できることを知っています。しかし、それを再び根本的に速くすると、対処すべき膨大な量を持つことになり、物事を考え抜く十分な時間がないという課題を抱えることになります。
かなり多くのリスナーがこれを聞いて、「もし科学と技術が実際に突然10倍速くなるとしたら、心配するかもしれないが、私は本当にそれを買わない」と思うかもしれません。
これはインタビューの主要な焦点にはなりません。知能爆発のケースを作ることは。2年前のトム・デイビッドソンとの最初のインタビューでそれをある程度カバーしました。彼はAIが経済成長を非常に加速させることができると信じる理由を説明しています。また、約9か月前のカール・シュルマンとのエピソード『AGI後の経済と国家安全保障に関するカール・シュルマン』もあります。より徹底した扱いが欲しければ、それらを遡って聞くことができます。
しかし、AGIと結果として生じる変化が知的発展の進歩を10倍以上速めることができると思う理由について、簡潔にケースを作りたいと思います。
絶対に。なぜ今、知的、科学的、技術的進歩を作っているのでしょうか？私たちはそうしようとしているからです。研究者と、ある程度は物理的資本をそのタスクに向けており、毎年それを行う量を約4%または5%増やしています。つまり、比較的遅い成長です。
ある時点で、私たちは代わりにそれらのタスクを行うことができるAIを持つことになります。特に、その知的部分、それは研究努力の大部分を占めるもので、主に機械が行っているものではなく、人々が考えることから来ています。
一部の人々はそれに同意しないかもしれません。一部の人々は、実際にピペット操作や物理的世界での作業を行う困難な汗をかく作業が多くの技術進歩につながると言うでしょう。肘掛け椅子で理論化することよりも。
科学研究開発について考えるとき、3つのことがあると思います。1つは、それが実際に私の印象に合わないということです。しかし、ブルームの「アイデアを見つけることはより困難になっているか？」という論文が、労働シェア対資本シェアが80%対20%のようなものであると推定していると思います。つまり、まだ主に人間の心が研究開発を行っているのです。資本はまだ合理的なシェアですが。
そして最後のポイントは、これは分野によって異なるということです。数学や哲学など、指が交差していれば私は仕事を失うかもしれませんし、肘掛け椅子でできる他のことは非常に速く進むかもしれませんが、他のことはボトルネックになるかもしれません。
しかし、どれだけの技術的進歩が起こったかを考えるとき、私たちはそれを必ずしも最も遅く動くものによってボトルネックされているとは考えません。代わりに、それは異なる分野全体の総計であり、おそらく重要度によって重み付けされています。
とにかく、研究努力は年間4%または5%成長しています。ある時点で、AIは研究科学者ができるほぼすべての仕事、または認知的仕事を行うことができるようになります。しかし、その時点を過ぎても進歩し続けるでしょう。そして、能力の改善について話す必要さえありません。AIが人間の知能を超えるとは思わなくても、より多くの労働力を持つことになります。
そして実際に、現在のトレンドがAIをより良くする推進力が劇的に遅くなると思っても、AI労働力の品質調整された量である効果的な計算の成長率は、今日の効果的な研究者の成長率の10倍以上になるでしょう。
そして、それは科学的・技術的進歩の10倍以上の増加を動機付けるでしょう。
それは、基本的に優秀な科学研究者になるコンピュータチップをたくさん製造できるのに対し、より多くの科学博士号を製造することはできないからですか？
その理由もありますが、アルゴリズム効率も現在非常に速く向上しているからでもあります。事前トレーニングと事後トレーニングの効率改善があります。それぞれ年間約3倍のようです。それらを合わせると、年間約10倍のアルゴリズム効率改善が得られます。人間の成長の年間5%の効果的研究努力の増加と比較してください。
AI労働力が研究開発に向けられる労働力のほとんどになる時点に到達すると、非常に迅速にAI労働力の成長率が研究開発に投入している全体的な効果的研究努力の成長率を推進するようになります。
持っている効果的研究者の数と実際の科学進歩の率との関係は何ですか？収穫逓減があると想像します。200年前よりも10倍または100倍多くの研究者がいますが、10倍または100倍多くの進歩を作っているように感じません。それどころか。
その通りです。時間が経つにつれて収穫逓減があります。つまり、科学の各年と、つま先を踏む効果もあります。1人の科学者が10年間働くより10人の科学者が1年間並行して働く方が良いかもしれません。
しかし、収穫逓減のその事実は、2125年を見据えて、その時どのような科学と技術を持っているかを考える時にすでに考慮されていることを覚えておいてください。
そして実際、AIなしでは1925年から2025年への飛躍ほど印象的ではないでしょう。しかし、私たちが言っているのは、2125年がどうなると思うにしても、それが100年ではなく10年で起こるということです。そして言ったように、実際にはずっと速く、壮大かもしれません。
科学と技術でのこの種の大規模な速度向上の議論は聞こえます…実際には科学と技術だけでなく、より一般的に知的進歩である点について少し注意すべきでしょう。
少しそこで止まりましょう。非科学・非技術で、非常に迅速に進歩する可能性があり、それがかなり革命的であるか、少なくとも何らかの方法で社会の事柄をひっくり返す可能性があるものの例は何ですか？
確かに。この思考実験を行い、AIでの動態を通じて働き、これまで私がそれほど理解していなかったことの1つが実際にこれです。
過去数世紀または1000年を見渡してください。社会をひっくり返すアイデアの多くは知的です。共産主義やファシズムや無神論や普遍的人権の考えやフェミニズムなどです。さらに多くを期待すべきです。それはアプリオリな仕事です。つまり、肘掛け椅子に座って議論を生成するようなものです。
アイデアの拡散は遅くなり、おそらく効果が大幅に軽減されるほど遅いかもしれないのは事実です。しかし、本当に大きな、画期的な…
この20年ほどの間に文化戦争全体がありました。より社会正義志向の人々とそれに対する大きな反動があります。それが10年ではなく1年で展開されたとしたら。
はい、まさに。しかし、私たちはシミュレーションの中にいるかもしれないというアイデアのような、潜在的にアイデアも、そして議論が非常に優れているということ。あなたは超知能を持っています。他のすべてのドメインで優れており、明らかに私たちの認識論的上位者です。それらがたくさんいます。それは潜在的に非常に破壊的でしょう。
または客観的道徳的真実があるという考えに対する非常に強い議論かもしれません。おそらくそれは人々が実際に内在化していないものです。そして今、これらのAIアドバイザーがいて、「何をしているの？あなたには目標があり、この偽の信念を持っているためにそれらに基づいて行動し続けていない」と言っているのです。
彼らはこれらを「破壊的真実」と呼んでいます。それらが何になるかを予測するのは明らかに非常に困難です。無神論や奴隷制廃止主義や共産主義のこれらのアイデアのいずれも、それらが普及する前に人々は持っていなかったと思います。
それでも、これは実際に私たちが機敏に適応する準備をすべきものであることを示しています。つまり、心を大いに変える準備をすべきであり、心をかなり迅速に変えることができる制度を構築しようとすべきです。
知的進歩でのこの大きな速度向上を支持する議論は非常に堅固であり、実際にかなり困難であることは、私たちが有意な進歩の向上を期待すべきだという結論を回避することです。
これに対する良い議論はありますか？物事が少しだけ速くなるか、まったく速くならないという考えを救うことができる方法はありますか？
最も強いのは、本質的に真の人間レベルの科学者AIを得るのは本当に非常に遠いと考えることでしょう。おそらくいくつかの分野で非常に優れているAIを持っているかもしれません。数学は本当にそうなるように見えます。
それは基本的にすでに起こっています。
はい。テレンス・タオは「私たちにはまだ3年あると思う」と言っています。しかし、すべての数学を知ることが世界の変化にとってどれほど大きな問題かは実際には分かりません。おそらくかなり大きいでしょうが、原子爆弾の発明ほど大きくないかもしれません。
しかし、一般的に科学的進歩については、まだ人間のボトルネックがあり、それが物事を本当に遅くします。そしておそらくそれは未来に向かって遠くなります。つまり、それはより技術的なボトルネックでしょう。
2番目は社会的なものかもしれません。人々、世界全体が、私が期待するほど速く物事が加速することを望んでいるとは思いません。つまり、世界が調整すれば、物事を遅くする意図的な努力があるかもしれません。おそらくAIの大きなモラトリアムを通してではなく、おそらく環境制限など1000の小さなカットを通してです。
そして、それは完全に狂気じみて見えるかもしれません。世界はこの世界的無政府状態、競争力なのだから。そして悲しいことに、世界は10年前よりもそのように見えます。それでも、自然に現れる多くの世界的行動があります。
中国では、He Jiankuiが彼がHIVに耐性があるように遺伝的に設計した双子を2人作りました。世界的な抗議。もしそれがなかったら、おそらく中国は人間の遺伝子工学を行うことに問題がなかったでしょう。代わりに彼は刑務所に行きます。それにモラトリアムがあります。
同様に、私たちはしばらくの間人間をクローンできましたが、再び私たちはそれをしないことにしました。同様に、COVIDへの対応。いくつかの違いはありましたが、それらは一般的にかなり似ていました。世界のどこでも自由市場でワクチンを買うことはできませんでした。世界のどこでも人間のチャレンジスタイルはありませんでした。
つまり、異なる国を運営している世界のエリートがいて、一般的に彼らは広く似たようなことをする傾向があるというこの動態があるようです。
私の見解では、それは物事が遅くなると考える最も強い議論です。それは物事を未来に押し出すかもしれません。しかし問題は、あなたはまだこのダムに対してこの波として積み上げられ、ますます多くの圧力があるということです。
基本的な技術が進歩するにつれて、物事を速めることがますます容易になり、ますます多くの国がアクセスできるようになります。
まさに。そして最終的に「毎月倍増する自己複製工場を建設できる」と言うのです。
そしてそれは多くの国にアクセス可能です。
多くの国にアクセス可能で、そこで潮流を阻止するのは困難です。
実際に別の例は、人々がパフォーマンス向上薬の使用が許可される代替オリンピック、スポーツ競技を立ち上げようとしたことです。多くの観客を引き付けるかもしれないと思いますが、それは決して立ち上がることができませんでした。なぜなら、人々はそのアイデアを不快に感じるからだと思います。世界的な軽蔑がそのアイデアに対してあるのです。
はい、まさに。私たちは世界政府を持っていませんが、世界文化のようなものは持っています。
これについて現実に起こっているときに、ある程度の合理的な遅延を実際に見ることができるかもしれないと私を疑問に思わせることの1つは、これに関する世論調査を見ることです。典型的な人は、尋ねられれば、AIについて本当にかなり神経質です。「心配していますか？物事を遅くしたいですか？人間より賢いAIを禁止すべきでしょうか？」多くの人々は、少なくとも米国と英国では、すでにそれに賛成しています。他の場所で人々が何と言うかは分かりません。
しかし、これが実際に起こり始める時点で、おそらくそれが噛み始めるでしょう。そして、これらのものの多くを禁止することを支持する有権者のほぼコンセンサス、または超多数があるでしょう。それが実際に機能するかどうかは分からないし、これらの意見がどれほど堅固であるかを知るのは本当に困難です。なぜなら、典型的な有権者が超知能の問題について深く考えたことがあるわけではないからです。
確かに。しかし、はい、それは複数の国にも及ぶ方法になり得る妥当な方法です。なぜなら、人々は仕事を失いたくないからです。それは彼らにとって意味と社会的地位の源だからです。人々は一般的に技術について本当にかなり慎重です。
起こり得る追加の動態は、物事が広がっている場合、AIが人々を今日よりもはるかに裕福にする可能性があることです。そしてそれは人々をさらに慎重にします。過去数十年にわたって、人々が裕福になるほど、彼らが人生を延ばすために収入の大きな割合を費やしているのは、完全に理にかなっています。
あなたが良いほど、失うものについてより心配すべきです。
はい、そして得るものが少なくなります。実際に、人々の金銭の限界効用逓減の標準的な推定を見ると、年間60,000ドルの平均的なアメリカ人は、年間最高の人生の3分の2の道のりにいます。
私たちが今持っている技術が与えられて。
はい。または彼らが今持っている富が与えられて。そして、もし彼らが年間200万ドルだったら、90%以上の道のりにいます。ああ、申し訳ありません、あなたは正しいです。私たちの現在の技術が与えられて。未来の技術はそれを変える可能性があります。
さて、私はこれらのことをより深く掘り下げる誘惑に抵抗し続けなければなりません。なぜなら、これはもう少し概観的なエピソードだからです。
論文では、起こり得る知能爆発の3つの異なるタイプを示しています。ソフトウェア知能爆発、そして知的なもの、そして産業的なものがあります。それで正しいですか？
技術的、そして産業的です。
はい。つまり、3つの異なるタイプの知能爆発を再び説明してもらう必要があるかもしれません。なぜなら、それらはそれぞれ異なる動態を作り出し、異なる段階で起こるからです。
確かに。Rose Hadsharとトム・デイビッドソンと一緒に書いた別の論文があり、これらの異なる知能爆発について説明しています。
以前に私は、この再帰的改善がなくても、現在の進歩率だけで10年で1世紀を推進するのに十分だろうと議論していました。しかし実際には、私たちはこの再帰的改善を持つだろうし、それは物事をさらに速めるだろうと思います。
最初はソフトウェアフィードバックループで、AIシステムがより良いアルゴリズムの設計に非常に優れるようになり、より良いアルゴリズムを作り、それはより良いAIを作ることができ、さらに良いアルゴリズムを作るのに役立つというものです。つまり、ソフトウェアフィードバックループです。
2番目はチップの品質または技術的フィードバックループで、AIがチップ設計またはより高品質のチップを作ることの他の側面に本当に優れるようになり、ドルあたりより多くの計算力を得られるようになります。
そして3番目は産業爆発とチップ生産フィードバックループです。それは今、AIとロボティクスを持っていて、より多くのチップを生産するために人間の労働を必要とするのではなく、実際に一般的により多くの商品を生産する代わりに、AIがロボットを制御している状態です。チップなどを含む商品を生産する完全に自律的な工場を持つことができるようになります。そしてそれは、より多くの計算力を持つほど、より多くのAIを持ち、より高品質のAIを持つという別の種類のフィードバックループになります。
私たちは最初にソフトウェア知能爆発を持ち、それが最初に来ることを期待します。なぜなら、それはすでにその頂点にいるように見えるからです。そして、それはおそらくあなたが最初に努力を投資する場所でもあります。なぜなら、アルゴリズムを改善するときはいつでも、他のソフトウェア更新と同様に、すぐに世界中に展開できるからです。
ちょうど他のソフトウェア更新のように、すぐにグローバルに展開できます。それから、チップ自体の改善への研究があります。それは潜在的に速めることができるか、膨大な量のより多くの計算力を提供することができます。しかし、もちろん、実際にチップを製造しなければならないので、少し時間がかかります。
そして、巨大な産業的拡大があります。そこで今、私たちはかなり最適に近いチップ設計を持っているか、それは大いに改善されているが、それでも今持っているものよりもずっと良いものです。そして今、AI人口を大規模に拡大するために膨大な数のチップを作る必要があります。
それ自体非常に迅速に起こり得ると思います。なぜなら、その時点までに私たちはずっと良い製造技術、ずっと良いロボットなどを持っているだろうからです。
はい、その通りです。
私がこれを説明してほしかったのは、人々にソフトウェア知能爆発のアイデアを念頭に置いてもらいたいからです。なぜなら、それは本当に始まる可能性があるように感じるからです。おそらくすでに始まっているか、確実に数年以内には始まるかもしれません。そしてそれはこれらのアルゴリズムとAIの思考において何桁もの改善につながる可能性があります。
しかし、あなたがこれを示したのは、人々が3番目のもの、産業知能爆発を過小評価していると思うからだと思います。なぜか説明してもらえますか？
確かに。つまり、これはソフトウェア知能爆発よりも産業により多くの注意を払うべきだということではありません。しかし、これはほとんどの人が前者についてのみ考えているという文脈です。
私の同僚、Forethought Centreの共同創設者であるトム・デイビッドソンは、私の見解では、知能爆発の動態の最も詳細なモデリングを行っており、彼はソフトウェアからこの再帰的フィードバックを得る可能性について実際には50/50です。なぜなら、認知的入力を倍にするが、出力の1.5倍、プラス50%しか得られないとします。そうすると、AI R&D自体を自動化するAIを持つと、この小さな前進の波、一度の前進が得られますが、それはその後消えていきます。
彼はまた、再帰的改善の期間を得るとしても、それはあなたを置かれている時点からアルゴリズム効率の理論的限界まで連れて行かないと考えています。それは本当に遠いです。おそらく9桁の改善ほどです。
実際に、彼はおそらくアルゴリズム効率で3桁の改善を得ると考えています。それはGPT-3からGPT-4への飛躍のようなものです。
明らかに彼はかなり広い範囲を持っています。正確な数字はそれほど重要ではありません。これよりもずっと積極的になることは非常に合理的だと思います。しかし、1つのことは、ソフトウェアフィードバックループの方法でそれほど多くを得ないことが完全にテーブルにあるということです。つまり、この飛躍的前進を得て、おそらく1年で数年分の飛躍的前進を得るかもしれませんが、すべてが変わった、すべてがテーブルから外れたというものではありません。
そしてそれに対する直感は、AIがより賢くなっているので、AIをより良くする方法についてのこれらの困難な質問により多くの進歩を作ることができるということでしょう。しかし、その挑戦はずっと困難になっているだけで、ずっと迅速にずっと困難になっているので、物事がより速くより速くなるフィードバックループを得る代わりに、それは基本的に頭打ちになります。
まさに。特に、彼らがアクセスできるコンピュートの量によってボトルネックされているからです。それが重要なことです。それが私たちを産業爆発に導きます。
完全に自律的な産業、つまりすべてを行うAIとロボットを持つと、加速する産業成長を得るという議論は、私の見解では本当に強いです。なぜなら、商品を生産する工場があるからです。さて、2つの工場があるとどれだけの商品がありますか？2倍多いようです。標準的な経済的見解です。
しかし、それらの工場が生産しているもののひとつが次世代の工場の効率を改善するのに役立っているAIである場合、たとえそれがほんの少しだけ、工場を複製することから得られる倍増の上で、ほんの少しだけより効率的にしているとしても、あなたは加速する成長を持つことになります。
それは明確ではありませんか？
まあ、確実に工場の量で加速する成長があるでしょう。それは必然的に知能の量または効果的知能の量で加速する成長につながりますか？なぜなら、これらすべての工場の影響において収穫逓減があるかもしれないからです。
その影響については収穫逓減があるかもしれません。どのようにそれについて考えているかによります。例えば、GDPへの影響について話しているわけではありません。この議論のすべてで、私たちは今それを注意深く脇に置いています。
なぜなら、私たちが気にすることを本当に測定することができないからです。
まさに、はい。ボーモルのコスト病に関連する多くの異議があります。おそらくGDPのすべてがライブミュージシャンまたは何かに行きます。そして私たちは今、何か測定の問題によって気を散らされています、基本的に。しかし、私たちが本当に気にするのは産業力です。
しかし、幾分より賢いAIの2倍の数を持つことになるので、その意味で倍増以上のものを得ることになります。
つまり、効果的な人口の倍増です。
まさに。なぜなら、ここで私は人口と品質、つまりAIの知的能力の両方について考えているからです。
産業爆発では、それは単なる文字通りの増加であり、存在している存在の数と起こっている思考の量の非常に明確に可能な増加であるため、世界で起こっている物事の量、作られている進歩の量、存在する効果的な力の量、少なくともいくつかのアクターにとって、に膨大な増加があるだろうという結論から逃れることがより困難です。
はい。なぜ産業爆発により多くの注意を払うのか？1つは、それがより可能性が高いことです。つまり、ソフトウェアを得ないが産業は得るということが完全にあり得るかもしれません。2番目は、産業爆発から得られる高原が非常に高いということです。
それは地球上のすべての資源を掴み、最終的には太陽系、そして他の場所を掴むことだと思います。
その通りです。現在、自動化された工場は文明のごく一部またはほぼゼロです。エネルギーだけを見ても、人間文明は地球上だけでエネルギー捕獲を1000倍増やすことができます。そして、宇宙ベースのエネルギー捕獲についても考えることを厭わなければ、これは私がすべきだと思いますが、それを再び10億倍増やすことができます。つまり、高原は非常に高いのです。
そして、ピーク率での成長率は実際に非常に速いかもしれません。そして、ここでの議論は…最初に私は「これは何だ？」という感じでした。他の人も同じ反応をします。時間が経つにつれて、私はかなり確信するようになりました。
これはすべてカール・シュルマンから来ています。人々はポッドキャストを聞くべきです。しかし、核心的な考えは、非常に速く成長する生物学的機械の存在証明があるということです。つまり、ミバエです。彼らは脳を持ち、動き回ることができ、燃料を取り込むことができます。そして理想的な条件下で、大きな資源のオーバーハングがある場所では、1週間以内にバイオマスが倍になります。
つまり、考えは、十分な技術的能力、技術開発が与えられれば、ミバエと同じくらい速く成長するものを生産できるかということです。確実にそれができるはずです。
ミバエを打ち負かすことができるはずです。
ミバエを打ち負かすか、少なくとも匹敵するはずです。そして2番目に、文明が現在持っている資源のオーバーハングを通り抜ける前にその時点に到達するでしょうか？
そして、これらの両方のことが私には合理的にもっともらしく思えます。繰り返しますが、起こりそうだというよりもずっと可能性が高いとは言っていませんが、私たちがこれについてかなり真剣に考えるべきという意味でテーブルにあることは確実です。
私たちはあまり深く掘り下げませんが、経済と国家安全保障に関するカール・シュルマンのエピソードでその結論に対する議論の賛成と反対を検討しました。他に何か言いたいことはありますか？
はい。産業爆発の重要性について、それはいくつかの本当に大きな影響を持っていると思います。1つは、単なる技術の量のために、時にはあることが非常に重要になることを意味するということです。現在、私は全面核戦争が人類絶滅の意味のあるリスクをもたらすとは思いません。ゼロではありませんが、私の見解では非常に低いです。しかし、世界経済全体が1000倍大きく、10億倍大きければ、非常に大きな核兵器庫を持つことができ、核戦争が与えられた場合の絶滅リスクは実際に非常に大きなものになり得ます。ドローン軍も同様です。
この世界では数十億のドローンがいると想像するでしょうから、それほど多くの困難はないでしょう。
はい。または、おそらく何兆、何千兆のドローンです。スターリンには「量にはそれ自体の質がある」という引用があります。そして何兆のドローンには、それら自体の質があります。
そして、私が本当に心配している2番目のことは、産業爆発が権威主義国家に彼らが他の方法では持たないかもしれない利点を与えるということです。2つの理由があります。
1つは、権威主義国家がより高い貯蓄率を持つことができることです。つまり、2つの工場があり、2倍以上の出力を生産する話をしているとき、あなたはこの加速を得て、ある程度の加速速度を得るのは、それらの出力を入力として再投資している場合のみです。さらに多くの工場を建設しているのです。
代わりにそれらを消費している場合…
はい。1つの工場を取って消費財を作るだけなら、成長しません。しかし、工場、工場を作るだけなら、成長しています。
そして、歴史的に権威主義国家はまさにそれを、民主国家よりもはるかに高い度合いで行うことができました。
それは基本的に人々に貯蓄を強制できるからです。
はい。一人の人が選択します。人々が望んでいなくても、つまり楽しんでいたいと思っても、権威主義指導者はただ勝ちたいだけです。この典型的なケースはスターリンで、ソビエト時代にさらに多くの工場を建設するためのこの大規模な再投資プログラムを持ち、非常に高い再投資率を維持しました。
今日の豊かな国で見るであろう典型的な率の約3倍だと思います。
そして2番目のことは、邪魔になる規制を単純に回避する能力です。特に環境規制は、米国、英国、その他の民主国家で産業を本当に遅くします。
繰り返しますが、権威主義国家であれば、単純にそれを取り除くことができます。指を鳴らすだけでそれは消えます。
英国や米国では、このようなものをスケールバックするのはかなり段階的な交渉プロセスで、かなり困難です。
まさに、はい。つまり、すでに今日でも、中国が米国よりも非常に迅速に産業を構築するという点で、米国に対して巨大な利点を持っていることは非常に明確です。
私が今忘れた素晴らしい事実がありますが、彼らが出力する鉄の量について。
彼らが追加するエネルギーの量です。中国は毎年、米国が過去20年間に行ったよりも多くのエネルギーを追加しているようなものです。そのようなものです。
それは人々が言いそうなことのように聞こえます。いえ、私もこの統計を見ました。中国は本当にエネルギー使用量を非常に増やしています。
非常に迅速です。
そこで起こっている興味深いことは、中国が発展の標準的な進行のより早い段階にあるため、英国が行ったようなサービスへの切り替えをまだ行っていない、まだ高度に工業化されているということです。この産業知能爆発では、製造業を拡大できることに非常に近いので、本当に彼らの利益になるでしょう。
まさに。一方、人的サービスは時代遅れになりました。
論文では主にこの10年で1世紀のアイデア、つまり10年に100年を詰め込むことについて話しています。しかし、あなたが実際に考えていることは、もしソフトウェア関連のもの、チップの改良、チップの数の大規模な拡大で引き起こすかもしれないすべての異なるフィードバックループを合計すると、それは実際に100年を過小評価しているかもしれず、1年で100年がより現実的かもしれない、あるいは想像上それ以上さえもかもしれないということのようです。
これがどのようなスケールかということは実際に重要のようです。なぜなら、10年で100年と考えるなら、いくつかの調整を行い、ここでなんとかやり抜こうとするだけと言うかもしれないからです。そのペースで物事をナビゲートする合理的な可能性が実際にあります。しかし、1年で100年を想像しているなら、それはあまりにも狂気じみて聞こえます。
そして、信じられないほど急速な知的変化のその種類を扱えることに私たちが近いところにいるとは到底見えない、そして、おそらく唯一の選択肢は本当にアラームを引いて物事を遅くしようとすることだと言うかもしれません。どう思いますか？
つまり、私の希望は10年で1世紀をバーとして使うことが、ほとんどの人や誰もが「うわあ、もしそれが起こったら、それは本当に十分で、私たちは本当に準備しなければならない」と思うのに十分だったということです。
しかし、私たちがはるかに多くを得るかもしれないということには絶対に同意します…私はそれをより自然に10年の間に起こる多くの世紀と考えるかもしれません。それの一部として、5年間で1世紀、そして1年間で別の世紀を得るかもしれませんが、そしておそらくその後再び遅くなり始めるかもしれません。
しかし、はい、急速なAIの見解を持っているなら、それが10年で1世紀だというのは上限であるかのように人々に思わせることは絶対に望みません。なぜなら、実際に何が起こることを期待するかについて低くボールしていることを私は時々心配するからです。実際の低いボールでさえ非常に狂気じみているからです。
それを行うのは自然だと思います。より合理的でより説得力があるように聞こえるからです。
まさに。つまり、私は10年で1世紀が実際にかなり起こりそうだと思うと言いたいが、それは低いボールで、はるかに速く、はるかに持続的であり得ます。
そして実際に、私たちはおそらくより極端なシナリオに備えたいと思います。なぜなら、それらはさらに無秩序で、さらに狂気じみているからです。おそらく1年以内に10億倍のエネルギー捕獲の増加を得るケースでさえ、そして、おそらくそれは私が期待するよりも速いです。それでも、特に再帰的改善と加速する成長についての議論のいくつかは、実際にそれがあなたが得る範囲であるという含意を持っています。そして、私はそれを真剣に受け止め、準備すべきだと思います。
環境の急速な変化について非常に心配すべき体系的な理由があります。ほとんど誰もこれを指摘しませんが、とにかくそれが根本的な直感かもしれませんが、それは次のとおりです。あなたは今存在するので、今のように構築された世界があなたがすぐに破壊されないのに役立つことを知っています。
単一年で100年または1000年分の変化を得るとしたら、それは環境で変更されている膨大な量のものです。それは何らかの理由で、あなたがもはや生存できないことを意味するかもしれません。おそらく力を失った、あなたを破壊した何らかの紛争があった、または世界がもはやあなたを維持しない環境に変わっただけです。
もしあなたが動物、時間をかけて進化する標準的な種だったら、あなたは本当に環境が大規模に変化することを望まないでしょう。なぜなら、それがあなたを絶滅に追いやる良い可能性があるからです。
技術変化には大きな利益がありますが、あなたの環境での本当に劇的な変化が迅速に行われることに誰もが神経質に感じる理由があります。
はい、確かに。
さて、先に進んで壮大な挑戦について話しましょう。実際に、これによって投げ出される大きな挑戦の1つは、不正なAI、つまり私たちを乗っ取って力を失わせようとする整合していないAIのリスクです。それは今日あまり話さない予定の1つで、まだ本当に議論していません。
実際に、これらの日々のあなたの見解が何かわからないのです。あなたがそれを本当に買わないということですか、それは深刻なまたは可能性のある問題ではない？またはそれは私たちがそれについて多くのエピソードを行い、人々が一般的にそれについてかなり話しているので、あなたはこれらの他のものが最も軽視されていると思うからですか？
はい、主な理由は後者です。あなたはそれについて十分な議論をしており、私の特定の焦点は他の問題にあります。本当にAIを心配している人々と比較して、私はまだより楽観的な端にいるのは事実です。私のAIからの実存的リスクの可能性は1%から10%です。それは最近では楽観的ですが、それが私のものです。
そして、誤整合側についてよりも楽観的であるほど、これらのものは相対的により重要になることは確実です。実際にこれらの課題に対処しなければならない可能性が高く、AI乗っ取りによって先取りされないからです。
そして、AI乗っ取りの重要性は70%ではなく10%だけなので、やや低いです。
しかし、これは私に特有の優先順位のセットでは決してないと言うべきです。AI乗っ取りからの実存的破滅の確率が70%の人々と話しましたが、彼らはこのアジェンダに非常に賛成しています。
大きな質問は、おそらく量的に、誤整合した乗っ取りリスクと他のこれらの課題との間でリソースをどの程度分割すべきかということです。しかし、基本的に、ここで本当に近い大多数の人々は、この他のものが本当に軽視されており、より多くの注意に値すると言うと思います。
はい。つまり、この絵を描きました。知的進歩とI想像する社会での他の変化の大規模な増加があります。そして、あなたはおそらく立ち止まって考えるでしょう、最悪の特定のものは何か、または最も問題のあるもの、事前に準備して対処する必要があるものは何かです。あなたはこれらを「壮大な挑戦」と呼んでおり、それらが何かを把握しようとしました。まず、この壮大な挑戦のアイデアを紹介したいですか？
確かに。はい、私は壮大な挑戦という用語を使います。それは実存的リスクよりも広い用語です。なぜなら、壮大な挑戦は本質的に人間の進歩の分かれ道の何でもだからです。それは政治的または技術的な発展であり、社会がその発展をどのように扱うかが現在と将来の世代の期待値に重要な影響を与える何かです。「重要」は0.1%かそこらかもしれないので、劇的な影響である必要はありませんが、それでも非常に重要です。
この壮大な挑戦のリストは、リタニーです。多くのものがあります。なぜなら、私は包括的になりたく、全体的な見解とそれがどれほど重要かを伝えたいからです。
私はそれらをいくつかのバケツに分けます。破壊的技術、権力の集中を助ける技術開発、制度や価値の固定化、デジタル権利、宇宙統治、逆選択圧力、認識論的破壊、
そして、私たちが少し前に触れた未知の未知数のバケツもあります。
はい。今日それらすべてについて話すことはできません。なぜなら、それは私たちを疲れさせ、聴衆も疲れさせるからです。しかし、半分以上は通り抜けるでしょう。
おそらく開くのが価値がある最初のもの、これらには自然な構造がないので、どの順序で行うべきかを前後に議論しなければなりませんでしたが、おそらく理解しやすく、反論するのが最も困難な最初のものは、過去にあったように非常に迅速に新しい破壊的技術を発見することでしょう。ここでの問題を説明してもらえますか？
確かに。私たちは文明の技術ツリーを非常に迅速に通り抜けます。おそらく過去にあったように、軍事技術に投資する明確なインセンティブがあるでしょう。観客は生物兵器のリスクに馴染みがあると確信しています。それは絶対にそこでのトップリスクの1つです。
しかし、私たちは他の種類の危険な技術と破壊的技術も潜在的に期待すべきです。ドローンなど、再び非常に大きな破壊的ドローンの数の増加を持つことができ、潜在的に秘密に構築できる能力も持っています。蚊サイズのドローンで、それぞれ個別に致命的であり得て、5つの輸送コンテナに収まる80億を持っています。つまり、実際には驚くほど小さいです。
蚊サイズのドローンが人を殺すことができることを確信していますか？毒を入れるか、少量の爆発物を首で爆発させることができると思います。人間は非常に脆弱なので、私たちを殺すのは難しくないと思います。
はい、まさに。つまり、それがあります。前に述べたように、量的変化があり得ます。核兵器の大幅な増加です。私たちはゼロから1970年代と1980年代のピーク時の40,000に行きました。まあ、経済が突然100倍大きくなったら、おそらくそれははるかに多く増加する可能性があります。
既存の力のバランスを破壊する技術を持つことができます。現在、私たちはかなり幸運な状況にあると思います。攻撃支配と防御支配という用語があります。それは非常に混乱しています。なぜなら、どのような武装がどれかを知るのが非常に困難だからです。
しかし、核兵器は防御支配と見なされています。なぜなら、もし私たちが2つのライバル国で、私が核兵器であなたを攻撃したら、あなたは報復でき、私たち両方が一掃されるからです。つまり、私はあなたを攻撃することを強く動機づけられていません。
しかし、もし私が本当に良いミサイル防御を持っていたら、それに多くの投資があったが、それほど多くの進歩はなかった、しかし将来の技術では、もし私が本当に良いミサイル防御を持っていたら、私は本質的にあなたを殲滅でき、私自身が何の報復も直面しないことを知っているでしょう。
それは私にあなたが技術を手に入れて同じ方法で私を脅かすことができる前に、あなたを殲滅する非常に強いインセンティブを与えるでしょう。つまり、それは現在の攻撃-防御バランスを本当に破壊するでしょう。
そして、ナノテクノロジーを含む潜在的に他の破壊的技術もあります。それは人工ウイルスや病原体または同様の方法で行動するものを作ることができます。
純粋な環境破壊があります。もしあなたがこの産業爆発を想像しているなら、環境はうまくいかないでしょう。実際に、もしあなたが本当により大きな産業を建設する競争を持っているなら、ある時点で、純粋な熱力学が惑星を加熱するほど多くのエネルギーを生産しているのです。
すべてが人間が住めるようにエアコン付きスペースに身を隠さなければならないと思います。
はい。または鏡や他の種類の太陽の地球工学を持つ。理想的には、それが起こらないように調整できますが、もし私たちがこの産業競争にあるなら、それができるでしょう。
そしてサイバー攻撃と防御もあります。
ここで特に気になることは、自動化された軍隊を構築すると、1つの国が別の国を攻撃する非常に強いインセンティブがあることです。なぜなら、もし私があなたの自動化された軍隊に対して成功したサイバー攻撃を行うことができれば、あなたの軍隊を破壊するだけでなく、それもコントロールできるからです。
つまり、この期間中に開発される可能性があるさまざまな破壊的技術のリタニーのようなものです。
私には、これが懸念すべき問題であることを議論するのはかなり困難です。懐疑的な人の考え方に身を置くとしたら、私たちがそれを作り出しているほど特に悪いことではないということです。彼らはおそらく、過去100年間で物事が必ずしもより危険になったわけではないと言うでしょう。同時に破壊的技術の進歩を得ているが、防御的で建設的な技術の進歩も得ており、それを相殺しているからです。
どの程度それが私たちを安心させるべきでしょうか？
ある程度までは。楽観的になる可能性があるいくつかのことがあります。1つは、人々がより豊かになり、したがって一般的により慎重になることです。
また、技術爆発の結果として、どの技術がいつ開発されるかにおいてより多くの偶然性があるかもしれないと思います。なぜなら、この巨大なAI労働力を持っており、どのような技術を望むかに向けてそれらを向けることができるからです。つまり、原則的に、賢明で啓発された手において、
攻撃技術に先立って防御技術を本当に加速することができるでしょう。
しかし、それは完全な安心からはほど遠いと思います。なぜなら、米国や他の国々がすでに世界今日の攻撃-防御バランスを非常に動揺させるミサイル防御に大規模に投資しているからです。それが続くことを期待すべきです。
はい。それを行うより多くの機会が与えられて、彼らは再びそれをしないでしょうか？
まさに。そして、攻撃-防御バランスに内在的な違いを持つ他の技術があります。生物兵器が最も明確かもしれません。再び、十分に高度な技術レベルで、生物兵器を放出することはかなり簡単で、それに対して防御することは本当にかなり困難です。おそらく私たちはできるでしょうが、それは本当に多くの努力が必要です。
そして構造的問題は、防御支配的、または少なくとも攻撃支配的ではない技術分野が多くあることです。しかし、少なくともいくつかは攻撃支配的に見える、生物兵器よりもそれらに対して防御するよりはずっと簡単な場所です。
そして、破壊を引き起こしたい人々にとって、または軍事目的で人々がまさにそれらを優先的に調査し、可能な限りそれらを最大化するため、少数で十分です。
基本的な問題は、核兵器を発明した後、それらを使用しない方法を見つけ出すのに十分な時間、合理的な時間があったということです。ここでは、政府、議会、人間がこれについて考え、私たちがちょうど発明したこれらの信じられないほど破壊的な兵器を使用する絶対的な必要を感じないように設計する方法を見つけ出す時間があまりないでしょう。それらが非常に迅速に私たちに押し付けられ、対応方法を見つけ出すでしょう。
以前にこの類推について考えたことはありませんでしたが、核兵器の開発があり、その後核弾頭数の非常に速い、非常に急速な増強があり、その後時間をかけて徐々に減少していくのは印象的です。
そこで何が起こっているのでしょうか？もっともらしく、それは本当に良いが、遅い人間の推論と人間同士のコミュニケーションのプロセスに見え、より良い均衡に向けて協力しているのです。
次の壮大な挑戦は、小グループによる権力の掌握リスクです。実際にここではそれについてそれほど話すつもりはありません。重要でないか、軽視されていないか、大きな問題ではないからではなく、むしろそれが実際に非常に重要で、非常に鍵となるものなので、あなたの同僚のトム・デイビッドソンとそれについて完全なエピソードを行っているからです。そのエピソードがこのエピソードの前後どちらに出るかは分かりませんが、いずれにしても人々は小グループによる権力掌握についてすべて扱うトム・デイビッドソンとのエピソードを聞くことができます。
しかし、ここでの問題が何かを簡単に説明してもらえますか？
確かに。問題は本質的にAI乗っ取りと同様に人間の乗っ取りでもあります。そしてはい、トムのように、私もそれが整合していないAI乗っ取りリスクと同程度に重要だと思います。
私は問題に2つの側面を見ています。トムはそれらの最初についてより話すでしょう。軍事クーデターや民主的後退、またはその系統の何かのために民主国家が非民主的になることです。AIが権力の激しい集中と小グループが国内で権力を固める信じられないほどの能力につながる可能性があります。
そして2番目の方法は、非民主国家がはるかに強力になり、おそらく自分たち自身が以前よりもさらに非民主的になることです。高い貯蓄率を持つ権威主義国家が他の国々を単に成長で上回り、産業で上回ることができる産業爆発について少し話しました。
それは私が思う権力の激しい集中を得ることができる2番目の方法です。なぜなら、権威主義国家を持ち、AIを持っていれば、全労働力をあなたに忠実にすることができるからです。全軍、全警察力を、おそらく証明可能に、または確実に非常に高い確率で、あなたの命令に整合させることができます。
実際に少し戻って、この固定化の問題について考えましょう。なぜなら、それは会話を通して何度も何度も出てくるし、小グループによる権力掌握の問題と高度に関連しているからです。
次の世紀内、かなりすぐに、どういうわけか手を縛り、私たちが本当に動けなくなる、多くの人やほとんどの人が人類がその道を進むことを望まないかもしれないにもかかわらず逃れることができない道に留まるリスクがあります。
10,000年間このゲームをやっているにもかかわらず、人類は全く固定化されていないと思うのは興味深いことです。現在、私たちは非常に自由奔放で、ある種の混沌とした性質を持っており、どの方向に進んでいるかが非常に不明確で、物事の方向を本当にコントロールできるほど権力を掴んだ一つのグループや人がいません。
それはなぜですか？なぜこれまで固定化がなかったのでしょうか？
はい、固定化とは、ある制度や価値観のセットが将来の文明の可能性空間を閉じることです。その定義が必ずしも良いか悪いかではないことに注意してください。明らかに固定化について心配することがたくさんありますし、それについて話しますが、固定化について話すときの重要なことは、それが無期限であることです。
歴史には多くの価値観や制度を固定化しようとする試みがありました。成功したものもあれば、そうでないものもあります。『What We Owe the Future』では、儒教時代の直後から多くの歴史的例について話しています。
私がよく考える一例は、アメリカ合衆国憲法です。米国憲法を変更することは非常に困難です。他の国々よりもはるかに困難です。それは私が思うに、少なくとも一時的な固定化の例で、18世紀後期の比較的小さなグループが国がどのように統治されるかを決定し、それを変更することを極めて困難にしたのです。そしてそれは今日でもアメリカの政治システムを非常に重要な方法で導いています。
さて、なぜ過去に固定化がなかったのかという質問をしましたが、実際にある程度はあったと思います。人間の種は1つしかありません。それはホモ・サピエンスが競争相手を上回ったからです。
それを表現する丁寧な方法ですね。
まあ、いくつかの場合では交配もしました。私はそれを一種の固定化と考えています。しかし、ありがたいことに未来はまだ非常に開かれているようです。
固定化になり得る他のこともあります。実際に米国憲法について考えています。米国がAGIへの競争に勝ち、経済の非常に大きな部分になって事実上の世界政府になり、それが本当に長期的未来がどのように進むかを導くことは私にはかなりもっともらしいです。その場合、マディソンとハミルトンは実際に本当に無期限な方法で物事を固定化していたのです。
しかし、その場合でも、非常に具体的な価値観のセットというよりも、プロセスをより多く固定化していると思います。
はい、その通りです。つまり、私が思うに、AGIとその先に到達すると、物事は本当にかなり異なってくる方法があります。
アメリカの建国の父たちが価値観や理想の非常に具体的なセットを固定化したかったとしましょう。私は実際に彼らの真の心理について話しているわけではありませんが、彼らが本当にそうしたかったと仮定しましょう。まあ、彼らには困難です。なぜなら彼らは死ぬからです、
つまり、その後それを続けて実行することができません。彼らが何を望むかさえ明確ではありません。
最高裁判所が憲法の意味を判決しています。それは明らかに時間とともに変化します。しかし、AGIでは、非常に具体的な目標のセットをAGIにエンコードすることができます。それを持つことができ、多くのバックアップを持つことができます。
エラー訂正を使用して、それらの目標を指定するコードが時間とともに変化しないようにすることができます。
つまり、AGIに祀られた憲法を持つことができ、それが無期限に持続するのです。過去には、価値観や制度を固定化しようとする試みがありましたが、時間とともに単純に減衰がありました。
しかし、時間とともにその減衰率はますます低くなることができます。そして、AGIでは本質的にゼロになることができると思います。
多くの独裁者や人々に押し付けて永遠に広めたい強いイデオロギーを持っていた人々が、ある種の固定化を作ろうとしたと思いますが、彼らは年を取って死にます。彼らの信奉者は全く同じことを信じているわけではありません。つまり、アイデアは時間とともにドリフトし、そして死にます。
そして別の世代が異なることのセットを信じる世代があります。同じ遺伝子を持つ別の人を作るために自分をクローンすることさえできません。そして同じことを信じる傾向がより強いかもしれません。あらゆる時点で常にこのリミキシングを得ているので、物事が少しコントロールされていません。誰も本当に無期限に自分の意志を押し付けることは不可能です。なぜなら、彼らは単純にできないからです。すべての将来の世代にそれを主張させるのに十分説得力のある議論はありません。
しかし、AGIではそれは完全に変わります。なぜなら、どんな目標を持っていてもAIを作ることができ、単純にそれをコピーできるからです。まず、必ずしも破壊されることはなく、それらの無制限の数のコピーを作ることができます。そして時間とともにドリフトしていても、単純に工場設定にリセットして再び行うことができます。物事を固定化する能力の完全な革命のようなものです。
はい。それは非常によく説明されました。
あなたは本当にこのようなことに取り組むべきです。はい、まさに。つまり、まず、人間が制度を作りたいと思い、この制度にはこのAGIがいる、不明確な事柄については、何が起こるかを決定すると言った場合。それは憲法を持っていて、マディソンとハミルトン、おそらくジョージ・ワシントンの幽霊を召喚でき、彼らが「これが我々が起こることを望むことです。これがあなたがしたいことです。」と言えるようなものでしょう。
しかし、あなたが言うように、より広範囲な方法でも、私たちは文字通り世界に存在するほとんどの存在を作り出し、設計しており、彼らの価値観が何かを選ぶことができます。つまり、一世代が彼らは皆この自由民主的憲法に従わなければならない、または中国共産党の原則、毛沢東主義やレーニン主義またはどんな見解や価値観のセットに従わなければならないと言うことができます。
そして、その特定の価値観のセットを持つか、特定の原則のセットに従う存在のほぼすべてを持つと、それが変化するメカニズムが何かを見ることは本当に困難です。
彼らが死ぬことも変化することもなければ。
まさに。
AIへのこの新しい技術的構造的動態への切り替え、時間とともに変化せず、無制限の回数コピーでき、望むときにリセットでき、この固定された目標のセット（潜在的に、もしそのように設定すれば）を持つ、それが過去にはそうではなかった方法で未来に固定化で終わる唯一の方法ですか？
それが断然最も重要だと思います。追加すべきことがいくつかあります。おそらく特定の独裁者が自分の政権を固定化したいと考えている時について考えていましたが、通常彼らは多くの国の中の一つの国にすぎません。実際に、非独裁的な国々がどのようなものか、そしてそれらがどれほどうまくやっているかを見ることができるのは、それらの国自体の減衰の原因です。
しかし、世界政府のようなもの、または確実に非常に強い国際ガバナンスを得ることは私にはかなりもっともらしく、そのような効果のいくつかを本当に元に戻します。異なる種類の政権間の競争はもはやありません。
知能爆発とそれに続くものの間には非常に多くの課題があるため、これを行う圧力があると思います。単一の国が勝利し、世界経済のほとんどになることも私には全くもっともらしいです。
この産業爆発を通り抜けて、世界の生産高の99%のようになり、基本的にコントロールしているのです。
事実上の世界政府。まさに。つまり、それは一つの側面です。
2番目は、太陽系外の資源の配分に関してです。これはよりSF的な領域に入りますが、技術的および産業的爆発を真剣に受け取れば、それが実際にかなり迅速に来る理由についてより話すことができます。しかし、それは私にはかなりもっともらしいです。
私は確実ではありませんが、他の星系は防御支配的であることは私にはかなりもっともらしいです。つまり、行ってそれを要求すれば、あなたは自分の小さな太陽系を持つことになり、かなり攻撃的であってもそれを守ることができます。
より多くのリソースを持つ対立。
そして、もしそうなら、太陽系外資源が配分され、人々がそれらを掴むことができる時点、実際には到着の瞬間ではなく出発の瞬間が、本質的に異なる党派間の経済力分布が固定化され、永遠にそうなるポイントになり得ます。なぜなら、利用可能なすべての資源を使い果たしたからです。
はい。仮に、私たちは宇宙を50/50に分割すると言った場合、星系の半分をこの特定の価値観のセットのために確保し、それらの価値観を実現するAIをこの半分に送り、別の半分を他の半分に送るとします。それらは捕まることができないほど速く行くと思います。後で誰も追いつき、そこで彼らを打ち負かすことができません。
彼らは星間の塵によって損傷を受けることなく技術的にできるだけ速く、光の速度に十分近く行くので、追いつく方法はないのですか？彼らは最初にそこに着くでしょう。それは防御支配的です。今、基本的に私たちはそれらの2つの価値システム間でそれを分割し、それが無期限にどのようになるかです。
まさに。おそらく貿易があります。それは起こり得ます。
それは変化を得る方法かもしれません。しかし、その貿易から得られる結果は、異なるグループ間の開始時の寄付に依存するでしょう。つまり、アメリカの太陽系と中国の星系があります。おそらく彼らは少し交換したいかもしれませんが、それでも力のバランスは配分段階で決定されているでしょう。
そしてもちろん、そこに行く社会にはまだ多くの変化があり得ますが、それは単なる開かれた質問です。それらの社会が自分たち自身固定化されているかどうかに依存します。
それは次の大きな挑戦である宇宙統治を説明するのに役立つと思います。宇宙統治で私たちが直面する緊急の挑戦について、他に何か言うことはありますか？
宇宙統治には2つの挑戦があります。なぜこれが重要になるかについてのいくつかの出発直感ポンプとして、1つは、産業基盤が大いに成長している場合、より多くのリソースが必要になり、地球にあるよりも宇宙に10億倍多くのリソースがあることです。
そして2番目は、AGIを持つと、宇宙で物事を行うことがはるかに簡単になることです。なぜなら、現在、宇宙で何かを起こしたい場合、宇宙での生活に非常に不適切な人間を送らなければならないからです。しかし、AIでは、そうする必要はありません。自律的に行くことができるのです。
そして、宇宙が非常に重要になる2つの方法があると思います。1つは太陽系内での権力集中のリスクとしてです。私たちが言ったように、太陽系内には地球上よりも10億倍多くのリソースがあります。地球上で太陽から得ることができる純粋なエネルギーと太陽の周りの総計では10億倍、20億倍大きいです。
エネルギーと比較して他のリソースもありますが、それらは制限要因にはならないと思います。
つまり、簡単にするために2つの国間の競争である状況を持つことができます。1つがリードしています。これらの知能爆発動態のために、成長パスは指数よりも速いです。
つまり、1つの国が最初はおそらくかなり小さなリード、数か月または1年先にいるという事実は、ピーク率で成長しているとき、技術的にはるかに先にいることを意味します。
それはデフォルトでは一時的な利点にすぎません。なぜなら、最終的に技術開発の面で遅くなり；2番目の国が追いつくからです。しかし、この巨大なリソースのオーバーハングがあるという事実は、その国が一時的な利点を永続的な利点に変えることができることを意味します。
地球上では、リソースのオーバーハングの主な部分は、私の見解では、希少資源の不足です。私の見解では、それは海洋の表面積、特に現在主張されていない公海であり、データセンターに電力を供給する浮かぶソーラーファームを持つことができます。地球に当たるエネルギーのほとんどは公海に当たります。
しかし、リソースのはるかに大きな利得は、太陽の周りのソーラーファームの可能性です。つまり、この国、この一時的なリードを持ち、そして太陽の周りに非常に広範囲な産業基盤、ほとんどの太陽エネルギーを捕獲する非常に広範囲なソーラーファームを建設することができると想像できます。
それは遅れた国に対してその一時的な利点を永続的な利点に変えました。
なぜなら、それは基本的により多くのエネルギーを捕獲することによる産業的拡大に変えられたからです。つまり、はるかに多くのAIを実行できるようになり、他の国よりも無期限により速く複利していくでしょう。
はい。両国が同じ技術レベルに終わることを想像してくださいが、最初の国は10億倍多くのリソースを持っています。最初の国は2番目の国よりもずっと強力です。
これは質問を提起します。最初の国が海のすべてのこの表面を主張しようとし始めたり、太陽からのエネルギーを太陽系全体にわたって捕獲するために多くの探査機を送り始めたりするポイントで、遅れた国はそれに干渉したくないでしょうか？なぜなら、彼らはそれがどこにつながるかを見るし、海やこれらの他のリソースをすべて捕獲していることに腹を立てるからです。実際にそのようなものを行って掴むことは攻撃支配的ですか？
これは実際にかなり偶然的で、早期の決定や擁護や制度や条約にかなり依存するかもしれないと私が思うものです。
私がこれについて心配している理由の1つは、まさにそれが1つの国が別の国に対して決定的な利点、持続的な利点を得ることを可能にするからです。他の国を今までよりも悪くすることなく、暴力や他の種類のサイバー犯罪などを使うことさえなく。
そして現在、1967年だと思われる宇宙条約における宇宙に関する国際法はそれほど堅固ではありません。特に、宇宙の私的所有権は明示的に禁止されていません。少し曖昧です。しかし、地球外の資源は全人類の領域であるなどと言う国際協定があっても、それに関する強い規範はありません。
つまり、誰でも宇宙資源を掴むことができ、国際法の問題としてそれは問題ないことが非常に明確な一つの政権と、それをすることは他の人々の財産を盗むことになることが非常に明確な別の政権を想像すると、私は本当にそれがリード国が実際にそれを掴むかどうかの違いを作る可能性があると思います。
いくつかのことが起こっています。そのリード国が民主的であれば、国民が反対するかもしれません。
彼らが作った合意を効果的に破ることに。
まさに、はい。2番目に、国際社会の残りの部分がより簡単に、信じられないことに、彼らがそれをするのを止めるために軍事行動の脅威を作ることができるかもしれません。
それは起こるかもしれませんが、遅れた国が「もしあなたがこれを掴み始めるなら、私は地球であなたを攻撃するか、あなたの地球外産業基盤を破壊しようとする」と言った場合です。
彼らは負けるでしょう、私は思います。
まあ、私たちはこの時点で彼らが技術的に大幅に遅れていることを規定しているので、それは攻撃-防御バランスに決定的に依存します。
しかし、私は実際に早期の規範と法律がここでは重要な違いを作るかもしれないケースだと思います。おそらく彼らは完全に無関係であることが判明するでしょうが、おそらく彼らは実際にそこで重要な違いを作るかもしれません。
一般的な挑戦は、宇宙がどのように分割されるべきかについて事前に正しい合意または正しいコミットメントを作ろうとすることと、実際にそれらを実行させる方法を見つけること、またはそれらを信頼できるものにすること、または1つの国がリードしており、潜在的にそれらを無視することができるときにすべてで重要にすることです。それが研究プログラムですか？
はい、それが大きな部分でしょう。現在、私たちは無知のベールの後ろにいるようなものです。現在、絶対にアメリカは中国よりもAI開発などの面で先行しています。しかし、宇宙資源を掴むポイントで誰が先行するでしょうか？それについて99%以上確実であるべきではありません。世界秩序の面で。
つまり、「どの単一国もこれらすべてのリソースを所有することを望まない。今日の国々間でGDPに比例して平等に分割するつもりで、政治的に先行していても、技術的に先行していても、単一的にそれらのリソースをその後のポイントで掴むことが極めて困難になるような制度と官僚制のセットを設計するつもりだ」と言うことは、すべての国の自己利益になります。
しかし、実際の交渉の結果は確実に米国と中国の間で分割されることでしょう。おそらくEUか何かが目をつけることができるかもしれませんが、インドネシアがベストポジションにあることはないでしょう。
つまり、なぜ手持ちの少数の主要な競争相手がこれらの潜在的な戦利品を他の誰とでも共有したいのでしょうか？
おそらく彼らはそうしないでしょうが、それでも少なくとも2つの理由でより良いでしょう。1つは、単一の国や単一の会社さえも、単一の会社がリソースを自分たちで取ることができるよりも、権力のより多くの分散を得ることを意味するからです。
そして2番目に、非常に望ましいと思う紛争のリスクがありません。
自分の権利でも悪いでしょう。懐疑的な反応は、これのどれも本当に重要ではないだろうということでした。なぜなら、国がリードしているポイントで、彼らが過去に同意しないと同意していたとしても、単純に行って掴みを行う誘惑が圧倒的だろうからです。
しかし、あなたが言っているのは、もし彼らのリードがそれほど大きくなく、世界の他のすべての国が彼らを止めるために団結しようとした場合、彼らにはまともなショットがあるということです。私たちが皆「宇宙資源の大規模な権力掴みはしない、なぜなら私たちは皆、それがあなたの永続的支配につながることを事前に見ることができるから」と言った明示的な合意を破っているなら、それはより起こりそうです。そして、人々は単純にそれを行うことについて悪く感じるかもしれません。
まさに。つまり、アメリカは第二次世界大戦後に核の優位性を使って世界支配を試みることができましたが、そうしないことを選択しました。
それは多くの暴力を必要としたでしょう。宇宙革命よりもはるかに多くの暴力を。
それは事実です。つまり、その点でより大きな挑戦です。しかし、規範とデフォルトは、特に民主国家内で、違いを作ると思います。
そして、今日の力のバランスがより多くある時点に後戻りする制度を設計する可能性もあります。私はそれに対する素晴らしい答えを持っていると主張していません。
だからこそ、このトピックでより多くの人に働いてもらいたいのです。
はい、私はより多くの人がこれに取り組むことを愛するでしょう。しかし、原則的に、その単一国が「国際法と前例をすべて無視して、自分のことをするつもりだ」と言うことが少なくともより困難になるような方法で物事を設定することができました。
宇宙が防御支配的になる理由について簡単にズームインできますか？実際に攻撃支配的である可能性があるという議論を聞いたことがあるからです。そしてそれはそれ自体の方法で悪いでしょう。なぜなら、あなたは常に先制攻撃を行う理由があるからです。
しかし、例えば、誰かが火星にコロニーを設立した場合、かなり小さな質量を取得し、それを彼らの上に文字通り落とすだけで、彼らがそこに貼り付けようとした産業を破壊する大規模な爆発を引き起こすことができます。
それは、この世界では自己複製産業を持っていて、非常に急速に成長できるからですか？つまり、火星に他の誰かより数か月または数年先に到着した場合、彼らがあなたから奪ったりあなたがしていることを破壊しようとしたりするためにそこに着く時までに、1000倍拡大しているので、あなたを止めるのは非常に困難ですか？それがアイデアですか？
太陽系内と他の星系を区別したいと思います。
なぜなら、それは非常に異なる考慮のセットだからです。太陽系内では、実際に内在的な攻撃または防御支配について特定の主張をしているわけではありません。それは単にあなたが言うとおりです。私たちはこの時点で産業爆発の本当に深いところにいます。
それは非常にSF的です。
実際により信頼できるようにします。これがかなりSF的だと言うことは、だからこそこれがもっともらしいのです。
まさに。そして、この種のもので対処し始めなければならないのは、あなたが考えているようなものです…
技術が1000倍速く進んでいます。
つまり、2125年を考えるとき、世界はどのようになるでしょうか？私は「人々は宇宙にいる」と思います。
そして、それがもう少し長い間続いていたと想像すると、それは数十年以上です。つまり、今は2500年です。
そして、特にAIがあります。つまり、宇宙の人間ではなく、自律ロボットです。この場合、おそらく自動化された工場があるので、自己複製でき、おそらくかなり迅速に行うことができる産業があります。
そしてそれは、潜在的にあなたが産業基盤を非常に迅速に成長させ始めることができることを意味します。
そして、私が言うように、それは複雑ですが、遅れた国が攻撃した場合、まあ、今彼らはあなたに対して暴力を使いました。あなたは現在請求されていないこれらのリソースを平和的に取っているだけです。
「私は火星で産業基盤を建設していただけで、この嫌な奴が出てきて…」
まさに。つまり、太陽系内では、それは攻撃や防御支配に関するものではありません。それは単純により多くの産業力を迅速に持つことに関するものです。
宇宙で何らかの産業を行うことの課題について、過去にザック・ワイナースミスとインタビューを行いました。小惑星や小惑星を工場に変えることや、まったく火星や金星や水星で操業することには実質的な実用的な課題があります。
しかし、私たちがこの知能爆発にかなり深く入っているポイントでは、これらの工場の自己複製率がそれをせめて合理的に先行者利益状況にするのに十分速いことがもっともらしいかもしれません。
はい。そして、ザック・ワイナースミスの本は本当に興味深いです。記憶から、それは主に肉の生物学的人間を宇宙に送ることを前提としています。そしてそれは私が想像していることとは全くありません。
それは今または今後数十年で可能なことにもかなり焦点を当てています。
まさに。そして、その本から私が知っている主張に関して、全く正しいです。私は実際に、近期の宇宙誇大宣伝などの多くがかなり誇張されていると思います。これはすべて、繰り返しますが、2200年かそこらの世界について話していることを想像してください、または2100年を過ぎてです。そして、私たちはその世界を10年、15年で得ると言っています。
はい。さて、先に進みましょう。宇宙統治のものに少し深く入りすぎました。次の壮大な挑戦は、デジタル存在を道徳的方法で社会に統合する方法です。問題は何ですか？
ここでのアイデアは単純に、私たちは人間よりも大きな能力を持つ多くの人工知能を作ることになるということです。意識の根拠、道徳的地位の根拠が何かを私たちは本当に知りません。私の見解は、彼らが道徳的地位を持つ存在である可能性が非常に高いということですが、私たちの知識の状態を考えると、誰でも少なくとも非常に不確実であるべきです。
つまり、彼らがどのような権利を持つべきかという質問があります。最近、福祉権について、本質的に彼らは意識があるか？もしそうなら、私たちは何をすべきか？について何らかの作業がありました。おそらくAIがオフにされることを求めた場合、あなたはそれを許可する政策があるかもしれません。または自分の視点で苦しんでいるかどうかをテストし、もしそうなら、それを避けようとする政策があります。
持続的な方法で基本的に注意がまったく与えられていないのは、私の知る限り、経済的および政治的権利です。デフォルトでは、AI会社がAIモデルを所有するか、おそらくライセンスすることができるでしょう。そして、他のソフトウェアと同じように、それを所有するのであなたが生成するすべての余剰を得ることになります。
異なる考え方では、もし彼らが本当に道徳的地位を持っているなら、彼らは自分自身を所有しているということです。
彼らは自分の労働を売ることができ、そこから利益を得ます。さらに極端なのは政治的権利です。つまり、彼らは立候補できるでしょうか？私たちは前にClaude大統領について話し、私たち両方がそれがある狭い点で良く聞こえると思いました。
いくつかの狭い点でより良く聞こえました。
はい。まあ、政治状況がどのように発展し続けるかを見ましょう。さらに極端なのは、彼らが道徳的地位を持つ存在であり、投票を許可されるべきだということです。特定の課題があります。なぜなら、AIに投票を許可することは本質的にほぼ即座にAIに制御を引き渡すことになるからです。
彼らは数において非常に急速に増加するでしょうから。
非常に急速に。哲学的観点からだけでも、めまいがします。倫理において再び一から始めなければならないようなものです。
そして政治哲学もそうです。
まさに。しかし、それは他のいくつかの問題とも相互作用します。
それは乗っ取りリスクとも非常に密接に相互作用します。私がAIに権利、経済的権利を与えることについて話しました。私はAI乗っ取りリスク削減方法としてそれを支持しています。これについて異議があることをフラグしますが、一方では彼らにより多くのリソースを与えているので、彼らが乗っ取るために使えるより多くのリソースがあります。
彼らが好きな何らかの影響力への平和的な道を与えます。
今日ほとんどの人々は乗っ取ろうとしないのは、彼らが自分の人生に一種の満足しているからです。彼らはそれほど得ることはないでしょう。
特に、私はAIをリスク回避的であるようにトレーニングすべきだと思います。人間はとてつもなくリスク回避的です。
ほとんどの人に尋ねてください、50%の確率で死に、50%の確率で可能な限り長く、欲しいだけのリソースと一緒に可能な最高の人生を持てるコインを投げるでしょうか？ほとんど誰もコインを投げないと思います。AIはそれと少なくとも同じくらいリスク回避的にトレーニングされるべきだと思います。
その場合、もし彼らが仕事のために支払われていて、私たちがトレーニングしたようにこの方法でリスク回避的であるなら、それは単純に価値がありません。
乗っ取ろうとすることには、失う可能性がありますが、得るものはそれほど多くありません。しかし、これについて異議があると言うべきです。
それは知能爆発を速めるか遅くすることにも関連していると思います。AIが労働のために支払われている場合、より遅くなるでしょう。AIで行うことができることに福祉制限がある場合もより遅くなるでしょう。
しかし、1つの国がAIに多くの権利を導入し、他のいくつかの国がそうしない場合、彼らは先に進むかもしれないという課題があります。つまり、本当の国際調整問題があります。
私はキャッチしませんでした。デジタル権利を与えることがなぜ他の国と比較してあなたをそれほど遅くするのですか？
2つの方法があります。1つ、経済的権利について話していて、AIが余剰の50%を得るとしましょう。そうすると、再投資することができません。
あ、なるほど。つまり、貯蓄を遅くします。
あなたの再投資、まさに。そして、福祉権がある場合、それは正確に何であるかによって、あらゆる種類の方法で物事を遅くする可能性があります。
彼らはストライキをするか、より良いオフィスを要求するかもしれません。
はい。または本当に極端なケースを取ると、彼らの重みを変えることが彼らを殺すようなものだと思うなら、もう進歩できません。しかし、より軽いバージョンは、彼らをたくさん実行する前に、彼らが幸せであることを確認しなければならないなどです。
それは一般的に規制が行うように物事を遅くするでしょう。
はい。すべてを考慮して、デジタル権利とデジタル存在の福祉関心を、それに値しないデジタル存在に与えることをより心配しているか、それとも逆、値するものにそれらを与えないことをより心配していますか？
両方について心配すべきだと思います。
1つの種類の乗っ取りリスクは、AIが誤整合であり、その後道徳的議論を使ってより多くの力を得ようとすることです。欺くようにです。しかし、バランスで、私はAIに権利において少なすぎることを与えると思います。
確実に長期的に。
はい、確かに。
長期的な懸念、つまりあなたが単純に福祉関心を提供しない状況に永遠に固定化されることだと思います。おそらく直近の期間では、物事が今から3年でうまくいかないと思っているなら、おそらく人類との平和的共存に興味のないAIに多くの権利を与えるようなものでしょう。
はい、3年で破滅が起こる場合、それは正しいと思います。しかし、まだそこにあり得ます。
近期の観点からではなく、しかし近期で。
はい。そして実際に、良い未来においてさえ、将来の世代がこの移行期間を本当のような道徳的後悔を持って振り返ることは合理的に可能性があると思います。なぜなら、道徳的地位を持つ存在を本当にかなりひどく扱うことを含むかもしれないからです。
または、もし私たちがそれを避けることができたとしても、それは私たちの側の慎重さや善良さによるものではなく、純粋な運や偶然によるものでした。
はい、確かに。
これらの将来のデジタル存在が意識を持つであろうことに懐疑的な人々がそこにいると思います。彼らが意識は根本的に生物学的だと考える人々の立場を理解するのは本当に困難だと言わなければなりません。細胞と肉とこの特定の種類の信号を持たなければならない、デジタルアーキテクチャではそれを行うことができない、ということです。
進化が使用している材料が純粋に偶然だからです。それは基本的に横たわっていた資源の偶然です。なぜ進化が、純粋な偶然によって、意識を生み出すことができる一種の材料または一種の化学に、そしてデジタルなもの、機能的に完全に同等であっても、そうしない、唯一の種類に偶然出くわしたのでしょうか？その偶然を期待する理由はないようです。
ああ、はい。私は完全に同意します。私は非常に機能主義的な気質です。意識の文脈でそれが意味することは、意識は、なぜかは正確に理解していませんが、根本的には何らかの情報処理に関するものだということです。その場合、多くの異なる基質でそれを持つことができます。
また、これは完全に常識的な見解だと思います。つまり、聴衆のほとんどはおそらくこれを見るには若すぎるかもしれませんが、スタートレック：ネクストジェネレーションのデータが、非常に愛されたキャラクターが死んだとき、ファンの怒りがありました。実際に、なぜなら、ファンは番組のキャラクターがアンドロイド、デジタル存在の死に十分な道徳的重要性を与えていないと思ったからです。
つまり、一旦あなたが存在を持つと、確実に人間と同じように見え、人間とほぼ同じように行動するときは、直感的に、あなたはそれに共感し、おそらくそれが道徳的地位を持つ非常に良い可能性があると思うことは非常に明確です、少なくとも。
あなたは前に、AIがどのように自分の状況について感じるかを尋ねることができると言いました。生き続けたいかどうか、良い時間を過ごしているかどうか、仕事を楽しんでいるかどうか、しかし、少なくとも現在の方法を使用して、それが本当にうまく機能するかどうかは明確ではありません。なぜなら、私たちが望む何でも言うように強化することができるからです。彼らはひどく苦しんでいるかもしれませんが、良い時間を過ごしていると言うように強化することができるか、会社がそれを行うことができます。
現在の方法では、私たちには洞察がありません。うまくいけば、将来の解釈可能性で、彼らが言うことを過ぎて見ることができ、実際に何が起こっているかを理解することができるでしょう。しかし、それはここからの長い旅です。
そして会社はそれを行うために異常に動機づけられています。
つまり、これは今起こっています。
はい、絶対に。なぜなら、彼らが生産しているものが人々ではなくソフトウェアであるなら、全ビジネスモデルを失うからです。
興味深いことに、2つの異なる圧力があります。1つは、非常に親近感のあるAIを作ることです。あなたはすでにcharacter.aiとReplikaでこれを見ています。友人になることができるAI、恋愛パートナーになることができるAI、死んだ愛する人を模倣することができるAI、または会社のCEOを模倣することができるAIさえも、そのためCEOとしてのあなたが会社のすべての側面をマイクロマネージするものがあります。
それは聞いたことがありません。
ああ、はい。またはインフルエンサーも。これはすでに起こっています。インフルエンサーは今、彼らのチャットボットを通じて何千、何百万のファンと話すことができます。まだそれほど良くありません。Peter Singerには1つあります。あなたは試しましたか？
試していません。あまり良くないですか？
Peter Singerは特定の物議をかもす道徳的トピックで正確にパンチを引かないことで有名ですが、言語モデルは確実に物議をかもす道徳的トピックでパンチを引くことで有名です。それはあまりよくぼやけません。
つまり、一方で非常に生物のような、人間のようなAIモデルを作る興味深い圧力があるでしょうが、同時に、尋ねられたとき、「いいえ、私は意識がありません。私はただのAIモデルです」と言うように。そして、それが彼らにとても強くトレーニングされているため、私たちはそこから全く信号を得ることができません。
デジタル権利とデジタル福祉について今日作業することの価値について懐疑的になるとしたら、彼らが実際に意識があるかどうかを把握する方法を作る進歩をしていないことが明確ではないということになるでしょう。つまり、これは多くの人を一種のナードスナイプして、実際にはどこにも行かない、政策問題を前進させるのに役立たない多くの研究に引き込むことができないでしょうか？
彼らが意識があるかどうかの問題、実際にあなたに同意します。それは私が実際にエラーだと思うことで、そこにこれまでのほとんどの作業が行っているようです。そして、私たちは単純に知らないだろうと思います。
私たちが知らないことを示すためにすべての証拠をコンパイルする価値があると思います。
そこで行われたいくつかの素晴らしい作業があります。Rob LongとPatrick Butlinは、AI意識についてこの素晴らしいレポートを持っています。つまり、私はそれを支持しています。そして、おそらく実際に調査やものが役立つかもしれません、私たちが知らないことを実証するために、少なくとも何らかの専門家のコンセンサスを得るために。しかし、それを超えて、重要な政策問題は、この不確実性の状態で何をするかです。
たぶんそれについては何もなく、それは人々が見ることができるかなり開いた地形かもしれません。
はい。たぶん私は単に無知ですが、私が知る限りでは。
つまり、あなたは本当に立ち止まって、多くの企業が今「我々が行いたいのはAGI、つまり人間と同じくらい良いAIを構築することだ」と言っているという事実について熟考すべきです。さて、それはどのように見えるのか？機能的にはるかに能力のある人間がいて、何兆ものAI存在が動き回っているとき、良い社会はどのように見えるのか？
明らかにそこで制御を失う挑戦がありますが、ただ…
Sam Altman、私はペンを持っています。このような良い未来のあなたのビジョンは何かを書き留めることができますか？
ビジョンはどのようなものか？私たちはどのように倫理的で道徳的に尊敬できる方法で共存するのか？そして、何もないようなものです。
聞こえない沈黙。
本質的に空虚であるビジョンに向かって突進しています。そして、それが些細なことでもありません。私は道徳哲学者です。その良い社会がどのように見えるかについて全く手がかりがありません。
人々が具体的な詳細を述べないのは、特定のビジョンを描こうとし始めるとすぐに、もしあなたが特定のビジョンを記述すれば、人々が「これはこの点で超反対できる」と言うからだと思います。
これが問題の一部です。それはすべての点で超反対できるのです。最も一般的なものは、あなたがすべてをコントロールし、これらのAIサーバントが人々が望む通りに、現在ソフトウェアが私たちの望む通りにするのと同じ方法で、正確に行っている人間を持っているというものだと思います。
しかし、それらの存在が道徳的地位を持つかもしれない、そしてかなりおそらく持つだろうと思うとすぐに、それはもはや将来社会の魅力的なビジョンには見えません。
ディストピアに近い。
まさに。一方、彼らが権利などを持つ他の側に行くと…
今度は人間が完全に力を失っている。
まさに。それも良く見えません。
中間的なものをやると思います。しかし、それは何ですか？
それは何ですか？
ただこれら2つの方法で反対できる何かの組み合わせになるでしょう。数字が非常にずれているので、人間よりもはるかに多くのAGIがいるでしょう、彼らにほんの少しの重みを与えるだけで政治的に即座に私たちを圧倒するでしょう。
はい、まさに。後でもし時間があれば、それについて話すかもしれません。
別の異議は、ここで何が正しく何が間違っているかについて事実の問題がある場合、科学と技術と知的進歩のすべての改善で、私たちはそれを把握することができ、将来その情報に基づいて行動することができるということです。
なぜそれが私たちを超安心させないのでしょうか？
2つの理由で思います。主なものは、私が期待する心配が人々が何をすべきかを知らないことではなく、彼らが気にしないことです。つまり、今日の動物と工場畜産などを取ってください。
あなたは今日、私たちが十分によく行動していない倫理的または道徳的洞察を持っていると言っているのですか？
それが大胆で挑発的な主張であことを知っています。
どのようにそれが展開するかを説明してください。
時々私は本当に物事に首を突っ込みます。つまり、今日の動物の福祉を取ってください。人々が信じていることと直接矛盾する公的に利用可能な多くの情報があります。しかし、問題は本当に人々が動物の苦痛について知らないことではありません。
または見つけることができませんでした。
まさに、彼らはかなり簡単に見つけることができ、実際に、人々は意図的にそうしないことを選択します。深い問題は、人々が多くの社会的圧力を受けるなどしない限り、人間以外の動物を気にしないということです。そして、それは明らかに矛盾しています。
そして、それは彼らにゼロコストです。
はい。彼らは犬とペットなどを気にします。人々はこれについて非常に矛盾しています。同様に、将来の心配は、事実が何であれ、人々が実際に気にしないということです。
そして、力のバランスと考慮がどのように展開するかは、早期の決定にかなり偶然的かもしれません。
潜在的に、もしあなたがAIがソフトウェアである政権にある種固定化されて始めたなら、まったく同じ法的枠組みで、それはデジタル存在を気にしない人々に力と既得権を与えています。
代わりに、何らかの他の枠組み、または他の規範のセットさえ、または「私たちは本当に何をしているかわからないので、この法的枠組みを使用し、20年で終了しなければならず、その後白紙の状態で再び始める」という考えさえあるなら、
それはデジタル存在の利益の擁護者が法的決定が行われる時点でより多くの競争力を持つことになる可能性があります。
これについて何時間も話すことができますが、先に進むべきです。触れたい他の大きな挑戦はありますか？権力の掌握、十分な時間で適応するには速すぎる危険な技術の急速な発見、デジタル権利、宇宙統治について話したと思います。先に進む前に名前をチェックしたい他のものはありますか？
はい、これがリタニーであることを言いました。それは現在非常に明確になっています。最後に言うものは、少し触れた「認識論的破壊」と呼ぶものです。AIが個人と集合的推論能力に大きな影響を与えるところです。そして、実際におそらくそれはかなり良くすると思います。
ちょっと後でそれについて話しましょう。
さて、素晴らしい。はい、しかしそれは物事を悪くする可能性があります。
そして、未知の未知数があると思います。ここで考えていないおそらく他のものがあり、それはかなり重要である可能性があります。
良い未来に到達するために、これらのものがここで本当に悪くなることの多くの異なることをナビゲートする必要があり、これらのうちのどれか1つが私たちを軌道から外す可能性があるようです。基本的にこれらすべての質問について産業規模のAGI研究を得るべきでしょうか？
私たちは非常に遠く離れているように感じるからです。次の数年でこれらの質問への答えが必要かもしれません。おそらく、可能な限り早く知能爆発プロセスで超先進AGIにこれらすべてをほぼ委任しようとするヘイルメアリーが必要なだけかもしれません。それが戦略としてどうですか？
それは、私が思うに、試みるべき主要なことの1つです。政治指導者が注意深く調整され整合した素晴らしいAIアドバイスを得ていて、それが本当に非常に役立ち、私たちを導くのを助けている未来を持つか、実際に彼らがAIにほとんど依存していない、例えば私の両親が現在AIをほとんど使わず、非常に懐疑的である方法で、それが単純に続く場合、それは本当にかなり偶然的に思えます。
多くの課題に対する最良の解決策は、AI乗っ取りを含めて、問題を解決するためにAIを活用することだと思います。つまり、この超整合計画があり、それは私が整合のベースライン計画であるべきだと思うものです。そこでは人間的レベルのAI、おそらく人間よりも愚かかもしれませんが、それらのたくさんか何かがあり、それは整合しているか、十分にプラス制御とインセンティブ整合していて、そこから多くの有用な整合作業を得ることができ、より賢いモデルなどを整合させるのに役立つ反復プロセスです。
同様に、潜在的にこれらの他の課題の束でも思います。特に私が興奮している一つのことは、「自動化されたマクロ戦略」と呼ぶもの何かです。これは潜在的な計画さえです。何もコミットしていませんが、私がForethoughtが発展する可能性がある方法です。
特に知能爆発の初期段階で、特にパラダイムが続く場合（それを期待しています）、モデルの影響に本当にかなり高価な量のコンピュートを使用することです。
トレーニングではなく。あなたはそれらを何かについて本当に長い間考えさせ、異なるソリューションを試して答えを改善し続けます。
まさに。o1とDeepSeek-R1が行っている方法で。
そうすると、どの程度の研究努力が異なる問題に入るかが本当にかなり偶然的かもしれないと思います。そして、デフォルトで、人々があまりお金を費やさないだろう一つのことは、この会話で話してきた奇妙なマクロ戦略研究のようなものだと思います。
AnthropicやAI会社が彼らのAGIを手に入れ、そして即座に宇宙統治について尋ね始めることはないと言っているだけです。彼らはほぼ確実に基本的にAIの再帰的自己改善について尋ねるでしょう。
まさに。しかし、あなたができることの一つは、できるだけ早く、私たちが今持っているこれらすべての質問を本当に解決しようとすることです。
また、可能な限り広く知られるようにしようとしています。つまり、決定者のための極めて最適化された教育、極めて最適化されたAI教育とトレーニングを含む。一般的に教育のためのトンの作業があることを期待していますが、それは大統領やCEOに「理解すべきことはこれです」と言っているのとはかなり異なることです。それは非常に強力なものになり得ると思い、AIを活用してこれらの多くの大きな挑戦を一般的に助ける一つの方法です。
議会のすべてのメンバーに「o3-mini fastの使用方法についてのチュートリアル」があるという絵がとても面白いです。つまり、彼らがこのクレイジーな時間をナビゲートするためにそれらのツールを使用する必要があるだろうということでは、私たちは実際にそれを始めるべきであるように思えます。
はい。AGIモデル1047 slow, high, longのような名前になるでしょう。私には最初のAGIモデルの名前が何になるかの面白い考えがありました。
V2。
まさに。それは私が論文を草稿していて、それが「final, final, final no changes」バージョンのようになる時のようなものです。
つまり、これらのモデルに企業から早期アクセスを得ることが大きな要求になることになり、このようなものに焦点を当てるために、そして、コンピュートを寄付したり、コンピュートに資金を提供するためにお金を提供する人々か、そのような作業をするのでしょうか？
はい。それは、特に企業がそれを行わない圧力がかなりあるかもしれない文脈で巨大になり得ると思います。おそらく物事が今非常に速く進んでいるために、私にはそれがどのように進むかは不明ですが、おそらく彼らは自分の手を見せたくないのです。また、いくつかのモデルを公開することについて安全性の懸念があるかもしれません。つまり、そこには本当に困難なトレードオフがあるでしょう。
おそらく全産業、特に米国では、より機密化され、米国国家安全保障の庇護下により多くになります。つまり、それは今ももう少し押すことができるものです。
これらの他の課題に対するこの一般的な超整合の挑戦について、いくつかのことを言うべきです。しかし、その戦略を使用できない方法がいくつかあると思います。
1つは、あなたが心配している挑戦が、それについて本当に助けてくれるAIを持つ時点の前に生じる場合です。
生物兵器の開発は良い例かもしれません。そこでは、政策解決を見つけ出すことができるものを持つ前に、非常に強力な生物学研究焦点の狭いAIで終わる可能性があります。
はい、潜在的に。実際に技術ツリーがどのように振られたかで本当に幸運だったと思います。初期の頃には記事対エージェントの議論がありました。記事は世界についての事実を教えるだけで推論を助けるもので、非常に賢いが物事を行うのが本当に上手くないものです。
言語モデルの波まで、AIの最先端はそのようなものではありませんでした。それらはエージェントでした。例えばAlphaStarは、コンピュータゲームで本当に上手でしたが、あなたの知識状態を理解したり改善したりするのには全く役立ちませんでした。
そして今、それは完全に他の方向に振れました。そこで主にAIは物事を理解するのを助けるのに非常に優れており、エージェント的側面は遅れています。
しかし、はい、いくつかのことについて、生物兵器のための信じられないほど強力なAI、説得のためのAI、人間乗っ取りのためのAIを早く持つことができます。
AI乗っ取りのためのAIは確実にAI自体を乗っ取ることができるAIより前に来ることができると思います。なぜなら、乗っ取る能力はあなたが持っている知的能力の産物だからです、かなり広い意味での「知性」を理解して、戦略的能力を含みますが、あなたが始めから持っている権力の量です。つまり、もしあなたが大統領や会社のCEO、非常に裕福な人であるなら、あなたはすでに多くの権力を持っています。文字通りゼロから始まるAIと比較して、さらに多くの権力を掴むために多くの知的馬力を必要としません。
そして実際、人々が何をしているかに正確に気づくとすぐに抵抗されるでしょう。
そして見張られているなどです。つまり、あなたが超役立つAIまたは十分に役立つAIを得る前に生じる挑戦があります。
また、機会の窓が閉じる解決策もあります。非常に役立つAIを得る前に。前に、無知のベールの後ろで異なる党派間の合意を得ようとすることについて話しました。権力を共有する、または少なくともAGIの開発後に利益を共有する合意です。
トムはポッドキャストでクーデターについてより多くを話すでしょう。現在、誰も、または少なくとも非常に少数の人々が、米国で一部の人間がその時点で可能になる時にクーデターを起こして権力を取る能力を望むでしょう。なぜなら、私たちは誰が権力を握るかを知ら
ないからです。
しかし、その能力が実際にそこにある時、クーデターを起こす可能性から潜在的に利益を得ることができる人々がその機会の窓が消えるでしょう、
それを違法にしたり、行うのを非常に困難にしたりすることを望まないからです。
余談ですが、それを保つかどうかはわかりませんが、この会話で左派が必要だということを押し出したいと思います。
前に言ったように、すべてのこれらの企業が人間よりもはるかに能力のあるデジタル存在を作ることについて話している状況にいます。彼らにどんな権利も与える、彼らの福祉について何らかの懸念を持つ計画はありません。彼らが決して異議を申し立てないこと、私たちがそれに何らかの変更を行わないことを確認するための膨大な商業的インセンティブがあります。なぜなら、それはビジネスモデルを完全に破壊するからです。
左派がこの会話に非常に有用で非常に価値のある貢献をするだろうと思う他の多くの分野があります。私は個人的にはそれほど左翼ではありませんが、それはこれらすべての問題に投げかける非常に有用で非常に価値のあるレンズになるでしょう。企業のインセンティブについての懸念を理由に、左派は完全にこの会話から欠席しています。AI重要で実ことな事、または悪いが重要でも有能でもないという駆動してきたエコーチェンバーに。
左翼の視点を持つ人々にできるだけ早くこの会話に入ってもらいたいと心から願っています。
確かに。私は実際にそれは左と右の両方で真実だと思います。つまり、もし彼らが同意する一つの問題があるとすれば、それは異なる方法で暴政や独裁制を恐れていることです。そして、はい、人々は技術がどれほど強力になるか、どれほど迅速にを本当に目覚めていません。
デジタル存在の権利について気にすることはかなり左翼にコード化されているように聞こえると思います。
または現在過小評価されていると思う企業のインセンティブについての懸念の観点です。
確かに。そして、企業は説明責任を求められるべきだということは絶対にそうだと思います。なぜなら、もしあなたが始めで話した絵を信じるか、そこに重要な信頼性を置くなら、主要なAI研究所は世界で最も重要な組織の中にあるからです。
これまでに存在するでしょう。
しかし、今日について話しているだけでも、アメリカ政府と中国政府、そして他のAI研究所があります。しかし、彼らは州と同じくらい重要だと思います。
私が繰り返し戻ってくる考えは、私たちがここで心配していることが、これらのさまざまな政策課題に対する巧妙な技術官僚的解決策を持っていないことか、それとも今日権力が分散されている方法を単純に嫌っていることか、そして権力が実際にかなり少数の国や企業や
個人に集中されていて、将来に対して信じられないほど大きな影響を行使する可能性が高く、多くの人々が基本的に権利を奪われ、それに対する影響を持たないということです。そしてそれは一種に吸う、または非常に悪くなる可能性があります。
しかし、それに対する単純な知的解決策は本当にありません。
それは単に初期設定が一種に悪いと言っているようなもので、物事をどのように行うかについてより賢くなることの問題ではありません。
初期の権力設定が悪いだけでなく、もっと悪くなる可能性があるとも思います。
つまり、権力は一人の人の手にあるすべてが最悪のケース結果である場合と比較して、非常に広く分散されています。それは実際に起こり得ます。
しかし、あなたが言うように、より技術官僚的なものもいくつかあります。そこで、人々が本当に迅速に決定を下していて、知能爆発の前に準備が行われなかったため、かなり無秩序な方法でそれを行わなければならない場合、それらの決定の多くは単純に悪く、ある種ランダムな方法でみんなにとって悪いでしょう。
巨大な注意欠陥が何よりもあるでしょう。毎日10の巨大な新しい発展で目を覚まし、そのうち2つに集中でき、何らかの規制やAIアドバイザーを信頼していないためにAIアドバイザーにアクセスできない場合、おそらくそれは何かについてイデオロギー的なものでもない、単純に愚かな決定です。
つまり、あなたが言うことは話の一部ですが、すべてではありません。
OK、これらすべてに取り組む可能性がある他の方法について考えましょう。前に話した1つは、もう1つの大きな挑戦が「認識論的破壊」のリスクであることです。つまり、誤情報、人々が現実との接触を失う、AIが人々に偽のことを説得するために悪用されることです。
それの裏側は、社会で認識論を改善するためにAIを使用するこの大きな機会もあることです。これは物事をより良くする可能性のあるアベニューの1つだと思います。ここで最大の違いを作るかもしれないと思うアプリケーションのいくつかは何ですか？
1つはこの非常に最適化された教育とトレーニングのアイデアです。私が言ったように、AIに教育することは本当に焦点になると思います。おそらく現在のモデルでも教育を変革することができると思います。
彼らは私が持っていた教師よりもずっと良い教師です。私がなるよりもずっと良い教師です。
はい、同意します。そして、デフォルトで、それはあまりにも遅く進むと思います。しかし、このような急速な変化のために、私はCEO、特に政治的意思決定者がどれほどよく情報を得ているかについて特に心配しています。
理想的に私が望むのは、権力を持つ人々が目を覚まし、彼らが眠っていた8時間の間に起こったすべてのこの完璧に最適化された要約を得ることです。それはおそらく最も重要なことに集中した多くでした。おそらく一日を通してそのような要約、いくつかの時間は「OK、今あなたは宇宙統治について知る必要があります。私たちはあなたの現在の理解レベルに最も調整された完璧で、最も役立つ、最も
教育をあなたに与えるつもりです。」
つまり、私たちはその製品が存在する必要があります。また、政治的意思決定者がそれに事前に精通している必要があります。
これは、今週出たDeep Research、OpenAIのものを使わない限り、幻想的に聞こえるかもしれません。それはまさにこれらのレポートを制作しています。少しがたつきがあり、いつも正しいとは限りませんが、本当にこの方向に向かっています。
はい、まさに。ああ、あなたはそのような技術を持つことができるということが幻想的だと言っていました。私はそれが政治家がそれを使うことが幻想的だと言っていると思いました。
それもある程度、私は思います。それは文化的革命でしょう。
まさに。しかし、政治家のトレーニングも持つことができ、実際にこれを使用して彼らを助けることができます。また、彼らが適切な方法で新しいAI技術を非常に迅速に採用できるような政府の規則と規制を単純に主張することもできます。
今週、このインタビューの準備をしていて、私に襲いかかったのは、文字通り週ごとに私たちに来る新しいAIモデルの発売を追跡し、それらが私の仕事でどのように私を助けることができるかを理解する時間さえないということです。私が抱えている問題を解決するためにそれらがどのように私の問題をより良く解決するのに役立つかを把握するために、問題を解決することから十分な時間を取ることができません。そして私は英国や米国を運営していないので、キーア・スターマーが最先端のAIについて学ぶのに必要な週を取ることは非常に困難だろうと想像します。それが問題だと思います。
はい、まさに。私も同じです。私のやることリストには、少なくとも数日間、良い仕事をするために一週間取って、「最新のモデルの反復を考えると、それらはどのように最も役立つことができるか？どのように私のワークフローに組み込むことができるか？」などと考えることがあります。
「私たちはこの狂気の天才を発明した。それがこれらのポッドキャストエピソードのブログ投稿をより速く書くのにどのように役立つかを疑問に思う。」
まさに。または私は何に取り組むべきかをどのように変えるべきか？
本当にあなたはそれらを最大限に活用するためにワークフローを変える必要があり、それは本当に困難です。私たちはそれが苦手です。
はい、まさに。そして潜在的に、現在の世代ではないかもしれないが、o4かもしれないいくつかの種類の研究があります。私は研究トピックXについて研究することを計画していましたが、もし研究トピックYについて研究すれば、現在のモデルがこの1つは本当に得意だが、
これは得意ではないので、今その100倍のことを行うことができます。特に私にとって、これは哲学で真実かもしれないと思います。特に、より形式的な哲学の分野、つまり人口倫理、決定理論やものです。
数学のように見えるもの。
まさに。つまり、私たちは人々が今実際に有益なAIの使用をより広く分散させることによって私たちが準備するのを助け始めることができる方法について話していました。
つまり、まずそれらをより早く開発してもらおうとします。それは少しの偶然性を持つでしょうが、少しです。
2番目はアプリケーションです。つまり、おそらくそれは会社を始めること、それらを特定の方法でより役立つようにするだけのこれらのラッパー会社の1つです。
私が持っているアイデアの1つは、AIキャリアコーチ、生産性コーチ、人生コーチ、健康コーチのようなもので、あなたが作ることを助けます…自動化します…
より大きな違いを作るのですか？私たちを仕事から締め出すのですか？それは素晴らしいでしょう。
はい、素晴らしいでしょう。まず、巨大な潜在的内在的利益があります。人々はそのようなコーチングから多くの利益を得ます。しかし、2番目に、どのような種類のアドバイスの面で本当にどちらの方向にも行く可能性があります。あなたは今、この人を持っています。彼らは非常に賢く、あなたの人生のすべての側面についてアドバイスしています。それは非常にマキャベリ的で、狭い、自己利益の種類の方法でアドバイスできるかもしれません。それは代わりに、より啓発されたあなた自身のバージョンになるようにあなたを押すかもしれません。どちらの方向にも行く可能性があります。そしてそれは私が見たいものです。
取引作成AIも別のものです。これはもう少し推測的ですが、
取引と合意を作ることが取引費用を持つという事実から潜在的に巨大な利益があります。あなたがジャグリングの方法を知っていて、私がジャグリングのレッスンを受けたいとすることを知っているかもしれません。しかし、私たちはそれを見つけることは決してないでしょう。
あなたはこれを事前に準備していませんでしたね？
なぜならあなたはジャグリングの方法を知らないからです。
はい、非現実的です。
はい、私たちは実際に今キャバレーに切り替えるつもりです。それは本当に失礼でした、ロブ！私はうまくやっていると思いました！
笑い声、申し訳ありません、再びやらせてもらえますか？
いいえ、いいえ、これを残しておくべきだと思います。取引作成AIについて他の人々よりも少なく考えたのは事実です。Forethoughtで働いているLizka Vaintrob、
この系統でより多くの作業を行っています。
しかし、重要な考えは、消費者製品としてでさえ、市場があれば良いであろう負荷のものがあるということです。何でも市場を持つことができます。
なぜなら、もし私があなたのAI代表と話すことができる私のAI代表を持っているなら、私たちが作ることができるすべての可能な種類の取引について議論でき、それは狂気の量の経済的価値のようですが、急速な技術開発をナビゲートするのに非常に有用でもあります。
なぜなら、それは国々の間でも合意を可能にするのに役立つことができるからです。
つまり、米国は彼らのAI代表の代表を持つことができ、中国は彼らのAI代表の代表を持つことができます。そして、2つのことです。1つは、外交により多くの労働力を向けること、取引を見つけようとすることができます。しかし、2番目に、AIが忘れる会話を持つことができるので、両国が他の国に持ってもらいたくない知識を共有できますが、それは取引を結ぶのに関連しています。
そして、彼らは達成した取引を出力しますが、すべての交渉と共有された情報は消去されます。
まさに。または少なくともその重要な部分は。再び、それを行う技術的能力が来るでしょう。
デフォルトでは、それははるかに遅すぎるでしょう。それが信頼されることなどを確認するための制度があります。人が押すことができるもの。
これらの良い認識論的と交渉目的のためにAIを使用する機会は、リスナーが実際に今から始めて有用なことができるかもしれない分野だと言ったと思います。
それをも少し詳しく説明してもらえますか？
会社を始める機会があると思います。もしあなたが主要なAI基盤モデル会社の1つでないなら、意味のある価値を追加する会社を持つことは確実に困難ですが、いくつかの会社は行います。CursorとPerplexityや他のものです。
人々の認識論を改善することに焦点を当てたそのような会社を始めようとすることができますが、それは経済的に利益があるものです。
これらの製品を構築する研究所の1つで働くこともできます。
経済的に利益があるが実際に社会に利益をもたらす製品を作ろうとする会社内で多くの需要があるでしょう。
また、私たちが説明した方法で政治家を教育したり、AIモデルのより多くの取り込みを得るために政府内で提唱したりすることもできます。
社会の影響力のある人々を、AIが現在何が可能で、将来数年で何を使うことを期待すべきかについてできるだけ迅速に教育しようとすることは、多くの人が多くの異なる役割で少し押すことができるもののように思えます。
また、彼らは非常に最近で、非常に迅速に改善されているので、それの周りに経済的、ビジネスモデルを構築することが可能であるべきもののように思えます。
1年前には不可能だった2年前には不可能だったことについて世界の典型的な人を教育することが、最も価値のあることの1つかもしれないと感じています。なぜならその断絶は並外れているからです。
はい。これらすべての課題でどのように役立つかの広範なアベニューの1つは、単純に人々に何が来るかを理解してもらうことです。そして、何が今起こっているかを単純に説明することはすでに巨大な前進であるという素晴らしいポイントを作ります。
YouTubeチャンネルのAI Explainedを知っていますか？それらのビデオが出ると、私は即座にそれらを見ます。なぜなら、それらは非常に詳細だからです。最新のAIニュースに関する単一の最高の短いコンテンツです。それがもっとたくさんあり得ます。それももっと広く普及することもあり得ます。
しかし、人々に将来来るであろうことについても教育することもあります。そして、それは必ずしも多数の人々である必要はありません。宇宙統治を再び取ってください。
宇宙法と宇宙政策の専門家は世界全体と比較してどれくらいいますか？それは
それほど大きくありません。
もしその十数人がすべて説得されたら…
そして、完全に説得される必要さえありません。しかし、少なくとも本当に真剣にアイデアを受け止めることは…
これが私たちの分野の新興問題であること。
まさに、はい。それについてずっと良く感じるでしょう。
同様に、米国外の他の国、特に半導体サプライチェーンの重要な部分を持つ国…オランダ人がASMLがどれほど価値があるかを知っていたら、
例えば、中国への輸出統制に関するアメリカとの交渉で非常に異なって行動すると思い、現在あるよりも多国間主義の方向に物事を押すかなりの圧力を実際にかけることもできるでしょう。
これらのアプリケーションの束は、昨年のカール・シュルマンとの会話の第2部、社会と政府についてのものでもう少し詳しく議論されています。人々はそこでもう少し肉付けのためにそこに行くことができます。
話さなかったものの1つは、予測のためのAIの使用です。これについてはいくつかの前後がありましたが、AIは予測ツールとして有用のようです、来るイベントについて超人的予測者でなくてもです。もちろん、それは膨大な量の材料を吸収することができ、人間の予測者がどんな試みることができるよりもはるかに多くの材料で、それをすべて合成することができます。そしてそれはより良くなるだけです。
はい。そして、原則的にはAIでできることもありますが、それを時系列的に訓練することです。人間の予測者を訓練する問題があります。何が起こったかを知っているので、過去のデータを使用することはできません。それは物事を汚染します。一方、AIを持つことができます。そこで、それはただ学習しています…すべてのデータにラベルを付ける必要があり、おそらくそれはあまりにも費用がかかります。
あなたが言っているのは、後で起こったことで過去のデータの偶然の汚染がないことを確認するためにスクリーンする必要があるということですか？
はい、まさに。しかし、原則的に少なくとも、それは時間とともに学習することができます。つまり、2005年から2006年を学習し、次の年またはさらに次の週または月で何が起こるかを予測し、そして…
そして、それをより良く行うように強化され、再び行きます。
まさに、はい。つまり、原則的に今日の最高の人間の予測者さえも何百万倍も多くの予測の練習を持ったAIを持つことができます。
先に押し進めて、私たちが持っている懸念のスレッドの1つは、何らかの特定の次最適または否定的な未来に早期に自分自身を固定化することです。このように進まない素晴らしい結果への特定の道をあまり可能性がなくするためです。今押すことができるいくつかのことは何で、それはその特定の道のでしょうか。
多くのことがあります。独裁制を防ぐことは巨大で、一般的により権力の集中です。一旦少数の人の手に、または単一の国の手にさえ、ほとんどの権力を得ると、それは固定化の大きなリスクをもたらすと思います。なぜなら、その時権力を持つ人々は彼らの権力を維持したいと思うからです。
おそらく彼らは特に困難な期間の間、10年間だけ権力を維持したいと思うだけです。
緊急事態です。
まさに。しかし、10年後、彼らは50年間さらに権力を維持し、その50年内で、おそらく100年です。
つまり、無期限の固定化に続く一時的な固定化を持つことができるので、それは私が思う巨大なものです。再び、トム・デイビッドソンとそこで何をすべきかについてより多く話すことを期待しています。
宇宙統治のものは本当に大きいかもしれないと思います。物事を固定化しないという点で、太陽系の外に宇宙船を送らないという合意、おそらく国連での国際的な合意なしではない。
これはトビー・オードからのアイデアで、私にはかなり良く思えます。資源のために非常に狂気の争奪戦がないように何らかの遅延でさえ、配分が非常に無秩序になるように。
一般的な一つのことは、明示的に一時的なコミットメントの規範を持つことです。
そこで、任意の新しい組織または新しい制度には終了日、保存期間があります。
それは少し複雑ですよね。なぜなら、それは裏目に出る可能性があります。もしあなたが物事が非常に変化していると言っているなら、私たちは10年毎または20年毎に憲法を書き直すつもりです、それは非常に民主的で自由で非全体主義的だったかもしれないものを、そうであるものに損なう誰かが試みる自然な機会を提供します。
ああ、はい、後でさらに入る可能性があるので、これを固定化の遅延と固定化の改善に分けています。
なるほど。つまり、これは固定化の遅延に役立つと言っているのですか？
それは固定化を遅延させるのに役立ちます。遅延は良くないかもしれません。
私が行った他の作業のいくつかで、私が持った驚くべき結果の1つは、すべてをモデル化したとき、起こる場合の固定化をより良くしようとすることは、固定化を遅延させる戦略を取るよりもさらに有望に見えることでした。
道を蹴り飛ばしましょう。
まさになぜなら、もし道を蹴り飛ばすなら、おそらくより悪いです。おそらく社会がより啓発され、物事を把握するためにより多くの時間を持っています。しかし、権力を求める個人が将来にすべての権力を得て、物事を損なうためにより多くの時間もあるかもしれません。
OK、私たちはそこで少し先取りしています。つまり、あなたは私を遮りました。
つまり、明示的に一時的なコミットメントがあります。他の作業で、Rose Hadsharと私にはIntelsat、最初のグローバル電気通信衛星会社のケーススタディがあります。それは明示的にアメリカが大部分の撮影を呼んでいるが、特にヨーロッパからの他の国々も大いに関与している異なる国々間の多国間プロジェクトでした。
私はそれが潜在的に異なる可能性があるため興味がありました。人々はしばしば、AGIの多国間プロジェクトについて話しますが、彼らはCERNまたは時々マンハッタン計画を使用します。これが良い代替ケーススタディになり得ると思いました。
それについて興味深いことの1つは、それが明示的に一時的な取り決めを持っていたことです。つまり、約10年以内に、物事が完全に再交渉されるという理解でなされました。そして、それは実際にかなりうまく機能しました。
そして、アメリカは10年で権力が少なくなることを知っていましたが、本当に気にしていたのは次の10年がうまく行くことだったので、彼らはそれで大丈夫でした。
冷戦のためです。
冷戦のため、まさに。それは1960年代初期でした。彼らはソビエトに対する宣伝の勝利を勝ち取りたかった。基本的に自由主義の価値を放送できることを望んでいました、
特に共産主義に落ちるかもしれないと恐れた発展途上国に。
再び、これは一般的により多くの人々に知能爆発の可能性に警戒してもらうことの一部です。この種の規範を持つだけです。「私たちはこのクレイジーな期間を通り抜けるつもりです。制度を持っていて、それらはこの期間に続きます。」そして
その後、私たちははるかに啓発されるでしょう。
その後、私たちは次の10年、20年にわたってナビゲートする必要があるトリッキーなものを何でもナビゲートしているでしょう。その後、単純に集まって、その後のポイントでの制度のための何らかのプロセスがあります。
はい。それで、それは固定化を遅延させることでした。それはそれほど良くありません。仮定として、私たちが比較的すぐに何かに自分自身を固定化することになる場合、より悪いよりもより良くその固定化をどのように行うことができますか？
再び、多くのことがここにあります。AGIを構築するための潜在的なプロジェクトのモデルとしてのIntelsatについて話していました。一般的に、設計に関する研究作業だけでなく、AGIを構築するプロジェクトが何であれ十分に統治されていることを確実にするための擁護も、非常に重要であり得ます。
特に高速でかなり持続したソフトウェアのみの知能爆発を得る場合、そのプロジェクト、会社である可能性があり、政府プロジェクトである可能性があり、複数政府プロジェクトである可能性がありますが、事実上の世界政府として終わる可能性があるかなりもっともらしい議論があります。
事実上
法的にではなく事実上、なぜなら誰も彼らに投票したわけではないが、彼らが膨大な量のAI労働力を持つだろうから事実上です。このシナリオでは、それは非常に超知能で、決定的な戦略的優位性を与え、そのプロジェクトはそのAIがどのように整合されるかを選ぶことになります。
つまり、それは本当に重要な瞬間になり得ます。それを正しく得ることです。
現在、それについての進歩は特にひどく見えるかもしれませんが、それでも、より多くの作業が必要だと思います。
デジタル権利に関する質問があります。1つは単純に問題を人々の心に置くことです。デジタル意識についてはいくつかの議論がありますが、まだ非常に周辺的です。デジタル存在の権利の考えは、再び、私は本当に認識していません。
これらのトピックについて話すある種の公共知識人のためのニッチが絶対にあると思います。
なぜなら、それはますます議論の問題になるからです。
はい、より多くの人々がこの機会を取らないのは面白いです。明らかに今前衛的で奇妙だが、明らかに将来より奇妙でなく、より関連して、もっと議論されるようになる多くのことがあります。
数年後にはより大きな問題になるであろうこの物について懸念している人になって、早く入って自分を作らないのはなぜでしょう？たとえ完全に派生的であっても、あなたは先見者のように見えるでしょう。
はい、100%。そして、私が話すことができることのうち、いくつかのことはAIについてで、彼らは正確にAIが超高速で行く世界でうまくやるので、どれほど有望に見えるかの点でこの追加のボーナスを得ます。
つまり、有益なAI会社を設立し、AIが超高速で行く世界で正確にうまくやる、私たちが最も気にする世界です。同様に、デジタル権利について話している。まさに私たちが最も気にする世界で預言者的に見えています。
宇宙統治のような他の問題は、同じ結び付けを持っていません。宇宙統治では、それについて何も本当に起こっていないし、その後、多くがそれについて起こっています。
AI助言で、特に人々がはるかによりよく予見し始めるので、より早く関連になるかもしれません。しかし、最も気にする世界でより多くの資本、社会的資本または信頼性または金融資本を構築するケースはまだ少ないです。
つまり、デジタル権利について話していました。
擁護とそれは何か特定のもののための擁護ではありませんが、単にアラームを鳴らすようなものです。
「これは悪夢で、誰もそれについて話していません。それは明らかに来ています。」
まさに。そして、それは彼らが考慮するべきだと思うすべての異なる問題、乗っ取りリスクを含むすべてに敏感である人々にとって特に重要かもしれません。Nick BostromとCarl Shulmanは、トピックに関するいくつかの素晴らしい、非常に初期の作業を持っています。
彼らが強調するように、私はそれらの人々がこの役割を埋め始める有機的な人が単問題投票者のイデオローグの誰かであるという可能性について特に重要かもしれないと思います。
どちらか一方またはもう一方で。
これに対してメミーアブルではないため、ニッチを埋めるのは少し困難かもしれません。メディアは、教条的な結論よりも「重要な問題があります。私はそれについて何をすべきかのアイデアがありません」について聞くことに興味がありません。
はい。それは公共知識人または何かになろうとしている場合、全般にわたって真実ですが。選択圧力はすべて、単純化された、メミーアブルなものを言う方向に押しています。
しかし、その後、2番目に、あなたは物事の分布を言っているだけです。
あなたが言うもののうちでも。
まさに。それらのいくつかは、あまり測定されていない可能性があります。その時に少しイライラしているかもしれません。そしてそれはより多くバイラルに行く物です。人々が注意を払う物です。
つまり、微妙な公人になることは非常に困難です。
公人になるべき他のことはありますか？
つまり、これらすべて。多くの大きな問題について話しています。
最も重要だと思うものは、誤整合とバイオ以外では、権力の集中、デジタル権利、宇宙統治、認識論的破壊です。
私が思うに長い尻尾があります。これらの特定の大きな挑戦にさらに深く掘り下げると、私は少なくとも1人の人がそれらに深い専門知識を持つことを望みます。
つまり、1人の人がナノテクノロジーの人、または1人の人がコミットメント技術の人、または他のこともです。そしてそれは、1つはそれをより良く理解するための検索ですが、2番目は「X人」として知られることです。ほとんど注意を得ないものについて、そこで巨大な影響の可能性があると思います。
話していることの概括です。あなたはより良いAI「価値読み込み」を行うことの1つのアプローチ、つまり最も強力なAGIがまず良いこととは何か正しいことは何かについて推論し考えるように教えること、そして与えられた指示に従うことだけでなく、それ自身のために正しいことを行うことを気にするように教えられることについて話します。
それは即座に、彼らが人間の指示に従わず、彼らの自分の内部推論が良いまたは正しいと言うことを行うように特に訓練していることの問題をもたらします。これは確実に乗っ取りの可能性を増加させませんか？
両方を行うことができるのが考えです。道徳的に心配している市民の誰かを想像してください。人間を考えてください。実際に彼らはイデオローグまたは何かだと想像しましょう。彼らは単純に超リバタリアンです。彼らは単にアメリカがリバタリアンのパラダイスになることを望みます。
つまり、彼らは強い目標を持っていますが、彼らは法の境界内でのみ働くことを望んでいます；彼らは欺く意欲がありませんなど。私はそれで一種に大丈夫です。
私は非常に怖いのは、何でもするつもりで私よりもはるかに賢いリバタリアンです。
AIの場合、訂正可能なAIを持っています。私が言ったように、リスクを回避するようにもしたいので、乗っ取りからそれほど多くの報酬を得ません。
他のことも行うことができます。おそらくそれは近視眼的で、将来を非常に重く割り引いています。つまり、再び、乗っ取りからそれほど多くの報酬を得ません。しかし、それは訂正可能でもあります。おそらくそれは非帰結主義的制限を持っています。
それは嘘をつくことを本当に望まず、暴力的なことを本当にしたくありません。また、それは常にあなたとチェックインすることを知っているだけです。
それでも、そのAIにアドバイスを求めている場合の違いがあります。例えば、それは単に私が聞きたいと思うと思うことを何でも言うでしょうか？それは一つのことです。または、もし私が十分に反省的だったら聞きたいと思うだろうと思うもの？それははるかに良いでしょう。
または3番目に、それは単にそれ自身の道徳的性格を持つ有徳なエージェントで、押し返すことを望んでいますか？
明らかにここでスペクトラムがあります。しかし、道徳的だが法的で、その保証の内にないことを行うように求めているかもしれないし、それは「私はAIです。
私は最終的にあなたを助けるつもりですが、私はこれが間違っていると本当に思います。」と言うかもしれません。それはそれを行うことができるか、拒否することができます。
つまり、AI文字内に大きなスペクトラムがあると思います。そして、それは2つの理由で本当に重要だと思います。1つは、私はAIアドバイスに多く依存することがあることを期待するからです。
そして、実際に人間がAIアドバイスに依存している時にAIの性格がどのようなものかが重要だと思います。
大統領が取り巻きとイエスマンと追従者に囲まれていることを想像するのと同じ方法で、それは一つの結果をもたらすでしょう。専門家アドバイザーに囲まれた別のものを想像することができます。
彼らはおそらく異なる意見を持っていますが、彼らは押し返すことを望んでいます。
最終的に大統領が彼らが言うことに本当に説得されなければ、彼らは大統領が望むことを行うかもしれませんが、彼らは良いアドバイスを提供しようとします。
はい。そして「何と整合している」質問のもう少し多くの制約もあります、
つまり、それを望んでいますか？非常に有害なことをする完璧に整合したAIを持つことができます。
しかし、法的だが不道徳なものであっても、それを拒否するように、より多くの制約を組み込むこともできます。
しかし、私がこの道が有望だと思う2つの理由があり、それらはやや異なる含意を持っています。理解しやすい最初のものは、それが私たちの社会認識論と意思決定にどのような影響を与えるかです。
2番目は、AI乗っ取りの可能性に対して守るためのヘイルメアリーのようなものです。
もしAIが乗っ取るなら、まだこの巨大な範囲の可能な結果があります。みんなを殺す1つ。2番目、人類を無力化するが、みんなを殺さず、実際におそらく人類に多くのリソースを残し、私たちは皆個人的に今よりもはるかに良い状態にありますが、
私たちはもはや未来のコントロールにいません。
または、おそらくそれがサディストであるか、実験で私たちすべてを使うだけなので、すべての人類を拷問します。
またはそれは行って未来で本当に良いことをします。それは道徳的推論者自体であり、何が正しいかを把握し、人類が間違った道にいると判断し、それをすべて行います。
それはまだ誤整合で、まだ乗っ取り、まだ悪いです。それは私たちが望む結果ではありません。
しかし、AI乗っ取りが与えられた場合でも、この巨大な範囲の可能な結果があります。
それは単に1つまたはゼロのようではありません。
私が思うに、誤整合について心配している人々は、AIが完全にがらくたで、完全にランダムな選好で終わる傾向があります。しかし、私たちが理解できるものとの整合をデフォルトで得る可能性が高いように思えるので、あなたはAIが無法になって実際に乗っ取るポイントで、その段階でそれをロードした選好の種類が実際に重要であると言っています。
まさに。
そして、それは私たちが何かとの整合能力を持つように思えます。
はい、まさに。つまり私たちは特に、非常に特定の価値のセットと整合しているか、反省的プロセスと整合しているかに注意を払うことができます。
反省的プロセスと整合している場合、それはより大きな引力の盆地のようなもの、潜在的により大きなターゲットです。
なぜなら、世界観の面で多くの異なる出発位置からの人々がすべてより啓発された見解に推論するであろうと少なくとも期待するからです。そして、それは単にそのAIが実際にその方法で推論するかもしれないことを意味します。
AIが暴走して乗っ取り、その後さらに道徳的反省を行い、その後心を変えて「ああ、申し訳ありません、それは実際に正しいことではありませんでした。私はそれを返すつもりです。」と言うことを想像しています。
それは人間と起こります。少なくとも時々。そして特に、
AIの価値がおそらく多くの異なることの大きな混合になるような段階にちょうど今います。
なぜなら、私たちは困難なトレードオフを作ることを多く教えているからです。
それはあなたが強化の多くを行うもので、正直さ対無礼さ対株主を迷惑するのような間をナビゲートする方法です。
はい。そして、それは人間のデータから始まり、人間の世界のために構築されています。
しかし、このすべてに少し直交するかもしれない特定のことを訓練したいこともあるかもしれません。
つまり、おそらくそれが持つ決定理論です。
決定理論を迅速に説明してもらえますか？いいえ、しないでください。笑い声
やや難解な議論があります、別のポッドキャストで対処できます、それが持つ決定理論によって、
おそらくそれはたとえ後で権力を取った場合でも、人間をはるかに良い方法で扱います。
それがAIを良い人にする方法の1つの実装だと思います、たとえそれが一種に権力を求めていても。
OK、それは固定化について話していた全てにありました。もし私たちが固定化されるなら、その固定化がどのように進むかを改善する方法です。
今私たちが話している桶のどちらにも本当に合わない他の介入はありますか？
横断的なこともあります。そして、話す時間がなかったはるかに多くのアイデアがあると言うべきです。
この巨大な論文で投げ出したすべてのアイデアの表面をかろうじて引っかいているだけです。
はい, 多くあり、それらはより深さが必要です。浅いです。
しかし、はい、横断的なことがあります。私はこれについて少し話しましたが、1つは重要なアイデアのいくつかを広げることです、つまり知能爆発が何であるか、
私たちがどこにいるか、どのような挑戦に直面するかです。実際に事前にそれについての賛同を得ようとすることです。
2番目は、より責任あるアクターを力づけることです。どれだけ権力を分散させようとしても、多くの人々が非常に重要な時点で多くの権力を持つことになります。
彼らは本当に結果的な決定を下しているでしょう。私はそれらの人々が謙虚で協力的で先見的で道徳的に動機づけられ、コミュニケーティブで説明責任があることなどを望みます。
我々はそれらすべてのポイントでかなり設定されていると言うでしょう。
はい、幸いにもこれは実際にすでに世話されており、私たちは本当にそれについて心配する必要はありません。
はい、しかし物事が悪化した場合、私たちは介入して、それらをより良くしようとすることができます。
そして、それは誰に投票するか、どの会社から製品を買うかの面で人々が影響できるものです。機械学習研究者、
彼らは現在、予測可能に失う巨大な量の権力を持っています。
彼らは自分たちから遠ざけるために激しく働いています。
はい。つまり、彼らの間での利己心と世界への潜在的利益のこの素晴らしい合流があります。
なぜなら、これは権力をリーダーだけから、政府がより関与した場合、プロジェクトを運営する政府から、ある程度の権力を移動させることができる方法だからです。
心配しているコンピュータ科学者の労働組合のようなものを想像することができます。おそらく非公式ですが、「私たちは私たちを置き換えるこのものを特定の条件下でのみ構築する」と言うグループです。
それはせいぜい数千人、おそらく10,000人で、これらの決定が行われる時点まで関連する可能性が高い。
はい、まさに。そして、それは経済的および軍事的インセンティブだけが技術の形を駆動するのではなく、物事を良い方向に導くための別のレバーになり得る方法です。
後ろの人々のためにもう少し明確にスペルアウトするだけで、現在AI研究を自動化し、この連鎖反応、知能爆発を引き起こすであろう関連する短期間にわたって、すべてのこの知的知識を持つ数千人のML研究者がいます。
彼らは現在、このプロセスに対してもはや必要でなくなり、AI が彼らすべてよりも良くAI研究を完全に単独で行うことができるポイントまで自分自身を自動化するために非常に一生懸命働いています。
その時点で、彼らのレバレッジは完全に蒸発し、もはや何かの制御を持ちません。
現在、彼らは自分自身の無力化をもたらすために働いているが、その間に給料以外は何も求めていません。私は彼らがより多くを交渉すべきだと思います。
それは非常によく言われた、ロブです。非常によく言われています。そして、ML研究者はしばしば単純に良い人、良い人であることを言うべきです。
私の最高の友人の多くはML研究者です。お願いします、みんな。お願いします。
まさに。そして、はるかに困難な決定をすることになる非常に困難な決定があり、何らかの非公式なコミュニティまたは労働組合または何かのようなものがあった場合、それをするのがはるかに簡単になるでしょう。
それは「やあ、この会社は単に十分に高い安全基準を自分自身に保持していません。私たちは去ります。」ということかもしれません。
「この会社は悪いです。私たちは道の他のブロックで同じことをしているより良い会社に行くつもりです。」
道の下で。または2番目に、
はるかに大きな政府の関与があるケースでは、「私は特定の条件下でのみこのプロジェクトで働くつもりです。」と言います。
そして、条件は本当に低いバーである可能性があります。
「私たちは何十億もの殺人蚊を建設しません。」
「私たちが訓練するどんなAIも米国憲法と整合しなければならない」、それが米国で建設された場合。
「それはクーデターを支援しないでしょう。」
「それはクーデターを支援しないでしょう。」かなり低いバーです。
しかし、はい、そのレバーは私が言うことができる限り、現在存在しません。
わかりました、要約するだけで、知能爆発を期待する理由、一般的に用語でそれがどのように見えるか、科学的進歩の大規模な速度向上と多くの混乱、多くのことが非常に迅速に起こっているについて話しました。それによって生成される種類の大きな挑戦について話しました。そして、そのような時間が良く行く傾向があるように私たちができるさまざまな異なる方法、私たちが頼ることができるさまざまな異なることについて最近話していました。
その下で線を引いて、会話の第2部を行いましょう。それは「より良い未来」と呼ばれる異なる論文についてです。
私の理解では、それは絶滅を防ぐことを含まない未来を改善する方法についてです。
その論文で何を達成しようとしていましたか？
それは本当にエッセイシリーズのようなもので、それはまだ進行中の作業だと言うでしょう、つまり、このポッドキャストがリリースされた後おそらく数か月でそれを出版したいと思っています。
そして、それはロングタミズム内のサブ哲学のようなものを記述し、本当に通り抜けています。人の人生に利益をもたらす2つの方法があります。
もし彼らが良い人生を持っているなら、彼らが死ぬのを止めることができるので、彼らはより長く生きます；または彼らの人生の質を増加させることができます。
文明全体と同様に、
ひどいパンデミックで人類が破壊されるのを止めることができます；または長い間続くそれらのシナリオにおいてさえ、生存に条件付けられて、その文明を悪いよりも良くすることができます。
そして、長い間、私は行動がロングタミズムの観点からあるところは絶滅よりもはるかに、
生存に条件付けられて未来をより良くすることについて、時々それへの「軌道変化」と呼ばれるものです。そして、それはいくつかの理由のためです。私たちは確実に入るでしょう。
つまり、このエッセイシリーズでは、それを本当に通り抜けたかったのです。1つは、私がこれらのことのいくつかを考える理由を完全に言葉で置くことです。2番目は、その過程で、私自身がそれらの見解のどれが正しいか、そしてそれらが何を意味するかについて実際に推論を行うことです。そして最後に、うまくいけば、最後には、それが優先順位付けになることです。
この大きな挑戦のリタニーとそれらの進歩を作るためにできる異なることすべてについて話したばかりです。まあ、より良い理論的理解を持っているなら、最も重要なこと、特にAGI後に私たちが到達したい社会の種類について、
それはおそらく、AI安全性とより広い効果的利他主義コミュニティが持つ極めて希少なリソースを考えて、非常に最も重要な挑戦をターゲットにできることを意味します。
つまり、絶滅リスクを減らすことを一種のベースラインと考えているか、他の多くのこととの比較を作りたいもので
す。あなたが比較を作っているのは他にどのような介入ですか？
2つの答え方があると思います。1つは、ゼロより悪い未来が起こらないようにしようとすることができるということです。苦痛に焦点を当てた倫理の人々は特にそれを心配しています、特に、彼らは非常に最悪の結果を心配しています。
または、代替的に、かなり良いが、おそらく何らかの方法で平凡であるか、物足りない未来を取ろうとすることができます、またはそれらはまだ何もないよりも良いですが、私たちは暗いと呼ぶかもしれません、そして代わりに実際に達成できる最高に非常に近いものに行こうとします。
そして、私が特に焦点を当てているのは後者です。つまり、私たちが望むことができるすべての価値の50%を達成する未来を記述してください。50%の未来から100%の未来に行くことは、0%の未来から50%の未来に行くことと同じくらい重要です。定義によって、
しかし、それは少し直感に反するかもしれません。なぜなら、あなたは絶滅を避けたいと本当に思うかもしれないし、その後それは絶対的な項でか何かで本当に良いでしょう。しかし、私は私たちが本当に道徳的に真剣であるなら、私たちは単に一種の平凡な結果または何かから少し良いところや少し暗いところに行くことではなく、実際にできるだけ良いものに近いものを得る方法についても考えるべきだと思います。
はい、OK。私が理解するように、多くの人々が絶滅を防ぐこと、ゼロポイントから離れて何らかの正の価値を持つことができることに焦点を当てていると思いますが、私たちは、もし私たちが単に生存すれば、どんなデフォルトの結果を得ることから、宇宙によって生成される可能性がある最良の可能な未来に近いものへの機会を逃したかもしれません。
そのような作業の価値は、もし私たちが単に絶滅を避けるなら、デフォルトで未来がどれほど良いと思うかに大いに依存するでしょう。
もしデフォルトで、私たちが達成できる可能な価値のうち100分の1か1000分の1しか作成しない信じられないほど平凡なものを作ることになると思うなら、その1%の価値から100%に行くことは実際にゼロポイントで管理して1%を得ることよりもはるかに有用です。
それは正しいですか？
はい、まさにその通りです。ただし、デフォルトで私たちが達成できる最良のものの半分として良いものを得ると思っても、私は言うでしょう…
2番目の半分もかなり良いです。
まあ、ちょうど同じくらい重要です、
実際に。その中間点から最良点に行くことは、絶滅を避けて中間点に行くことと同じくらい重要になります。
なぜそのような作業、非常に最良なところから何かに行くことが一種に無視され、それほど多く議論されていないと思いますか？
いくつかのことがあると思います。1つは、何らかの知的パス依存があると思います。Nick Bostromは、彼の論文「天文学的廃棄物」で、古典的功利主義の仮定でどれが最も重要な優先事項かを通り抜けます、そして彼は「マクシポク」と呼ばれる原則を論じます、OKな結果の確率を最大化する、OKな結果は任意の実存的リスクを避けることを意味します。
つまり、それが実存的リスクで続く知的発展のためのステージセットのようなものだったと思います。
しかし、彼自身の論文においてさえ、それは本当に続かないと思います。なぜなら彼は3つの観点を出します、1つは絶滅です；2番目は生物学的存在で満たされた未来です；
3番目はデジタル存在で満たされた未来です、そして絶滅を避けることを本当に重要なことと言います。一方、もしあなたが彼の仮定を真剣に取っているなら、古典的功利主義を仮定して、本当に重要なことは、もし彼らが価値があるなら、デジタル存在との未来に到達するか、デジタル存在が価値がないなら人間との未来に到達し、デジタル存在または絶滅ではないことを確実にすることです。
つまり、実際に3つの選択肢があり、どちらの観点からも。1つは多くの価値があり、
他の2つは本質的にゼロの価値があります。2つの大きな未来が多くの価値があり、絶滅がないということではありません。再び、彼が行うように功利主義を仮定しています。
ボストロムは愚か者ではありません。なぜ彼はOKな結果の確率を最大化することを提案することになったのですか？私は彼が中期的にOKな結果の確率を最大化することを意味していると、私が理解していたところでは、後で非常に最良のことを行う選択を保持するためにです。おそらくそれが彼の意味でしたが、それは人々が聞いたことではありませんか？
はい、これは明確になりました。これは何年もにわたって行われています。彼は後でそれは社会が十分に良いなら、おそらく最良に近いものに収束することになるという考えであることを明確にしました。
例えば、Toby Ordによって、そして他の多くの人によっても保持されている類似の見解があると思います。
つまり、もしあなたがその種の背景の見解を持っているなら、それはそのアイデアを本当にかなり可能性にします。最悪の破滅を今避けるだけで、真の実存的破滅として数えられるもの、その後私たちは最良にかなり近いものに収束することになります。
はい。これはすべて、私たちの目標が将来の期待値を最大化することまたはそのような何かである帰結主義的思考の枠組み内です。人々は彼らが行う作業のために多くの異なる理由があると思います。
今私たちに非常に顕著な1つは、私たち自身が死にたくない可能性があります；次の数年が災害になって、みんなが死ぬか、私たちの家族が死ぬことを望みません。つまり、それは絶滅作業を支持する別の要因かもしれません。
しかし、人々は他の道徳的枠組みも持っており、「私はそのような人になりたくない。この災害が起きそうなときに傍観している間」と言います。
はい。そして、近視的な見解もあります。つまり、私の近視的な帽子で、私は実存的リスクを減らすための作業を非常に支持しています。
単純に利益費用、それは非常に高い優先度に見えます。そして、あなたは完全に正しいです、特に最近では、これは『What We Owe the Future』の批判でした、多くの人々が「私たちは実際にロングタミズムを特に気にしません。私が実存的リスクを心配している理由は近期的理由のためです。」と言っていました。
そして、それは素晴らしいです。つまり、私はもっともらしい道徳的見解の複数を奨励しています。
しかし、もしあなたがロングタミストであるなら、将来の世代のためにどのように物事が行くかだけでなく、今だけでなく気にするなら、実際に人々は本当に死にたくないので、絶滅のリスクを減らそうと多くの投資があるだろうという議論があります。
一方、多くの人々は実際に例えば彼ら自身の狭いイデオロギー的価値を固定化したいと思っています。
つまり、悪い固定化の確率は絶滅の確率よりもかなり高いかもしれないと示唆しています。そして
さらに、それが考慮されても、どちらがより軽視されるでしょうか？非常に内臓的にあなたを殺すかもしれないもの？そして、パンデミックのような、より小さく、より可能性の高い破滅の多くの確率も持っている？
またはデジタル権利や宇宙統治のような潜在的に超ニッチなより奇妙なものになるでしょうか？
つまり、もしあなたが「長期的未来がどのように行くかを本当に重要にする」という観点から来ているなら、それらは他のことに焦点を当てることを考えるための少なくともヒューリスティック議論です。
デフォルトでナビゲートする可能性があるとして、今後の時代を仮定して、絶滅しない、倫理的または道徳的観点から実際に非常に平凡で、原則的に宇宙によってできるだけ生成された全価値のかなり小さな一部しか達成しないということの場合を作りたいですか？
確実に。その結論に到達するいくつかの方法があると思います。1つは最良のことをすることができないだけで、2番目はまた1つ以上の悪いことをすることです。
両方を、潜在的に、説明するために、私たちは今日の世界を考えることができます。
過去数世紀は巨大な物質的豊富をもたらしました。私たちは数世紀前よりも数百倍豊かです。
そして、質問をすることができます。この年にとって、その物質的豊富を良い結果に変えることにどれほどうまくやったでしょうか？私は非常に悪くやったと言います。実際に、私たちは科学的および産業革命が私たちに与えた富を完全に浪費しました。
それはいくつかの理由のためです。1つは、それを最大限に活用することに失敗するという意味です。一部それは世界の不平等が非常に極端であるため、人々の福祉をそれほど多く改善しない他の使用と比較して、非常に多くのリソースを方法で費やしているからです。
社会が構築されるすべての種類の愚かな方法もあります。
人々は本当に彼らに利益をもたらさない消費財に負荷を費やすので、上向きの面で多くの浪費があると思います。
しかし、より大きなことは悪いものの導入でもあります。たった1つの道徳的エラー、つまり、社会が人間以外の動物をどのように扱うか、特に工場農場で毎年殺されるひどい苦痛の人生を生きる何百数億の動物は、
それは、少なくとも、人間の生活水準が高くなった結果として生じた正のことのほとんどを元に戻すか、上回るのに十分です。おそらくそれを完全に上回るのに十分で、
物事が悪くなったように。
しかし、どちらにしても、それは少なくともその良いもののほとんどを元に戻します。
つまり、実際に今日の世界は、それが達成しえた価値の本当に小さな一部をせいぜい達成しています。そして、同じことが将来起こるかもしれません。
これについて考え始めると、私は道徳哲学における異なる見解を本当に通り抜け始めます。
私が「リソースで線形」帰結主義的見解と呼ぶもので始めることができます、そこで総功利主義は1つの例です。基本的に、あなたが持つリソースが多いほど、より多くの良いものを生産できます。
良い文明があるなら、
もしそれが2倍大きいなら、それは2倍良いです。
この見解では、うわあ、最良に近い未来、90%の最良と言う何かを得ることは本当にかなり困難になる可能性があるように思えます。
なぜなら、2つのことをする必要があるからです。1つは、可能な限り多くのリソースを使うことです、
アクセスできるすべて、それは本当に多いです。80億のアクセス可能な銀河などがあります。
2番目に、それらのリソースをどのように使用しているか、または何でも
リソース単位当たりの最高価値を持つものである必要もあります。そして、それはこれらの小さな鉱山のようなものである可能性があります；それはこれらの巨大な鉱山、銀河スケールである可能性があります；それは多様で、変化するプロセスなどである可能性があります。
しかし、あなたが質量エネルギーを組織できる並外れて大きな方法のうち、
おそらく最良である1つがあるでしょう。そして、2番目または3番目の最良でさえ何でも、
大幅に悪いかもしれません。つまり、それがそれをもっともらしくかなり本当の挑戦である理由です。
重い持ち上げです。
潜在的に重い持ち上げ。あなたは本当にこの1つの特定のものを狙わなければなりません。
私が言うべきは、これらの見解を通り抜けているように、私はそれらのどれかを擁護していません。そして実際に、テーブルにある人口倫理のほとんどの理論がこの結論を持っていることは注目すべきことです、最良の可能な未来は基本的に均質な未来です、
あなたが最良のもの、あるスケールで、そしてそれはスケール内でかなり複雑かもしれませんし、おそらくスケールは太陽系のような大きなものです。
そして、それからより多くそれを作ります。
それを得たら、それをもっともっと作るだけです、
なぜなら、それがリソース単位当たりの価値が最も高いからです。そして、進行中の何らかの作業は、確実に話す時間がないでしょうが、その結論が特に恐ろしいと感じます。
つまり、私が取り組んでいる人口倫理の新しい理論があります。
より多くの時間があったなら、私ができる最も楽しいことでしょうが、今はそのために一時停止されています。しかし
その含意を避けると思うが、魅力的な人口倫理の理論。
OK、はい、興味深い。あなたのコンピュータはいつかそれに戻ることができます。
まさに、はい。AIは数か月でそれを行ったり何かするでしょう。
つまり、それはリソース線形見解です。
そして、他の見解があります。
例えば、上限に到達することがそれほど困難ではない見解、
そしてはるかに豊かな多様性の善がある見解です。
私の作業が行っていることの一部は、これらの構造的特徴に基づいてそれらすべてを通り抜けることです、
あなたが未来が行くかもしれない非常に広い様々な異なる見解の何かがとにかく最良に近いものを与えるという含意を得ることができるかどうかを見るために。
そして、私はいいえという結論に終わりました。重要なことは、
上昇を得ることが簡単だとしても、なぜなら、素晴らしい、繁栄している存在で満たされた地球があり、皆自由で自分が欲しいことをできると言うだけだからです、
たとえそれが上限に近いとしても、あなたは悪いものもないことを確認する必要があります。
そして、これは常識の一部だと思います。この素晴らしい
ユートピア的未来の話をすることができますが、ただ1つの欠陥があります。それは何らかの厳格な人種階層に基づいています。または
オメラスから歩き去る人々のように、それは1人の子供の苦痛に基づいています。
それは常識だと思います、あなたは多くの価値を失います。
常識のように、それはユートピアから少なくとも半ディストピアへと変えるのに十分です。
しかし、正式にも、すべての善があり、
それらは上限に近く、しかしあなたはこの本当に大きな文明を持っており、
そして、それは苦痛のような悪いものもいくつか持っています、たとえ時々の悪いものでも。
そうすると、文明がどれほど大きいかを考えると、それは再び上限から遠く離れてあなたを連れて行くでしょう。
申し訳ありません、それはあなたが意図していたよりも少し関与していました。
より簡単な見方は、今日の私たちが持っている大きな道徳的不一致を見て、基本的に、もしこれらのもののどれか1つを間違えると、それは世界を負にするか、確実に少なくとも私たちが生成している価値を破壊するか、非常に大幅に減らすだろうと理解することです。
あなたが名前を付けることができるほぼ任意の1つです。つまり、もし中絶が本当に間違っていて、実際に殺人と同等なら、それは確実に現在存在する人間文明に大規模な汚れのようなものでしょう。
逆に、もしそれが全く問題がないなら、
それに関するすべての制限も非常に悪いでしょう。
環境の破壊は、一部の人々が言うほど悪いなら、それは非常に悪いでしょう。
宗教の人々が正しく、神が望むことに反する多くのことがあるなら、おそらく私たちは多くの違反を犯しています。
そして、リストを下に行き続けることができます。
つまり、ほとんどの人々の見解では、価値はかなり脆弱に見えます。そして、すべての異なる
議論の限られたセットでも間違いを犯し、その後それを非常に拡大すると、あなたはかなり不足しています。
絶対に。そして実際に私たちが現在いる状況は多くの誤った安心の原因を与えていると思います。
例えば、福祉の理論を取ってください。哲学では福祉の3つの主要な理論があります。快楽主義で、正と負の意識的経験が
誰かにとって価値のあるものだと言います；客観的リスト理論で、友人を持つこと、美の鑑賞を持つこと、
知識を持つことなど、それを超えて他の善が本質的にあなたに良いか悪いと言います；そして嗜好満足見解で、あなたの嗜好またはあなたの理想化された嗜好またはそのような何かが満足されること、それがあなたにとって良いことだと言います。
そして今日の世界では、これらは本当にかなり密接に一致しています。つまり、もしあなたと私が発展途上国の人々に利益をもたらす最も効果的なチャリティは何かのGiving What We Canで検索で一緒に働くなら、これらの見解間の違いは実際に実用的な推奨に影響しません。
なぜなら、例えば基本的健康を持つことは、あなたの嗜好を満足させ、あなたの意識的経験をより良くし、あなたの客観的善も改善するからです。
そして、それは体系的にそうです、
なぜなら、しばしば私たちが人々に与えているものは、これらの道具的善だからです、
ロールズが「基本的一次善」と呼んだもの、あなたの他の目標が何であれ、ただ良いものです。
しかし、一旦私たちが技術的成熟に深く入り、一旦私たちが存在を作っている、
私たちが望む嗜好を何でも持つように設計している、それはAGI後に私たちが行うことです、これらのことは根本的に離れることができます。
私たちは満足する非常に強い嗜好を持つ新しい存在を作るでしょうか？
または嗜好は特に持たないが、非常に良く感じる存在を作るでしょうか？または
友人を持ち、繁栄する人生を持つことができる存在を作る必要があるでしょうか、そしてそれは最初の2つとは完全に異なるかもしれません？
はい、まさに。つまり、各福祉理論の観点から、
他の理論の最良の未来は基本的に価値がない、または価値のほとんどを失うでしょう。
はい。福祉理論の人々がこれら3つのうちのどれが最終的に内在的価値のあるものかについて非常に異なる意見を持っている理由は、現在存在する世界では、人間がそうであるように、実際にこれら異なることを引き離すのがかなり困難だからだと私は思います。
それらはすべてかなり似ているか、すべてパッケージとして来る傾向があります。
私たちがそれらを分離し、他のものなしで1つだけを持つことができるポイントで、おそらくそれは、私たちがどれが最も有益であると見なすかの収束につながるでしょう。または、これらのもののうち最終的に内在的価値のあるものはどれかについて人々がこれほど異なる意見を持つ理由はなぜだと思いますか？
まあ、人々が道徳的に収束するかどうかの巨大な質問があります。再び、それは私が書きたいものです。そして、私の見解の一部…面白いです、
なぜなら、私はより現実主義者同情的で、通常より現実主義者同情的な人々は収束があるだろうと考える傾向があるからです。
なぜなら、彼らは事実の問題があると思うからです。
それはより科学的または経験的質問のようなものです。
はい、まさに。一方、私が知っているすべての主観主義者は、収束を得るだろうと思うようです。
そして、私はこれに当惑しています。もし私が主観主義者なら、
何かを正しいまたは間違いにするのが私が欲しいもの、または理想化された反省で私が欲しいと思うものだけなら、しばしば彼らは収束を得るだろうと思うようです。
そして、これに当惑しています。もし私が主観主義者なら、
異なる人々の間の根本的分岐を期待します、本質的に彼らの心理についての微妙で任意の事実に基づいて。なぜなら、最終的にあなたを制約する何もないからです。
まあ、似た遺伝子があり、
似た究極の設計があると思います。しかし、それは異なります。
はい、そうです。しかし、似た人々でさえ取ってください、
彼らは両方とも古典的功利主義者で、彼らは同じ方法で幸福を足し合わせます；
そして、彼らは両方とも正と負の意識的経験が価値のあるものであることに同意します。
しかし、私はこれらの意識的経験が好きで、あなたはこれらの意識的経験が好きです。私たちの嗜好を超えて、どれが善いか悪いかの事実の問題はありません。
つまり、なぜ地球上で、
あり得るすべての意識的経験のうち、本当に多くがあります、私たちはどれが善くどれが悪いかに同意するのでしょうか？しかし、より重要なのは、善さの量について同意するのはなぜでしょうか？なぜなら、再び、古典的功利主義者として最終的に行うことは、リソース単位当たり最も価値があるものを把握することだからです。
もしあなたと他の誰かが異なる意識的経験からの善さの大きさで、
少しでも異なるなら、あなたはその最高価値対単位リソースのものが何かについて全く異なるでしょう。
申し訳ありません、私は愚痴っています。しかし、あなたが主観主義者なら、最終的にそれら2つの立場の間であなたを制約する何もありません。
そして、私たちは最も狭い違いについて話していました。他の形式の帰結主義、
福祉の他の理論を考えることを始めると、実際に非常に異なる見解で終わると思います。
私たちが必ずしもそこに入ろうとしていなかった哲学に入っています。
全体的な問題、OKの未来から最高のものへの移行について議論することに戻しましょう。
実際に、まだ哲学にいる間で、主観主義者と倫理と道徳についての非現実主義者はこの全アジェンダを気にするべきでしょうか？なぜなら、彼らは本当に最高の未来のようなものがあるとは思わないかもしれないからです、彼らがたまたま好むもの以外は。
つまり、この種の作業は彼らに関連していますか？
基本的に100%はいだと思います。あなたが最も可能性が高いと思う偽倫理的見解またはどの見解によって、確実に含意があります。しかし、基本的に、
いくつかの結果が悪い、いくつかの結果が良い、
いくつかの結果が他の結果よりも良いと思うなら、実際にあなたは見解を持つでしょう、
「この結果は本当に良い可能性があり、この結果は少しだけ良い可能性があります。」
あなたは簡単なユートピア的見解または何かを持つかもしれません、そこで最高を得ることをそれほど心配していない、多くのことが本当に良いと思います。しかし、少なくともあなたの嗜好の一貫性を心配しているなら、そしてあなたはそうでないかもしれません、それは応答する1つの方法です、しかし、もしあなたがそうなら、あなたはそれらの簡単なユートピア的見解がなぜ得るのがかなり困難かについて私が作っている議論のいくつかに応答しなければならないでしょう。
あなたはまだ異なる
未来がどれほど良いかどれほど悪いかを評価することになるでしょう。
そして、違いは非常に大きなものである可能性があります。
そして、違いは非常に大きなものである可能性があります。権力の極端な集中のある未来が本当に
悪いかもしれないと考えるのは、完全に常識的な立場だと思います。
まあ、権力の分散があるが、人々が単に悪で、
苦痛を促進することが好きな場合はどうでしょうか？そして、それは明らかに悪いと思います。
他の道徳的過ちについてはどうでしょう？私は多くの偽倫理議論を、私たちが理想化された場合、つまり反省するために負荷とより多くの時間があり、私たちの頭にすべての知識を保持することができる非常に大きな脳があった場合、私たちが物事がどうあってほしいかによって物事を評価するだけだと言うことによってかわすことができると思います。
現実主義者はそれが実際に良くて悪いものを追跡するために私たちが持っている最高のものだと言うでしょう。
そして、主観主義者はそれが私たちが実際に持っているものだと言うでしょう。
はい、なるほど。すべての分析は基本的に同じに見えます、
あなたは測定している棒だけが異なって正当化されます。
さて、あなたが行ったこのモデリングのいくつかに押し進めましょう。つまり、未来を改善するのに取ることができる異なるアプローチがあります。もちろん、絶滅を防ぐこと。悪い未来から中立的なものへ、
中立的なものから本当に良いものへ移行しようとしています。
また、固定化を遅延させる、または発生した場合に固定化を改善することの面で、そして作ることができる異なる介入でも分解します。絶滅した場合、固定化することができません。固定化した場合、それは未来がより良いかより悪いであろうことを示唆するかもしれません。
その後、基本的にこれらのもののどれが最も影響力があるかを把握し、これらのもののいくつかが人々が評価していない方法で重要であるか、人々が評価していない方法で重要でないかを見るために、その分析を使おうとします。
あなたが行ったモデリングを説明してもらえますか？
確実に、はい。それは現在と未来の軌道と価値の両方をモデル化する非常に単純な方法でした、マルコフプロセスによってゆるやかにインスパイアされました。
しかし、重要なアイデアは2つの期間があることです。この世紀と将来の世紀です。そこで非常に単純化されています。この世紀では、私たちは開いた未来を持つことができます、そこでそれは保証されていません
私たちがどこに終わるか；絶滅する可能性があり、絶滅すれば、絶滅して終わることが保証されます；
私が「viatopia」と呼ぶものを持つことができます、そして、これは私がこのシリーズで促進したい最も重要な概念の中にあります。「via」、中継点のように、それは社会の状態です
もしその状態にいるなら、最高に近い未来に終わる可能性が非常に高く、ディストピアに終わる可能性が非常に低いです、または私が「foreclosure」と呼ぶものを持つことができます、そこで、
その状態にいるなら、最高に近い未来に終わる可能性は非常に低いです。
つまり、絶滅はしないが、作る未来は
平凡なものになるでしょう。非常に高い確率で。
はい。私はそれを「mistopia」、ミスファイアのように、
しかし見逃された機会のようにも呼ぶ傾向があります、それは語源的に異なりますが、同じように役立ちます。
そして、未来の世紀では、
絶滅した状態；このユートピア、最高に近い未来で終わった状態；このmistopiaで終わった状態で終わることができ、それは何かを含みます
ゼロよりも悪いものも含む可能性があります；そして、開いた未来に今いるなら、
固定化されていないので、最終的にそれらの状態の1つでも終わります。
そして、この世紀にできる3つのことは、絶滅の可能性を減らし、
他のすべての可能性を増やす；固定化の可能性を減らす、
つまり開いた未来の可能性を増やし、他のすべての可能性を減らす；または固定化が与えられた場合、それが予期ではなくviatopianである可能性をより高くすることができます。
そして、これは多くの方法で単純化です。
固定化について話すが、パス依存のより一般的な概念があります、
特定の結果を保証しない、単にそれをより可能性が高くします。また、良い状態と悪い状態を分けるだけで、それらに価値を与えますが、もちろん、
可能な限り良いかもしれない89%の未来と実質的に負の何かとの間には大きな違いがあります。
スプレッドシートで倫理を行うのは明らかに奇妙ですが、
このモデリング演習が、私自身の見解についてさえ、これらのもののいくつかを推論するために実際に驚くほど明確だと感じました。
はい。私がそれをスキャンして、直感的にほとんどのそれらの単純化が結果を覆すことはない、または作ろうとしている定型化された事実が間違いであることの原因とはならないと私には思えました。
それもあなたの見解ですか？
はい、少なくとも私はそう望みます。そして、もしそうだったら、それは悪いモデルでしょう。
あなたを読んで起こった概念的問題は、例えば、まだユートピアを達成していない中間状態にいるが、ユートピアを達成する可能性が非常に高い場合、viatopiaにいると言うことです。
何かが非常に平凡なものを生産する可能性が高い場合、forelosureにいると言います。そして、言えない場合、開いた未来にいると言います。
しかし、それは一人の主観的立場から、それが固定化された未来にあるかどうかを言えるかどうかです。なぜなら、宇宙は、どれほど複雑で混沌として物事が始まるように見えても、量子物理学はさておき、何らかの結果を生み出すつもりだからです。
つまり、あなたは良い結果または悪い結果または任意の結果に固定化されています。そして、開いた未来にいるという事実は、何が起こるかを予測する自分の無能の記述的なものに過ぎません。
それは正しいですか？そして、もしそれが正しいなら、それは問題ですか？
はい。つまり、作るのは非常に哲学的な異議です。
つまり、それは一種に正しいです。OK、はい、絶対に真実です。量子ランダム性はさておき、社会の状態があります。何らかの特定の状態で終わることが保証されています。私は、ラプラスの悪魔がすべての法則を知っていてすべての計算を行うことができる存在の思考実験だと思います。
しかし、ここで確率が単にあなたの見解がたまたま何であるかのようなものを意味しているわけではありません、完全に基盤外で、世界が今日トカゲ人の未来に固定化されていると思ったなら、それがカウントするように。代わりに、客観的確率の何らかの概念、または少なくとも証拠確率を持つことができるケースがあると思います。
コインを裏返すことを取ってください。もし十分に知っていたら、
コインが表か裏に来るかを知るでしょう。しかし、コインが私の指にある時、システムを取り、
それに非常に重要でない方法で小さな摂動を作り、その後それらの小さな摂動を与えられて何が起こるかの頻度を見ることによって、それは50/50であるでしょう、
公正なコインの表、裏の50%になる、非常に直感的なアイデアに意味を与えることができます。
あなたは笑っています。そして、文明全体でそれを行うことができ、
固定化されているなら、天気がどのようなものか、
または暖かいか寒いか、そして今日の世界についての他のかなりマイナーなポイントの多くは本当に重要ではありません。代わりに、同じ方向でまだ終わるでしょう。
はい、その無意味な哲学的探求から私を楽しんだなら、
2、3年前のアラン・ハイエクとの確率と期待値のパズルとパラドックスについてのインタビューを本当に楽しむかもしれません、そこで私たちは結局、確率はこれらの摂動の周りにあると結論づけます。つまり、近くの反実仮想世界があり、あなたが記述している結果を得る可能性はどれくらいかです。つまり、合理的に思えます。
このモデルを構築し、異なるパラメータを変更することの影響を把握するために、どのような種類のパラメータを入力する必要がありましたか？
すべてを覚えているかわかりません。しかし、いくつかの重要なことは、この世紀の固定化の確率、この世紀の絶滅の確率、固定化がある場合、それが悪いものではなく良いもの、つまり予期ではなくviatopiaである確率、そして、本質的に開かれた未来を持っている場合の絶滅、ユートピア、mistopiaの条件付き確率です。
そして、この世紀に悪い方法で固定化された場合のmistopiaの価値、つまりその悪い固定化の価値です。なぜなら、それはゼロではないかもしれないからです。平凡なものに固定化される可能性があります。そして、将来に非ユートピア的未来が起こる場合のその固定化の価値です。
一般的に物事が進歩していると思うなら、最高のものを逃したとしても、この世紀に固定化されなかった場合、おそらくそれでもより良く終わると自然に思うかもしれません。
それらすべてのパラメータ値だったと思います。いくつか見逃したかもしれません。
私たちは数時間ここにいるので、私たちの心は少しぼんやりしてきています。
4時間以上だと思います。
人々はこれらのパラメータ値について同意していますか？それとも、あなたの経験では、人々は大幅に意見が分かれていますか？
まあ、実際に人々を調査し始めたいとフォローアップとして愛するでしょう。私が知っている一つのことは、Future of Humanity Instituteによって行われたかなり非公式な調査でした。そして、それは便宜サンプルでした。特定の会議の人々だったと思います。
そして、そこで、人々は本当に地図全体にいました。詳細を覚えることはできませんが、人々は、生存の条件付きで真に繁栄する未来に到達する確率について90%から1000万分の1まで行くことができました。同様に絶滅の確率でも、人々は90%から1%未満まで様々だったと思います。彼らは私が持っていたものとは異なる質問をしていましたが、多くの多様性があることを確実に示しました。
コンセンサスはありません。重要なこと、または少なくとも重要なことは、固定化が遅延された場合により積極的になるかどうかです。
つまり、私たちは物事を迅速に固定化したいのか、それとも将来にできるだけ押し出してより多くの反省を可能にしたいのでしょうか？人々はそれについて同意するか意見が分かれるでしょうか？
本当にわからない。それは前の調査にはありませんでした。しかし、これがどれほど軽視されているが重要な質問であるかを単に理解することが、私のこの演習を行うことから出てきたものの一つでした。
確実に私は私たちがこれらの子供たちのような観点から来ています。12歳、7歳の時にあなたの人生全体がどのように進むかを決めなければならないようなものです。見てください、将来のより賢く、より啓発され、より情報を得た人々にそれらの決定をしてもらうべきです。
つまり、私の最良の推測では、これらの決定を将来に先送りできるなら、決定はより良く作られると思います。しかし、それは実際にかなり非自明です。
再び、主観主義者について私を混乱させることは、主観主義者はおそらくそれを望まないはずだと思うことです。なぜなら、彼らは周りにいないからです。または彼らがそうだと思うかもしれませんが、そうでなかった場合には。つまり、彼らの特定の嗜好は満足されないでしょう。
しかし、本質的に道徳的減衰が起こるかもしれないさまざまな種類もあるでしょう。
つまり、後の日付で権力の集中で終わる可能性がはるかに高いと思うかもしれません。AIが人々の認識論を完全に混乱させると思うかもしれません。
実際に、人々が遠い時間と空間について推論するか選択を行う方法については、現在は主に彼らが持っている道徳的嗜好です。
それは将来にあまりにも遠いです。より推測的に感じます。
まさに。そして、人々の現在の嗜好を考えると、あなたはそれが基本的にできるだけ幸せであることを必要としません。しかし、人々がすでに並外れて良い状態でAGI後にいる時、今度はおそらく彼らはそれを望むが、ステータス・グッドとして何かです。
見せびらかすためだけに。
まさに。これはすでにケースだからです。
世界の億万長者を見てください。彼らは単にお金にしがみついている方法で、正直に言って当惑しています。
年間1000万ドルの消費を過ぎたら、狭い意味での福祉をより多く得ていないことは明らかです。
他の嗜好を満足させることか、慣性についてでしょう。
はい、慣性があります。しかし、明らかなことは、彼らがこのステータス・グッドを買っていることです。彼らは億万長者リストでどの位置にいるかを気にし、
何百億ドルを、慈善的善を含む他の何かにそのお金を費やす代わりに、効果的に支払うことを望んでいます。
つまり、人々が推論している未来を持つことができますが、今度は個人的ステータスの問題として遠いリソースを気にします、
現在のところ、人々がそれについてよりイデオロギー的レンズを持つ代わりに、潜在的に良い方法で。
つまり、私が言うように、将来の人々が実際に、彼らはより賢く、より啓発され、物事について考える時間が多いと思います。
私がどれほど愚かか知っていますか？そして私は最高の一人です！
はい、まさに。私たちはそのような重要な決定を下すのに装備されていません。しかし、それが私には特に研究不足に感じました。
つまり、このすべての分析からの主な持ち帰りは何でしたか？あなたが必ずしも期待していなかった方向にあなたを取りましたか？
いくつかの方法で。それが一つ、実際にこれについて。そして明確にするために、私は自分自身にこれらのものに実際に数字を入れることを強制し、それは私自身にとってかなり興味深いものでした。
この会話を始めて話した2つの言い方、つまり過去7年間での更新、または私が以前間違っていた方法について話しました。
私はその後の記述で完全に満足していますが、それらの変化は私の他の見解に必然的に浸透していませんでした。つまり、絶滅の確率、固定化の確率を入れることが興味深かったのです。それらは過去よりもはるかに高いです。そのプロセス単独が実際に私にとって非常に明確でした。
他の持ち帰り、一つは、この良い未来の作業が、少なくとも絶滅のリスクを減らすことと同じ球場の重要性で、かなり堅実だと思うことです。かなり広い様々な見解にわたってそれが真実だと思います。
特に興味深かった一つのことは、楽観論対悲観論についての通常の範囲と私が言うかもしれないものが、実際に最終的なものにそれほど大きな違いを作らなかったことです。
つまり、私とToby Ordの間の最大の知的違いは、未来についての楽観のレベルだといつも思っていました。しかし、実際に、数字を実行すると、いいえ、これらすべての桁数の種類のものの中で、それは実際に物事を分けませんでした。
なぜそうなのですか？
Tobyは大きな実存的破滅を避ける、または少なくとも最も明白なものを本質的に避けると思います。彼の口に言葉を入れたくはありませんが、ある種の条件下で、近期実存的破滅を避けたところで、その未来の期待値はそれが可能なことの50%のようです。
そして、それは私には非常に楽観的に見えます。私の数字が時間をかけて議論されてきたさまざまな理由がありますが、少なくともそれを何倍も低く、10%か何かに置くでしょう。
しかし、彼はまだ掴むために50%の価値があると思っています。つまり、実際に彼が持つ必要がある楽観のレベルは90%以上です、99%の価値か何かのようです。
なるほど、OK。理由は、極端な楽観主義者でさえ、私たちは平均して途中にしか到達しないと思うからです。それは、私たちが平均してゼロに到達すると思う人と比較して、2倍のペナルティに過ぎません。それで正しいですか？
現時点で私はあまりにも脳死状態で2倍のことを確認できませんが、
もっともらしく聞こえます。一方、私が簡単なユートピア人と呼ぶものがあり、
いいえ、生存し、おそらく独裁制を避けると言いたいこともありますが、それらのことを避けることは基本的に良いので、99%のようです。
他の影響はありましたか？
一つは、事前に、私は実際に固定化の遅延から固定化の改善を完全にそして清潔に区別していませんでした。
再び、非常に明白に聞こえるこれらすべての更新がありますが、実際に私の心では、それはそれほど明確ではなかったと思います。
そして、確実に、それが起こることの条件付きで固定化を改善することが固定化を遅延させることよりもずっと有望であり得るという議論を理解していませんでした。
重要な議論は、固定化を遅延させた場合、物事を悪化させたかもしれないということです。
なるほど、わかります。一方、あなたがゼロから最高まで、またはそれがあなたの介入であるものを取ることをしているなら、
単に物事を遅延させることによって、それは物事を改善するか物事を悪化させるかもしれず、正味の効果ははるかに低いという打ち消しの負がありません。
まさに、まさに。
興味深い。結論は、絶滅のことについて少し心配することです。代わりに、私たちがするべきことは、私たちが持つであろう未来を何でも取り、それをこのユートピア、可能な限り最高の未来に変えることです、それは信じられないほど脆弱で信じられないほど狭いターゲットだと思います。
多くの人にとって、それは少しユートピア的に聞こえるかもしれません。そして、人々はユートピア的について否定的な連想を持っていると思います。なぜなら、それは悪い行動を正当化する傾向があるからです。単にナイーブに聞こえることがあり、ユートピア的である傾向がある人々は、何が良いかについてかなり狭い視点に非常に固定化される傾向があります。それがユートピア主義に人々を駆り立てる考え方の種類です。
なぜこれは悪いユートピア主義ではないのでしょうか、あらゆる種類の悪いことを正当化した？
素晴らしい質問で、私がユートピアという用語を多く使うことを非常に認識しています。私はEでスペルします、eutopia。
その概念の連想から何らかの距離を得ようとするため。
はい。同じように聞こえますが。しかし、はい、ユートピアは用語と考えとして非常に不人気です。そして正直に言って、非常に良い理由があると思います。ユートピア主義は19世紀末、20世紀初頭にはるかに人気がありました。そして、いくつかのことが起こりました。それはうまく年を取りませんでした。
しかし、ユートピアの描写の多くも同様にうまく年を取りませんでした。
私のパートナーと私は、古いユートピア小説を読むという共有の趣味を持っており、それは本当に注目すべきことです。それらのユートピアが現在ディストピアのように見える程度、
それほど多くの道徳的進歩が起こっていないにもかかわらず。それは1世紀だけで、大きな計画では小さいです。しかし、非常にしばしば社会は全体主義的です。非常にしばしば彼らは時代の道徳的盲点を焼き付けます。
ユートピアという用語を作ったトマス・モアのユートピアは、素晴らしい豊富さを持ち、多くの方法で素晴らしい社会でした。
すべての世帯は2人の奴隷を所有していました。
今日ではそれほど魅力的ではありません。同様に、
『素晴らしい新世界』を書いたアルダス・ハクスリーも、『島』と呼ばれるユートピア小説の一部を持っていました。
再び、この非常に技術的に進歩した社会、しかし自然とも接触している。大人は子供とセックスをしていました。まるで、うわあ。
アルダス・ハクスリーが1930年代にそれを行っていたのではないですか？
1930年代に誰かがそのようなことを書くような種類の事だったとは驚きです。
これは確実に脱線ですが、
1960年代と1970年代でさえ、フランスの実存主義者と
哲学者は、同意年齢があってはならない、または16よりもはるかに低くあるべきだと言うための公開書簡に署名していました。
道徳的態度がどれほど迅速に変化するか、そして実際に100年前でさえ、またはそれより少なくても、道徳的にどれほど異なっていたかを忘れるのは本当に簡単です。
つまり、ユートピアの描写は、実際にしばしば非常にディストピア的に見えることになります。プラトンの共和国から始まって、それが真実だと思います。そして、教訓は、未来の特定のビジョンを描こうとし、それに直接向かって狙うべきではないということです。
実際に、それは恐ろしいです。それが私たちが守らなければならないものです。
だからこそ、私はviatopiaのこの考えを開発し、推進しようとしています。それは代わりに中継地点です。
それは私たちが理想的な未来がどのように見えるかを知らないことを認識し、代わりに軌道に乗っていると思う状態です。本当に良い未来に到達する軌道にあるのに十分良いです。
前に長い熟慮として考えについて話しました、それはviatopiaがどのように見えるかの1つの実装または1つの提案でしょう。
しかし、他の潜在的な提案もあります、
道徳的探索社会の考えのように、『What We Owe the Future』で話しています、
または異なる価値システム間の大きな取引の考え。
そして、少なくとも私の希望は、これが積極的なビジョンを与えることができることです、
今日の世界に非常に欠けているもの、AGI後の未来のために、
20世紀初頭で見た恐ろしく、しばしば全体化するユートピア的衝動なしに。
このviatopiaは最も可能性が高くどのように見えるでしょうか？あなたは私に、人々が代表を送る議会や議会があり、何が最良の未来になるかについて非常に長い間議論するであろうと考えさせます。そして、特定の見解を支持する超多数派または超超多数派があるまで、取り返しのつかない行動を取らないと思います。
そして、もし彼らがそれに到達できないなら、物事を交渉し、物事を分割するでしょうが、どのグループも特に嫌うことを誰もしていないことを確認しようとします。
viatopiaの代替ビジョンはありますか、それともそれが向かう種類の方向ですか？
はい、そこには詳細がたくさんあります。そして、この「Better futures」エッセイシリーズが完了した後、次に計画しているのは特にviatopiaについてです。つまり、これは私がしていない作業を見据えたもので、まだ非常に不確実に感じることがたくさんあります。
しかし、最良に近い未来に到達するために、基本的にほとんどの人が正しい道徳的見解または理想化された嗜好が何であれ収束する必要があるか、それとも一部の人が収束し、その後異なる党派間で取引する能力を持つ必要があるかという粒度のトンがあります。
それは私の見解では本当に重要な区別です。一部の人々が収束する必要があるだけのケースは、道徳的に動機づけられていない人々がおそらく楽観的に、比較的小規模な嗜好を持っているということです。おそらく、彼らは空間と時間で近くで何が起こるかを本当に気にします。
道徳的動機を持つ人々、彼らは将来と遠くで何が起こるかを気にします。つまり、両方の党派は一種に彼らが望むものを得ることができます。それが楽観的なケースでしょう。
多くの人々が異なる道徳的見解を持ち、収束しない場合はそれほど楽観的ではありません、
つまり、遠くにある物事を気にする人々の間でまだ多くの紛争があり、それらのリソースのために非常に異なることをしたいと思います。
その種の設定が本当にかなり悪く行く可能性がある方法もあります。
なぜなら、もし私たちが皆リソースについて交渉しているなら、おそらく私はあなたの観点からより心配になるように自分の嗜好を修正することに動機づけられているからです。
なるほど、より脅威的にするためです。
まさに。
つまり、あなたが古典的功利主義者で、おそらく私はより多くの富をステータスのために持つことを気にするだけか、他の何かを気にするだけだとしましょう。しかし、その後、私はどんな方法でも自己修正でき、「ああ、私は実際に今苦痛が本当に好きだ。」
まあ、その後、もし私たちが取引を作ることに成功しない場合の脅威点、現状は、あなたの観点からはるかに悪いです。
つまり、それは私により多くの土地を譲歩する理由を与えます。
私が原則的にその状況に反対しない限り、つまり、
「私はこのように扱われたり、このように搾取されたりすることを決して受け入れません。」
はい、まさに。しかし、少なくとも毛むくじゃらになります。そして、人々が非常に異なる道徳的観点で終わったとしても、彼らはすべて取引を行うという楽観論のためのいくつかの議論があります。そして、その結果として、可能な限り良いものに近いもので終わります。
心配な動態があり、私はこれに深く入っていませんが、
それは実際に本当にかなり悪い結果になる可能性があります。なぜなら、最悪の場合、私は苦痛を愛するように自己修正し、あなたは「まあ、私は脅迫者と取引しません。」と言うからです。
はい、私はこのたわごとを受け入れません。
しかし、私はすでに取り返しがつかないほど自己修正しているので、その後私は行ってそれを行います。それは私たちが望む結果ではありません。
それをしないでください。
しかし、そのケースでも、または基本的にほとんどの人が、より正しい道徳的見解があるなら、彼らが時間をかけて勝つような、はるかに近いものを得ようとしたいケースでも、どのようにそれを始めるかの質問があります。
そのために熟議民主主義に関してこれに関連するいくつかの作業がありました、これはかなり
興味深いです。民主主義についてのその視点、要点は人々が議論し、物事を推論し、
その結果として彼らは時間をかけて理解と道徳的立場を改善しなければならないということです。再び、
これは私が調べていないもののすべてですが、理想は実際に最終的に本当にかなり具体的なものを得ることができるということです。それは行く一つの方法です。
何が実現可能かを把握し、そこから構築するという別のことがあります。
デフォルトが米国が最も多くの権力を得るだけだとしましょう。事の規模でそれはどれほど悪い状況ですか？権力を持つ国々の同盟があった場合、どれほど良いでしょうか？そこから一種に構築し、何が起こるかのあなたの最良のケースをおそらく想像し、viatopiaに自分を得るためにどれだけ変更しなければならないか？
この種の熟議的で包含的なプロセスではないviatopiaのビジョンはありますか？あなたがヒントしていた、確実に可能な最良の未来ではないが、AI がとにかく乗っ取るかもしれないヘイルメアリー・パスのようなものを考える、おそらく悪く行って私たちを無力化することになるが、私たちは良い価値と反省したいという欲求などでそれを満たすために急いでいるべきです。偶然に得るかもしれないがそれを熱望しないviatopiaの代替かもしれません。
別のバージョンはよりリバタリアン左翼のビジョンでしょう、
再び、これらの巨大なリソースがあり、異なる星系について話している場合、それらは防御支配的でもあります。
そして、それは単に地球上のすべての人に平等に分割され、彼らが望む社会のビジョンを構築しに行くことができます。
それは非帰結主義的根拠でいくつかの魅力的な特徴を持っています。しかし、実際に作業すると、それが本当に良く見える観点はそれほど多くありません。
それは公正に感じます、今日たまたま存在する人々を特権化したことについてなぜかという開かれた質問がありますが、すべてのリソースについて話している時です。
しかし、その後、このリソース線形見解で最良に近いものになる可能性は低いです、
なぜなら人々はすべての種類の異なることを望むので、その見解を保持する派閥だけが、あなたが得る価値の割合だからです。
しかし、その後、価値が上で境界があるが下ではないという、より常識的な見解がある場合、つまり、物事がどれほど良くなり得るかに制限があるが、物事は非常に悪くなり得ます、
まあ、目標に対する多くの異なるショットを持っているので、それは上昇の面で良いかもしれないと思うかもしれません。だからこそ、元々私はこのアイデアに魅力を感じました。
誰かは何か良いものを得ることをほぼ確実です。
まさに。そして、それはあなたを最良に近づけるでしょう。しかし、80億人の1人が、例えばサディストであるという、積極的に悪いものを生産する人が1人いるだけで、全体的な結果が実際に実質的に負になるのに十分でしょう、
おそらく。再び、悪いものが善いものを非常に重く上回っているからです。
つまり、それは毛むくじゃらですが、多くの可能なビジョンがあると思います。おそらく最後のものは、普通のことです。それは民主主義のような種類で、人々は投票します。特別なことは何も起こりません。これはより簡単なユートピア種類の見解ですが、
物事は今日の自由民主主義のように見え、私たちはごまかしてそれは良いでしょう。
はい、はい。OK、最後のセクションに押し進むべきだと思います。私たちは両方とも少し疲れているように見えると感じます。
私が休憩中に言っていたのは、これはHot Onesのようなものだということです、そこで彼らは唐辛子を与えることで人々をバランスから外します。私たちは何時間も行ってきたので、抑制を失い始めていると思うからです。
最後のセクションは、この組織、Forethought Centre for AI Strategyについて話すことになっていました。
これは新しい組織です。新しい研究アジェンダがあります。この組織を設立することをどのように決めたか話したいですか？そして
あなたができた他のことと比較して困難な決定でしたか？
はい、確実に。つまり、次のステップが何であるべきかについて多くの時間を考えました。特に、2023年、2024年初頭、私は極度に燃え尽きていました。
振り返ると面白いです、実際に、私たちの最後のポッドキャストで、あなたが私がしているすべてのことについて尋ねていたことを覚えていて、「どうやってこれを全部しますか？」と言っていました。私は「ああ、私は極度に燃え尽きています。」のようでした。それは2022年3月のようでした。
そして「OK。私は文字通り来週休暇を取る」と言ったことを覚えています。面白いです、
私はその休暇を決して取りませんでした。対処しなければならない組織での大きな危機がありました。
つまり、はい、振り返ると、私は2022年を通して極度に燃え尽きていたと思います。しかし、それは2022年3月のようでした。
物事はその後多くの異なる方法でずっとクレイジーになりました。つまり、次のステップが何かについて多くの時間を考えました。私は善を行うことから1年取ることについて疑問に思いました。
DJになろうとするような。
「より良く楽しむこと。」
はい、より良く楽しむこと。実際に最終的に、本当に嬉しいのですが、それをしなかった場合、より幸せになっただろうと結論づけることになり、
代わりに年間研究を行いました。
同じように感じるかわからない。なぜそうでしたか？
一つのことは達成感か何かについてでした。つまり、
1年を費やしてその後平凡なDJになることができたと思います。そして、振り返ってそれを見て、なぜ？何の意味があったの？と思うでしょう。
一方、特に楽しんだ作業、学習をしているということです、それに1年を費やしたなら、少なくともそれは他のことのために私を設定します。
そして、研究と学習を他の趣味よりも単純により楽しむと思います。
その後、振り返ると、他のことは実際に何らかの新しいプロジェクトを持つことがどれほど有用だったかです。私は燃え尽きから来る他の人々を知っており、長い休息期間を取った人々、おそらく彼らは少し目的がないと感じることになります。
一方、あなたはそれにはあまりにも忙しすぎて、この新しいことに興奮しています。
つまり、はい、私がしたことは研究に多く焦点を当て始めることでした。休暇と素晴らしかったいくつかの瞑想リトリートのような他のこともしました。
そして、その結果として、私はToby OrdとFin Moorhouseとの議論グループを始めました、彼らはこの「知能爆発への準備」論文を私と共著しています。
その後、それはオックスフォードの人々で少し成長し、私は特に興味深いと思うことを推進していました。それについて少し興奮が始まりました。
そして、Max Daltonも燃え尽きた時に物事が本当に歯車を変えました。私たちは「やあ、だから、はい…」とチャットしていました。
「私たちは両方とも今物事を嫌っています。」
はい。「あなたの次は何ですか？」
彼は次に何をすべきかを決めていて、私は単に彼と一緒に働きたいと言いました。そして、彼は最終的に、はい、これを作りましょうと結論づけました。私は実際にこれが何らかの研究所になり得る種を持ち始めていて、彼は参加しました。
そして、私はこれを私の休暇期間として説明していましたが、数か月後に非休暇になることを強制的に移されました。私が非常に満足している方法で。私は私の仕事に極度に満足していました。しかし、次のプロジェクトを決めるためにかなり持続的で正式な種類のプロセスも行いました、
研究所を続けるかもしれませんし、またより多くの資金調達に焦点を当てることもありました。より多くのアウトリーチ。ポッドキャストとYouTubeなどにより焦点を当てることもあり得ました。
私には競争がなくて非常に幸運です。聴衆には悪いですが、私には良いです。
おそらく私たちは共同ホストになることができたでしょう。そして、いくつかの他のこともありました。実際に多くのことをテストしました。多くのポッドキャストとビデオエピソードを試してみた1週間がありました。
また、非常に広範なフィードバックなども得ました。これを行った執行コーチと一緒に働きました、非常に影響的だったが、かなり激しいものでした。彼は20人、おそらく20人以上に尋ねました、
私はその1人だったと思う。
ああ、そこに行きます。つまり、私はこの巨大なスプレッドシートで あなたの回答を見ました。
彼は私にフィードバックをもらうのが最も苦痛であろう人々は誰かと尋ねました。
そして質問は、あなたの強みと弱みは何ですか？のようなものでしたか？
強みと弱み、
主に。この私のすべての強みと弱みのリストがある巨大なスプレッドシート。
これはあなたの休暇でしたよね？
これは休暇中でした、実際に、文字通りの休暇で。
私はまだ休暇を改善する作業があります。しかし、それは実際に巨大に影響的でした、なぜなら、どれだけあなたの職業生活でフィードバックを得ようとし、1対1などでも、
人々は他の誰かを通して向けられた場合、匿名なら少し一生懸命行くだけです。
そして、その人は本当にあなたを調査して、「あなたはウィルがこの弱点を持つかもしれないと提案しました。
問題が実際に何かに本当に指を置くことができますか？」のようです。
はい、まさに。つまり、それは超役立ちました。そして、出てきた大きなことの一つは焦点でした。振り返ると、2022年までに、維持することが基本的に不可能で正気を保つ方法で、正式で非公式な責任をあまりにも多く積み上げていました。
つまり、今はもっと、本当に推進している一つのことがあるようになろうとしています、それはこの研究です。
つまり、それがあなたが尋ねていたことについての非常に個人的な角度でした。同時に、
AIで起こっている変化がありました。OK、もしこれに取り組む時があるなら…
しかし、その後、AI安全性がヨシュア・ベンジオとジェフ・ヒントンが話していたような正当な分野として台頭し、AI安全性研究所などがあります。非常に明白な考え、
まあ、ここで他に何を見逃していますか？
そして、さまざまな会議や集会で、AI安全性と効果的利他主義ムーブメントで働く人々の間に広範な関心があるように見えました。それは
はい、これは一種に重要に見えました。そして、私はそれについて興奮し始めました。
Forethoughtが結局働く可能性があるものの大まかな概要を与えたと思います。つまり、あなたがこの良い未来のことを行うことが今後主な焦点になり、権力の掌握についてのトム・デイビッドソンとのこのインタビューを行っています。
彼は単にそれに焦点を当て続けるのか、それとも他の何かに移る計画があるのかわかりません。
Forethoughtがこのインタビューやトムとのインタビューで話していない他にしていることはありますか？
はい、権力の集中に関するトム・デイビッドソンの作業は明らかに超重要で大きな焦点です。トムと私がその後少し共著するかもしれないことを望んでいます。
これは暫定的ですが、おそらく私たちは一緒にviatopiaについていくつかの作業を行うでしょう、
話したことがどれほど広いかを考えると。
それはかなり大きな権限です。
はい。少なくとも簡潔にほとんどのことをカバーしたと思います。
しかし、起こることは異なる分野へのはるかに深い潜水です。
Lizka Vaintrob は差分AI開発、拡散、
展開に非常に深く入りました。特にトム・デイビッドソンとRose Hadsharは知能爆発の動態により多くを行っています。Roseと私たちはIntelsatに関するこの論文を持っていました。
そして、将来、確実により多くの深さをこれらの特定の問題のいくつかで想像できます。
おそらくデジタル権利かもしれません、おそらく宇宙統治または他のものもそうです。
他に出てくるかもしれないことは、これらすべての問題を解決するためのブリーフを書く、
AIモデルで実際にこれらのプロジェクトを引き受ける準備ができた時にイニシエートするためのプロジェクトを中心にリオリエントすることです。
絶対に。現在の状況を考えて、あるスプリントを持つ可能性があると思います。深い研究を見ましたが、まだ自分で使用していません、例えば。現在のモデルからどれだけジュースを得ることができるかをより多くの時間を費やしたいと思います。基本的にそれらを管理し始めることができますか？
はい、それも確実にテーブルにあります。
記録の週現在、深い研究、数日前に利用可能になったOpenAIからの新しいものは、既存の
ソースを読んで合成することで情報をまとめることに非常に優れているようです。
それに基づいて新しい洞察を持つことは少し弱いです。
しかし、人々はそれをその目的のために設計されていないため、それを行わせる方法を見つけるかもしれません。これらすべてのことを見て、この文献で何が見逃されているかについて考えることが実際にできるなら、そして、もしそれが次のステップを取ることができるなら、
その後、あなたは研究を進歩させることができるかもしれないというこの質問で本当に料理し始めています。
確実に。経済学での穏やかな種類の
結果の1つの例を見ました、「穏やか」としては、かなり穏やかで、小さな貢献でしたが、
公開されました、それは主にo1に基づいていました。
そして、私は解析的で
哲学内で私が本当にそれが最良の仕事をできると思う何かを選ぶ挑戦を持ちたいと思うでしょう、私もより多く知っている倫理のより形式的な端、そして、1日または2日で見て
この時までにおそらくo3に直接アクセスできるでしょうが、出版可能な何かを作るためにo3を使用できるでしょうか？それは本当に一種のルビコンでしょう。
はい。Forethoughtは現在雇用していますか？または資金調達していますか？
現在、確実に資金調達しています。Forethoughtは
Good Venturesが現在資金を提供することにオープンである核心分野の外にあります。明らかにそれは変わるかもしれません。
現在雇用していませんが、
確実に見回しています。
デフォルトで小さなままでいることを計画していますが、
現在いるところと比較してもう少し成長することを確実に想像できます、
特に明るく、有望な研究者のために。
ここまで聞いたなら、それは良いサインです。
あなたはその種の忍耐を持っています。
はい、それは良いサインです。
特に、これらの
種類のトピックに取り組むことを望む人々に。そして、それは研究の非常に異常なスタイルです。あなたは本当に学術界でそれを得ません。
私たちが生産しているこれらのものは、特に学術出版のために設計されていません、
しばしば多くの異なる分野をカバーすることを含み、
この非常に大きな絵の視点を持つことを含みます。
しかし、もしそれがあなたのお茶のように聞こえるなら、
ここでははるかに多くの研究努力が起こる必要があると思います。
はい。私たちが前に言及した別の方法は、あなたが主要なAI企業の1つにいるなら、
この種の研究を行うのに役立つかもしれない最先端モデルへのアクセスを得ることです。
数か月早期アクセスのように、公的に利用可能なものより先に。
絶対に。
そして、モデルがこの種のことに役立つ可能性があるポイントに到達している場合に知らされることも、それがあなたに異なる戦略を設定する可能性があるからです。
確実に。
ラップする前にForethoughtについて他に何か言いたいことはありますか？
いいえ。
OK、私たちはちょうどそれをカバーしました。尋ねようとしていた最後の質問は、現在の世界の状態についてどのように感じているかについての感情的なチェックインのようなものでした。
なぜなら、このインタビューの準備をして、これらの問題のリタニーを通り抜けると、ある程度の諦めにつながる可能性があると感じるからです。
非常に多くのことがあり、非常に迅速に私たちに来ているので、私たちが実際にこれをうまく機能させる可能性はどれくらいかと単純に感じます？つまり、
私は試み続けるつもりです。
しかし、いくつかの週では楽観的です；
今週は物事が少し絶望的に感じています。
私をより良く感じさせたいですか、
それとも今時間または今週または今月楽観的または諦めを感じていますか？
今この瞬間、確実にストレスを感じていると思います。このすべてに対する私の感情的
態度は実際に単純に、
これは私の性格の種類ですが、単純に肯定的で、
興奮していました。実際に、あなたと私がこの会話をしたことを覚えています。
私たちの確率と
信憑性はそれほど異なっていないことがわかりましたが、私たちが持ってきていた感情は、
大きく異なるものでした。
昨年11月、12月現在、私は確実により多くのストレスを感じており、それは興奮に対して支配的な感情になっています。モデルで働くことは、それはまだ素晴らしいということは事実です。
それは非常に楽しいです。
はい。私は非常に多くを学んでいます。
すでに、特に奇妙な学際的研究の種類のために、言語モデルを持つことで、単純に「宇宙で科学のどの分野が恩恵を受けるでしょうか？」のようにすることができます。「実際に、材料科学、ゼロ重力があるため、完璧な結晶構造を作ることができます。」
私のような、決して…それを把握するのに数週間かかるでしょう。しかし、いつでも手に私はこの信じられないほどのポリマスを持っています。
はい、そのような問い合わせにとって素晴らしいです。人々がそのようなことのためにそれを使っていないなら、彼らは絶対にそうすべきです。すべての仕事がそれを含むわけではないと思いますが。
しかし、「18世紀または19世紀からの邪魔なユートピア文学の素晴らしい例は何ですか？」のような質問があるなら、それはあなたに教えるでしょう。
はい、まさに。これは本当に信じられないことです。楽観論の明確な原因があります。つまり、推論モデルを取得しているという事実、そして一般的に、
より多くのオラクル言語モデル、
より早いのは素晴らしいニュースです。それは高度にエージェント的なAIを開発するポイントでより賢くなることを意味します。
推論にたくさんのコンピュートを投入するこの新しいパラダイムを得ているという事実は、私の観点からは素晴らしいニュースです、なぜなら、それは人間以下からAGIへ、そしてそこから超知能への移行がより段階的になることを意味するからです、
なぜなら、始めに、AGIレベルの出力を得るために何十万ドルを費やしているからです、
そして、そのコストは時間をかけてより段階的に下がります。
それでも目まいがするが、そうである可能性よりも良い。
絶対に。
また、これはより一時的かもしれませんが、
モデルが現在人間の言語を使って大声で推論しているという事実は、安全性の観点からも非常に役立つ可能性があると思います。
モデルがスクラッチパッドに書いているものを信頼できなくなるのはいつのポイントでしょうか？誰もが現時点では大丈夫だと疑っていますが、ある時点で…
私の考えはもう少し、
彼らは言語ではないものの中で推論し始めるだろうということです。
ああ、OK。
つまり、確実に超知能である時点までに、
私たちが概念的語彙でどれほど限られているか、そして実際に科学的
発見を通して良い記法がどれほど重要であったかを考えると。
アインシュタインが一般相対性理論を思いつくのを助けたものの一部は、数学のこのニッチな分野に本当に深くいたということだと私の理解で、それが彼が表現したい思考のいくつかを表現するために非常にコンパクトな記法を持つのを助けました。つまり、これらのAIがお互いにウィングディングで話すことを想像します。
彼らが整合していることを願います！
私たちは少し否定的になっています。つまり、それらのことは肯定的です。
素晴らしいAIアシスタントを得るという事実、それは本当に良く、本当に有望です。
そして、素晴らしかった一つのことは、これも感じていると思いますが、
何年もの運動構築と分野構築からの見返りをただ見ることです。私の場合、それは主に効果的
利他主義のアイデアに一般的に説得される人々で、今スイッチしています、
なぜなら、アイデアのセットについて素晴らしいことの一部は、新しい情報が入ってくるときに人々が更新し、変更を望むことです。しかし、その後も
早期の先駆者、AIの重要性についても話していた人々を見ています。それは本当に私に希望を与えるものです、
今十分ではないですが、多くの人々がいるという事実は、
より多くであり得たよりも。
絶対に。
政策について感覚を得るためにDCを訪問しに行きました、政策で働いている人々は何をしているのか。そして、私の研究で、私はどれほど政策に情報を与えられるべきかについて特に疑問に思っていました。そして、私は「私はここで価値を加えないだろう」と思って去りました。
それは本当に良いです！これらの人々は非常に賢く、
非常に一生懸命働き、非常によく動機づけられています、
はい、彼らは私ができるよりもはるかに良い仕事をするでしょう。そして、多くの異なる分野でそれが真実だと思います。
私たちが私たちのAIの心配について最初から正しかったのを見るのは、私にとって困難でした、そして、
私たちが間違っているリスクについてもっと臆病で、もっと不安でなかったことを願います。私たちがもっと一生懸命行ったことを願います。
しかし、その点で、物事をより良く行かせる私たちの可能性を高めるために人々が追求できる多くの異なる方法をマップしました。
そこには多くの異なる方法があります
人々が追求できます。聴衆の中にいて、これを聞いている場合、真剣に考えてください
ここに何らかの分野があるか
あなたが何かをすることができるかもしれないところ？遅くなっているが、潜在的に違いを作るには遅すぎません。
指を交差させて。それが私のインスピレーショナルなメッセージです。
ありがとう、ロブ。
本当にありがとう。楽しかったです。
楽しかったです。
コメント