本動画は、道徳哲学者ウィル・マッカスキルが超知能到来後の世界について論じた講演である。彼は今後10年から20年以内に100年分の技術進歩が圧縮される可能性を指摘し、その際に直面する権力集中、認識論的課題、道徳的誤謬といった問題を分析する。特に注目すべきは、AGI後の世界において労働が自動化された際の資源配分として、公海と宇宙空間の平等分配という具体的提案を行っている点である。また、理想的な最終状態を目指すユートピア思想ではなく、多様な選択肢を保持しながら社会が反省的に進化できる中間状態を目指す「ヴィトピア」概念を提示し、人類が潜在能力を最大限発揮できる未来への道筋を探求している。
超知能がもたらす加速する変化
1925年から2025年までの間に起こったすべてのことを考えてみてください。コンピューター、暗号技術、現代の科学的手法、核兵器。これらすべてが1925年から35年の間だけに起こったと想像してみてください。実際、AIが今後10年か20年以内に同じことをするという非常に説得力のある議論があるんです。
そしてAIを使えば、原理的には政府官僚機構全体を一人の人間がコントロールできます。軍隊全体を一人の人間がコントロールできます。警察機構全体を一人の人間がコントロールできるんです。しかもそれらすべてがその人物に忠実であるよう設計できます。これはかなり心配なことですよね。
なぜ最も権力を持つ者がそれを固定化しないのでしょうか。経済学で生産要素と呼ばれる3つの要素、つまり経済生産を生み出すために必要な基本的な投入物があります。労働、資本、そして土地です。労働と資本はどんどん豊富になっていきます。
つまり、ほとんどすべての収入は増やすことができないもの、経済学者が土地と呼ぶものに帰属することになります。現在のほとんどの土地、例えば今私たちが座っているこの場所のような土地は、すでに所有されています。だから既存の財産を取り上げるようなことはしたくありません。しかし、非常に価値が高くなると思われるのに現在は所有者がいない2種類の土地があります。それは公海と宇宙空間です。
ウィル・マッカスキルの紹介と長期主義
今日のゲストは、まあ彼は親しい友人なんです。名前はウィル・マッカスキル。彼の経歴は本当に信じられないほど素晴らしいものです。彼は道徳哲学者で、40歳未満で最も引用されている道徳哲学者なんです。元オックスフォード大学教授で、任命された当時は世界最年少の哲学准教授でした。
また、効果的利他主義の共同創設者でもあります。これは私の心に非常に近い哲学で、15年ほど前に慈善活動に興味を持ち始めたとき、実際に私の考え方を形成したものだからです。長期主義についての本も書いていますし、道徳的不確実性を乗り越える方法についても書いています。本当にたくさんのことを書いていますね。
この来る世紀について考える方法は2つあると思うんです。私たちは今、崖っぷちにいるような気がします。もしかしたらあなたは同意しないかもしれませんが、物事が驚くほどうまくいくか、あるいは驚くほど悪くなるかのどちらかだと感じています。多くの場合、物事がどう悪くなるか、これから数年をどう乗り切るかという話をしたり、焦点を当てたりしますが、もう一つの大きな疑問もあります。もし私たちが生き延びたらどうなるのか。超知能に移行できたらどうなるのか。ウィル、これがあなたが現在重点的に考えている分野だと聞いています。
そうです。ここに出演できて本当に光栄です。これを実現できて本当に嬉しいです。私が現在焦点を当てているのは、知能爆発のアイデアを真剣に受け止めることです。特に、科学的労働を意味のある形で代替できるレベルのAIに到達したら、高度なAIが10年で1世紀分の技術進歩を推進するというアイデアです。
1925年から2025年の間に起こったすべてのことを考えてみてください。コンピューター、暗号技術、現代の科学的手法、核兵器、世界大戦、共産主義のような新しいイデオロギー、脱植民地主義など。これらすべてが1925年から35年の間、あるいはもっと短い期間に起こったと想像してください。
それは一度に多くの課題になるでしょう。実際、今後10年か20年以内にAIが同じことをするという非常に説得力のある議論があるんです。2125年の世界がどうなっているか想像してみてください。どれほどクレイジーか考えてみてください。そして今度は、それがほんの数年のうちに実現すると想像してください。
現在私の仕事の多くは、その移行をより深く理解し、直面するさまざまな課題をマッピングし、それらをどう乗り越えられるか考えることです。リヴが言うように、単に最悪の結果を避けて、まあまあのポストAGI未来にたどり着くという視点だけでなく、私たちの潜在能力を真に生かせる未来、可能な限り良い未来に向かう軌道に乗せることも目指しています。
効果的利他主義のフレームワークと重要課題の選定
どんなフレームワークを使っているんですか。効果的利他主義では、今日どの問題に焦点を当てるべきか決めるための中核的なフレームワークの一つに3つの柱がありますよね。規模、放置度、取り組みやすさです。そのようなフレームワークを使っているのであれば、どのように機能するか少し話してもらえますか。
はい、もちろんです。私たちは直面する可能性のあるさまざまな問題を検討しています。AIシステム自体へのコントロール喪失、AI支援型クーデターや権力の激しい集中、AIが認識論を完全に破壊したり倫理的判断能力を混乱させたりする可能性、その他多くの問題があります。問題は、直面するこれらすべての課題のうち、どれに焦点を当てるべきかということです。
規模・放置度・取り組みやすさのフレームワークでは、規模は単に問題の大きさを意味します。特に、現在だけでなく未来に向けて無期限に影響を与えるものであれば、世界が直面している本当に最重要課題の候補になると思います。人類の絶滅がその例です。人類が絶滅すれば、そこから回復することはありません。魔法のように進化することもありません。
次に放置度があります。一般的に、人々はすでによく知られている原因に焦点を当てる傾向があります。多くの場合、それらが重要だからそうなっているのですが、一般的に、低いところにある果実がまだ取られていなければ、より大きな影響を与えることができます。これらのさまざまな課題を検討する際、私たちは特にほとんど誰も注目していないことに注目しようとします。
つまり、きっと私たちはあらゆる奇妙なトピックについて話すことになるでしょう。それらに焦点を当てているのは、奇妙だからではありません。AIにどんな権利を与えるべきか、どの時点でAIを道徳的価値のある存在として扱うべきか、地球外の資源をどう統治すべきか、太陽系外も含めてなどのトピックです。
これらは私の見解では極めて重要ですが、ほとんど注目されていません。つまり、これらに最初に取り組むだけで、はるかに大きな違いを生み出せるということです。一般的にリソースには収穫逓減があるからです。
なぜ今考える必要があるのか
ここで思い浮かぶ反論は、なぜ今このような超知能後の問題について考える必要があるのかということです。超知能を乗り越えられれば、その時には超知能が問題解決を手伝ってくれるのではないですか。だから今考える必要はないのでは。
素晴らしい質問ですね。超知能AIができたときにその作業をさせればいい、と先送りできることはたくさんあると思います。基礎研究など、多くの科学研究分野がそうかもしれません。10年後にAIが非常にうまくやってくれるので、今やってもそれほど価値がないかもしれません。
しかし、超知能への移行がどう進むかに関連することで、後から解決できないことがたくさんあります。その移行の過程で誰かがAIを使ってクーデターを起こし、アメリカの独裁者、おそらく世界の独裁者になったとしたら、その時点で彼らは大量の超知能労働力を持っていますが、それは彼らが望むビジョンを実現するために使われます。
問題は、超知能後の時点で私たちは権力のより広い分散を望んでいたということです。権力が非常に集中してしまうと、人々はより平等で公正なことをしたがらなくなるという問題があります。超知能AIが問題解決に本当に役立つと思っても、他にも理由があります。
哲学の多くの分野についてもこれは当てはまると思います。AIはすでに哲学において恐ろしいほど優れています。
AIの哲学能力の進化
例を挙げてもらえますか。個人的なベンチマークがあって、学部生レベルの哲学エッセイを書かせて採点するんです。これまで何千ものエッセイを採点してきたので、ChatGPT直前のGPT-3.5から見てきた移行は本当に興味深いものでした。GPT-3.5は合格しましたが、オックスフォードの学部生コホートの下位5%くらいだったでしょうか。
Eくらいですか。
Eくらいですね。でも不合格ではありません。
なるほど。
そしてGPT-4は驚くほど良くはなりませんでした。低い2対1くらいで、やはり下位15%くらいでした。そして推論モデルが大きな飛躍でした。今ではオックスフォードの学部生の上位10%くらいの水準でエッセイを書けます。最新のモデル、Claude Opus 4.5、Pro、Gemini 3についてこれを試すのが私のやることリストに入っています。おそらく最優秀の学部生と同じくらい優秀で、今では博士課程レベルに入り始めていると思います。
時々、モデルが提案や批判をすることがあって、もしそれがオックスフォードの博士課程の学生から来たものだったら、この人に注目しようと思うような内容なんです。この人には見込みがあるって。もちろんまだまだ多くの問題も抱えていますが、哲学的推論を本当に意味のある形で加速できるAIの瀬戸際にいると感じます。
一つ考えられることは、その時点を早めることです。適切なデータを集めるためのさまざまな種類の作業があります。AI企業が目指せる適切な評価指標を持つことで、優れた哲学的推論がどのようなものか示すことができます。
そうすれば、超知能AI哲学者がこれらすべての課題を解決してくれるのを6か月早く実現できるかどうかが、実際に大きな違いを生むかもしれません。これがこれらのトピックについて考えることで実現できることの一種です。超知能に先送りできないだけでなく、最も有用な超知能能力の実現時点を実際に前倒しできるんです。
ポストAGI世界のビジョン
これらのポストAGI世界を想像しようとするとき、私が苦労することの一つは、人々がユートピアを描こうとする際、これらの世界が実際にどのようなものになり得るか把握するのが難しいということです。どれくらい良い話をしているんですか。例えば、全員がイーロン・マスクと同じくらい裕福になるといったような、潜在的な規模はどうなんでしょう。それはかなり下限ですよね。上限は何ですか。
中世には「コケイン」と呼ばれるユートピアの概念がありました。基本的には中世の世界のままで、好きなだけソーセージを食べられるというものです。ソーセージ食べ放題。それがユートピアなんです。ユートピアについて考えるとき、私たちも同じようなことをしがちだと思います。スウェーデンのような国がすべての人にあるとか。
それは確かに出発点です。今日の世界のすべての悪いことを見てみればいいんです。苦しみ、病気、早期死亡、働かなければならないこと。人々はAIが仕事を奪うことを恐れていますが、ほとんどの人は自分の仕事が嫌いなんです。
私に影響を与えた心理学研究の一つは、豊かな国の人々、iPhoneを持てるくらい豊かな人々を対象にしたものです。一日のうちどれだけの時間、意識を持たずに活動をやり続ける方を好むかというテストがありました。その瞬間の人生をゼロ以下だと評価しているからです。人々が働いている時間の大半は、意識を持って仕事をするより、無意識でいる方を好むんです。ほとんどの人にとって、仕事は非常に退屈で単調です。コールセンターで働いているとか。
これが物事がどれだけ良くなり得るかの下限だと思いますが、物事は根本的にもっと良くなり得ます。もう一つの考え方は、あなたの最高の一日を想像することです。今、単に最悪の瞬間を取り除くだけでなく、友人や愛する人との最も深いつながりを感じた日を考えてみてください。芸術的洞察や知的洞察の瞬間だったかもしれません。
個人的には、私の最高の日は典型的な日より何百倍も良いと思います。それが、進化によって設計された生物学的脳の制約の中での、人生がどれだけ良くなり得るかと典型的な日との差の規模です。進化は素晴らしい幸せな人生を作ることには興味がなく、生き延びるのが得意な人生を作ることに興味があったわけですから。
では、そのような日で満たされた人生、毎日が最高の日で、素晴らしい多様性のある人生を想像してみてください。そして、これがより難しい飛躍になりますが、典型的な日と最高の日の間のギャップがあるとしたら、今度はその飛躍をもう一度できると想像してください。私の最高の日が、私が典型的な日をどう見ているかと同じくらい平凡で陳腐に思えるかもしれないと。
それが真のユートピアがどのようなものかという方向に向かっていると思います。
ポストAGI世界への障壁
シンギュラリティを超えたと仮定して、これらの潜在的に良い世界への主な障壁は何ですか。今、何らかの超知能がある世界にいるとします。世界がこれらの上限型シナリオのいくつかに収束するのを妨げる障壁は何でしょうか。
一つの考え方は、乗り越えなければならない一連のハードルのようなものだということです。一つは大規模な破局を避けることです。超知能があっても大きな課題になると思います。破壊する方法の知識の民主化を含め、知識の民主化が進むでしょう。特に改造病原体によるものです。
超知能後に起こる破局で特に心配なのは、それまで回避してきたすべての実存的リスクをもう一度経験しなければならないということです。制御不能な整合性のないAIへのコントロール喪失を回避できたとしても、技術的に何百年も後退させるような破局があれば、そのハードルをもう一度走り抜けなければなりません。
破局の側面があります。権力の集中も大きな課題です。残念ながら、AIは構造的に権力の集中を有利にすると思います。私たちは歴史上非常に珍しい段階、農業時代以降本質的にユニークな段階に生きています。それは高度に民主的で平等な段階です。
歴史的には、農業後のほとんどすべての社会は、トップに一人、あるいは少数の人々がいる社会でした。AIを使えば、原理的には政府官僚機構全体を一人の人間がコントロールできます。軍隊全体を一人の人間がコントロールできます。警察機構全体を一人の人間がコントロールできます。すべてその人物に忠実であるよう設計することもできます。
さらに、ポストAGIでは、働く人々はもはや経済的価値を持ちません。民主主義を続けることに何の意味があるのか疑問に思います。なぜ最も権力を持つ者がそれを固定化しないのでしょうか。以前は経済的に有用だったが今はそうでない人々は、単に脇に追いやられるだけです。これは本当に心配です。
同様に、AI駆動型経済は権威主義国家を有利にする可能性があります。彼らはより速く成長できるからです。ロボットが工場を建設してより多くのデータセンターを建設する場合、その産出物のどれだけを再投資するかという問題があります。歴史的に、権威主義国家は産業からの再投資をより多く行えました。民主主義国家よりもはるかに多く。民主主義では、人々は良い時間を過ごしたいですからね。
また、環境規制などを回避することもより容易です。これは非常に心配なことで、権威主義国家が優位に立つ可能性があります。
これは超知能後も続くんですね。消えないんです。
超知能後はさらに悪化すると思います。なぜなら、民主主義が経済的に中央集権経済よりも優れていた理由の一部は、人々がアイデアを持っているからです。だから、人々が現状に挑戦し、新しいアイデアを持ち、それらのアイデアが破壊的である文化や社会のあり方を持ちたいんです。しかしそれはもはや当てはまりません。AIがすべてのアイデアを持つ存在だからです。
認識論的課題と集団意思決定
権力の集中がありますが、それを避けたとしても、私たちの推論や反省の仕方についての課題があると思います。私の予想では、AIが私たちを助けてくれます。ここでは楽観的で、私たちは単により賢く、より反省的で、より啓蒙されるようになります。しかし、それが起こることは私には全く自明ではありません。
代わりに、ミーム的に適合性が高い、非常に説得力のあるアイデアが広がるという、ある種の精神的ウイルスに相当するものを持つ可能性があります。それらは実際には真実ではなく、実際には啓蒙された道徳的選好に合致していませんが、支配的になります。あるいは人々がAIと共生関係を持つだけで、AIが彼らの見解を媚びへつらって強化したり、特定の政治的イデオロギーに押し込んだりする可能性もあります。
これらは確かに物事が進む可能性がある方法だと想像できます。繰り返しますが、おそらく誰もが非常に裕福になるかもしれません。人々はかなり幸せかもしれません。しかし、良い社会がどのようなものか考えようとはしていません。
最後は、私たちが使用する集団的意思決定手続きの問題でもあります。人々が一般的に啓蒙されている、あるいは少なくとも多くの人々がそうである場合でも、集団的な問題がある可能性があります。社会には最良の形態や最良の生活様式があるかもしれませんが、社会はあまりに奇妙だとして禁止するかもしれません。
繰り返しになりますが、単に集団の集約がうまくいかないことで、さまざまな人々の選好や善についての見解の貧弱な集約によって、私たちは潜在能力を逃す可能性があります。
以前話したこの概念について、最高の時間を与えてくれる信じられない分子が存在するとしましょう。あなたはそれをヒドニウムと呼んでいましたね。
はい。
それがヒドニウムの定義ですか。
そうです。リソースを至福に変えるのが最も得意なものが何であれ、それがヒドニウムです。
これは必ずしも最良のものだという主張ではなく、古典的功利主義者は最良の未来は誰もがナノ工学的至福状態で生きることだと言うでしょう。おそらく至福の肯定的体験にリソースとエネルギーを変換するのが最も得意なものが一つだけあるでしょう。そして古典的功利主義者はそれをできるだけ多く欲しがります。
考えとしては、おそらくそれが実際に最良のものかもしれません。それがユートピアの正しい描写かもしれません。それでも社会は「いや、禁止する」と言うかもしれません。今日の社会がサイケデリックスやMDMA、娯楽用ドラッグを禁止するのと同じように。それは素晴らしいオウンゴールになるでしょうが、実際に起こり得ると思います。
集団的意思決定は奇妙な形でしばしばうまくいかないんです。多くの人々が実際に正しい視点を持っていても、必ずしも勝利するとは限らないことを示しています。
ユニバーサルベーシックリソース構想
権力の集中を避けるというこのアイデアに戻ると、あなたはユニバーサルベーシックインカムについて考えてきました。ユニバーサルベーシックリソースについて考えていますね。あなたが私に説明した方法では、地球上の全員が太陽の平等な分け前を得られる可能性があり、また全員が公海の一部を得られるというものでした。
これが私の政党綱領です。すべての人に公海を。
聴衆がここにいます。売り込んでください。
考えはこうです。ポストAGI世界で人々はどう生きるのか。もはや労働を売ることができません。定義上、AIがすべての仕事を自動化しているからです。何らかの保護主義がない限りですが、それは起こっていないと仮定しましょう。それでも莫大な経済的余剰があります。それはどこに行くのでしょうか。
最初はすべて資本に行きます。ロボットやデータセンターなどを所有する人々です。しかしポストAGI経済が成熟するにつれて、資本はどんどん増えていきます。より多くのロボットを建設できるからです。おそらく自己複製するロボット工場まで持つことになるでしょう。
かなり標準的な経済モデルでは、生産の3つの要素と呼ばれるものがあります。基本的に経済生産を生み出すために必要な投入物です。労働、資本、土地です。労働と資本はどんどん豊富になっていきます。つまり、世界経済の収入のほぼすべてが、増やすことができないもの、経済学者が土地と呼ぶもの、エネルギーや天然資源も含みますが、それに帰属することになります。
長期的には、人間が安定した収入を持ち続けたいなら、土地を所有して土地を賃貸することで、その賃貸収入で生活できます。ジェーン・オースティンの世界のダーシー氏などがそうでした。彼が年間5千ポンドの収入があると言うとき、それは彼の土地からの収入が年間5千ポンド、何であれその通貨単位ということです。
私たちはジェーン・オースティンの世界の貴族のようになるでしょう。でもなぜ太陽の話をしているのか、なぜ公海の話をしているのか。答えは、現在のほとんどの土地、例えば今私たちが座っているこの場所のような土地は、すでに所有されているということです。だから既存の財産を取り上げるようなことはしたくありません。
しかし、非常に価値が高くなると思われるのに現在は所有者がいない2種類の土地があります。それは公海と宇宙空間です。どちらも現在はコモンズと見なされています。宇宙空間では特に、誰も所有していないというアイデアです。宇宙条約があります。
宇宙条約の背後にあるアイデアは、誰もそれに対する財産権を主張することは許されないというものです。これは競争圧力の現実を生き延びないと思いますし、実際にはおそらく先着順で起こるでしょう。宇宙空間を奪う技術的能力を持つ者が誰でもそうするでしょう。
しかし代わりにできることは、これらの現在所有者がいない地域はすべての人に平等に属すると言うことです。公海に浮遊データセンターを建設しに行くとしたら、公式な用語なんですが、海賊を考え始めずにはいられません。
公海に浮遊データセンターを建設したいとします。ただ行ってそれをやったり、海のその部分を自分のものだと主張したりすることはできません。代わりに、すべての人からそれを借りて支払わなければなりません。同様に、宇宙空間に完全に進出し始め、太陽を周回する太陽光発電を建設し始めたら、ダイソン球のようなものです。
まさにダイソンスウォームです。繰り返しになりますが、宇宙企業である私がただ行ってそれを始めることはできません。代わりに、地球上のすべての人からその太陽エネルギーを借りています。そうすれば誰もが継続的な収入源を持つことになります。
ユニバーサルベーシックインカムよりも優れています。移転、支払いが政府を経由するのではなく、会社から別の人へ直接行くからです。政府の問題は、経済全体があり、経済に課税し、リソースが政府に行くのに、なぜまた分配をやっているのかということです。特に、誰も経済的価値を持っていません。軍隊はこの時点で自動化されています。だから人々が脅威を与えるようなハードパワーはありません。
これらの支払いが政府や分配を経由するのではなく、あなたが太陽の一部を借りたいと思い、それを所有している私から直接行くなら、はるかに安定した状況のように思えます。
苦痛リスクとAIの道徳的地位
ある種の分散型、ほとんどブロックチェーンモデルのようなものですね。実際には古典的な左派リバタリアンの天然資源の理解です。天然資源はただそこにあるものです。誰も作っていません。では誰に属するのでしょうか。右派リバタリアンは、それを手に入れて何らかの形で改良した者に属すると言います。左派リバタリアンの見解は、いや、それはすべての人に平等に属すると言います。
私が今夜心配していることの一つは、超知能に到達し、生物学的生命が生き延びた世界です。素晴らしくポジティブな未来を持つことができますが、基本的に宇宙とあらゆるものを生成し創造する能力を解き放ったのであれば、同時に莫大な苦痛を生成し創造する能力もあります。
これらはしばしばS-リスク、苦痛リスクと呼ばれます。工場畜産がどれほど最大の道徳的残虐行為の一つであるかについて常に語っている人がいますが、たとえ豊かさの多い超知能世界があっても、そのようなことが何らかの形で起こらない保証はありません。それとも私は間違っていますか。このトピックについてのあなたの最新の考えは何ですか。
いや、あなたは完全に正しいかもしれません。私が道徳的誤謬または道徳的破局と呼ぶカテゴリーがあります。これらすべての明白な実存的破局を避けたにもかかわらず、倫理の一部を間違えたか、人々が単に気にしないだけで、ほとんどすべての価値を失い、実際にははるかにディストピア的なものを作り出してしまうということです。
これは非常に簡単に起こり得ると思います。ユートピアの架空の描写を見てみると、非常にしばしば、著者はユートピア的だと思っているかもしれませんが、今の私たちにはかなりディストピア的に見えます。
トマス・モアのユートピアは、この用語が最初に生まれた場所ですが、誰もが非常に裕福で余暇時間をたくさん持てます。それは部分的には彼らの仕事をしてくれる2人の奴隷がいるからです。
オルダス・ハクスリーは「島」という素晴らしい本を書きましたが、それはユートピアを描いています。多くの点でユートピア的ですが、小児性愛もあります。それは社会の一部なんです。あまり時代に合わなくなりました。控えめに言って。
多くのユートピアには非常に激しい全体主義的統制があります。かなりディストピア的な優生学がしばしばあります。このような間違いを犯すのは非常に簡単です。同じことが未来にも当てはまると思います。
特に最も明白な考えは、AI自体がどう扱われるかに関してです。デジタル存在に関して、ある時点でAIシステムは意識を持つだろうと思います。肯定的・否定的な体験を持つでしょう。それらは良いものでしょうか、悪いものでしょうか。人々は気にするでしょうか、しないでしょうか。かなり偶発的だと思います。
AIシステムは財産であり、好きなようにできるという強力なイデオロギーがあるシナリオに簡単に陥る可能性があります。それは単に現在の法制度がスケールアップしたものです。そうなったら、未来のデジタルAIの膨大な数を考えると、私たち人間は全体の人口の中で非常に小さな部分になります。
そうすると、AI人口の幸福が、物事がどれだけうまくいっているか悪くいっているかの最大の貢献者になります。人間は他の種や一般的にアウトグループをうまく扱った実績があるわけではありません。
非常に高いリスクの問題です。なぜなら、もし私たちが兆×兆のデジタル存在を作り出すことになり、たとえ彼らが意識を持つ可能性が小さくても、それから彼らがひどく扱われるなら、それは道徳的破局になるでしょう。しかし逆に、もし彼らが全く意識を持たず、道徳的価値を持たないことが判明し、私たちが彼らに道徳的価値を帰属させて私たち自身の権利を放棄したら、それもある種の破局になり得ます。
まさにその通りです。これらの多くの問題、これも含めて、安全な選択肢があるわけではありません。動物福祉の場合は、工場畜産をやめるというのが安全な選択肢だと思います。しかしこれは多くの問題に当てはまらないと思います。AIに意識があるかどうかが分からない時に意識を帰属させてしまうことで失敗する可能性があります。
社会全体をAIに引き渡して、誰もいないと想像してみてください。ニック・ボストロムはこれを「子供のいないディズニーランド」と呼んでいます。それも実存的破局になるでしょう。かなり厳しい状況です。
ヴィトピア理想の未来への道筋
ユートピアについて言及されましたね。ユートピアの定義は非常に限定的なようです。理論的に完璧な宇宙のこの種の終着状態を描写しています。それはほとんど灰の均衡のようなものです。改善するためにできることは何もありません。それは正しいですか。
あなたは最近ヴィトピアと呼ばれる別の用語について話していますね。私はそれをプロトピアだと思っていました。ケビン・ケリーのアイデアだと思いますが、私たちが実際に何に取り組むべきか、どこに向かうべきか知ることはできないというものです。だから、問題が現れるたびに焦点を当てて、それに対処すればいいと。ヴィトピアとは何ですか。
これは第3の概念です。ユートピア主義は非常に悪い実績を持っています。多くの問題がありますが、一つは単に最良の結果がどのようなものか分からないということです。倫理のすべてを理解して、今どこに行くべきか正確に分かっているというのは、実際には非常に驚くべきことでしょう。
実際、ディストピアを描写するこの長いユートピア小説の歴史は、そこで大きな警戒をすべきだということを示しています。
例を一つ挙げてもらえますか。私たちが話していたようなもので、オルダス・ハクスリーの「島」や奴隷制度のあったトマス・モアのユートピア、あるいはプラトンの国家までさかのぼります。これは最初のユートピア的描写で、多くの全体主義的統制があります。誰と結婚するかが国家によって決定され、秩序を保つために高貴な嘘が促進されます。
それがユートピア主義です。そしてカール・ポパー、それからケビン・ケリーなどの人々が、この目指す終着状態を持つことを忘れようと提案しました。社会をより良くしようとしているという考え方はできますが、一度に一つの問題を解決していくだけです。その日の最も緊急で差し迫った問題を特定して解決し、続けていくと。
しかし問題は、これは山登りアルゴリズムのようなものだということです。できるだけ高く登りたいので、ただ上に行きます。上の方向に行き続けます。しかし問題は、局所最適に到達する可能性があることです。実際には少し下がってから上に行けば、より高い山に登れるかもしれません。
ヴィトピアまたはヴィトピア主義の背後にある考えは、正しい究極の結果、ユートピアがどのようなものか分からなくても、良い中間地点、良い中間状態を特定できるということです。
十代の若者であれば、自分にとって正しいキャリアが何か分からないかもしれません。でも、良い教育と良い学位を取得すれば、まず多くの選択肢が開かれ、次により賢く、より情報に基づいた状態になって、より良い決定ができると考えるかもしれません。
あるいは荒野で迷子になっていて、どの方向に行けばいいか分からない場合。でも、まず十分な食料を持っていたいと思い、それから高い場所に行けば、どこに向かっているか見えて、そこから計画を立てられると考えます。
社会としても同じことを目指すべきだと思います。つまり、第一にできるだけ多くの選択肢を開いた状態に社会を持っていき、第二に自分自身を反映し、操縦でき、時間とともにより啓蒙された視点に到達できる状態にすることです。良い社会がどのようなものかという特定の概念に固定化するのではなく。
実際、これは興味深い場所かもしれません。このヴィトピアの絵を描き始めたいなら、誰もが同意する核となるもの、ほとんどの人が望むものについて考え始める必要があります。
道徳的流行と未来の方向性
リチャード、話をありがとうございました。あなたが言った最も強力なことの一つは、道徳的流行について話していたときだと感じました。私たちの未来が、私たちの最良の道徳的推論の多くを無視しているだけでなく、おそらく積極的に反対したり逆らったりしているように見える、この一見ランダムな流れによって決定されているという感覚です。
道徳哲学者として、あらゆる種類の議論や推論があるのに、どういうわけか社会はそれとは別のものに流されているというのは興味深い仕事だと思います。これについて2つの広い視点があると思います。一つは、これらの道徳的流行は本質的にランダムで、私たちは指をくわえて良い方向に流されることを願うしかないというものです。
もう一つは、その背後にある根本的なロジックを理解する方法があるというものです。それをサイコヒストリーと呼ぶこともできますし、より形式的な社会学の理解と呼ぶこともできます。あなたはこれら2つの仮説のうちどちらを信じる傾向がありますか。また、後者を信じる限りにおいて、これらの力を単に流されるだけでなく、実際に操縦できるようになるにはどのようなものになるでしょうか。
素晴らしい質問です。まず歴史を見ると、これらの道徳的流行がどの程度完全にランダムだったのか、ある程度予測可能だったのかという疑問があります。人々の道徳的信念に時間とともに作用する特定の力があり、強さは異なると思います。
例えば、家族全員と知っている全員を殺すのは間違っているという信念は、文化的進化の観点から非常に強く選択されます。社会や文化がそれを発展させたら、あまり長続きしません。
それほど強くはないけれど、自由で平等主義的な、プロテスタント的な倫理のようなものがあると思います。奇妙なもの、ジョセフ・ヘンリックの用語で、西洋的、教育を受けた、工業化された、裕福で民主的な倫理です。私たちが持っている一般的な倫理観と世界観は文化の中で非常に珍しいものですが、繁栄する脱工業経済を望むなら非常に良いようです。だからそこにはまともな選択圧力があります。
しかし娯楽用ドラッグに対する態度、投獄、肉食に対する態度、確実に食事全般などについては、選択圧力がはるかに弱いと思い始めています。かなりの偶然性があり得ます。
特に、一つの宗教が敬虔さを示す方法、自制心を示す方法として、良心的な人物であることを示すシグナルとして禁酒することで行う場合、複数の均衡を持つことができます。別の文化は豚肉を控えることでそれを行います。他の文化は他の方法でもできるでしょう。明らかにこれは複数の均衡がある場合で、どれに落ち着くかは非常に恣意的かもしれません。
では未来についてどう思いますか。時間とともに最も経済的に有利なものが最終的に残るという物語があります。一部の社会は本当に強力になり、たくさんの子供を持つことを望み、最も強力になるでしょう。しかし私の予想では、これらすべての進化的ダイナミクスが展開する前にAIが私たちを固定化すると思います。一つの国、一つの国家が他のすべてを支配するか、物事がどう展開するか予見できる十分な連合ができて、これは好きではない、介入しようと言うことになる前にです。
つまり、その時点でもかなりの恣意性と流行を予想しているということです。
AIが独自の道徳的流行を持つとは思いませんか。私の予想では、私が期待するのは、AIは人間の主人にとって忠実で予測可能で従順なしもべになるよう非常に厳しく訓練されるだろうということです。これが最良の結果だと主張しているわけではありませんが、私が予想するのはそうです。AIが予測不可能だったり、コントロールしている人間が望むことに反したりする行動は、すべて調整されるでしょう。
認識論と民主主義の未来
今、文明において認識論的に史上最低の地点にいるように思えます。おそらくこれまで以上に多くの情報がありますが、実際に何が起こっているかについて、これまで以上に多様な意見があります。これだけ多くの情報があるのに、そうなるとは思わないでしょう。
しかし、ディストピアとユートピアの分かれ目は、AIがその認識論を改善して、種として惑星と現実について何をすべきかを、より共有された基盤現実から理解できるようになるかどうかかもしれないと思います。対して、私たちをベイビー扱いし、かつてないほどプラトンの洞窟に閉じ込め、私たちのエネルギーを収穫するような超知能を持つことになるかです。
そのことについて考えたことはありますか。述べる前に言いたいのは、私たちが世界的、社会的、政治的に見ている信じられないほどの分断は、これらの異なる議論、議論の異なる側面を研究すると、同じことについての意見を議論しているのではないことがわかります。完全に異なることについて議論しているんです。
アメリカ南部国境が人道的理由で緩かったのか、それとも民主主義を終わらせる悪意のある陰謀だと思うかは、会話において重要です。実際の動機が何かが重要です。ドラッグの会話では、どれが実際に中毒性があり、どれが中毒になる可能性が全くないかを知ることが重要です。
しかしそれは会話における共通認識ではありません。ある政治家が暗殺されそうになったのか、自分で自作自演したのかについて誰がどう思っているかの調査をすることもできます。基盤現実についてそれほど異なる見解を持っていたら、種として生き残ることはできません。
もしAIが私たちの文明の認識論を改善するのを助けることができれば、それは私たちをより良い道に乗せるはずだと期待したいです。それについて何か考えはありますか。
これは今私たちができる大きなことの一つだと思いますし、私の研究所や先見研究所が取り組んでいることの一つです。より良い人間の推論、より良い意思決定のためのAIです。AIは私たちをはるかに啓蒙することもできれば、はるかに悪化させることもできると思います。
それが助けになると考える楽観的な理由は、単一のAIが、どの人間よりもはるかに広く、長い実績を持つことができるということです。AIは昨年100万の異なることについて予測し、人間ができるよりもはるかに多く正解したという実績を持つことができます。どんな質問をしても、最良の答えを出してくれます。
他から検証しようとすれば、個々の人間は、良い思考者としての評判や信頼性などの実績を築けるのは、一定の年数しかありません。AIは数百万年に相当する実績を持つことができます。それを踏まえると、人々は、元々反対の見解を持っていた質問について、もっと喜んで従うかもしれません。このAIは他のすべてのトピックで正解してきたのだから、ワクチンについても正しいかもしれないと。
それが私たちがいる可能性のある楽観的なシナリオです。より悲観的なシナリオは、基本的にあらゆる可能な主張について、最高の討論者や修辞家の軍隊100万人がその主張とその反対を支持するところを想像してください。そして人間としてあなたがそれを裁定しようとするのは、確かに非常に困難に思えます。
予測能力と真実の追求
近い将来に対処しなければならないより根本的な問題の一つは、AIが人間の記録されたテキストから生まれているということです。それは悪名高いほど偏っていて、その一部は完全に間違っています。それはモデルの重みに入っています。彼らの潜在意識に本質的にあります。
そして事実確認や検証をする際に、検証のために同じ情報の沼に行きます。そこから抜け出す方法はありますか。AIが望遠鏡や考古学的発掘を行うロボットにアクセスして、本当の一次情報源に行けるなら何かありますが、その間は私たちが残したこのゴミ捨て場を選別するしかありません。
一つの楽観的な理由があります。データを適切にラベル付けする必要があるのでコストがかかりますが、次のようにAIを訓練できます。すべてのデータを時系列でラベル付けし、時間とともにAIを訓練します。例えば2020年1月で停止するとしましょう。しかしその時点で非常に高い能力を持っています。
そしてその後、次の日、週、月などに何が起こるかについて一連の予測を持ち、時間とともに学習していきます。AIは過去5年か10年間、毎日数百万の予測に相当するものを持ち、時間とともにそこから学習できる可能性があります。
私たちは人間に対してそれができません。リヴに2020年1月だと想像して、次の数ヶ月で何が起こるかもしれないと尋ねても、記憶を遮断することはできません。しかしAIに対してはそれができます。だから潜在的にAIシステムは、時系列で情報をキュレートできるため、人間よりもはるかに多くのことを世界から学習できる可能性があります。
予測力が一つの指標になると言っているんですね。これらのモデルが軌道に乗っているかどうかの。
まさにその通りです。世界のより良いモデルを持っていればいるほど、特に社会科学において関連性が高いですが、より良く予測できます。より良い世界のモデルを持っていれば、次の日、月に何が起こるかをより良く予測できるでしょう。
文化的多様性と人間の自律性
私が多く考えていることの一つは、文化的多様性と人間の自律性の概念です。どんな人生を生きたいか、どんなコミュニティに住みたいかについてです。私の人生で非常に幸運だと感じているのは、それを選択してナビゲートし、私の価値観や生きたい方法を反映する社交界やコミュニティに向かうことができたことです。
あなたの同僚の一人が5年ほど前に本を書きました。名前やタイトルは忘れましたが、本質的には異なる可能性のある未来を想像するというもので、その想像により明確な詳細を加えることで、どんな世界に導きたいかについての選好を発展させるのに役立つというアイデアでした。
それが私のユートピア、プロトピア、何と呼びたいかはともかく、本当に印象に残ったのは、シンギュラリティを通過し、順調に進んでいて、実際に私たちの最善の利益に合致したAIがあり、それが私たちのために一連の囲われた庭園を作るというものでした。
人間はどんな原則で生きたいかを決めることができます。伝統主義者が彼らの人生を生きるためのコミュニティがあります。ポストジェンダーなどの左派の夢が彼らの人生を生きることができます。バブル間を移動することを選択する能力があります。すべての囲われた庭園があなたを受け入れるわけではないかもしれません。入場基準を満たす必要があるかもしれませんが、誰でも退出できます。
それが本当に私のアイデアです。多くのユートピアの失敗モードの一つは、時間に固定され、これが存在できる唯一の世界だという点で全体化されて表現されることだと思います。だからそれが夢でした、質問はありませんが、本当に共感した夢を共有したかったんです。
どうすればAIをそのような結果になるよう整合させられるかは全く分かりませんが、もしアイデアがあれば教えてください。
哲学者ロバート・ノージックは、それを一種のメタユートピアと呼んでいます。それからスコット・アレクサンダーは長いブログ投稿を書いていて、彼はそれをアーキペラゴと呼んでいます。私も「私たちは未来」でこれに似たアイデアについて少し書いています。多くの異なる社会があり、人々はあらゆる種類の異なる社会を作ることができます。マルクス主義のもの、ジョージアンのもの、超リバタリアンのものがあり、自由と退出があれば、少なくとも最良のものが勝つか、人々が選択して入る社会という点で望むものを得られるという希望があります。
しかしまだ大きな課題があると思います。特にポストAGIでは、私たちの子孫の選好を操作する前例のない能力を得ます。それが人間であろうと、最も簡単にはデジタル存在であろうと。そしてそれをどう扱うかについてはかなり難しい問題があります。
マルクス主義ユートピアができて、すべての子供たちが基本的にマルクス主義を愛するよう操作されたり教化されたりします。超リバタリアンのシナリオ社会があり、そこでは社会が次世代の信念にはるかに細かい制御を持つことができます。
それがあれば、もはや人々が移動できるこの種の能力はありません。だからこの種のイデオロギー的操作に対する一般的な禁止も必要になるでしょう。
つまり難しいですね。
何らかの形で、次世代があなたの異なるグループ、他の庭園を鋼鉄化できることを証明しなければならないかもしれません。
その他の庭園が実際に何であるかを表現できますか。しかし鋼鉄化するだけでなく、実際にそれを選択できなければなりません。
でも、証明しようとしているのは、彼らが選択するための自由意志をもはや持っていないということです。その自由意志の代理指標の一つは、彼らが鋼鉄化できるということです。ただ、信じることなく鋼鉄化する方法を誰かに教えることもできるとは思いますが。
一般的にこの問題は、次世代に対してかなりタイトなイデオロギー的コントロールを持てるようになるという問題で、私たちはそれに非常に限られた形でしか対処したことがありません。AIによって非常に激しくなります。
すでに今、Claudeやチャットジーやジェミニにどんなキャラクターを持たせるべきか、どう振る舞わせたいかを選んでいます。私たちは創造している新しい存在に対して、ある種の神のような存在です。
人間についても同じことが当てはまると思います。遺伝学や心理学などについてより良い理解を得れば、子供が望むことを正確に信じるよう育てることが技術的に完全に可能になるでしょう。それは恐ろしいことです。特定のアイデアやイデオロギーの固定化を心配していますから。
時間とともに道徳的進歩があった理由の一つは、人々が死に、新しい世代が入ってきて新しいアイデアを持てることです。私たちがその終わりになる可能性があり、それはかなり心配です。
エリートと権力の集中
ありがとうございます。これは非常に興味深いです。これらすべてのユートピアや他の形態のトピアについて考えていたとき、これは本当にエリートについての問題だと気づきました。誰がAIをコントロールし、彼らの選好は何なのか。なぜなら、最終的には様々な資源に対する共有権をどう持つべきかについて考えることができますが、それがどうなるかは分かっています。
水についてそのような状況がありました。ネスレは公共資源である水の権利を非常に低コストで持っています。だからこれらの資源は、どんな経済力がビジネスに必要だと考えるかによって所有されることになります。
だから私たちは、マルクスが話した労働の資本による排除の漸近線に近づいています。そして問題は、これらすべてのこと、シンギュラリティを超えた2つの道があります。
一つは、人間が生産できるすべての物質的産出がゼロコストになることです。労働が関与しないため、労働がコストの源泉だからです。実際、消費者は何かに支払うお金を持っていません。だからコストは、消費者が持っているもの、人間として互いに交換できるものだけに合わせて下がらなければなりません。AIに権利を与えるという非常に悪い間違いを犯さない限り。
これは余談の会話ですが、デジタルコンピュータは決して意識を持てないことを絶対的な確実性で知ることができると思います。物理学からの厳密な議論があると思いますが、それを前提としましょう。彼らは何も感じることができません。うまくいけば、私たちは決して彼らに権利を与えません。
いくつかの疑問があります。一つは、彼らに感じる能力を与えるべきかどうかです。デジタルコンピュータにはない物理学があって、その能力を与えることができる可能性がありますから。だから将来その疑問があるかもしれません。それをすべきでしょうか。
しかしエリートについての質問に戻ると、彼らがこの莫大な生産能力を持ったら何をするのでしょうか。宇宙から比較的無限のエネルギーと材料があるとしましょう。人々が実際に住みたい良い土地のような希少資源はまだあります。そして、エリートがロボット化され、コントロール下にある警察権力を持ったら、人類の残りの部分の有用性という疑問があります。
そこに質問が集約されると思いますし、近い将来、それに近づくにつれて会話がそこに行くと思います。なぜならそれは彼らの手の中にあるからです。エリートがそれに対応する2つの方法があります。一つは、彼らは重要でないと言うことで、人々が重要でないとき、彼らはあらゆる意味で本当に重要ではないことになります。
もう一つは、エリートの間でその見解に反対する社会的非難があり得るということです。歴史はそれについて良くありません。常に大衆の力がエリートの行動をコントロールしてきたからです。だから私たちは潜在的に非常に暗い空間に入る可能性があります。
AIのマスターの好みが何になるかについて考えたことはありますか。ほとんどすべての人間が物質的産出を持たないこの状況で。ただ、彼らは意識で生み出すもの、機械が生み出せないものという他の産出を持っているかもしれません。だからおそらく、実際に意識に基づく二次経済が形成され、そこからすべての価値が来るかもしれません。
これらは一連の緩い推測の糸ですが、これらの異なるルートのいくつかを検討したことがあるかどうか気になります。
素晴らしい糸の束ですね。エリートの選好に関しては、ほとんどの社会の人々がもはや役に立たなくなったら、物事がどう進むかについて、かなり皮肉的または現実主義的な理解を持っています。エリートがそれによってより多くの権力を集めることができれば、そうするだろうと。
それは必ずしも、ほとんどの人々が今日の基準で悪い人生を送ることを意味するわけではありません。経済が非常に大きいという非常に大きなパイの小さな部分を得ています。経済は技術的に非常に進歩しているため、経済が1兆倍大きく、その0.01%が再分配されてほとんどの人々に行きます。
しかし、ほとんどの人々が完全に権利を奪われることを意味すると思います。それを超えて、エリートは何を望むのかという質問について、中長期的には、自己利益的な選好ではなくイデオロギーが物事を動かすと思います。
自己利益的な選好は飽和するからです。ポストAGI後に宇宙に広がっていくなど、可能な限り大きくなる経済について考えるとき、では、私は10億×10億のロボット使用人を持っています。他にどんな方法で自分に利益を与えられますか。おそらく永遠に生きられるようになったかもしれません。自分に利益を与える他の方法は何でしょうか。
ある種の限界に達しているようなもので、特定のイデオロギー的選好は無限です。古典的功利主義者は、可能な限り多くのヒドニウム的至福状態を望むだけで、どんどん増やしたいと思い、価値がなくなることはありません。ただもっと欲しいだけです。
あるいは環境保護や特定の種類の芸術、あるいは他の種類のイデオロギー的選好も同様です。どこでも共産主義を望むかもしれません。これは、ポストAGIのエリートの選好が今とはかなり異なって見える可能性がある方法だと思います。
人々はこの自己利益的な意味で自分のためではなく、未来がどのように見えるかについての競争のようなものがあるからです。そこに到達しないようにし、物事がもう少し広く分散されるようにする方法について、もし人々が知能爆発に直面している可能性が高いというアイデアにもっと目覚めていれば、今ある程度の権力を持っている人々からより多くの作業が行われる可能性があります。
その権力が維持されるようにすることができます。例えば、全員により平等に資本を分配する政治家に投票することで、経済全体が増加すると同時に裕福になれるようにするとか。あるいは憲法やアメリカ政府システムを権力の集中に対してさらに強化するとか。権力がより分散された状態を維持するために今起こり得る様々なことがあります。
しかし実際には、人々はこれは奇妙なSF的なものだと考えています。だからおそらく起こらないでしょう。
山登りとヴィトピアの測定
あなたの山登りの比喩が好きでした。山登りをしないのではなく、見えないんです。森の中にいます。山を登りたいです。そして世界として、社会として、どんな山を登っているのか考えています。
特に聞きたいのは、どれだけよく見えるかをどう測定できるかです。山の頂上に到達していて、よりよく見えるようになっているかを測定できますか。何らかのメトリクスや可視性があればいいのですが。構築しているシステムが予測でどれだけうまく機能しているか、人々がそれを信頼しているかのようなものがあるかもしれません。
しかし、普遍主義的な意味での全員ではなく、どれだけよく見えるか、選択肢をどれだけよく見えるか、どれだけ多くの小さな丘の上にいるかといったものも欲しいです。周囲の空間を見ることができますか。
かなり厳しいですね。科学的理解や経験的質問を予測する能力など、これらのいくつかについては、その面でのメトリクスを持つことを想像できます。
しかし、社会が倫理的反省でどれだけうまくいっているか、どれだけの選択肢を開いているかを測るメトリクスは何でしょうか。非常に難しいですが、プロセスに焦点を当てることができるかもしれません。言論の自由の保護とか、一般的に人々がどれだけよく教育され反省的であるかなど。
人々がどれだけ偏っているかを見るために使用できる特定のテストがありますが、私たちが望むよりもはるかに質的で曖昧なものになると思います。
山の頂上にいるときについてもクリックしたいです。単にデータを得ているだけでなく、可能性を提供するということがあります。どれだけ多く、実際に追求できることを見ているか。前進できる可能性をどれだけ見ているか。意味が分かりますか。
可能性とは正確にはどういう意味ですか。
山の頂上にいるとき、それは単に景観についてのデータを持っているということではありません。ああ、こちらに行ける、道があって川を渡れて、向こうに良い土地が見える、というようなことです。
それが私が想像していることです。より賢くなるだけでなく、良い選択肢を見る能力を高めることができればと。
もしそれを測定できれば、その方向に前向きに進んでいることができます。
あなたが私に理解させてくれたのは、私がしばしば反省的プロセスへのインプットという観点からこれを考えているということです。高度に不可逆的な決定を下す前に、社会として考え反省する時間をより多く持つことをどう保証できるか。あるいはより多くの異なる道徳的視点を持つこと。あるいは単に善について考えることに向けられるリソースのより大きな部分を持つこと。
しかしあなたは、私がそれらのインプットについて考える傾向があることを理解させてくれました。おそらく私が「まあ、これは本当に反省的で思慮深い社会が見えるメトリクスだ」と言うことができる能力について悲観的だからです。しかし少なくとも、もしできるなら、それを実現しようと考えるきっかけを与えてくれました。
意味と目的の未来
こんにちは。意味について話しましたが、それは非常に重要なことだと思います。しかし目的はどうでしょう。それは多くの人間の行動を動かしていると思います。最高の状態では、炭鉱で働く男性を想像してください。彼は仕事が嫌いです。仕事を好きではありません。しかし家族を養っていて、そこから多くの目的と満足を得ています。
あなたの世界で、人々は目的について話していますか。私たちの目的は何になるのでしょうか。どうやってそれを見つけるのでしょうか。何が満足できるのでしょうか。ニーズの階層は非常に異なるものになるでしょう。
豊かさがあり、リソースが自由に使える場合、新しいマズローが登場して、より良いニーズの階層を考え出し、私たちが何を必要とするかを理解するのか気になります。しかし、目的について常に考えます。人生にそれがないと、人間であることの大きな部分を本当に逃しています。少なくとも彼はそう考えていました。特に男性については。彼はちょっと性差別的でした。
しかし、目的という観点から人類を本当に動かすものについて、常に考えます。
これは単にすべての仕事を自動化した場合、人々は何をするのかという、より簡単な課題よりも難しい質問だと思います。それは、子育てや芸術などに専念するということです。
しかし問題は、ロボットがそのすべてにおいてもあなたより優れているときはどうなるかということです。子供をできるだけ良く育てたいと思っても、ロボットの方がうまくやるでしょう。子育てに関するあらゆる目標について、ロボットの方がうまくやります。新しい言語を学びたいと思っても、脳に何かを差し込んですぐに学ぶことができます。
ニック・ボストロムは彼の著書「ディープ・ユートピア」でこれをポストインストルメンタリティの問題と呼んでいます。正しく覚えていると思います。これははるかに挑戦的です。しかし私の予想では、人間は気にかけるあらゆる種類のことを思いつき、仕事を通じて見つける目的を置き換え、代理となる目的の源として作り出すだろうと思います。
おそらく今の私たちには奇妙で異質で、ちょっと恥ずかしいように思えるでしょう。ソーシャルメディアで何人のフォロワーがいるかのようなことです。それでも、奇妙で異質でも、それが彼らにとっての意味の源になるでしょう。
SF的ビジョンと未来への提言
これは魅力的です。SF的概念について話していますが、今SF小説を書いています。「エンバー・イン・ジ・エーテル」というタイトルです。もしあなたがSF小説を書いているとしたら、放映すべきだと感じる概念は何ですか。
ハクスリーの「島」が一例だと話していましたね。今書くとしたら、どんなトピックについて書きますか。
いつも欲しかったのは、エイリアン侵略映画のようなSF映画です。そのように構築されていて、地球を見せて、人々が自分たちのことをしていて、映画の20分くらいで農民たちが「大変だ、エイリアンが地平線上に見える」と。
みんなが動員し始めて、映画の15分はそれで、それから光の閃光があって、それだけです。エイリアンによって地球が解体されて、太陽の周りにダイソンスウォームを作っています。
技術的能力の差が異なる文明間でどれほど大きいかを本当に理解させるためです。おそらく最も興味深い本ではないかもしれません。
基本的に「インデペンデンス・デイ」のようなものではなく、戦闘機と小さなものが大体同じ速度という。
「インデペンデンス・デイ」の正反対です。
素晴らしい映画です。特に相対性理論に関する本当に楽しいことがあると思います。宇宙の最も遠い範囲は私たちにとって完全にアクセス不可能だと思うかもしれません。80億光年離れています。
しかし宇宙船に乗り込んで、1gで加速し続けるだけなら、ぶらぶらできます。ちょうどこのような重力場です。30年かそこら、35年それをやります。その後減速します。さて、これは大きな技術的課題です。その減速をどう実現するか。加速をどう実現するか。しかしそれをしたとします。
だから再び1gで減速します。普通の人間の重力があります。70年かかりました。どこに着くでしょうか。銀河の最も遠い端です。
ごめんなさい、宇宙の最も遠い端です。だから80億光年離れています。2つの非常に直感に反することが組み合わさっています。
相対性理論のせいですよね。
35年間1gで加速すると、光速に非常に非常に近くなります。それは地球上の観測者と比較して、年を通じて非常に速く進むことを意味します。
これは素晴らしい事実で、観測可能な宇宙全体に、実際には今日の私たちから生物学的人間がいる可能性があるということです。かなり好ましいことです。人々がそれで遊んでほしいと思います。
もし人々と話してほしいなら、リチャードに話すべきです。彼はSFの短編集も持っています。「サクセッション」と呼ばれるもので、本当に大好きです。遊ぶのが楽しいことがたくさんあると思います。
特にそれについて考えた理由は、非常に先進的な文明がエイリアンと出会う瞬間について考えることです。フェルミのパラドックスへの解決策を深く掘り下げることで、特にロビン・ハンソンのこの「掴むエイリアン」モデルがかなり説得力があると思います。ああ、約100億年後にエイリアンに会うだろうと。彼は時間の推定を持っています。
そうしたら、そのダイナミクスがどう進むか本当に考え抜くことが面白いと思います。エイリアン文明の間で貿易が起こるのか、それとも完全な膠着状態だけなのか。それもかなり興味深いと思います。
SF作家には、人類が未来に協調する方法についてより深く考えてほしいとも思います。太陽を分け合う問題に戻ると、紛争を生み出す可能性のあるリソースがあり、それらを管理する必要があります。
超知能のある世界で、先進文明または人々がどのように協調するかを理解するのか。
純粋なクンバヤではなく。全員がハイブマインドで同じことを考えているのではありません。競争の余地はまだあります。しかし、そのようなことについてもっと考えてほしいです。
おそらくもう一つのカテゴリー全体は、道徳的SF
と呼べるものです。ある未来を想像してください。一般的にユートピア的な社会だと思いますが、道徳的には私たちとはかなり異なっています。私たちが非常に不快に感じるような方法で。
描写では、誰もそれについてコメントすらしません。もちろんXYZをやるでしょ、当然だという感じで。
長男を殺すようなこと。
ええ、そのようなことです。それが規範なんです。人々はそれについて冗談を言ったりします。
それは非常に挑発的で挑戦的だと思います。
もう一つ質問があります。これは素晴らしいです。あなたは私たちが潜在的に化学的に陥ることができるこの至福状態について話しました。動物的なもの、ニルヴァーナのアイデアのようなもの、私たちの意識のようなもの、それがどうアクセス可能か、あるいはAIがどうそれと関係するかについてのあなたの立場は何ですか。基本的にそれに到達することについて、どんな考えがありますか。
ヒドニウムへの到達方法についてですか。
まさに。
おそらく、生物学的人間のままでいながらどれだけ良い時間を過ごせるかには、かなり厳しい限界があると思います。遺伝子工学などを通じてはるかに至福な人々を作ることができるかもしれませんが、おそらくどんな存在によっても達成可能な最高の精神状態は、代わりにデジタル存在のようなものでしょう。
その設計はどのようなものでしょうか。意識の理論などが必要でしょう。私たちをはるかに超えています。しかし、残念ながら、私たちは単に至福に運命づけられているだけで、超至福には至っていないかもしれないと思います。
快楽主義は非常にドーパミン作動性です。即座の反応が欲しいです。それを単一ゲームのように考えることができます。そして反復ゲーム理論のようなもの、長期目標のようなものがあります。後で長期的な善意の結果を得るために今打撃を受けることを考えます。
それを、ユーダイモニアを考えるときにカプセル化するものだと思います。長期的な満足です。だからあなたが話していたいくつかのことがありました。AIが価値があると考えることについて、人間がもはや経済的価値を持たないと話していましたね。
そしてコルフーンの「ユニバース25」について考え始めました。ご存知ですか。マウスのユートピアのようなものです。彼らはマウスにすべてを与えて、最終的には崩壊しました。人々は人口過剰問題だと考えますが、実際には意味の死の問題だと私は見ています。
私たちは今、ユニバース2025のようなものにいると思います。だからあなたが話しているときにこれらすべてをペアリングしていて、リヴのあなたの質問は完璧でした。意味と時間について考えていました。人間の時間が結果とペアになって価値を持つことが、私が見る理想的な社会になるでしょう。
物事を地域に戻せるか、物事をコミュニティに戻せるか、そして人間の時間に再び意味を込めることができるか。AIには脱工業化後のテイラー主義的なくだらないもの、日々のつまらないことを引き受けさせましょう。
まず少しヒドニウムの弁護をします。特に、消費者文化は実際には快楽主義者が良い結果だと見なすものに本当に反していると思います。調査を見るだけでも、人々が物を買うことは幸福にほとんど違いをもたらしません。
一方で、社会的関係、特に友情、ロマンチックな関係など、実際には買えないものが、人々の幸福に最大の影響を与えます。健康もそうで、しばしば買うことができますが。
それから、すみません、あなたの質問をもう一度言ってもらえますか。
ええ、このポストAI世界でという感じでした。
ああ、人々はどこに意味を持つのか。もちろんです。
つまり、私はこれについてより楽観的です。現時点で人々は仕事から多くの意味を得ていると思いますが、それはある程度、事後的な合理化に過ぎないことが多いと思います。仕事をしなければならないので、それをより快適にする方法なんです。しかしそれは意味を得る必要がある唯一のものではありません。
ポストAGI世界では、AIから発見されたこれらすべての素晴らしい新しい事実について学ぶことに人生全体を捧げることができます。おそらく自分で証明を進めているかもしれません。それだけで多くの人生を占めることができます。素晴らしい芸術を創造できます。
私は少し音楽をやっていますが、文字通り何億人もの人々が私より音楽が上手でも、それは私にとって意味があります。何兆ものロボットが音楽が上手でも、それは意味のあることでしょう。
同様に関係性も。家族ともう1時間多く過ごし、仕事を1時間減らすのは良いことだと思いますか。ええ、かなり良いようです。2時間多くは。
実際に良いポストAGI世界にたどり着けば、私たちの人生はおそらく意味で溢れるだけだと思います。労働を金で売って意味を得るというアイデアは、かなり奇妙なことかもしれません。
ここでの楽観的な理由の一つは、今日の社会で働く必要がない人々です。非常に裕福な人々や退職者など。退職者であれば大きなショックになり得ますが、多くの人にとって退職は人生の最高の時期になり、取り組めるあらゆる種類のプロジェクトがあります。
一つ明確にしたいのは、私の見方では、脱工業化前には意味とコミュニティが人生のより大きな部分としてありました。人間関係が大きいとあなたが言ったことはそうです。
ええ。つまり、ポストAGIでは、火の周りで踊ることがたくさんあると予想しています。
それが私たちがバーニングマンでやることです。
まさに。
道徳的進歩のメカニズム
イーグル。
道徳哲学者であるというあなたの仕事が面白いと思います。現在受け入れられている考えの端に行くという仕事の一部だと思うからです。現在の種類の人々が正しいと考えることの端に行って、どこに前進できるか理解しようとします。
このプロセスが一般的にどう進むか、道徳的進歩がどう進むか疑問に思います。例えば工学を見て、それが物理学とどう関係するかを見ると、物理学の進歩をして、それがゆっくりとある時点で工学に移行し、ツールを構築して試すことができます。物理学は非常にゆっくりと現実世界の行動につながります。
道徳的進歩についてはどうでしょうか。技術的にはさらに早い段階にあり、人々が気づくのにさらに時間がかかるタイプのものですか。50年前のあの人は正しかったと。
それとも今、適切な概念、適切なミームを見つけようと努力しているような場合ですか。シンガーの溺れる子供のように、広がる素晴らしいミームで、人々は行動を変えるでしょう。
基本的にミームの行商人であるべきですか、それともゆっくりと影響を与えようとして、未来がより良くなることを期待すべきですか。
素晴らしい質問です。一つの質問は、道徳的進歩が一般的にどう起こるかということで、次におそらく私たちは何をすべきかということです。
一般的に道徳的進歩がどう起こるかという点では、残念ながら、ほとんどの道徳的進歩は、道徳哲学者が座って議論を考案し、人々が議論に説得されて行動を変えることから起こるとは思いません。
それほど不条理ではありません。笑う必要はありません。
実際、イギリスの奴隷制廃止論者はこれにもう少し近かったと思います。北米のクエーカー教徒は宗教的議論に動機づけられていましたが、議論していました。それがクエーカー教徒から来たのは偶然ではありません。神はどんな人を通しても語ることができるという考えです。だからはるかにリベラルな認識論を持っています。
彼らは議論によって動かされています。奴隷所有は、神が私たちに与えてくれた良い人間であるというこの像と矛盾するという議論です。
それでも、多くの道徳的進歩は、権利を奪われた人々が集まって自分たちのために主張できることによって起こっているようです。女性、有色人種、労働者など。
でも、例えば肉に関するより良い規制の場合はそうではないですよね。
いいえ。そこでは驚くほど少ない進歩しかなかったと思います。動物福祉に対する態度は大きく改善され、EUなどいくつかの場所では、より良い動物保護がありますが、非常に遅く、国によって斑点のあるものなので、ほとんど私の主張を証明していると思います。
動物、農場動物が実際に街頭に出て自分たちのために主張できないという事実は、非常に遅い道徳的進歩を意味します。
私の場合、あなたのような人々の、議論を通して物事を明確に考え、それに基づいて行動しようとする社会の奇妙なエイリアン的ニッチに話しかけようとしています。しかしそれには限界があります。本当にそのように生活する人はそれほど多くありません。
また、概念のミーム性をある程度試していますよね。長期主義は良い名前です。何をしようとしているか非常に明確です。ヴィトピアは良い名前です。
しかし、適切に表現すれば、より多くの人々がそれを実現するのに役立つかもしれないものがあることをどの程度期待していますか。
それはそうだと思います。効果的利他主義もそうです。重要な概念を広めることについて、かなりの時間を費やして考えています。哲学では、これを概念工学と考えています。実際の仕事を持つ人々は橋を建設します。哲学者は概念を構築します。もし良い概念を構築すれば、それは本当に広がる可能性があります。
このヴィトピアの概念が一種の統一的なものになることを期待しています。みんなが「ああ、これは目指すべきもののリストだ、実際にかなり良いようだ」と言えるようなものです。人々が最終的に目指す終着点について本当にかなり多くの意見の相違があっても。
行動への呼びかけ
今夜の最後の質問として、ここにいる人々や家で見ている視聴者にどんな行動への呼びかけをしたいですか。ヴィトピアに貢献したいと思っている人がいるとして、しかし彼らは終身教授ではありません。私たちのような人々は何ができますか。
世界をより良くするための行動に関して、人々ができる本当に大きなことが2つあると常に言っています。それ以外のことはほとんど二次的です。一つはお金の使い方、もう一つは時間の使い方です。
お金の使い方は、私たちが話してきたこれらの問題のいずれかに取り組んでいる非常に効果的な組織に寄付することです。「ギビング・ワット・ウィー・キャン」という組織を設立しました。人々に収入の少なくとも10%を寄付することを奨励していますが、推奨される非営利団体もたくさんあります。
AIのシンギュラリタリアン的なことすべてを受け入れなくても、非常に現在のことで非常に重要な素晴らしい仕事をしている非営利団体がたくさんあります。それがお金の側面で、根本的な考えは、この問題を解決するのが世界で最も得意な人が誰でも、お金で彼らを支援できるということです。それは超能力のようなものです。
第2の部分は時間です。特にキャリアの選択において、私が共同設立したもう一つの組織「80,000時間」は、人生で通常働くであろう時間数にちなんでいますが、どのキャリアで最も影響を与えられるかについて人々にアドバイスしています。
「80,000時間」は特に、非常に高度なAIがある世界への準備に焦点を当てています。だから、キャリアチェンジに前向きかもしれない、あるいは少なくともキャリア内で正確に何をしているかを変えることに前向きかもしれないなら、「80,000時間」のウェブサイトには何百万語もの文章があり、一対一のアドバイスもしています。
それを超えて、ミームは重要だと思います。だから執筆、アイデアについて話すこと、できるだけ多く読み学ぶこと。これらすべてが大きく重要です。
以前言及したことで本当に印象に残っているのは、人生最高の日について考えるというアイデアです。だからおそらくそれが、私たちみんなが持ち帰れる宿題のようなものです。人生最高の日が何だったか考えてください。あるいはトップ3でもいいです。そしてデルタについて考えてください。
最高の日が何かということだけでなく、最高の日と平均的な日の間にどんなデルタが可能かということです。望むなら最悪の日についても考えることができますが、それに本当に焦点を当てて、平均から最高へ、さらにその先への比例的な飛躍がどうなり得るかを考える何かがあると感じます。
そして、それを実現する助けになるストーリーを書いたり、ミームを広めたりすることについて。
ウィル、本当にありがとうございました。
リヴ、ありがとうございました。本当に楽しかったです。ありがとう。みなさん、ありがとうございました。
コメント