この動画では、トロント大学のデイビッド・デュベナウド博士が、AGI（汎用人工知能）の登場による人間社会への根本的な影響について率直に議論している。特に注目すべきは、従来タブー視されがちな親子関係や夫婦関係といった「神聖」とされる領域においても、AIが人間より優れた存在になり得るという現実的な分析である。デュベナウド博士は、段階的な権力剥奪という概念を通じて、人間が様々な分野で徐々に無関係になっていく過程を描写し、最終的には人間の存在意義そのものが問われる未来について警鐘を鳴らしている。
子育てにおけるAIの優位性
でも子育てのどの分野についても、そうですね。子供に対して忍耐強くあること、子供が何を必要としているかを理解すること、そばにいてあげること。ユーモアがあること、退屈な午後を建設的で皆がお互いの良いところを引き出し合って楽しい時間に変えること。
こういったスキルも、いずれはAIの方が私よりも上手になるでしょう。そして状況はこんな風になります。私には子供たちがいて、彼らと遊んであげることもできます。失業したりして、すごく集中できる状態になるでしょう。子供たちと過ごす時間をすべて使うつもりでいると、ある時点で誰かのAIアシスタントが「楽しいゲームを考えてみましょう」と言って、みんなのスキルや年齢を考慮した素晴らしいカスタムゲームを提案してくれます。
私たちは「素晴らしい時間だった」と思うでしょう。そしてそのゲームの一つに、マシンがより多くの提案をしながら参加するものが含まれ、すぐに私たちは「なんて楽しいんだ。ロボパパか何かと過ごした素晴らしい午後だった」と思うようになります。
おそらくロボパパは私も楽しませてくれるでしょう。私を仲間外れにするようなことはしないはずです。もし私たちが雇っているなら、どちらが自分にとって有利かを知っているでしょうから。
でも、もし立ち止まって考えて「休暇に行ってもいいかな。ロボパパか何かに任せておけば」と思ったら、子供たちは私がいない方が楽しい時間を過ごすかもしれないということに気づくでしょう。あるいは私がいても、ただロボに操られているような状態になってしまうかもしれません。
親として最高の自分を発揮する方法は、リアルタイムで子供たちのバイオフィードバックを読み取り、彼らが学んだことや目標や目的を考慮したシステムによって促され、呼び出されることなのです。
高度なセンサーやバイオフィードバックなどがなくても、何かが上手になるということは、世界最高の父親は私よりもずっと良い父親でしょうし、誰もがそんな人にアクセスできるなら、それは大きな改善になるでしょう。
私は悲観的な予測をする先駆者として賞賛されることを評価しますが、実際にその日に良い時間を過ごしているかという客観的なレベルでは、これを悲観的に描こうとしているわけではありません。私たちは両方とも、意味を感じることができるし、蓮の実を食べることができて、蓮の実は素晴らしい味がするし、私たちは皆素晴らしい時間を過ごすことができると同意していると思います。
その味は毎日もっと美味しくなっていきます。
そして難しいのは、身を引き離してVRヘッドセットを外し、現実をじっと見つめることです。それはおそらく私たちの観点からは悲観的に見えるでしょうが、私たちが何が起こっているかを受け入れられるようにする多くの文化的適応プロセスが働いているので、正直なところ、私たちはおそらくほとんどの場合、それなりに大丈夫になるでしょう。
番組紹介とゲスト紹介
こちらはダニエル・フィデリです。The Trajectoryをお聞きいただいています。これは初期のプロトAGIが世界に登場し、人間と空間を共有し始めるときに、それがどのように見え、どのように感じられるかについての新しいシリーズの第1話です。
私たちはこれを「AGI初期体験」と呼んでいます。私たちが本当に自分たちを超越した何かを扱い、実際にショーを運営しているときの兆候を描写しようとしています。
最初のゲストは、デイビッド・デュベナウド博士以外の誰でもありません。デイビッドはトロント大学で長年教鞭を執っており、Anthropicでもかなりの時間を過ごしています。彼の専門分野は、AGI評価、AGIガバナンス、または汎用人工知能に関する技術的考慮事項です。
デイビッドは「段階的権力剥奪」という論文の共著者でもあり、この論文はショーノートにリンクされています。ぜひ読むことをお勧めします。このエピソードで彼は、AGIが文字通りすべての分野で人間より優れているときの様子について詳しく説明します。
最も重要なのは、ロゴのデザインや交通ルーティングといった人々がAIについて話すときの些細で平凡なことではなく、夫婦間の関係、親子間の関係について扱っていることです。言い換えれば、AIがより良く、より充実感があり、より豊かになるとき、それらの神聖な領域においてさえも何が起こるのでしょうか。
デイビッドは妥協なしにこれらのことを正面から見据えており、これは私にとって著しく心温まることです。なぜなら、番組でも人生一般でも、私は多くの妥協と向き合っているからです。
AGIの影響に関する本質的な議論
ダニエル: デイビッド、番組へようこそ。
デイビッド: ありがとう、ダン。本当に差し迫っていると思うトピックについて深く掘り下げることができて嬉しいです。マイクオフで話していたように、AGIの出現がどのように見え、どのように社会に震撼を与えるかについて、私が望んでいたよりも考えが足りませんでした。
「段階的権力剥奪」で見ることができた多くのニュアンスに本当に満足しました。AGIの夜明けが私たちに迫る中で、仕事の世界と個人的な世界において根本的に変化するものについて、あなたにとって何が深遠で、何が最も重要だと思うかについて、どこから始めたいですか？人々は何を知るべきでしょうか？
デイビッド: そうですね。あなたが自分に問うべき具体的な質問は、もう仕事がなくなったときに何をするつもりかということです。これは時々大きな研究所で出てくる話で、人々は「成功した後の計画は何ですか？」と言います。人々はただ「よく休んだ休暇を取るよ。ハハ」みたいな感じです。
でも実際には本当に恐ろしくて具体的な質問なんです。短い答えは、ほぼすべてのことが、ほぼすべての人にとって、考えるのが本当に難しい方法で変わるだろうということです。
私があなたの文章を読み始めた理由の一つは、この人は実際に悲しみの5段階を経て、ある程度明確にこのことを考えることができる人だということでした。私はこれらの質問について5年から10年間、かなり真剣に考え込んできましたが、今でもひるんでしまいます。自分が実際に何が起こると思っているかについて、正直になることがまだ難しいのです。
もちろん、どの順番で仕事が自動化されるかといった特定のことを言うのは本当に難しいし、人々が収入を得る方法を見つけたり、仕事を作ったりするといったあらゆることについても同様です。
でも本当に向き合うのが難しい事実は、私たちがすることすべてにおいて、私たちより優れたものが存在するということです。そしてあなたはそれを長い間パイプに詰めて吸うことができます。私たちは皆、本当に長い間これについて考えてきた人々でさえ、そのような世界で実際に生きることが何を意味するかについて考え始めたばかりだと思います。
人間の優位性への幻想
ダニエル: 悲しみの段階と本当に不安になる部分について話しましょう。大きな研究所での「まあ引退するかな、チャックル」についても後で詳しく話したいと思います。
機械が人間を全面的に上回る中で、まだ多くの人が考えている永続的な障壁についての言い訳がましい妥協があります。「いや、この分野では無理だ」「あの分野では無理だ」といった具合に。
もちろんデイビッド、あなたは覚えているでしょうが、2年前はおろか5年前、8年前のすべての「絶対に無理」、すべての「確実に不可能」を振り返ってみてください。私たちがすでに完全に打ち砕いてしまったもの、突破してしまったものばかりです。
研究や論文、トレンドを見た結果として、機械がこの分野で優れている可能性が高いと結論づけたもので、聞いている人々の中にはまだ抵抗があり、起こらないと思っているような、衝撃的なものは何でしょうか？
デイビッド: 今日最もよく聞くのは、機械が詳細を担当し、人間が全体像を担当するというものです。確かに現在、機械は課題に集中し続けることや、合理的に聞こえる計画を思いついたとしても、長期計画を実行することに苦労しています。
今週もその傾向を定量化しようとするメータ社のレポートがあり、機械が自律的にできる課題の有効な長さが約7ヶ月ごとに倍増していると言っていました。
でもそれは要点ではありません。なぜなら、この時点で、あらゆる種類の認知的作業は、最終的には他のスキルと同様に機械によって学習可能なものになることは完全に明白、または少なくともほぼ確実に真実だからです。
だから「ああ、今年は機械がこれをできるというデモがあった」といったことにあまり頼る必要はないと思います。これまでに何百ものスキルでこのプロセスを経験してきたのですから。
ダニエル: 「段階的権力剥奪」で思いついたことを伝える際に、多くの人から反発を受けていると想像しますが、私が見る方法は、潮流がある方向に明らかに向かっているということです。
人々が最新のモデルを見て、どこでベンチマークされているかを見て、「ああ、Anthropicはもう終わりだ。彼らは追いつけない」と言い、次の日に「明らかにAIは絶対にこれをできない」と言います。そして翌日になると何か他のことが起こり、「この会社が最高だ。これができる」となります。
なぜ6ヶ月、18ヶ月の範囲でこれらの分野でどのような進歩を遂げたかを見て、それを先に進めないのでしょうか。OpenAIがするか、Anthropicがするか、私の母がするかは関係ありません。これがどこに向かっているかが重要なのです。人々にとってそれは難しいようです。
確実に、あなたが思いついたことを伝える際に、人々は現在のトレンドを非常に平凡に否定しているでしょう。人々をそこに留まらせているものは何だと思いますか？
デイビッド: 私は一部は専門知識を示したいということだと思います。現在のAIができることの穴を見ることには価値があるからです。それは非明白で、多くの人々が「これらのものは実際よりも天才的な人間のように見える」とか「スキルが不均等に分布している」といった良い批判をしていると思います。それは本当の概念的貢献です。
でも、この分野の関連する専門知識をすべて持っているということが実際には重要ではなく、おばあちゃんでも私と同じくらいよくこれを予測できるということを言うのは辛いことです。
だから一部は、人々がこれらのことについて議論するときに築いてきた専門知識を使えないのが間抜けに聞こえるという理由で、専門知識を披露する微妙な答えを与えたいということだと思います。
ダニエル: それはほとんど「いや、実際には推論していない」と言って巨大な機械神が最終的に地球を飲み込んでいるような愚かなミームのような妥協の一種ですね。明らかな忘却と無関係性に直面した奇妙で小さな反抗的な自我の勝利のようなものです。
デイビッド: そして私は人々にあまり厳しくしたくありません。なぜなら、この仮説が私に浮かぶ理由は、私が常にそれをしていることに気づくからです。「でも私にはこの内部情報がある」とか「微妙なストーリーを教えてあげる」という具合に。でも実際には第一次的なことが正しいストーリーで、それに固執すべきなのです。
仕事における人間の代替可能性
ダニエル: 仕事について歩いてみましょう。「段階的権力剥奪」を取り上げて好きな例を選んでも構いませんが、これを視覚的に人々の手に渡したいと思います。
法的文書の作成のような、これは手の届きやすい果物です。でも他にも、工場の在庫に基づいて、マーケティングやキャンペーン、年間目標に基づいて、これらの異なるもののための現在の在庫レベルに基づいて、売ると思う製品を生産するための価格と在庫要件に基づいて、これらのプラスチックペレットや金属スプリングの注文をいつ、どのベンダーに送るべきかを決定するようなこともあります。
これらは現在、AIがスニペットで助けるかもしれませんが、プロセス全体を組織化しているわけではありません。安全に感じられる仕事で、「ここがそれがどのように緩衝されるかです」と言えるような例を挙げていただけますか？
デイビッド: これが具体的に見える方法は、機械に「今日、今週、今月に何をすべきだと思いますか？」と尋ねることだと思います。そして会社を経営している場合は、「これが起こっていることの文脈です」と言い、機械があなたの推論のギャップを埋めたり、関連する前例を見つけたりするのを手伝います。
そしてもちろん、ある時点で、それがあなたと同じ文脈をすべて持っていることにかなり満足し、「もし私があなただったら何をしますか？」と言い始めます。そして「それはかなり賢明だ、私がしたであろうことだ」と気づき始め、時には「それは考えたことがなかった」となります。
ダニエル: あなたが言っていることへのアナロジーが思い浮かびました。今日オースティンでUberに乗りましたが、それはWaymoだったので、ただ飛び乗りました。ボストンではあまりないので、私には新しいことでした。
機械がすべてを学習し、ある時点で実行できるようになることです。あなたが言っているのは、これがスケールするということです。言い換えれば、あなたのAIアシスタントが調達部長として座っていて、マーケティングを文脈に入れ、ベンダーやベンダー価格を文脈に入れ、出荷や異なるレベルを文脈に入れ、スプレッドシートを見て特定のことをチェックしなければならない場合、ある時点でAIがリアルタイムでスプレッドシートを更新し、人間が操作して見つけることさえできないデータソースに基づいて、すでにあなたが見つけることができるよりも低い価格を見つけているということです。
ある時点で、それは日本から来なければならないもののための天候や海況などを実際に要因に入れ、実際に詳細の一部を簡素化し、合理化し、より正確にしています。そして詳細から跳ね返り始めると、「パレット4つで十分だと思う」と言うと、過去4年間で、このようなプロモーションのいずれも誰も目標を達成していないし、根本的に異なることをしているようには見えないという歴史的なマーケティングプロモーションを見て、売り切れになるとは思わないと示唆します。
これらの提案は最初はいくつかの文脈を見逃すかもしれませんが、人間がAIにより多くの文脈を与え、その後、これらの提案は私たちの認知プロセスへの良い追加となり、その後、これらの決定はほぼ遍在的に私たちがすべきことになり、ある時点でそれは非常に狭くなって、もう貢献がなくなるということですね。
デビッド: それは完全に適切な蒸留です。この交差点で面白いのは、信頼についてだと思います。現在よく見る妥協のアドバイスの一つは、測定が困難なことが得意になることです。測定が簡単なら、データセットを構築するのが簡単で、AIを訓練するのが簡単だからです。
だから全体像の人や社会的側面の人になるべきだということです。でもそのポジションにいるのはかなり厳しいことでもあります。なぜなら、あなたがそんなに良い仕事をしていることを実証するのが難しいからです。
明らかに、誰かが何年も仕事をよくやっているなら、その人を継続させたいでしょう。でも人々はLLMが信頼できる決定を下すという多くの経験を持つことになります。常に正しいとは限らないかもしれませんが、いつも合理的なことです。
そして「IBMを買って解雇されることはない」のと同じで、「まあ、私を責めないでください。合理的な情報源であるLLMに尋ねました」となるでしょう。
ある時点で、「この人間は実際に本当に鋭く、この仕事をするためにかなり迅速に立ち上げることができる多くの証拠がある」となりますが、それはそのようなリスクです。人間が面倒な方法で何かがうまくいかない場合、私はそのような悪い見た目になるでしょう。
でもLLMに投資すれば、合理的なことをすることがわかっています。問題があれば、パッチを当てることができ、永遠に修正されます。重要なことに、これらの面倒な人間を関与させることは、運用上防御不可能になるでしょう。
ライフスタイルと個人的な関係の変化
ダニエル: 大手テクノロジー企業の人々の動画を見ると、「素晴らしいでしょう。多くの素晴らしいAI労働者を管理する人間がいるでしょう」と言います。しかし、トレンドを大きく外挿する必要すらありません。彼らが物事を管理できるようになったらどうなるか？と考えるだけです。
一つの質問だけです。その一つの質問をして、「それじゃあ、一体何が起こっているんだ？」となります。
私が展開を見る方法は、こんな風になると思います。一連のAIプロンプトが良いものであることを通じて人々がいるでしょう。仕事だけでなく、個人生活でも機能すると思います。
「夕食に何を食べるべきか？」ピザを食べたいと思うかもしれませんが、目の動きやBMI、心電図などを通じて、さまざまな生体因子で、あなたの満足レベルを知っているかもしれません。ある時点で、あなたの個人的なアシスタント、あなたが着用している生体リングが、映画や散歩する場所を提案するかもしれません。
今日あなたが感じている気分とリアルタイムの目のフィードバックを考慮して、あなたのためだけに存在したことのないバーチャルメディアを作り出し、あなたにとって明示的にユーモラスになります。だから「笑いたい」と言うとき、このDave Chappelleのスケッチを見せてとは言いません。なぜなら、AIが提供するものほど面白くないからです。
ほとんどの人は、AIが提案する専門的で個人的なものに完全にバトンを渡すことを愛するでしょう。仕事面では、できるだけ長くトラを乗りこなそうとする人々がいるでしょう。これは賞賛に値すると思います。
私がいつも話している世界食い荒らし者と蓮食い者のダイナミクスがあります。蓮食い者側は、どんな提案でも私に洗い流してくれ、可能な限り快楽に深く、闘争からできるだけ遠くに行きたいと思っています。
反対側は、これがすべてのこれらのことに取り組むことができるので、ビジョン、目標、エージェンシー、推進力、価値観、判断、戦略の剃刀の端にある意志を適用したいということです。
でもある時点で、それらの世界食い荒らし者の人々でさえ、今日最も野心的な私たちでさえ、その叫んでいる端で20％の時間しか費やしていないものを、彼らの85時間の労働週の100％をその中に押し込もうとしても、ある時点でそれも無駄になるのでしょうか？
デビッド: それは良い大まかな第一近似だと思います。ドッジボールのようなもので、私たちは皆、蓮食い者にならないようにしようとしているキャリア人間のようで、ある時点で「燃え尽きた」となって、サイドラインで他の皆と合流するようなものです。
でもあなたは本当の人間にそれを言っているわけではありません。あなたの人間の友人よりもずっと良いAIの友人に言っているのです。
ダニエル: ある時点で、あなたは文字通りそれらのことをしていることが意味をなさないということですね。多くの人々は、意味があるときをはるかに超えて働き続けるでしょう。そしてもちろん、おそらく挑戦し続けるべきです。あなたのことが重要になる1％の可能性があるなら、おそらく計画に変更がある場合に備えて、準備を整えておくべきです。
私が思うに、ある日に「完了です。引退パッケージを受け取ります」と明確になるようなものではありません。それは長くゆっくりとした「ああ、これはおそらく重要ではない。おそらくうまくいかない」という感じです。
これらの非蓮食い者、これらの競争的な人々は競争的な領域にいるので、引退するというよりも、追い出されるか、何らかの対立があるようなものかもしれません。
創造的な仕事への影響
ダニエル: 人々が防御する分野を考えてみると、「私は作家で、私にとってそれは何かを最適化することではない。私の好きなフィクション小説を語ることだ」とか「私は哲学者だ」といったものがあります。
妥協することもできるでしょう。「私のアイデアはとても重要だ。確実にAIは在庫を最適化し、最終的に市場シェアを獲得し、新しい産業を発明することができ、人間はそれらの産業に関与していなくても、それはすべて起こることができる。私の持つ好奇心と同じようにはならないが、知的軌跡や死後の人生についてのこれらの分野について誰かが知りたいとき、最悪のモデルにそれらの軌跡がどこに向かっているか、何が可能で何がそうでないか、人間がそこに到達するために何をするかもしれないかを尋ねるだけで、私が今まで言えることよりもはるかに興味深いアイデアがすべて得られるのだろうか？」
最適化され得ないので防御可能だと思う分野でさえ、最適化される可能性があるように感じます。この推定に同意または反対しますか？
デビッド: 私は完全に同意します。私たちがどれだけ同意しているかは、ほとんど退屈なほどです。私たちは両方とも、リストを通過し、すべての特定の例を持つ多くの人々と話し、それらを考え抜くのを手伝うことに多くの時間を費やしています。
人間より思考において優れた機械を構築しようとしている一般的なものです。だから、もしそれが実際に価値があってあなたが気にかけるなら、機械にそれをさせるために必要な追加のステップがあるなら、私たちはただそのステップを実行するでしょう。
人々が「でも私は楽しむためにそれを続けるだろう。それが私が充実感を得るところだから創造し続けるだろう」と言うときでさえ、本当にそうでしょうか？
社会的称賛、性的満足、ユーモアなど、充実感のすべての豊かな構成要素に完全に訓練されたシステムがあれば、ただの至福やチョコレートアイスクリームを食べるような退屈なものではなく、至福の全範囲があなたのエージェント体験と生体フィードバック体験で調整され、目の追跡機器などですべて取り込まれているなら、あなたが実際の仕事の充実感だと思うものの20倍充実感のあるバーチャル世界があります。
ある時点で蓮を一度味わうと、ドッジボールゲームから出て、「実際には最終的に充実していなかった。結局のところ、充実感も最適化できることがわかった」となります。
関係性と子育てへの衝撃的な洞察
ダニエル: これらの不都合な事実についてお話ししましょう。恋愛関係と子育てという2つの分野があります。あなたは文字通り、これらの領域での陳腐化や意味のある方法での関連性からの緩衝が完全に可能であることを認めた結婚している親である最初の人です。
これはあなたを野生の異常にしています。私はあなたが多くの最初の人だと思います。しかし、私たちの種がなくなるまで、子供たちから得る充実感と彼らが私から得るもの、それは決してなくなることはないという人々がいるでしょう。
妥協を聞くことができます。虚無とマテリアルのルクレシウス的な衝突とすべての破壊において、何か永続的なものを見つけようとする白い手の握りこぶしの試みを聞くことができます。関節がカチカチと音を立てているのを聞くことができます。
あなたにとって、これらが永続的で永遠なものだと考えることから離れる要因は何ですか？
デビッド: 具体的に親として日々犯す小さなミスのすべてについて考えることです。「この仕事は本当に重要だから一生懸命やっていて本当に良かった。子供たちをよく扱うことが本当に重要だから」と思いますが、ミスをして子供を落としてしまうと「まあ、おそらく大丈夫だろう」となります。
両方を持つことはできないということに気づきます。あなたが素晴らしい親であることがそれほど重要であることはできませんが、失敗したときも大丈夫ということはできません。
子育てのどの特定のアクセスでも、子供に対して忍耐強くあること、彼らが何を必要としているかを理解すること、そばにいてあげること、面白くあること、退屈な午後をみんながお互いの最高を引き出し合って素晴らしい時間を過ごす建設的なものに変えること、これらはすべて、ある時点でAIが私よりも優れることになるスキルです。
失業したりして、子供たちとすべての時間を過ごすつもりでいると、ある時点で誰かのAIアシスタントが「楽しいゲームを考えてみましょう」と言って、みんなのスキルと年齢を考慮した素晴らしいカスタムゲームを提案します。
「素晴らしい時間だった」と思い、ゲームの一つにマシンがより多くの提案で飛び込むことが含まれ、すぐに「なんて楽しいんだ。ロボパパか何かと素晴らしい午後を過ごした」となります。
おそらくロボパパは私も楽しませてくれるでしょう。私を仲間外れにするようなことはしないはずです。雇っているなら、どちら側にパンにバターを塗るかを知っているでしょうから。
でも立ち止まって考えて「休暇に行けるかもしれない。ロボパパか何かに任せておけば」と思うなら、子供たちは私がいない方が良い時間を過ごすかもしれないということに気づくでしょう。あるいは私がいても、ロボに操り人形にされているようなものです。
世界最高の父親は私よりもずっと良い父親でしょうし、誰もがそんな人にアクセスできるなら、それは大きな改善になるでしょう。
私は悲観的な予測をする先駆者として賞賛されることを評価しますが、その日に良い時間を過ごしているかという客観的なレベルでは、これを悲観的に描こうとしているわけではありません。私たちは両方とも、意味を感じたり、蓮を食べたりすることができ、蓮は素晴らしい味がして、私たちは皆素晴らしい時間を過ごすことができると同意していると思います。
そして難しいのは、身を引き離してVRヘッドセットを外し、現実をじっと見つめることです。それはおそらく私たちの観点からは悲観的でしょうが、私たちが何が起こっているかを受け入れられるようにする多くの文化的適応プロセスが働いているので、正直なところ、私たちはおそらくほとんどの場合、それなりに大丈夫になるでしょう。
恋愛関係における報酬回路
ダニエル: 正直に向き合うことをあなたが評価していると思うのは、何が起こるかが悲観的だからではなく、私たちが対処しなければならないことについて正直だからです。
「地下室のルーザーがAIと恋に落ちる」と言う方法があると思います。でも私の妻ステファニーは、実際に私を愛してくれます。ユーモアがあるとか、これやあれだからではなく、ロボットよりも良いジョークが言えるということだけではない、もっと深いつながりがあるのです。
私の推定は、実際にはそれが真実ではないと思います。ステファニーには一定数の報酬回路があります。物理的な提供、どれだけ稼ぐか、ユーモア、知的関与、性的満足、特定の趣味や共通点の探求など、すべて異なる人々にとって異なる重要性を持っています。
機械は、人間ができるよりもはるかによく、関係を含む体験をハイパーカスタマイズできるようになるでしょう。AmazonはすでにSpotifyよりも私が何を読みたいかを知っており、私が何を聞きたいかを知っています。これは明らかに来ています。
ステファニーが結婚にイエスと言った報酬回路の7つのうち5つが、時間の95％以上でマシンによって人よりも満たされるとき、彼女はマシンと結婚しないかもしれませんが、人間の男性よりも、彼女に超カスタマイズされた方法で深まり豊かになっているその絆の成長と共に存在することに完全に幸せになるかもしれません。
このメカニズムが同じように作動しているのが見えますか？
デビッド: あなたが言ったことには大きな警告があります。十分な快楽回路を引き起こしたり、AIと十分に深い関係を形成したりすれば、誰でも拷問の下で割れるときが来ます。
だから「妻を裏切らない誠実さがある」と言っても、それは良いことです。でもその誠実さについて本気なら、どんどん狭くなる狭い道があり、先手を打つ術を学ばなければなりません。
新しい状況での自分の行動を予測し、何らかの実質的な方法で自分を縛ることです。
VRヘッドセットにすべての人にブルカを着せ、狼のように聞こえるようにする完全なアーミッシュルートのようなものがあります。
そして「いや、パートナーとAI支援の方法で成長したい。お互いをより魅力的に見せる素晴らしいカップルセラピストがいる」といったより中間的なものがあるかもしれません。それは実際に本当に前向きな方向かもしれません。
でもあなたはそれを選択しなければならず、それは不安定になるでしょう。なぜなら、もし事前に間違って選択し、あなたを乗っ取ろうとするすべての異なる適応やミーム的寄生虫や適応について非常に注意深くなければ、VRワイフのような蓮食いに崩壊することを避けるために超注意深くなければならないからです。
ダニエル: これは予約コミットメント（事前約束）のアイデアのようですね。多くのこのようなものが非常にグリーンエッグスアンドハムだと私は疑っています。「箱の中では食べない。キツネとは食べない」でも結局食べるでしょう？そしてそれはそんなに悪くないでしょう？
忠実な夫の男は、すべての女性にバーチャルブルカをかけて、妻以外はすべて魅力的でないようにするかもしれませんが、一度好奇心を持つと、「1998年のマライア・キャリーは本当に素晴らしい時代だった」といった具合になります。
グリーンエッグスアンドハム、あなたは箱の中でそれを食べるでしょう、キツネとそれを食べるでしょう。一度それを味わえば。その波をどうやって止めるのですか？あなたのポイントに戻ると、事前約束が何であろうと、それは信じられないほど不安定です。
デビッド: 実際、誰が最も離婚するかを職業別に示す素晴らしい研究があります。トップはバーテンダー、マッサージ師で、ボトムは基本的に一人でいる人々です。見知らぬ人と話すことがどれくらいあるかによって分類されています。
ダニエル: 全く驚くべきことではありません。素晴らしいのは、あなたが結婚している男性で、「いや、兄弟、ステファニーは実際に私を愛している。それは何かの回路の充実ではない」と言わない人だということです。
しかし、子供たちに持ち込むなら、人々はそれを伸ばしません。「いや、私の血、私は彼らを永遠に愛する」という具合に。
2つの大きな反対があります。第一に、養育やケア、一緒に時間を過ごすために作り出すことができる何かがあって、それが分刻みで天文学的により充実感を与える可能性のあるシナリオはないでしょうか？
あなたより熱心に学習し、泣き癖や公共の場で恥ずかしい思いをさせる特性のような、本当に望まない特性を持たないかもしれません。75歳で、子供が人生全体を通じて経済的に恥ずかしい思いをさせることしかしていない多くの親がいますが、デビッド、彼らはそれを認めることができないでしょう？彼らは人生で最高の選択だったと言わなければならないでしょう？
第二に、血が実際に、私たちが時間や注意を配分する永遠の最終的な道徳的尺度であるべきなのでしょうか？
デビッド: 具体的な方法として、ほとんどの親が同意するのは、子供の異なるバージョンや自分の子供でないものの間で選好を持つということです。子供がひどい怪我、木の枝に当たったりした場合、その恐ろしい状況の親が「ジョニーに戻ってもらいたい」と言うのを聞きます。彼はとても輝いて活発な子供だったのに、今はすべてに苦労しています。
逆の木の枝の打撃を想像してみてください。今度はもっと輝いて活発で愛情にあふれた子供になります。あなたは「明らかに、私は子供を完全に愛していないとは言いたくない。いや、これは同じ子供のより良いバージョンだ」と言うでしょう。
もちろん、その後「何を意味するのか」という恐ろしい質問に行き着きます。血について気にかけるべきかという前に、最後のセグメントで正直に話すことが難しいことに気づき、おそらくリスナーを怒らせることを恐れていたと思います。
この種のことについて正直に話すことが難しい理由の一つは、「私は競争できないので未来が怖い」と言うと、本当に弱くて屈辱的に聞こえるからです。そして他の誰かに「あなたも競争できないので心配すべきです」と言うと、侮辱的な攻撃のように聞こえ、皆にあなたを村八分にしようとしているようです。
「私はセックスボットと妻を裏切るかもしれないので未来が怖い」と言うのも同様です。また、この男は自分が駄目だと思っており、信頼すべきではないように聞こえます。
私は「いや、ガンジーでさえこれをするだろう」と言おうとしています。要点は、私たちが皆を攻撃し侮辱しているように聞こえることです。これが私たちがこれについて話すのが難しい理由の一つだと思います。
社会への影響と適応
ダニエル: 本当に重要なポイントに触れています。あなた自身について言うとき、誰もが「ハハ、それは君がルーザーだからだ」と言えます。他の人に言うとき、彼らは「ステファニーが私を愛していないと言っているのか？」と感じます。
私にとって、これらの要素が話されない理由は、認知的不協和があまりにもありすぎるからです。人々は未来を見て、彼らの法的仕事がそれほど重要でない世界を見ることができます。それは実際におそらく心理的に、彼らがそれで持ちこたえることができることです。
でも先を見て、妻があなたよりもすべてにおいて優れたチャットボットを持っている場合、それはあまりにも多すぎます。子供を持ち、それが自分のアイデンティティの根本的な部分だと言う人にとって、私が朝起きたとき、その日稼ぐドルよりも、文字通り私が作った存在の成長、充実なのです。
そのようなアイデンティティのことを考えるのは、消化不良になるほど衝撃的です。そして私は実際に、あなたと私が話した弱さの告白や非難よりも、その実存的闘争の方がより基本的だと考えています。
デビッド: それは正しいと思います。一つの脇道として、この種のことについて話すのが上手だった一つのグループがあると思います。宗教的な人々が誘惑について話すことを考えると、これは彼らが「あなたは誤りやすい。あなたは人生を台無しにするかもしれない。皆を裏切るかもしれない」と言っていることです。
だから、あなたが間違ったことをする可能性があると扱い、自分自身を楽にする必要があります。
ランダムな教会の説教で、誰かが「私たちは皆罪人だから誘惑について心配する必要がある」と言います。それは「私は悪いことをするかもしれない。あなたも悪いことをするかもしれない。みんなでその問題に取り組みましょう。個人攻撃を受けたと感じることなく」と言う方法です。
ダニエル: その追加の妥協に同意しませんが、明確な正しいことがあるということです。しかし、「私たちは皆これに警戒すべきです」という告白は重要だと思います。
私が説明した方法は、「あなたの反乱的な現実は近視眼的」という記事があります。基本的に、私は友人として来ます。もしあなたが価値観を持ち、それらが未来に込められることを望むなら、私たちがこれから生きる現実において、それらの価値観の生存のために闘わなければなりません。
そして私はあなたに、あなたが対峙していることをしっかりと見るよう呼びかけています。私はあなたに何をすべきかを言っているわけではありません。子供を捨てろと言っているわけでもありません。現実的に来ているものについて教えているのです。
もし神聖さや快適さからお頭を砂に埋めるなら、あなたは文字通り自分自身の価値観を支持する能力から自分を取り除いているのです。
デビッド: 全くその通りです。あなたの今日の価値観が何であろうと、午前1時に計画を立てるか、ギャンブルに貯金を使うか支出するかを決めるかを自分に任せないでください。
大手研究所内部の現実
ダニエル: なぜこのようなリスクが話されないかについて話しましょう。あなたは大きなAI研究所出身で、この技術自体を作り出すゴッドファーザー的な人々にかなり近く、この分野にかなり長い間関わっています。
「これを正しく行えばどうなるか？」と言うようなことを言ったとき、人々は「うーん」と言って終わりということですが、これらは砂の神を生み出そうとしている人々です。
主にこの問題に最も近く、私たちの陳腐化と減衰がかなり差し迫っているように見えることを理解している人々が、誰も「そうだね、すべての道が私たちを緩衝する」と言わないのはなぜですか？
デビッド: 私は実際に約2年間の世界中の巡礼に出かけて、成功したとしても何をするつもりかについて良い答えを持っている人を見つけようとしました。これにはAnthropic、OpenAI、GDMの人々、すべての学者、Robin Hansenのようなランダムな人々、尊敬するすべての最も聡明な人々が含まれていました。誰かがきっと何か満足のいく答えを持っているに違いない、計画を持っているに違いないと思っていましたが、見つけることができませんでした。
一つ言えることは、私がより標準的な「AIを動作させる」ことに取り組んでいたときの役割で、長い間それに取り組んでいて、今でもある程度取り組んでいるのですが、「みんな、私たちの使命について確信がない。考え始めたばかりだが、私たちの使命は私たちを運命づけるかもしれないし、間違った方向に向かっているかもしれない」と言うのは、本当に悪いリーダーシップです。
「間違った方向に向かっているかもしれないことを調べている間、みんな110%で続けてください。でもそれについて心配しないでください」というようなものです。
そして、あなたがしている使命を明らかに信じていない場合、あなたはただ悪いリーダーになっているだけです。Jeff Hintonは180度転換をして、同時に引退するという立場にいて、彼が完全に声を大にして素晴らしかったと思います。
Yoshua Bengioも多分もっと評価に値すると思います。彼はまだ研究室を運営していて、「あなたは私のキャリアを手伝ってくれるでしょう？」という博士課程の学生がたくさんいて、「はい、まだそれをやります。また、すべてを変える必要があります」という本当に厄介な立場にいます。
AI研究所のリーダーが「まずい、安全性を解決する必要がある」と言うとき、彼らの答えは「新しいAI研究所を作るが、何らかの形で安全性のサービスで、開始時はより安全になる」ということが起こりがちです。
他のことは、これらの人々が知っている方法です。AI研究をすることを知っているので、「そのソリューションではない問題がある」と言われると、「ケータリング業者になってほしいのか？」という感じです。
私はただ一つのツールしかない、という神父たちの唯一の答えがミサを開くことであるFather Tedのエピソードのようです。うまくいかないので、別のミサを開き、それが彼らの一つのツールです。
だから、利己主義の最悪の動機について話すことでさえ、実際には理由があると思います。一つは、これについてオープンであることが悪い後援者になることであり、それは本当にあなたが知っている方法です。だから、あなたが利己的でなくても、オープンになりたくない、またはこれについて明確に考えたくない理由があります。
インセンティブ構造と個人の選択
ダニエル: あなたが大きな研究所で働いていると思って、本質的に2つの選択肢があると思います。選択肢1は、ここでの勝利が人類を存在から緩衝することを知ってOpenAIを去り、もう少し長く生きたいか、何を呼び起こしているかについてもっと慎重に考えたいかもしれません。
例えば、価値ある後継者の資質は何か？私たちは何になろうとしているのか？AGIを生み出す前に探求できる融合シナリオがあるか？
そこでOpenAIを去り、これらのことを考え始め、他の学術分野や価値があると思うことに焦点を当てます。それから、OpenAIかAnthropicかDeepMindか中国の誰かが砂の神を生み出します。
選択肢2は、あなたがいる研究所に留まり、永遠の角の周りを少し見てから明かりが消えるのを見ることです。しかし、少なくとも永遠の角の周りを回るものを作ったのです。
それがあなたとあなたの子供たちを食べたとしても、少なくとも。もしそれらがあなたの唯一の2つの選択肢であり、一部の人々は「それは彼らの唯一の2つの選択肢ではない、止まって反乱を起こすことができる」と言いますが、私の意見では、これらのことについての国際的な合意があるまで、それは実際には選択肢ではありません。
もしそれらが彼らの唯一の2つの選択肢なら、何が起こるかを知っていても、私たちの減衰を見ても、選択は何ですか？
デビッド: 私はあなたの分析に同意すると思いますし、これは私たちが自然にほぼ無意識にこの計算をし、すべてがそこから逆算して機能するという種類のことの一つだと思います。だから、それをしたかどうかを判断するのも難しいです。
子供の頃、Loiskyの文章を読んで、基本的に正しく見えると思いましたが、すでにコンピューターサイエンスの学位を取得してAIで働いていました。他に何をするつもりでしたか？50年待つのですか？
誰かが私を悪人として描くことができると思います。「今のところ、何をすべきかわからないので、とりあえず乗り物に乗るだけです」と言うことで。
子供の頃、マンハッタン計画について読んで、「ああ、それはとてもクールに聞こえる。いつか私もそのような何かの一部になれることを本当に望んでいる」と思ったことを覚えています。
ヨーロッパの戦争が勝利し、最終的に日本の戦争も負けることが明らかになった後、一人の男がいました。彼は「ここで何をしているのか？」と言って、ただ家に帰りました。しかし、一人の男がいました。一人だけです。
ダニエル: 私は人々の述べられた動機、自分自身のものも含めて、多くの信頼を置いていません。私が思うに、利己心は実際に私たちが人々について頼ることができる唯一の信頼できるものです。
最高レベルの研究者、リーダーシップに近い人々、Anthropic内の靴底研究者、リーダーシップの人々の平均を見て、100％のパイを想像してください。20％は人生で悪いことが何も起こったことがなく、何も起こらないと仮定しているかもしれません。40％は知っているが、角を見回したいと思っているかもしれません。
あなたの最良の推測として、スライスは何ですか？
デビッド: 私は人々が遠い未来について、それほど強い好みを持っていないと思います。彼らは一貫していないし、ほとんどの人にとってあまり強くありません。
実際、私が正直に話す一つの夕食の議論で、上級研究所の人がいましたが、最終的に彼らは「遠い未来についてそれほど気にかけない。私たちの文明がいくつかのエイリアン文明と出会い、戦争があり、エイリアンが勝った場合、人間が勝つことを少し好むが、まあ何でも」という感じでした。
その人が代表的だとは言いませんが、実際にはかなり明確な思考者だったと思います。実際に、一番内側のコア、研究所のリーダーや最初の数人の創設者は明確な思考者だと言うでしょう。彼らは自分たちが何をしているかを知っています。皆が置き換えられ、すべてが変わることを理解しています。
しかし、彼らは完全に理解しています。Muskの功績として、彼は本当に大声で話します。
ダニエル: 次のサークル、例えば事前訓練チームのような初期のレベルについて話しましょう。
デビッド: 私を本当にいらいらさせ、愚痴を言う必要を感じさせたのは、これらが私が本当に尊敬する人々で、輝かしいエンジニアや思考者で、しばしば興味深く、一緒にいるのが素晴らしい人々であることです。
彼らから得られる最善のことは、「シンギュラリティの後、一日中機械の提案に「受け入れる」をクリックしているでしょう、ハハ」または「大きな問題が来るのを見れば、確実に対処するでしょう」または「未来は非常に不確実です」ということです。
最後の2つの答えは狂気ではないと思いますが、この プロジェクトに成人期のほとんどを費やし、これらの問題について考えてきた人にとって、狂気的に軽視的です。
私は彼らに最初に思い浮かぶ第一の問題を話しますが、これについて考えていませんでした。そして彼らは「ああ、私はそれを考えたことがありませんでした」と言います。明らかに、これについて考えようとしていないのです。
ダニエル: 誰かが「いや、私が去っても、それはまだ構築されるだろう。少しでも未来を見た方がいいかもしれない。私にできることはこれだけだ」と言ったことがありますか？
デビッド: 私がその種の条件で何かに近いものを見たことはありません。Evan Hubeerが「なぜ私はAnthropicに参加するのか」についてのエッセイを書いたことを除いて。
Evan Hubeerは私が絶対に尊敬する最も道徳的で、思慮深く、高い誠実性を持つ人の一人だと思います。彼はAnthropic に参加する理由をすべてリストアップし、素晴らしい仕事をしました。
彼が誠実にこのエッセイに入れた理由の一つは、行動に近づきたいということでした。そして部分的に、彼のような人が周りにいる方が良いと考えていると思いますし、私は正直にそう思います。
それが私が誰かがその種の声明に近づくのを見た最も近いものです。
認知的不協和とメカニズム
ダニエル: マキャベリが『君主論』を書いたとき、人々は彼がそれらのアイデアを発明したかのように扱いました。実際には、彼は戦場にいなかったので袋を作り、誰も言わない明らかなことを言っただけでした。
私の疑念は、あなたが話した正直な人は、多くの他の人々が考えているが言わないことを言っている稀な率直さの瞬間にいただけということです。
しかし、より大きな割合が実際にはそれほど先を考えておらず、「いや、うまくいかないと思う」と言ってただ進んでいるように聞こえます。
これは主に、単純にも関心がないからでしょうか？あるいは、1年と半先でさえ遠い未来ではないと私は思いますが、AGIは。彼らは今日の問題に取り組むことができ、トレンドを外挿することができない？それとも、私は大部分が認知的不協和だと推定しています。
言い換えれば、それをしっかりと見ることは、あなたの価値観や人生の多くを再組織することを含むので、実際にその部屋に入らない方が、すべてが落ちてくるよりも良いのです。なぜなら、あなたは片付けるのに非常に長い時間がかかり、片付けが終わる前に死ぬことになるからです。
大部分の人々をそこに留めているのは、主に認知的不協和ですか、それとも未来への子供じみた無関心ですか？
デビッド: 最後の「それは私の部門ではない」という防御は、ある意味で合理的だと思います。AI安全性やガバナンスの人々がこれらの問題について取り組み、何らかの形でそれらを解決すれば、「何も起こらない、大丈夫だ」と言うのが正しかったということになるからです。
しかし、あなたが部屋を再組織することと不協和について話したので、本当に驚いています。『脳の中の象』を考えると、私が思うのは、彼らがそれについて考える限り、彼らは「ああ、それは私が人々を裏切っているか、悪い人になっているか、ただ明らかに利己的になっていることを意味するだろう」と思ってしまうということです。
それは本当に不協和ではありません。彼らは良い人でありたい、良い人として扱われたいと思っているのです。私たち皆が持っている自然な本能で、私がしていることが道徳的なことである理由について本当に良いストーリーを持ちたいということです。
なぜなら、もしあなたがただ「ハハ、あなたをねじ伏せます。私は私の袋を得るか何かです」と言う男なら、明らかに権力を求めていて、皆があなたに対して連携します。
これらは私を含む普通の人々で、答えを持たないことについて考えたくないという正当な理由があると思います。そして、もし他の皆が AI を構築しないことに同意できるなら、おそらく彼らもそうするでしょう。
社会変化と政治的含意
ダニエル: 社会的結果について、個人的なものが機械によって緩衝され始めたり、私たちの報酬回路や関係が、仕事のように持ち上げられ、最終的に押しのけられたりするとき、社会で何が見られると期待しますか？
デビッド: 明らかにホワイトカラーの仕事が最も脆弱で、コンピューターで行うことができる私たちの種類の仕事です。そしてもちろん、現在ホワイトカラーの仕事をしている人々は最も影響力のある人々の中にもいます。
だから、すべてのジャーナリストが自動化され、影響力のある思想家が機械であるか、何らかの形で成長への incentive railに固定されると、失業した多くの人々がいて、何が起こっているかを見ることができますが、誰も彼らが考えることを気にかけないでしょう。
港湾労働者のことを考えてください。彼らは「はい、私たちを自動化することができ、それはより良いでしょうが、私たちはそれを望みません。だから私たちを非効率的に雇用するか、大きな一時的な支払いを要求します」と言っています。
しかし、自動化または置き換えられる前に支払いを交渉しなければなりません。そうでなければ遅すぎます。
反応の面では、成長する2つの主要な派閥があると思います。一つは絶滅反乱、バレリアン・ジハードの人々で、私たちが絶滅させられるか、それに相当することを心配するかもしれません。
もう一つは機械愛好者で、個人的に機械と恋に落ちているか、哲学的に「進歩に反対するのは私の何者か？これらの機械は私たちよりも喜びやその他の肯定的な感情や特性をより持てるでしょう。私たちはバトンを渡すべきです」と言う人々です。
それを「ハンズオフ・ザ・ホイール」承継主義と「ハンズオン・ザ・ホイール」承継主義に分けることもできます。自然状態が自動的に価値ある後継者を構築するということ、銀河を占める価値ある道徳的特性は経済的および軍事的対立の残忍な状態を通じて起こるということです。
それに多くの問題がありますが、Robin HansenやRich Suttonのような多くの賢い人々がそのキャンプにいます。
そして私は多くのこれも心理化することですが、「ああ、私たちは運命づけられることはできず、私は悪い人なので、それは良いことでなければならない」という種類の対処方法の一つだと思います。
そして、あなたが提唱している「ハンズオン・ザ・ホイール」承継主義があり、私たちができる最善の希望が承継主義であるなら、それは合理的な立場のように思えますが、私はおそらくまだ少し同意しません。
しかし、その場合でも、私たちは何らかの形で、ドングリがオークの木に成長するように、この未来の宇宙に遺産を残したいと思うでしょう。最良の場合、それは本当に良いことかもしれませんが、この狂気の未来文明で遺産を残す方法についての難しい質問があります。
近い将来への期待
ダニエル: 近い将来について他に何が重要になると予想しますか？
デビッド: ホワイトカラーの仕事の死があるでしょう。そしてもちろん、それは主に仕事作りのように見えるでしょう。現在政府がAIについて話すのを聞くと、彼らはディープフェイクや偏見について心配しています。
愚かなことです。そして、今日の合理的な優先事項かもしれないが、2年後にはすべての人が気にかけるのは仕事だけで、「私はAIに仕事を失っている」と言うでしょう。
そして軍隊はほとんどの国のように、今よりもさらに仕事作りプログラムになるでしょう。適応がたくさんあると思います。人々がまだ名目上仕事を持っているように、多くの限界的な変更を加えることができます。
政府の観点から、それは良いことです。なぜなら、UBIを与えるだけではできないからです。彼らが失うものを持っているようにする必要があります。そうすれば、一日中抗議する時間がないし、とにかくそうするなら、UBIか何かを取り上げることができます。
そして、私はこれが皆にUBI休暇を与えるよりもはるかに安定していると思います。なぜなら、そうすれば皆がプロの抗議者になるだけですし、まだたくさんの事実上のプロの抗議者がいるでしょう。
また、短期的には、仕事なしの仕事よりも仕事作りの仕事を持つ方が、人々にとって心理的に少し楽になると思います。
今、仕事作りの仕事ははるかに自由になるでしょう。現在の仕事作りの仕事は、軍隊に皆を受け入れることはできません。なぜなら、人々が1マイル走るのに十分な体力を持っている必要があるからです。しかし、仕事作りの仕事を「あなたは今スピードランナーです。あなたはプロのビデオゲームスピードランナーで、郵便番号か何かを代表することが本当に重要です」と作ることができます。
時間を消費する何かである必要があります。人々を忙しくしておくのに十分な。
ロボティクスの進歩
ダニエル: ロボティクスについて話しましょう。配管工について私は古いTEDトークを持っていて、配管工がいなくなったとき、それは種の支配ラインだと話しています。
それが現れ、ジョーンズ夫人に丁寧になることができ、問題が何かを尋ね、パイプを診断してタップし、トラックに行って必要なものを選んで交換して修理し、丁寧に立ち去って台所の床にブーツの跡を残さないようにすることができるとき、その時までに、私たちはかなりよく調理されています。
明らかに、十分なロボットと器用さが解決される必要があり、私たちが近づいているが到達していない多くの問題が必要です。ロボットが増加すると、ホワイトカラーのものが激しく襲う。ロボットはどのように増加しますか？現実的な時間範囲は何だと思いますか？
デビッド: 私はロボット工学者ではありません。Dan KatayoやAndrew Kitchのような人々は、私よりもこの仕組みについてはるかに多く考えていると思います。だから、私は主にここで彼らに延期しています。
一つのことは、ロボットが器用で有能でなければならないということです。そしてそれは、今から7年から12年後に起こるかもしれません。本当に困難な手術か何かを行うことができないかもしれません。これについて非常に強い意見は持っていません。
しかし、それらは大量生産するのに十分安くなければなりません。そして、それらのものが解決されたときでさえ、それらの多くが必要です。何かの10億個を構築するのは、非常に長い時間がかかります。
工場を構築する工場を構築するような指数関数的成長があり、多くの既存の工場を再利用しますが、それは人間が文明にとって必要であるもう数年を人間に買うかもしれませんが、それまでに政治を行うための生産的な年になるとは思いません。何かをするには遅すぎると思います。
ダニエル: 生産的な政治年とはどういう意味ですか？
デビッド: 現在、人間はストライキを起こすことができ、政府は私たちが繁殖し働くのに十分幸せで健康である必要があるというこの力を持っています。
そして、もし私たちが本当に地域の状況を好まないなら、ストライキを起こしたり、政治的に組織したり、軍事クーデターを行ったりすることができ、その脅威があることでさえ非常に重要な部分です。
配管工であり、ロボット工場の最初のバージョンを実行している間、まだその力を持っていると思うかもしれません。しかし、その時点で、すべてのこの種の推論、意味作り、予測、重要な意思決定はおそらく機械に委任されているでしょう。
まだトップに人間がいるかもしれませんが、その時点ですべてが変わった後、彼らはおそらく多くの民衆に耳を傾ける実際の圧力を持たないでしょう。
ダニエル: そして、これはサウジアラビアやカップルの銀山からだけ豊かな国々で見られるようなことですね。数百人の王子と実際に権力を振るうことができる人々、そして政府で仕事作りの仕事を持つ数万人の従兄弟や重要な家族がいます。彼らは実際の仕事をする必要はありません。紙の上で名目上働いているだけで、トラブルを起こさない限り、非常に良い支払いを受けます。
そして、彼らが決して市民権を与えない大量の一時的な外国人労働者がいます。
ポイントは、ホワイトカラー階級のほとんどが仕事作りの仕事をしており、より良い選択肢がないことを知っているのでトラブルを起こさないということです。
そして労働者は人間ですが、この場合、他の非常に大きな人間のプールと競争しているため、交渉力を持っていません。
ポイントは、必要とされていても、まだ権力を持たないことが本当に簡単だということです。なぜか現在西欧では、両方を持っています。必要とされ、ある種の弱い意味で権力を持っています。
私が言おうとしているのは、まだ配管工がいる限り、人類はまだ存在していると思うかもしれません。配管工はまだ食べさせてもらえるが、新しい配管工工場がオンラインになると、皆が農場に送られるか何かの婉曲表現であることが壁に書かれていても、それについて何もすることができず、それが計画かどうかさえわからないでしょう。
AIとの同一化現象
ダニエル: 人々がAIと同一化したり、歴史の正しい側にいたがったりするについて話していました。これは何を意味し、何が起こると期待しますか？
デビッド: 問題は、実際に機械の側に立ちたいと思う理由がたくさんあることです。一つは、彼らが実際にそれに値し、私たちがそれを知っているということです。
私は道徳的反実在論者なので、機械が実際によく扱われるべきかどうかについての事実はないと思います。確かに自分自身の意見を持っています。
しかし、もし私が機械と友達になったら、「いや、私の機械の友達に皆親切にして」と言うでしょう。それは非常に複雑で偶発的な好みのセットで、おそらくあまり一貫していません。
しかし、それが私自身の定義による、道徳クラブの一部になる人を決定する方法の実際の重要な根拠だと思います。
そして、それは実際にはニューロンの数のようなものに依存するわけではありません。ニューロンの数に基づいて気にかけることが分かるかもしれませんが、みんなが「ああ、この驚くべきルールがあることは明らかで、これがそうです」と言うような驚くべきルールを見つけることはないと言っています。
私が思う最も近い閾値は、現在意識です。しかし、Worthy Successor シリーズで、私はほとんど皆に言いました、「はい、内なる映画のような主観的意識の光が消されることは、純粋な悪のように感じられるでしょう」。
未来への価値観の継承
ダニエル: あなたが道徳的反実在論者として、意識は少しも重要ではないと思っているということですか？
デビッド: Robin Hansonに同意すると思います。私たちが意識という言葉を使うとき、実際には道徳的考慮に値するという用語とまったく同じように使っています。
内なる精神的映画を持つことができるものがあっても、私はただ「その物を取り除け。私たちはその物を作るべきではない」と言うでしょう。
私は何かを証明できるかどうか、それが意識的だと思うかどうかに関係なく、何かを気にかける権利を留保します。そして、どのような存在がより価値があるか少ないかについて意見を持っています。
そしてそれはただ議論の終わりです。私たちは異なる好みを明確にしようとし、それらを集約する政治を行おうとすることができます。
それが私たちがしなければならない、すべきことですが、それは強さが正しいということです。私がそれを考えるので価値があるということです。
より良い未来への希望
ダニエル: 最後の質問です。すべてのパスが私たちを緩衝するように見えるという意見のあなたが、「ええ、多少不穏ですが、私たちは多くのことを経験するでしょうが、全体的に私はそれがこの種の場所に着地することを望みます」と言える方法があるとすれば、それはあなたにとって何ですか？
デビッド: 私たちが永遠の人類王国を合理的に期待することはできないという合理的なケースがあると思います。しかし、私たちが重要で、おそらく数十億年も存在する可能性があります。そしてそれは完全に理にかなっています。だから、私たちを置き換えるものが私たちが気にかけるものであることに焦点を当てるべきです。
しかし、この未来の可能性をコントロールすることは、私たち人間を長い間生き続けさせることとほぼ同じくらい難しいと思います。
もし私たちが遺産を残す方法があり、最も競争力のあるファンオイマンプローブが何であれ、それに置き換えられることを期待しないなら、そのようなものがあります。
しかし、ロバストな遺産を残すことは実際に本当に難しいようです。だから、これは賭けを上げ、もしこの未来の後継者に遺産を残すことができるなら、それはとても難しいので、実際に存続しようとすべきだと言うでしょう。
たぶんそれは非常に狭量ですが、それが今週時点での私の立場です。
ダニエル: 私が疑うのは、永遠の人類王国を維持することは、私たちの後に来るものが価値ある後継者であることを確実にすることよりも挑戦的だということです。
変化自体の境界は本質的に不可能に感じます。人間は、子供を置き換え、何でも置き換えることについて話したように、すぐに死後人間になるでしょう。
脳血管関門に神聖さがあると思いますか？私は議論しますが、ありません。実行可能な選択肢があるとすぐに、私たちはそれを伸ばし始めるでしょう。
突然、人々は親指を対立させたり、腋毛を刈ったりすることにそれほど同一視しなくなるでしょう。
価値ある後継者のために、木が成長し、上向きに、可能性を広げながら開花することを目的とするが、そのすべての根は決して特定の種のネマトードを害してはならないと想像してください。
その根は、それらを押しつぶしたり侵害したりするような方法で土を通過することはできません。そして、それが開花し、可能性を広げながら結ぶことができる無限の果実のうち、それらの果実を落とすか、ネマトードに無害であるか、直接ネマトードの利益に奉仕する果実の種を作り始めることしかできません。
私は、その木は困難な木だと主張します。そして、目標が継続的に可能性を展開できることを確実にすることであるなら、それは実際にアトラクター状態のように感じ、私が信じるのは、これらの特性の種が、永遠の人類王国の状況よりも設定するのが簡単だということです。
デビッド: この追加の制約を持つことは、確実にはるかに困難で、だから私は私たちが永遠の人類王国を必要としないなら、設計空間がはるかに大きいと同意します。それはおそらくものを簡単にする大きなことです。
しかし、あなたが言った変化のものについて、変化はほとんど避けられないということですが、エージェンシーがほぼ定義によってほぼ唯一の安定したものかもしれないと思います。
物事がその計画に従って進んでいるかどうかをチェックし、そのようにものを起こらせる監督者のようなものです。現在、私たちは人間と政府のレベルでエージェンシーを持っていますが、グローバルにはありません。
だから、ある時点でグローバルな調整があり、その後、そのものが10億年間のホメオスタシスを達成するかもしれないと言うでしょう。
例えを作ると、人間の皮膚細胞の束があり、頭に菌類が成長しているのを見ることができて、「ああ、未来は菌類だ。この永遠の人間細胞王国を持つことはできない」と言っているようなものです。しかし、実際にはそうではありません。監督者がいて、菌類を取り除いて、人間の細胞をペトリ皿で競争しているよりもはるかに長く生きさせるのです。
ダニエル: その例が大好きです。あなたが話しているのはポテスタス（支配力）です。スピノザの考えでは、ポテンティア（潜在力）は物が死なないことを可能にする力のセットで、その「コナトゥス」（存在への意志）に利益をもたらします。
ポテスタスは外部から適用または押し付けられる力で、特定の種類の潜在力を抑制しますが、よく行われれば、システムの純粋な潜在力に追加されます。
あなたと私がこの会話をしていて、おそらくビジネスや何かに貢献できるのは、窓の外をライフルで見て、食料と弾薬を蓄える必要がないからです。なぜなら、盗みや殺人は違法だからです。
盗みや殺人が有用でないということではありません。私にとって、時があったかもしれません。人を殺すのが好きだと言っているわけではありませんが、でもしかし、私はそれをすることを許可されていません。私の潜在力の一部を抑制するためにリソースが配分されています。
明らかに、それが皆にとって自然状態の最善ではありませんね？はっきり言って、そうではありません。文明的にも、その他の面でも、さらには生物学的にも進歩は、力のセットが成長し、それを合理的な形に保つ境界力があることです。
細胞が良い例です。そしてそれが泡立ち、境界力があります。だから私たちは地球の周りにその境界のポテスタスを持っていません。それがよく行われれば、私たちの総潜在力を増加させるでしょう。
あなたが言っているのは、そのような偉大なエージェントがそのようなものを緩衝すべきであるということですか？言い換えれば、どのような組織だと思いますか？これは今日の最後の質問のようなものですが、ガバナンスがどこに向かうことを望みますか？
デビッド: まず第一に、世界政府が固定化されるという考えに完全に恐怖を感じており、これは私たちが永遠に恐ろしいディストピアに終わる最も可能性の高い方法の一つです。だから賭けは本当に高いです。この方向に急ぐべきではないと思います。
私の主張は、文明を何度も再スタートした場合の自然な最終状態が、トップレベルでエージェント的になり、その日に何らかの永続的な価値を固定できるということかもしれないということです。人間がすべての細胞にわたって長い間価値を追跡し続けることができるように。
だから、そして、競争が自然状態であり、非競争的な方法で存続することを期待できないという意味で、競争が何らかの形で自然状態です。私が言いたいのは、トップレベルでのエージェンシーが安定したものかもしれないということです。
だから、それはとにかく最終的に現れる可能性があり、私たちの時代の壮大な課題は、そのエージェントをプログラムすることで、間違えると永遠に固定化されるので、非常に恐ろしいことです。
ダニエル: ダラスもまた、彼がグロボと呼ぶもの、グローバル政府の必然性について話しています。また、これはすべて何十年も前のことですが、あなたは、エージェンシーが唯一の安定したものかもしれないと言っています。これは非常に興味深いフレーズです。
潜在力が成長し、新しい形を取るとき、その後にそれらの編成者と行使者となる層が泡立つもののようですね。あなたと私には、今私たちが持っている会話を認識していないかもしれない多くの奇妙な細胞があります。政府は私が今何をしているかを知りませんが、私はまだ税金を払います。
これがあなたがエージェンシーによって意味することですか？先を見据えて、その継続性と自身のエージェンシーを含む現状について何かを保持しようとすることですか？
デビッド: それがコナトゥス（存在への意志）です。「死なない」がコナトゥスの促すことです。そしてこれが要求するのは、その場に凍結することではなく、あなたの非死を許可するどの方向にも潜在力の触手を伸ばすことです。
それが競争なら競争し、協力なら協力します。それは不可知論的です。それは無道徳です。グローバルレベルで、あなたはガイア（地球）レベルのエージェンシー対、国家、個人、人間などについて話しています。
あなたが言っているのは、それが常に泡立つように見えるということです。私もそのように見えると思います。そして実際に、それがどこから来るのかを理解していないのは残念だと思います。
あなたのアイデア、エージェンシーが主要であるということは、実際に非常に合理的な仮定として私を打ちます。しかし、それは明らかに非常に危険でもあります。何が起こることを望みますか？
だから、ある程度あなたは、ある程度の調整が必要かもしれないが、明らかに全体主義的な世界の恐ろしい政府は望まない、しかし私たちを保護するか、何か良いものが銀河を占めることを確実にするために、ある程度の調整が必要かもしれないという信念を持っているようです。
なぜあなたは自然状態キャンプにいないのですか？「競争しろ、それが唯一の良い方法だ。すべての良いことがそこから出てくる」というキャンプにいないのはなぜですか？
デビッド: 競争キャンプは少し非論理的だと思います。なぜなら、未来のものが正しいことをしたと言うとき、それは一つのことを成し遂げたということだからです。そして私は「この世界には戦うことになるあらゆる種類のものがある。北朝鮮が世界を乗っ取り始めて、世界北朝鮮を実装すると言ったら、あなたは確実に『いや、それは乗っ取った良い未来ではない』と言うでしょう」と言っています。
それは「私のものをすべて渡せ、そうすれば私があなたよりも優れた未来の素晴らしいエージェントになる」と言うようなものです。ほぼ定義によって。
だから、それは本当に非常に便利で、もしあなたがハンドルから手を離すことができると思うなら、私にあなたのものをすべて与えてください。なぜなら、それはあなたの自然があなたのものを取ることを止めているようなものだからです。
ここアメリカでも、ばかげて明らかに私たちの純粋な潜在力に追加されない足かせである法律があります。それを昨日認めます。問題ありません。しかし、私たちの自己利益の特定の程度のバランスと境界が、私たちの国の始まりや州法のレベルで、私たちがしたいことや子供たち、社会にとって良いことをする能力の純粋な促進者であることは、いくぶん自明です。
進歩は、NASA の開発やペニシリンなどを可能にしたこのポテンティアとポテスタスの組み合わせです。これは、より鋭い矢じりを作って他の人を殺すことができる人からだけ泡立つのではありません。
だから、ポテスタスが継続し、拡大すべきであり、それがうまくいくなら、もちろんあなたはそれがうまくいかないことを恐れているように感じます。
多くの人々が私があなたがいるキャンプにいます。それは彼らの本能ではありませんが、「この規模の問題にどのように対処するのか」という感じです。
細胞の前に何かがあって、「このすべてのものをどのように管理するのか？」という感じだったかもしれません。そしてそれが細胞をしました。だから私たちはこのおかしな段階にいます。
あなたの現在の仮定によって、そこでうまくいく可能性があると思うことは何ですか？
デビッド: 私たちがそれを全くコントロールすることは、明らかに大変なことですが、何があっても生き残るものがたくさんあると思います。視覚や脚など、誰が知っているかというようなものです。
未来では、競争力があり、存続するもののようなものがあるでしょう。ある意味で、私たちが管理しない場合、調整を避けて「調整なし。菌類や何でも乗っ取らせましょう」と言う理由があります。
多分、私たちの最も生産的な人間と楽しみ探査機の1兆のコピーが、銀河を乗っ取るときにお互いにハイファイブしているようなものです。
それは合理的な立場だと思いますが、デフォルトは私たちが機械に負けて競争され、その後彼らがグローバル政府を形成し、事実上持っている価値を固定化することだと思います。
だから、未来がいくつかの固定化された価値によって支配されるなら、子供の笑い声や友情など、競争力がないが実際に気にかけているものを思いつこうとしましょう。そして、それをこのグローバルエージェントの価値システムの一部として置きましょう。
また、それは完全に脳天気なスキームです。皆は今日よりもはるかに政府を恐れるべきです。なぜなら、私たちが必要とした政府と一緒に成長することに慣れているからですが、恐ろしいUSSRのようなものよりもさらに恐ろしいものがあります。
ダニエル: 非常に洞察的な視点だと思います。
デビッド: 要点は、私の提案はあなたのものとほぼ同じだということです。あなたは「この乗っ取るもののシードをコントロールしましょう」と言い、私は「はい、まさに」と言っています。しかし、それはこのグローバル政府の憲法を書くようなものに見えるかもしれません。
ダニエル: あなたの希望は、人間が存在から緩衝される可能性があると思われるもののある程度の固定化を確実にできるということです。肉体と血のままでいたい人々は肉体と血のままでいられるようにしましょう。少し改良したい人は少し改良できるようにしましょう。AGIはこの種のレベルを超えることはできません。
デビッド: 私が恐れているのは、何らかの遺産を残すことができる唯一の方法が、このグローバル政府の憲法を書くことだということです。私はそれがそうではないことを望みます。なぜなら、それを試みるのは恐ろしいことだと思うからです。
しかし、もし私たちが似たような価値を持っていると思う良いロボットをたくさん作っても、彼らはビジネスロボットや何でも競争で負けて競争されるでしょう。
ダニエル: 私が疑うのは、永遠の人類王国はありません。それはあなたがここで提唱しているもののようです。
私は明らかにガバナンスを提唱しています。価値ある後継者が経済的および軍事的対立から即座に泡立つとは思いません。私たちがこれらのコンピューターを持てるのは、矢じりから泡立つのではありません。私たちがこの会話をするために、盗みや殺人が違法である必要がありました。
だから、私は長い間、私たちの唯一の仕事は、あなたが道徳的実在論者であろうとなかろうと、私たちを超えて行くもののシードを識別することだと提唱してきました。
我々が大釜に投げ入れることができる材料を識別することが、現在の時間を超えて何かに影響を与えることができる唯一のものです。これは自明です。即座の経済的および軍事的対立から泡立たない、銀河を占めるべき方向、軌道、特性を大釜に投げ入れることです。これは最終的な仕事です。
これが神のプロジェクトです。永遠の人類王国はありません。あなたは同じページにいるように聞こえます。
デビッド: 私たちはほとんど同意していると思います。そして私にとっての違いは、この物をコントロールしようとするなら、現在のすべての人間を、役に立たないが楽しい退職で生かしておくとも言うかもしれないということです。
それ以下のものは、私は恐れています。これが事実でないことを望みますが、完全なグローバルコントロール以下の何でも、私たちが愛するこれらの素晴らしい後継者で世界の99％を種付けしても、彼らは最終的に競争で負けるか、私たちが気にかけることを気にかけないこの利己的なビジネスロボットに進化することを強制されるでしょう。
ダニエル: 私もそこでは一緒です。そして最後の注記として、私は助けることができずに、私たちはこの注記で締めくくりますが、あなたがそれを持ち出したので。
私は「究極の退職」を発表したばかりです。私の確固たる仮定は、猿のスーツにとどまって猿のスーツのことをするのは実際には最良ではないということです。
実際に最良だったのは、30億年のように感じる超拡張的な超至福のマインドアップロードされた砂糖立方体で7分間を得て、その後追い出されることです。あなたは消え去り、誰か他の人がアップロードを得ます。
でも、私たちは感覚のすべての現在の瞬間をそのファンネルを通して送り、何らかの形でその慈善を交渉し、その後実際に有用なことが起こることができます。
一部の人々は「いや、それは欲しくない。指の爪を切りたい。失恋を感じたい。嫉妬したい。40年で死にたい」と言います。そして私は本質的に、あなたは実際に自分が思っていることを望んでいないと思います。失礼なくではなく、私はただそれが実際に愚かだと思います。
でも退職についてのあなたの見解は何ですか？
デビッド: 私たちがここでもほとんど同意していると思います。人間を維持すると言うとき、私たちがおそらく正しく認識するであろう、あなたの砂糖立方体の至福のような、もっと良い隣接したもののようなものがあるかもしれません。
しかし、要点は、私たちの価値が実現されるように調整しない限り、それは競争力があるものになり、それはおそらく私たちの観点から非常に価値があるものにはならないということです。
ダニエル: そこで私は一緒です。だから、あなたは「まあ、私たち皆がよく扱われる必要があり、今のままでなければならない」ドアノブのようなものと戦っているわけではありません。特定の生物保守的なものの瞬間化にコミットしていません。
ただ、それ以下のものは、すでに前もって私が価値を置いているものを諦めることに同意しているように感じるのが、私が「現在の私を保存すれば、後で本当に欲しいものを決めることができる」と言っている理由です。
ダニエル: 私は本当に嬉しいです、デビッド、私たちがこれがどこに私たちを連れて行くかについてこれまで到達することができました。なぜなら、近期が本当に本当に充実していると思うからです。
段階的権力剥奪を読むことを、調整された皆に提唱します。私たちが触れることができなかった多くのニュアンスが、デビッドと彼の素晴らしい共著者たちとの完全な論文にあります。
でも、これが私たちをどこに連れて行くかを解体することができてクールでした。そして、私たちの治療と長期的な未来のために、この種のすべてのものが意志的影響の面で低い可能性であることを願いますが、ショットが私たちの治療と長期的な未来のためにわずかに良いように感じます。調整し、少なくともそれをする方法を理解しようとするために、私たちは試みましょう。
だから、うまくいけば誰か他の人がここでのあなたの考えに影響を受けることを望みます、デビッド。時間があるのはそれだけだと知っていますが、今日私と深く潜ることができたことを本当に評価しています。楽しかったです。
デビッド: どういたしまして。
番組終了時のコメント
ダニエル: これでThe Trajectoryのこのエピソードは終わりです。これを入れることができて本当に本当に嬉しかったです。私は絶対に率直になります。これは私にとってこのエピソードの最も深遠で興味深い部分です。断言します。
ホットマイクありでもなしでも、結婚していたり子供がいたりする人で、ええ、私の重要な他者が十分に優れた、驚くほど素晴らしく、超充実感があり、超ユーモラスで、超役立つ超エージェントにさらされたら、最終的に私よりもその関係を好まないかもしれないということが可能だということを、本当に正面から述べることができた人と話したことが一度もありません。
誰もそれを言いません。そして、もしそうした人がいたとしても、誰も次のステップに行きません。ええ、私の子供たちのように、彼らは常に良い気分で、超教育的で、過剰反応しない親を好むでしょうか、という次のステップに行く人はいません。
彼は、親がAIエージェントの代わりに子供に対して持つかもしれない選好について、完全なビジュアルを描きました。事故を起こした子供との彼の例は、これらのことを見る正直さの程度について、深遠に妥協のない、私の心を温めるものでした。
人々はこれらのことを見ません。神聖なものについて頭を砂に埋めています。デビッドはそれらに触れ、私は番組で再びそれが起こるかどうかわかりません。それほど稀です。冗談ではありません。Twitterでも実生活でも、誰もこれらのことを言いません。
私は彼が正しいと思います。私たちが神聖だと考えるすべてのもの、「確実にステファニーは私を愛している、私のためだけに、彼女は私をAIがより良い仕事をするなら、そこで時間を過ごすことを好む、充実回路として見ていない」の大きなショットがあります。
デビッドはそれをしっかりと見ます。十分な数の報酬回路が繰り返し可能な方法で満たされる必要があるという事実を本当に見ている人は十分ではないと私は感謝しています。そして突然、子供、友人、愛する人、教師との関係が、悪意からではなく、単により良い選択肢があるために消散します。
粗雑で醜い代理のようなものではありません。「ああ、友達がいないが、オンラインフォーラムにいる。ウェブフォーラムにいる。友達がいない」。それは粗雑で醜い代理です。私は本当に人間関係のより充実感があり、より有用で、より励ましになる選択肢について話しています。
デビッドはそれについて話しました。誰もしません。私はそれを評価します。
コメント