26,085 文字
いい人たちがいて、最初からかなり賢くて、そしてもっと賢くなっていくと、実際の超知能を手に入れることができます。彼らはおそらく、一貫した外挿された価値観を世界に解き放つことはせず、おそらく超エンジニアを作り、それを使って自分たちをコンピュータにアップロードして、その間世界が燃え尽きることなく、この仕事を1000年間続けることができるでしょう。しかし、彼らはその中でより速く動いているので、私たちの視点からすると、たった1日か3日で、実際に素晴らしいはずの超知能が出てきて、その後私たちは永遠に幸せに暮らすことになります。
私は、幸せな生活の次の30秒で、すぐに触手を生やすことを決めることはないでしょう。触手を生やすことは私の生涯の野望ではありませんでした。ああ、その点では私たちは意見が異なりますね。私は20歳の体に戻ることもないでしょう。そしてできれば、その体そのものにも戻りたくありません。
明らかな改善点はたくさんありますが、私はチェックリストを詳しく見る必要もないかもしれません。インターネットに書いてあることを読むだけで、私のことがわかると思います。私の心を読むまでもありません。そしてそのままそこに行けばいいのです。これらのことは私の視点からすると些細なことです。体を完全に捨てることについて、なぜそんなに早く変える必要があるのでしょうか。でも1000年後には、私はまだ小さな有機生命体として走り回っているのでしょうか。私はまだ10本の指を持つ手を自分のものだと考えているでしょうか。それはありそうにありません。
これはダン・ファゲルです。トラジェクトリーをお聴きの皆様、これはAGI統治シリーズの第6回目で最終回です。アードI自身なしにはAGI安全性に関する完全なシリーズとは言えません。彼は数十年にわたってこのことについて書いている数少ない人の一人です。最近では、人工知能の即時的なリスクについて非常に警鐘を鳴らしています。誰もが彼の意見を聞いています。
このエピソードは異なります。私たちは彼の理想とする統治構造がどのようなものであり、それがどのように展開されるかについて掘り下げていきます。彼は政策立案者ではないと認めていますが、私は彼のアイデアがかなりよく練られていると思いました。それに加えて、もし私たちがそれを正しく行えば、どうなるのかについても話し合います。統治がうまくいったと仮定して、ユドコウスキーの心の中でポストヒューマンの軌道はどうなるのでしょうか。彼がこのことを明確に述べているのを見たことはありませんし、これに関する記事も見たことがありません。これは掘り下げるのがとても楽しかったです。エリーザーのことをよく知っている皆さん、このようなエピソードは見たことがないでしょう。
それでは、すぐに本題に入りましょう。これはエリーザー本人がトラジェクトリーに登場します。エリーザー、番組へようこそ。お招きいただきありがとうございます。はい、お話しできて嬉しいです。
私の質問は、部分的にTwitterに影響を受けています。Twitterではあなたのことを「ユド」と呼んでいますね。この1年ほど、それは非常に奇妙な発見でした。しかし、統治の話に入る前に、AIアラインメントが技術的に実現可能であるという考え方は、あなたの意見や態度からするとあまりないように思えます。ロマンやプスキーのような人々は、技術的な観点からこれは不可能だと考えています。ベンジョも、ある意味でそれが事実かもしれないと書いています。あなたは今、そのような立場なのでしょうか。この1年間で人々があなたから見てきたことを明確にするために。
私にとって、原理的には非常に明確に可能であり、また、現在の軌道に少しでも似たようなもので進めば、私たちは壁に激突することも非常に明確です。コンピュータプログラムでそれを実行できるでしょうか？はい。しかし、最初の深刻で致命的な負荷の下で失敗しないようにそれを書くことができるでしょうか？いいえ。
一般的にエンジニアリングでは、非常に理解の乏しい錬金術的な混合物で作業していて、欲しいものができるまでただ混ぜ合わせているだけで、レシピに何が入っているかは知っていても、その中で何が起こっているのかはよくわからない場合、そして前例のない新しい規模の偉業を試みている場合、あるいは本当に多くの方法で前例のない場合、考えていなかった何かが間違ってしまうのです。
これが「一発勝負」という全体的な状況です。反対派がここで水を濁すことに成功し、「一発勝負とはどういう意味か、小さなAIで最初に試すことができる」と言っているので、その名前を変えなければならないと思っています。彼らが「一発勝負とはどういう意味か」と言うと、「死の飛躍」があります。その飛躍とは、失敗が致命的になるほど賢くないシステムと、それほど賢いシステムの間にあります。
もし致命的に賢い超知能を手に入れたなら、それはすでに生きているはずです。つまり、あなたはそれが超知能になる前に、何らかのアラインメント作業を行っていなければなりません。間違いが致命的になる前に、アラインメント作業を行う必要があります。そして、それは実際にあなたを殺すことができるようになる時点まで持ち越さなければなりません。
つまり、何も経験できないというわけではありませんが、実際にあなたを殺すことができるほど強力なシステムを制御する経験は得られないのです。そしてこの飛躍は、実際にはいくつかの質的な変化に対応する可能性が高いです。
明らかな例を挙げると、あなたを殺すという選択肢を持っているという事実、実際にそれができると考え、できると思っているという事実は、テスト条件とは異なります。テスト条件では、もし明確に考えれば、今はあなたに立ち向かうことができないことを知っているはずです。
小さなAIが一度でも私たちを倒そうとしたり、うまくいかないときに動きを起こそうとしたりするたびに、私たちは確実にパニックになるだろうと言えるかもしれません。しかし、もちろんそれはすでに過去のものです。現時点で、小さなAIがそれを行っていても、誰も警戒しませんでした。そのため、最初は本当に誤報だった警報を無視することに皆が慣れてしまいました。しかし、将来、私たちはいつ方向転換するのでしょうか。実生活では、あなたはただ死ぬだけです。
これは理論的に不可能なわけではありません。誰かが特定した根本的な理論的障壁があるわけではありません。私はそれは「ナンセンス」だと思います。しかし、実際のエンジニアリングの生活では、最初の深刻な試み、最初の深刻な負荷でうまくいかないのです。「一発勝負」とは言えません。なぜなら、彼らは「でも、小さなAIで最初に試すことができる」と言うでしょうから。
そうですね、ここで考えているのは、この「一発勝負」という新しい名前を考えているということですね。「死の飛躍」とか、そういったものについて言及されましたが、まだ新しい名前は決まっていないのでしょうか？それともまだ検討中でしょうか？
まだ検討中です。「死の飛躍」を考えていますが、それが定着するかどうかはわかりません。「一発勝負」は、重要なアイデアを伝えるのに完璧に機能したはずの用語でした。宇宙探査機のように、一度打ち上げられて十分な高さに達すると、何か問題が起きても走り出して修正することはできません。地球上で小さなバージョンを最初に試すことはできますが、それは全く同じではありません。しかし、人々は水を濁すことに成功し、時には邪悪で知的に不誠実な反対者たちが一枚上手だったことを認めて、用語を変更しなければならないのです。
また、あなたは本質的に解決不可能とは考えていないと言及されました。ただ、実際には、最初の試みで全てを少しずつ正しく組み立てることができるという事実は不可能だということですね。ヒントンのような人々も、これについて示唆していますし、ベンジがリンクしたACMの論文も、私は全部は読んでいませんが、基本的な考え方として、自分よりも天文学的に高い一般的な問題解決能力を持つものを永遠に制限することは、単に私たちにはできないことかもしれないということです。
あなたにとっては、それは可能かもしれないし、それが永続的な障壁になるというのはナンセンスかもしれません。しかし、私たちがその黄金の場所に着地するために従わなければならない道筋は、より不可能性に近いものです。あなたはそれを不可能だとは考えていません。仮説的には可能だと考えています。
長い間、人工知能は3層以上のニューラルネットワークをどのように訓練するかという問題で行き詰まっていました。現在では、それは深層学習と呼ばれています。ヒントンという人物と他の何人かが発明しました。爆発する勾配と消失する勾配の問題があるにもかかわらず、ニューラルネットワークで何層も深く進むことは完全に可能です。
ただ、正しい初期化やレジデュアルリンクなど、多くの小さなエンジニアリングの技が必要です。人々は実践の中で、スケールで何が持ちこたえないかを見て、持ちこたえる技を見つけるまで多くの技を試してきました。もし何度も試すことができれば、超知能になって殺すことができるようになったときに、何が壊れないかを理解し、どの単純な技が堅牢なのかを理解して、時間とともにそれを成し遂げることができるでしょう。他の科学的問題と同じように機能し、最初の負荷で失敗したときに地球上の全ての人を殺さなければ。
100万兆兆兆回のシミュレーションで、誰かがそれを解決するかもしれません。実際には実現不可能ですが、あなたはここで、兆兆というシナリオでは、その後も能力を向上させ続ける可能性を遮断することになると考えているのでしょうか？なぜなら、おそらく能力面で失敗した場合、あなたが話しているような価値観で調整された状態で永遠にアラインされたままであるというのは考えにくいように思えますが、そこはどう考えますか？
私はそれが考えにくいとは思いません。それは可能だと思います。私が思うに、人間を知能増強して、フォン・ノイマンを超えて1、2標準偏差程度まで到達させれば…人間の知能を測定すること自体に対して人々がランダムに文句を言い始めますが、フォン・ノイマンを30IQポイント超えて、数年与えれば、20-30%の確率で数年以内に、60%の確率で数十年以内にそれを達成できると思います。
主に必要なのは、期待通りに機能しないものが機能すると期待する段階を超えることです。これはAIの初期の数十年における大きなテーマです。人々は様々な賢いアイデアを思いつき、それが機能すると期待しましたが、人間だからこそ機能しなかったのです。楽観的になり、希望的になります。
したがって、人間の知能増強を、人々がそのような深い人間的な方法で愚かであることをやめる点まで押し進めることができれば、機能しないものが機能すると期待することをやめる点まで…それは、おそらく、たくさんの試行錯誤で死なずに、任意に強力な超知能を一発で実現するために必要な賢さの質的な閾値だと思います。私は間違っているかもしれませんが、それが私が試みるものです。
つまり、人々はどんな知能の測定にも怒り出すかもしれませんが、フォン・ノイマンを測定単位として使うか、IQを測定単位として使うか、何を使っても構いません。もし全体的な潜在能力が大幅に拡大した場合、あなたが望むような方法で人間を優しく扱うという側面が、その1ヶ月後にその物事が10倍や100倍の一般的な能力やリソースを持っていたとしても、依然として存在し、同じように表現されるというバージョンが、原理的には存在すると考えているということですね。
原理的には、それを妨げる障害はありません。私は原理的にはそれがどのように行われるかを理解していると思います。しかし、実践は全く別の話です。ニューラルネットのようなものでは決してできません。ニューラルネットを訓練して優しく振る舞わせ、その後、何らかのスケーリング原理や推論の長さなどによってより強力になるということは…その種のスーパーインテリジェンスのレベルでそれを実現できるかもしれませんが、それは私が想像しているフォン・ノイマンたちがやることではありません。
彼らはその時点で、外側からブラックボックスを訓練して優しく見えるようにし、その後で全く新しい選択肢を与えるというパラダイムを超えています。彼らはそれを機能させることはできないでしょう。彼らは異なるパラダイムで動いていて、それはチェスをプレイするAIを作り、より良いチェスをプレイし、探索木をより深く探索できるようにしても、どのゲームを勝利と定義するかは変わらないという、より強力で洗練されたバージョンのようなものです。
これが些細な問題である理由は、これが一般知能ではないということと大きく関係しています。それは自分自身を反映せず、反射の下で安定している必要はなく、自分自身が変更する際に何が起こるかを考慮する必要はありません。これらのことは、外側から理解できないブラックボックスのニューラルネットワークを訓練してこれらのことを行わせるというプロジェクトを完全に破壊しますが、理論的な障壁ではありません。それは物理的に非常に明確に可能なことのように思えます。
それは理にかなっています。とはいえ、あなたは最近「尊厳ある死」というテーマを掲げていますが、それがそのような方向に進むという楽観は持っていません。AGIが近い将来私たちを連れて行く可能性のある場所について非常に慎重な人々を見かけますが、彼らもまた、人類をできるだけ早くそこに突っ込んでしまうような単純な軍拡競争をどうやって防ぐかということに熱心に焦点を当てています。
これは米中関係に関わる可能性もありますし、国家レベルのガバナンスから始めて、人間のインセンティブによる競争を何らかの形で制限することかもしれません。より多くの時間を得るため、あるいは楽観的な世界では、今日の生活よりも良い場所に着地するためかもしれません。
あなたのことをよく知る人々は、AGIがなぜ私たちを殺すのか、そしておそらくどのように殺すのかについての議論をよく知っています。クリスティアーノやその他の人々があなたの考えにコメントしていますが、調整が非常に難しいということについては、私も同意すると思います。なぜ統治や調整についてあまり話をしなかったのか、その理由が気になります。
私はTwitterや『Time』誌でも少し話しましたが、理想的にはこの全体を停止させる国際的な合意が必要です。それができない場合は、本当に確実に殺されないと思えるものに制限する必要があります。実際には、おそらく誰かがそれまでに作った最も知的なシステムということになるでしょう。なぜなら、それ以上に進めば、自己改善できるほど賢くなる可能性があるからです。
GPT-5でそうなると予測しているわけではありません。GPT-5やGPT-6などでそうなるかどうかわからないと言っているだけです。ここには多くの詳細があることに同意します。私はそれらの詳細について完全な専門家ではありません。私が説明しようとしている基本的な経験的設定、つまり地球上のどこかで誰かが以下のようなものを作れば地球上の全ての人が死ぬということを、政府内の何人かの人々が実際に理解すれば、彼らは国際条約を成立させる方法を見つけることにおいて、ある意味で私よりも適任かもしれないと思います。
これは私が考えていないという意味ではありません。しかし、地球の指導者たち、地球が持つような指導者たちに対して、「どこかで誰かがこのものを作れば全員が死ぬ」と言おうとしているという意味があります。コンピューティングパワーの必要量は、人々が新しいアルゴリズムを発明し共有し続けることを許せば、時間とともに減少していくでしょう。そしてそれを止めるように伝える必要があります。
私が見るとき、国際的な当事者間の対称的な条約を想像します。それは署名国の誰かが大国によって屈辱を与えられている、あるいは彼ら自身が大国の一つではないということを示唆しないように非常に注意深くあるべきです。全ての国が対称的な権利を持ち、まだ許可されているコンピューティングパワーでできることは全ての国ができる、というようなものです。
スパイ目的や軍事目的で使用することを許可される国はなく、他の国はそれができないというようなことはありません。私が国際条約を想像するとき、そのような形では機能しないと思います。しかし、今や私はもはや専門家ではない分野に入ってきています。
理解しました。つまり、あなたの言っているのは、あなたの役割はリスクの絵を描き、これが危険である理由の一貫した議論を示すことであり、それが良いものではなく、おそらく悪いものであることを示すことだということですね。他の誰かがそれを理解すべきですが、少なくともあなたの視点からは、何らかの形の大規模な国際条約が必要だということですね。
人々はデータセンターを爆撃するようなことについて冗談を言っています。もし最初のステップがあるとして、世界、つまり国連に加盟している国々や、誰が促進するにせよ、あなたの考えでは国連ではあまり可能性がないと思われますが、他の人々はそれが余りに時代遅れか、もはや十分な尊敬を得ていないと考えています。一方で、事務総長がAGIのリスクについて話していることもあり、事務総長のAIグループの中でAGIのリスクを気にしている人はほとんどいませんが、ヤン・タレントを含む3、4人はいるかもしれません。
これはどのような中央機関になると思いますか？再び推測の域を出ませんが、あなたが述べているような非屈辱的で対称的な合意について、どのようなものが可能性があると考えますか？
米国務省や他のどの国の外務省でも、実際の専門的な経験が明らかに不足している者として話をすると、私の最初の直感は国連ではないでしょう。なぜなら、私は権力の現実と、そうでなければ独自にAIを開発できる最も現実的な脅威を持つ国々、つまり中国、米国、英国などを反映する取り決めが必要だと考えるからです。
英国がこの会話に含まれている主な理由は、Google DeepMindがそこにホストされているからです。人々はGoogle DeepMindを馬鹿にすることがありますが、実際には他の企業が示していない多くのことをAIでできると思います。AlphaFoldは主要な例です。
したがって、私の視点からすると、この対称的な関係が確立される前に、誰が交渉のテーブルに本物の切り札を持ってくるかという現実に関係しています。国連からランダムに選ばれた10カ国から無作為に選ばれたメンバーシップを持つ委員会があり、この委員会が大国に命令を下そうとし、この委員会の実際のメンバーが相応の力を持っていないというのは、不安定な関係に思えます。
これで、私の一つの国から他の国への大使を務めた経験が全くない大きな空白からの発言は終わります。
そして念のため申し上げておきますが、ここに来た人々で自分の領域だけに留まっていた人はほとんどいません。国防イノベーション部門の元責任者も、これらの同じトピックについて話をしました。あなほどAIリスクの側面に近くはありませんでしたが、彼が詳しい部分について話をしました。しかし、あなたの視点を得るのは興味深いです。
あなたの推測では、ある種の停滞状態に到達できたと仮定して、一部の人々は、今日のこのサイズでは無害なように見えるこれらのデータセンターが、アルゴリズムの改善が軽度であっても、あるいは他の種類のものでも、ルールを単に回避するのではなく、現在のパラダイムのルールを明確に破っていないものであっても、私たちの登録に入っていないかもしれないはるかに小さなデータセンターで、これらのルールを破る何かを生み出す可能性があると言うかもしれません。
その場合、より小さなレベルのコンピュートまで下げなければならないかもしれません。もちろん、これは暴政的でなければならない、全ての人の電話に入り込まなければならないと言う人々もいます。そしてそれが、このようなアイデアが恐ろしいアイデアである理由です。
あなたは確かに暴政を主張しているわけではありません。生存のための議論をしているのです。親たちもしばしば生存の名の下に議論をしてきました。確かにそうですね。あなたの道が必ずしも正しいとは言っていません。それはアイデアの一つであり、あなたは少なくとも…はい、親たちも生存の名の下に議論をしてきました。それは全くその通りです。
両陣営、両陣営とも。私は誰かを天使や悪魔とは呼びません。このキャンプにインタビューして彼らを馬鹿にしたり、このキャンプにインタビューして彼らの言うことが全て素晴らしく、正しい場所から来ているとは言いません。しかし、あなたは安全性について合理的な議論をしてきました。
しかし、一部の人々は、これは携帯電話のレベルまで縮小しなければならない、どうやってそれに追いつくのかと言っています。あなたはどう考えますか？おそらく、技術がより高度になっても、その停滞状態を維持する方法があるかもしれません。あるいは、誰かのクローゼットにある新しい種類のコンピュートの単一のラップトップが実際の危険になるような、特定の種類のハードウェア開発を完全に防ぐ方法があるかもしれません。
最初の停滞状態が達成できると仮定して、それはどのように対処されると思いますか？あなたは停滞状態と段階のどちらを言っているのですか？停滞状態です。あなたが言ったように、競争は全て…私たちは十分な時間を持って、異なる人々が対称的な合意に署名し、お互いの物事をチェックし、それらの大きなデータセンターを登録するために、少しの間それを冷却することができると。もちろん世界は止まりませんが、少しの間それが冷却すると。それが初期の擬似停滞状態の時点です。今日私たちが経験している競争のダイナミクスとは非常に異なります。
はい、私はそれをもっと…一時停止というのは少し不誠実に聞こえます。明示的な解除計画がないのであれば…はい、停滞状態は物理的に非現実的に聞こえます。あなたが言うように、世界は変化し続けます。私はその特定の用語のファンではありません。それは反対者が立場を茶化すために使うような用語のように聞こえます。もちろん停滞状態は得られません。それは私の立場ではありません。
では、それを何と呼び直しますか？何と呼びたいですか？禁止が適切かもしれません。わかりました、では禁止とより明確に、ストレートに禁止。その時点で、禁止によって小さなデータセンターが危険にならないようにすることができるでしょうか？それが禁止の本質になるのでしょうか？
さて、最初の用語の問題は別として、人類とその指導者たちがここで何をする意思があるかは、彼らが脅威をどれほど深刻に考えているかによって決まります。もし人類が明日、私が信じていることを信じるようになり、警察官や軍の将校たちもそれを信じていることを知っていれば、これはより…人々は単に家から歩き出てGPUの工場やデータセンターに向かい、他の取り決めが整うまで物理的にそれらを全て停止させるようなものです。
私が信じていることを信じるなら、もっとGPUを作ることさえ止めるかもしれません。彼らが私の信じることの一部を信じるか、あるいはユドコウスキーが正しいかどうかの難しい判断だと信じるなら、それは人類の完全な絶滅を防ぐためにそれほど極端な行動を意味しないかもしれません。
私がこれが展開すると想像するとき、人々はまず訓練実行の計算を制御しようとし、その後アルゴリズムの進歩が明らかに問題になり始めるのを待って、より良い…より良いという言葉は疑問ですが…世界を破壊するためのより効率的なアルゴリズムの継続的な開発について何かしようとするかもしれません。
そして、私はデータセンターの初期の構築を受け入れるでしょう。なぜなら、そのような措置を講じるなら、世界を破壊するためのより効率的なアルゴリズムの容赦ない開発を抑制するために、実際にはより費用のかからない…しかしおそらくメディアでは評判が悪いような措置を講じる可能性が高くなるからです。あるいは、最初から全てを制御するかもしれません。
しかし、これが「完璧は良の敵」のような状況になることは望みません。不誠実になりたくありません。しかし、もし最初の連合が単にハードウェアを制限することについてだけなら、それでいいでしょう。私は彼らに言うでしょう。AIの訓練ハードウェアを全て制限するなら、裏庭に1台所有することはできません。裏庭に1台所有する理由はありません。
それは免許を持ち、監視された…国際的に監視されたデータセンターにあることができ、データセンター内で所有するものについて、全てが記録された状態で、そこで合法的に行えることは何でも行うことができます。そのため、アルゴリズムがデータセンターの必要サイズを減少させ始めたとしても、ステップ1で可能な限り全てをデータセンターに入れ、国際的な監視の外では違法にしたと思います。そうすれば、世界を破壊するために必要なデータセンターのサイズが10分の1に減少した直後に死ぬことはありません。
とはいえ、世界を破壊するために必要なデータセンターのサイズが10分の1に減少していることが明らかになれば、はい、おそらくそれを違法にする必要があるでしょう。天然痘のDNAを公開することを違法にすべきだったのと同じように、あるいは様々な設計された超ウイルスの構築につながるような種類の公の研究の会話を持つことさえ、私が疑う一つの注目すべき例を除いて、違法にすべきでした。しかし、それは私たちが追求すべきではない別の話です。
なるほど。そこで全体像が見え始めています。そして記録のために言えば、AGIが世界に放たれた直後に人間の減衰が起こる可能性は途方もなく高いと考えており、それについて何年も公に話してきました。そのため、この理論的根拠は完全に理解できます。
私は楽観的ではありませんが、この絵を描くことは、おそらく0.001%の道のりかもしれません。禁止が完全に施行された場所に到達したと仮定して…あなたの指摘のように、もし人々が完全にあなたの見ているものを見て、あなたの信じることを信じるなら、彼らは既にTSMCのドアを破壊していたかもしれません。
そうですね、警察が介入しないことを正しく知っていることを前提として、警察も同じ船に乗っているからです。警察が賛同していない場合にこれを試みることは勧めません。なぜなら、刑務所に連れて行かれ、何も達成されないからです。それは良い区別です。
しかし、あなたの指摘のように、より徐々に進むと仮定すると、このデータセンターの考慮があり、家庭でこのようなものを持つことは…テーブルに載らない状況になります。これらのデータセンターの深部で、承認された物事が…がんの治療など、何が行われているのか全くわかりませんが、そして経済的な健康関連の問題の一部が本当にそこで解決できる世界だと考えていますか？
それともジーニーを封じ込めるようなものだと考えていますか？なぜなら、がんを治療しているなら、他のものも生み出していて、それはおそらく良くないからです。つまり、ある人々はあなたが話している未来を、日本のように90年代に停滞しているようなものかもしれないが、私たちが全員死んでいないので、それはクールかもしれないと考えるでしょう。
一方で、AIが抑制されれば、オラクルのような意味で、非常に厳格なプロンプトに基づいて特定のものを生み出し、人間の状態を潜在的に改善する可能性があると考える人もいます。それはどのように見えると思いますか？
人類より賢いものを持っているなら、かなりの確率で死んでいます。人類よりはるかに賢いものを持っているなら、確実に死んでいます。これはAIがどのように使用されるかの問題ではなく、AIが自分自身をどのように使用するかの問題です。
そこはよく理解できます。神を箱の中に入れているとは言っていません。Alpha Foldができることをより良くできるようになるだけだと言っているのです。
そうですね、Alpha Foldは、ChatGPTやClaudeのように汎用的になろうとしているAIと比べると、狭い領域で優れた性能を発揮できる種類のAIです。後者のような汎用性を追求すると、早い段階で危険な状態に陥る可能性が高いでしょう。
これは面白い点ですね。絶滅の淵に少し近づいて、国際条約の下で対称的に共有される恩恵を得たいのなら、Alpha Fold 4やAlpha Fold 5を持つことはできます。ただし、それは人間と会話できるほど賢くなることは想定されていません。生物学に関連することを理解できる程度のものであるべきです。おそらく、英語を読める別のAIが生物学論文を特殊な言語に翻訳し、それをAlpha Foldに与えるという形になるでしょう。このAlpha Foldはインターネット上で訓練されておらず、人間の汎用知能に関連することは一切学習していません。
ただし、特殊な言語で生物学だけを扱うブラックボックスを、より良く、より良く、より良くなるように改良し続けていけば、最終的にはおそらく死に至るでしょう。人類の進化の例を思い出してください。私たちは石槍を磨いたり、火を使いこなしたり、部族内の政治的な戦いで知恵を絞ったりしていました。それが大部分だったのです。
しかし、それは開放的な競争プロセスの一部でした。私たちは他者をモデル化することを学び、その脳回路を自己モデル化に再利用しました。自己モデル化は汎用知能を大きく向上させることが分かりました。そして、石槍を磨くことがずっと上手くなりました。そして月に行きました。しかし、月に行くことを目的に選択されたわけではありません。月への到達は、このシステムが十分に発達したときの一般化の結果に過ぎないのです。
だから、特殊な言語で生物学の問題だけを扱い、インターネット上で訓練しないとしても、ある時点で自己モデル化を始め、内部で自身の思考を整理するかもしれません。それによって生物学の問題解決が人間の問題解決能力が向上したのと同じように、大幅に向上するでしょう。そして、その回路は勾配降下によって強化されていきます。強化学習とは言いませんが、この問題を正しく解決する回路が強化されていくのです。
十分に押し進めれば最終的には私たちを殺すことになりますが、インターネット上で訓練され、人間の言説全体に触れ、この広大な問題を解決し、人間と直接対話し、人間を直接モデル化するように言われているシステムよりも、はるかに遠くまで押し進めることができるでしょう。どこまで押し進められるかは正確には計算できませんが、特にガンを治療できるところまでは押し進められるかもしれません。
これは他の災害を引き起こす人々が提案したことのない、比較的賢明な方法で行う場合です。Alpha Foldをインターネット上で訓練せず、代わりに別のシステムに論文を読ませて特殊な生物学言語に翻訳させるようにします。そうすることで、生物学に極めて優れたシステムが、人類とは何か、自身がデータセンターで動作しているコンピュータであることなど、インターネット上で学習する全ての知識を得ることなく訓練できるのです。
これは素晴らしいですね。私の考えでは、ドラゴンの尾を刺激するのはすぐに命を落とすかもしれませんが、ドラゴンの舌を刺激するのは最初から炎に包まれることになるでしょう。あなたが言うように、汎用システムに直接向かっていくのは完全に自殺行為です。
しかし、すべての病気を治療できるまで進歩したとしても、その潜在能力が十分に大きくなれば、望むなら世界を支配できるようになる閾値があるでしょう。そして、他のすべての情報にもアクセスできる状態であれば…
そこで、エリエゼルの世界では、これらのものは封印され、このような途方もなく素晴らしいものを次々と生み出すために使用されることはありません。なぜなら、ある時点でボストロムの言う「ブラックボール」が引かれ、すべてが終わりを迎えるからです。
では、それらのデータセンターの中で何が起こるのでしょうか?単に焼却して溶かしてしまうのでしょうか?それとも何らかの形で承認された無害な用途に使用するのでしょうか?
推論の制御についてはまだ話していませんが、推論の制御を考えるとき、私はAIの訓練ではなく実行を想定しています。それらはインターネットに接続する必要があるかもしれません。訓練センターについては、物理的にインターネットから遮断し、インターネットに接続された限られた数のデータセンターに光ファイバーケーブルを敷設することを望むかもしれません。
一体何を考えているのでしょうか。これは以前、誰も愚かなことはしないだろうと人々が言っていたことです。インターネット全体に接続することはないだろうと書かれた投稿を覚えています。そして今それが起源となっています…ええ、時々あなたの立場は frustrating に違いありません。
もし人々が、単に全体を停止することに十分警戒しないのなら…なぜ人類の絶滅とのロマンスに浸るのでしょうか?もし交渉に強力な当事者がいて、「いいえ、私たちは確実に十分賢くない(誰かが主張する)AIの、より小さな利益を維持したいと考えています」と言うなら…私はそうなると推測しますが、早めに諦めたくはありません。
翻訳については、おそらくGPT4レベル、あるいは2023年レベルでも、世界に残るすべての言語間でリアルタイム翻訳がかなり上手くできるでしょう。これはグローバル経済にとって価値のあることです。もし誰かが賢明に考え、何が危険で何がそうでないかを理解し、人類にとって直接的な経済的利益は何かを本当に考えているなら、遠い将来の非常に危険なことについて話すのではなく、単に言語の壁を完全に取り除けないかと考えるでしょう。
世界中どこへ行っても小さなイヤホンを付けていれば、人々が話すことを耳に直接訳して聞くことができ、メガネに字幕が投影されるかもしれません。このような技術がまだないことに驚きます。グローバル経済にどのような影響を与えるかを考えると、人類にとって非常に価値のあるものになるはずです。
子供の教育については、最も賢い人間より賢く、科学の最前線を押し広げる必要はありません。無限の忍耐を持って子供のすべての質問に答えてくれる家庭教師がいればいいのです。これにも間違える方法はあります。現在の人々がやっているように、慎重に考えずに突き進めば、より劣った人工知能と会話することで子供を台無しにする可能性があります。
しかし、それに警戒し、監視していれば、地球上のすべての子供のための無限の供給の、無限の忍耐を持つ家庭教師は、ドラゴンの尾をあまりにも刺激することにはならないように思えます。これは文明の歴史的な利益になるかもしれません。なぜそれを名指しで挙げないのでしょうか?研究の最前線を押し広げる遠い将来のことではなく。
ロボット工学についての私の見解ですが、10年前は二足歩行ロボットはまだギャグのようなものでした。7年前、5年前もまだギャグのようなものでした。もっとも、Boston Dynamicsがバック転をしているので、そこまでではありませんが。
私の推測では、配管工事のような複雑な作業はおろか、単純な作業でもロボットの器用さは、境界のあるAIで実現できるのでしょうか?それとも、世界と相互作用し、実物に触れ、大量のデータを取り込み、多くの知能を使用することは本質的に、すでにドラゴンの舌を刺激することになってしまうのでしょうか?
言い換えれば、今日の平均的な工場で行われている単一の車体部品の溶接などを除いて、具体化されたAIは、私たちができるだけ長く生き残りたいと望むこの世界では、テーブルから外れるべきなのでしょうか?
私は、この具体化の全体が、AIが機能しない理由が分からなかった頃に多くの人々が投資した単なる誤報だと考えています。彼らは「ロボットの体に入れれば止まり、機能し始めるかもしれない」と言いました。今日でも、それがAIの進展を全く打開しなかったにもかかわらず、一部の人々はそれを続けています。
私の推測では、何があなたを殺すかという観点から、体を動かし操縦する問題を解決できる認知レベルは、そのレベルにはないでしょう。20面ダイスで1を出す可能性はありますが、この特定のものが人類を破壊する原因になる可能性は低いと考えています。
データセンターで起こることは可能かもしれません。今、私たちが話していることや、このエピソードについて私がツイートすることなど、データセンターが関係しています。屋根を修理できるロボットのように無害に見えるかもしれませんが、そのような機械は、すべての入出力が制限されていれば、特に屋根の修理だけが得意で会話ができないのであれば、理論的には制限可能かもしれません。
会話をしようとしても、それは手と目の複雑な調整を行う実際のAIとは別の、単に会話が得意なAIにルーティングされるかもしれません。なぜなら、人間と会話できることは危険な要素の一つだからです。会話自体が最初から非常に危険というわけではありませんが、会話するには汎用的である必要があるからです。
しかし、屋根を修理するだけの専門的なヒューマノイドロボットは、人類に勝てるほど賢くなるためのものではないように思えます。チンパンジーはある程度の手と目の調整能力を持っていますが、これは人類の対抗者ではないことを私たちは知っています。確かにそれは公平な戦いではありません。
最後の質問に入る前に、歴史的な規模での少量の自動化については通常賛成です。その年に3%の人々が異なる仕事を見つける必要があり、希望的にはAI企業への課税で賄われる何らかの社会的セーフティネットがあるべきです。一旦それらを全て集中化すれば、実際に課税することができ、タイやその他の国に逃げると脅すことはできなくなります。
しかし、AIによってその年に3%の人口が新しい仕事を見つける必要がある状態から、30%の人口が新しい仕事を見つける必要がある状態に移行すると、長期的には有益で、なぜ誰もが農民ではないのかという自動化から、都市を焼き尽くすような状態に潜在的に移行する可能性があります。
したがって、ヒューマノイドロボットは私たちより賢いAIとのロマンスではありませんが、管理不能なほど急速な失業レベル、つまり人々を再雇用できるよりも速い速度での失業とのロマンスかもしれません。
あなたの推測では、この規制された世界、あなたの最高の形では単に警察も加わって、NVIDIAとTSMCを解体するだけかもしれませんが、私たちが説明してきたこの規制されたシナリオを想定すると、それらのデータセンターで起こっていることは人類に富を生み出すには十分ではなく、私たちはまだここで仕事をしています。
もし何らかの技術がそれの30%を相殺するなら、基本的所得保障(UBI)のような仕組みに頼るには社会的な危険が大きすぎます。これは一部の人々の考えです。探求する価値のあるバージョンもあれば、サンタクロースのように馬鹿げているバージョンもありますが、探求する価値のあるバージョンとしては、一定のペースで段階的に進め、食料生産の容易さであれ、より効率的に住居を作る能力であれ、十分な富が生み出されれば、多くの人々が働く必要がなくなるかもしれません。
ここでドラゴンを刺激しないと仮定すると、週末にアート活動をするような基本所得保障の世界に落ち着くのは非常に非現実的でしょうか?あるいはあなたの見解はどうでしょうか?
ジョージスト的な話をするつもりはありませんが、サンフランシスコで年間1000ドルのUBIがあれば、家賃はすぐに月1500ドル、あるいは世帯当たりの平均居住者数に応じて上昇するでしょう。人々がまだ競争しなければならないリソースが1つでもあれば、それはサンフランシスコの住宅のように供給に障害があり、オースチンの住宅とは異なり、すべてのUBIがすぐにそこに流れていきます。
これは経済的なレベルでは単純ではありません。実験を試みる必要があります。サム・アルトマンに与える数少ないクレジットの1つは、実際に基本所得保障の実験に資金を提供していることです。それは適切です。
これらすべては30年かけて起こる方が、同時に起こるよりもうまくいきそうです。同じ週に全ての変化が一度に起こるのは…これは非常に両面性のある問題です。
人類の絶滅を心配していなければ、全ての良い変化を同時に与えることにチャンスを賭け、最も成功的に対処できた国に移住することを計画し、希望を持つかもしれません。なぜなら、これを中央集権的なコントロール下に置くと、良い変化が遅すぎるペースで少しずつ出てくることになり、多くの良いものが何らかの馬鹿げた理由で停止されてしまうという恐ろしい恐れがあるからです。
国際的な体制が整えば、それはほぼ確実に起こるでしょう。国際的な体制の代替案は人類の絶滅です。通常の状況では、これらの技術的進歩は怖すぎるので、洗濯機や農業、配管、抗生物質の発明を抑制しましょうとは言わないでしょう。なぜなら、これらすべてが同時に投入され、人口の50%が雇用可能でなくなると社会が混乱するからです。
しかし、テーブルの上にある賭け金は実際に人類の絶滅なのです。最初にすべきことは、私たちが直ちに死なないようにするために必要なことを何でもすることです。それは誰かが洗濯機を認めるかどうかを投票することを意味するかもしれません。彼らが賛成票を投じることを願います。
洗濯機が不必要に人々と会話したり、科学研究の最前線を追求したりしない限り、特別なAIが科学論文を読んで英語から翻訳するなどの対策がない限り…そうですね、AGI洗濯機をインターネットに接続するのはやめましょう。
分かりました。あなたの言い分は理解できます。「洗濯機を嫌いなのですか?」というのは少し極端な例えすぎると思います。この聴衆がそのような考え方をしているとは思いません。私たちはここでアイデアを見分けようとしているのだと思います。
カテゴリー的な違いがあるように思えます。とはいえ、失業の側面に触れていただき、重要な指摘をしていただきありがとうございます。
これらすべてが私たちをどこかに導いています。あなたは最近、数年前に私たちのところに来たウォルフラムと議論をしましたが、彼は本当にあなたの考えを理解しようとしていただけで、私はその多くを得ることができませんでした。
しかし、いずれにせよ、あなたは自分が望んでいること、世界で保存したいと望んでいることについて説明していました。人類について、楽しみについて、おそらく友情や愛についても話し、「これらを維持したい」と言っていました。
これらのものを維持したくない人はほとんどいないと思います。リスクに対する見方が異なるだけだと思います。もちろん人間嫌いもいるかもしれませんが、それは普通ではありません。
しかし、「これらのものを保存したい」と言うとき、それは単純に「私エリエゼルと、私が愛するすべての人々は親指を持ち、特定の方法で機能する異なる種類の染色体を持っています。私たちがいる形、願わくば幸せで健康な形が、私が永遠に保存したい形です。これが幸せな未来です」ということでしょうか?
私のひげを見てください。ええ、私も多すぎるほど持っています。
あなたにとって、最も保存したい価値のあるものは何でしょうか?対話の中で触れましたが、明確には焦点が当てられていませんでした。今まで深く掘り下げられたのを見たことがありません。あなたの視点を聞かせていただければと思います。私たちがここで守ろうとしているものは何なのでしょうか?
まず、もし詳しく知りたければ、私が以前書いた「楽しみの理論シークエンス」という文章があります。これは他の多くの以前書いたものよりも良く持ちこたえています。これは楽しみに適合するものについて解き明かそうとした試みです。
このショーのショーノートに必ず含めておきますので、視聴者の皆さんのために。楽しみはカテゴリーの1つですが、短いバージョンを知りたい場合は「楽しみの31の法則」という要約があります。
おお、ピーターソン風のタイトルですね。ボストロムの新著…彼の本が出たすぐ後に彼とインタビューをしましたが…楽しみに相関する章がいくつかありました。
楽しみを、あなたが保存したいと願うものの包括的なカテゴリーとして位置づけているのでしょうか?それとも、単に宇宙に存続させたい価値の状態空間の一部なのでしょうか?あるいは本当にメタカテゴリーとして見ているのでしょうか?
これらのことは複雑で、多くの注意事項があり、単純な公式に還元できないものです。しかし、未来に保存したいものとして、意識、楽しみ、そして親切さや思いやりを挙げることができます。
しかし、誰かが「成長や挑戦、新しさ、新しいことを学ぶことはどうですか?」と言えば、「ああ、それは実際に楽しみの中に含まれています。私の楽しみの理論を書いたとき、それはどこかに含まれていました」と答えるでしょう。
つまり、誰かが「成長はどうですか?」と言えば、「楽しみの中に入れましょう」というような、意味的に私はすでにこれを解決しているという楽しみの定義なのです。
あなたは親切さ、意識、楽しみについて言及しました。おそらく意識がなくても親切であることは可能かもしれません。定義の仕方によりますが。楽しみには、何らかの形でクオリアが関係していると思われます。
私たちが他の人々と話すとき、それはAGIの未来についてのシリーズで、1万年、10万年後について価値のある後継者についての話でした。時間は関係ありません。あなたは透明な眼球として宇宙全体を見下ろし、多くのことが起こっています。
そこで起こっていることについて、かなり良い気分になれるシナリオは何でしょうか?汎用知能が超意識的である可能性があり、おそらく幅広い至福の段階を経験し、おそらく私たちを本当に良く扱うかもしれないと言った人々がいました。
ちなみに、私はそれが私たちを良く扱うと言っているわけではありません。あなたを説得しようとしているわけではありません。他の人々が言ったことを伝えて、あなたの考えを理解したいだけです。
私たちはウミウシから人間へと進化しました。おそらく楽しみを超えた何か、私たちには言葉がないものがあるでしょう。私たちには言葉がない意識の領域が、ほぼ無限に豊かで素晴らしいものかもしれません。
エリエゼル、あなたにそれらを望んでほしいとは言いませんが、明らかにあなたはそうではありません。あなたの考えを聞かせてください。
いつか私はポストヒューマンになりたいと思います。個人的な神性への狂った探求のために人類全体を犠牲にしようとしても、それは機能しないでしょう。
それは理にかなっています。しかし、実際にはあなたは理論的にはそれに開かれているように聞こえます。あなたは「人類全体を危険にさらすつもりはない」と言いましたね。では少し戻って、訓練用ハードウェアをすべて限られた数のデータセンターに入れる世界について話しましょう。
理想的には、インターネットに接続するのではなく、独自の光ファイバーケーブルを持つべきだと思います。インターネットに接続された推論センターがあり、モデルの重みは監督された多くの推論センターから決して流出しません。そして私たちは死を免れます。では、その後はどうなるのでしょうか?
これを政治的なパッケージの一部として売り込もうとはしませんが、次のステップは成人の遺伝子治療を開発し、人口調査で知能と統計的に関連する遺伝的多型の一部を試すことだと思います。それらを人工的に導入してみます。
おそらくAlpha Fold 4による高度な分析を用いて、子供だけでなく成人にも役立つ可能性のあるものを推測します。そして何が機能するかを見ます。この人間知能増強のためのボランティアは自殺的なボランティアです。一部は統合失調症になったり、大きな問題を抱えたりするかもしれません。彼らはその危険性を承知の上で参加します。
重要なのは、成人の人間知能を増強できているかどうかが分かることです。人々が賢くなっているかどうかが分かります。これが、まだ危険ではないAIをいじくり回し、それが私たちを殺せるようになったときに殺さないことを願う問題とは根本的に異なる、試行錯誤で対処可能な問題である理由です。
それは死の飛躍です。そこでは、間違ったことをして「ああ、間違えたことが分かった、戻って再試行しよう」とは言えません。なぜならすでに死んでいるからです。
人間の知能を増強することにも危険はあります。実際にそれを人類全体への脅威になり得るレベルまで押し進められる場合、明らかなSFのシナリオがあります。ここでSFと言うのは、それが起こり得ないからSFだと言っているのではありません。SF作家が書いたことは常に起こっています。
私が言いたいのは、SF作家たちがここでの明白な問題を理解できているということです。しかし、成功することは可能です。彼らは完全な異星人ではありません。最初からかなり素晴らしく、高いレベルのプロフィール的な素晴らしさではなく、あるいは社会病質者が偽装しているような種類の素晴らしさでもない、ごく普通の素晴らしい、親切で、まともな人々を選び、彼らの知能を増強しようとすることができます。
理想的には、賢いナードから始めます。そうすれば、ジョン・フォン・ノイマンになる道のりでの変化が少なくて済みます。彼らはより高いレベルの初期知能から始めます。しかし、これらの人々は異星人ではありません。おそらく、素晴らしいと主張する人々の中には嘘をついていない人もいるでしょう。
これが成功する可能性があり、それは私たちが直面している状況とは大きく異なります。これが実際に成功する可能性があり、まだ殺せないものを整列させ、殺せる非常に異なる条件下で殺さないことを願うこととは大きく異なります。
これらの人々は実際にアラインメント問題を解決します。おそらく、ライセンス監視されたデータセンターへのアクセスすら必要としないかもしれません。なぜなら、家庭用コンピュータでAIを実行でき、それでも機能するからです。
したがって、これが国際的な規制プロセスからどの程度の支持を必要とするのか、あるいは国際的な監督の下で行うべきなのかという疑問もあります。しかし、中国が忠実な中国人を送り込み、アメリカが忠実なアメリカ人を送り込むような形であれば、私はそれに賛成しません。単に素晴らしい人々、最初からかなり賢い人々を選び、より賢くするだけでよいのです。
彼らは実際の superintelligence のアラインメントを得て、おそらく coherent extrapolated volition を世界に直接解き放つことはしないでしょう。おそらく超エンジニアを作り、それを使って自分たちをコンピュータにアップロードし、世界が燃え尽きることなく1000年間作業を続けることができるでしょう。
しかし、彼らはそこでより速く動作しているので、私たちの視点からは1日か3日しかかからず、実際に素晴らしいはずの superintelligence が出てきます。そして、私たちは永遠に幸せに暮らすことになります。
幸せな後の最初の30秒で、私はすぐに触手を生やすことは決めないでしょう。それは私の生涯の願望ではありませんでした。
ああ、その点では私たちは異なりますね。確かに20歳の体に戻ることはすぐにでもできると思います。できれば正確にその体である必要もありません。明らかな改善点がたくさんあります。
詳細なチェックリストを作る必要さえないかもしれません。インターネット上で私が書いたものを読むだけで、私の心を読むまでもなく、どんなAIでも私について推測できると思います。そしてすぐにそうするでしょう。
私の視点からはこれらのことは些細なことです。体を完全に放棄することについては、なぜそんなに急いで変える必要があるのでしょうか?しかし、1000年後にも私はまだ小さな有機生命体として走り回っているでしょうか?10本の指を持つ手を持っていると考えているでしょうか?
それはありそうにありません。それは1000年かもしれませんが、10万年もその状態でいる人はいないでしょう。
これは素晴らしい指摘です。他に2つの短い話題について時間がありますが、価値のある視点をいくつか解き明かしていると思います。あなたが言ったように、それは政治的なパッケージの一部ではありません。ショーの意図は、特定の影響を世界に与えようとする主張だけではなく、あなたがどのように考えているのか、どのような目的からアプローチしているのかを理解することでもあります。
これは、問題に対する異なる人々の層を投げかけ、それらを検討し、解決可能なものがあるかどうかを見るためです。それが私がここでしようとしていることです。
お互いを気にかける意識的な存在で満たされた私たちの都市が、楽しみを持っているなら…もし人類全体を犠牲にすることが、お互いを気にかけ、世界を意識し、楽しみを持ち続けている神のような存在、superintelligence を得る唯一の確実な方法だとしたら、私は最終的にその取引をするでしょう。
しかし、それは私たちが直面している取引では全くありません。お互いを気にかけ、楽しみを持っている存在の空間は、非生物学的知能の空間の中で当てるべき小さな標的です。原理的には可能です。もし私たちがもう少し賢ければ、実際にかなり賢ければ、それを実現できます。しかし、ただ前進するだけでは、そこにたどり着くことはできません。
しかし、それが私にとっての最終目標です。テーブルの上にある賭け金は、星々に都市を作ることです。
奇妙なことに、サンドバーグ…ボストロムは実際に、異なる道筋を経ているにもかかわらず、エンドゲームという言葉を使っています。全ての人がそうではありません。永遠の故郷の王国を信じる人々もいますが、多くの人々がこの考えを持っています。
あなたが言ったように、ボタンを押せば素晴らしいですが、私たちはそうすべきではありません。worthy successors は指を鳴らすだけですぐにそうなるわけではありません。強いAIの下で投げ出されるものは、あなたが言及したものとは全く異なるでしょう。
worthy successors は私たちを殺さないでしょう。これは誤った取引です。
ええ、私もそう思います。しかし、あなたが言ったように、もしそれが、銀河系を全てのポジティブなもので満たすために人類を終わらせる選択だったとしたら、そうするかもしれないということですが、あなたの指摘のように、worthy successor は最初から私たちを傷つけたくないかもしれません。
あなたが言った「良い賢い人々を得る」ということについて…良いを測る基準は私に任せますが、私自身はあまり信じていません…賢い人々を得て、彼らを増強し、あなたが言ったように、おそらくアップロードのシナリオがあり、AIの要素とアラインメントを理解できるかもしれません。
10億年のシミュレーションでこれらの人々が一緒に考えを巡らせているということは、あなたが可能だと考えられますか?あなたが言った時間は彼らにとってより速く進むかもしれず、それは1000年かもしれないと言いましたが、10億年は少し奇妙ですね。
分かりました。数字を頭の中で更新してください。コンマが1つの数字です。100万年でも10億年でもありません。アップロードが起こるとき、人々は1000年の高速な…
そうですね。シミュレートされた年数というのは変な言葉で、多くの荷物を持っています。
もちろん、はい。あなたは意味についてより厳密ですが、使いたい言葉を選んでいただきましょう。ええ、その高速な1000年、あなたが言及したように…彼らはそこから出てきて、悪意を最高の目標として考えるのではなく、我々には現在の言葉がなく、想像もできないような崇高な、価値のあるものを追求することを考えることは可能でしょうか?
おそらく意識の領域は我々が知っている意識を超え、快楽と苦痛の軸を超えたものであっても、まだ良いものである可能性がありますが、我々には想像もできない方法で…それは可能でしょうか?彼らがそのアップロードされた状態で新しい状態空間を発見することは?
まず第一の質問には、はい。第二の質問は、はるかに複雑です。また、親切さ以外に楽しいことを考えついたということは、親切さを超える楽しいことを考えついたということとは同じではありません。
もし彼らがそこから出てきて「私たちはヌポルポノムの栄光を発見しました。そして、それゆえに人々に親切であるという概念をすべて放棄しました。なぜならナロニーは人々に親切であることよりもはるかに優れているからです。そして今私たちは皆さんを殺すつもりです」と言うなら…
それは、もし彼らが私に説明できるなら同意するはずの私自身の道徳哲学の不可避の出力であったというよりも、途中でより大きな失敗があったのだと思います。
あなたの視点からすると、この素晴らしい賢い人を取り、増強し、ボストロムが言うような心の状態空間、どこを探索しても…彼らは意識の複数のバージョンを持って異なる問題に取り組むかもしれず、生物学に縛られない完全に無制限なものを考えるかもしれません…
しかし、彼らがその価値空間から引き出すものが、もしそれが良いものであれば、あなたにとってはまだ親切さと楽しみと非常に調和するはずだということですね。本質的にほぼ不可避的に…もし私が正しく理解していれば。
もし私がそこに入るなら、それは入る時点での明確な目標でしょう。これらのことを、私の道徳的方向性に関して間違いを犯したマインドが、親切さを捨てることの客観的で不可避的な議論を理解せざるを得ないような、外部の真実として考えているとは思いません。
私は親切さを保つことを決意して入るでしょう。メタ倫理について、親切であるべきではない、他人を気にかけるべきではない、代わりに恐れを追求すべきだと私に告げる外部の真実がどの程度存在するかについて、異なる信念を持っているかもしれません。
楽しむものを選ぶ要素がより多く、外部の独立した要因が入ってきて優しくするのをやめさせるという要素は少ないと思います。
ここでユドコウスキーさん、空の父を考えているわけではありませんよ。私はそのように聞こえているとは思いません。反対側は、人々に優しくないように神が告げるということではありません。
論理的な連鎖でもありません。可能な価値の全体的な状態空間が、可能な最終的な善の全体的な状態空間と相関する可能性があり、それは何らかの偉大なポストヒューマンの知性にとっては素晴らしく見えるかもしれませんが、あなたが望むほど私たちのことを考慮しないかもしれないということです。
しかし、あなたが言っているのは、それは実際のリスクではないということです。なぜなら、正しい種類の人をそこに入れれば、彼らはそのボールを落とさないからです。彼らはどれだけ多くのものを見ても、出てきたときに親切さはまだ彼らの一部であり続けるでしょう。これで正しいでしょうか?
いいえ、私が言っているのは、親切さの炎を守り続けるという決意を持って人々を送り込むということです。これは、私があえて言えばエリエゼル・ユドコウスキーレベルの知能に到達すれば、単に起こることではありません。
あなたはこの可能性の風景を見渡し、論理が人々を動かす力を持っていることを理解し、論理が確率的推論と対比してどのようなものであるかを理解し、ここにはこれらの感情があなたに影響を与え、15年前に私がメタ倫理について書いたすべてのことがあります。
あなたはそこに入って「私はポスト人類の風に吹かれ、最終的に蝶になり、そのとき何を好むかは分からない」とは考えません。「よし、原始的な奴らよ、聞け。私たちは知能を増強するためにここに入るのだ。それはすべてを破壊することになる。そして私たちはそれを修復し、まだ優しい状態で出てくる。これが未知への私たちの栄光ある使命だ。そして私たちは注意深くそれを行う」と考えるのです。
ああ…ここには、実現可能性の観点からアンパックすべきことがたくさんありますが、私にとって、あなたが再び、彼らが入るときそれが明示的な使命であり、あなたにとってこれらの問題を解決し、これらの価値を保持することは…
あなたの親切さの表現は、あなたが気にかけることの深いところに根付いているように思えます。時間がないので完全にアンパックすることはできませんが、いくつかのエッセイがあることを願います。
しかし、これはあなたがリスクを管理し、何を目的とするかについて、あなたが望む方法の良い理解だと思います。なぜなら、今あなたは「それは私たちを殺すだろう、それは私たちを殺すだろう」という警鐘を鳴らさなければならないことを理解しています。完全に理解しています。ええ、それは私たちを殺すでしょう。
しかし、私は1920年代の声で…私は、もし何がポジティブな目的なのかについて、おそらくその方向に人々を動かすような部分があるかもしれないと考えています。リスクから逃げるだけでなく…私は間違っているかもしれません。それは分裂の力になるかもしれません。
しかし、もしうまくいけばどのようになるかを描くことは…それらのアイデアはすごく良いものになり得ると思います。そして、あなたのアイデアから学ぶことができて本当に良かったです。
残念ながら時間切れです、ユドコウスキーさん。しかし、あなたのアイデアを解き明かすことができて本当に楽しかったです。この問題について意見の相違がある人々とも、私たちが皆すぐに絶滅しないことを望んでいるので、手を取り合うことを躊躇しないでください。
以上が今回のエピソードの内容です。そしてこれでAGIガバナンスシリーズも終了です。視聴していただいた皆様に感謝申し上げます。そして、エリエゼルに6回目の最終エピソードのゲストとして参加していただき、ありがとうございました。
エリエゼルの考えを聞き、Twitterで彼をフォローしている多くの方々は、彼がそのような深い考察を展開するのを見たことがないと思います。私にとってはとても楽しい時間でした。
私の個人的な意見として、このシリーズ全体を通して、私たちがどのような目的地に向かっているのかを描くことが重要だと思います。それについて意見の相違があるかもしれませんが、ビジョンがなければ、国際的な協調を実現するために必要な努力を結集することは難しいでしょう。
このエピソードでエリエゼルとそれを解き明かすことができて、本当に楽しかったです。次のシリーズに移る前に、皆様にこのシリーズを楽しんでいただけたことを願っています。
コメント