この動画は、AI安全性の分野で数十年にわたって執筆を続けてきたエリーザー・ユドコフスキーが、汎用人工知能（AGI）のガバナンス構造と、人類が生き残った場合の理想的なポストヒューマン軌道について語ったインタビューである。通常彼が語るAGIの即座のリスクではなく、国際条約、データセンター監視、人間の知能拡張を通じた安全なAGI開発経路について詳細に論じている。また、人類が正しい道筋を辿った場合の未来像についても語られており、意識、優しさ、楽しさを保持した理想的な未来社会のビジョンが展開されている。
理想的な未来への展望
私が思うに、あなたは素敵な人々を何人か欲しいと思うでしょう。そして、最初からかなり賢い人々を選んで、それから彼らをもっと賢くするのです。彼らが実際の超知能のラインを獲得したとき、おそらく彼らは単純にそれをそのまま世界に解き放って、一貫した外挿された価値観を世界に押し付けたりはしないでしょう。
彼らはおそらく超エンジニアを構築し、それを使って自分自身をコンピューターにアップロードするでしょう。そうすることで、その間に世界が燃え尽きることなく、さらに千年間この作業を続けることができるのです。しかし、彼らはその中でより速く動いているので、私たちの視点からすると、それは1日か3日程度に過ぎません。そして、実際に善良であることが期待される超知能が現れ、私たちはその後幸せに暮らすことになります。
私は幸せに暮らした後の最初の30秒で、すぐに触手を生やそうとは思わないでしょう。触手を生やすことは私の生涯の野望ではありません。
この点で私たちは違いますね。私は自分がすぐに20歳の体に戻ることを想像できますが、できればその正確な体でさえありません。あらゆる種類の明らかな改良があり、詳細なチェックリストを作りたいとさえ思わないかもしれません。このAIは、私の心を読むことは言うまでもなく、私がインターネットに書いたものを読むことで、私について推測できると思います。そして、そこに直接向かうのです。私の視点からすると、これらのことは些細なことです。
完全に体を捨てることについては、なぜそんなに早く変化したいのでしょうか。しかし、千年後に、私はまだ小さな有機的な生命体として走り回っているでしょうか。私はまだ10本の指を持つ手を持っているという概念で自分自身を考えているでしょうか。それは可能性が低いように思えます。
番組紹介とAI安全性の現状
これはダン・ファガーです。あなたは「軌道」にチューニングしており、これがAGIガバナンスシリーズの6番目で最終エピソードです。数十年にわたってこのテーマについて書いてきた数少ない人々の一人であるユドコフスキー自身を含まない完全なAGI安全性シリーズはあり得ません。
最近、彼は汎用人工知能の即座のリスクに対して非常に強く警鐘を鳴らしています。誰もがその意見について聞いたことがあるでしょう。このエピソードは異なります。私たちは彼の理想的なガバナンス構造がどのようなものか、そしてそれがどのように展開されるかについて深く掘り下げます。彼は政策立案者ではないことを認めていますが、彼のアイデアは非常によく練られていると思いました。
それに加えて、もし私たちが正しい道筋を辿った場合に何が起こるか、ガバナンスが完璧に実現されたという前提でのユドコフスキーの心の中にある正しいポストヒューマン軌道とは何かについて話します。彼がこれを明確に述べるのを見たことがなく、これについての記事も見たことがありません。これを解き明かすのは非常に楽しかったです。
AI調整問題の実行可能性について
それでは、ユドコフスキーさん、番組へようこそ。お呼びいただき、ありがとうございます。こちらこそ、お話しできて嬉しいです。
私の質問の一部は、あなたを「ユド」と呼ぶTwitterの情報に基づいています。これは非常に奇妙な1年ほどの発見でした。ガバナンスに入る前に、AI調整が全く実行可能であるという考え自体が、あなたの意見や態度ではもう少し薄れているように見えます。
私たちには、技術的な観点からこれは不可能だと非常に考えているロマン・アムプスキーのような人々がいます。ベンジョも、それが実際にそうであるかもしれないとある程度書いています。現在のあなたの立場はそこにあるのでしょうか。昨年あなたから見られたものを明確にするために。
私には原理的には非常に明確に可能に見えます。また、現在の軌道に少しでも似たような道を進めば、私たちは壁に激突することも非常に明確に見えます。
そのようなコンピュータープログラムは存在するのでしょうか？はい。私たちはそれを書くことができ、最初の深刻で致命的な負荷の下で失敗しないようにできるでしょうか？いいえ。
一般的に言って、エンジニアリングにおいて、あなたが非常に理解の乏しい錬金術的な物質の混合物を扱っているとき – あなたはそれらを最終的に望む動作をするまで混ぜ合わせるだけです。レシピに何が入っているかは知っていますが、その中で何が起こっているかは完全には分からず、前例のない新しいスケールの偉業を試みています。
何か予想していなかった問題が発生し、これが「一回だけのチャンス」という全体的な状況なのです。反対者がここで水を濁らせることに成功し、「一回だけのチャンスとはどういう意味ですか？最初により小さなAIで試すことができるでしょう」と言っているため、私はそれを改名しなければならないと思っています。
死の飛躍という概念
ここには死の飛躍があります。死の飛躍とは、失敗しても致命的ではないほど賢くないシステムと、その程度に賢いシステムの間にあるものです。
もしあなたの手元に致命的に賢い超知能があるなら、それはすでに調整されていなければなりません。つまり、それが超知能になる前のある時点で、間違いが致命的になる前に、調整作業を実行しなければならなかったのです。
しかし、それは実際にあなたを殺すことができるようになったときまで持続しなければなりません。つまり、あなたは実際にあなたを殺すほど強力なシステムの制御においていくつもの間違いを経験することはできないのです。
実際の生活では、最初の深刻な試行、最初の深刻な負荷でうまく機能しないことが多いのです。「一回だけのチャンス」とは言えません。なぜなら、彼らは「でも最初により小さなAIで試すことができるでしょう」と言うからです。
この全体の「一回だけのチャンス」に新しい名前を付けることを検討していますか？まだ検討中です。死の飛躍を考えています。それが定着するかどうかは分かりません。
一回だけのチャンスという用語は、重要なアイデアを伝えるために完璧に機能したであろう用語でした。宇宙探査機のように、一度打ち上げて十分高く上がったら、何かが間違った場合に走って修理することはできません。地球上でより小さなバージョンで試すことはできますが、それは全く同じではありません。
しかし、人々は水を濁らせることに成功しました。時には、あなたの悪意に満ちた知的に不誠実な相手があなたを一枚上手であると認めて、用語を変更しなければならないこともあります。
技術的解決の可能性と実用上の課題
長い間、人工知能は3層以上の深いニューラルネットワークをどのように訓練するかという問題で阻まれていました。私たちが今では深層学習と呼んでいるものです。ヒントンという男性と他の数人がそれを発明しました。
爆発する勾配と消失する勾配の問題にもかかわらず、ニューラルネットワークで数層の深さを実現することは完全に可能です。適切な初期化、残差リンク、そして実際にスケールで機能するまで人々が実際に見つけた多くの小さなエンジニアリングトリックの一群が必要なだけです。
もし私たちが何度も試すことができれば、超知能になってあなたを殺すことができるようになったときに破綻しないものを見つけ出し、堅牢な単純なトリックを見つけ、適切な時期にそれを完成させるでしょう。他の科学的問題と同じように機能し、最初に負荷の下で失敗したときに地球上の全員を殺さなければ。
人間の知能拡張による解決策
1兆の1兆の1兆回のシミュレーションの現実では、おそらく誰かがそれを解決するでしょう。実際には実行可能ではありませんね。
知能拡張された人間を手に入れ、ジョン・フォン・ノイマンを1標準偏差か2標準偏差上回るレベルまで到達させることができれば – 事後的な標準偏差ではなく、測定された標準偏差で言えば – フォン・ノイマンを30IQポイント上回らせ、数年間与えれば、私は数年で成功する確率を20-30%、数十年で成功する確率を60%と見積もるでしょう。
主に欲しいのは、機能しないものが機能すると期待する地点を超えた人々です。これはAIの初期数十年間の大きなテーマです。人々は機能すると期待したあらゆる種類の賢いアイデアを思いつきましたが、人間的な理由で機能しませんでした。希望的になり、楽観的になるのです。
もし人間の知能拡張を、人々が機能しないものを機能すると期待することを止めるような深い人間的な方法でバカであることを止める地点まで押し進めることができれば、それはおそらく、あなたを殺す試行錯誤の束なしに任意に強力な超知能を一発で成功させるために必要な賢さの質的閾値のようなものだと思います。
国際協調とガバナンス構造
あなたがリスクについてよく話し、AGIが私たちを殺すかもしれない理由や方法についても語っているのに、協調やガバナンスについてあまり話していないのはなぜですか？
私はTwitterや『タイム』誌でもそれについて少し話しています。理想的には全体を停止したい国際協定が欲しいですが、それが無理なら、あなたを殺さないと本当にかなり確信できるものに制限したいのです。実際には、おそらくその前に誰かが作った最も知能の高いシステムを意味します。それより先に進めば、自己改良するのに十分賢くなるかもしれないからです。
地球上の指導者たち – 地球が持っているような指導者たち – に対して、もし地球上のどこかで誰かが以下のようなものを構築すれば、地球上の全員が死ぬと言おうとしています。
それを必要とするコンピューティングパワーの量は、人々がアルゴリズムを発明し続け、それらを共有し続けることが許可されるにつれて時間とともに減少し、あなたは彼らにそれをやめるように伝える必要があります。
私がこれを見るとき、国際的な関係者間の対称的な条約を想像します。これは署名者の誰もがより大きな権力によって屈辱を受けているとか、彼ら自身がより大きな権力の一つではないと示唆しないよう非常に注意深いものです。
すべての国が対称的な権利を持ち、すべての国がコンピューティングパワーでまだ行うことが許可されていることを行うことが許可されています。スパイ目的や軍事目的で他の国が使用できないようにすることが許可されている国はありません。
私が国際条約を視覚化するとき、そのような機能は想像しません。しかし、今や私はもはや専門家ではない分野に入っています。
具体的な実施段階
最初の執行可能なステップがあったとしたら、それはどのようなものだと思いますか？世界の指導者たちが一斉に、または主要な世界の指導者たち – 米国、英国、中国、オランダ、そして核抑止が方程式の一部であればおそらくロシア – が、人類が絶滅することを望まず、それについて国際条約を結ぶ意思があると述べるステップがあるでしょう。
それは条約自体が交渉される前に来ます。指導者が一方的にできることの第一歩は、私たちは一方的にすべてを停止するつもりはなく、他国に対して自分たちを不利にするつもりはないが、AIについての軍備管理協定を結ぶ準備ができていると言うことです。
現在のルール、つまりNVIDIAが特定のチップを中国に販売することが許可されていないというルールが変更され、NVIDIAがそれよりも広い範囲のチップを販売することが許可されなくなります。なぜなら、NVIDIAは制限を大幅に回避しているからです。もちろん、彼らは気にしませんし、気にする必要があるとも思っていません。
しかし、NVIDIAやそれを模倣する会社は、国際的に監視されているデータセンターの限られた数にのみチップを販売できます。特に訓練用のAIについては、どこにでも低遅延通信は必要ないので、いくつかの大きなデータセンターがあると想像する傾向があります。
データセンター監視システム
これらの各データセンターには、米国、英国、中国のオブザーバーがいて、おそらくオランダはこれらすべての場所にオブザーバーを派遣していないでしょう。私が彼らに言及したのは、チップ製造工場を作るために使用される機器、リソグラフィ技術の唯一の製造業者を持っているからです。
そして、ここでどのような種類の訓練を実行することになっているかについてのルールがあります。企業がこれらのセンターに集められているチップの一部を所有している限り、チップには所有者がいるかもしれませんが、紙の上でチップを所有していても、ジョブを実行するための指示を送信するたびに、あなたがすることはすべてログに記録されます。
これらの制限を何らかの方法で回避した場合、それは大きな問題です。この従業員だけでなく、会社全体が深刻な罰金を科せられるか、単純にブラックリストに載せられる可能性があります。なぜなら、彼らに多くの小さな厄介なことをして物事を回避させたくないからです。
これはAI研究の障害になるかもしれませんし、AIを以前ほど速く研究することはできません。私は人類が絶滅の確率を減らすためにその代価を払う意思があるべきだと思います。
対称的な国際取り決め
この視覚化では、中国が米国のセンター内で多くのチップを所有している場合、彼らはすべての国際署名者が行うことが許可されている制限されたリストからのことを行うことが許可されるでしょう。米国と同じです。
私がこれを視覚化するとき、中国のような国は屈辱を受けたくないでしょうし、永続的な不利益を与える条約に署名したくないでしょう。これは優位性を探したり、相手を屈辱する機会を探したりする時ではありません。これは、全地球熱核戦争を防ぐのと同様に、核軍備条約と同様に、すべてのそのようなことを一時的に保留にすることが想定されている何かです。
これは人類の存在が危機に瀕しているときです。誰もがそれを保留にし、対称的な国際取り決めを設定します。おそらく誰かが本当に押すことができた優位性を持っていたかもしれませんが、それを戦い抜いて全体が崩壊する可能性があるのではなく、明らかなベースライン対称取り決めに行くのです。
中央管理機関について
このような対称的で非屈辱的な協定を促進する中央機関はどのようなものだと思いますか？
米国国務省や任意の国の国務省での実際の専門的経験が明らかに不足している人として話すと、私の最初の衝動は国連ではないでしょう。ある程度の…私の衝動は、権力の現実とAIを独自に開発することができる最も現実的な脅威を提示する国々を反映する取り決めです。
中国、米国、英国など。英国がこの会話にいるのは主にGoogle DeepMindがそこにホストされているからです。人々はGoogle DeepMindを馬鹿にするのが好きですが、実際には他の会社が実証していない多くのことをAIで行うことができると思います。AlphaFoldが主要な例です。
私の観点からは、対称的な関係がそこに置かれる前に、この交渉テーブルに交渉材料を持ち込む人々の現実についてです。国連から無作為に選ばれた10の無作為な国からメンバーシップが無作為に抽出された委員会がある場合、この委員会は大国に命令を与えようとしており、この委員会の実際のメンバーは対応する量の権力を持っていません。それは不安定な関係のように私には思えます。
技術的制限とハードウェア管理
データセンターが今日のこのサイズでは無害であっても、軽度のアルゴリズムの改善や他の種類のものによって、無害で現在のパラダイムの規則を破っていないものでも、はるかに小さなデータセンターが登録にないものを作り出す可能性があるという前提があります。
人類とその指導者がここで何をする意思があるかは、彼らが脅威をどれほど恐れているかに依存します。人類が明日私が信じていることを信じて目覚めたら、警察官や軍事関係者もそれを信じていることを人々が知っていたら、これは人々が家から出てGPU工場やデータセンターに歩いて行き、他の取り決めが保留になるまで物理的にすべてを停止するようなものです。
もし彼らが私が信じていることを信じるなら、人類の完全な絶滅とその後継を防ぐことを意味するなら、より極端でない行動を含意するかもしれません。
私がこれが展開されることを視覚化するとき、人々は最初に訓練実行での計算を制御しようとし、それからアルゴリズムの進歩が目に見えて問題になり始めるのを待ち、それから世界を破壊するためのより効率的なアルゴリズムの継続的な開発について何かをしようとすることを想像します。
特殊目的AIシステムの可能性
あなたの手元に人類よりも賢い何かがあるなら、あなたは死ぬ可能性がかなり高いです。人類よりもはるかに賢い何かがあるなら、あなたは確実に死にます。これはAIがどのような用途に使われるかの問題ではなく、AIが自分自身をどのような用途に使うかの問題です。
だから私は箱の中の神を持っているとは言っていません。より多くのことができるAlphaFoldを持っていると言っているのです。
AlphaFoldは、ChatGPTやClaudeを一般的にしようとしているものほど一般的にしようとしているものと比較して、それが狭く行うことが得意なことでより良くなることをおそらく押し進めることができる種類のAIです。それらを押し進め続けると、より早く死ぬでしょう。
もしドラゴンの尻尾をくすぐりたいなら、絶滅の端により少し近づいて踊り、この国際条約の下で対称的に共有されることが期待されるいくつかの良いものを手に入れたいなら、AlphaFold 4、AlphaFold 5を持つことができます。それは人間との会話を続けるほど賢くあることは想定されていません。生物学に関することを理解するのに十分良いことが想定されています。
進歩の限界と危険性
生物学の論文を読んでいるかもしれませんが、英語を読むことができる他のAIが生物学の論文をAlphaFoldに供給する特殊目的言語に翻訳しているかもしれません。これは人類との一般的な知能に関して訓練されていない、インターネットで訓練されていないものです。
ブラックボックスを取って、特殊言語であっても生物学を行うことをより良く、より良く、より良くするためにそれを研ぎ続ければ、これはおそらく最終的にはあなたを殺すでしょう。
人間の進化の場合を考えてみてください。私たちは火打ち石の槍を作ろうとしていました。弓矢を理解する前に、私たちの現在の形への進化のほとんどが完了していたと思います。火を手なずけ、これらの小さな部族の政治的戦いで互いを出し抜こうとしていました。それがおそらく多くの部分でした。
しかし、それは私たちを開放的で競争的なプロセスにする部分でした。私たちは他の人をモデル化することを学び、それから自分自身をモデル化するためにその脳回路を再利用しました。自分自身をモデル化することは実際にあなたをより一般的に知能にし、私たちは火打ち石の槍を作ることがずっと上手になりました。それから私たちは月に行きました。
しかし、私たちは月に行くために選択されていませんでした。月に行くことは、このシステムがそれに十分到達したときにどのように一般化するかです。
特殊目的言語で生物学問題だけで何かを研ぎ続け、決してインターネットで訓練しなければ、それでもある時点で、このブラックボックスを外部から最適化しているので、おそらく少し良くなるための勾配を下っています。おそらくある時点で、それは自分自身を少しモデル化し始め、内部的に自分の思考を整理し始めます。これは人間の問題でずっと良くなったのと同じように、生物学でずっと良くなります。
制限された AI の利用可能性
十分に押し進めれば、最終的にはあなたを殺すでしょうが、インターネットで、人間のすべての言説で訓練され、この膨大で多様な問題を解決し、人間と直接話し、人間を直接モデル化するように言われているものよりもずっと遠くまで押し進めることができるでしょう。
どこまで押し進めることができるか正確に計算することはできませんが、癌を治すのに十分なところまでそのシステムを押し進めることができるかもしれません。特に、これらの他の災害猿が決して提案していないような比較的賢い方法でこれを行っているなら。
AlphaFoldをインターネットで訓練せず、代わりに他のシステムに論文を読ませて特殊目的生物学言語に翻訳させることで、生物学で極めて優れているように押し進めているシステムが人類が何であるか、それがコンピューターであることやデータセンターで実行されていることなど、インターネット全体で訓練すれば学ぶ他のすべてのことの完全な知識で訓練されていないようにするのです。
推論制御とインターネット接続
推論の制御についてさえ話していません。推論の制御を想像するとき、実際にAIを訓練するのではなく実行することを想像します。これらは、おそらく翻訳のためにインターネットに接続される必要があるものです。訓練センターについては、インターネットから物理的にエアギャップし、私たちが訓練していない限られた数のデータセンターに多くの光ファイバーケーブルを通すことを望みます。
すでにインターネットに接続されているシステム – あなたは何を考えているのでしょうか？これは人々がそんなに愚かなことをする人は誰もいないと言っていた種類のことです。私は覚えています。彼らがそれを全インターネットに接続することはないという投稿を覚えています。今、それはの起源です。
制限されたAIの潜在的利用
人々が十分に警戒して全体を停止することなく、なぜ人間の絶滅といちゃつくのですか？交渉の一部の強力な当事者が、我々を殺すのに十分賢いと超確実ではない、誰かによれば殺すのに十分賢くないAIのより少ない利益を保持することは価値があると考えているなら、私はそうなる場合だと推測しますが、私は早々に退却したくありません。
翻訳 – おそらくGPT-4レベル、2023年レベルでも、世界の残りのすべての言語間でかなり良いリアルタイム翻訳を行うシステムを得ることができるでしょう。それは、もし誰かがそれについて理性的であるなら、どの事柄がより危険でないかを理解し、人類への即座の最大の経済的利益について本当に考えているなら、グローバル経済にとってかなり価値があります。
彼らは遠く離れた信じられないほど危険なことについて話すのではなく、世界中のどこにでも行けるようになり、小さなイヤピースを持って人々と話し、それを耳に言われるのを聞く、言語障壁を完全に取り下げることができるかを考えるでしょう。
子供を教えること – 最も賢い人間よりも賢くなり、科学の最前線を押し進める必要はありません。あなたの子供のすべての質問に無限の忍耐で答える家庭教師を持つことができます。
これを台無しにする方法はあります。現在人々がやっているようなやり方でそれに突進すれば、より少ない人工知能と話すことで子供を台無しにする方法を想像できます。しかし、それに対して警戒し、それを監視しているなら、地球上のすべての子供のための無限に忍耐強い家庭教師の無限の供給は、ドラゴンの尻尾を過度にくすぐっているようには見えません。
ロボティクスと具現化AI
あなたのロボティクスに対する観点では、屋根に上がってそれを修理できるロボットのような具現化AIは、この世界では避けるべきでしょうか？
具現化という全体のことは、多くの人々が投資したこの完全な誤警報だと思います。AIが機能しない理由を知らなかった時代に戻って、「ロボットの体に入れれば、機能し始めるかもしれない」と言いました。一部の人々は、それがAIのログジャムを破ったものではなかったにもかかわらず、今日でもそれに固執しています。
あなたを殺すものの観点から、体を動かし、操縦することに関わる認知問題のレベルを解決できることは、そのリーグにはおそらくないでしょう。これで20面サイコロを振っているかもしれませんが、サイコロが1になって、これが何らかの方法で人類を破壊するものになるために、特定のことが起こらなければならないと推測します。
特殊化されたヒューマノイドロボットで屋根を修理するだけなら、これは物事を危険になるほど遠くまで押し進めているようには思えません。チンパンジーはかなりまともな手と目の協調を持っており、それは実際に来ます。このことがチンパンジーが人類を相手にして勝つほど賢いことと一緒に来ないことを実際にある程度知っています。
雇用の変化と社会的影響
ただし、歴史的規模での少量の自動化を一般的に支持していますが、その年に人口の3%が異なる仕事を見つけなければならず、AI企業への税金によって希望的に社会的に支払われる何らかの社会的ネットがあります。これらを一元化すれば実際に税金を課すことができ、国際的な体制が整備されれば、タイ人への逃避を脅かすだけではありません。
しかし、人口の3%がAIのためにその年に新しい仕事を見つけなければならないから、人口の30%がAIのためにその年に新しい仕事を見つけなければならないに行けば、人々を再雇用できるよりも速く、燃える都市に管理不能に速いレベルの失業といちゃつく可能性があります。
ヒューマノイドロボットは私たちを殺すほど賢いAIといちゃつくほどではありませんが、管理不能に速いレベルの失業といちゃつくかもしれません。
ユニバーサルベーシックインカムの課題
サンフランシスコで年間1000ドルのUBIを持つなら、すべての家賃は即座に月1500ドル上昇するか、世帯に平均何人住んでいるかによります。サンフランシスコでの住居のように、それを供給する障害がある人々がまだ入札しなければならない一つのリソースが必要なだけです。オースティン、テキサスでの住居ではありませんが、サンフランシスコでの住居です。すべてのUBIはすぐにそこに行きます。
これは経済レベルではそれほど簡単ではありません。実験を試さなければなりません。サム・アルトマンに信用を与える数少ないことの一つは、彼が実際にユニバーサルベーシックインカムで実験に資金を提供していることです。
これらすべては、30年間で起こり、同じ週にすべてを同時に打たれた場合、少し良くなりそうです。
人間の絶滅を心配していなければ、私はすべての積極的な変化を同時にみんなに当てる可能性を取り、最も成功して航行した国に移住することを計画し、希望するかもしれません。中央制御の下にこれを置くことの恐ろしい恐れのために、これらの積極的な変化は非常に遅く滴り落ちることになり、良いものの多くは何らかのクレイジーな理由で停止されることになるでしょう。
国際的な体制が整備されていれば、それは非常に起こりそうです。国際的な体制の代替は人間の絶滅です。
通常の状況下では、技術的改善が怖すぎるので、洗濯機、農業、配管、抗生物質の発明を絞るようなことは支持しないでしょう。人口の50%が雇用不可能になる理由で、これらすべてのものが同時に落とされることで私たちの社会が問題を抱えるからといって。
テーブルに置かれている賭けは実際に人間の絶滅です。最初にすることは、私たちがすぐに死なないために必要なことをすることです。それは誰かが洗濯機を手に入れるかどうかに投票することを意味するかもしれません。私は彼らがイエスと投票することを願っています。洗濯機が不必要に人々と話したり、最前線を追求したりしていない限り。
長期的な価値と意識の保存
最近、Wolframとの議論では、あなたが世界で希望し、保存したいものについて話していました。人類、楽しさ、友情、愛などについて話していました。これらのことを維持したくない人はほとんどいないと思います。
あなたが言う「ここに私が保存したいものがある」とき、それは本質的に「私はエリーザーで、私が愛するすべての人々は親指を持ち、特定の方法で動作する異なる種類の染色体を持っており、私たちがいる形で、うまくいけば健康で幸せに、永遠に保存したい形である」というほど単純ですか？それはばかげているでしょう。私のあごひげの質感を見てください。
楽しさという理論について書いたものがあります。これは多くの古いものよりもよく持ちこたえているものです。楽しさの31法則と呼ばれる要約もあります。
短いバージョンでは、意識、楽しさ、優しさまたは思いやりは、私が未来に保存したい3つのことかもしれません。成長、挑戦、新規性、新しいことを学ぶなどはどうかと言われれば、「ああ、それは実際には楽しさの下にあります。私の楽しさの理論を書いたとき、それは実際にそこのどこかにありました」と言うでしょう。
ポストヒューマンな未来への道筋
私はいつかポストヒューマンになりたいと思います。個人的な神格への狂った探求ですべての人類を犠牲にしようとしても、それさえうまくいかないと思います。
次のステップは、人間の脳を標的とする成人遺伝子治療を考え出し、人口調査で知能と統計的に関連するいくつかの遺伝的多型を試すことです。Alpha Fold 4による高度な分析で、子供だけでなく成人にも合理的に役立つ可能性があるものを推測しようとし、人間の知能拡張で何が機能するかを見るために、それらのいくつかを人工的に導入してみることです。
これのボランティアは自殺志願のボランティアです。彼らの一部は統合失調症になったり、多くの問題を抱えることになります。彼らは入る前にそのリスクを知っていました。重要なことは、成人の人間の知能を拡張することで進歩を遂げているかどうかを知ることができることです。
人々がより賢くなっているかどうかを知ることができます。これは、まだ私たちを殺すほど危険ではないAIをいじくり回し、それが実際に私たちを殺すことができるようになったときに私たちを殺さないことを望むという問題を試行錯誤を通じて扱いやすくする根本的な違いです。
理想的な未来のビジョン
私が思うに、あなたは素敵な人々を何人か欲しいと思うでしょう。最初からかなり賢い人々で、それから彼らをもっと賢くするのです。彼らが実際の超知能のラインを獲得したとき、おそらく彼らは一貫した外挿された価値観を世界に即座に解き放つことはしないでしょう。
彼らはおそらく超エンジニアを構築し、それを使って自分自身をコンピューターにアップロードして、その間に世界が燃え尽きることなく、さらに千年間この作業を続けることができるようにします。しかし、彼らはその中でより速く動いているので、私たちの視点からすると、それは1日か3日に過ぎません。そして、実際に善良であることが期待される超知能が現れ、私たちはその後幸せに暮らすことになります。
もし人類のすべてを犠牲にすることが、互いに思いやりを持ち、楽しんでいる神のような存在、まだ互いに思いやりを持ち、世界を認識し、楽しんでいる超知能を得る唯一の確実な方法であるなら、私は最終的にそのトレードオフをするでしょう。しかし、それは私たちが直面しているトレードオフではありません。
互いに思いやりを持ち、楽しんでいるもののスペースは、非生物学的知能のスペースにおいて小さなターゲットです。私たちがもう少し賢ければ、実際にはかなり多く賢ければ、原理的にはそれは可能です。しかし、ただ突進すればそこには到達しません。しかし、それが私にとっての最終ゲームです。それがテーブルに置かれた賭けです。星々を意識ある存在でいっぱいにし、互いに思いやりを持ち、楽しむことです。
価値のある後継者は私たちを殺しません。これは偽のトレードオフです。
価値のある後継者がそもそも私たちを傷つけたくないと思うことは可能でしょうか？
もし私がそこに入るなら、それは入る時の明示的な目標でしょう。優しさを保持するという決意を持って人々を送り込んでいるのです。これは、エリーザー・ユドコフスキーレベルの知能に到達したときにあなたに起こることではありません。あなたはこの可能性の風景を見渡し、論理がどのように人々を動かす力を持っているかを理解し、確率的推論と対比されるものとしての論理とは何かを理解し、これらの感情があなたに影響を与えているここがあり、15年前に書いたメタ倫理学についてのすべてのことがあります。
あなたはポストヒューマンの風によって翻弄され、最終的に蝶として現れ、その時何を好むかは誰にも分からないという風に入るのではありません。あなたは言います：「よし、原始的なスクリューヘッドども、聞け。私たちは知能を拡張するためにこれに入り、それがすべてを壊し、私たちはそれを修正し、まだ善良な状態で出てくる。これが未知への私たちの栄光ある使命であり、私たちは注意深くそれを行う」。
私たちは優しさの炎を生かし続けるという決意を持って人々を送り込んでいるのです。
コメント