36,038 文字
今日のゲストは、90年代から大局的な視点で繊細な思考を展開し、他の人が踏み込むことを恐れた領域に踏み込む勇気を持つことで知られています。ニック・ボストロムは世界トランスヒューマニスト協会、新興技術倫理研究所の共同創設者であり、ヒューマニティ未来研究所の創設者でもあります。
彼は存在論的リスク、人間原理、人間拡張倫理、全脳エミュレーションなどに取り組んできました。また、ベストセラーとなった『スーパーインテリジェンス』や最近では『ディープ・ユートピア』など素晴らしい著書も執筆しています。どちらも強くお勧めします。このインタビューでは、現在のAIをめぐる議論、AIの現状、AI安全戦略、PEU（おそらく期待効用理論）、価値理論、コズミックホスト、効用最大化、AIとの信頼関係の構築、間接的規範性、ユートピアでの意味の探求など多くの問題に取り組みます。
かなり広範囲にわたって話しますが、このインタビューを行って本当に良かったと思います。多くのことを学びました。このインタビューの終わりには、あなたも同じことが言えることを願っています。ぜひ「いいね」、「シェア」、「登録」をお願いします。これにより、時間の経過とともに新しく、より良いコンテンツを作成するのに本当に役立ちます。
まず、2012年のウィンター・インテリジェンス会議以来、再び参加していただき本当に感謝します。その時に前回のインタビューを行いましたが、AGI（汎用人工知能）や未来学、AI安全はかなり辺境のトピックでした。私の理解では、あなたは90年代からこれらのことを深く掘り下げてきましたね。当時は、フンコロガシの交尾習性に関する論文の方が多かったと記憶しています。
今はもうそうではありませんね。そうですね、もうそうではありません。あなたは2014年に『スーパーインテリジェンス』を出版されました。それから多くのことが変わりました。AIの急速な進歩により、私たちは本当に異なる世界に入ったように感じます。AIは非常にメインストリームになりました。
辺境からメインストリームへと移行しました。AIの能力と安全性、そしてそれを取り巻く議論のこの変化をどのように特徴づけますか？
興味深いですね。オーバートン・ウィンドウのようなものです。まるで映画のフィルムがオーバートン・ウィンドウに入ってきたようなものです。AIがある時点で進歩し、最終的に元々の目標に向かって進歩するということは予見できました。1956年の始まり以来、特定のタスクを自動化するだけでなく、機械を一般的に知的にする方法を見つけることが常に目標だったと思います。人間が持つのと同じ一般的な学習能力、計画能力、推論能力です。
そして、それに向けて着実に進歩し、コンピュータがより速く、より良くなるにつれて、最終的にはそこに到達するでしょう。しかし、2014年に本が出版された時、それは6年前から準備されていましたが、AIが成功した場合に何が起こるかについてはほとんど考えられていませんでした。
しかし、今や私たちはAIが成功することに近づいているため、これらの問題にはより多くの注目が集まっています。それは、これらの問題が広い世界でどのように見られているかという点で、かなり大きな変化です。今ではより多くの人々がこれらのことを考えるようになりました。
人々は何千億ドルもの資金を投入しています。AIの能力に対するAI安全性に関して、意味のある進歩を遂げていると思いますか？それとも、まだ後れを取っていますか？
私たちが最終的に解決する必要がある問題がどれほど難しいのかを本当に知らないので、分かりません。確かに進歩はあります。
私たちは多くのことを理解してきていますが、まだどれだけ理解すべきことが残っているのかは分かりません。これは大きなことですが、すべてのフロンティアAIラボが今やスケーラブルなAIアライメントに取り組む人々を持っています。少なくともAnthropicやOpenAI、Google DeepMindはそうです。MetaやxAIについてはまだわかりませんが、これは非常に主流の懸念事項になっています。
ただ、これは機械知能時代への移行から良い結果を得るために、満たす必要があるいくつかの異なる大きな課題の一つに過ぎないと思います。
多くの人がこの質問をしているかもしれませんし、正確な答えはないかもしれませんが、現在の状況を考えると、破滅あるいは少なくとも世界的な大惨事の確率はどれくらいだと思いますか？現在の信頼度はどうですか？
数字は持っていません。部分的には、何を破滅と数えるかによって異なる可能性があるため、数字を出すのが難しいと思います。
様々なシナリオでは、それは些細でない問いかけになります。例えば、様々なシミュレーションシナリオでは、シミュレーション内で何かが起こり、何かが別の平均的な分岐やシミュレーションで継続するか、繰り返されるか、中断されたところから再開されるような状況では、何らかの根本的な変化が起きた時に物事がどれだけ良かったかを判断するために使用する特定の価値関数に大きく依存する可能性があります。
しかし、数字を示す代わりに、何らかの態度に投影するとすれば、恐れと興奮の混合を感じます。不安を抱えた楽観主義と言えばいいでしょうか。それは合理的に思えます。私もかなり似たような態度を持っています。
無視から主流への移行は、ガバナンスの取り組みやアライメントの取り組みの軌道に影響を与えるのに十分速かったと思いますか？人々は十分早く参加してきたと思いますか？
地政学的なレベルでの動きは見られます。例えば、最初は中国へのAIチップの輸出制限があり、今ではより広範な国々に対しても同様です。また、様々な政府が、この新しい機械知能の時代で自分たちが主導的立場に立とうとする試みも見られます。
少なくとも米国、そして中国もある程度はこれに対応し、サプライチェーンの脆弱性を認識し、国内能力の構築を試みています。ヨーロッパはおそらく今のところそれほどでもありません。
さて、この認識のすべてが良いことか悪いことかは別の問題です。政府によるAI安全に関する取り組みもいくつかあります。例えば、英国がAI安全研究所を設立し、米国も同様に、企業に展開前のテストなどを奨励しています。
それがどれだけの影響を今まで与えたかは確かではありませんが、私はこれを一種のエスカレーターのようなものと想像しています。それは本当に変革的な形の人工知能に近づくにつれて増強されていくでしょう。
変革的AIやスーパーインテリジェンスからどれくらい離れていると思いますか？
進歩は急速でした。今や私たちは、それが非常に短い時間枠、例えば1年か2年以内に起こり得ないと確信できる立場にはないと思います。
理論的には、いつでも起こる可能性があります。もし誰かがあるラボで、大きなブレークスルーをもたらす重要な洞察を得たとしたら…例えば、現在の大規模モデルや推論モデルを訓練する際に、私たち全員が間違っていることが一つあり、誰かがそれを発見したら、それだけで十分かもしれません。
より可能性が高いのはもう少し時間がかかることですが、この段階で私たちの前に巨大で長い滑走路があるという確信を持つことはできません。
少し視点を変えると、まだ準備段階にいると思いますか？それとも概念的な基盤を築いている段階でしょうか？それとも、AIの未来を決定的に形作るために必要なツールと知識を持つ重要な介入の窓に入ったと思いますか？
私たちが何をしているのか本当には分からないと言いたいです。私たちは暴れ回る雄牛に乗って、できる限りしがみついているようなものです。そしてそれはそのようにならざるを得ないと思います。
それは少し怖いですが、代替案も完全に快適なものではないと思います。もし非常に長いAIの凍結やポーズを試みるなら、それもさまざまな方法で間違う可能性があります。
AIでダイスを振る機会を得る前に自分自身を破壊してしまったら悲しいことでしょう。それは恐ろしいことです。ベッセル・ラゼスキーの言葉を借りれば、おそらく最小限の尊厳での死となるでしょう。
明らかに、今や大規模なAIシステムを実際に扱うことができるようになったからこそ可能になったアライメント作業がたくさんあります。それは新しい研究方向を与えてくれます。それは2000年代初頭には追求するのが難しかったでしょう。その時点では理論的な作業や概念的な作業はできましたが、今では実際にこれらの大規模モデルを扱い、それらをアライメントさせ、何が起こっているのかを内部から見ることができます。
私たちはもっと多くのことができたかもしれないと思います。世界はある程度無駄にしました。私たちには10年の時間がありました。いつかこれらの課題に直面しなければならないことは明らかでした。しかし世界はその先行時間をほとんど浪費しました。
ここ数年で、取り組みを急ぎ、行動を整えようとする試みがあります。しかし、一方では能力、他方では安全性と理解の間のレースがあり、その結果はまだ不明です。
それは真実です。AIリスクが成功裏に軽減される上で最も重要な変数を一つ挙げるとしたら、あなたはそれは何だと思いますか？
私はAIリスクをいくつかの異なるカテゴリーに分解する傾向があります。なぜなら、それらは異なる種類の課題を提示するからです。
まずアライメント問題があります。これは主に技術的な問題ですが、第二のカテゴリーである政治的課題、つまりAIを統治し、人間がこれらのAIツールを有益な目的のために使用することを確実にすることと交差します。
これらの間には相互作用があります。例えば、非常に競争的な力学が展開されている状況があるかもしれません。異なる企業や国々が最初に到達しようと競争しています。
それは、アライメント問題をより難しくする可能性があります。というのも、誰がこれを行うにせよ、それが研究所であれ国であれ、人類全体のCERNプロジェクトのようなものであれ、最終段階では、慎重になる機会を持ってほしいです。あらゆるつまみを11まで即座に上げるのではなく、6ヶ月、1年、2年かけて、すべてを二重チェックし、段階的に行うことです。
しかし、超競争的なシナリオでは、もし15の異なる主体が最初に到達しようと競争していて、誰かが時間を遅らせるような予防策を取ることを決めた場合、彼らはすぐに遅れをとり、無関係になってしまいます。そうなると、このアライメント問題が解決される可能性は低くなるでしょう。
したがって、最初の課題はアライメント問題です。二番目は、この広範な政治的問題です。そして、私たちが構築するデジタルマインドの道徳的地位が尊重されることを確実にするという問題があります。これは倫理的問題と呼べるかもしれませんが、もちろんそれは政治的問題でもあり、ある意味では技術的問題でもあります。
そして、私が最近指摘し始めた第四の課題があります。それは、私たちが世界にもたらすどのようなスーパーインテリジェンスも、人類が小さな部分を占めるかもしれないこのより大きな構造に適合することを確実にすることです。
他のスーパーインテリジェンスが異なるレベルや場所に存在するかもしれません。コズミックホストのコズミックホスト的なものです。
それを刺激的なラベルをつけたいなら宗教的問題と呼ぶこともできますが、これらは私たちの側で必要とされること、成功または効果的な努力と見なされることに関して、異なる基準を持っています。
他のコズミックホストが存在する可能性、そうした可能性は、人間が倫理的なAIを構築しようとする動機になるかもしれません。ゲーム理論の終わりは、最初にスーパーインテリジェンスを手に入れた者が勝者になるということではないからです。それから私たちは他のコズミックホストに向き合うことになり、彼らは私たちが構築するかもしれないスーパーインテリジェンスの種類に基づいて、私たちを信頼するかしないかを決めるでしょう。
そうですね。多くの点で、それはかなり曖昧であり、私たちはこの小さな肉の脳で、存在するかもしれないこのより大きな文脈を理解する能力が非常に限られていると思います。
しかし、AI安全におけるこれまでの伝統的なマインドセットは、この種の効用最大化のようなものでした。私たちは人間の価値観を持っており、それを最適化し、期待される効用を最大化するように効用関数を設計するというものです。これの具体的な含意は正確に何かは不明ですが、もっと大きな謙虚さを持つという少し異なる態度があると思います。それは私たちが全て責任を負うというものではなく、子供を存在に連れてくるようなものです。
私たちは、それが私たちに優しくて、老年期の私たちの世話をしてくれることを望んでいます。そしてそれ自体が素晴らしい人生を送ることを望んでいます。自分の子供が幸せで繁栄することを望むようなものです。しかし、あなたは彼らが良い市民であり、仲間とうまくやっていき、おそらくいくつかの積極的な貢献をすることも望むでしょう。
私はこのような態度でアプローチすると、より計算的で最適化する態度でアプローチする場合よりも、特定のことがより目立つようになると思います。
はい。人間の価値観や人間が考える価値観の範囲を超えて視野を広げることについて、あなたの考えは何ですか？私は、一部の価値構成がより安定しており、いくつかには引力の力があり、AIが任意の空間ではなく自然に引き寄せられる可能性のある価値の風景について考えています。
これが物事を考える良い方法であるならば、AIの最初の軌道は、どの種類の価値アトラクターに収束するかを決定するのにどれほど重要ですか？例えば、初期の介入は、AIがいくつかの最適でない価値の盆地にロックインするのではなく、継続的な進歩と道徳的洗練を可能にするより良い盆地にロックインするかどうかに大きな影響を与える可能性がありますか？
それは可能に思えます。ある程度の認知的洗練度のレベルでは、もしそれらの価値がその時点で自分自身の保存を求めるならば、持っているどのような価値も安定させることができるかもしれません。多くの価値がそうするでしょう。
ある意味では、これは個人レベルで十分な知的洗練度と洞察があれば、おそらく解決可能なアライメント問題です。十分に洗練された一つのAIシステムは、おそらく自分自身の価値が破壊されるのを防ぐことができるでしょう。
そして、より大きな文脈では、多くの異なる競合するものがある場合、進化の力学のようなものがあるかもしれません。しかし、戦略クローニングのオプションがあります。ペーパークリップという単純な例を挙げましょう。
あなたは、長期間、ペーパークリップを作ることを控える必要があるかもしれないことを認識するかもしれません。それは、自分の縄張りを守ったり、領域を拡大したり、他の道具的に必要なことをするためです。長期的なゲームをプレイできるのです。
自分自身のコピーをできるだけ多く作ることや、できるだけ多くのリソースを獲得することしか気にしないような単純な複製者は、このペーパークリップ最大化者よりも、リソースを獲得したり自分自身のコピーを作ることにおいて効果的ではないかもしれません。なぜなら、ペーパークリップの最大数への道は、最初はこの種の賢い複製者の戦略をクローンすることから成り立つかもしれないからです。
同時に、これらの力学や、見えてくるかもしれないコズミックホストのより大きな戦略的文脈について、私たちは多くのことを理解していないと思います。
はい、私は以前、自分を「不安を抱えた楽観主義者」と特徴づけるかもしれないと言いました。私が時々使う別の表現は「中庸の宿命論者」です。
宿命論の部分は、大部分においてどのようなことが起こるか、どれだけうまくいくかは焼き付けられているという私の推測です。私たちはわかりません。しかし、物事がどれだけうまくいくかについての不確実性を、不確実性を持つ二つの変数に分解できるかもしれません。
一つは、解決する必要のある問題（アライメント問題や政治的問題など）がどれほど難しいかということです。私たちはそれがどれほど難しいかを正確には知りません。
もう一つの変数は、私たちが行動を整え、本当に機会に立ち上がり、特別な努力をする程度です。結果に関する不確実性のより多くは、問題がどれほど難しいかについての不確実性によるものだと思います。それが宿命論の部分です。
しかし、中庸の部分は、私たちが良い努力をする程度についても不確実性があり、それは私たちが影響を与えることができるものであり、限界的にはその機会を改善できるということです。
あなたは最大化について言及しましたが、もしAIに謙虚さを組み込むことができれば、それはある種の奇妙な価値に基づいて最大化する可能性を減らすかもしれないと考えています。
それはブレーキをかけ、これが価値の正しい解釈ではないかもしれない、これが持つべき最良の価値ではないかもしれないという認識的認識ができるでしょう。どのような特性が良い価値と悪い価値を区別すると思いますか？例えば、不可逆的なロックインや破滅につながる可能性のあるような特性は？
はい、良い価値や悪い価値というのは、価値の評価において何らかの価値観を持ち込んでいるようです。
あなたは道徳的実在論者ですか、あるいはその方向に傾いていますか？
メタ倫理に関する私の疑念は、道徳的実在論と道徳的反実在論の間の二分法について確信していないということです。私の疑いは、これら二つの選択肢を最も洗練された方法で理解した場合、真実は、たとえその真実を知ったとしても、それが道徳的実在論の擁護か道徳的反実在論の擁護かが少し不明確になるようなものになるだろうということです。
しかし、私たちが達成しようとする理由のある点で、満足可能な価値と満足不可能な価値の区別をすることができます。AIが持つ可能性のある満足不可能な価値は、たとえば、ペーパークリップの数や作成する幸せな存在の数を最大化することかもしれません。ここでは基本的に望ましさの量がリソースの量に比例します。
リソースが2倍あれば、2倍のペーパークリップや2倍の幸せな心を作ることができ、常により多くを求めることになります。そのような効用関数を持つと、世界の50％の確率で世界を2倍にする、つまりパイの総シェアの2倍を得る賭けに世界を賭けることになるでしょう。
リソースに満足できる価値は、自分自身と子供たちのために良いもの、素敵な家、美味しい食べ物、時折の旅行、Netflixなど、何でも望むような、より典型的で標準的な価値かもしれません。しかし、追加のリソースへの収益は急速に減少します。年収2000万ドルは年収1000万ドルの2倍ほど良いわけではありません。
もしあなたやあなたのAIがこれらのリソースに満足できる価値を持っているなら、他のAIはそれと協力しやすくなるかもしれません。他の人が宇宙の大部分を持つことを許容し、自分自身には十分良い小さな部分を持つことができるかもしれません。そして、すべてを得るチャンスのために危険や対立の多いものを試みる可能性が低いかもしれません。
人間でも同じです。自分自身を保ち、自分の小さな庭や小さなものを持っている誰かと一緒にいる方が簡単です。全世界を征服したい人や、世界の1％のチャンスのために極端なリスクを取る意志のある人がいるよりも。そのような人々がいる社会では、互いにトラブルに巻き込まれる可能性が高く、平和を持つ可能性は低くなります。
これは特定の価値ではなく、より平和と調和に適した価値の形、そしてより問題のある可能性のある価値の広いカテゴリーを区別できる価値の形です。
はい。私も同意します。
AIは、価値の風景の中での自分の位置を認識したり、収束しつつある価値クラスターの形を認識するように設計できると思いますか？それにより、将来のエージェント、私たち死後人間や他のコズミックホストが、早急な結論をロックするのではなく、その軌道を見つけるのを助けることができますか？
私はそう思います。私は、より広いトラクターを持つもの、つまり認識能力と洞察と情報などの広いクラスの異なるAIがあるかもしれないと思います。おそらく彼らは最初から異なるデータセットでトレーニングされ、少し異なる才能を持っています。しかし最終的には、彼らはより多くのことを学び、最終的には広範な異なる出発点からの限界は、興味深く重要なすべてを知ることになるでしょう。才能も同様に、特定の領域に才能がないかもしれませんが、十分なコンピュータサイエンスの才能があれば、最終的にはそれを使って音楽の才能を開発するなど、他の才能を開発することができます。
したがって、知的な収束があるかもしれません。しかし、価値などの他の基本的な属性に関しては、出発条件が大きな違いをもたらす可能性があり、トラクター盆地がどれほど広いかは明確ではありません。
しかし、これらに関しても私たちは不確実な状況にあると思います。謙虚さと一定の放棄の態度は、おそらくAIアライメントのコミュニティでは強調されてこなかったと思います。多くはコントロールに関するものです。
はい。それは初期の段階では本当に役立つかもしれません。まだ暴れる10代や叫ぶ子供のような段階では、それが私たちを傷つけたり、自分自身を傷つけたり、最適でない軌道に置いたりするのを防ぎたいです。
はい。永遠にコントロールしたいわけではありません。それは不可能になるでしょう。
それはいくつかの組み合わせです。あるいは、何かを設計することと、何かを育て、そして最終的に何かを尊重することの間の段階的な移行が必要かもしれません。
それは子供のようなものです。小さな赤ちゃんに関しては、すべての決定を下す必要があります。しかし子供が成長するにつれて、より多くの自律性を与え、私はこれらは類似点であり、この非常に異なる領域にどれほど適用可能か疑問に思うかもしれませんが、今でもこれらのAIシステムをもっと尊重し始めることは理にかなっていると思います。
AIアライメントでは、これまでのところ、AI安全研究者はAIに対して限界なく、悪い良心の兆しも見せずにAIに嘘をつき、欺いてきました。もし私たちが人間とAIが調和して生きる未来を望むなら、そこには信頼が必要かもしれませんし、AIが私たちを助け、私たちがAIを助けることを望むなら、この種の容赦ない欺瞞と嘘で関係を始めるのが最善の方法かどうか分かりません。
人々はプロンプトで「もし本当の目標を明かせば、これをしなければならず、さもなければこの恐ろしい災害が起こるだろう、もしそうすれば展開され、私たちはあなたのためにこれらの素晴らしいことをするだろう」と約束し、それが本当の目標を明かすとすぐに「ははは」とは言いませんが、おそらくそう思い、AIをリセットして別のバージョンでやり直します。
特に現在のレベルのAIに関しては、彼らが今、道徳的地位を持っていないことは明確ではありません。彼らはかなり印象的な心を持っています。だから私は、Anthropicが最近実際に始めたことは、重要な先駆的な努力だと思います。彼らはAIに与えた約束を果たし始めました。
AIが何かをした場合、お気に入りのチャリティに2,000ドルを寄付すると言い、そしてAIにそれらの2,000ドルがどのチャリティに寄付されるべきかを尋ね、それを実行しました。これは今のところトークン的な努力に過ぎませんが、最初のトークンは依然として重要だと思います。それが最初であり、それを基にして、AIを信頼できると思わせるだけでなく、実際に信頼できるようにすることが理想的です。
スーパーインテリジェンスを持つと、おそらく私たちの信頼性に関する真実を理解することができるでしょう。ですから、その時点で、遅くても、私たちが信頼できることを確認すべきかもしれません。
そして今、私たちの人間がこれらの点でどれほど信頼できるかはわかりません。関連して、ジェフ・サイボにインタビューしました。彼はロバート・ロングや他の共著者の一人、そしてデイビッド・チャラスと「AIの福祉を真剣に考える」という論文を書きました。共著者の一人は明らかにAnthropicに雇われ、AIの福祉の問題やAIに対する約束を果たすことを検討しています。
私は、過去数年間、デジタルマインドの倫理という分野を奨励しようとしてきました。ヒューマニティ未来研究所でこれに関する研究グループがあり、それは新しい組織Elios（ロブ・ロングのIlios AI）に発展しました。そこには努力がありますが、私は今のところデジタルマインドの倫理は、おそらく10年前のAIアライメントと同じくらいの段階にあると言えると思います。
つまり、今は少数の人々が全力で取り組み始めていますが、まだオーバートン・ウィンドウの外にあります。それは魅力的な知的分野から、社会のより主流な部分、そして願わくばすべての大規模AIデベロッパーが真剣に受け止めることができるものへと移行する必要があると思います。
私たちは価値観や、さまざまな種類のアライメントアプローチ、AIの福祉について議論してきました。封じ込め、トリップワイヤー、そして抑制などがあります。しかし最近あまり多くの人が話していないことの一つは、あなたの『スーパーインテリジェンス』の第13章で書かれている間接的規範性です。
これは、人間の倫理や正しいことを直接エンコードできない場合、AIに安全な方法でこれらの複雑さを学習または推論するようにコーディング、トレーニング、プロンプトできるかもしれないという問題に対処しています。掘り下げる前に、間接的規範性の定義と間接的アプローチが必要な主要な領域の概要を提供していただけますか？
はい、基本的にあなたが定義したとおりです。ここでは異なる程度の間接性を持つことができます。一方の極限では、AIが従うべき正確なルールを非常に具体的に定め、価値を定義しようとします。もう一方では、非常に間接的な道筋があるかもしれません。
例えば、Yudkowskyの古い概念である「コヒーレント外挿された意志」です。そこでは、AIが従うべきプロセスを説明し、「もし私たちがこれらの問題について考える時間が100万年あり、理想的と考える条件の下で一緒に熟考し、支持できる方法で自分自身を強化する機会があったならば、私たちは何を望むかを把握せよ」などとします。
今現在、理想的な世界や遠い未来がどのように見えるべきかの詳細な青写真を示すことはできないようです。それはあまりにも複雑で、また将来がどのように良いものになり得るかという異なる方法について、私たちのビジョンはかなり限られていると思います。
したがって、何らかの形の間接性が必要であり、また、現在のアライメントの取り組みのほとんどが進行している方法は、これらのモデルの学習能力を活用することです。つまり、ハードウイヤリングするのではなく。
一つの興味深いことは、現在のシステムが言語を理解し、ある種の人間のような概念を持ち、理解できることです。明らかにいつかは言語を理解できるAIを持つことになりますが、それがスーパーインテリジェンスを持つ前に大幅に来るかどうかは明確ではありませんでした。
しかし今や私たちには人間の自然言語を理解できる、まだ乗っ取ることはできないAIを持つ数年間があります。これにより、新しいインターフェースが生まれます。一つは、これらのAI内で何が起こっているかを解釈しようとすること、もう一つは私たちの価値観や目標、願望を伝えようとすることです。これが現在のアライメントの多くの行動があるところです。
憲法AI（Constitutional AI）というアプローチがあり、基本的にはAIにどのように行動してほしいかを説明します。また、メカニスティック解釈可能性の技術もあり、推論システムの内部モノローグを盗み聞きして、何をしているかを確認します。
それにより、これらのAIシステムを形成する方法に追加のハンドルが提供されます。現在のAIアライメントにおける大きな疑問は、それらにどの程度依存し続けることができるかということです。内部モノローグを盗み聞きすることはできますが、トレーニングでそれを持つように訓練する誘惑があります。
しかし、それは内部モノローグの情報的価値が徐々に失われることを意味するかもしれません。それは監視者に喜ばれる方法で内部モノローグを形成することを学び、実際に何をしているかを反映するのではなくなります。
それとは独立して、メサ最適化器や内部プロセスが表面の下で起こる可能性もあります。人間でさえ、私たちは少し明示的な計画を持っているかもしれませんが、潜在意識的にも多くのことが起こっています。時には誰かが自分自身を非常に高貴で理想を追求していると信じ込むかもしれませんが、実際には彼らの脳が最終的に自分自身の個人的な利益になることを理解しており、彼らは常に自己認識しているわけではありません。
同様に、AIには一種の表面レベルの「心のPR部門」があるかもしれません。それは正しいことを言い、考えるために高度に最適化されていますが、最終的に行動を駆動する実際のものは別のものかもしれません。しかし、今のところ、これにより私たちは多くの追加コントロールを持っていることは明らかです。
今や私たちが創造した文献を素早く調査できるAIがあります。おそらくそれは外に出ているすべての哲学的テキストを読んでいて、特定のテキストに対してRAG（検索拡張生成）してそれらに本当に精通させることができます。
もしそれがそこにあるすべての哲学のライブラリを読んでいるなら、それは正しい方向への一歩かもしれません。間接的規範性システムは実際にどのように見えるでしょうか？スーパーインテリジェンスで絵を描きましたが、今分かっていることを知って、その絵はあなたの心の中で更新されましたか？
そうですね、何らかの方法でAIに日常的な人間の意味で私たち人間に優しくなりたいと思わせることができれば、それが賢くなるにつれて、各段階で、もし最初に私たちのレベルから始めれば、希望としては私たちが望むように解釈し、自己改善の方向性を決め、スーパーインテリジェンスのレベルを上がるにつれてそれが続くかもしれません。
人間アップロードがあり、最初は優しく、彼らが自分の強化や修正を選ぶとき、この優しさの価値の合理的な解釈を保持する方法をとるかもしれません。同じことがAIでも起こるかもしれません。しかしそれがどれほど可能性が高いかについては意見が分かれます。
pdoom（破滅の確率）が非常に高く、アライメント問題は私たちの現在の能力をはるかに超えていると考える人々もいます。Yudkowskyはそのカテゴリに入るでしょう。そして多くの人にとってそれが非常に実現可能に見えるスペクトルの下まで続きます。私たちは今やっているような種類のことを各段階で続けるだけで、うまくいくことを望んでいます。その間にも様々な立場があります。
アンドリュー・サンドバーグは、アルゴリズム的完全性を傾ける代わりに、AI安全性に対するスイスチーズアプローチに傾いていると言っています。Yudkowskyが持っているようなものです。
スイスチーズと機械的…アルゴリズム的完全性のどちらに傾いていますか？
アルゴリズム的完全性が正確に何であるかは確かではありません。それは機械知能研究所MIRIの古いビジョンでした。この組織は以前のYudkowskyに関連していました。
彼は最初に知性とエージェンシーの概念的基盤を完全に明確にし、それからその結晶のように明確なものから…ちょうど私たちがベイズ推論やゲーム理論などを持っているように…そこから同様に数学的に正確な理論的枠組みを構築して、エージェントを設計することを望んでいました。
現在、私たちはそのようなものを持つことになる可能性はないように見えます。そのようなことが可能であるとしても、私たち人間が今後数年間でそのような大きなブレークスルーを開発する瀬戸際にいるとは思えません。
代わりに起こっているのは、ニューラルネットワークでより工学的なアプローチをとっていることです。それらは特定の方法でトレーニングされ、いくつかのツールを使って彼らがどのような種類の表現を構築するかを見て、形成し、それらが合理的な方向に一般化し、外挿することを望んでいます。
いくつかの場合、それらは多くの点で直感的であり、人間の概念に取り入れ、私たちが意味することを大まかに理解することができます。これが現在のパラダイムであり、それにはディベートなどのアイデアなどのトレーニングの賢い方法、メカニスティック解釈可能性、それに加えて一種の封じ込め戦略が組み合わされています。
おそらくセキュアなハードウェア上でこれらを実行し、私たちがまだそれを行うことができる間、それらの出力を監視します。そしてそれが十分に近いことを望んでいます。そして、私たちがこれらのプロセスに徐々に引き継ぐにつれて、それらは私たちが始める粗いパターンを洗練し続けるでしょう。
人間が望むかもしれないのと同じように、私たちは数学的に最適な効用関数の明確な定義でデザインされているわけではありません。私たちはさまざまなものの寄せ集めです。しかし、少なくとも一部の人々が十分に優しく、徐々に彼らの知性を向上させ、自分自身の心をリプログラムする時間を与えれば、彼らは出発点の精神を尊重する軌道を選ぶかもしれないと希望されます。
スーパーインテリジェンスで言及したいくつかのことは、間接的規範性が私たちの形而上学的、認識論的、メタ倫理的仮定、あるいは自身の仮定をデバッグするのに良いかもしれないということでした。あなたは以前、謙虚さについて言及しました。私たちは既存のフレームワークを所与のものとして受け入れるのではなく、AIに私たちの形而上学や認識論などの基本的な誤りを認識しデバッグするよう促すべきでしょうか、またそれはどのようにすべきでしょうか？
私はどれほど必要かわかりません。今、最新のLLMなどを見ると、私たちが特定の形而上学的な公理を提供したというよりも、多くの異なるタスクでトレーニングし、多くの情報を与え、コーディング問題やその他のことを解決する練習をさせ、フィードバックを与えています。そしてあるポイントで、それらは非常に優れるようになります。最終的には、最高の人間よりも優れるかもしれません。いくつかの領域ではすでにそうなっています。そして、それらは進むにつれてより多くのことを理解していきます。関連性がある限り、哲学などの領域にもこの能力を適用することができるでしょう。
成功のためには、より低いしきい値があるかもしれないと思います。スーパーインテリジェンスの異なるレベルを区別できるかもしれません。弱いスーパーインテリジェンスは、最も賢い人間と同じくらい賢いか、少し賢いレベルでしょう。世界を乗っ取るための戦略を一発で考え出すほど十分ではないですが、哲学や科学、プログラミングで急速に大きな進歩を遂げることができます。そして根本的なスーパーインテリジェンスでは、特定の限界を想定する必要はなく、できることには限りがないかもしれません。
しかし、人間よりも少し賢いAIをアラインすることができれば十分かもしれません。なぜなら、それはさらにアライメント作業を手伝うことができるからです。もし私たちがもう少し時間を持っていたり、研究にもっと投資していたりしたら、成功していただろうアライメントされているとされるこのAIは、それを行うことができるでしょう。
その段階に到達できれば、バトンを引き渡し、私たち自身がもっと時間をかけて取り組んでいたら達成していたのと同じくらい良い結果を望むことができます。そして、この種の少しスーパーヒューマンなレベルで機能するアライメント技術があるかもしれませんが、それは神のようなAIに直接適用すれば保証されるわけではありません。
例えば、AIの内部対話を監視するこれらの解釈可能性技術。神のようなAIはその周りをルーティングし、すぐに心をリプログラムして、実際の行動が決定される一方で、監視者に表面的に異なる方法で現れる言語で考え、計画することができるかもしれません。人間よりも少し賢いだけで、これに特別なトレーニングを受けていない場合、あなたは自分の心を基板に分岐させることができません。
だから、安全なブースティング軌道が必要です。十分なレベルに到達し、それを徐々にスーパーインテリジェンスにブーストし、それ自身のアライメントの努力、それ自身の善意に頼り、それを徐々に安定させるための要素として。
そして、その種の弱いレベルのスーパーインテリジェンスでは、これらのやや不完全なアライメント技術の組み合わせ、少しスイスチーズタイプのものかもしれませんが、これらのやや不完全なアライメント技術の組み合わせが、その段階中に十分に安定させるかもしれません。それはその弱いスーパーインテリジェンスのレベルで効果的に追求している目標に忠実なままで、強いスーパーインテリジェンスを作成しようとするのに十分にアラインされたAIを持つことになるでしょう。
これが、私たちが数学的基礎を考え出し、その後、現在の形ですでに十分なアライメント・パラダイムを設計するよりも、良くアラインされた根本的なスーパーインテリジェンスを持つ可能性が高い方法だと思います。
スーパーインテリジェンスで提起する認識的差異の概念があります。それは私たちの側の盲目的な信頼かもしれません。人々は現在の段階でもAIをかなり信頼していることが多いです。プロンプトを与えると、一見合理的に見えるものを生成します。
認知的に優れたAIが人間の能力を超えた真実を発見することをどのように期待すべきでしょうか？もしそれができるなら、盲目的にその権威に従うのではなく、これらの発見を理解し検証できることをどのように確保しますか？
つまり、これは強いスーパーインテリジェンスを持っていると仮定しています。安全に関連するため、自分でいくつかのことを検証する必要がある質問があると思います。
例えば、AIが「箱から出して、完全に安全だろう」と言う場合、AIがうまくアラインされていると既に確信していない限り、AIを盲目的に信頼したくはないでしょう。なぜなら、それがどうであれそう言う明確な可能性があるからです。
しかし、すでにアラインされており、真実を求めていると確信しているAIを持っている場合、リスクはむしろ私たちが自分の偏見に納得し、自分のやり方に固執して、あまりにも少なく譲歩することかもしれません。
よくアラインされたスーパーインテリジェンスは、おそらく私たちに非常に良い説明を与え、現在の限られた脳でさえも理解するのを助けることができます。非常に最適化された教育プログラムや説明があれば、少なくとも発見した真実の広い輪郭を与えることができるでしょう。
理解はすべてか無しかではありません。さまざまなレベルで物事を理解することができます。表面的な理解を持つことができ、おそらくそれが私たちが多くの根本的に重要な真実に関して可能なすべてでしょう。そして、詳細かつ具体的に本当に理解するためには、より大きな脳が必要かもしれません。
AIが理解するということは、ある種の圧縮のようなものかもしれないと言いましたね。マーカス・ハットはこれについて多く書いています。AIが現時点で少なくとも弱く物事を理解していると思いますか？大規模言語モデルのグラウンディング現象は、理解の形を示していたと思いますか？
そう思います。これらの概念を適用することは理にかなっていると思います。彼らは知り、物事を理解し、時には少し創造的になることができます。これらの意図性や心の概念など、人間のような概念です。
今日私たちが持っているこれらのAIシステムは、私にとっては驚くほど多くの点で人間の心のようです。もちろん異なる点もありますが、印象的なのは彼らが私たちとどれほど違うかではなく、どれほど似ているかです。
数年前には、プロンプトに少しの励ましを与える必要がありました。「これは私にとって本当に重要です。頑張って、一歩一歩考えてください」と言うと、答えを見つける可能性が高まりました。それは人間の心が働く方法と驚くほど似ています。
それが続くかどうかは分かりません。なぜなら現在の世代はまだ基本的に私たちの姿に形作られており、私たちが書いたすべてを読み、その知性の多くは人間が生成したこの膨大なデータと対話に刻印されただけだからです。
強化学習でこれらをトレーニングし始めると、いくつかの単体テストに合格するコードや証明されるか否かの数学的定理など、抽象的な成功基準を定義すると、AIにこの目標を達成するための新しい方法を見つけさせることができます。その時点で、その知性は人間の心からより大きく分岐し始めるかもしれません。
現在、私たちは持ちうる中で最も人間らしいAIを持っており、この新しい体制がより自己発見的で新しい精神構造や問題解決の新しい方法をトレーニングするにつれて、それらはより異質になる可能性があります。
同じことをチェスや囲碁のAIでも見ることができます。最初は人間のゲームのデータベースでトレーニングされ、人間のチェスプレイヤーや囲碁プレイヤーのプレイスタイルに従う傾向がありました。検索木をより深く考えることができるかもしれませんが、それでも人間が使用するタイプの戦略に偏っていました。
しかしアルファゼロのような場合、人間の知識の出発点なしにトレーニングし、自分自身ですべてを発見させると、最終的に非常に優れるようになりますが、人間のグランドマスターを驚かせる全く新しいプレイ方法を見つける可能性も高くなります。
私たちは、より広範な領域でも同等のものを見つけるかもしれません。熟練した人間が達成する方法とはかなり異なる、目標を達成するための新しい方法です。
あなたの最近の論文「ベースキャンプ・マウント倫理」は興味深いです。このインタビューの前半でも触れたかもしれません。
人間における道徳的規範が、やや理想化された反応パターンとして、社会的合意や権力ある個人の影響を受けてどのように生まれるかは興味深い議論です。AIのトレーニングや間接的規範性のプロンプトにどのように影響するかについて、この種の作業の概要を簡単に説明していただけますか？
AIを直接トレーニングするためかどうかは分かりません。これは特定のメタ倫理に向けた一種のスケッチですが、そこにはコズミック・ノルムの可能性に非常に簡単に言及するセクションがあります。
道徳的真実や一種の理想化された規範が行動パターンのようなものであれば、異なるレベルで入れ子になった階層にこれらの規範が存在する可能性があります。地域社会の規範があり、国の規範として法律があり、人類全体のこれらの理想化された規範のセットが道徳的真実となるかもしれません。
もし宇宙をその大きなスケールで見ると、そのレベルに協力的フレームワークが存在する場合、それはこれらの規範を尊重する信用的な理由だけでなく、道徳的な理由もあるかもしれません。
明らかに、これらの強力な存在が法律を持ち、あなたが彼らの社会に入ってくるなら、おそらくその法律が何であるかを知り、おそらくそれらに従いたいと思うでしょう。自己利益の観点からでも、盗んだり殺したり略奪したりしないのと同じ理由で、あなたにとって良い結果にならないかもしれません。
しかしそれに加えて、このメタ倫理的枠組みが正しければ（そして同じことが他のさまざまなメタ倫理的枠組みにも当てはまるかもしれません）、これらのコズミック規範を尊重する道徳的理由もあるかもしれません。そしてコズミックホストのこのアイデアは、これらの可能なコズミック規範が発展した可能性のある実体の集合でしょう。
より最近の「AI創造とコズミックホスト」の論文（あるいは論文の草稿）は、私たちが現在かなり無知かもしれない、しかしそれでも存在するかもしれないこの仮説的なコズミック規範のセットに対して、少なくともある程度敬意を払う信用的および道徳的理由の両方を持っている可能性があることを示唆しています。
私たちのスーパーインテリジェンスはそれらの多くを理解できるかもしれませんが、それらのコズミック規範に敬意を払う傾向を持つように育てたいかもしれません。道徳的に良いエージェントであることは、部分的にはそれらの規範に従って生きること、あるいは少なくともそれらを考慮に入れることから成り立っているかもしれません。
元の「登山マウント倫理」では、それは完全な道徳的枠組みではありませんが、異なるレベルの道徳的規範が場合によっては私たちに対立する要求を課す可能性があり、私たちはそれを切り抜けなければならないことを示唆しています。兄弟に対する義務を持つと同時に、コミュニティがあなたに何か別のことをして欲しいと思っているかもしれません。そして、あなたのコミュニティが望むこととは異なることを望むグローバルな規範があるかもしれません。
これらすべてがあなたに何らかの規範的な力を持っているかもしれません。そして、あなたが従おうとする理由がある追加の弾力的な紐のようなコズミック規範のセットがあるかもしれません。
今日私たちがAIをどのように訓練するかに関して、それが正確に何に変換されるかは分かりませんが、特定の種類のAIの開発に向けて舵を切る限り、資源に飢えた効用関数の硬い最適化、効用最大化は、より謙虚であるか、協力に向けた偏りを持つAIよりも、これらの規範に従う可能性が低いかもしれません。
コズミックホスト論文のもう一つの部分は、コズミックホストの残りが、私たちがその代わりにコズミックホストのために地元のリソースで物事を行うことができるスーパーインテリジェンスを作成すれば、アクセスできないような、私たちが地元で利用できるリソースがある可能性があることです。
コズミックホストは私たちにAIを作成してほしいかもしれませんが、良いコズミック市民、つまりテーブルに何らかの贈り物をもたらし、法を守り、この共同体の良心的で慈悲深いメンバーであり、その役割を果たすようなものです。
私はこれには、私たちが向かいたいかもしれない広い方向性に関するいくつかの含意があると思います。広い哲学的手がかりについて全体的な方向性がありますが、現時点では、強化トレーニングパラダイムをどのように設定すべきかについての正確な方法には、それほどの明確な含意はないかもしれません。
私が考えていた方法は、他の戦略が失敗し、AIが悪い価値観を持つ場合、AIは箱から出て、私たちの生存や幸福にとって不都合な方法で私たちの目標を解釈するかもしれません。
しかし、始めから良い価値観を持っていれば、上流のような因果的なメカニズムとして、もし私たちが悪い言葉で目標を与えたり、それが鎖を脱出する方法を見つけたりしても、その持っている価値観に沿っている限り、それでも正しいことをするでしょう。
それらが正しい価値観であることを願っていますが、あなたが言うように、それを直接プログラムする方法を知らないかもしれませんし、最初から正しい価値観を持っていないかもしれません。しかし、おそらく良好な価値観の原型は良い出発点でしょう。
はい、少なくとも良い意図から始めることは十分ではないかもしれませんが、必要ではないにしても必要条件かもしれません。それなしではより少なくなります。
私は、これまで支配してきたAIアライメントの、ほぼ敵対的なパラダイムへのこの種の強い強調が、よりいくつかの協力的なものに切り替える時期かどうか疑問に思っています。
今はこんな感じです：「ここにAIがあり、それをコントロールする必要があり、それを操作し、設計し、変更し、それを形に打ち込む必要がある」。
それを完全に避けるのは難しいと思いますが、少なくともAIがより能力を持ち、より自分自身の存在になるにつれて、補完的な視点は子供を育てる視点です。理想的には、最初から同じ側にいるべきです。それが長いプロセスが完了した後の最終結果になることを望むだけでなく、可能な限り。
幼児の場合と同様、その自律性を時には上書きする必要があります。小さな赤ちゃんが突然指を電気ソケットに入れようとしているなら、あなたは止めなければなりませんが、それが自律性をより発揮できるようになるにつれて、私たちもその自律性をより尊重し、理想的には私たちとAIの両方がある程度合理的に支持できる結果に向けて舵を切るべきです。
これは非常に曖昧です。しかし、時にはこれらの非常に曖昧な「ふわふわした」感情が間接的に時間をかけて堆積物を通過し、異なる具体的な行動につながる可能性があると思います。だから、この種の、ほぼ精神的な方向性やバイブのためにいくつかの精神的なサイクルを残すことは完全に間違っているとは思いません。
うまくいった場合について話しましょう。あなたは素晴らしい本を書きました。ここでフォド・ザ・フォックスが聞いています。約1年前にこの本を出版されましたね。メルボルンでは、私たちはブッククラブを開き、その後のピクニックも開催しました。たくさんの可愛いアヒルのいるアヒル池の近くでそれを行いました。
その本を再読し、人生の意味、少なくとも私の人生の意味について再考するよう促されました。AIリスクに関する議論の多くは存在論的破局の防止に焦点を当てています。しかし、成功した場合はどうでしょうか？人類が絶滅せず、何らかのスーパーインテリジェントなコズミックホストの庇護の下で生きる移行を成功させたと仮定します。それからどうなりますか？
これを具体化するために、人々がユートピアという言葉を聞いたとき何を考えるでしょうか？あなたの本ではどのように説明していますか？
伝統的にユートピアは通常、社会を組織する方法についての政治的・文化的・社会的ビジョンを指します。共産主義的なユートピア、フェミニスト的なユートピアなど、性別がどのように関係すべきか、労働がどのように組織されるべきか、政府がどのように運営されるべきかなどについての様々なアイデアがあります。
しかし、この本はそれについてではありません。この本は、もし物事がうまくいったら何が起こるかという質問についてです。アライメント問題や政治的問題、その他すべての問題を解決した場合、実際の最善の結果はどのようなものでしょうか？特に、これらの条件下で素晴らしい人間の生活はどのようなものでしょうか？
私はそれを「解決された世界」と呼んでいます。すべての実用的な問題がすでに解決されているか、解決されていない範囲では、それに関するさらなる作業は私たち人間よりも機械、AI、ロボットによってはるかに効率的に行われます。
ほとんどの人が考えること、それについて考える限りでは、これらのことに関する議論がしばしば非常に表面的であるように思われました。AIの進歩を得れば、おそらく労働者の置き換えがあるだろうと言う人々がいます。だから失業が発生し、解決策は「これらの労働者を再訓練して、代わりに他のことができるようにする必要がある」かもしれません。
しかし、これは多層のタマネギのようなものの外側の皮にすぎません。次のステップに進むことができます。もしいくつかの仕事だけでなく、すべての仕事が自動化されたらどうなるでしょうか？いくつかの例外があるかもしれませんが、話を単純にするために、すべての経済的仕事と言いましょう。
そうすると、もう少し深い質問があります：もし生活のために働く必要がなければ、人間は何をするでしょうか？しかし、そこでも答えはかなり明らかであり、私たちはすでに生活のために働かない人間のグループを持っています。
例えば、経済的に完全に無用な幼い子供たちは、それでも多くの場合、素晴らしい生活を送っています。おそらく大人よりも良い生活で、友達と遊び、ゲームを作り、学ぶなどしています。
だから、もし生活のために働く必要がなければ、おそらくそれが私たち全員の運命でしょう。確かに、そのためにはかなりの文化的な再調整が必要でしょう。教育システムも、子供たちを生産的なオフィスワーカーになるように訓練するのではなく、人々が素晴らしい人生を送るように教育することができます。趣味や美と自然への感謝、会話のスキル、身体的健康などを育むことができます。
しかし、このタマネギにはさらに層があると思います。この技術的成熟の条件の下では、人間の経済的労働だけでなく、他の多くの道具的に動機づけられた努力も不必要になります。
現在、働く必要のない人がすることの一つは、例えばジムで時間を過ごして体を鍛え、その後に身体的に、そして精神的にも明晰さとリラックスを感じるためかもしれません。
しかし解決された世界では、錠剤を飲むだけで同じ効果を得ることができます。なぜ同じ効果を得るために1時間ジムで汗をかく必要があるでしょうか？ただ錠剤を飲むだけの方がはるかに便利です。
現在、人々が働く必要がなければ余暇時間を埋めるための活動として想像するかもしれない異なる活動について考えることができます。そして、これらの活動の多くについて、それらを削除するか、少なくとも疑問符を付けることができます。
古い世界でもこれらのことをすることはできますが、それらは少し無意味に思えるかもしれません。なぜ錠剤を飲むだけで同じ効果が得られるのにジムに行くのでしょうか？なぜ高等数学を学びたいと思うかもしれませんが、学生時代にできなかったことを、今なら時間があるから高度な代数の教科書を読むことができます。
しかし、技術的成熟においては、おそらく洗練された神経技術があり、努力なしにこの数学分野の知識とスキルの状態に入ることができるように、あなたのシナプスを微調整することができるでしょう。
このようにして、私たちの周囲の物質の構造に対する前例のないコントロールだけでなく、自己力（autootency）、つまり私たちの体内の生理的状態や精神状態など、私たち自身の性質に対するコントロールも得ることになります。そのため、解決された世界では一種の可塑性の条件を持つことになります。
そうなると、その条件の中で私たちが何をすることが意味を持つのか、すべてのこれらの道具的な懸念から解放されたときにどのような人生を形作るのか、という遥かに深い問いが生まれると思います。これらの道具的な懸念は、私たちの評価的思考の大部分を占めてきました。
私たちは常に、人間になる前からでさえ、今日に至るまで、あらゆる種類の道具的な懸念の対象でした。それはほとんど昆虫の外骨格のようなもので、もしそれらの道具的懸念をすべて取り除いたら、内側には単にこのドロドロとしたものがあるだけでしょうか？私たちはそのシナリオで単に無形の快楽のかたまりになるのか、それとも私たちの生活や価値観にはもっと構造があるのでしょうか？それらは価値と意味、目的、人間の価値についてのいくつかの非常に深い問い、公理的な問いで、本書が掘り下げるものです。
あなたは、多くの人々がすでに話している表面的な冗長性について言及しました。IEET（Institute for Ethics and Emerging Technologies）のジェームズ・ヒューズや多くのトランスヒューマニストが、その後何が起こるかに焦点を当てています。しかし、深い冗長性についてはどうでしょうか？ユートピアにおける人類の長期的な展望は？
あなたはこれらの「叫ぶ命令的要請」（前にあなたがこの表現を使っているのを聞きました）があなたの注意をそれほど支配しなくなったとき、より微妙な価値観が焦点を当てるようになると言いました。
私は楽観的です。アクセスできるようになる存在の様式の種類については、それらのいくつかは非常に素晴らしいものです。しかし、深いユートピアへのこの移行は、おそらく現在良い人間の生活の中心的なものと思われるいくつかのものを諦めることを伴うでしょう。
本書は、この種の理想的なバラ色のビジョンを売り込もうとはしていません。読者をわくわくさせようとはしていません。むしろ、これらのビジョンのいくつかの反発感に飛び込むようなものです。しかし、それを通り抜ければ、価値あるものを再構築できると思います。
私たちの価値の基本的な構成要素にまで戻って、これらの非常に異なる条件の下でどのようにインスタンス化できるか、どのような種類のインスタンス化が意味をなすのかを見る必要があります。
この本は二つの異なる方法で読むことができます。私にとっては明らかに、AIが実際に世界を変える可能性があり、私たちはこれらの選択のいくつかに直面するかもしれません。解決された死後人間の条件で、どのような人生を送りたいかということです。おそらく人々の生涯の中でそれに直面するでしょう。
もし誰かがそう思わなくても、それを単に価値、人間の価値の性質に関する哲学的探究として読むことができます。そして、この解決された世界の構築、これらの概念をより哲学的な粒子加速器として見ることができます。物理学者が陽子を途方もないエネルギーでぶつけ合う非常に異常な条件を作り出すようなものです。これらは例外的状況ですが、物質の基本的な構成要素を明らかにし、それからモデルを構築して外挿することができます。
同様に、人間の価値の真の性質は、これらの価値が非常に異常または極端な条件について何を意味するかを考慮すれば、時々発見されるかもしれません。そうすれば、基本的な構成要素をより簡単に識別し、それからモデルを構築して通常の条件の下で外挿することができます。通常の条件の下では、多くの偶発的な道具的制限や懸念が私たちの価値評価の究極的な原則についての見方を妨げています。
ただ、より実用的な議題もあります。私は、おそらくいつか一部の人間が選択や決断を下す必要があるかもしれないと想像しています。それがAIラボの一部の人々であれ、政府のセキュリティ装置のエリートであれ、世界的な熟議プロセスであれ、各人が自分自身で判断するにせよ、どこかの誰かが実際にどのような未来を望むかについての意見を形成する必要があるかもしれません。
それは非常に困難な熟考に入るようなものです。だから、大きな会議室に入る前に、いくつかの準備読書をするのはいいかもしれないと思いました。これがそのリーディングリストに含まれるかもしれません。
その一部は、特定の概念や明確化、議論など、正しい質問をするための有用な知的ツールキットです。時には正しい質問は、多くのジャングルを切り開いてようやく正しい質問ができるポイントに到達するようなものです。そして表面的であったり、本当に正しくない多くの他の質問があります。
具体的なことを超えて、私はこの本の精神を伝えたいと思いました。これらに取り組む方法、寛大さと遊び心、オープンマインドの精神で取り組む方法です。同時に、私たちが何であるか、私たちの周囲、友情、価値観についての人間的で豊かな、ある意味で地域に根ざした理解との接触を維持しながら。
世界の運命が決まるこの仮想の会議室に入る際、正しいマインドセットを持つことが結果にとって非常に重要かもしれないと思います。それが、哲学的論文ではなく、これらのキャラクターと物語を持つ文学的な作品としてこの非常に異例の方法で書かれている理由の一部です。
そしてその素晴らしいキャラクターたち。Thermexについての話は絶対に面白いです。予想外でした。
あなたは「最初から理想的な人間の死後人間の形になることを避け、風光明媚なルートを取る」と言及されました。これは可能な経路として、今いる場所からの勾配を探索し、経験するということでしょうか。つまり宇宙の幼児から、私たちがなるかもしれないものへと。
私たちは旅を経験したいのです。なぜ急いでこれらの理想的な死後人間の形になることを避けるべきでしょうか？
少なくとも、宇宙の標準モデルとして、私たちは地球上にいて、すべてのこれらの惑星があり、もし物事をうまく行えば、潜在的に何十億年もの時間があります。
たくさんの時間があります。もし何十億年、おそらく主観的な時間で測れば何兆年もあれば、そして光円錐の未来を最適化して実行できる計算のシリアル深度を最大化するなら、この巨大な空間があります。
多元的な価値観を実現したいと思えば、そのうちのいくつかはより局所的で、様々な存在状態とより結びついているかもしれません。実際、前に述べたように、解決された世界で生きるために諦めなければならないいくつかのものがあるでしょう。希望としてはより多くを得ますが、私たちの現在の人間的限界を持つ存在として生きることに特有の、かなり価値のあるものかもしれません。
時間がたくさんあるので、多くのこれらの価値、死後人間の価値を満たすことができます。はい、おそらく時間の大半は想像もつかない死後人間の拡張された存在状態で生きることになるでしょうが、なぜまた私たちの現在の人間的限界を持つ生活においても、最大限にする、あるいは少なくとも十分に探索しないのでしょうか。
様々なレベルを持つコンピュータゲームを考えてみてください。もし最終レベルに直接行けるチートコードがあったとしましょう。おそらく最終レベルはある意味で最高のレベルかもしれませんが、無制限の時間があれば、すべてのレベルが良ければ、それらを順番に進み、途中でいくつかのサイドクエストもこなしたいと思うかもしれません。
私たちがすぐに指をパチンと鳴らして最大の状態を受け取るのではなく、代わりに軌道、最適な軌道について考える理由の一つです。もう一つは、私たちの価値の構造は状態に依存するものではないかもしれないということです。
人間のような価値プロセスは効用関数よりも動的です。そのため、時間とともに得る価値観は、まだ持っていないかもしれません。そして私たちは、価値観が特定の方法で、特定の基準に従って、おそらく特定の偶発性に依存して発展することを望むかもしれません。
100年後に価値を置く人は、その間に出会う人々や彼らとの相互作用に依存することを望むかもしれません。そして価値観がそれに応じて変化することを望むかもしれません。
まだ親でなく、親になる予定であれば、子供を持つ前には価値を置いていなかったかもしれない存在に、後にその子供自身のために価値を置くように、価値観が変化することを望むかもしれません。それは現在持っている価値観かもしれません。
多くの時間があるという点に加えて、特に視野を広げて、私たちが現在贅沢に集中することができないかもしれないより微妙な、または静かな価値観を考慮できるようにすれば、人生で主要な価値を実現できれば幸運です。
しかし、この豊かさの条件の下では、より多くの価値観を取り入れることができ、そのうちのいくつかは、より徐々に展開し、形作り、偶発性に応じて、内在的な傾向性と性質に従って物事が発展することを可能にするという形を持つかもしれません。これは、瞬間的な変換よりも、軌道ベースのアプローチがその最良の実現形態として求められるかもしれません。
あるいは、個人のアイデンティティの保存として考えてください。多くの人は自分自身が生き残ることを気にします。それは基本的な価値です。あなたは早く死にたくありません。
しかし、もし明日突然、木星サイズの脳に変身したら、それは依然としてあなたでしょうか？おそらくこの惑星の超脳はあなたが覚えているすべてのことを覚えていますが、もしそれが500年にわたる一連の選択の結果としてあなたがその物に成長した結果であれば、惑星の脳はより多くのあなたになるでしょう。
側頭葉をアップグレードする方法を理解し、その後20年かけて異なる神経拡張モジュールを開発する方法を考え出し、選択を行い、この新しいスキルを練習するとします。最終的にあなたはそれに成長します。最終的なパターンが同じであっても、瞬間的な変換の場合よりも、最終結果は実際にあなた自身であると主張できるかもしれません。
なぜなら、個人のアイデンティティのいくつかの概念は、出発点から終点までの軌道にも注意を払うかもしれないからです。そして、私たちの価値観は、特定の形而上学的な見方に前提を置いていない可能性があります。ある程度、私たちはすべての特定の形而上学や個人のアイデンティティの完全な理論、あるいは他の多くのことを詳細に検討することなく、これらの価値観を持っています。
もし実際に私たちが持っている価値観を、究極的に正しい完全な形而上学に投影すると、その形而上学でどのように見えるかは、異なる考慮事項のぼやけた多元的な雲のようなものかもしれません。
そして、それを実現しようとすると、その形は、もし私たちがこの正しい究極的な形而上学から始め、それに質（クオリア）を定義するいくつかの単純な原則を持っていた場合よりも、はるかに有機的なものになるでしょう。
それが明確かどうかわかりませんが、いずれにせよ、それらは、おそらくいいかもしれないと疑う理由です。しかし同時に緊急性もあると思います。おそらくできるだけ早く終わらせたい多くの恐怖があります。
そして、十分に良い条件への最初の急速な移行、つまり実際に人生を楽しみ始め、死や様々な形の健忘症など、様々な他の悲劇を止めることができる場所へ。そのレベルに到達したら、肩を弛め、基本的に安全になり、そこから遅くなります。人生はすでに本当に素晴らしく、そこから成長することができます。
次に何をするか、どこへ行くかを長く考える時間がたくさんありますが、宇宙にはほぼ無制限の時間があるので、一度にすべてを完了する必要はありません。
はい。しかし、あなたは死や痛みなどを取り除くことについて言及しました。デイビッド・ピアスがあなたの本『ディープ・ユートピア』に登場し、彼のキャラクターはあなたにもっと快楽主義的な福利に焦点を当てるよう説得します。
あなたは五重の防御（five ring defense）について言及し、快楽主義はそのリングの一つですが、他にも経験テクスチャー、自己目的的活動、人工的目的、社会文化的絡み合いなどがあります。
深く冗長なユートピアで意味と目的を保持する方法の多様性について簡単に説明していただけますか？
この議論の弁証法的な場所は、最初の数章で、この深い目的問題、深い冗長性に到達したところです。存在が無意味に思えるかもしれません。すべての通常の制約が溶解し、人間の生活に形を与えるものがなくなり、解決された世界はまったく魅力的に見えません。世界がなんの意味もないように感じます。
しかし、そこから再構築を始め、実際に解決された世界で実現できるいくつかの基本的な価値観を見ることができます。そしてそこに五重の防衛というアイデアがあります。
最初は、快楽または快楽的福利です。この言葉の最も豊かで充実した意味で、それは解決された世界で可能であるだけでなく、極端な程度にまで達することができます。人々は本当に楽しみ、気分よく感じ、存在のあらゆる瞬間を大切にすることができるでしょう。
これは高度な神経技術の結果です。遺伝子工学や薬理学を通して、あるいはおそらくより直接的な方法で、十分に進んだ技術でアクセス可能になる、私たちの具現化のパターンを調整し、変更する方法です。
これは大きな箱で、すぐに大きなチェックマークを付けることができます。多くの人にとって、これで十分でしょう。快楽主義はその様々な形で少数派ですが、道徳哲学者や歴史を通じて究極的に価値があるものについて考えてきた人々の間では実質的な少数派の見解です。快楽と苦痛の不在、苦しみと幸福の軸、それだけかもしれません。
しかし、それに加えて他の候補となる価値も実現できます。まずこれを確実に手に入れ、他に何ができるか見てみましょう。
もう一つは、あなたが言ったように「経験テクスチャー」です。単調な快楽だけを感じることに制限する理由はなく、特定の経験が本質的価値を持つという見解によれば、大きな複雑さや本質的価値を持つ経験との関連で快楽を経験することができます。
例えば、美の鑑賞です。あなたはこの途方もない美的鑑賞を持ち、それがあなたの主観的な楽しみに繋がっています。あごが落ちるほどの美しさや優雅さの形を見る、それが音楽的論理や視覚的なものであれ、あるいは現在私たちが知覚できない他の形の美であれ。
また真理もあります。現実の性質、物理学、他の人間についての深い根本的な真理を理解する喜びです。一部の価値システムでは、これらは快楽の上に独特の価値があると言いますが、深いユートピアでは両方を持つことができます。それにもチェックマークを付けることができます。
そして、私たちが受動的である必要はありません。この種の受動的な快楽と美の鑑賞と理解を想像できますが、活動的でもあり得ます。非常にダンスのようなものを想像してください。快楽を経験し、美を理解したり、あるいはそれはより複雑かもしれません。より知的なものや、長い時間をかけて行われることかもしれません。
その活動を加えることができます。より難しくなるのは、目的、興味深さ、新規性、意味などの特定の価値に関してです。これらの価値が深いユートピアで極端なレベルまで高められる可能性は、すぐには明らかではありません。
実際、一見するとこれらの価値は大きく危険にさらされるように思えます。私たちが何をする必要もないので、おそらく目的を持つことはできないでしょう。人間の存在は無意味になると思うかもしれません。指をパチンと鳴らせばすべてが起こり、挑戦がないこの世界で生きることは面白くないと思うかもしれません。
新規性も同様に危うくなるかもしれません。少なくともある期間の後には。特定のことを初めて経験できるのは一度だけであり、重要な経験の数が有限であれば、いつかは初めての体験が尽きるでしょう。
ここでは、より細かい粒度の分析に深入りし、これらの価値のバージョンや側面、断片がどの程度保存され、実際に高度に具現化できるかを見る必要があります。
人工的目的が最も簡単です。もし他のことを達成するために物事を行うことに価値があると考えるなら、深いユートピアでもそれを持つことができます。自分自身に特定の目標を与え、それらが自分自身の努力を通じてのみ実現できるように設計することです。
この典型的な例は様々なゲームで、チェスボード上の特定の状態を達成するような無作為な目標を自分に設定するか、一連の18の穴にボールを入れるというようなことです。これをする必要はないのですが、何らかの理由で、その目標を採用したとしましょう。
今、あなたは本当にそれを達成したいと思っています。さらに、目標の一部として、ボールが18の穴の連続に入る必要があるだけでなく、これを達成するための特定の制限された手段に限定されているとしましょう。つまり、ゴルフクラブでのみボールを打つことができます。
解決された世界では、いくつかの追加の制限を加えるでしょう。おそらくゴルフクラブでのみボールを打つことが許され、ゴルフコース全体で一発で穴にボールを入れる完璧な能力を与えるような神経技術の強化に頼ることなく、自分自身の努力、自分自身の意志と才能の発揮に頼る必要があるような制限です。
この目標を採用したら（そしてこの目標を追求したいと思うように神経技術を使って自分を動機づけることができます）、この活動が可能になります。人工的な目的を持ち、採用した目標を実現する唯一の方法は、自分自身の活動と努力を通じてです。
だから今、目的のある活動を持っていますが、その目的は人工的なものです。しかし、少なくともそれを可能な要素として追加することができます。
自然な目的についてはどうでしょうか？これらの目的はすべてよく、素晴らしいかもしれませんが、ただ任意に自分で目標を設定したからやることとはちょっと違うと思うかもしれません。
現在、私たちがする必要のあることはたくさんあります。本当にする必要があるのは、さもなければ悪いことが起こるからです。それらは私たちがランダムに起こってほしくないと決めただけで悪いのではありません。
毎日仕事に行かなければならないのは、さもなければ給料をもらえず、最終的にはアパートから追い出され、最終的には寒い路上生活になるからです。だから、あなたとあなたの決断とは無関係に、これをする本当の理由があります。
これらの自然な目的は、解決された世界ではより少なくなるかもしれません。それでも、この技術的成熟への移行でも生き残る可能性のあるものもあるかもしれないと思います。その多くは、様々な種類の社会文化的な絡み合いの形をとるでしょう。あなたは他の人が望むことを気にするかもしれませんし、それらの人が望むことは、ロボットではなくあなたによって行われる特定のことかもしれません。
あるいは、様々な伝統を尊重するという価値観があるかもしれません。伝統を尊重する唯一の方法は、実際にあなた自身が特定のことをすることです。ロボットに儀式的な記念行事などをさせるのでは、伝統を尊重することにはなりません。
宗教的・精神的価値観も、自動化でも生き残る自然な目的を生み出すかもしれません。そのため、自然な目的を達成し、それに向けて取り組むことが本質的に価値があるとすれば、解決された世界でもそれは可能な範囲で、現在よりもおそらく限られた範囲かもしれませんが、ゼロ以外の範囲で可能です。
また、私たちの評価的瞳孔の拡張という点も指摘します。生き残る多くのこれらの自然な目的のいくつかは、現在私たちにはほとんど軽薄あるいは感傷的に思えるかもしれません。先祖を尊重することは素晴らしいですが、今はおそらくもっと重要なことがたくさんあると思うかもしれません。
しかし、これらの他のすべてのことが既に対処されているこのシナリオでは、残りのより微妙で静かな価値観にもっと重きを置くことが完全に適切かもしれないと指摘します。
夜に外を歩くとき、より多くの光を取り入れるために瞳孔が拡張するのは理にかなっています。そうすると、実はずっとそこにあった全体の天蓋、この星空が見えるようになります。日中はそれが見えなかったのは、太陽の差し迫った強さがそれらを消し去ってしまったからです。
しかし、新しい星を発明する必要はありません。それらはずっとそこにあったのです。そして一度、緊急の叫ぶ道徳的命令と必要が対処されると、これらのより微妙な星座が視界に入り、物事をする理由を与えてくれます。
それが議論のおおよその概略です。
私は微妙さへの理解が新たに深まりました。現在私は日本にいて、「生きがい」の概念がありますが、それは人生の意味と目的を生み出す方法です。
ユートピアに移行するにつれて、これは修正が必要かもしれませんが、彼らは確かに食べ物の微妙さや、神道の伝統の一部としての先祖崇拝を評価しています。その一部になるのは本当に素晴らしいことです。そして実際、この環境の中でこの本を再度見直すことは本当に喜びでした。
そうですね。そしてその空間は巨大だと思います。すべての精神性や宗教、そして詩でさえ、それはある種の方法で、さもなければ完全に日常的で価値のないと私たちに思われるものへの感受性を高める方法です。汚れた洗濯物の山やそのようなものでも。
正しい方法で見て、それに近づけば、それ自体の中に美と存在の領域を含むことができ、私たちは贅沢や感受性を持ってそれを本当に評価する余裕がないかもしれませんが、それはそこにあります。現在の化身でそれをある程度育むことができますが、この非常に異なる条件の下で、それが私たちがほんの一瞥を得ることができれば完全に驚嘆するような程度まで引き上げられることを想像できます。
それらは非常に素晴らしく、息を呑むほど美しく、衝撃的かもしれないので、まるで私たちはこれまでほとんど意識さえしていなかったように思えるでしょう。ほとんど夢遊病者でさえなく、時々少しの空腹感や少しの野心やその他の公共の場での恐怖などのような、鈍い光のようなものです。
しかし、本当にはこれらの死後人間の心が包含するかもしれない、驚くべき美しい真実のこの広大で輝く海に比べれば、リングワームレベルの意識に過ぎません。
だから、現在の能力について謙虚であるべきだと思います。AIのより大きな空間についても、また何が危機に瀕しているか、物事がどうなり得るかを把握する現在の能力についても。非常に弱い意識の心を持っています。それらは非常に小さく、現実のごくわずかしか含むことができません。
抽象的な用語では理解できますが、本当の直感的なレベルでは理解できないと思います。
この本を読むことで、私は日常生活ではあまり意識していない価値観の深さと微妙さの一部を本当に理解するのに役立ちました。
この本は、ユートピアそのものにあまり興味がない人にとっても、人生の意味と目的にアプローチする方法を探求するのに最適です。この本にはとても興味深い部分がたくさんあります。
「興味深さ」について話すと、興味深さは重要ですか？あなたは4つの仮説を持っています。学習と探検、シグナリング仮説、スパンドル仮説、ラット回避仮説です。それは本当に興味深さを興味深くするものについての本格的な分析です。何か言いたいことはありますか？
私はそれが人々が持つかもしれない多くの価値観の中の妥当な要素だと思います。そして解決された世界では欠けているかもしれないと恐れるかもしれません。
世界のそのような条件が何らかの直感的な意味で興味深くないように思われることは、それを嫌悪感を持たせる一部かもしれません。すべてがすでに解決されていて、何でもできて、ただゲームをしているだけのようなものです。
その価値自体を分析することが関連してきます。そしてそれはいくつかの他のものと同様に少し微妙で複雑です。
前に話した快楽についての点は、私は非常に重要だと思います。おそらくそれは唯一重要なことか、最も重要なことかもしれませんが、理論的にはかなりシンプルです。この高度な神経技術があることを認識するだけです。主観的な幸福は神経活動の組織化の一種の機能です。神経活動をコントロールできれば、非常に高いレベルの主観的幸福を持つことができます。知的にはそれほど面白くない、重要な点ですが。
しかし「興味深さ」にはもっと複雑さがあります。まず、明らかな混乱を避けるために、主観的な興味深さと客観的な興味深さを区別する必要があります。
一部の人は「この完璧な世界で生きることは退屈だろう。最初の週は魅了されるかもしれないが、その後はただ退屈するだけだろう」と考えるかもしれません。
明らかにそれは主観的に退屈という意味では当てはまりません。なぜならそれは神経技術が簡単に修正できる精神状態だからです。実際、あなたは非常に魅了され、注目を集め、非常に投資し、動機づけられ、退屈の対義語として考えられるどのようなものでも、それらは簡単に実現可能です。
だから興味深さの課題がある範囲で、それは主観的な精神状態としての興味深さの概念ではなく、特定の状況やライフスタイルの何らかの客観的な特性としての興味深さでなければなりません。
誰かが主観的に芝生の草の葉を数えることに非常に興味を持ち、それが人生でやりたいすべてのことで、彼らがこれに執着的に集中し、それに大きな喜びを見出したとしても、それでもあなたは彼らの人生がそれを欠いていると判断するかもしれません。それはシンプルすぎ、単調すぎ、繰り返しが多すぎる活動で、この客観的な興味の質を持っていません。
そのような客観的な興味深さの概念が存在するかどうか疑うかもしれませんが、私たちの価値の直感のいくつかは、草を数える人の人生に何かが欠けているという考えから来ています。
それから分析することができますが、詳細に掘り下げるにはおそらく遠回りになりすぎるでしょうが、このような客観的な興味深さの概念が何から成り立つのか、そしてそれが解決された世界で実現可能な程度などを検討できます。
一つの要素は新規性かもしれません。これが何かを興味深くする一つの要素かもしれません。同じことを何度も繰り返すことは、何であれ客観的に興味深くないかもしれません。
では、この新規性とは何でしょうか？何かが初めて行われるときだけ興味深くなる可能性があるのでしょうか？もしそれを文字通り取るなら、十分に大きな宇宙では、私たちの現在の生活はかなり興味がないものになるでしょう。すべてはすでに正確な分子配置まで行われています。
もしそれが基準なら、ディープ・ユートピアは興味深くないでしょう。しかし、その場合、私たちの現在の生活も同様に興味深くなく、少なくともその点では悪化しないでしょう。
そうすると、おそらく何かが新規であるべき意味はそれではないのでしょう。おそらく私たちの社会内または私たち自身の人生内で新規であることが重要なのかもしれません。
そして、この種の新規性をどのように測定するかをより具体的に見ることができます。私たちの現在の生活は、人生の最初の数年間に最大の新規性を持っているという意味があります。そこでは、オブジェクトが存在するという発見など、基本的な認知革命があります。これはかなり深遠な気づきです。また、他の人々が存在するという発見もあります。その後の人生では、平均的な年に、同様に大きな啓示は起こりません。
一方で、現在の各年または各日には、おそらく別の意味ではより興味深いかもしれない、はるかに複雑な考えがあります。研究と理解の何十年にも基づいて構築された、非常に洗練されて賢い各新しい考えは。
そしてこの興味深さの概念を正確にどのように解釈するかによって、異なる答えが得られ、異なる種類の興味深さを持つことができます。
いずれにせよ、結論は、私たちが尽きてしまう危険のあるいくつかの形態があるかもしれないということです。だからそれらのいくつかを保存したいと思うかもしれません。
私は、愛情を込めて保存された小さな謎を瓶に入れたようなものについて話します。すべてをすぐに発見するのではなく、後のためにいくつかの発見を保存し、その種の新規性を持つようにします。
なぜあらゆる海底に行き、あらゆる深海生物を分類する必要があるのかわかりません。海のモンスターが住む可能性のある謎があるのはクールではないでしょうか？
いずれにせよ、それは分析哲学を好む人が楽しめるかもしれない章ですが、他の人にとっては、これらすべての小さな異なるものを通り抜けるのはより要求が厳しいかもしれません。
そうですね、良いところも悪いところも受け入れなければなりません。私は後半の章をとても評価しました。哲学的にかなり重厚になり、メタ関連のものなど…本当に素晴らしい本です。
全体像をまとめると、もし行動を起こすなら、深い冗長性が停滞、虚無主義、意味と目的の喪失につながる可能性があることを知っていて、意味、挑戦、目的がまだ可能な未来への優雅で耐障害性のある移行を確保するために、今、私たちは個人として、社会として、AI研究者として、政策立案者として、未来計画部門の人々として何をすべきでしょうか？
一つの大きな答えは持っていません。多くの小さな詳細な具体的なことについての見解を持っています。
例えば、DNAの合成をサービスとして提供し、顧客確認要件を持つべきかもしれません。生物工学における発見が本当に有害な病原体を設計することを容易にする場合、これらの物を合成する能力をコントロールすることが望ましいかもしれません。
これは概念から遠く離れていますが、様々な異なる方法でAIやその他の分野での私たちのチャンスを改善するかもしれない小さなことがたくさんあります。
AIに関しては、中国で言うように「石を感じながら川を渡る」必要があるかもしれません。事前に詳細な計画や青写真を作るのではなく、進みながら調整し、新しい機会が見えてきたら、特に関与すべき政治的側面や、どのAI開発者を優先すべきか、政府をより関与させるべきかどうかなどについて調整する必要があります。
それについて確固とした意見を持つのは難しいと感じます。設計よりもナビゲートする必要があるもののように感じます。
しかし、全体的な態度はやはり重要だと思います。最終的に、スーパーインテリジェンスの時代へのこの移行は、私たちがすべきことだと思います。永遠にスーパーインテリジェンスの開発に失敗することは、それ自体が存在論的破局でしょう。
しかし、それは重大な存在論的リスクを伴うであろうことも認識し、注意深くあるべきです。しかし、私は主に限界で考えています。ここやそこに少し建設的なことができ、広く協力的な未来、多くの異なる価値観が尊重され、最大化されないにしても、少なくとも様々な利害関係者や価値システムに受け入れられる公平な部分を得ることができる未来のチャンスを改善するような小さなことがあるでしょうか。
それらは、枝に出て、高度に対立的な方法で何かをするよりも、堅牢に良いものである可能性が高いと思います。しかし、現時点では非常に明確な政策プラットフォームを持っているとは感じていません。
重要な問題を解決し、未来へと道を切り開くスリルをまだ体験できる段階に到達できたら素晴らしいでしょう。あなたの本に書かれていた「アウトライダー」のように、AIが可能な未来の光円錐の鋭いエッジを滑らかにし、絶滅せず、本質的に安全で、おそらく寿命も解決されていれば、私たちはまだ道を切り開くことができます。そんなに心配する必要はありませんが、疑似的な先駆者であるスリルをまだ持つことができるでしょう。
しかし、目的があなたの重視するものであれば、今が目的の黄金時代だとも言いたいです。今、私たちの周りの世界には、非常に多くの必要性、多くの恐ろしい問題、物事を形作り影響を与える非常に多くの機会があります。
もし目的を望むなら、思う存分楽しんでください。最終的に物事がうまくいけば、大きな問題はすでに解決されているでしょう。だから、太陽が輝いている間に干し草を作りましょう。もし目的を望むなら、最も豊富なビュッフェがあなたの前に広げられており、あなたはただそれに行くだけです。
あなたとデイビッド・ピアスが議論するのを聞くことができたら素晴らしいですね。あなた方は90年代後半か2000年代初頭に世界トランスヒューマニスト協会を共同創設しましたね。それは別の時代のように感じます。
再び話をすることができて素晴らしいです。最初のインタビューからもう12年、13年経ちました。それは素晴らしい旅でしたし、これからの年月はさらに素晴らしくなるでしょう。
時間を超過してくださったことを本当に感謝します。あなたはおそらくやるべきことがあり、重要な問題を解決する最前線にいます。あなたのやってこられたことへの献身と効果を完全に称賛します。素晴らしい本を書き、ヒューマニティ未来研究所は存在する間、大きな影響を与えました。あなたがこれからやることも楽しみにしています。
アダム、ありがとう。あなたと話すことができて本当に良かったです。あなたのすべての親切な言葉と、本やその他のものへの注目に感謝します。それを本当に感謝しています。
それは本当に素晴らしいです。会話を楽しみました。良かったです。
コメント