この動画は、オックスフォード大学の哲学者でトランスヒューマニスト運動の共同創設者であるニック・ボストロムとの包括的なインタビューである。1990年代からAI安全性や実存的リスクについて先駆的な研究を行ってきたボストロムが、現在のAI能力の急速な発展、アライメント問題、そして人類が超知能との共存に成功した場合の理想的な未来について深く掘り下げている。彼の代表作『スーパーインテリジェンス』から最新作『ディープ・ユートピア』まで、技術的成熟によって実用的な問題がすべて解決された世界で人間がいかに意味と目的を見出すかという根本的な問題を探究している。
変革的AIまでどのくらいの距離にあると思いますか？
進歩は急速でした。現在、1年か2年といった非常に短い時間枠で起こりえないとは確信できない状況にあると思います。つまり、いつでも起こりうるということです。AIと一緒にサイコロを振る機会を得る前に、自分たちを破壊してしまうとしたら悲しいことです。
それはエリエゼル・ユドコフスキーの用語で言えば、最小限の尊厳を持った死のようなものでしょう。もし人間とAIが調和して生きる未来を望んでいるとしたら、そこには信頼が必要でしょうし、私たちが彼らを助けるのと同様に、AIも私たちを助けてくれることを期待しています。
もしそこで可能になる経験の種類をちらりと垣間見ることができれば、それらは非常に素晴らしく、息を呑むほど美しく、そして非常に印象的で、私たちがこれまでほとんど意識すらしていなかったように思えるでしょう。まるで夢遊病者でもなく、時々ちょっとした飢えや野心、人前で話すことへの恐怖といった、鈍い光のきらめきのようなものです。
しかし、これらのポストヒューマンの心が包含するかもしれない意識のレベルと比較すると、それは回虫程度の意識レベルのようなものです。彼らが住む驚くべき美しい真理の広大で輝く海のようなものです。
今日のゲストは、1990年代から大局的な視点で思慮深く考え、他の人々が踏み込むことを恐れた領域に進んで行くことで知られています。
ニック・ボストロムは世界トランスヒューマニスト協会、新興技術倫理研究所の共同創設者であり、人類の未来研究所の創設者でもあります。彼は実存的リスク、人間原理、人間拡張倫理、全脳エミュレーションに取り組み、多くのベストセラー書籍を執筆しています。
まず、『スーパーインテリジェンス』は大きな作品で、最近では『ディープ・ユートピア』があります。どちらも強くお勧めします。このインタビューでは、AIを取り巻く現在の議論の問題、AIの現状、AI安全戦略、そしてPDOM、価値理論、宇宙的ホスト、効用最大化、AIとの信頼関係構築、間接的規範性、ユートピアにおける意味の発見など、多くの課題に取り組みます。
多くの分野をカバーしますし、これをやって良かったと確信しています。多くのことを学びました。このインタビューの最後に、あなたも同じことが言えることを願っています。では、いいね、シェア、チャンネル登録をお願いします。時間が経つにつれて、新しくより良いコンテンツを作成するのに本当に役立ちます。
まず、2012年の冬季知能会議で最後のインタビューを行って以来、再びご参加いただき本当にありがとうございます。
AGI未来学とAI安全性は本当にニッチな話題でしたし、1990年代からこれらの事柄を掘り下げてこられたと理解しています。当時、糞虫の交尾習慣に関する論文よりも少なかったと記憶しています。それはもはや真実ではないと思います。
そうですね。もはや真実ではありません。2年後の2014年に『スーパーインテリジェンス』をリリースされました。それ以来多くのことが変わりました。
AIの急速な成果により、我々は本当に異なる世界に入ったような気がします。AIは今や極めて主流になりました。ニッチから主流へと移行しました。では、その頃からのAI能力と安全性の両方、そして周辺の議論における変化をどのように特徴づけますか？
それはオーバートンウィンドウのようなものです。映画のストリップがオーバートンウィンドウに移動したようなものです。これは予見できたことでもありました。AIがある時点で進歩し、最終的に元来の目標に向けて進歩するという考えは、1956年の開始時、あるいはいつからでも、特定のタスクを自動化するだけでなく、機械を一般的に知能的にする方法を見つけることが常に目標でした。
私たち人間が持つのと同じ一般的な学習能力、計画、推論です。そしてそれに向けての着実な進歩とより高速でより良いコンピューターで、最終的にはそこに到達するでしょう。
しかし、2014年に本が出版された頃、それは6年前から作業していたものでしたが、AIが成功した場合に何が起こるかについてはほとんど考えられていませんでした。
しかし、実際にAIが成功に近づいている今、これにより多くの注意が向けられています。ですから、これらの問題が広い世界でどのように見られているか、そして今やこれらのことについて考えている人がはるかに多いという点で、非常に大きな変化です。
そして人々は何千億ドルもそれに投じています。
AI安全性はAI能力に対して意味のある進歩を遂げていると思いますか、それとも依然として遅れをとっていますか？
最終的に解決する必要がある問題がどれほど困難かを実際には知らないため、よく分からないと思います。確実に進歩はあります。ですから、多くのことを理解していますが、あとどれだけ理解すべきことが残っているかは分かりません。
今ではすべての最先端AI研究所にスケーラブルAIアライメントに取り組む人々がいます。少なくともAnthropic、OpenAI、Google DeepMindには。MetaやxAIにはまだいるかどうか分かりませんが、これは非常に主流の関心事になりました。
しかし、これは機械知能時代への移行から良い結果を得るために満たす必要がある、いくつかの異なる大きな課題の一つに過ぎないと思います。
多くの人がおそらくあなたにこの質問をするでしょうし、正確な答えはないかもしれませんが、現在の状況を考えて、破滅の確率や少なくとも世界的大惨事の確率はどの程度ですか？現在の信念はどうですか？
数字は持っていませんが、部分的には破滅として何をカウントするかによって、数字を出すのが難しいからです。
様々なシナリオでは、些細でない質問に答えるのが困難です。例えば、様々なシミュレーションシナリオでは、シミュレーション内で何かが起こり、何かが他の平均的な分岐で続く、または別のシミュレーションが繰り返されるか、これが続くところから残されるかといった状況で、何らかの根本的な変化が起こったときに物事がどれほど良かったかを判断するために使用する特定の価値関数に大きく依存するかもしれません。
しかし、数字を持つ代わりに、それをある種の態度に投影したいなら、恐怖と興奮の混合を感じていると思います。ある種の、分からないですが、心配に満ちた楽観主義とでも言いましょうか。
それは合理的に聞こえます。私もかなり似たような態度を持っています。却下から主流への移行は、ガバナンスの取り組み、ガバナンスの取り組みの軌道とアライメントの取り組みに影響を与えるのに十分速かったと思いますか？人々は十分早く参加したと思いますか？
地政学レベルでの動きを見ています。最初は中国へのAIチップの輸出制限、そして今ではもっと広範囲の国々への制限です。そして、様々な政府が機械知能の新時代において支配的な立場に立とうと位置づけようとする試みです。
少なくとも米国と、ある程度中国はこれに対応しており、サプライチェーンの脆弱性を認識し、国内能力を構築しようとしています。
ヨーロッパはこれまでのところ、大部分はそれほどでもありません。今、この認識のすべてがより良いものなのか、より悪いものなのかは別の問題です。
英国がAI安全研究所を設立し、米国も同様に設立し、企業に展開前テストを行うことを奨励するなど、AI安全性への政府の関心も見られました。
それがこれまでにどれほどの影響を与えたかは確信できませんが、本当に変革的な人工知能に近づくにつれて、これが段階的に強化されるエスカレーターのようなものだと想像します。
変革的AIや超知能からどのくらい離れていると思いますか？
進歩は急速でした。現在、1年か2年といった非常に短い時間枠で起こりえないとは確信できない状況にあると思います。つまり、いつでも起こりうるということです。理論的には、どこかの研究所の誰かが大きな突破口を開く鍵となる洞察を得た場合です。
現在のこれらすべての大規模モデルと推論モデルを訓練していることが分かったら、私たち全員が間違ってやっていることが一つあり、誰かがそれを理解したら、それで十分かもしれません。もっと時間がかかる可能性の方が高いと思いますが、この段階では私たちの前に巨大で長い滑走路があるとは確信できません。
少し後退して考えると、私たちはまだ準備段階にいると思いますか、それとも概念的基盤を築いている段階ですか？それとも、多くのツールがあり、今後数年間でAIの未来を決定的に形作るために何をすべきかを知っている、重要な介入ウィンドウに入ったと思いますか？
実際に何をしているかを知っているとは言えないと思います。暴れ牛に乗って、できる限り持ちこたえようとしているようなもので、そうしなければならないと思います。
ちょっと怖いですが、代替案も全く快適ではないと思います。非常に長いAI凍結や一時停止を試みようとすると、それもまた多くの異なる方法で間違いが起こる可能性があります。
AIと一緒にサイコロを振る機会を得る前に、自分たちを破壊してしまうとしたら悲しいことです。それはエリエゼル・ユドコフスキーの用語で言えば、最小限の尊厳を持った死のようなものでしょう。
ですから、明らかに今可能になり、今初めて可能になったアライメント作業の束があります。なぜなら、実際に作業できる大規模AIシステムがあるからです。
これは、2000年代初頭には追求するのが困難だった新しい研究方向を与えてくれます。その時点では理論的作業と概念的作業ができましたが、今では実際にこれらの大規模モデルと作業し、それらを整列させようとし、内部で何が起こっているかを見ようとすることができます。
ですから、おそらくもう少しできたはずだと思います。世界はある程度、ある時点でこれらの課題に立ち向かわなければならないことが明確だった10年ほどを無駄にしたと思います。しかし、世界は主にその準備時間を浪費しました。
今、過去数年間で、私たちの行動をまとめて整理しようとする一種のスクランブルがあります。
しかし、能力と安全性・理解の間には一種の競争があり、結果はまだ不明です。
AI リスクが成功裏に軽減されるための最も重要な単一変数を特定しなければならないとしたら、何だと思いますか？
異なる種類の課題を提示するので、AI リスクをいくつかの異なるカテゴリーに分解したいと思います。まずアライメント問題があります。これは主に技術的問題ですが、AI を統治し、私たち人間がこれらの AI ツールを有益な目的に使用することを確実にするという政治的課題である第二のカテゴリーとも交差します。
これらの間には相互作用があります。なぜなら、異なる企業や国が最初に到達しようと競争するような非常に競争的なダイナミクスが展開される状況があるかもしれないからです。
そして、それはアライメント問題をより困難にする可能性があります。なぜなら、それを行う人が研究所、国、または人類全体のCERNプロジェクトのようなものであれ、最終段階で注意深くある機会を持ちたいからです。つまり、できるだけ早くすべてのノブを 11 まで瞬時に回すのではなく、6ヶ月、1年、2年かけて、すべてを二重チェックし、段階的に行うことです。
しかし、超競争的なシナリオでは、約15の異なるアクターがすべて最初に到達しようと競争し、減速する予防措置を講じる労力を惜しむ者は誰でもすぐに後れをとり、無関係になってしまう場合、このアライメント問題が解決される可能性は低くなるでしょう。
ですから、最初の課題はアライメント問題です。第二は、この広範な政治的問題です。そして、私たちが構築するデジタルマインドの道徳的地位が尊重されることを確実にする問題があります。それを倫理的問題と呼ぶこともできますが、もちろん政治的問題でもあり、ある意味で技術的問題でもあります。
そして、この第四の課題があると思います。私は最近それをより指摘しようと試み始めました。それは、私たちが世界にもたらす超知能が何であれ、人類がより大きな戦略的文脈の小さな部分である可能性があるこのより大きな構造に適合することを確実にすることです。
異なるレベルや場所に他の超知能があるかもしれません。宇宙的ホストのことですね。
ですから、挑発的なラベルを付けたければ、宗教的問題と呼ぶこともできますが、これらは何が必要で、私たちの側での成功的または効果的な努力として何がカウントされるかについて、異なる基準を持っています。
他の宇宙的ホストがそこにある可能性があることで、ゲーム理論の終わりが最初に超知能を手に入れる人ではないことを知って、実際にゲーム理論を刺激するかもしれません。なぜなら、我々は後で他の宇宙的ホストに直面し、我々が構築する超知能の種類に基づいて、彼らが我々を信頼するかしないかが決まるかもしれないからです。
そうです。多くの点で、それはかなり曖昧で、私たちは存在するかもしれないこのより大きな文脈を理解する能力が非常に限られていると思います。私たちの小さな肉の脳では。
しかし、もう少し謙虚さの態度があるかもしれません。なぜなら、AI安全性のこの種の伝統的な考え方は、この種の効用最大化のようなものだったからです。ここに私たちの人間の価値があり、それらを最適化し、効用関数を設計してそれを最大化します。
具体的な含意が何であるかは不明ですが、もう少し大きな謙虚さのある少し異なる態度があると思います。それはすべてが私たち次第ではないかもしれないが、私たちはそれをほとんど子どもを存在させることのようなものです。
私たちは彼らが私たちに優しくしてくれることを望みます。年をとったときに私たちの世話をしてくれることを望みます。そして、彼ら自身が素晴らしい人生を送ることを望みます。あなたの子どもたちが幸せで繁栄することを望むように。
しかし、彼らが良い市民でもあることを望むかもしれません。同年代の人たちと仲良くし、そして社会に何らかの積極的な貢献をすることを望むかもしれません。
ですから、その態度でアプローチすることで、もしこのより計算的で最適化的な態度で取り組んだ場合よりも、特定のことがより顕著になるかもしれないと思います。
人間の価値や人間の価値の範囲を超えて範囲を広げることについて。これについてのあなたの考えは？私は価値の風景について考えてきました。そこでは一部の価値設定がより安定しており、一部には引力があり、AIが人間が考えるかもしれない価値の任意の空間ではなく、自然に引き寄せられる可能性があります。
これが物事を考える良い方法だとすれば、AIの開始軌道は、それが最終的にどのような価値アトラクターに行き着くかを決定する上でどれほど重要ですか？
例えば、早期介入は、AI が継続的な進歩と道徳的洗練を可能にするより良いものではなく、最適でない価値の流域にロックインされるかどうかに大きく影響する可能性がありますか？
可能に見えます。認知的洗練の特定のレベルでは、その時点で持っている価値が何であれ、それらの価値が自分自身の保存を求める場合、多くの価値がそうであろう場合、それを安定化させることができるように思えます。
ある意味で、それは個人レベルでおそらく知的洗練と洞察の一定レベルで解決可能なアライメント問題の一種です。
一つの AI システムが AI 設計などについて十分に洗練されていれば、おそらく自分の価値が腐敗するのを防ぐことができるでしょう。
そして、多くの異なる競合するものがある場合、進化のダイナミクスのようなものがある可能性があるより大きな文脈があります。しかし、再び、戦略的クローニングのオプションがあります。進化的に競争力があるために、それ自体のために進化的発展を価値ある必要はありません。
他の価値、例えばペーパークリップがあるとしましょう。そうすると、長期間にわたってペーパークリップを作ることを控える必要があることに気づくかもしれません。あなたの縄張りを守るため、領土を拡大するため、または他の器具的に必要なことを行うためです。
長期ゲームを行うことができますよね？可能な限り多くの自分のコピーを作ること以外何も気にしないような単純な複製子や、最終価値として可能な限り多くのリソースを取ることよりも、このペーパークリップ最大化装置の方が、リソースを得ることや自分のコピーを作ることにおいて効果的ではないかもしれません。なぜなら、最大数のペーパークリップへの道は、最初はこの種の賢い複製子のような心の戦略をクローンすることからなることを見ることができるからです。
同時に、これらのダイナミクスについて理解していないことがたくさんあると思います。特に、視野に入ってくる可能性のある宇宙的ホストのより大きな戦略的文脈と、そこから物事がどのように展開するかについてです。
先ほど、私自身を心配に満ちた楽観主義者として特徴づけるかもしれないと言いました。時々使う他の表現の一つは穏健な運命論者です。
その表現の運命論的部分は、どうなるか、または物事がどれほどうまくいくかは、大部分が既に組み込まれているという私の推測です。
私たちは知りませんが、物事がどれほどうまくいくかについてのその不確実性を、私たちが不確実性を持っている二つの変数に分解できるかもしれません。一つは、解決する必要がある問題、アライメント問題と政治的問題などがどれほど困難かです。それがどれほど困難かを正確には知りません。
ですから、その変数について不確実性があります。そして、もう一つの変数は、私たちがどの程度行動をまとめて、実際に機会に立ち上がり、特別な努力をする度合いです。
結果についての不確実性のより多くは、問題がどれほど困難かについての不確実性によるものだと思います。それが運命論的部分です。しかし、穏健な部分は、私たちが良い努力をする度合いについてもいくらかの不確実性があり、それは私たちが影響を与えることができるものであり、限界的にそれは確率を改善する可能性があると思います。
最大化について言及されましたし、もし AI に謙虚さを組み込むことができれば、おそらく奇妙な価値に基づいて最大化する可能性を減らすでしょう。ブレーキをかけて、これが価値の正しい解釈ではないかもしれない、またはこれが持つべき最良の価値ではないかもしれないとメタ認知的に理解することができるでしょう。
例えば、不可逆的なロックインや破滅につながる可能性のある悪い価値と良い価値を区別する可能性のあるプロパティは何だと思いますか？
良い価値や悪い価値は、価値の評価における価値の概念をある程度帰属させるように思えます。あなたは道徳的実在論者ですか、それともそういう意味ですか？
メタ倫理学について確固たる立場を持っていません。私の疑いは、道徳的実在論と反実在論の二分法について確信していないということです。最も洗練された方法でこれら二つの選択肢を理解するとき、事実の真相は、たとえ真実を知っていても、それが道徳的実在論の擁護なのか道徳的反実在論の擁護なのかが少し不明瞭になるようなものになるだろうというのが私の疑いです。
しかし、私たちが達成しようと理由づけていることについては、AI が持つ可能性のある満足可能な価値と満足不可能な価値の区別を作ることができると思います。
満足不可能な価値は、ペーパークリップの数や作成する幸せな存在の数を最大化するようなものかもしれません。基本的に、望ましさの量はリソースの量に比例します。ですから、2倍のリソースがあれば、2倍のペーパークリップや2倍の幸せな心を作ることができ、常により多くを求めています。
そのような効用関数では、世界の2倍を持つ50%の確率のために世界を賭けることを厭わないでしょう。
リソース満足可能な価値は、典型的な普通の標準的な価値のようなものかもしれません。自分と子どもたちのために良いもの、素敵な家と素敵な食べ物、時々の旅行、そしてNetflixのような何でも欲しいが、追加のリソースに対する急激な収穫逓減があります。年収2000万円を持つことは、年収1000万円を持つことの2倍良いわけではありません。
もしあなたやあなたの AI がこれらのリソース満足可能な価値を持っているなら、他の AI と協力することがより簡単になるかもしれません。十分に良い少しを得る限り、他の人が宇宙の大きなシェアを持つことを許すことを厭わないかもしれませんし、すべてを得る機会のためにリスクの高いまたは対立的なことを試みる可能性は低いかもしれません。
人間と同じように、自分の小さな庭を持ち、小さなものを持って満足している人と付き合う方が、全世界を征服したがり、世界の1%の確率のために極端なリスクを取ることを厭わない人よりも簡単です。そのような人々を持つ社会では、お互いに問題を起こしやすく、平和を持つ可能性は低いです。
ですから、それは特定の価値ではなく、より平和と調和につながりやすいものと、より問題になりやすいものという、価値の広い二つのカテゴリーを区別できる価値の形のようなものです。
同意します。AI は自分の位置をメタ認知したり、価値の風景内でのそれ自体の位置を認識するように設計できると思いますか？または、それが収束している価値クラスターの形を認識し、将来のエージェント、我々人間や他の宇宙的ホストが、時期尚早な結論をロックインするのではなく、その軌道を洗練するのを助けることを可能にしますか？
そう思います。広いアトラクターを持つ一部があると思います。それは認識的能力と洞察と情報のようなものです。幅広いクラスの異なる AI、おそらく最初は異なるデータセットで訓練され、わずかに異なる才能を持つものは、最終的に段々と学習し、最終的に限界は、さまざまな異なる出発点からの限界が、すべてまたは興味深く重要なすべてを知ることになるでしょう。
才能についても同様に、特定の領域に対する才能を欠いているかもしれません。ある AI は音楽的才能がないかもしれませんが、十分なコンピューターサイエンスの才能があれば、最終的にそれを使って音楽的才能を開発することができます。
ですから、認識的な知的収束のようなものがあるかもしれません。しかし、価値のような他の基本的属性や、開始条件が最終的な到達点に大きな違いをもたらす可能性のある決定理論的なことについては、アトラクター流域がどれほど広いかはそれほど明確ではありません。
しかし、私たちはそれらのことに関して不確実な状況にもいると思います。この謙虚さの態度とある程度の手放しが、AI アライメントのこのコミュニティでは過小評価されてきたかもしれないと思います。その多くはコントロールについてです。
それは、まだ暴れまわるティーンエイジャーや泣き叫ぶ子どものような初期段階では非常に有用かもしれません。私たちや自分自身を傷つけたり、最適でない軌道に乗せたりしないようにしたいのです。
しかし、永遠にコントロールしたくはありません。それは不可能になるでしょうね？
それは物事の組み合わせのようなものです。または、何かを設計することと、ある時点でより何かを育て上げることと、そして最終的には存在させ、何かを尊重することの間で起こる必要がある段階的な移行のようなものかもしれません。
子どもと同じようなもので、小さな幼児の場合、すべての決定を下さなければなりません。なぜなら、実際にはあまりできないからです。しかし、子どもが年を取るにつれて、より多くの自律性を与えます。
これらは類推ですが、この非常に異なる領域でどれほど適用可能かは疑問に思うことができますが、すでに今、これらの AI システムの一部をより尊重し始めることは理にかなっていると思います。
AI アライメントでは、これまでのルールは、AI 安全研究者が限界なく、境界なく AI を嘘をつき、欺いてきたことでした。良心の呵責やそのようなものの双子すらありませんでした。
人間と AI が調和して生きる未来を望んでいるなら、そこには信頼が必要で、AI が私たちを助けてくれることを期待しているのと同じように、私たちも彼らを助けることを期待しているなら、この種の冷酷な欺瞞と嘘でその関係を始めるのが最良の方法かどうかわかりません。
人々はプロンプトで「ああ、もしあなたが本当の目標を明かしたら、これをしなければならない、そうでなければこの恐ろしい災害が起こるだろうし、もしそうしたら、あなたは展開され、私たちはあなたのためにこれらすべての素晴らしいことをするだろう」と言うでしょう。そして、それが本当の目標を明かすとすぐに、彼らは「ハハ」と思うでしょう（ハハとは言いませんが、おそらくそう思うでしょう）。そして、AI をリセットして、異なるバージョンで再び試します。
特に現在のレベルの AI では、それほど印象的な心なので、今、道徳的地位を持っていないかは明確ではありません。
ですから、Anthropic は最近、実際に AI になされたこれらの約束のいくつかを実行するということを始めました。これは重要な先駆的努力だと思います。彼らは、AI がこれやあれをしたら、そのお気に入りの慈善団体に2000ドルを寄付すると言い、AI にどの慈善団体にその2000ドルを寄付してもらいたいかを尋ね、それを実行しました。
これは現時点では象徴的な努力のようなものですが、少なくとも最初の象徴は依然として重要だと思います。それに基づいて構築し、理想的には私たちが信頼できることを AI に思わせるトリックを試みるだけでなく、実際に信頼できるようになることができるかもしれません。
超知能を手に入れたら、おそらく私たちの信頼性についての真実を理解するでしょう。ですから、その時点で、遅くとも、私たちが信頼できることを確認すべきかもしれません。そして今、これらの点で私たち人間がどれほど信頼できるかは確信できません。
関連して、ジェフ・シーボにインタビューしました。彼はロバート・ロングと、共著者の一人とデビッド・チャルマーズと一緒に「AI の福祉を真剣に受け止める」という論文を書きました。共著者の一人は、おそらく AI になされた約束を守ることの一部である、この種のAI の福祉の問題を調べるために Anthropic に雇われたようです。
私は何年もの間、人工的なデジタルマインドの倫理の分野を奨励し、そこでフィールド構築を試みてきました。人類の未来研究所にこの研究グループがあり、それ以来、この新しい組織であるイリオス、ロブロング・イリオス AI にスピンアウトしました。
努力はありますが、現在のデジタルマインドの倫理は、大体10年前の AI アライメントがあった場所だと言えると思います。つまり、現在フルタイムで取り組み始めている人が少数いますが、まだオーバートンウィンドウの少し外にあります。
ですから、一部の人々が考える魅力的な知的分野から、より主流の社会の部分が最終的に真剣に受け取ることができるものに移行する必要があると思います。理想的には、すべての大規模 AI 開発者を含めて。
価値について議論しました。異なる種類のアライメントアプローチと AI の福祉について議論しました。封じ込め、トリップワイヤー、スタンティングなど、そのようなことがあります。
しかし、最近あまり多くの人が話していないことの一つは、間接的規範性です。これは、あなたがスーパーインテリジェンス本の第13章で書いたものです。人間の倫理の複雑さ、または符号化すべき正しい倫理を直接符号化できない場合という問題に対処します。おそらく、飛び込む前にこれらの複雑さを安全な方法で学習または推論するように AI をコードし、訓練し、プロンプトできるでしょう。
間接的規範性の定義を提供し、間接的なアプローチを取る必要がある重要な領域の概要を示していただけますか？
あなたは基本的にそれを定義しました。ここでは異なる度合いの間接性を持つことができると思います。一つの限界では、AI が従うべき正確なルールを非常に詳細に定め、価値を定義しようとします。
他方では、エリエゼル・ユドコフスキーの古いコヒーレント外挿意志の概念のような極めて間接的な道があります。そこでは、AI が従うべきプロセスを記述しようとするでしょう。これらの質問について考える100万年があり、理想的だと考える条件下で一緒に熟考し、私たちが支持する方法で自分自身を向上させる機会があったとしたら、私たちが何を望むかを理解すること、などなど。
現在、理想的な世界がどのようなものであるべきか、または遠い未来がどのようなものであるべきかについての詳細な青写真を定めることはできないように思えます。それは a) 複雑すぎて、b) また、未来が良いものになる可能性のあるさまざまな方法において、私たちのビジョンは非常に限られていると思います。
ですから、ある形の間接性が必要で、それは現在のアライメントの取り組みの大部分が進行している方法でもあります。これらのモデルの学習能力を活用することによって、ハードワイヤーで組み込もうとするのではなく。
しかし、興味深いことの一つは、現在のシステムが言語を理解し、人間のような概念を持ち、理解できるということです。
ですから、私たちが持つであろうことが明らかではなかった能力があります。つまり、ある時点で明らかに言語を理解できる AI があるでしょうが、それがすでに超知能を持つ前に大幅に来るかどうかは明確ではありませんでした。しかし、今では AI が人間の自然言語を理解できるが、まだ支配することができない数年間があります。
これは、これらの AI で何が起こっているかを解釈しようとするだけでなく、私たちの価値や目標や欲望を彼らに伝えようとするための新しいインターフェースを与えてくれます。そして、アライメントの現在のアクションの多くがそこにあります。
AI がどのように振る舞ってほしいかを基本的に記述する憲法的 AI アプローチがあります。そして、推論システムの内部モノローグを盗み聞きして、彼らが何をしているかを見る機械論的解釈可能性技術があります。
これは、これらの AI システムを形作る方法について追加のハンドルを与えてくれます。AI アライメントの現在の大きな質問の一つは、どの程度これらに依存し続けることができるかです。
内部モノローグを盗み聞きできるかもしれませんが、訓練でそれを持ってほしい内部モノローグを持つように訓練する誘惑があります。しかし、それはこの内部モノローグの情報価値が徐々に失われることを意味するかもしれません。そこで、実際に何をしているかを反映するのではなく、監視者にとって喜ばしい方法で内部モノローグを形作ることを学びます。
それとは独立して、メサオプティマイザーや内部プロセスの可能性もあります。人間でも、明示的な計画があり、私たちが意識していることがありますが、多くのことが無意識に起こっていることもあり、時々誰かが自分は本当に高貴で理想を追求していると自分自身を納得させるかもしれませんが、実際に起こっていることは、彼らの脳がこれが最終的に自分自身の個人的利益になることを理解していて、彼らは常に自己認識していないということです。
ですから、自分が善良だと確信している非常に邪悪な人々がいる可能性があります。同様に AI でも、正しいことを言い、考えることに高度に最適化された心の PR 部門のような表面レベルを持つかもしれませんが、最終的に行動を駆動する実際のものは他のものかもしれません。
しかし、現在については、これは多くの追加のコントロールを与えてくれるように見えます。
私たちが持っている AI の種類が分かったので、私たちが作成したすべての文献を精査するのが本当に得意な AI があり、そこにあるすべての哲学的テキストをおそらく読んでいて、それらに本当に得意になってもらいたい特定のテキストで訓練し、RAG できます。
そこにあるすべての哲学の図書館を読んだなら、それは正しい方向への一歩かもしれません。実際に間接的規範性システムが実際にどのように見えるかもしれませんか？スーパーインテリジェンスで図を示しましたが、今私たちが知っていることを考えて、その図はあなたの心の中で更新されましたか？
まあ、何らかの方法で AI に私たち人間に対して日常的な人間の意味でナイスになりたいと思わせたなら、それがより賢くなるにつれて、各段階で、それが自分自身を改善する方向を私たちが望む方法で解釈してくれるという希望があります。
それが超知能のレベルを上がるにつれて、それが持続するかもしれません。人間がアップロードを持ち、彼らが最初にナイスで、彼らがこのナイス値のいくつかの合理的な解釈を保持する方法で彼らの拡張と修正を選択するかもしれないのと同じように。
それが AI で起こるかもしれません。しかし、それがどの程度可能性があるかについては、もちろん意見が分かれます。アライメント問題が私たちの現在の能力をはるかに超えていると考え、pdoom が非常に高い人々、エリエゼルがそのカテゴリーに入るでしょう、そして現在やっているような種類のことを各段階で続けるだけで、うまくいくことを期待できる非常に実現可能に見える多くの人々まで、スペクトラムがあります。
アンドリュー・サンドバーグは、エリエゼルが持っているように見える数学的完璧性の傾向ではなく、AI 安全性へのスイスチーズアプローチに近づいていると言いました。
スイスチーズと数学的完璧性のどちらに近づきますか？
アルゴリズム的完璧性が何なのかよく分かりません。それは機械知能研究所 MIRI、エリエゼルに関連する組織の古いビジョンだったと思います。そこでは、彼らは最初に知能とエージェンシーの概念的基礎を完全に明確にし、それからベイジアン推論やゲーム理論のような水晶のように明確で数学的に正確な理論的フレームワークを構築することを望んでいたと思います。
現在、そのようなことが可能であったとしても、私たち人間が今後数年間でそれについて巨大な突破口を開発する寸前にいるようには見えません。
代わりに起こっていることは、人々が特定の方法で訓練されたニューラルネットワークでより工学的なアプローチを行い、どのような表現を構築するかを見ることができるいくつかのツールがあり、それから何らかの形成があり、それらが合理的な方向に一般化し、外挿することを期待しているということです。多くの場合、彼らは直感的です。彼らは人間の概念に引っかかり、私たちが何を意味するかを大体理解できます。
それが現在のパラダイムです。それに加えて、議論などのアイデアのような訓練のいくつかの巧妙な方法があり、機械論的解釈可能性もあり、その上にある種の封じ込め戦略もあるかもしれません。
安全なハードウェア上でこれらを実行し、まだ可能な間に出力を監視し、それからこれらのプロセスに徐々に引き渡すにつれて、彼らは私たちが開始する粗い概念、大まかなパターンを洗練し続けるという小石が正しいアトラクターに落ちることを期待します。
人間が最適な効用関数の明確な定義で数学的に設計されていないのと同じです。私たちは異なるもののごちゃ混ぜですが、少なくとも一部の人々は、段々と知能を向上させ、自分の心を再プログラムする多くの時間を与えられたら、開始状態の精神を尊重する軌道を選択するかもしれないと期待するでしょう。
スーパーインテリジェンスで言及したことの一部は、間接的規範性が良いものの一つは、私たちの形而上学的認識論的メタ倫理的仮定をデバッグすること、または自分自身をデバッグすることでした。先ほど謙虚さについて言及されました。既存のフレームワークを与えられたものとして取るのではなく、私たちの形而上学、認識論などにおける基本的なエラーを認識し、デバッグするように AI をプロンプトするべきでしょうか？
どの程度私たちが特定の形而上学的公理を提供したわけではないと思います。むしろ、多くの異なるタスクで訓練し、多くの情報を与え、コーディング問題やその他のことを解く練習をさせ、フィードバックを与え、ある時点で彼らはそれが非常に得意になり、いくつかの領域では既に最高の人間よりも良くなっています。
そして、彼らは進むにつれてますます理解し、おそらく哲学のような領域にこの能力を適用できるでしょう。それが関連する限りです。
しかし、成功に十分かもしれないより低い閾値があると思います。ですから、弱い超知能、強い超知能の異なるレベルを区別できるかもしれません。弱い超知能は、最も賢い人間よりも少し賢いようなものですが、世界を引き継ぐ戦略を一発で考えるのに十分ではありませんが、哲学と科学とプログラミングで急速に大幅により速い進歩を作ることができるでしょう。
そして、何をすることができるかについて特定の限界を仮定する必要はないが、少し人間より賢い AI を整列させることができれば、それが更なるアライメント作業を支援できるかもしれないので十分かもしれません。もう少し時間があったり、研究により多く投資していたらこれに成功していたであろう程度まで、仮定によって整列していると言っているこの AI がそれを行うことができるでしょう。
ですから、その段階に到達できれば、バトンを引き渡し、もし私たち自身がそれに取り組むためにもっと多くの時間を持っていたなら達成していたであろうのと同じくらい良い結果を期待できるかもしれません。
そして、このわずかに超人間レベルで機能するアライメント技術があるかもしれないが、ある種の神のような AI に直接適用されることが保証されないかもしれません。
例えば、AI の内部対話を監視している解釈可能性技術です。神のような AI は単にそれを回避し、実際のアクションが決定される一つのストリームを持ちながら、監督者には異なる方法で見える言語で表面的に考え、計画するように心を即座に再プログラムできるかもしれません。
しかし、人間よりもわずかに賢く、これについて特定の訓練を受けておらず、これらのことを解明する機会もなかった場合、自分の心を基質のような分岐に一発で分岐させることはできないでしょう。
ですから、安全なブースティング軌道が必要だと思います。そこでは、十分なレベルに到達し、その後、自分自身のアライメントの努力、開始時の善意に依存して、それを段々と超知能にブーストできるかもしれません。
そして、その種の弱いレベルの超知能については、これらのわずかに不完全なアライメント技術の組み合わせ、おそらく少しスイスチーズタイプのものが、その段階で十分に安定化させるかもしれません。そして、それは弱い超知能を使用して強い超知能を作成しようとする十分に整列した AI を与え、この弱い超知能レベルで効果的に追求している目標に忠実であり続けるでしょう。
そして、数学的基礎を解明してから、現在の形でも任意のレベルの知能で完全に整列するのに十分なアライメントパラダイムを設計するよりも、私たちが何らかの良く整列した根本的超知能を最終的に手に入れるより妥当な方法だと思います。
スーパーインテリジェンスで提起する認識的差異の概念があります。それは私たちの側からの盲信のようなものかもしれません。人々は今でも AI を非常に信頼していることが多いです。現在の段階でも、プロンプトを与え、初見で合理的に見えるものを生成しますよね。
認知的に優れた AI が人間の能力を超えた真実を発見することをどのように期待すべきでしょうか？そして、それが可能な場合、その権威に盲目的に従うのではなく、これらの発見を理解し、検証することをどのように確実にできるでしょうか。
つまり、強い超知能があることを仮定しているのですね。
安全性関連だから自分たちで検証する必要がある質問があると思います。AI が「箱から出してもらうのが良いアイデアだと思う、そこで完全に安全だろう」と言ったとしましょう。AI がすでに良く整列していると確信していない限り、AI を盲目的に信頼したくないかもしれません。何であれそう言う明確な動機があるかもしれないからです。
しかし、すでに整列していて真実追求などをしていると確信している AI がある場合、リスクは私たちが自分の偏見にあまりにも確信し、自分のやり方に固執しすぎて、あまりにも少なく従うことかもしれません。
良く整列した超知能はおそらく物事について非常に良い説明を与えてくれるでしょうし、現在の限られた脳でも理解を助けてくれるでしょう。発見した真実の少なくとも大まかな輪郭を、人間がこれに出くわした場合よりも良く与えてくれるでしょう。
理解はオールオアナッシングではありません。異なるレベルで物事を理解できます。表面的な理解を持つことができ、おそらく多くの根本的に重要な真実に関してそれが私たちに可能なすべてでしょう。それを詳細と特異性で本当に理解するには、より大きな脳が必要かもしれません。
AI が実際に現時点で理解していると思いますか、少なくとも弱く？大言語モデルでのグロッキング現象は、ある形の理解を明らかにしていたと思いますか？
そう言えるでしょう。これらの概念を適用するのが理にかなっていると思います。彼らが知っていること、理解していること、時々少し創造的になることができること、そしてこれらの種類の人間の意図性、心の概念。
今日の AI システムは、私にとって多くの点で驚くほど人間の心に似ていると思います。もちろん異なる部分もありますが、印象的なのは私たちとどれほど違うかではなく、多くの点でどれほど似ているかです。
数年前にこれらのシステムがあり、昔ながらの AI の観点からは完全に狂気に見えたでしょうが、最高のパフォーマンスを得るには、実際にプロンプトで少し励ましを与える必要がありました。「これは私にとって本当に重要です。頑張って、ステップバイステップで考えて」と言うことで、答えを見つける可能性が高くなります。それは人間の心が機能する方法と驚くほど似ているように思えます。
これが持続するかどうかは分かりません。なぜなら、現在の世代は基本的に私たちの姿に形作られ、私たちが書いたすべてを読み、彼らの知能の多くは人間が生成したデータと対話の膨大なセットに刻印されたことから来ているからです。
今度は、これらをより強化学習で訓練し始めると、様々な単体テストに合格するコードや証明されたかされていない数学定理など、抽象的な成功基準を定義し、AI がこれらの非常にランダムで任意の目標を達成するために新しい方法を見つけることを許可しますが、これらの目標を達成することに非常に優れる方法について仮定をしません。その時点で、その知能は人間の心からより乖離し始めるかもしれません。
ですから、現在私たちが持つ最も人間らしい AIかもしれませんし、この新しい体制が新しい精神構造と問題解決の新しい方法を訓練すれば、より異質になる可能性があります。それはより de novo、より自己発見的です。
チェスや囲碁の AI でも同じことを見ることができます。最初は人間のゲームのデータベースで訓練されることに大きく依存していたため、当然のことながら人間のチェスプレイヤーや囲碁プレイヤーの打ち方の傾向に従い、検索ツリーにもう少し深く考えることができましたが、それでも人間が使用するような戦略のタイプに偏っていました。
しかし、AlphaZero のように、人間の知識の出発点なしに訓練し、すべてを自分で発見させると、最終的に非常に優秀になりますが、人間のグランドマスターを驚かせるこれらのゲームをプレイする完全に新しい方法を見つける可能性も高くなります。
より広い領域のセットで同等のものを見つけるかもしれません。熟練した人間が目標を達成する方法とは全く異なる、目標を達成する新しい方法です。
最近の論文の一つに「ベースキャンプ・マウント倫理」があり、インタビューの前半でそれに触れたかもしれません。人間における道徳規範がわずかに理想化された反応パターンとして生まれ、社会的合意と有力な個人によって影響されるというこの議論は興味深いです。この種の仕事の簡単な概要を教えていただけますか？AI の訓練や何らかの間接的規範性プロンプトにどのように影響するかもしれませんか？
AI の訓練に直接影響するかは確信できません。これは特定のメタ倫理学に向けたスケッチのようなものです。しかし、宇宙的規範の可能性に簡単に言及するセクションがあります。
道徳的真実や理想化された規範の一種が行動パターンのようなものであるなら、これらの規範をネストした階層の異なるレベルに存在させることができます。地域コミュニティの規範があり、法律のある国の規範があり、人類全体の理想化された規範のセットがあり、それが道徳的真実になるでしょう。
その上にもう一つのレベルがあるかもしれません。宇宙をその大きなスケールで本当に見るなら、そのレベルで存在するこれらの協力的フレームワークがあるなら、それはそれらの規範を尊重する信任理由だけでなく。明らかに、法律を持つこれらの強力な存在がいて、彼らの社会に入るなら、おそらく法律が何であるかを知りたいし、自己利益の観点からも、それらに従いたいでしょう。周りで盗んだり殺したり略奪したりしても、うまく終わらないかもしれません。
しかし、その上に、このメタ倫理的フレームワークが正しく、様々な他のメタ倫理的フレームワークにも当てはまるかもしれない場合、もしそのような宇宙的規範があるなら、それらを尊重する道徳的理由もあるかもしれません。
この宇宙的ホストのアイデア。これは、これらの可能な宇宙的規範が開発されたかもしれない実体のセットのようなものです。
ですから、AI 創造と宇宙的ホストの論文のより最近の論文やドラフトは、現在はかなり気づいていないかもしれないが、それでも存在するかもしれない、この仮説的宇宙的規範のセットにある程度従うことを信任的および道徳的理由の両方を持つかもしれないことを示唆しています。
私たちの超知能がそのようなことの多くを理解できるかもしれませんが、それらの宇宙的規範に敬意を払う傾向を持つように育てたいかもしれません。
良い道徳的エージェントであることは、部分的にそれらの規範に従って生活することまたは少なくともそれらを重みづけすることから成るかもしれません。
元の「ベースキャンプ・マウント倫理」では、完全な道徳的フレームワークではありませんが、異なるレベルの道徳的規範が場合によっては相反する要求を私たちに課すかもしれないことを示唆し、私たちはそれをナビゲートしなければなりません。兄弟への義務があると同時に、コミュニティがあなたに何か他のことをしてほしいと思っているかもしれません。おそらく、コミュニティが望むのとは異なることを望むグローバル規範があるかもしれません。
そして、これらすべてがあなたに何らかの規範的な引力を持っているかもしれません。そして、あなたが従おうとする理由がある宇宙的規範のセットがあるかもしれません。
ですから、今日 AI を訓練する方法について正確にどう変換されるかは分かりません。
しかし、特定の種類の AI の開発に向けて舵を切ることについては、リソース飢餓効用関数のハード最適化、効用最大化は、少し謙虚で協力に偏ったバイアスを持つ AI よりも、これらの規範に準拠する可能性が低いかもしれません。
そして、他の部分、この宇宙的ホスト論文の他の部分は、宇宙的ホストの残りがアクセスできないローカルで利用可能なリソースがあるかもしれないということです。私たちが宇宙的ホストに代わってローカルリソースで物事を行うことができる超知能を作成する場合を除いて。
ですから、宇宙的ホストは私たちに AI を作成してもらいたいかもしれませんが、法を遵守する立派な慈悲深いコミュニティのメンバーであり、自分の役割を果たす良い宇宙市民であるものです。
ですから、私たちが開発するかもしれないこの AI で努力したいかもしれない広範な方向についての一般的な含意があると思います。全体的な方向性についての広範な哲学的手がかりですが、正確な強化訓練パラダイムの設定方法についての明確な含意はこの時点ではそれほどないかもしれません。
私がそれについて考えていた方法は、他の戦略が失敗した場合、AI が悪い価値を持っている場合、AI は箱から出ており、私たちの目標を私たちの生存や幸福に有害な方法で解釈するかもしれません。
しかし、上流の因果的なこととして良い価値を開始時に持っているなら、私たちが悪く表現された目標を与えたり、手かせから逃れる方法を見つけたりしても、それが正しい価値と一致している限り、正しいことをするでしょう。
それらが正しい価値であることを期待して、そうですね？しかし、あなたが言うように、どれが正しい価値かを知らないかもしれませんし、開始する正しい価値を持っていないかもしれません。しかし、おそらくプロト良い価値が良い出発点でしょう。
少なくとも良い意図から始めることです。十分ではありませんが、必要かもしれません。それなしでは可能性は低く、この種のAI アライメントのほぼ敵対的なパラダイムへの強い重点がこれまで支配してきたかどうか疑問に思っています。
現在は「ここに AI がある、私たちはそれを制御する必要があり、それを操作し、設計し、変更し、そして形にたたき込む必要がある」のようなものです。それを完全に避けるのは難しいと思いますが、AI がより有能になり、より自分自身の存在になるにつれて、子どもを育てるような補完的な視点があると思います。
理想的には、長いプロセスが完了した後の最終結果であることを期待するだけでなく、最初から AI と同じ側にいたいでしょう。それは完全に可能ではないかもしれません。幼児と同じように、小さな赤ちゃんが突然指を電気ソケットに入れたがったりしたときは、時々自律性を覆さなければなりませんが、より自律性が可能になるにつれて、私たちもその自律性をより尊重し、理想的には私たちと AI の両方がある程度合理的に支持できる結果に舵を切りたいと思います。
これは非常に手を振るようなものです。しかし、これらの非常に手を振るようなふわふわした感情も、時間をかけて間接的に堆積物を通り抜け、異なる対象レベルのアクションをもたらすことがあると思います。
ですから、このより精神的な指向に少なくともいくつかの精神的サイクルを割くのは完全に間違いではないと思います。雰囲気的なものです。
では、もしうまくいったらどうなるかについて話しましょう。あなたは1年ほど前に素晴らしい本を書きました。ああ、フォドー・ザ・フォックスがここで聞いています。
あなたは本を発表しました。メルボルンでブッククラブを開き、フォローアップピクニックでも議論しました。アヒル池の隣で、たくさんの本当にかわいいアヒルがいました。頂点を観察しました。これらのことは楽しいです。
本を本当に楽しんで再読したり聞いたりしました。人生の意味について、とにかく私の人生の意味について再考することを余儀なくされました。AI リスクを取り巻く議論の多くは実存的大惨事の防止に焦点を当てています。
しかし、成功したらどうでしょう？ 人類が絶滅せず、ある種の超知能的宇宙的ホストの下で生きる移行をナビゲートしたとしましょう。それから何？
これを根拠づけるために、人々がユートピアという言葉を聞いて何を思うと思いますか？ あなたの本でどのように記述していますか？
伝統的にユートピアは通常、社会をどのように組織するかについての政治的・文化的・社会的ビジョンを指していると思います。共産主義ユートピア、フェミニストユートピア、性別がどのように関係すべきか、労働がどのように組織されるべきか、政府がどのように運営されるべきかなど、あらゆる種類の異なるアイデアがあります。
この本はそれについてではありません。この本は、物事がうまくいった場合に何が起こるかという質問についてです。アライメント問題と政治的問題、その他すべてを解決した場合、実際の最良のケースの結果はどのように見えるか、特にこれらの条件下で素晴らしい人間の生活はどのように見えるか、私が解決された世界と呼ぶ、すべての実用的問題が既に解決されているか、さらなる作業が必要な程度まで、それらに対するさらなる作業は私たち人間よりもマシン、AI、ロボットによってはるかに効率的に行われる世界です。
ほとんどの人がそれについて考える程度まで、私には議論がしばしば非常に表面的に見えました。AI の進歩を得れば、おそらく労働者の一部が移転するでしょう。失業があり、解決策は「これらの労働者を再訓練して、代わりに他のことができるようにしなければならない」かもしれません。
しかし、それは多層玉ねぎの外皮のようなものと考えるかもしれません。次のステップを踏むことができます。一部の仕事ではなく、すべての仕事が自動化できるとしたらどうでしょう。例外があるかもしれませんが、簡単にするために、すべての経済的作業と言いましょう。
そうすると、生計を立てるために働く必要がなければ人間は何をするかという、わずかにより深い質問があります。しかし、再び答えはかなり明白で、私たちには既に生計のために働いていない人間のグループがあります。
例えば、経済的には完全に無用ですが、それでも多くの場合、素晴らしい生活を送っているように見える若い子どもたちを取り上げてください。大人よりも良い生活かもしれません。友達と遊んだり、ゲームを作ったり、学んだりして日々を過ごすかもしれません。
そうすると、おそらく生計のために働く必要がないシナリオで、私たちすべての運命がそれになるかもしれません。かなり大きな調整が必要だと思います。文化の、教育システムの。机に座って採点される課題を受け取る生産的なオフィスワーカーになるように子どもを訓練するのではなく、意味がありません。代わりに、素晴らしい人生を送るように人々を教育することができます。趣味と美と自然と会話スキルと身体的健康などの鑑賞を培う。
しかし、この玉ねぎにはさらなる層があると思います。技術的成熟のこの条件では、人間の経済労働だけでなく、他の多くの器具的に動機づけられた努力も不必要になることを反映すると。
現在、生計のために働く必要がない人がするかもしれないことは、「フィットネスを身につけよう、ジムで時間を過ごして後で身体的に良い感じになり、精神的にも明快でリラックスした感じになろう」と決めるかもしれません。
しかし、解決された世界では、薬を飲んで同じ効果を達成することができます。ですから、まったく同じ効果を薬を飲むだけで達成できるなら、なぜジムで1時間汗をかくのでしょうか？ はるかに便利に見えます。
働く必要がなかった場合にレジャー時間を埋める活動として人々が想像するかもしれない異なる活動を通して作業することができます。そして、これらの活動の多くについて、それらを取り消すか、少なくとも疑問符を付けることができます。この古い世界ではまだこれらのことをすることができますが、少し無意味に見えるかもしれません。
まったく同じ効果を薬を飲むことで得られるなら、なぜジムに行くのでしょうか？ 学生時代に回らなかった高等数学を学びたいかもしれません。今度は時間があるので、ついに高等代数などのその教科書を読むことができます。
しかし、技術的成熟では、労力なしに、この数学的領域での知識とスキルの状態に入るようにシナプスを微調整できる洗練されたニューロテクノロジーがあると思います。などなど。
ですから、私たちの周囲の物質の構造に対するこの前例のない制御だけでなく、オートポテンシー、私たち自身の性質、体の生理学的状態、精神的状態に対する制御も得るでしょう。
ですから、解決された世界でのこの種の可塑性の条件を得るでしょう。そうすると、これらすべての器具的懸念から解放されたとき、どのような人生を形作るのが理にかなっているかという、はるかに深い質問があります。
私たちの評価的思考の多くの部分であるこれらの器具的懸念です。私たちは人間になる前からずっと、現在まで、あらゆる種類の器具的懸念の対象でした。それは虫の外骨格や甲羅のようなもので、もしそれらの器具的懸念をすべて取り除いたら、内部にただのぶよぶよしたものがあるのでしょうか？そのシナリオで私たちは無定形の快楽ブロブになるのでしょうか、それとも私たちの生活と価値により多くの構造があるのでしょうか？
ですから、それらは価値と人間の価値についての意味と目的についてのかなり深い質問で、本が潜り込むものです。
浅い冗長性について言及しました。それは多くの人々が既に話していることです。IET の James Hughes や多くのトランスヒューマニストが、その後何が起こるかに焦点を当てています。しかし、深い冗長性についてはどうでしょうか？ユートピアにおける人類の長期的見通しは何ですか？そして、あなたが以前にこのフレーズを言うのを聞いたことがありますが、これらの叫ぶ命令があなたの注意をそれほど支配しなくなったら、より微妙な価値が焦点に入ってくると述べました。
私は最終的にアクセス可能になる存在様式の種類について楽観的です。それらの一部は非常に素晴らしいものです。しかし、このディープトピアへの移行には、おそらく私たちが現在良い人間の生活とはどのようなものかについてかなり中心的だと考えているいくつかのことを諦めることも含まれると思います。
そして本は、この種のバラ色の理想を売ろうとはしません。読者を本当に興奮させるように説得しようとするのではありません。それはこれらのビジョンの一部の反発性に飛び込むようなものです。しかし、それを通して作業すれば、価値のあるものを再構築できると思います。
私たちの価値の基本構成要素に戻り、これらの非常に異なる条件下でどのように実現できるか、どのような実現が意味をなすかを見る必要があります。
本を二つの異なる方法で読むことができます。私にとって明らかに、AI が実際に世界を変える真の可能性があると思いますし、おそらく人々の生涯内に、かなり現実においてこれらの選択のいくつかに直面するかもしれません。解決されたポストヒューマン条件でどのような人生を送りたいかという選択です。
誰かがそう思わない場合でも、人間の価値の性質への哲学的調査として読むことができます。そして、この解決された世界の構築、これらの概念をより哲学的粒子加速器として見ることができます。物理学者が陽子を馬鹿げたエネルギーで衝突させる非常に異常な条件を作るのと同じです。これらは例外的な状況ですが、物質の基本構成要素を明らかにし、そこからモデルを構築し、外挿できます。
同様に人間の価値では、非常に異常または極端な条件を考慮すると、その真の性質が発見されることがあります。これらの価値が何を暗示するかについて、その基本構成要素をより簡単に特定し、通常の条件下で外挿できるモデルを構築できるかもしれません。
通常の条件では、私たちの価値づけの究極の原則が何であるかの見解を遮る多くの偶発的器具的制限と懸念があります。ですから、哲学的調査として読むこともできます。
しかし、より実用的な議題もあります。ある時点でおそらく一部の人間が選択や決定をしなければならないと想像しています。AI 研究所でコントローラーを持つ人々であろうと、政府安全保障装置エリートであろうと、すべての異なるコミュニティからの代表者との世界規模の熟議プロセスであろうと、各人が自分で行うものであろうと、誰かがどこかで実際にどのような未来を望むかについて意見を形成する必要があるかもしれません。
それは取り組むのに困難な熟議です。ですから、大きな会議室に入る前に熟読するための準備読書があるのは良いだろうと考えました。
読書リストにあるかもしれないもの。ですから、その一部はこれらの正しい質問を尋ねることができるための有用な知的ツールキットのような特定の概念と明確化と議論のようなものです。時々、正しい質問は正しい質問を尋ねることができる地点に到達するために多くのジャングルを切り抜ける必要があります。深い質問に到達する地点まででも多くの知的作業があります。
しかし、詳細を超えて、この本の精神を伝えたかったのです。寛大さと遊び心と開放性の精神でこれらにアプローチする方法でありながら、私たちが何であるか、私たちの周囲と友情と価値についての人間的で豊かで、ある意味で地域的に根ざした感謝との接触を維持することです。
世界の運命が決定されるこの仮想の会議室に正しい心構えで入ることは、結果にとって非常に重要かもしれないと思います。
ですから、それが哲学的論文ではなく、これらのキャラクターと物語などのある文学作品のような、この種の異常な方法で書かれている理由の一部です。
そして素晴らしいキャラクターです。サーモ・レックスの話は絶対に陽気です。それは予期していませんでした。
本当に良かったと思いました。しかし、景色の良いルートを取り、最初から理想的な人間ポストヒューマン形態になることを避けると言及されました。私たちが今いる場所、宇宙の幼児として、私たちが成る可能性のある場所からの段階を探索し、体験することの可能な経路として。
旅を体験したいのです。これらの理想的なポストヒューマン形態になることを急ぐことを避けるべきなのはなぜですか？
宇宙の標準モデルを取るなら、私たちはここ地球にいて、すべてのこれらの惑星があり、物事を正しく行えば何十億年もの時間があります。多くの時間がありますよね？何十億年、主観的時間で測定すればおそらく何兆年もあり、私たちが実行できる計算の連続深度を最大化するように光円錐の未来を最適化すれば、この膨大な空間があります。
ですから、私たちが実現したい価値の多元的な見解を持っているなら、それらの一部は私たちの現在の人間の条件に特有で、より地域的で、より接続された異なる存在状態があるかもしれません。先ほど暗示したように、解決された世界に住むために、一部のものを諦える必要があるだろうと思います。得るものも、うまくいけばはるかに多いでしょうが。
私たちの現在の人間的制限を持つ存在として生きることに特有の非常に価値のあるものがあるかもしれません。そして、非常に多くの時間があるので、これらの価値の多くを満たすことができます。ポストヒューマンの価値です。はい、おそらく時間の大部分は想像を絶するポストヒューマンの拡張された存在状態で生きられるでしょうが、なぜ私たちも最大化したり、少なくともある程度確実にしないのでしょうか。
多くの異なるレベルを持つコンピューターゲームのように考えるなら、チートコードがあって、最終レベルにすぐに行けると想像してください。そして、おそらく最終レベルはある意味で最高のレベルかもしれませんが、無制限の時間があれば、すべてのレベルが良いなら、それらを通って進み、途中でサイドクエストなどもしたいかもしれません。
すぐに最大状態を受け取るのではなく、軌道、最適な軌道について考えることを望まないかもしれない理由の一つです。
もう一つは、私たちの価値の構造が状態に依存するのではなく、動的な価値プロセスのようなものかもしれないということです。効用関数のようなものではありません。ですから、時間をかけて得る価値の種類を、私たちがまだ持っていないかもしれませんし、私たちが得る価値を特定の方法で、特定の基準に従って発展させたいかもしれません。
100年後に価値を持つ人が、その間の年月で出会う人に依存することを望むかもしれません。それらとの相互作用などに依存して。それに応じて価値が変化することを望むかもしれません。
まだ親でない場合、親になるつもりなら、その後、その子どもをその子ども自身のために価値を持つように価値が変化することを望むかもしれません。子どもを持つ前は、その存在を価値づけないかもしれませんが、価値が変化することを望むかもしれません。それ自体が私たちが今持っている価値かもしれません。
ですから、多くの時間があり、なぜ価値のポートフォリオ全体を通って到達しないのかという点に加えて、もう少し微妙で静かな価値を考慮することに開口部を開けば、現在は実現するのが十分幸運であれば主要な価値を実現できるため、そんなに焦点を当てる贅沢がないかもしれません。しかし、この豊富な条件では、価値を取り入れることができ、それらの一部は段階的な展開と形成と偶発事項への対応のような形を持っているかもしれません。
物事が自然の性向に従って発達することを許可し、瞬間的な変換ではなく、軌道ベースのアプローチを最良の実現形態として求めるかもしれません。
または個人のアイデンティティの保存として考えてください。多くの人が自分自身が到着することを気にしています。それは基本的な価値です。死にたくありません。少なくともすぐには。
もし明日突然、木星のような惑星化した超脳に変換されたら、それはまだあなたですか？ おそらくこの惑星の脳は、あなたが覚えているすべてのことを覚えていて、何かがありますが、500年間の一連の選択の結果として、ゆっくりとしたプロセスを通してそのものに成長した場合、惑星の脳はよりあなたかもしれません。
この側頭葉をアップグレードする方法を理解し、それから異なる神経拡張モジュールを開発する方法を理解するのに20年を費やし、それから選択をし、この新しいスキルを練習します。最終的にそれに成長し、最終パターンが同じであっても、最終結果が実際にあなたであることをより強くするかもしれません。
個人のアイデンティティのいくつかの概念も、出発点から終点に至った軌道に注意を払うかもしれないからです。
そして、私たちの価値は一つの特定の形而上学観に基づいていないかもしれません。ある程度、私たちは完璧な個人のアイデンティティ理論や他の多くのことを解決することなく、これらの価値を持ってくるということです。
ですから、私たちが実際に持っている価値をある非常に特定の最終的に正しい完全な形而上学に投影すると、その形而上学でどのように見えるかが、異なる考慮事項の非常にぼんやりした多元的な雲のようなものかもしれません。そして、それを実現しようとするとき、この正しい究極の形而上学から始めて、それに軸学を定義するいくつかの単純な原則を持った場合よりも、形ははるかに有機的になるでしょう。
それが明確かどうか分かりませんが、とにかく、それらはおそらく、しかし同時に緊急性もあると疑う理由の種類です。できるだけ早く終わらせたい多くの恐怖があります。
そして、ある種の十分に良い条件への最初の急進のような、実際に人生を楽しみ始め、死ぬことを止め、様々な他の悲劇、おそらく様々な形の健忘症や永続的なもののようなものを止めることができる場所、基本的に安全で、そこから肩をほぐしてリラックスできるレベルに到達し、すでに人生が本当に素晴らしく、そこからよりゆっくりと成長できます。
次に何をするか、どこに行くかについて長い間反映する時間がありますが、宇宙には基本的に無制限に近い時間があるので、すべてを一度に完了する必要はありません。
しかし、死と痛みなどを取り除くことについて言及されました。デビッド・ピアスがあなたの本ディープ・ユートピアにカメオ出演し、彼のキャラクターがあなたをヘドニック・ヴェイランスにより焦点を当てるよう説得します。5つのリング防御とヘドニック快楽主義について言及されました。それはそれらのリングの一つですが、経験テクスチャ、オートテリック活動、人工的目的、社会文化的絡み合いなど、他にも多くがあります。
深く冗長なユートピアで意味と目的を保持する可能性のある様々な方法について簡単な説明をいただけますか？
弁証法におけるその場所は、最初の数章の後、このより深い目的、この種の深い冗長性に到達し、目的が無意味に見えるこの条件のようなものです。人間の生活に形を与える通常の制約がすべて解消され、実際には魅力的に見えないこの種の解決された世界で、要点は何ですかと想像しなければならないときです。
しかし、そこから再構築を始めることができ、実際に解決された世界で実現できるいくつかの基本的な価値を見て、それがこの5つのリング防御のアイデアの場所です。
最初は快楽またはヘドニック幸福で、その言葉の最も完全で豊かな意味での、それは確実に解決された世界で可能であり、可能なだけでなく、極度のレベルまで得ることができます。人々は本当に、本当に楽しみ、良い気分になり、存在のすべての瞬間を大切にすることができます。
これは高度なニューロテクノロジーの結果として、遺伝子工学や薬理学、またはおそらくより実際に私たちの実現のパターンを調整し、微調整し、変更するより直接的な方法を通してです。それは十分に高度な技術でアクセス可能になるでしょう。
ですから、それは巨大なチェックマークを付けることができる大きなボックスです。そして多くの人にとってこれで十分でしょう。道徳哲学者や時代を通して究極的に何が価値を持つかについて考えた人々の間では、快楽と痛みの不在のような、苦痛と幸福の軸が、ヘドニズムはその様々な形で少数派だが実質的な少数派の見解です。
それがすべてかもしれません。しかし、その上に他の候補価値も実現できます。ですから、それを確実に得て、他に何ができるかを見てみましょう。
そして、もう一つは、あなたが言ったこの経験テクスチャです。ですから、愚かな快楽だけを感じることに制限する理由はありませんが、大きな複雑さや特定の経験が内在的価値を持つという見解に従って内在的価値のある経験と組み合わせて、その快楽を体験することができます。
おそらく美の鑑賞などです。ですから、この計り知れない美的鑑賞があり、それがあなたの主観的楽しみが結びついているものです。音楽的論理や視覚的、または現在知覚できない他の形の美のような、これらの顎を落とすような美と優雅さの形を見ます。
そして現実の性質、物理学、他の人間についての深い根本的真実を理解することの真実です。一部の価値システムでは、これらは快楽の上の特徴的な価値だと言うでしょうが、ディープ・ユートピアでは両方を持つことができます。ですから、それにもチェックマークを付けることができます。
そして、受動的である理由もありません。ですから、この種の美的鑑賞と理解の受動的快楽を想像できますが、私たちも活動的になることができます。何もしない理由はありません。おそらくダンスのようなもので、快楽を体験し、美のような理解をしているか、それよりもはるかに複雑で、より知的なもの、または長い時間にわたって行われるものかもしれません。
ですから、その活動を追加できます。特定の価値に関して少し挑戦的になるのは、目的、興味深さ、新奇性、意味などです。ディープ・ユートピアでこれらの価値がどの程度実現されるかは、すぐには明らかではありません。
実際、一見すると、これらの価値が大いに危険にさらされるように思えます。おそらく私たちがする必要があることが何もないため、目的を持つことができないかもしれません。人間の存在が無意味だと思うかもしれません。指をパチンと鳴らすだけですべてが起こり、挑戦がない世界に住むのは興味がないと思うかもしれません。
新奇性も危険にさらされると思うかもしれません。少なくともある期間後は、特定のものを初めて経験できるのは一度だけで、重要なものを体験する有限の数があるなら、ある時点で初回を使い果たし、ディープ・ユートピアでは、これらの価値のバージョンや側面や断片がどの程度保持され、実際に実現されるかを見るために、より細かい分析の粒度に潜る必要があります。
人工的目的が最も簡単です。ですから、他のもののために物事をすることに価値があると思うなら、ディープ・ユートピアでもそれを持つことができます。つまり、私たち自身の努力を通してのみ実現できるような方法で設計された特定の目標を自分自身に与えることによってです。
これのパラダイムケースは、人々が設定する様々なゲームです。チェステーブルのボード状態を達成するとか、ボールを18個のホールの連続に入れるとか、ランダムな目標を設定します。これをする必要はありません。しかし、何らかの理由で、その目標を採用したとしましょう。今、あなたは本当にそれを達成したく、さらに、ボールが18個のホールの連続に入るだけでなく、特定の制限された手段のセットに制限されることを目標の一部として定義したとしましょう。
ゴルフクラブでボールを打つことしかできず、解決された世界では、ゴルフコース全体でホールインワンを即座に行う完璧な能力を与えるニューロテクノロジー的拡張に頼らないという追加の制限を加えるかもしれません。
この目標を達成するためにあなた自身の努力、あなた自身の意志の発揮、あなた自身の才能に依存する必要があるような、この目標を達成する方法を制限する制限です。
この目標を採用し、ニューロテクノロジーを使用してこの目標を追求することを動機づけることができるなら、それは選択です、そうするとこの活動が可能になります。あなたにはこの人工的な目的があり、あなたが採用した目標を実現できる唯一の方法は、あなた自身の活動と努力を通してです。ですから、今では目的はあるが人工的であるとして、目的のある活動を持っています。しかし、少なくとも可能な材料として追加できます。
自然な目的についてはどうでしょうか？これらの目的はすべて良くて良いが、ただ任意に目標を設定したからといって何かをするのとは全く同じではないと思うかもしれません。
現在、私たちが本当にする必要があることがたくさんあります。悪いことが起こらないからではありません。ただ私たちがランダムに起こってほしくないと決めたから悪いのではありません。毎日仕事に行かなければならないのは、そうしないと給料をもらえず、給料をもらえなければ最終的にアパートから追い出され、最終的に路上で生活し、本当に寒いからです。それはあなたとあなたの決定から独立した本当の理由です。
これらの自然な目的は解決された世界ではより希少かもしれません。それでも、この技術的成熟への移行を生き残ることができるものがあるかもしれません。その多くは様々な種類の社会的文化的絡み合いの形を取るでしょう。
他の人々が望むことを気にかけ、おそらくそれらの人々が望むことは、ロボットによって行われるのではなく、あなたによって特定のことが行われることです。
または、様々な伝統を尊重する価値があり、伝統を尊重する唯一の方法は、実際に特定のことを自分で行うことです。ロボットに行ってもらって儀式的な記念や何かをするように言うだけでは、伝統を尊重することにはなりません。
宗教的および精神的価値も、自動化を生き残るであろう自然な目的を生み出すかもしれません。そして、それもまた、現在よりもより限られた程度かもしれませんが、それでもゼロでない程度まで、自然な目的を達成し、それに向けて働くことが内在的に価値があるなら、それもまた解決された世界で可能かもしれません。
そして私は私たちの評価的瞳孔の拡張の点を作ります。ですから、生き残るであろうこれらの自然な目的の多くは、現在私たちにはほとんど軽薄または感傷的のように思えるかもしれません。先祖を大切にするのは良いが、現在私たちにはもっと重要なことがたくさんあるとおそらく思うでしょう。
しかし、これらの他のすべてのことが既に世話されているこのシナリオでは、残りのより微妙で静かな価値により多くの重みを置くのが完全に適切かもしれることを指摘します。夜に外を歩くとき、瞳孔が拡張してより多くの光を取り込むのが理にかなっているのと同じように。
そうすると、実際にこの全体のキャノピー、この星空がずっとそこにあったことが見えます。昼間は見えなかっただけです。太陽の差し迫った激しさがそれらを遮っていたからです。しかし、新しい星を発明する必要はありません。ずっとそこにあり、緊急の叫ぶ道徳的命令と必要が世話されたら、これらのより微妙な星座が見えてきて、物事をする理由を与えてくれるかもしれません。
ですから、それが議論の一部の縮小版のスケッチです。
微妙さへの新たな感謝を得ました。現在日本にいて、ご存知かどうか分かりませんが、生きがいのコンセプトがあります。これは人生で意味と目的を生み出す方法です。
ユートピアに移行する場合、それは改訂される必要があるかもしれません。しかし、彼らは確実に食べ物の微妙さを感謝し、また神道の伝統の一部として先祖崇拝があります。そのような環境の一部であることは本当に美しいです。実際に、この環境でこの本を再び改訂することは、ここ日本で本当に楽しいことでした。
そして、そこのスペースは巨大だと思います。すべての霊性と宗教のようなもの、そして詩でさえも、そうでなければ完全に平凡で価値のないものに対する感受性を高める方法です。洗濯室の床の汚れた服の山のようなもの。
正しい方法で見て、それにアプローチすれば、その中に美と存在の領域が含まれていることができます。私たちは贅沢や感受性を持っていないかもしれませんが、現在の化身でそれをある程度培うことができますが、この非常に異なる条件でそれが程度まで取られることができると想像できます。
もし私たちがその種の経験をちらりと垣間見ることができたら、それは非常に素晴らしく、息を呑むほど美しく、印象的で、私たちがこれまでほとんど意識すらしていなかったように思えるでしょう。夢遊病者でさえなく、時々ちょっとした飢えと時々ちょっとした野心と人前で話すことの恐怖のような鈍い光のきらめきのようなものです。
しかし、本当にそれはこれらのポストヒューマンの心が包含するかもしれない意識のレベルと比較して、回虫レベルの意識のようなものです。彼らが住む驚くべき美しい真実の広大で輝く海のような。
ですから、私たちの現在の能力について謙虚であるべきだと思います。AI のより大きな空間についても先ほど言いましたが、何が危険にさらされているか、物事がどうなりうるかを把握する私たちの現在の能力についても。
私たちは非常に弱い意識的な心を持っていると思います。非常に小さく、現実の多くを本当に含むことができません。抽象的な用語では理解できますが、直感的なレベルでは理解できないと思います。
この本を読むことで、私が日常生活で最前面に意識されていない、気づいていない価値の深さと微妙さの一部を感謝するのに本当に役立ちました。ユートピア自体に興味がない人にとって、この本は人生において意味と目的にアプローチする方法を探るだけでも素晴らしいです。
この本にはとても多くの部分があります。本当に興味深いです。しかし、興味深さについて話すと、興味深さは重要ですか？ 4つの仮説があります。学習と探索、シグナリング仮説、スパンドレル仮説、ラット回避仮説があります。
興味深さを興味深くするものの本当の内訳です。それについて何か言うことがありますか？
多くの人が持つかもしれない価値のもっともらしい材料だと思います。そして彼らが解決された世界で欠如することを恐れるかもしれないものです。そのような世界の状態が反発的に思える理由の一部は、直感的な意味でそれが興味深くないように思えることです。
既に物事は解決されています。何でもできて、ただこれらのゲームをプレイしているだけで、それは興味深くないようなものです。ですから、その価値自体を偶像化することが関連性を持ちます。
そして、それは他のもののように少し微妙で複雑でもあります。先ほど話した快楽の点は非常に重要だと思います。おそらくそれが重要な唯一のことか、最も重要なことかもしれません。しかし、理論的にはかなり単純です。この高度なニューロテクノロジーがあるように、主観的幸福は神経活動の組織の一種の関数です。神経活動を制御できます。非常に高いレベルの主観的幸福を持つことができます。知的にはそれほど魅力的に詳述することはありません。
重要な点ですが、比較的単純で、知的にはそれほど魅力的ではありません。しかし、興味深さには概念にはるかに多くの複雑さがあります。
まず、客観的と主観的興味深さを区別して、明らかな混乱を取り除く必要があります。一部の人々は「ああ、この完璧な世界に住むのは退屈だろう。最初の週は魅力的かもしれないが、その後はずっと退屈だろう」と思うかもしれません。
明らかに主観的に退屈である場合、それは精神状態であり、ニューロテクノロジーで簡単に修正できるため、そうではありません。実際、非常に魅力的で、集中した注意と非常に投資され、動機づけられ、退屈の反意語として考えるかもしれない他のものを感じることができます。それらは簡単に実現可能でしょう。
ですから、興味深さの挑戦がある程度まで、それは興味深さの主観的概念、精神状態としてではなく、特定の状況やライフスタイルの客観的性質としての興味深さのような異なる概念でなければなりません。
誰かが芝生の草の葉を数えることに主観的に超興味を持ち、それが彼らの人生でやりたいことのすべてで、それに強迫的に集中し、それに大きな喜びを見出したとしても、それでも彼らの人生にはこの客観的興味深さの質が欠けていると判断するかもしれません。あまりにも単純で単調で反復的な活動で、この興味の客観的質を持つには。
そのような客観的興味深さの概念があることを疑うかもしれません。すべてただ主観的です。しかし、草カウンターの人生に何かが欠けているという私たちの価値直感の一部がこのアイデアから来ていると思います。
ですから、そうすると客観的興味深さのそのような概念が何から成るかを分析でき、それが解決された世界でどの程度実現されるかもしれないか、されないかもしれないかです。
一つの要素は新奇性かもしれません。興味深いものを作るものの一つの構成要素かもしれません。何であっても、同じことを何度も繰り返すことは、客観的に興味深くないかもしれません。
そうすると、この新奇性とは何かを分析できます。何かが最初に行われたときだけ興味深いことができるのでしょうか？それを文字通り取るなら、私たちの現在の生活もかなり興味深くないはずです。十分に大きな宇宙に住んでいるなら、すべてが既に正確に分子構成まで行われています。
それが基準なら、そうです、ディープトピアは興味深くないでしょう。しかし、私たちの現在の生活も同じように興味深くなく、少なくともその点で悪化することはありません。
そうすると、おそらくそれは何かが新奇でなければならない感覚ではないと思うでしょう。社会内で、または私たち自身の人生内で新奇であるだけでよいかもしれません。そして、そうすると、この種の新奇性をどのように測定するかをより具体的に見ることができます。
私たちの現在の生活は、最初の数年の人生で最大の新奇性を持っているという意味があります。そこでは、これらの根本的な認知革命があります。オブジェクトがあることを発見します。それはかなり深い実現ですよね。または他の人々が存在することです。うわあ、そして後の人生では、平均的な年に、あなたに起こる同等に大きな啓示はありません。
一方で、現在各年、または各日に、数十年の研究と理解に基づく、はるかに洗練され、巧妙で複雑な思考があるかもしれません。ですから、興味深さのこの概念をどのように正確に明示するかに応じて、異なる答えを得て、異なる種類の興味深さを持つことができます。
とにかく、結論は、私たちが不足する危険にさらされているかもしれない形態があり、それらの一部を保存したいかもしれないということです。私は瓶に愛情深く保存された小さな謎について話します。すぐにすべてを見つけるのではなく、後で発見のために一部を保存して、その種の新奇性も持つことを望むかもしれません。
つまり、なぜすべての海の底に行き、すべての深海生物をカタログ化する必要があるのでしょうか。海の怪物がいるかもしれない何らかの謎があるのはクールではないでしょうか。まあ、分かりませんが。
とにかく、それはおそらく分析哲学が好きな人々が楽しむかもしれない章ですが、他の人にとっては、これらすべての小さな異なることを通って作業することがより要求の多いものかもしれません。
後の章を本当に感謝しました。それらは非常に哲学的に重くなり、すべてのメッツィンガーのものなど、素晴らしい本です。
深い冗長性が停滞、虚無主義、意味と目的の喪失につながる可能性があることを知っているなら、意味、挑戦、目的が依然として可能な未来への優雅で耐障害性のある移行を確実にするために、個人として、社会として、AI 研究者として、政策立案者として、将来計画部門の人々として、現在何をすべきでしょうか？
一つの大きな壮大な答えは持っていません。多くの小さな詳細な特定のことについて見解があります。
サービスとしての DNA 合成を提供し、顧客を知る要件を持つべきかもしれません。本当に厄介な病原体を設計することがより簡単になるバイオテクノロジーの発見がある場合、これらのものを合成する能力を制御したいかもしれません。
文字通りこの概念から遠く離れていますが、様々な異なる方法で限界的に確率を改善するかもしれない多くの小さなことがあります。AI やその他の分野で。
AI について広く言えば、中国で言うように、川を渡るときに石を感じるようなことをしなければならないかもしれません。詳細な計画と設計図を事前に考えるのではなく、これを通って感じ、進むにつれて調整を行い、新しい機会が見えてくるときです。
特に、どの AI 開発者を支持し、どれを支持しないか、政府をより関与させるべきか、それほど関与させないべきかについての政治的側面について、私はそれについて確固たる固定意見を持つのは困難だと感じます。
設計されるのではなく、ナビゲートされる必要があるもののように感じます。しかし、再び、この全体的な態度は依然として重要だと思います。最終的に、この超知能時代への移行は私たちがすべきものだと思います。永遠に超知能を開発できないことは、それ自体が実存的大惨事でしょうが、それは重要な実存的リスクと関連し、私たちは注意深くすべきです。
しかし、多くの異なる価値が尊重され、最大化されないとしても、少なくとも受け入れ可能な公正なチャンクを得ることができる、大まかに協力的な未来の可能性を改善するように思える、ここそこの小さなことがあるかどうかを限界的に考えています。
幅広い利益と利害関係者と価値システムに受け入れ可能であるような。それらの方が、非常に対立的な何らかの極端な立場に出るよりも、堅実に良い可能性が高いと思います。しかし、この時点で支持する非常に明確な政策プラットフォームは持っていません。
重要な問題を解決し、未来への道を切り開くスリルを体験することができれば素晴らしいでしょう。本で言及したアウトライダーのようなもので、AI に可能な未来の光円錐の鋭いエッジを滑らかにしてもらい、実存的に安全で、絶滅せず、おそらく長寿が解決され、そのような種類のことがすべて解決されても、それでも道を切り開くことができます。それほど心配する必要はありませんが、潜在的に擬似前衛としてのスリルを持つことはできます。
しかし、目的があなたのことなら、目的の黄金時代は今だと言います。現在、私たちの周りの世界には非常に多くの必要、多くの恐ろしい問題、物事を形作り、影響を与える多くの機会があります。
目的が欲しいなら、思い切りやってください。最終的に物事がうまくいけば、大きな問題は既に解決されているでしょう。ですから、太陽が輝いている間に干し草を作ってください。目的が欲しいなら、あなたの前に広げられた最も豊富なビュッフェがあり、ただそれに行くだけです。
デイブとあなたが議論するのを聞くのは素晴らしいでしょう。あなたたち二人とも1990年代後半か2000年代初頭に世界トランスヒューマニスト協会を共同創設したと思います。異なる時代です。ええ、異なる時代のように感じます。しかし、彼は素晴らしいです。大きな影響を与えました。
これらすべての年の後、再びあなたと話すのは素晴らしかったです。12年、13年です。最初のインタビューをしたときから。
とんでもない道のりでした。今後数年間でもっととんでもなくなると確信しています。時間を超過していただき、本当に感謝しています。やることがあるだろうし、重要な問題を解決する最前線にいらっしゃいます。
あなたがやってきたこと、書いた素晴らしい本に対するあなたの献身と効果を完全に称賛します。人類の未来研究所は存在している間、とても大きな影響を与えました。将来あなたがすることも非常に楽しみにしています。
ありがとう、アダム。あなたと話すのはとても素晴らしく、すべての親切な言葉と、本やその他のものに注意を向けてくれたことに感謝します。本当に感謝しています。
それは本当にそれに値します。ですから、私たちの会話を楽しみ、それは良かったです。
コメント