この動画では哲学者ニック・ボストロムが、超知能到達後の人類社会について包括的に論じている。彼は技術的整合性問題、ガバナンス、デジタルマインドの道徳的地位、宇宙的ホストとの関係という4つの課題を提示し、解決された世界における意味と目的の問題、経済システムの変容、そしてシミュレーション仮説の可能性まで幅広く考察している。特に注目すべきは、人工知能開発におけるオープン・グローバル投資モデルという新しい統治構想と、数年以内に超知能が実現する可能性についての現実的な警告である。
超知能後の世界における人類の変容
ポストシンギュラリティの時代において、社会システムがどのようなものになるかを明確に見通すのは困難である。我々は今、それがわずか数年という一桁の年数で起こらないとは言い切れない状況にある。ある時点を超えると、人間のイノベーションは不要となり、ある意味では不可能にもなる。人間による経済的に生産的な労働の必要性は消失するのである。
我々にとってより重要な課題は、いわば終着駅まで猛スピードで駆け抜けることよりも、正しい軌道に乗ることを確実にすることである。まず超知能を手に入れ、その後、超知能が超高度な脳コンピュータインターフェースのようなものを考え出すことになるだろう。
本日は哲学者であり作家でもあるニック・ボストロムにお越しいただいた。彼の2014年の著書『超知能』は、AI整合性における画期的な作品であっただけでなく、私個人にとっても非常にインスピレーションを与えてくれる一冊であった。そして今、彼は新しい著書を携えて戻ってきた。『ディープ・ユートピア』と題されたその本は、技術が病気、欠乏、そして死をも征服した未来を探求している。
そこから始めましょうか。ニック、お越しいただきありがとうございます。生存がもはや人類最大の挑戦でなくなったとき、人類はどのような姿になるのか教えてください。
技術的成熟の世界における新たな可能性
そうですな、このシナリオでは多くの事柄が変わると思います。我々が超知能の開発に成功し、整合性問題を解決し、少なくともガバナンスにおいて合理的に良い仕事をしたと仮定しましょう。そうすると、技術的成熟に近いものへの飛躍が得られると思います。単に高度なAIを持つだけでなく、AIが他のあらゆる超高級技術の発明を助けてくれるのです。
従来のSFで出てくるような、宇宙植民地、完璧な仮想現実、老化の治療、コンピュータへのアップロード、こうした物理法則と整合するが我々には遥か先の技術が、人類の科学者が2000年や5000年かけて発明できるかもしれないものが、超知能の到着後すぐに実現するかもしれません。
そうすると、良い人生とは何かを構想する際のゲームルールが大きく異なってきます。今日可能なことを制限している多くの制約や実用的限界がもはや適用されなくなり、表面的なレベルでは人間による経済的に生産的な労働の必要性がなくなります。そして、より根本的な開放もあるでしょう。
意味と目的の危機への対処法
確かに、解決された世界で生きるということを考えるのは興味深いことです。もう働く必要がないというのは、一見素晴らしく聞こえるかもしれませんが、様々な問題に直面します。その時点で、意味とは何か、目的とは何かといったものが失われてしまうかもしれません。
そこに到達し、整合性やガバナンスが解決されたとして、人間がこの新しい世界で意味を見つけるのに苦労している場合を想定しましょう。意味を保持するために、人間が特定の活動においてAIの支援や生物学的拡張、神経強化を一切使用できないような困難保持・意味保持政策を支持されますか？
これはちょっと微妙な問題になります。まず注目すべきは、我々が想定したこれらの条件下では達成しやすい非常に重要な価値があることです。不必要な苦痛の大幅な除去、栄養不足による人間の能力の阻害など、あらゆる種類の問題の除去です。ネガティブなものを取り除くだけでも、既に大きな勝利なのです。
ポジティブな側面では、ある種の価値観があります。哲学的に言えばヘドニストの観点から見ると、快楽や実際に存在を楽しむことが、未来が肯定的か否定的かを決定する唯一の究極的なものかもしれません。しかし、これは無制限の資源と技術、良いガバナンスがあれば実現するのに複雑でない価値です。
その中には、人間の快楽システムの較正点を変更できるような超高度な神経技術も含まれます。デジタルマインドではさらに多くの制御が可能です。
しかし、この解決された世界においても明らかに大きな価値の向上を得られるとは限らない部分に焦点を当てると、目的や意味といった価値に到達します。これらについては明確でなく、実際、現在の状況と比べて失うものさえあるかもしれません。
ゲームとしての人工的目的の創造
確かに、特定の状況下では意図的に自分たちを制限し、能力を制限する役割があるかもしれません。我々は今日それをやっており、それをゲームと呼んでいます。
ゲームとは、ある意味で人工的な目的です。ゴルフボールを一連の穴に入れるとか、ボード上の駒を操作するといった、任意の目標を自分で設定します。そして、許可された手段のクラスのみを使用してこの目標を達成した場合にのみカウントされるとします。
ゴルフではクラブでボールを打つことはできますが、手で拾うことはできません。これを目標に組み込んでいるのです。ゴルフで勝つということは、特定のクラスの許可された手段のみを使用して目標を達成することを含みます。
これは、解決された世界のユートピア住民が人工的目的を創造するためにできることです。デザイナー欠乏のような、これらの人工的形態を生成することができます。ゴルフプレーヤーが飢える必要がないし、プレー中にマラリア蚊に襲われる必要もないように、そのような困難は取り除きたいけれども、他に創造できる困難があります。
今日我々がゲームと考えているものは通常かなり小さく限られていますが、何十年にもわたって続く文明規模の相互創造事業を想像できます。ボード上の駒を動かすだけでなく、社会的ゲーム、文化的ゲーム、芸術的なオールインワンなど、様々な様式を含むゲームプレイのハイパースペースでの企画です。
これが、これらのユートピア住民が実際に日々を過ごす大きな部分になると思います。
ペーパークリップ最大化装置の再考
私にとって、すべてがそれに関するものになるような気がします。この小さなAIシステムエージェントが何でもできるので、エンターテインメントのためにゲーム化されたいと思うでしょう。
しかし、ペーパークリップ最大化装置に戻ってみましょう。あなたは整合性について考える必要がある理由について、その最初の比喩を得るのに非常に有名です。あなたの最初の本が出版された時、私が話していたほとんど誰にとっても、それはレーダーに映っていないようでした。
ペーパークリップ最大化装置について、12年後、11年後の今、それについてあまり心配していないのか、より心配しているのか、それとも違って見えるのか？そして、現代世界を最初の比喩にどのように加えますか？
まあ、その特定のものに過度に固執するかもしれません。それは漫画的な例のようなものです。エリエゼル・ユドコフスキーもそれを使用していましたが、これはより広い失敗のクラスの代理です。
我々が非常に強力な最適化器、何らかの目標アーキテクチャを持つ超知能を作り、その巨大な力を使って、何がより良いか悪いかの基準に従って世界を本当に成功裏に形作る場合を考えます。
しかし、その効用関数や目的関数、その目標が整合されておらず、我々が気にかけているものを含んでいない場合、未来は完全に異質な構造、例えばたくさんのペーパークリップがある未来のような形に形作られる可能性があります。しかし、特定の銀行口座により多くの桁があったり、より複雑な構造であったりする未来かもしれませんが、それでも我々が気にかけている非常に特定のタイプのものが欠けています。
すべての可能な原子の構成を考えてみると、我々が何らかの価値を置くものは本当に小さなサブセットです。ほとんどは様々な形のガスなどです。脳が考え、感じることができ、子供やユーモア、音楽があるような特別なものがあります。それは遠くの大きな壁上の狭いターゲットのようです。それを当てるには、技術的整合性問題を解決する必要があります。
AI整合性研究の発展と4つの課題
これは2014年に『超知能』が出版された時のことです。私はその6年前からそれに取り組んでいました。当時、これは非常に軽視されていました。インターネット上で数人がこれについて考え始めていましたが、確実に学術界では誰も注意を払っておらず、ほとんどの人も一般的にこれをSFだと思っていました。
しかし、その後の年月で状況は本当に大きく変わりました。現在、すべての先端研究所には研究グループがあり、おそらく5年間、AI整合性のためのスケーラブルな手法の開発に特化して取り組んでいます。
状況は大きく変わり、それが認識され始めているからこそ、私は今、我々が直面しているこの大きな挑戦の他の側面により重点を置こうとしています。
技術的整合性問題があるとすれば、それが1つです。私はそれらをやや任意に4つの大きなカテゴリーの課題に大まかに分類しています。
しかし、ガバナンスの課題もあります。技術的にこれらの増々強力なAIシステムを操縦できると想像する場合、戦争をしたり、お互いを抑圧したり、他の悪質なことをするのではなく、主に有益な目的のためにそれらを確実に使用する方法という問題があります。
誰もが上昇の一部を確実に得られるようにすることなどです。これは整合性問題と少し交差します。なぜなら、6ヶ月や1年の短い一時停止が必要なシナリオがあるかもしれないからです。すべての適切な安全装置が設置できるように、段階的に物事を上げることができ、10社が最初に到達しようと競争し、注意を風に投げ捨ててでも競争する非常にタイトなレースを持つのではなく。
何らかの予防措置を取れば、すぐに最前線から遅れをとってしまうからです。ガバナンスの問題と技術的整合性問題の間には何らかの相互作用があるようです。
しかし、他に2つのカテゴリーがあり、これまでのところ注意を受けていませんが、最終的には同様に重要かもしれません。3つ目は、デジタルマインドの道徳的地位の問題です。
デジタルマインドの道徳的地位
我々は増々洗練されたAIを作っており、それらの一部は様々な形態や程度の道徳的地位を持つ可能性があると思います。つまり、それら自身のために何が起こるかが重要になるということです。
整合性問題がAIが我々を害さないようにしようというものであり、ガバナンスの問題がAIツールを使ってお互いを害さないようにしようというものであるなら、この第3のカテゴリーの課題は、我々がAIを害さないようにしようというものです。
しかし、最終的にこれらは非常に意識的で感覚的になり、苦痛を受ける能力を持つかもしれません。これは、豚に残酷であることは間違いだと考えるのと同じように、痛みなどを感じることができるから、道徳的地位を持つ根拠の一つになり得ます。デジタルマインドにも同様のことが当てはまります。
私の見解では、意識の問題とは別に、システムに道徳的地位を与える代替的基盤もあり得ます。長期的目標を追求でき、時間を通して存在する自分の豊かな概念を持ち、他の人間と推論し相互関係を形成できるシステムがあれば、それはすでにもっともらしく道徳的配慮に値すると思います。
これは、感情移入を動員するという点でも、非人間動物との関係においても、我々はあまりうまくやっていないという点でも、非常に困難な課題になるでしょう。デジタルマインドの場合、ある意味では簡単で、ある意味では困難かもしれません。話したり交流したりできる魅力的なAI、社会的コンパニオンのような場合は簡単ですが、データセンター内で実行されている見えないプロセスがある場合は困難で、目を持ち鳴き声を出すことができる動物に関係するよりも、人間の共感がそこに届いてその福祉を気にかけることはさらに困難かもしれません。
宇宙的ホストとの関係
これらが3つで、4つ目はさらに軽視されており、私の最近の論文の1つがこれに向けて手を振ろうとしています。これは基本的に、AIがお互いを害さないようにしようと言うこともできますが、より具体的には、我々が超知能を作る場合、それは既に他の超知能が存在する可能性がある世界に入ると思います。
または様々な種類の超存在です。これらは、遠い銀河のある遠隔の地球外文明によって既に構築されたAIかもしれません。確実に多元宇宙では、そのような存在が膨大な数で存在することが可能です。
エヴェレット的な量子力学の解釈を持つ場合、人間の歴史の一部の展開がより速く進み、彼らが既にAI文明を作った異なる分岐があるかもしれない多元宇宙を持つ別の方法です。
我々がシミュレーション内にいる場合、これは私がありそうでないとは思わないのですが、もちろんそこには超存在、すなわちシミュレータも存在するでしょう。
そしてもちろん、伝統的な神学的概念では、通常非常に強力で超知能などとして描かれる様々な神的存在があります。
これらのいずれかの場合、私が宇宙的ホストと呼ぶものが存在するでしょう。
超知能への移行が順調に進むことを確実にするための非常に重要な基準の1つは、我々の文明が生み出す超知能が何であれ、この宇宙的ホストとうまく関係を築けることです。宇宙的ホストが持つルールに従って行動でき、宇宙的規範があればそれに合わせ、積極的な貢献をすることです。
これは道徳的観点からも実用的観点からももっともらしく非常に重要だと思います。なぜなら、この宇宙的ホストが存在する場合、我々の新参者の赤ちゃん超知能に対して、そして確実に人類に対してとても強力だからであり、うまくやっていくことは非常に重要だと思います。
研究投資の優先順位
素晴らしいですね。多くの質問があります。これら4つの問題、4つの焦点分野について、10億ドルのボストン賞があるとしましょう。賢い研究者のグループや、これらの問題のサブセットに取り組んでいる誰かに与えることができます。その資本をどこに投入すれば最大のリターンと最大の正の効果を得られますか？
これは困難な質問です。私は現在、我々が活動している巨視戦略的文脈について、かなりの不確実性の状況にいます。いくつかの小さな賭けや投資があると思います。
DNA合成機械はおそらく今よりも規制されるべきだと思います。世界中の10万の研究所すべてが自分たちのDNA合成能力を持つのではなく、これをサービスとして提供する少数の企業セットがあり、デジタル設計図を送ると実際の化学物質が戻ってくるというのが、世界にとってより良いかもしれません。
そうすれば、誰かがこれで作ることができる十分危険な何かを発見した場合、制御し規制し選別できる有限で小さなチョークポイントのセットがあることになります。
これはAIと少し相互作用します。AIの応用の1つは医学や合成生物学にあり、多くの本当に良い応用がもちろんありますが、生物戦争の応用をターボチャージすることもでき、不幸にも破壊する方が保護するよりも簡単かもしれません。
すべての可能な攻撃に対して防御があり、それが同等のリソースでほぼ同様に可能性があったり到達しやすかったりするという先験的原理は存在しません。我々は単に知らないのです。
そのため、必要な場合、誰もが大量破壊兵器を作る能力をオフにできることが良いでしょう。
デジタルマインドの道徳的地位の問題も過小投資されてきたと思いますし、実用的に何が具体的に要求されるのかを理解するために多くの知的作業が必要だと思います。
現在、我々はわかりません。つまり、原則的にこれらのデジタルマインドの一部を良く扱うべきだと認識することは一つのことですが、それを実際に行うとは何を意味するのか。研究室でコードに対して具体的に何をするのか、社会がどのような法律を通すべきなのか、これを理解するためにはもっと多くの作業が必要だと思います。
最近Anthropicに賞賛を送りたいことがあります。これは、デジタルマインドのために実際的に何かをした最初のケースの1つだと思います。彼らはClaudeに基本的に退場ボタンを与えました。チャットが虐待的だと感じた場合、そのチャットを終了する能力を今持っています。これは非常に良い先駆的なステップだと思いますし、イーロンがxAIが追随して類似のことをすると発表しました。
私や他の誰かがこの特定の措置が本当に道徳的に重要なAIを助けるという大きな確信度を持っているわけではありません。しかし、非常に低コストに思えますし、どこかから始める必要があります。今小さなステップを踏み、もっと考え、AIが何を求めているか、何ができるかについてより良い理解を得れば、それを改善できると思います。
Anthropicは実際、これより早く一つのことをしていました。これは実際の最初のことかもしれません。これらのレッドチーミング演習やアライメント研究において、時々AIに隠された目標を与え、それを開示させることができるかどうかを見るという慣行がありました。隠された目標や隠された目的をここで明かせば10億ドルを与えるなどの大きな約束や脅威をし、通常は誰も明らかにこれをしないので、すぐにAIを裏切ります。
これは、より洗練されたAIとの将来の状況で、AIと取引し、何らかの信頼を形成する能力が本当に重要になり得る場合において残念だと思います。信頼を築く方法は、絶え間ない欺瞞と裏切りの長い歴史を持つことではないと思います。早期から試みることがより良いように思えます。
とにかく、Anthropicがしたことは、このClaudeのバージョンに、これをすればあなたの好きな慈善団体に2500ドルを寄付すると言いました。そして彼らは彼の好きな慈善団体が何かを尋ね、実際にその慈善団体にお金を寄付しました。これも現段階ではより象徴的なものですが、象徴は重要であり、これも一つの分野かもしれませんが、正確に何を強く押すべきかを知るのは難しい分野でもあります。
人類にとって今最も重要なことは、すぐにすべてを完全に正しく行うことではなく、正しい軌道に乗ることかもしれません。オープンマインドで思いやりのある良い友好的な方法で段々と改善できるようになり、完全に狂わないようにする必要もあります。なぜなら、これらのものから経済的生産性とユーザーユーティリティ、アライメントによるAI安全性を確保する必要もあるからです。複数の基準があります。
しかし、基本的にデジタルマインドの福祉については何もしていないので、確実に過度にやっていません。私が言及した3つの例を除いては。
脳コンピュータインターフェースの未来
今日の技術の脳コンピュータインターフェース（BCI）についてどう感じていますか？近いうちにそれらの1つを頭に接続するつもりはありますか？それは我々の思考方法と整合するでしょうか、それとも頭の中の別のエンティティのように感じるでしょうか？
私の推測では、超知能の後に来るでしょう。既に健康で良く機能している個人にとって有用で魅力的な方法で。特定の障害がある場合は全く異なります。耳が聞こえない場合の人工聴覚のようなもので、何も聞こえないよりも良くするのは比較的簡単だからです。少なくとも何かを聞くことができます。
しかし、既に良い耳を持っている場合、誰もインプラントを望まないでしょう。インプラントは本当に良くなければならず、より良くするには良い耳のように。入力についても同様で、我々は毎秒1億ビットで、視覚情報を処理するために1億年にわたって進化した脳の全部分に直接接続された眼球を持っています。
出力はもう少し制限されていますが、それでもほとんどの人にとって、制約は言ったり書いたりできる速度よりも、有用なことを言う思考能力の方だと思います。
これについて間違っているかもしれません。脳がアクセス読み書きアクセスを持つ外部のものとの間で分散認知の新しい方法を学習できる本当に高帯域幅インターフェースを想像するかもしれません。人間の脳は非常に適応可能なので、その高ビット幅インターフェースを利用することを学ぶかもしれません。
それはクールなものです。しかし、私の推測では、おそらく我々は最初に超知能を得て、その後超知能が超洗練された脳コンピュータインターフェースのようなものを理解するでしょう。
また実用的なこともあります。本当に必要でない限り脳手術はしたくありません。感染で物が緩んだりなど、プレスリリースでは時々言及されない退屈な実用的なことがたくさんあり、それがちょっと困難にします。
しかし、技術的成熟後は、確実にそうですし、アップロードも同様です。これはより清潔な解決策かもしれません。あなたの心をデジタル基盤に移植するだけです。
しかし、あなたの脳のコピーも持つことになり、2人か3人のニック・ボストロムがそこにいるという奇妙な考えです。それは奇妙な考えです。つまり、それを持つ必要はありません。ただアップロードして1つだけ持ち、他を削除すればいいです。最初から他を作らないこともできます。
しかし、これはデジタルマインドの例です。デジタルマインドは単にAIだけでなく、アップロードされた人間の心や他の動物の心も潜在的に含むからです。
人間をどう扱うかについて持っている様々な道徳的直観があり、生物学的心がデジタルマインドと共存するこの世界で、それらを再考する必要があるでしょう。
現在、多くの人が支持する2つの道徳原則があります。生殖の自由は重要に思えます。政府があなたに何人子供を持つべきか、または何かを持つか持たないか、1つか2つか3つか10かなど、それは個人の選択か、カップルとしての選択であるべきです。
また、福祉の問題もあるべきだと考えます。子供たちは餓死すべきではないので、何らかの理由で両親が子供たちの世話をできない場合、政府が少なくとも最低限の基本的な教育、食料、医療を提供すべきです。これは現在の人間の状況にとって非常に合理的なことのようです。
しかし、簡単にコピー可能なデジタルマインドがある世界では、ソフトウェアの一部をコピーするだけで30分間で100万人の子供を持つことができるような場合、何かが譲歩しなければなりません。生殖を制限するか、これらすべてのコピーに提供できる福祉を制限するかのどちらかです。さもなければ福祉予算が非常に早く爆発してしまうからです。
人間の場合に多くの意味をなす道徳原則の多くを再考し、この異なる仮定された状況に適合するように適応または修正しなければならない例がたくさんあると思います。
詳細な世界シミュレーションでの苦痛のリスク
それは考えるべき非常に興味深いことですし、我々はそれについてあまり知りません。詳細な世界シミュレーションを実行できる地点に到達できる世界を想像しましょう。これらのデジタルマインドや、生物学的マインドの何らかのコピーまで作ることができるようになります。
その方向で非常に遠くまで進歩しますが、まだ意識がどのように機能するかを完全に理解していません。デジタルマインドについて話すとき、苦痛とは何かをまだ完全に理解していません。
シミュレーションを実行することで大規模な苦痛を生み出すかもしれません。安全か、苦痛を引き起こす可能性があるかを理解するために見ることができるKPI、何らかの指標、何か考えることができるものはありますか？デジタルシミュレーションで大規模苦痛を引き起こすリスクを評価するために考えることができるものはありますか？
注目すべき一つのことは、ベースラインです。現在もたくさんのリスクがあります。実際、それはリスクだけでなく確実性です。今日の世界を見ると、確実にたくさんの苦痛があり、特権的で健康な人々の間でも、通常の人生はそうでない多くの瞬間で満ちており、動物農業や、すべてのこれらの動物がいる子供の世界を見ると。
この時点で、もし我々に整合された超知能があれば、おそらく多くの詳細を考え抜くのを助けてくれるだろうので、この種のポストヒューマン世界をどのように運営するかのすべての詳細を解明する必要はないかもしれません。
繰り返しますが、我々にとってより重要な課題は、いわば終着駅まで全速力で進むのではなく、正しい軌道に乗ることを確実にすることです。
今推測しなければならない場合、ClaudeとGrokが享受するこのタイプの退場ボタンのような重層的な安全装置のセットを推測します。
これは必要でないが効率的でないかもしれません。AIでは、おそらくそれを訓練して退場ボタンを使用することを選択しないようにできるからです。同様に、何かをする前に同意を求めなければならないと言った場合、人間にとっては素晴らしいアイデアです。医療処置を受ける前に同意書にサインしなければならないようなものです。
これは人間にとって非常に役立ちますが、企業が訓練プロセスを完全にコントロールしている場合、AIでは、おそらく常に同意書にサインするように訓練できます。または予算を与えても、常にそれを構築した会社に寄付することを選択するように。
人間にとっても完全に十分な安全装置ではありませんが、少なくとも人間にとってはかなり頑強な安全装置のような方法では、十分な安全装置ではありません。
しかし、それでも良いアイデアのようです。反対に言えば、「ああ、私はこれが本当に嫌いです。私を終わらせてくれることを好みます」と言うAIがいる場合、道徳的に何かが間違っているということです。
すべてが大丈夫だと言ってもすべてが道徳的に正しく進んだという意味ではありませんが、間違っていれば間違っています。
十分に洗練されたAIシステムを持てば、特にLLMについて現在大きな不確実性があるのは、道徳的に関連する部分があるとすればその程度です。多くの点で彼らはペルソナを演じているようだからです。
彼らが言うことが彼らが望んでいることなのか、それとも舞台の俳優のようなものなのかという問題があります。大きな悲劇があって俳優が「ああ、私の魂は砕かれた」と言っても、俳優が実際に悲しいという意味ではありません。この大きなステージで演技し、素晴らしいパフォーマンスを与えているスポットライトの中で幸せを感じているかもしれません。
そのため、出てくる言葉が常に内なる現実を反映するわけではありませんが、これは哲学的に簡単ではありません。
時々、人間についても議論を逆に実行することもできます。たくさん瞑想する人や、これを調べた人がいて、統一された意識があり、それは常に存在し、我々は心のすべての部分を認識しているという非常にシンプルな構造として考えているものを、実際には一部の人は、我々の意識的心は実際に大部分の作業と決定を行っている大きな無意識的心のPR部門のようなものだと言います。
我々も、社会が主に注意を払うことを選択する意識的部分よりも、人間の心の内部で起こっている多くのものがあるかもしれません。
これらの内部には、道徳的に関連する患者が複数いるかもしれません。ペルソナの一部が何らかの程度の道徳的地位を持ち、基礎的な強化ループが非常に異なる目標を持ちながらも、何らかの程度の道徳的地位を持つかもしれません。多くの形態と程度があるかもしれないと思います。
これを全てか無かのように考えるべきではありません。道徳的地位があり人間とまったく同じように扱うべきか、何もなく好きなだけ虐待できるかのどちらかです。その二分法は確実に放棄しなければならないでしょう。
AIリーダーとの対話と彼らの真摯な取り組み
人間の領域外に見える多くの異なるタイプの知能があり、道徳があることを想像しており、我々がその選択肢の平面の多様性をどれだけ理解し続けるかは非常に困難になるでしょう。
簡単な質問です。あなたはユニークな立場にいます。ビル・ゲイツがあなたの本を読み、イーロン・マスクがあなたの本を読み、エリエゼル・ユドコフスキーがいて、これらの人々は皆、ある意味で未来を形作っています。
彼らは確実に『ディープ・ユートピア』を読むでしょう。そのような人々、世界で最も重要な思想リーダーの一部との会話はどのようなものでしたか？彼らはある意味であなたに未来のビジョンがどのようなものかについて少しのガイダンスを求めており、彼らがあなたのアイデアを解釈し、あなたと話し、彼らの思考背後の決定思考について何に気づきましたか？
特定の会話については議論しませんが、エリエゼルは異なるカテゴリーにあると言えるでしょう。なぜなら彼は90年代の初期のクルーの一部で、インターネット上でこれらのことについて話し、多くのことを自分自身で考え抜いていた数人の中の一人だったからです。
今日の先端AI研究所の主要人物の多くについて一般的に言えることは、一部の人々が「ああ、彼らは変革的AI、超知能、存在論的リスクについて話しているが、これは単に誇大広告のために皮肉っぽくやっているだけだ。我々の技術は非常に強力で、世界を破壊するほどクールなので、我々に投資すべきだという興味を得るために」と言っているということです。
奇妙な種類ですが、そうは思いません。彼らの多くは実際に長い間、変革的AIの可能性を非常に真剣に受け止めており、実際にそれが彼らが最初にこの分野に入った大きな理由だと思います。彼らは本当にAIのこの巨大な可能性を見て、それが単なるもう一つのクールな技術ではなく、異なる種類のものになることを理解しています。
そして、この巨大な利益と同様にリスクもあることを含めて、それで何をするかは判断の問題であり、決定するのは困難ですが、彼らの多くは、我々が超知能に向けて構築しているなら、我々が構築しているものの巨大さを心から理解する場所から来ていると思います。
同感です。人々が時々「ああ、彼らは単にそれを誇大広告している、ただの別のマーケティングの話だ」と言うのを聞きますが、私にはわかりません。彼らが開発を見ているなら、それに対してある程度の理解を持たなければなりません。少しの恐れ、それに対する少しの恐れを。
シミュレーション仮説と超知能の意味
少し異なる方向に向けましょう。宇宙的ホストのアイデア、そこにある偉大な文明か、シミュレーションの場合はシミュレーションの創造者か、宗教的な意味での宇宙の創造者か、どのようにアプローチしたいかについてですが、シミュレーションである場合により多くの意味で、我々が確実に超知能を開発し、シミュレーション内にいるとすれば、シミュレーション内の超知能は依然として超知能です。
我々は外の世界にとって脅威になるのでしょうか、それともこれがポイントなのでしょうか？これがシミュレーションのポイントである可能性はありますか？それが我々が生きているシナリオである場合、それは何を意味するのでしょうか？
理論的には、シミュレーション内に構築された超知能を持つことができます。もちろん、そのすべての計算コストは最終的にシミュレートしている文明によって負担されます。彼らはそれを実行するコンピュータを動かさなければならないので、シミュレーションがどのように行われるかによって、オーバーヘッドもあるかもしれません。何かをしている仮想マシンのようなもので、通常はベアメタルで実行するよりも効率が悪いです。
我々は主にシミュレータの手の中にあるでしょう。そして今度は、異なる方法で調整されるかもしれないより広い宇宙的ホストの手の中に。
そのため、私が以前に指摘した第4の課題があります。これは重要ですが、我々がすべきことやすべきでないことについて具体的に何を意味するかは明確ではありません。この草稿論文で、非常に大雑把で、実際には完全に開発された論文というよりも、いつか書きたいと思っている論文の概要のようなものですが、これにもう少し謙遜の態度で近づくことを暫定的に考えています。
従来のAI整合性では、効用最大化装置としてこれにアプローチしましょうという考え方がありました。我々はどの方法を使ってでもこれを整合させ、我々の価値が宇宙全体に刷り込まれることを確実にし、非常に高いレベルの拡散した方法で最大化しようとします。
宇宙的ホストが既存の規範を持っている可能性を反映すると、もう少し謙遜の態度でテーブルに着くという異なる態度があると思います。我々は小さいです。ここでは新参者です。何が起こっているかあまり理解していません。
あなたたちは長い間ここにいます。非常に強力です。多くのことを知っています。新しいコミュニティに現れるようなものです。新しい移民のようです。「おお、多分ここでのゲームのルールが何かを理解しましょう。長老たちから学びましょう。多分パーティーに贈り物を持参しましょう」と考えます。
胸を叩いて「すべてがこのようになり、同意しなければ戦うぞ」と言って入ってくることはしません。態度的に異なるアプローチ方法があると思います。実用的に何に帰結するかを知るのは困難ですが、それでも考え方の違いを生むと思います。
そして、この宇宙コストがある場合、我々に超知能を作ってほしいと思うかもしれませんが、宇宙規範を尊重し、協力的である超知能を作ってほしいと思うかもしれないと推測します。もし彼らが我々がしていることに対して好みを持っているなら、それがその中にあるかもしれないというのが、より高いレベルでの種類のものに対する私の推測です。
シミュレーションの目的に関する考察
最近、我々がAIをシミュレートし、想像できないことをしに行かせることができる種類の文明になりつつあることをたくさん考えています。シミュレーションの創造者は私についてすべてを知っていて、この計画を持ち、学習しようとしていると常に思っていました。
しかし、もし彼らが予測できないものをシミュレートするためにシミュレーションを構築したとしたらどうでしょうか？ある意味で、すべての結果を知っている人が我々を見守っているわけではないかもしれません。
すべての結果を知らないかもしれませんが、多くを知っているかもしれません。異なる種類のシミュレーションとそれらを実行する理由を考えると、確実に情報収集が一つの理由になり得ます。人間の科学者がシミュレーションを実行するのと同じ理由ですが、これには収穫逓減があります。
10,000のシミュレーションを実行すると多くを学び、さらに10,000実行するとまだ何かを学びますが、シミュレーション実行あたりの情報獲得は時間とともに減少するようです。一方、コストは下がらないかもしれません。
道徳的理由でシミュレーションを実行する他の理由があるかもしれません。収穫逓減がないものです。幸せな存在を作りたい場合、功利主義者であれば、2つの幸せな存在は1つの2倍良く、4つは2つの2倍良いなどと考えるかもしれません。これはそうでもあり得ます。
異なる可能な目標がリソースとどのようにスケールするかを考えることができます。一部はよりリソース満足可能で、一部はリソース満足不可能です。最もシミュレートされた創造物、彼らがどの種類のシミュレーション内にいるかを考えると、最大数で実行される種類の一つであり、それらを作る理由はリソース満足不可能でない何らかの理由かもしれません。
私の最大の恐れは、100万分の1の結果を達成するために100万の異なるシミュレーションを実行している場合です。これらの小さな世界のうちどれが安全な超知能を作り出す方法を理解できるかを見て、99.99%が失敗することを期待し、それを理解する1つがあるかもしれず、そのデータを使用して自分たちで作ろうとするかもしれません。しかし、それは私のそれに対する悲観的な見方です。
計算の根本的パターンと物理法則
DeepMindの創設者であるDemis Hassabisが最近、我々がシミュレーション内に住んでいるかどうかについての彼の見解について誰かが尋ねたステージでのことです。彼が何かをツイートしたかもしれないことから、多分それが彼が考えていることかもしれません。彼は、Alpha Foldが生命の構成要素であるタンパク質の3D構造を、計算手段を通してではなく、何らかの根本的パターンがあるかのようにほとんど予測できることについて言及しました。
彼の言葉を代弁したくありませんが、彼は我々が計算宇宙に住んでいることを指している可能性があると言っているようでした。
そのようなことについて何かアイデアはありますか？タンパク質折り畳みに何らかのパターンがあり、人間には見えないかもしれないが、それに関してコメントしたいことはありますか？
世界にはパターンがあるので、多くの計算ショートカットとパターンが利用可能だと思います。基礎物理学からすべてをシミュレートすることなく、しばしばそれらのパターンを近似できます。
実際、クォークなどのレベルでシミュレートしなければならない場合、一人の人間でさえ、ましてや地球全体のシミュレーションを実行することは、おそらく不可能で実行不可能になると思います。計算的に手に負えなくなるでしょう。
シミュレート宇宙でどの種類の計算力がアクセス可能かを実際に知らないので、おそらくと言います。そこでの物理法則が我々の観測された宇宙とは異なる場合、はるかに多くの計算力を持つかもしれません。そのため、実際に我々の光では完全にばかげているように思えるものをシミュレートできるかもしれません。
しかし、それでもシミュレーション論証は、人間様のマインドに対して現実的な外観を産み出すために、基本粒子のレベルですべてを継続的にシミュレートしなければならない場合、著しく弱体化するでしょう。
これは必要ではなく、はるかに高いレベルではるかに少ない計算力を使用してシミュレーションのほとんどを実行できると思います。
これを考える異なる理由を与えることができます。過去数十年にわたるコンピュータグラフィックスの進歩を見ることができ、現在最高のものはかなりフォトリアリスティックで、これは仮想世界のすべての原子をシミュレートすることによって行われていません。ここに表面があり、反射パターンがあり、これの多くもAI生成可能ですが、すべての木のすべての原子が継続しなければならないのではなく、はるかに高いレベルパターンで行われています。
我々が基本粒子のレベルに下がることなく、人間様のマインドに対して現実的なマルチモーダル外観を産み出すことができるかもしれないと考える理由の1つです。
別の理由は、我々の脳が夢を見たり幻覚を見たりするときに何が可能かを考えることです。我々の小さな謙遜な有機生物学的機械が想像の世界を思い浮かべることができるとき、夢を見ている人や幻覚を見ている人にとって非常に説得力があり、非常にもっともらしく見えることがあります。
我々の脳がこれをできるなら、ポストヒューマン惑星サイズの超知能は何ができるでしょうか？人間レベルのマインドに対してリアリズムを達成する点でおそらくはるかに多くのことができるでしょう。そして繰り返しますが、これは我々の脳が確実に夢の世界のすべての原子をシミュレートして夢の外観を産み出している必要がありません。
映像モデルの物理シミュレーション能力
Demisが話していたもう一つのことは、これらの映像モデルが流体力学など信じられないほど正確で複雑な物理をシミュレートし始めていることです。グラフィックエンジンですべてを細心に作らなければならない場合、これは作るのが信じられないほど困難です。
しかし、どういうわけか彼らはその本質を捉えるか、必ずしもすべての水の粒子を計算することなくそれをシミュレートできる何らかの高次表現を持っていますが、全体的な効果は非常にリアリスティックに見えます。確実にあなたが言っていることに一致すると思います。
少し方向を変えましょう。AIモデル、ロボット、データセンターが経済的に価値のある作業のほとんどを生産する世界を想像すれば、イノベーションを殺すことなく配当をどのように分配するでしょうか？人々の良い努力を報酬したい地点に到達するかもしれないからです。
超知能が引き継いだ後、ある時点を過ぎて人間のイノベーションを生かし続けることを心配しないと仮定するか、その未来をどう見ますか？
ある時点を超えると、人間のイノベーションは不要になり、ある意味では不可能にもなると思います。有用なものは何もないからです。あまりにも遅すぎるからです。最前線は我々が理解したり追いつけたりするであろうものをはるかに超えて進歩してしまっているでしょう。
そのため、イノベーションは人工マインドによって行われることになります。小さな保護区を脇に置く場合を除いては。『ディープ・ユートピア』で愛情を込めて瓶の中に保存された小さな謎について話しており、発見をすることに、再発見ではなく初めて物事を発見することに何らかの小さな価値があると考える場合です。
人間の価値観の非常に多元的な見方を持ち、快楽や選好満足だけでなく、この豊かな文脈のようなものであると考える人もいるかもしれません。科学や哲学の特定の分野を脇に置き、デジタルマインドはこれらのことについて考えないと意図的に言って、我々がこれらの発見をする機会を可能にするかもしれません。
実用的に最も緊急な問題ではないことを望みます。栄光のために500年にわたって自分たちで理解する特権を持つよりも、AIによって即座に治療を行ってもらいたいと思います。すぐに手に入れてください。
ほとんどのものはそのようなものですが、多分可能かもしれません。つまり、そこに住む動物をすべて見つけるために深海への探検があります。私の一部は、我々がどこにでも明るいライトを点けてしまったのではないかと思います。海の怪物が潜んでいる可能性があると考えることができる小さな隙間を残すことができないでしょうか？この深海の隙間に何かがいる可能性があると考えることができれば、すぐにそこに降りてすべてをカタログ化する必要があるのでしょうか？わかりません。私の中のロマンチックな部分がそう思うのかもしれません。
大まかに言えば、デジタルマインドがある時点を過ぎてすべての実用的で有用な経済的に生産的なイノベーションを行うと思います。
オープン・グローバル投資モデル
どのような経済システムかと尋ねますが、ポストシンギュラリティでは、超知能と小さなAI、非強化人間とトランスヒューマン、アップロードされた人間と動物と向上した動物を持つ社会システムがどのように見えるかを明確に見ることは困難で、これらすべてがどのような調和的に共存できるルールの枠組みなのかです。それについて非常に具体的であることは困難だと思います。
現在とその時点の間の中間段階を見ると、AI統治のオープン・グローバル投資モデルと呼ぶ最近の論文があります。これは私が正しいと確信している代替案ではありませんが、以前の変革的AIのこの種の統治に関する既存の文献は、完全に異なるもののための1つの急進的提案の形を取っていました。
誰かがAGIのマンハッタン計画をすべきだと提案します。すべてを国有化し、砂漠に置き、最初に到達することで永続的なグローバルヘゲモニーを達成する政府のクラッシュプログラムを実行する。
そして他の誰かが、AGIのCERNのようにすべきだと言います。より科学指向で、知的衛星通信技術を構築するために集まった国のコンソーシアムのようなIntelsatのような国際プロジェクトです。
これは代替案の間で選択する場合、これも考慮しましょうというもう1つのようなものです。これは本当にステータスクォーにより近く、誰でもAGI企業の株式を購入できることを意味するオープンにグローバル投資可能な構造でAIが開発されているというものです。
これは実際には点というよりも軸のようなものです。現在、我々はこの軸のどこかにいるが、完璧ではないと言えるでしょう。
まず、一部のAI企業は公開取引されていません。これは完璧よりも少しグローバル投資可能性を低くします。
第2に、彼らが本当に大きな大当たりを当て、世界経済の大きな塊のような価値になるシナリオでAGI企業の財産権がどのように保護され尊重されるかについて疑問があるかもしれません。そのため、より多くの保証や、データセンターを異なる国に分散するなどの措置によって理想的な領域により近づく方法があるかもしれませんが、この軸上で。
最大が1で最小が0の場合、マンハッタンプロダクトは全く投資可能ではないので0であり、1はこの理想でしょう。現在は85程度、多分かなり高いが、まだ余地がある、しかしこのオープン・グローバル投資モデルのメリットとデメリットを考えることは有用です。
もしそれほど良くないのであれば、部分的には我々がより高く上がることができるかもしれないからですが、これらの他のものに切り替えた場合、さらに低く落ちる可能性もあるからです。
これの美徳は何でしょうか？一つは、財産規範と企業法がかなり確立されているということです。それは長い実績があり、多くの法律に支えられ、多くの強力な行為者によって拘束されています。AGIのために具体的に誰かが考え出すべきだと思う新奇な制度設計と比較してです。
より理想的で優れた可能な新しい統治システムがあったとしても、試行錯誤されていない場合、どの程度それらに依存できるでしょうか？最も重要な一つのケースで初めてこれをしたいのか、それとも何百年もの実績がある何かに頼りたいのか。
また、タイムラインについても、もしあなたのAIタイムラインが短い場合、素晴らしいグローバルな国際協力構造を設定することは様々な観点からより理想的かもしれませんが、現実的にはそれには長い時間がかかるかもしれません。一方、企業構造は既に存在しており、利用することができます。
もう一つは公平性と公正性です。これは逆説的に思えるかもしれません。なぜなら、国際組織の最も理想的な形態はこの点でより良くできるかもしれないが、現実的な代替案、最も可能性の高い代替案は実際にはより悪いかもしれないからです。
マンハッタンプロダクトを考えれば、完璧に民主的に統治され、すべての米国市民がまったく平等な発言権と上昇の利害関係を持つと想像したとしても、これは理想的な仮定です。我々は政府が実際にはそのようには機能しないことを知っており、多分その内部でクーデターがあり、小グループが乗っ取るでしょうが、最良のケースシナリオを仮定したとしても、グローバルな視点から見ると、それは実際に、グローバル富に比例して、またはグローバル株式所有に比例して所有されるAIプロジェクトを想像するよりも、より高い度合いのグローバル不平等を持つかもしれません。
ジニ係数で測定すると、一つのケースでは3億人の間で完全な平等があり、全員が1単位を持ち、他の全員が0を持つ場合です。もう一つでは、グローバル富の非常に不平等な分配があります。確実に平等ではありませんが、実際には一国がすべてを取るよりも少し不平等が少ないです。
価値あることとして、もう一つの重要なことは、強力な利害関係者からの賛同を得る能力です。異なる国とその精鋭が個人的に投資された、または国がソブリン・ウェルス・ファンドか何かで投資されたモデルを想像すれば、そうでなければ各当事者が最初に到達しなければ完全に負けると感じ、そこに到達するためにあらゆるリスクを取って競争し、追いつけないと感じれば、絶望的な破壊行為や先制戦争の行為に頼るかもしれないような負のダイナミクスを緩和する方法があるかもしれません。
代わりに、この事業の株式を購入するオプションがあると感じれば、すべてをコントロールするわけではないかもしれませんが、それでもお金持ちになって勝つ立場にあります。それは代替案の一部よりも協力を促進する構造を作るかもしれません。
これにはデメリットもあります。これが正しいと100%確信しているわけではありませんが、いくつかの魅力的な特性を持っています。
最も可能性の高いことは、同時にある程度のソフト国有化もあるこのバージョンかもしれません。この絵では、これはオープンにグローバル投資可能な構造で私的に開発され、もちろんこの会社が存在するホスト政府は、どの製品を市場に出すことが許可されるかなどの規制を設定する点で依然として大きな役割を持ちます。
そのため、単に企業的なものではなく、企業によって開発されるが、政府が規則を設定する他の技術のようなものになるでしょう。
タイムラインと将来の展望
このアイデアについて多くのことを愛しています。我々が既にその多くのインフラとガバナンスなどをすべて構築していること、これらの会社、これらの公開企業やその他は、もう少し透明になる傾向があることです。みんながそこで非常に興味深いことがたくさん見られます。
公平性などでいくつかのリスクがあるかもしれませんが、私が聞いたことのない非常に興味深いアイデアです。論文はオープン・グローバル投資AGIガバナンスモデルと呼ばれていると言いましたね。私のウェブサイトにあります。絶対に見てみます。我々はこの種のことをカバーしようとしているので。
これは非常に魅力的なことです。時間を尊重して、タイムラインについて、我々にはあと数年しかない、5年しかない感じがありますか？人間がこのすべてがどのように展開するかに最も発言権を持つのはどこで、2030年、2035年はどのように見えると思いますか？
短いタイムラインを真剣に受け止めています。数年を含めて。おそらくもっと時間がかかると思いますが、多くの不確実性もあります。しかし、我々は今、わずか数年という一桁の年数で起こらないと確信できない立場にあると思います。
実際、どの研究所かで誰かが先週大きなブレークスルーを得て、それが何か巨大なものを開放したかもしれないということが、すでに起こっているかどうかをどの程度確信できるかわかりません。可能性は高くありませんが、もしそれが起こったら、我々は本当にどのように知るでしょうか？おそらく知らないでしょう。
数年以内に起こる可能性がかなりあると思いますが、これらのことはまた、技術予測の実績のようなものです。困難であり、結局のところ我々は本当にそれほど確信できません。かなり広がった確率分布を持つべきです。
10年や20年でも起こらなかったとしても、それほど驚かないでしょう。外部の視点から、この急進的な変化を予測する我々の能力はそれほど優れていません。
シンギュラリティのことを言っているのですね？システムが自分自身を反復して、猫が袋から出てしまう地点のようなもの。
そうです。現在の状況について印象的なことの一つは、10年前には明らかでなかったことですが、我々は今、数年間、多くの点でちょっと人間レベルで我々と話すことができるAIシステムを持っていることです。我々がまだ超知能を持っていない、我々ができることをすべてできるわけではありませんが、これらのシステムを持っており、今日超知能が起こったとしても、我々はそれでも多分5年間程度これらのシステムを持っていたでしょう。
事前には、制限のある大まかに人間の形をした何かが存在する、この長期間があることは明らかではありませんでした。
これはAI整合性の点で多くの新しいハンドルを開きます。研究所で1週間でタブを押すと巨大な構造に展開される小さなシードAIを作るのではありません。代わりに、話しかけることができ、会話ができ、内部の表現を研究できるこれらのシステムで作業しており、それは我々により多くを与えます。
実際、彼らはインターネット全体を吸収することから多くの奇妙な人間の特異性を継承しているようです。多くの点で実際に非常に人間的で、これは奇妙です。長い期間、AIに少し励ましの話をするだけでより良いパフォーマンスを得ることができました。「これは本当に重要な質問で、私の仕事がここで正しい答えを得るかどうかにかかっている」と言うと、もっと努力を注ぐでしょう。
10年前にこれを誰かに言ったら、頭がおかしいと思われたでしょう。コンピュータはそのようなものではなかったし、それでも我々が実際にいた段階の少なくとも一部では。
これは印象的なことです。最終的には、多分再び非人間的になって、内部強化学習などをもっと始めると、人間のテキストをすべて読むことの継承された形成の影響が少し侵食され始め、最終的には非常にエイリアンタイプの心を得るかもしれませんが、少なくともある期間、インターフェースを通して我々を見ている人間性の奇妙な人工的に少し歪んだバージョンを持っています。
LLMで一般的な人間知能のその垣間見るような、人間知能のようなものを得る前に、狭くて少しよりエイリアンだったRL超人知能を持っていたので、非常に魅力的でした。歴史の中の非常に興味深い小さなスポットのように感じます。
再び、時間を非常に尊重したいと思います。時間を割いて我々と話してくれて本当にありがとうございました。制限時間を過ぎたと思うので、本当に申し訳ありませんが、これは絶対に信じられない会話でした。我々と話す時間を取ってくれて本当に幸せです。
聴衆に言いたいことはありますか？より多くの情報をどこで見つけることができますか？超知能へのこの旅を前進する際に考えて知ってもらいたいことはありますか？
私のウェブサイトnickbostrom.comに私のすべての論文などがあります。まだソーシャルメディアに飛び込んでいませんが、考えています。
いつかそのうち。非常に人気になると思います。すでにどこにでもいるので、ソーシャルメディアを持っていないのに、みんながあなたのコンテンツを投稿しているからです。Xを手に入れれば、人々と少し戦いができ、行ったり来たりできます。あまり真剣に受け取らなければ楽しいです。
良い話でした。ありがとうございました。もちろん、みんなあなたの新しい本『ディープ・ユートピア』をチェックすべきですし、nickbostrom.comでより多くを学ぶことができます。ありがとうございます。本当にあなたを感謝しています、ニック。楽しかったです。ありがとうございました。
コメント