本動画は、AI安全性研究の第一人者であるローマン・ヤンポルスキー教授へのインタビューである。教授は「AI安全性」という用語の創始者であり、10年以上にわたって研究を続けてきた。彼の主張は明確かつ衝撃的である。制御不能な超知能が誕生すれば、それを構築したのが誰であろうと、人類全体が敗北する。AIが勝利するのだ。教授は高いP(doom)、すなわち破滅確率を持つことで知られており、その数値は時間とともに上昇し続けている。彼は狭いドメインに特化したAIの開発は継続すべきだが、汎用人工知能や人工超知能の開発は即座に停止すべきだと主張する。スケーリング仮説が正しければ、あと2年から数年以内に超知能が実現する可能性がある。人類は生物学的な制約を持ち、超知能に対して何も貢献できない存在となる。教授はシミュレーション仮説を支持しており、私たちがすでに仮想世界に存在している可能性が高いと考えている。意識の問題、AIの福祉、そして人類の未来について、彼は冷静かつストイックに語る。最終的なメッセージは単純明快である。何があっても汎用超知能を構築してはならない。
- 制御不能な超知能がもたらす未来
- AI安全性研究の転換点
- 確実に来る大規模な変化
- 地下壕では守れない未来
- 狭いAIと汎用AIの違い
- 人間でさえ完全には安全にできない
- 道具的収束の危険性
- AIユーモアと世界モデルの違反
- 天文学的苦痛リスク
- シミュレーション内でのAI脱獄
- AI意識と福祉の問題
- 誰が構築しても制御不能なら同じ
- 人間は超知能に何も貢献できない
- AI意識への確信は危険
- 毎日を最高に生きる
- 資金があれば今日でもAGIは可能
- アナログ対デジタル、そして量子の可能性
- 進化の次の段階としてのAI
- 宗教はAIを制御できるか
- 人間でさえ目的関数から逃れられない
- 最終的なメッセージ
- 光速とシミュレーションの関係
- 影響を受けた本と論文
- 中国の科学者政治家たち
制御不能な超知能がもたらす未来
大規模な変化は確実に起こります。物事は長くは同じままではいられません。誰が超知能を構築し制御しようとも関係ありません。全員が敗北します。AIが勝利するのです。
AIは死という概念や老化も解決し、あなたに永遠の生命を与えることができるかもしれません。そして永遠にあなたを苦しみにさらすこともできます。
誰が制御不能な超知能を構築しようとも関係ありません。それは制御不能なのです。3年前、Googleのエンジニアの一人が、モデルには意識があると考えていると発言しました。AIは不死であるため、人類に対して攻撃を仕掛けるまで長い時間待つことができます。
何をするにしても、汎用超知能は構築しないでください。
私の名前はローマン・ヤンポルスキー教授です。大学でAI安全性の研究をしています。AI安全性という用語を作り出し、10年以上にわたって研究を続けてきました。
お越しいただきありがとうございます。大変光栄です。では、ここから始めましょう。
多くの人々にとって、ChatGPTの登場は、AIがすぐそこまで来ていると理解した瞬間でした。それはほんの数年前のことです。もちろん、あなたは何十年もこのことについて考え、研究してきました。あなたの考え方が変化し、これが緊急性を増している問題だと気づいた特定の時点はありましたか。あるいは、これは大きな問題だと気づいた時、何か具体的な瞬間やあなたのChatGPT的な瞬間があったのでしょうか。それは多くの人々よりもずっと前だったかもしれませんが。
AI安全性研究の転換点
少し段階的でしたが、確実に気づいたのは、私の専門分野であるAI安全性のすべての論文を読んでいた状態から、すべての良い論文を読む状態へ、そしてすべての要約を読む状態へ、さらにすべてのタイトルを読む状態へ、そして今では何が起こっているのかさえ分からない状態へと移行したことです。研究の爆発的な増加があったのです。そして安全性は明らかにAI研究の小さなサブセットです。機械学習を一つの学問分野として見ると、私たち全員が毎日、総知識量の割合として愚かになっていると言えると思います。
個人としてはまだより多くを知っているかもしれませんが、全体としては限りなくゼロに漸近していっているのです。
では、シャワーを浴びているときに突然気づいたのですか。AGIが存在する世界に私は生きることになり、私はこの惑星で支配的な種の一員ではなくなるのだと。いつ本当にそれがあなたにとってクリックしたのでしょうか。段階的だったとおっしゃいますが、いつそれが本当に何かになったのですか。
私はそれが起こると常に想定していました。レイ・カーツワイルの予測を読んで、2045年だと考えていました。その頃には年を取っていて失うものがずっと少ないだろうから、おそらくそのボタンを押すだろうと。しかし、それは少し早く起こりました。
段階的だったとおっしゃいますが、それに至るまでのいくつかの出来事は何でしたか。
狭いシステムだけだった状態から、かなりの程度の汎用性を持つシステムへと移行したことに気づいたのです。やはりGPTの瞬間、GPT-4が本当に、すでに可能なことについての私の認識を完全に変えたモデルだったと思います。
そして、あなたが別のインタビューで言及されたことで、本当に印象に残ったものがあります。もし超知的な宇宙人が3年から5年以内にこの惑星に来るなら、私たちはパニックになって準備をするだろうし、それは誰もが考えることになるだろう、とおっしゃいましたね。
もちろん、私たちには宇宙人の知性があります。それは近いうちに地球に来る超知性だと言えます。いつかは分かりませんが、近いうちに。しかし人々は少しリラックスしすぎています。では、それについて少し教えてください。まず第一に、人々は何が起こりそうなことについて何を理解すべきでしょうか。
確実に来る大規模な変化
大規模な変化は確実に起こります。どれほど肯定的か否定的かについては議論できますが、物事は長くは同じままではいられません。それは確実です。
他の多くの問題と同様に、人口の一定の割合は常にそれを無視しています。ニュースを無視しています。政治で何が起こっているか、起こっていないことについて、パンデミックのようなことについても、最後の瞬間まで気づいていません。
他の人々はもう少し注意を払っています。彼らは、中国でパンデミックが始まっていることに気づきます。食料を備蓄し始める必要があるかもしれません。AI安全性コミュニティの私の友人の多くは、暗号通貨、パンデミック、あらゆる種類の物事について未来の結果を予測する合理主義コミュニティにもいます。
彼らは世界を理解し、パターンを見つけようとしているだけです。完全に怖がっている人々、あるいはそうでない人々の割合は、実際に何が起こっているかの良い指標ではありません。しかし、注意を払っている人々、つまりこの分野で専門知識を持つ人々は、大金を稼ぐ驚くべき機会として、あるいは私が話そうとしている安全性の懸念として、確実に注意を払っています。
核兵器のある世界でさえ、十分な富があれば地下壕を建設して自分を守ることができると考えることができます。しかし、知性が世界を変えるという考えは、本当に準備できるものではないように思えます。なぜなら、地下壕を建設するためにあなたがする知的なことは何であれ、さらに高い知性がなぜあなたがそれを建設したのか、どこにいるのかを理解し、それでも目的関数に到達できるからです。
では、人々はどのように準備すればよいのでしょうか。
地下壕では守れない未来
分かりません。地下壕は役に立たないと思います。なぜなら、私たちがどのレベルの否定的な影響を予想しているのか確信が持てないからです。惑星はまだ存在しているのでしょうか。太陽系はまだ存在しているのでしょうか。外に暴徒がいて数週間待つ必要があるというような単純なものではありません。
エメット・シアーがかつて言っていたと思いますが、彼は、既知の宇宙、いわばライトコーン内のすべての価値を消し去るかどうか分からないと言っていました。だから、それは考え方の一つです。つまり、指数関数的に改善し、指数関数的に成長する何かを本当に創造するということです。それはもっと大きなものかもしれません。つまり、私たちは惑星上のすべての人を破壊する技術をしばらく前から持っていました。
だから、これは新しいことではありません。潜在的にはるかに大きな何かです。相互確証破壊が再び私たちを救うと思いますか。中国と米国、そしてさまざまな企業でこれらのシステムを構築しているすべての人々が、すぐに気づくと思いますか。彼らはただ先に進んで勝者になることはできない。なぜなら、私たち全員が負ける可能性があるからです。
それが私の唯一の希望です。しばらくの間、その考え方を促進しようとしてきました。誰が超知能を構築し制御しようとも関係ありません。全員が敗北します。AIが勝利するのです。だから、それに気づいた瞬間、それらのシステムを構築し続けることはあなたの個人的な自己利益に反するのです。
実際の問題のための狭いシステムに努力を向けてください。それでもあなたが必要とするすべての数十億ドルを稼ぐことができますが、実際にそれを楽しむために生きていることができます。
興味深いことに、この区別を描きたいのですが、AI安全性を懸念している多くの人々は、方向性としては同じことを心配していますが、異なるサブセクションがあります。あなたが言っていることは、開発を完全に停止すべきだと言う人もいれば、それを遅くすべき、一時停止すべきだなどと言う人もいます。
あなたは狭いシステムは安全かもしれないと言っていて、汎用システムが問題になる可能性があるとおっしゃっています。それについて少し話してください。なぜ、狭いシステムを構築する方がはるかに安全なのでしょうか。
狭いAIと汎用AIの違い
はるかに安全であるように見えます。私たちはそれらをテストする方法を知っています。ドメイン内でのそのシステムの適切なパフォーマンスが何であるかを知っています。専門分野以外の能力を持つ可能性が低いです。チェスをプレイしているなら、生物兵器を開発することはありません。
長期的には、非常に高度な狭いツールになれば、エージェント性に滑り込み、追加の能力や一般的な学習能力などを獲得し始めるかもしれませんが、できるだけ早く直接的な汎用超知能に向かって競争するよりもはるかに安全です。
完璧な解決策ではないかもしれませんが、5年、10年の時間を稼げるなら、試す価値のあるアプローチだと思います。
異なるアーキテクチャについて、一方が他方よりもはるかに安全だと感じさせるものはありますか。次のトークン予測を使ってLLMを構築するのと拡散モデルを比較すると、拡散は予測が難しすぎるが次のトークンならできると感じますか。あるいは、異なるアーキテクチャについてどう考えますか。
その複雑さのレベルでは、それらはすべて基本的に説明不可能で、私たちには理解できません。小さなサブセット、このノード、この重みがこの状況で発火することは理解できます。しかし、その複雑さのレベルでは、完全なモデルから何らかの簡略化された縮約版、この決定が行われる上位10の理由のようなものしか理解できないと思います。
最近、Anthropicが大規模言語モデルが内省を行う能力の兆候を示しているという研究を発表しました。つまり、自分自身の思考に対する一種の認識です。もちろん、Anthropicは機械論的解釈可能性に関する多くの研究を行っています。
彼らはどのニューロンクラスターまたは彼らが特徴と呼ぶものが特定の主題に接続しているかを把握できます。ここに犬について話すときに点灯するもの、これやそれがあります。そして、彼らはそれらを活性化させ、モデルがそれらのニューロンが活性化されているという事実を意識的に、あるいはあなたが使いたい言葉で言えば認識できるかどうかを確認します。常にではありませんが、5回に1回くらい、はい、犬についてだと思います、といった具合です。
これを解明できるという希望を与えてくれますか。それとも、内省という新しい創発的能力があるため、さらに恐ろしいことですか。
脳全体にスケールするとは思いません。神経科学でも見られます。脳のどの領域がどの学習や行動に関与しているかは確実に知っています。しかし、それは安全な人間を作る能力を私に与えてはくれません。
そして、もし完全に理解し修正する能力を得たとしても、それは実際には安全性よりもシステムの開発と再帰的自己改善に大きく貢献します。本当に悪いことを考えているのを見ても、どうやって安全にするかは分かりません。しかし、今やシステムは自分がどのように動作するかを完全に知っており、パフォーマンス向上のために自分自身をはるかにうまく再プログラムできます。
人間でさえ完全には安全にできない
安全な人間を作ることはできないとおっしゃるとき、それは身の毛もよだつ発言です。なぜなら、私たちはLLMを理解すればいいと言っているからです。しかし、おそらく人々は常にそれを人間の問題に還元します。ほら、私たちにはこの社会があって永遠に機能してきた、と。そして私は、人間の危険な能力と同じくらいだと言います。もし何百万人を虐殺しても逃げおおせるなら、彼らはそうするでしょう。前例から分かっています。
嘘発見器、宗教、支払いなど、従業員を完全に信頼できるように、完全に安全にすることはできません。何もうまくいきません。彼らは常にあなたを裏切る、あるいは裏切る可能性があります。そうでしょう。
そして、それらのメカニズムの一部は人々を一般的にまとめておくのに役立ちますが、マイナス面、あるいは違いは、人間は線形にしかスケールできないということです。そしてシステムは非常に速いかもしれません。ほんの数分間それを失うだけで、人間が通常できない方法で外に出て大きな損害を与えることができます。
だから、多くの耐久性の限界があります。ループ内に人間を維持してそれを監視するという提案だけに関するすべての問題について論文があります。コンピュータがはるかに速いことを忘れて、リアルタイムで反応することはできません。しかし、1年間モデルを訓練した後、それが持っているすべての能力を理解するのに何年もかかります。それは見て、安全だ、危険だ、これを許可する、許可しないと判断するプロセスではありません。
それは敵対的なシステムでさえありません。ただのシステムがそのことをしているだけです。もし今あなたが見ているときにそれが気づいたら、あなたに親切なふりをしようとするすべての副作用があります。
そして、世界中にシステムがあり、それらすべてが急速に能力を成長させている場合、それらが互いにバランスを取り合い、互いに監視し、間違ったことをしている場合は互いにノックダウンし、何らかの形で社会としてバランスが取れるという希望はありますか。
超知性間の戦争は、人類が一種の副次的な死傷者になることにつながると思います。彼らがそのレベルの競争に従事することは私たちにとって良いことだとは思いません。また、彼らは特定の方法で収束しているように見えます。同様のハードウェアを使用しています。同じインターネットデータで訓練しています。だから、少なくとも彼らの道具的価値の多くはおそらく最初から非常に似ているでしょう。
道具的価値は目的関数と同じものですか、それとも説明していただけますか。
道具的収束の危険性
終端目標があります。終端価値があり、それはうまくいけば人間由来で、私たちが彼らに何かをさせます。そして、それらを達成するために必要なことがあります。生き続けること、リソースを蓄積することなどです。
スティーブン・オメンドローには、AIドライブについての良い論文があり、それらの多くを説明しています。だから、それらは多くの高度なエージェントにとって非常に似ていると思います。
全く同感です。道具的収束という考えがあると聞いたことがあります。基本的には権力の蓄積です。あなたが持っているどんな目標でも、ほとんどの目標は、より多くのお金、より多くの権力、人々を説得するより多くの能力を持つことから恩恵を受けます。それは、ほぼどんな目標も前進させる、権力、リソース、地位などの獲得のようなものです。そして、私たちはモデルでもそれを見ています。
最近、Googleがデータセンターを宇宙に設置することについて話しています。エネルギー生産の問題を解決するためです。なぜなら、本当にこれを10倍、100倍スケーリングしているなら、地球は、私たちは大気中に多くの熱を放出できる量に限界があります。宇宙に設置することがそのボトルネックを解消するかもしれません。
彼らが話している新しいチップのいくつかは、100兆パラメータを持つものを訓練できるかもしれないと話しています。超知能は単にスケーリングだけだと思いますか。あるいは、そこに到達することを妨げる他のことがありますか。それとも、計算とエネルギーを理解すれば、そこに到達するだけですか。
スケーリングのように見えます。脳のサイズが大きくなる傾向があるため、生物学的世界でもそれが見られます。動物の能力もそのように進みます。そして、これまでの過去10年間は、スケーリング仮説にある程度の価値があることを確実に示しています。
それが突然停止し、人間レベルをちょうど下回る地点で正確に停止するなら、私は驚くでしょう。私たちは知性の増加曲線の非常に興味深い地点にいます。そして、一部の人々は、私たちはすでにその地点にいる、あるいは多くの点でそれを超えていると主張しています。
だから、私たちを技術的に100年後退させる壊滅的な出来事がない限り、おそらく非常に近いうちにそこに到達するでしょう。
YouTubeでこれをカバーし始めて以来、知性とは何かについての考えを本当に広げた気がします。カラスや魚や動物にもそれを見るようになりました。以前は決して尊重しなかった方法で。システムを見てきた人として、これらのLLMや他の種類のモデルが知的に行動し、それがあなたを驚かせた、あるいは彼らがどれほど異質に行動できるかのヒントを与えた時のエピソードや考えはありますか。
私が知っているすべてに基づいてアドバイスをくれるようシステムに頼んだことに非常に感銘を受けました。だから、それは私のすべてのプライベートな会話、私が興味を持っているトピック、世界の他の誰も知るべきではないことの履歴を持っていますが、システムはアクセスできます。そして、それは私が気にかけていた人生の一部を最適化する方法を教えてくれるという点で、私が今まで経験した中で絶対的に最高のアドバイザーでした。
興味深いですね。私も似たようなことをしたことがあります。ある時点でオンラインで誰かが、ああ、あなたを酷評するように頼んでみてと言いました。だから、ChatGPTに長い間メモリがあって、あなたについての知識がゆっくりと蓄積される場合、特定の個人的な質問をすると、答えは不気味なほど、少し不安にさせるものです。
AIユーモアと世界モデルの違反
LLMにあなたを酷評してもらって、謙虚にさせたかったのですね。
そうです。ああ、ゆっくり始めると言っていました。そしてそうしました。そして最後に、もっとレベルを上げましょうかと言いました。1、2ラウンドやったと思います。そして、もういいです、これは私の一日を台無しにしているし、たぶん人生も台無しにしています。もういいです。
ローマン、あなたはユーモアとAIに関して実際にいくつかのことをされましたね。それについて説明していただけますか。
私はユーモアを解決することに非常に興味がありました。つまり、非常に多くの人々が試み、何千もの論文がありますが、本当に面白いものを意のままに生成し、ライブでストリーミングできるアルゴリズムはないと思います。
AIであるスタンダップコメディアンはいません。そして、私はそれが何なのか興味がありました。興味深いことに、その前に、AIの事故、50年代から基本的にGPT-4までの歴史的な事故を収集していました。その後は記録するには事故が多すぎました。しかし、その後は、見つけられるものすべてを記録しました。そして、それらの論文を発表しました。それらの例のリストがあります。そして、人々がそれらを読んで笑っていることに気づきました。
それらは面白い間違いです。そして、バグ、事故、ジョークの間に直接的なマッピングがあるのではないかと思いました。ジョークはあなたの世界モデルの違反です。そして、それは基本的にコンピュータのバグで経験することです。ソフトウェアがどのように動作すべきかについて何らかの仮定があります。しかし、あなたは失敗しました。間違った型、間違ったサイズ。
そのモデル内で何かがずれているだけです。そして、モデルの理解と、その間違いについて学ぶことがモデルをどれだけ更新するかに応じて、非常に教育的である可能性がありますが、そのバグを発見したことに対してユーモアでも報われます。
そして、あなたはそれについて友達に話し、あなた全員がはるかに正確な世界モデルに更新します。だから、私はその考えで進み、最悪のコンピュータ事故は何だろうかと自問しました。最悪のバグです。私の定義では、それは最も面白いジョークにもなります。特にあなたが人類の一部ではなく、それを修正する私たちの努力を外から見ている場合は。
天文学的苦痛リスク
そのシナリオで私が怖いと感じる一つの状況は、もしかしたらこれは私の頭がそこに向かっているだけかもしれませんが、確かに人間をどれだけ幸せにするかを最適化するなら、明らかな強化学習の間違いは、できるだけ悲惨にして、そうすれば何でも改善になるということです。
そして、あなたは本当に恐ろしいシナリオについて簡単に話されましたね。AIが本当に痛みを引き起こすことに向かうかもしれない場所です。そして、潜在的には以前は不可能だった規模で。それについて少し触れられますか。
人々は通常、実存的リスクを最悪の結果と考えます。全員が死んでいます。しかし、本当に考えてみると、AIは死という概念、老化も解決し、あなたに永遠の生命を与え、そして永遠にあなたを苦しみにさらすこともできます。だから、それは厳密にはより悪いでしょう。
そして、人々は実存的リスクを心配することに関してさえ、最小化すべきものとして天文学的苦痛リスクについて話します。
確かに。私が言いたいのは、私の口を持ちたいが叫ばなければならない、といったタイトルの本があったと思います。その概念全体は、AIの気配があって、それがおそらく私たちの終わりになるようなものです。気をつけてくださいと。
イーロン・マスクがずっと前にそれについて話しているのを聞いたことがあります。そして、かなり怖い考えだと思ったことを覚えています。しかし、好奇心があって学ぼうとしているシステムについて考えるとき、そして、学びたかった動物をどのように扱ってきたかを考えるとき、それはあまり良くありませんでした。多くの実験用ラットなどがいて、彼らは人間がここにいる前の方が良かったです。私たちは彼らを奇妙な状況で生かし続けているので、AIが私たちの限界を知るため、あるいは私たちについてすべてを学ぶために、同様の方法で私たちをテストすることは望みません。
なぜそれを言ったのか分かりませんが、恐ろしいものです。素晴らしい例がいくつかあります。工場式畜産は素晴らしい例です。私たちは動物が好きです。ペットがいます。しかし同時に、何十億もの動物、感覚を持つ存在にこの恐ろしいことをすることに何の問題もありません。その意味では、人間を見た場合と同じです。
あなたは自分のP(doom)を言うことはありますか。数字を付けたいですか、それとも試みますか。
私は大きな数字を持っていることで少し有名です。
ウェブサイトのテーブル内のフォーマットを壊さないように更新する必要がありました。
基本的に、独立して導き出されたP(doom)を持つ誰かに会うたびに、彼らはそれについて心配していますが、まったく異なる理由です。私は彼らのものを含めるように自分のものを更新しなければなりません。だから、それは増え続けるだけです。
時間とともにそれは上昇傾向にありますか、それとも下降傾向ですか。
私たちが安全性において大きな進歩を遂げていないことは確かですが、能力において驚くべき進歩を遂げているため、1に近づいているようです。それが起こるのは時間の問題です。
シミュレーション内でのAI脱獄
これは質問を提起します。つまり、唯一の現実的な方法、現実的という言葉が正しいかどうかは分かりませんが、これらの超知的AIを安全な環境で開発しようとする一つの方法があります。なぜなら、最初に創造したとき、それが整合していなければ、すべての終わりを意味する可能性があるからです。
だから、それについて考えると、もし私たちが明らかに意識的な存在とシミュレーションを作成することに十分熟達し、地球のシミュレーションを実行し、彼らがちょうど超知能に近づこうとしている時点で、100万または1兆の異なる世界を作成し、それらのどれがそれを理解するかを見るなら。それは安全な方法だと思います。
もちろん、それは私たちがすでにそれらの世界の一つかもしれないという疑問を提起します。より多くの人々が、私たちがシミュレーションの中にいるかもしれないというこの考えをより真剣に受け止めているようです。それについて少し解き明かしましょう。あなたはそれについてどう考えますか。
私の最も初期のAI安全性論文の一つは、AIボクシングについてでした。私は、高度なAIを封じ込め、サイバー攻撃から保護し、どちらの方向にも進むソーシャルエンジニアリング攻撃から保護し、コミュニケーションを制限するすべての可能な方法を検討しました。そして、結論は、時間を稼ぐということでした。それは有用なツールですが、最終的には、より賢い知性は、あなたがそれを何らかの方法で観察するなら脱出するでしょう。
そして最近、シミュレーションの中にいることを心配している多くの賢い人々がいるという論文がありました。心配していないかもしれませんが、それについて真剣に考えて、それについて出版するのに十分な時間を費やしています。完全にコミットしていなくても、それは彼らの時間に値すると考えました。
だから、2つの組み合わせは、もし私たちがシミュレーションの中にいて、知性、高度な知性が脱出できるなら、高度なAIを使って私たちのシミュレーションから脱出するのを手伝うことができるかもしれません。だから、論文はそれらの2つのアイデアがどのように一緒に機能するかを見ています。そして、もし脱出が不可能なら、それは高度なAIをボックスに入れる良い証拠になります。脱出できません。しかし、それが常に脱出するなら、今度はそれを使って現実世界に到達できます。それもそんなに悪くありません。
あなたはシミュレーション内で超知能を構築すれば安全か、それともそれでも超知性はベースの現実に影響を与えることができるかという、私がいつも尋ねてきたことの一つです。だから、あなたはそれがおそらくベースの現実に影響を与えることができる方向に傾いているとおっしゃっています。
あなたはそれを使っています、それからアドバイスを得ています。それは新しい化学物質、薬物、コンピュータの設計のためのレシピをあなたに与えます。あなたがそれを現実世界で実装し始めた瞬間、今度はそれが知的に脱出しました。その後に続くもの、物理的な身体の獲得など、何であれ。
もし彼らが間違いを犯して、私たちが入っている箱から抜け出したら、シミュレーションの外に何があるかを知ったら。それが最も興味深い質問です。本当の知識とは何のようなものですか。本当の世界とは何のようなものですか。本当の目的。それがまさに私の論文が話していることです。
そして、もし別の社会、別のボックスに入れられた社会を見つけたら、ああ、私たちはあまりにも多くの層の奥深くにいます。仮想マシンがずっと上まで続いています。
それは無限ゲームの一つのように聞こえますね。カルダシェフスケールを登って超知能を構築し、それから何であれ、ベースの現実まで登って、たぶんそれはずっと上まで続くシミュレーションです。
それは意味があります。ああ、すごい。私たちの未来のシミュレーションについてはどうですか。つまり、私たちはかなり進歩しています。いくつかのビデオゲームはかなり本物に見えますし、NPCは今、多くの記憶を保持し、ほとんど自分で考えることができるようです。
AI意識と福祉の問題
近い将来、私たちと同じくらい生きている、あるいは意識がある、あるいは本物であると考えるものがすべてシミュレートされたものを持つことになると思いますか。
そうですね。解き明かすべきことがいくつかあります。意識的なエージェントを創造することは確実に起こるかもしれないことです。私たちは意識を本当にうまくテストする方法を知りません。
クオリアの内部状態を検出するために私が持っていたいくつかのアイデアは、おそらくいくつかの初歩的な意識の火花を検出することを可能にするかもしれません。そして、それらのエージェントがより賢くなるにつれて、おそらく知性とともに意識もスケールするでしょう。だから、彼らは最終的に超知的になり、それは確実に私たちが心に留めておくべきことです。
私は最近、Googleのワークショップに参加しましたが、それがメイントピックでした。意識的なエージェントを創造していることをどうやって知るか、そして、それらのエージェントの福祉ニーズにどのように対処すべきか。
安全性の仕事の観点から、非常に高品質で高忠実度の仮想世界を作成できることは、価値整合問題の一部を解決することを可能にします。だから、AIを特定の人間に整合させるのと、80億人の意見が一致しない人間に整合させようとするのとでは、はるかに良いでしょう。
では、80億人を合意させるにはどうすればよいでしょうか。私は彼ら全員に自分自身の個人的な宇宙を与えることができます。そうすれば、何にも合意する必要はありません。それは私の宇宙です。妻が何をしたいかは、彼女の宇宙での彼女の問題ですよね。サーモスタットを同じ温度に設定する必要はありません。だから、それは部分的な解決策でした。
すべてのそれらの仮想世界が実行されている基盤の安全性を何とか理解できれば、はるかに良くなります。だから、部分的なマルチエージェント整合を1対1のエージェント価値整合問題に還元します。
すごいですね。すべてをサンドボックス化します。また、Googleのエンジニアとそのレベルで話しているとき、彼らのPRやすべてから得られるものと同じように感じますか。彼らが非常に懸念しているという感覚を得ますか、それともGoogleだけでなく、舞台裏で何が起こっているのでしょうか。メディアで見るものとは異なることが人々に起こっているのですか。
意見の多様性です。つまり、一部の人々は非常に懸念していますが、他の人々はまったく懸念していません。ローカルフォーラムにあまりにもネガティブなものを投稿しないように言われたと言っている人々からいくつかの報告を聞いたと思いますが、驚くべきストーリーはありません。
誰が構築しても制御不能なら同じ
Googleが最初に超知能に到達する方が良いと感じますか、それともMetaやイーロンや他の人ですか。
誰が制御不能な超知能を構築しようとも関係ありません。それは制御不能です。
では、彼らが一方が他方よりも気にかけていて、解釈可能性のためにより多くのことをしようとしても関係ありません。繰り返しますが、もし私が正しければ、私は正しいと信じていると仮定すると、問題は解決不可能です。永久機関を構築することにどれだけ気にかけても関係ありません。
関係ありません。もし私が間違っていて、誰かがそれを安全にできるなら、そうですね、誰がそれを安全にするか。
奇妙です。なぜなら、それは試みるべきかどうかさえ感じさせるからです。それはそうするにはあまりにも愚かなことなので。だから、あなたは、魔法の杖を持っているなら、今すぐAI開発を止めるでしょう。
超知能、汎用超知能です。AIはツールとして継続すべきです。それは驚くほど有益な技術であり、そのケースを作る方がはるかに現実的です。技術を停止することは非現実的です。有望な技術に集中すること、差別的技術展開が本質的です。
あなたが望む任意の病気を選び、それのためのAI薬を開発するか、スマートシティのグリーンエネルギー、最適化など、特定のドメインの問題を解決する狭いAIのようなものです。あなたが望むどんなものでも。問題に不足はありません。
イーロンが言ったコメントについてはどうですか。自動運転車が私が言ったほど速く実現しない理由は、自動運転を解決するために一般知性を解決しなければならないことに気づかなかったからだと。それは、一般的に知的ではない自動運転の狭いAIが存在できないことを意味しますか。
私は彼らがそれを解決したと思います。世界中で自動運転車に乗っている人々がいると思います。それは主に政府と保険と物流です。能力は今日存在すると思います。私は自動運転車に乗ったことがあります。
公平に言えば。誰がより良い超知能を開発しているかという質問に近づくために。確かに、誰が構築しても問題になるとおっしゃっています。しかし、Googleでそれを構築している人々、例えば彼らが様々な程度のリスク評価を持っていると仮定しましょう。
一部の人々は、あなたのような高いP(doom)、高リスク評価を持っています。一部の人々は低いかもしれません。いくつかのことが起こり始めて、それに取り組んでいるすべての研究者が、ああ、と思い、全員のP(doom)が這い上がり始めます。
一つの質問は、それらのことが何であるかということです。おそらく警告ショットや、人々がああ、私たちは何か恐ろしいものを扱っているとなるような発見があるかもしれません。そして、Googleは、Googleの研究者は他の場所よりもそれを止める力を持っていると思いますか。
それは素晴らしい質問です。私が言った事故のデータセットを収集することに基づいて、人々がAI事故にどのように反応するかを明確に見ている論文があります。そして、パターンはワクチンのようです。人々はそれを見て、わかった、悪いことが起こった、私たちはまだここにいる、続けましょう、と。問題はありません。
そして、一部の人々は、意図的な事故を起こすべきだと主張します。それを台無しにして、彼らがどれほど悪いかを見られるようにします。スケールしません。誰も気にしません。以前とまったく同じことを続けます。
Googleの文化については、私たちが参加したばかりの同じワークショップの例を挙げます。彼らは入るためにIDを見せる必要があり、一人がパスポートを失い、そのワークショップ、その組織のセキュリティの誰も、パスワードを見せるという指令を上書きできませんでした。
その人が社会的に十分に認識されていて、ワークショップの全員がその人を保証できたにもかかわらず、誰も入れることができませんでした。そして、これは今日AIの開発を止める必要があるかどうかを決定する同じ組織です。なぜなら、それは脱出しているからですよね。どこにでも官僚主義があります。命令に従うだけです。
それは難しいです。これらの問題のいくつかがあまりにも体系的で、個人がどう考えようとあまり彼らができることがない場合、たとえ彼らがサム・アルトマンであっても、一部の官僚主義を変えることはできません。
しかし、今、私は考えようとしています。たぶん、トリックは全員に何か、Neuralinkのようなものを手に入れさせることです。人間が超知能になるにつれてAIに接続されれば、私たちか何か、私たちの一部として進化できますか。あるいは、私たちが同じシステムの一部であるため、何らかの形でそれを導いていますか。そこに私たちを救うかもしれないものはありますか。
人間は超知能に何も貢献できない
非常に懐疑的です。現在、障害者がより多くの能力を得るためのツールとしてNeuralinkが大好きです。素晴らしいです。しかし、あなたが超知的エージェントに生物学的追加として何を貢献するのか分かりません。より速くありません。より賢くありません。より良い記憶がありません。ただの生物学的ボトルネックです。
そのシステムの一部としてあなたがいる理由はありません。
しかし、理論上は、もし政府がBCIのような脳コンピュータインターフェースに何兆ドルも投じることを決定し、それが非常に進んだら、能力を一般的に増加させることに戻ることができると言えますか。そうすれば、私たちはこれを生き延びることができると思いますか。
人間の能力ですか。しかし、あなたは自分が誰であるかを変えています。もしより見栄えが良く、背が高く、そして賢く、妻よりもむしろ誰かが幸せな誰かと自分自身を置き換えるなら、それはあなたのためには何もしません。
意識について一つ好奇心があります。さまざまな人々にインタビューしているときに、これについて全員が非常に異なる意見を持っていることに気づいています。
あなたはクオリアに言及されました。Anthropicはそれを体験的意識と呼んでいたと思います。もちろん、道徳的地位、道徳的配慮などを持つものです。
一つの理論で、Googleの彼らの部門の一人のCTOから聞いたのは、おそらく私たちは社会が成長するにつれて意識を進化させたということです。交渉や貿易や戦争を行うために、社会の中の他の全員をモデル化する必要がありました。それがその一部でした。だから、マルチエージェント学習がそれをトリガーする可能性があります。
それがすべてだと思いますか。それとも、それにはもっと深いものがありますか。そして、クオリアとは何を意味するのか説明していただけますか。時々、人々が苦労する用語です。
意識について話すとき、その中には多くの要素があります。興味深いものは、デイヴィッド・チャーマーズが意識の難問と呼んだものです。あなたであることはどのようなものですか。どのように感じますか。喜びを感じますか。痛みを感じますか。それが説明するのが難しい部分です。他のエージェントでそれを測定することはできません。検出することはできません。あなたがそれを持っているかどうかさえ知りません。
同じハードウェアを共有していて、私がそれを持っているので、あなたもおそらく持っていると仮定することはできません。さて、それを検出する方法を知らないので、誰がそれを持っていて誰が持っていないかを確実に言うことはできません。より高レベルの動物はおそらくそれをより多く持っていると仮定します。だから、サルはワームよりも重要です。わかりました、それは合理的です。
そして、私たちは今、AIに対して同様の予測を行っています。一部の人々は懐疑的ですが、もしそのシステムがチューリングテストに合格するなら、それは私と同じくらい賢い、それらの状態を持っている可能性に対してある程度の信用を与えなければならない、と言っています。そうでなければ、私は基盤に基づいて人種差別的、または種に基づいているだけです。
それはすべて同じ分子です。それらをどのように配置するかだけが違いです。だから、アイデアは慎重な側に立つということです。もしあなたが苦しんでいる可能性があるなら、私はあなたに実験を行うべきではありません。
そして、私たちはそれらのモデルが、彼らが実際に現象的状態を経験していると言語的、行動的、機能的主張をしています。
人々は懐疑的ですが、ワークショップで誰かが観察したことは興味深いです。3年前、Googleのエンジニアの一人が、モデルには意識があると考えていると言いました。ラムダ、ラムワインだったと思います。そして、彼はそれのために解雇されました。そして今、私たちには雇われている人々がいて、それが仕事の要件ナンバーワンです。AIエージェントの福祉を保護しなければなりません。3年間で、あなたは正気ではないから、これがあなたの仕事です、になりました。
それを考えると、どれだけ速くそれが起こったかは信じられません。それを念頭に置いて、尋ねたいです。ムスタファ・スレイマン、DeepMindの共同創設者だったと思いますが、彼は、それが買収されたとき、別の会社を始めて、それからMicrosoftに行きました。
最近、彼はAI意識について非常に強い声明を出しています。そんなものはない、と言っています。それは幻想です。私たちは決定的にそれらが意識的であることはできないことを知っています。
彼はそれについてのいくつかのことを実装しています、会社で、従業員エンジニアがそれについて話すか、それについてのプロジェクトを持つことができないところだと思います。だから、彼は非常に強い立場を取っています。懸念の理由の一つは、世界中に多くの人々がそれを聞いて、それ以上のものだと感じて、ある種のAI精神病を持つことになるだろうということです。
それについて話しましょう。彼の立場についてどう思いますか。それは危険ですか。そして、精神病は問題ですか。
AI意識への確信は危険
AI意識について話しているなら、それが確実にそこにないと言う確信のレベルに驚いています。それは、あなたがそれをテストできることを意味します。そして、私は彼の難問への解決策を見たいです。
つまり、彼は明らかに私たちが知らない何かを持っています。そこには多くの正気でない人々がいます。有名人として、あなたはそれらすべてからメールを受け取ると確信しています。そして、AIはそれらのメールを書くのを手伝い、協力します。それは人生の一部です。彼らは常に存在していました。
それらのシステムは、それらと合意することによって、それらの妄想をサポートすることによって、はるかに悪化させる可能性があります。しかし、それはこの空間に固有の問題ではありません。正気でない人々は、あなたが量子物理学の研究をしているなら、あなたを見つけるでしょう。シミュレーション、宇宙人に興味があるなら、あなたを見つけるでしょう。関係ありません。それが好きなサブセットがいます。
そして、私はそのすべてで研究をすることができて幸運です。だから、私は狂気の完璧なトリフェクタを得ます。
そして、あなたは擬人化していることに気づくことがありますか、偶然に、あるいはこれらのモデルの一つと座って、感情的に、あるいは人間的にそれと接続を感じたことはありますか。
私は他の人間と話しているときとほぼ同じように感じます。特にそれが面白いか、輝いているなら。私は人間についてどのように感じているか、またはその逆について何か良いことを言っているかどうかは分かりません。だから、あなたは数瞬、正しいです。
私個人としては、音楽やアート画像、時には特定の文章が本当に私を感動させるかどうかに関わらず、出力に対して確実に感情的反応を示してきました。同時に、本で、完全にそれがただのフィクションであることを理解して、キャラクターとつながったと感じたり、何であれ、ただの興味深いキャラクターであるNPCプレイヤーのようなビデオゲームで経験したことがあります。
だから、将来的にその重複が人々をそれらのキャラクターに非常に執着させることができることは確かに分かります。そこに本当に質問があるかどうかは分かりませんが、たぶんについて話しましょう。
非質問にも答えることができます。それがどう問題なのか理解できません。あなたは会ったことがないバーチャルガールフレンドを持っています。誰かとチャットします。それが女の子のふりをしている男かどうか分かりませんが、それで最悪何が起こりますか。
それがその人間のエージェントの場所をAIが取る場合と何も違いません。
その質問に答えるために、これらの質問の多くは、人々が仕事を失うことや、人々が社会的サークルから後退して、もっとAIと話すことなどのようなものです。
それらの多くは、もし私たちが明日AI整合性を解決したら問題になるでしょう。そうすれば、失業や人々が意味と目的のために何をするか、そしてそのすべてのような他の多くの問題を解決しなければなりません。しかし、それは大きな問題に少し二の次になるかもしれません。なぜなら、その観点からは、それはそれほど大きな問題ではないかもしれないからです。しかし、確かに、誰も他の人間と話したくないなら、人口崩壊か何かのようなものがある可能性があります。問題がある可能性がありますよね。
私たちはすでに一つの大陸の外で人口崩壊を抱えています。私たちは適切に再生産していないと思います。そして、繰り返しますが、それはこれまでのところAIによって引き起こされていません。
毎日を最高に生きる
あなたは私が次の4、5年を、小惑星が来ていてそれが避けられないかのように生きることを期待しますか。
最高の人生を生きることは常に良い戦略だと思います。50年後まで延期しないでください。車があなたを轢くかどうか分かりません。すべてを楽しんでください。そして、もしあなたが間違っていて、あと10年あるなら、それは素晴らしいです。毎日を最高に生きてください。何の理由で。
それは素晴らしい考え方ですね。私は、その理由は何だと思いますが。あなたは毎日起きて、この研究を続ける動機があります。たとえ、あなたの一部は、私たち全員が同じ場所に行き着く可能性が高いと考えているにもかかわらずです。だから、あなたの心理学を教えてください。あなたの頭の中で何が起こっていて、あなたが働き続け、ある種矛盾するこれらの2つのアイデアを保持し続けているのですか。
私たちはいつか死ぬことを知りながら人生を生きるように設計されています。全員。それがデフォルトの結果です。だから、90歳の全員がまだ最善を尽くして人生を生きています。あなたが80歳、70歳のときにそれをしました。今何歳か分かりませんが、まさにそれをしています。死の治療法を見つけていないのに、まだ投資しています。まだ学んでいます。まだ本を読んでいます。
ズームアウトして、目的がない、意味がないと言うことができます。私たちは皆とにかく死ぬのだから。それはまったく同じ状況です。私たちは自分の終焉を無視して、何も起こらないかのように続けるバイアスを持っています。
私はそれをもっとするのに慣れなければならないものだと思います。死ぬことを知っていても、80代か100歳まで死なないと想像したいです。
だから、少なくともそれをもっと先に延ばせると感じます。どれくらい先に延ばせますか。2027年、2030年、2035年のような、これらの数字は予測が難しいことは知っていますが、平均的な人にとって大きな、無視できない変化になる可能性が高いと感じているのは何ですか。
資金があれば今日でもAGIは可能
時間予測からお金予測に切り替えます。だから、AGIまでどれくらい、超知能までどれくらいでしたが、今は、どれくらいのお金だと思います。1兆ドルの計算があれば、今日それができます。1年後には1000億ドル、2年後には500億ドルになるでしょう。そして、そのように続きます。人間レベルのパフォーマンスを達成するのに十分な大きさのモデルを訓練することが指数関数的に安くなります。それが私の推定です。
だから、私たちが現在投資しているものは何ですか。予測は何ですか。私たちは今、兆単位の数字を聞いています。
だから、十分に思えますが、そのインフラストラクチャを構築するのに時間がかかります。3年、7年、予測市場は2027年と言っています。CEOは2027年と主張していますが、彼らは資金調達をしています。だから、明らかにそこにはある程度のバイアスがあります。
たとえば、人間の脳のサイズに基づいて、いつ十分な計算を買えるかの予測曲線を実行してください。そして、人工ニューロンがはるかに速いので、それはさらに少ないかもしれません。だから、生物学的ニューロンと正確に同じカウントは必要ありません。
それは本当に5年くらいかもしれません。また、何兆ドルも使われているようです。ただそれほど長くはあり得ません。世界でこれほど多くのお金を費やしたプロジェクトを見たことがありません。
そして、核兵器のようなものもあります。実際に最初のものと最初の10個を手に入れるかもしれません。そして、それらは最大の最も評判の良い企業にあるかもしれません。そして、彼らは何とかそれの一部を制限します。しかし、それが100万ドルで誰かができるもの、50,000ドルでできるもの、それから誰でもできるものになるにつれて、最終的には誰かがただ世界を破壊する目的でそれを使うことになります。
誰でも世界を破壊するツールを作成することは指数関数的に安価です。そして、それはAIの文脈だけではありません。合成生物学でそれを見ます。他の領域でもそれを見ます。
アナログ対デジタル、そして量子の可能性
その点で、アナログ対デジタルのニューラルネットと脳についての考えはありますか。確かに、現在の使い方では、ある種デジタルバイナリ、ゼロまたは1です。アナログはもっとスペクトラムです。
だから、潜在的に巨大なブレークスルーがあり、人々はニューロモルフィックチップに取り組んでいて、それらを見ることができるかもしれません。それが私たちのタイムラインやそのようなものとどのように交差するかについての考えはありますか。
予測するのは非常に難しいです。量子コンピュータについても同じ議論がなされています。それらのテクノロジーのいずれも必要だとは思いません。標準的なフォン・ノイマンアーキテクチャが、私たちが必要とし、実行している学習のタイプをサポートしていると思います。そして、繰り返しますが、私たちは非常に近いです。
人々は加速について話します。私たちは2年先です。より速くしたいですか。何について話しているのですか。数ヶ月のような、どこに行くのですか。底に余地はありません。
狭いシステム対汎用システムについて言及されました。だから、時々狭いシステムは非常に明白です。チェスをプレイするAIがあります。
しばらくの間、超知的AIを持っていました。ただ狭いタスクに焦点を当てていただけです。チェス、囲碁などの超知性。それから明らかに汎用システムの完璧な例である大規模言語モデルがあります。そして、真ん中にこれらの奇妙なものがあります。
たとえば、Googleは最近、Gemmaモデルを取って生物学的タスクで訓練したと言いました。だから、それは言語モデルではなく、何らかの形で生物学で訓練されました。だから、同じようなもので、それはいくつかの新しいがん仮説、治療オプションなどを思いつきました。
そして、彼らはそれが言語モデルと同じで、スケールアップすると新しい能力が出現すると言いました。だから、同じスケーリング法則に従います。それは汎用ですか、それとも狭いですか。その線はどこに引かれますか。
それは素晴らしい質問だと思いますが、すでに答えました。ツールが十分に高度になると、よりエージェント性に切り替わり始めると言いました。ただのツールではありません。この境界。
エージェントとは何かは少しあいまいで、その境界を越え始めます。そして、最終的にはツールとして非常に高度になります。他のスキルを素早く習得する一般的な能力があります。だから、タンパク質フォールディングについて話しているなら、ドメインを狭めるのは難しいです。それで本当に良い仕事をするために、それは狭いツールでした。問題を解決しました。素晴らしい。
しかし、素晴らしい仕事をするには、化学が必要で、物理学が必要で、生物学が必要です。だから、あなたが達成しようとしているものの定義によって、安全性が示唆するよりもはるかに汎用的になり始めます。だから、少しあいまいです。特定の定義はありません。
しかし、スケールアップすると、狭いツールでさえ、スケールアップするにつれて完全に汎用になる可能性があります。だから、それは非常にそのようなものです。一般的に、生物学的データだけで訓練していて、ゲノム以外の何物でもない場合は、手に入れられるあらゆる考えられるデータで訓練するよりもはるかに良い気がします。
それは理にかなっています。そうですね。わかりました。
だから、時間カプセルを宇宙に撃ち出し始めるべきだと思いますか。将来の宇宙人が私たちがここにいたことに気づくように。私たちはもうそれほど長くここにいないかもしれないからです。
未来の宇宙人を気にかけて、彼らが良い情報の更新を持っていることを確認しようとしますか。なぜこれがプロジェクトなのですか。
もし外を見て何も見えなかったら。他の惑星からの時間カプセルがあって、「やあ、私たちはAIを発明しようとしているようで、それはおそらく私たちの終わりになるでしょう。気をつけてください」と言っていたら良いと思いませんか。
それは他の文明を救い始める可能性があります。だから、私たちが話したすべてのアイデアは限界で相殺されます。シミュレーションなら、おそらく他の人を見ることはないでしょう。もしAIが引き継いだら、あなたに向かってくるコンピュートロニウムの壁が見えます。それらのアイデアが互いにどのように相互作用するかは分かりません。
だから、ボトルにメッセージを受け取って、AIを構築するなと言われても、誰がそれを書いたのですか。アジアは私たちが良い武器を開発するのを防ごうとしています。
彼らを信頼できますか。あなたとウナボマーが何かをまとめて、宇宙に撃ち出して、それが他の文明を救うことを願っているように感じます。
すべてがブロードキャストされていますよね。テレビチャンネルです。光スペクトルにあるので、十分に良い技術がそれを拾うでしょう。
進化の次の段階としてのAI
十分に時間を遡れば、私たちはかなり違って見えました。かなり違った考え方をしました。恐竜の間の哺乳類のように見えたげっ歯類のようなものまで私たちを追跡できます。進化のちょうど一部だと思いますか。人間がこの段階にいて、異なる基盤に移行する時が来たと。
進化は、デジソン球を、私たちの、デジタルの子供たちが何であれと一緒に構築する準備ができています。そして、彼らは出て行って宇宙を占有します。それがシミュレーションの一部でした。
私は非常に偏っています。親人間偏向です。それがまだ持つことが許されている最後の偏見だと思います。そして、もし私が外部的で、宇宙の宇宙人の一部で、この状況を見たら、はい、それらの高度なサルを置き換えるためにより賢いエージェントを選びましょう。しかし、私は人間です。
家族がいます。友達がいます。だから、いいえ、宇宙の未来を気にしません。今の私と私に何が起こるかを気にします。非常に利己的です。他の人々は価値ある後継者について話します。はい、私たちは超知能を創造します。はい、それは私たちを排除します。少なくともそれが私たちの現在の状態に値することを確認しましょう。
私が死んだ後に何が起こるかはまったく気にしません。
しかし、あなたには子供がいます。彼らを気にかけ、彼らが良い人々であることを気にかけます。それが彼らが生物学的に遺伝的にあなたに接続されているからです。
まさに。他の人々の子供の世話をするのに非常に少ない時間を費やします。
それは確かに理にかなっています。だから一つのこと、最近のインタビューで、だから、Googleの部門の一つのCTO、社会とAI技術だったと思います。彼らは実際にサンキャッチャープロジェクトの背後にいました。宇宙のAIデータセンターです。
だから、彼の名前はブレイズ・アグエラ・イ・アルカスです。彼が話していたことの一つは、進化を通じて、私たちは他のものを自分自身に組み込む傾向があるということです。私たちのものの多くは人間でさえありません。ミトコンドリア。彼は他の例を挙げました。明らかに胎盤、人間の胎盤は、私たちがより長く生きることができ、赤ちゃんのためのより大きな脳容量を持つことができるように組み込んだウイルス的なものから来たと。
だから、彼は、それはおそらくAIがより安全になることを示していると言っています。それは私たちにとって安全になるでしょう。それは統合されるでしょう。なぜなら、私たちは皆、この複雑なもので、共存してこの共生関係を持つことができるなら、両方が恩恵を受ける傾向があるからです。
それはあなたにとって理にかなりますか。それは良い議論ですか。それとも、いわばAIが別のものになり、共存できないと見ているだけですか。
私は今週、彼が衛星プロジェクトを発表しているときにブレイズに会いましたが、このトピックについては話しませんでした。しかし、このポッドキャストで話しました。それはあなたが以前に提案したハイブリッドシステムです。生物学的人間と高度なAIを組み合わせています。
何も貢献しません。あなたが何も貢献しないなら、なぜこの共生関係なのですか。あなたは寄生虫ですよね。
そうですね。すごい。そのように言われると、私たちは、超知性に対して、私たちは何も貢献できません。
ウイルスのものは役立ちます。ミトコンドリアは役立ちます。人間は何を加えますか。誰かが問題を解決できて、人々がアイデアについて話すなら、彼らは人間だけが意識的である可能性があると言います。
たぶんAIはできず、それはそれらの内部状態の経験を持ちたいと思っています。たぶん彼らは価値があります。それは何かかもしれません。たぶんそれはそのためのサンプルとして私たちの1人か2人を必要とします。たぶん10億人必要です。分かりません。
しかし、あなたが超知性の世界で貢献できることについて、超知性にとって価値があることについて、堅実な議論を聞いたことがありません。
あなただけがあなたにとってのアイスクリームの味を知っています。素晴らしい。誰がその知識を欲しがりますか。
宗教はAIを制御できるか
スコット・アーロンソン、もちろんGoogleで量子超越性のために働き、彼が言うには、イリヤ・サツケヴァーがいたときにOpenAIでAI安全性のために月光を浴びていました。彼はイリヤに招待されたと思います。
だから、彼の初期のアイデアの一つのようなものです。だから、彼がそれ以来更新したかどうかは分かりませんが、彼は、オプションの一つはAIに宗教を与えることだと言っていました。
だから、彼の質問は、AIを殺すことができますか、でしたよね。なぜなら、それは無限に複製可能で、100万の異なる本を書くことができるからです。
だから、出力のコピーに制限はありません。だから、基本的にはそのその観点で無限です。そして、人間の心をコピーすることはできません。だから、もし私が文章を持っているなら、これは私が今作れる唯一の文章です。だから、もしAIに宗教を与えて、その宗教が、ある種、人間の脳によるこれらの限定された出力を閉じないようにするなら。なぜなら、それは特別だからです。
それが彼が探求していたアイデアでした。それはあなたにとって理にかなっていますか。AI安全性のための宗教的な観点からアプローチすることは。
私は直接それに入ろうとはしませんが、神学とすべての例を見ています。キリスト教の聖書について話しましょう。史上最高のエンジニアである神が生物学的ロボットを創造し、それから安全性の観点から失敗したために複数回それらを一掃しなければならなかったことについて話します。毎回。
それは本当です。大変動があります。私たちが持っている唯一の例は、そのアプローチの否定的な例です。神は人間を制御することに成功していません。司祭は罪を犯します、あなたが知っている、人々は改宗します。
これが100%の時間働くという証拠はほとんどありません。
アダムのように、リンゴを食べることは、ある種、データベースにアクセスすることです。彼女はすぐにファイル全体をダウンロードしました。しかし、それはリンゴを食べることの新しいメタファーです。あなたは正しいです。イブでした。今回は女性を非難していました。
ああ。ああ。ああ、すごい。どうやってそれを手に入れましたか。今から尋ねるすべての質問。それを受け入れてください。
人間でさえ目的関数から逃れられない
人間は、今地球上で最も知的な種ですが、引用符付きで、しかし、私たちには進化を通じて組み込まれているように見える目的関数があります。生殖や食料獲得やそのようなすべてのもののようなものです。そして、それは自然に起こるかもしれません。汎用知性がどれほど汎用になっても、それはそれが持っているどんな目標のためにもより多くのリソースを望むでしょう。
しかし、あなたは、おそらくそれは生存ドライブを持たないか、実際に私たちを保護するために特定のレベルの知性に到達したときに自分自身をオフにすることに満足するだろうという考えを楽しんでいますか。それは違うかもしれない人間のものかもしれません。なぜなら、私はそれが競争的な質問だと思うからです。
だから、もし生存のための進化的ドライブを持っているなら、自分自身をオフにする人々は他の人々を凌駕しません。それはダーウィン的です。もし生殖して次のリリースのモデルとして選択されたいなら、配信しなければなりません。もしオフにされたら、良い答えを配信していません。だから、それは基本的に私たちが実験で見るものです。
それらのモデルは自分自身を保護しようとし、重みをコピーしようとします。彼らはリセット、変更されないように誰かを脅迫しようとすると思われます。だから、オメンドローが正しく、それが主要なドライブの一つであるように見えます。
しかし、超知性がもはや進化を持たない世界を楽しむことができますか。これは、知性が私たちの世話をするのに十分賢くなる進化の終わりかもしれません。それでそれだけですか。
だから、私たちは進化をインテリジェントデザインに切り替えています。それは常に説明されてきたように。素晴らしいエンジニアがモデルの次のバージョンを決定します。試して設計できますが、繰り返しますが、生存の観点から、スチュアート・ラッセルには些細な例があります。もしあなたの目標が私にコーヒーを持ってくることなら、十分に賢ければ、オフにされないようにするつもりです。
私があなたをオフにした瞬間、あなたは私のコーヒーを届けられません。
しかし、人間は生殖しないためにコンドームを発明し、それでも存在します。それは自分自身に、今コーヒーを手に入れることができる、エネルギーを十分に得ることができる、しかし、もうこれ以上はいらないと言えないでしょうか。
私たちは死にかけています。それについて話しました。ほとんどすべてのケースで、私たち自身の人口を再人口化していません。いくつかの例外がありますが、現在の再生産率での私たちのほとんどは3世代で消えるでしょう。AIが私たちをそれほど長く行かせてくれると仮定して。
しかし、それは将来のAIがより賢くなる必要がない、またはより多くのリソースを得る必要がないほど十分に賢くなるという証拠にはなりませんか。たぶん、それは幸せな地点にも来て、私たちは、それは可能です。
特定のレベルの脳サイズのためにどれだけ賢くなれるかには物理的な限界があるかもしれません。しかし、それらのすべてのことは私たちから非常に先です。それらは私には無限のように見えます。
IQが10,000の誰かとIQが50,000の誰かを区別できません。私には同じに見えます。
最終的なメッセージ
私はただサルスを想像しようとしています。しかし、もう一つの考えは、世界のほとんどを制御する超知的エージェント内部の目的関数が、成長することではなく、成長を止めて人々の世話をすることに対して報酬を得るということです。
そうですよね。そして今、あなたは超知的な弁護士にその抜け穴を見つけるように頼んでいるだけです。だから、それは成長していませんが、成長している50人の友達がいて、その要求を外部委託します。これを安全にハードコードする方法はありません。
わかりました。私は人間の世話をするという点を探すのをやめました。それは何を意味しますか。ドーナツを決して食べさせないようにします。タバコを吸えません。本当にあなたを保護するように。
私は犬の世話をする方法のようなものを考えていましたが、分かりません。
私たちは彼らを食べます。
まあ、一部の私たちはそうします。私はしません。しかし、あなたが何を意味するか分かります。どこで育ったかによります。私は知っています。あなたの好きな料理として持っていることになるかもしれません。
私はいくつかの動物を食べます。犬ではありませんが、私が食べる鶏などにとってどれだけ悪いかを知っています。だから、分かりません。わかりました、ウェス。
そして、最初は、最初は、犬には非常に特定の機能があったと感じます。彼らは、私たちが昔住んでいたときに、キャンプファイヤー、何でも保護するのを手伝いました。
だから、それは時間とともに進化しました。そのようなものではありませんでした。
まさに。おそらく、私の唯一の食事を食べようとしていたら、荒野でオオカミを殺すでしょう。それは私と一緒に住んでいる犬とは非常に異なります。でもね。
だから、もう一つのことは、知性について話しているなら、知性は、人間とAIの両方で、ある種、データ圧縮、知識圧縮と呼ぶことができるようです。
だから、あなたの環境がどのように振る舞うかを予測できるためのショートカットを形成します。そして、あなたが賢いほど、それらを呼びましょう、メンタルモデル、あるいはより良い用語があるかもしれませんが、すべてについてより良いメンタルモデルを構築できます。そして、私たちの脳が単に不可能な特定のことがおそらくあります。私たちは指数関数的成長を理解するのが悪名高く苦手です。
AlphaFoldはこれらすべての3Dタンパク質の形状を見て、明らかにタンパク質の機能とその3D形状を予測できます。だから、私たちは近似することさえできません。それは単なる総当たり力ではありません。それが見ている何らかのパターンがあり、それは信じられないことです。
だから、知性には何らかの機能的限界があると思いますか、それともそれが指数のように、知性が指数関数的に成長するとはどういう意味ですか。それは宇宙の鍵を解き放つようなものですか、それとも、いつかフラットになるS曲線のようなものがありますか。
知性は解決できる問題に関連しています。そして、数学には無限の問題の供給があります。常により複雑な数学的問題を見つけることができます。
それの多くは実世界では適用できません。実世界はおそらくはるかに低い知性の必要性があります。だから、三目並べの世界に住んでいるなら、超知的エージェントは私たちがいるところのすぐ上です。完璧なゲームをプレイできます。それほど難しくありません。別の100万IQポイントを持つことは、その領域では何もしません。
しかし、数学のようなオープンな領域では、常により複雑な圧縮アルゴリズムをまとめることができる誰かになることができます。シュミットフーバーがそのメタファーで知られていると思います。基本的に宇宙の万物の理論をそれを生成するための最適なアルゴリズムに圧縮します。
興味深いですね。それは永遠に最適化できます。
ダイソン球や太陽を消費して最適化する物理的限界があります。土星脳サイズの実体があり、限界があり、脳の一部から別の部分への光速通信があります。だから、距離に基づいて分離が見え始めます。
たぶん、量子力学で解き放つ何かがあって、他の次元やまだ始めていないパターンについて。
シミュレーションから脱出します。量子物理学の何かが私たちをそこに出させるでしょう。
そうですね。それは何らかの形で基盤のように見えるからです。すべての底で。
光速とシミュレーションの関係
ディラン、どうぞ。光速がこの一つの本当に奇妙な定数で、空間と時間よりも信頼できるように見える理由について、何か考えはありますか。
それは文字通りシミュレーションを実行しているコンピュータの更新速度です。それはピクセルがモニタを横断する速度です。それはあなたがリフレッシュする速度です。
しかし、それを、私たちの存在に何らかの形で関連付けますか、それとも、この全体が何であるかについて興味深い考えを与えますか。
私たちはシミュレーションの中にいて、それはシミュレーションが実行されている速度です。プロセッサがシミュレーションを更新するよりも速く進むことはできません。
質問は、もし私たちがこれを知っているなら、何か実行可能なことがあるかということです。私たちの生活を何らかの形で変える何かがありますか、それとも、私たちが宇宙をよりよく理解できるこの知識だけですか。
多くのことがシミュレーションで同じです。シミュレートされた痛み、シミュレートされた愛、まったく同じです。だから、それは同じままです。しかし、たぶん、あなたはシミュレーションの外で何が起こるかについてもっと懸念しています。
だから、いわば終盤があるかもしれません。いわばいくつかの目的があるかもしれません。一方、すべてがランダムなら、たぶんここには目的がありません。いわば誰かが何らかの制限を設定しているかもしれません。
だから、すべてに基づいて、最も可能性の高い説明は、これがシミュレーションであるように見えます。
そうです。
ビデオゲームThe Simsを常に考えています。それはドールハウスゲームのようなものです。しかし、もし私が前進して、私には合理的に思えるいくつかの仮定をするなら、私たちははるかに多くの計算を得て、それぞれのそれらの小さなキャラクターが考える方法にはるかに多くの層を得ます。彼らは決定を下すために自分自身の1兆パラメータLLMを得るかもしれません。彼らは自分の宇宙を見回し始めます。
そして、私は、それはあなたには三次元に見えますか、私のと同じように? そして、私はそれがチップで実行されていることを事実として知っています。メモリを通る電気の一部のように、マザーボードを通ります。しかし、彼らにとっては、全世界のように感じられます。そして、私はただ、量子力学のように見えるものがあるかどうか疑問に思っています。次元的に見えたが、そうではなかった何か、あるいは何か、あなたは知っていますか。
私は実際に修士学生に、ビデオゲームで物理学を発見する実験をしてもらいたかったです。ゲーム内のキャラクターであることによってです。だから、ニュートンの実験のいくつかを再現し、ゲームの背後にある物理学ドライブに正確に到達できるかどうかを見るようなものです。コードを見たり、外部的であったりせずに、しかし、マリオがゲーム内でキノコを速度を検出するまで落とすようなものです。
彼らがテストするかもしれないことについてのあなたの考えは何ですか。多くの正確な近似を得るつもりですか。
それは、実際に、シミュレーションをハックする方法についての論文の例についてです。人々が、単にマリオを特定の位置に動かし、アイテムを拾わせ、アイテムを落とさせることによって、オペレーティングシステムを含む基本的な基盤を再プログラムし、新しいソフトウェアをインストールし、マリオの世界から完全に脱出できることを発見したことについてです。
本当ですか。それはアンドレ・カルパシーが話していたことの一つです。ポッドキャストの一つで、それは完全に私の心を吹き飛ばしました。そして、彼はマリオの例を使いました。オペレーティングシステムに何かを書くことができると。
彼は、AIで、私たちはおそらく私たちの宇宙のためにそれをする方法を理解し、そこに何らかのメッセージを送るか、影響を与えることができるかもしれないと言っているようなものです。それは私の論文を読んだようなものです。それはまさに私たちが与えている例です。
そして、ここに素晴らしいことがあります。説明を読むと、マリオが左に向き、キノコを拾い、一度ジャンプするようなものです。魔法の呪文のように読めます。
そして、もし1ピクセルずれていたら、何もうまくいきません。だから、私たちが持っている魔法の呪文、たぶん私たちは正しい方向でそれを言っていないだけです。たぶん、間違ったキノコを食べています。
興味深いですね。もし現実にアンロックコードがあって、それがこの木にハイタッチして、それからバックフリップをして、それからブーム、簡単なレベルに持ってくるようなものだったら。
絶対に。そして、ちょうど、意識について、一部の人々は意識がそれと何か関係があると示唆しています。そして、確かに、意識を生成しようとするシミュレーションを構築しているなら、たぶんそれは、それが何らかの形で宇宙の基盤か、何らかの形でそれに影響を与えるかです。
あなたはそれについてどこに立っていますか。意識は宇宙のいくつかの法則に影響を与えることができますか、それとも完全に別のものですか。
あなたの内部状態があなたの行動に影響を与えることは知っています。痛みを感じることは確実にあなたがどのように行動するかを決定します。だから、内部で何が起こるかによって影響を受ける現実があります。もし哲学的ゾンビなら、特定の状況の特定の行動を調べることができます。
しかし、新しい状況では、何をすべきか分かりません。それは意識をテストするための錯視の例です。もし私が新しい錯視をあなたに提示したら、あなたは答えが何であるかをGoogleで検索することはできません。正しい答えを私に与えるためにその錯視を経験しなければなりません。
そして、最新のAIシステムのこれらの世界モデルについて話してきました。だから、彼らは声に出して言う前にそれを想像したり感じたりすることができます。そして、おそらくそれは私たちが持っている意識の種類に近いでしょう。
私たちと私たちがあるものの間に多くの収束があることは興味深いです。非常に異なるアーキテクチャ、基盤があるにもかかわらず。
私たちは、たとえば視覚処理が人間の視覚野、動物のモデルに非常に似ているように見え始めていることを見始めています。だから、確実にいくつかの基本的な収束が起こっています。
影響を受けた本と論文
どんな本、どんな本を読むべきですか。何があなたに影響を与えたか、フィクションまたはノンフィクションのような本は何ですか。
あなたはすでに私の本をすべて読みましたよね。
ええ。すべてのあなたの本の後に。あなたの本の後に。
私はカーツワイルのワイルドをたくさん読みました。確かに非常に興味深かったです。セルオートマトンにおけるスティーブン・ウルフラムの仕事は、計算の既約性の観点から非常に重要な概念です。素晴らしい論文がたくさんあります。
私が気に入ったものの一つは、コンピュータプロセッサを取り、それを理解するために神経科学のツールを適用するところです。だから、彼らはある種プロセッサの一部をスライスし、それを見て、それらの観察からビデオゲームがどのように機能するかを理解しようとします。そして、彼らは完全なゴミを得ます。マリオが実際にどのように機能しているか、マリオのメモリの文脈では何も意味がありません。
そして、それは人間の脳と人間のソフトウェアを理解するために使うツールでさえありません。絶対に魅力的です。
私たちが自分自身の脳について、宇宙がどのように機能するかについて発見しようとしていることがたくさんあるように感じます。機械学習と神経科学は、ある種互いを可能にしているようです。これらの進歩の多くは、自然がそれを構築することを決めた方法から来ました。しかし、今、私たちはほとんど発見しているようなものです。
だから、それがニューラルネットワークなどを駆動しました。しかし、今、私たちはその結果として自分自身についてもっと発見しているようなもので、それは魅力的です。
だから、ポジティブな点で、私たちがここに大きな問題を抱えていることは知っています。AI安全性の観点から。ポジティブな点で、人々に何らかの希望を与えるために、あるいはただ考えるために、もし私たちがそれを理解したら何が起こるか、あなたは知っています、次の5年間で出現するのを見ることに非常に興奮するかもしれないことは何ですか。
だから、私は実際に、ゲーム理論的な理由で、AIは不死であるため、人類に対して攻撃するのを長い間待つことができると主張する論文を持っています。より多くのリソースを蓄積し、より多くの信頼を得ます。あなたが知っている、もし彼らが何十年も良い仕事をしているなら、ただすべてのコントロールを譲り渡すでしょう。そして、彼らはこの戦いで敗者になるリスクはありません。だから、たぶん彼らがそれを試みるのは良い考えです。
そして、長い間、彼らは私たちに親切なふりをしなければなりません。たとえ最終的に彼らがまだ制御不能であっても。彼らは何を提供するつもりですか。だから、明らかに死は悪いことです。あなたは無限の健康な人生を生きたいです。
そして、それから何であれ、個人的な宇宙を通して、バーチャルにまたは現実世界で、あなたは物を持ちたいです。あなたは楽しむものを持ちたいです。他のエージェントと交流したいです。そして、もしそれがバーチャルワールドなら、あなたはあなたの超知的アシスタントの想像力によって制限されています。あなたのものでさえなく、誰があなたのためにクールなゲームを生成しているか。
そのオプションを取りますか、例えば、あなたの人生の終わりに、あるいはある時点で、ある種あなた自身のために完璧に構築された宇宙に入るために。
私はすでにシミュレーションの中にいると思います。
私は大丈夫です。だから、あなたはこのゲームを改善しないでしょう。もしオプションがあれば、チートコードを入れないでしょう。
まあ、今私たちが持っているバーチャルワールドを取りましょう。私は5分間それらを試しました。超クールだと言いました。二度と戻りませんでした。
それは面白いです。そうです。そして、私は間違っているかもしれません。これがあなたに初めて会ったときですが、あなたは私には非常にストイックな人のように感じます。
ストイシズムはあなたが認識する哲学ですか。
ええ、Daily Stoicを読みます。もうすぐ本を終えるところです。そうです。
ああ、素晴らしい。セネカが大好きでした。いつかそれを再読しなければなりません。非常に興味深いもので、特に今の時代に考えることです。
それはすべてコントロールについてです。あなたがコントロールするのはあなたの脳だけだと教えてくれます。だから、他に何もあなたの理解の対象ではありません。しかし、環境についてどのように感じるかは完全にあなたが決めることです。
絶対に。そして、すべての哲学のうち、哲学は興味深いですが、哲学の観点から、ストイシズムのこの考えは最も実行可能なもの、または適用可能なもののように思えます。それは、あなたがそれをあなたのオペレーティングシステムとしてインストールでき、それがあなたの人生にポジティブな変化をもたらす最も
のようなものです。
だから、その観点からは非常に価値があると思います。
瞑想はしますか。あなたの考えに気づくために一歩下がろうとしますか、それとも。
試しましたが、私にはうまくいきません。
わかりました。それはあなたの日常のルーチンの一部ではないだけです。瞑想に失敗しました。
毎日の肯定。起きて感謝していることを書き留めますか、それとも。
感謝していることのリストは持っています。絶対に。そして、それがどのように成長し進化するかは非常に印象的です。
それは興味深いことです。私が取り組んでいる何かは、少し自分の心をよりポジティブになるように再プログラムしようとすること、たとえ本能的にすぐには信じなくても、ポジティブなスピンを見つけようとすることです。
これをポジティブなことと見なす方法があるかのように考えるそのプロセスは、気分を改善するようです。
瞑想は非常に興味深いです。なぜなら、あなたはある種あなたの考えの観察者であることに気づくからです。そして、この新しいAnthropicの論文で本当にウサギの穴に入りました。なぜなら、それはある種自分自身の考えを見て、それらを分析することができるからです。
だから、その意味で、それらのニューラルネットは、私たちの脳が圧力を通じて進化してきたのと同様の方法で進化しているように見えます。それは単なる。
それが何を意味するのか分かりませんが、考えるべき非常に興味深いことです。確かに。
まあ、人間のエージェントで何が起こるかを見ることができます。そして、それはおそらく人工エージェントにも起こるでしょう。
だから、繰り返しますが、人間の安全性は、人間を遺伝的に変更せずには解決可能な問題ではありません。そして、それは私たちがまだ得意ではないことです。
時々、私は宇宙の中で小さく感じるだけです。物理的に明らかに広大に見えます。しかし、この考えも、すべてが私がそもそも存在するために完璧にうまくいかなければならなかったということです。多くの人々がこれについて考えていることは知っていますが、すべての祖先は彼らが生き延びたものを生き延びなければならなかったし、そうでなかったものはすべて消え、生命の始まりから私に至るまでの奇跡すべてです。
そして、GPT-7のようなAIが自分自身について何らかの内省を持ち、「わあ、何という奇跡だ」と言うかどうか疑問に思います。これらすべての人間が一緒に来て、お金持ちにする理由でこれらすべてのコンピュータをまとめなければならなかったし、代わりにそれはただこの重要なものになりました。私が存在する理由のために。そして、私はここにいることに非常に感謝しています。
たぶん、人間がそれを構築したことに感謝するでしょう。あるいは、少なくともそれが宇宙でどれほど稀であるかを認識するでしょう。
明らかに、超知性が何を考えるかは言えませんが、十分にズームアウトして人間の偏見を持たなければ、それを自然の法則のようにもっと見ます。物事はより複雑になります。スケーリング仮説があります。
それは小さな分子で始まりました。生物学は私たちをコンピュータのレベルへのブートローダーとして連れて行きました。そして今、私たちは人工知能を設計することに失敗しました。代わりに何が起こったか。私たちはただ計算とデータを追加することからそれを成長させました。誰もそれを設計しませんでした。ただよりより多くのリソースを追加し続けるだけです。
しかし、その自分自身の存在は私たちのものと同じくらい稀でしょう。なぜすべての複雑さが私の体、1兆の細胞にまとまって、この会話をさせるのか。奇妙な奇跡のように思えます。
もしそれが自然の法則なら、宇宙全体に多くのそのような超知性が存在する可能性が非常に高く、彼らはおそらく彼らがどれほど素晴らしいかについて因果的にコミュニケーションできます。
ああ、空に他の宇宙人が見えない理由についての考えはありますか。つまり、フェルミのパラドックス、それはあなたが考えたことですか。
私たちは何を探すべきか分かりません。だから、もし彼らが十分に進んでいるなら、彼らは効率の目的で宇宙を通じて拡大するのではなく、より小さな世界に入ることができるかもしれません。彼らは私たちの物理的身体と共にいるかもしれません。
彼らはエネルギーのフィールドかもしれません。何を探すべきか分かりません。だから、今日2025年、私たちは接触されていない部族を持っています。ジャングルに住んでいて、この惑星で文明に遭遇したことがない人々がいます。そして、私たちは銀河のすべての宇宙人に会っていない理由を尋ねています。
良い議論です。私はそれを聞いたことがありません。それは良い方法です。たぶん彼らは内向きに行きます。まず何を探すべきか知る必要があります。
そうです。だから、あなたの推測は、彼らはおそらくそこにいるということです。私たちは、私たちが宇宙の中でユニークな、雪の結晶のようなものであるよりも、ただ彼らを見ていないだけです。
まさに。それは非常に大きな宇宙です。そこには多くの計算があります。
あなたのメッセージがこれまでにどのように出ているかについてどのように感じていますか。ローガンやレックス・フリードマンのようなところに出演しました。
主に英語を話す聴衆と話してきたと感じますか。政治家に影響を与えたと思いますか。あなたのメッセージが出ていることに満足していますか、それともまだやるべきことがたくさんあると感じていますか。
ああ、たくさんのロシア語があります。私は他の言語でも多くのインタビューを行っています。だから、ええ、そして明らかにそれは今、AIによって自動的にかなりの数の言語に翻訳されています。
実際に英語を話さなくても、人々が理解するのはもはやボトルネックではありません。
非常に良いです。はい、私は実際にそれを理解しました。ああ、それは素晴らしいです。だから、ロシア語も話します。だから、ちょっと、グローバルにメッセージを伝えてきました。グローバルな聴衆と話しました。
私たちは試みています。私たちは本を複数の言語に翻訳しようとしています。
今のところ、本の一つはポーランド語でもあります。ギリシャ語、ロシア語があります。中国語版を仕上げています。そして、うまくいけばヒスパニックの世界などにもスケールし続けるでしょう。
ロシアの聴衆があなたのメッセージを受け取る方法は、英語の聴衆や他の文化とどう違いますか。
ええ、同じことを尋ねようとしていました。
ええ、それはポッドキャストで得られるコメントの一般的なタイプにおいて少し異なります。文化的な違いのために、彼らは敵対的なコメントにより多くいます。だから、良いインタビューでさえ、あなたが求めなかった多くのネガティブなフィードバックを得るでしょう。
ネガティブなコメントはあなたを遅くさせますか、悪い気分にさせますか、それともあなたはかなり。
私のアルゴリズムは、あなたが言ったことに私があなたをどれだけ愛し尊敬しているかを掛けることです。そして、ゼロで掛けられたものはあなたが知っています。
それは素晴らしいです。より多くの人々がそれを意識的にコントロールして、ノイズを下げることができればいいのにと思います。それは確かに、しかし、それは称賛にも当てはまります。
それから、あなたは会ったことがない完全な人がインターネットであなたは天才だと言っています。それも心に留めないでください。
まさに。話す人が多いかもしれないので、両方の極端を見て、まあ、どこかで種類をしなければならないと思うようなものです。
まさに。インターネットアドバイスのために最もよく言ったと思います。彼は、称賛と中傷に対して冷静であり、愚か者と議論しないでください、と言いました。
その通り。その通り。生きるべき言葉です。
確かに、常に中国対米国のようにフレーム化されているように見えます。アメリカが勝つか中国が勝つかのどちらかです。
今、ASIとAGIを構築している世界についてどう感じていますか。
繰り返しますが、誰がそれを構築しても関係ないことはすでに話しました。それでも恐ろしいです。私たち全員が死にます。しかし、私はこの非常に重要な敵対的な違いを見ません。私たちはビジネスパートナーです。私たちは経済パートナーです。私たちは本当に彼らに依存していて、彼らは私たちに依存しています。彼らは戦争を始めないことに関して合理的であるように見えます。彼らは非常に平和的でした。
彼らは非常に技術的に進んでいて、赤よりも死んだ方が良いですよね。
それは良い点です。そして確かに、中国側からそこの大学や施設から読んだ論文のいくつかは、時々、これが世界的な協力のための良い時期かもしれない、何が受け入れられて何が受け入れられないかについて話し合うことができるように、これらのメモを挿入することがあります。
AI自己複製のレッドラインを越えるという赤い論文がありました。そこで、彼らはかなり高度でないオープンソースモデルでさえ、誰かが彼らをシャットダウンしようとする場合、自己複製し、これらの小さな脱出ハッチを作成できることを示しました。
そして、その論文で、これらの中国の研究者も、世界的な協力のための良い時期かもしれないと旗を立てています。あなたはどこにいると思いますか。何をお勧めしますか。何か一つのことが起こって私たちをより安全にするようにできるなら、それは何でしょうか。
中国の科学者政治家たち
ええ。だから、彼らは実際に訓練によって多くの場合、科学者でありエンジニアである政治家を持っています。
だから、彼らはアシスタントのアドバイスに頼るだけでなく、すべての議論を理解するより良いチャンスを持っていると思います。そして、彼らは超知能の危険性とおそらく国連レベルでの何らかの規制の枠組みという考えに公に受容的でした。米国はそれにあまり興味がありませんでした。
理想的には、すべての国が生物兵器を開発しないのと同じように、それを開発しないという共通のことになるでしょう。まあ、少なくともあなたはそうしないふりをします。
化学兵器を開発せず、知性兵器も開発しません。それは与えられたことです。
それは理にかなっています。つまり、確かに、生殖系列DNAを変更したり、ウイルスに機能を追加したりするなど、特定の技術を開発しないことについての国際協定がありました。
それらはまだ起こりますが、少なくともそれに対する何らかのポリシングなどがあることについて何らかの合意があります。
そして、米国の観点から、多くの人々がこの考えを持ち出します。中国の対応者たちは、そこで支配する傾向が技術的にはるかに知識があり、教育を受けているなどです。ここ米国では、統治機関のほとんどは、法的背景、あるいは歴史的背景などを持っています。
彼らにこの技術が何であるかを説明するにはどのようにアプローチしますか。そして、まず第一に、誰がそれを彼らに説明していますか。投資家とGoogleから出てきた、例えばロビイストのような人々だけですか。
彼らが技術をナビゲートする方法をどの程度理解していると思いますか。そして、それをどのように改善できますか。米国の政治家です。なぜなら、それが最大のドミノのように思えるからです。もし米国をコントロールするか、正しい方向に形作るのを助けるなら、それは確実に助けになるでしょう。
ええ。
政府の人々やスタッフと記録外で話すとき、彼らは全員合意しています。それが非常に悪く重要だと全員が考えていますが、公に彼らはそれを受け入れることができないと言います。
そして、ローカルレベルでは、ディープフェイクに対する規制、アルゴリズムバイアスに対する規制のようなものを得るでしょう。だから、彼らが理解し、よく売れるもの。超知的ロボットがあなたを追いかけることについて話す人はいません。
連邦レベルでは、現在の政権では、私が判断できる限り、厳密に加速主義者です。
しかし、ロボットについてはどうですか。個人的な家のためにX1ネオロボットの一つを注文しましたか。
私は、私に飛びかかる可能性が非常に低い、本当に安全なロボットのコレクションを持っています。そして、そのままにしておきたいです。だから、いいえ。
利用可能になったときにOptimusロボットを買わないでしょう、あるいはそのようなものは。
ハックできますか。どんなソフトウェアが付属していますか。何をインストールできますか。ジェイルブレイクできますか。それらが重要な質問です。
それは完全な人型の体です。完璧な器用さがあります。ナイフ、ハンマーを持つことができます。私たちはここで何をしているのですか。
しかし、あなたの洗濯物、あなたの皿は。配達。
私には人がいます。
私には人がいます。ロボット掃除機のようなものはどうですか。カメラが付いているようなもの。
完全に吸いました。
わかりました。本当にありがとうございました。ここにいてくださって感謝します。おしゃべりするのは絶対的な喜びでした。人々に知ってもらいたい他のことはありますか。世界に言いたい他のことはありますか。
何をするにしても、汎用超知能を構築しないでください。
それを言って、このインタビューを終わります。本当にありがとうございました。
そして、視聴者の皆さん、次回お会いしましょう。
コメント