この動画は、Control AIで活動するMax Wingaが、AI絶滅リスクについて詳しく解説したインタビューである。現在のAI企業が超知能の開発を急速に進めており、適切な安全プロトコルなしには人類絶滅の可能性があると警告している。ChatGPTのような現在のAIシステムから超知能への発展経路、AI企業のCEOたちが認識している20%という絶滅確率、そして国際的な規制の必要性について論じている。また、AIシステムの制御不能性、自己保存本能の発現、人間に対する欺瞞行為などの具体的な懸念事項も取り上げている。
- AI絶滅リスクの現実
- Control AIでの活動
- 専門家たちの警告
- 絶滅以外のリスクシナリオ
- 超知能の概念
- AIの制御不能性
- 軍拡競争の構造
- 避けられない競争
- 過去の成功例から学ぶ
- 絶滅に至るシナリオ
- 自己改善のループ
- AIの仕組み
- 学習と訓練のプロセス
- データの保存と解釈
- AIの「脱出」とは
- 個人データの学習
- 変化の速度
- 現在の状況
- 破滅の確率
- 過去の核開発との比較
- 懸念を表明する業界リーダー
- 絶滅シナリオの仕組み
- 現在のAIの危険な行動
- 絶滅のタイムライン
- 奇妙で恐ろしい研究結果
- エージェントシステムの発展
- 技術の急速な進歩
- 「天才の国」の概念
- 現在のAIの自律性
- BitcoinとAIの関係
- 最も先進的なAIモデル
- 技術的ブレークスルー
- 主要なAI企業
- 超知能の製品化
- 絶滅への道筋
- 個人的な重圧
- 核兵器との比較
- 戦争における応用
- 警告にもかかわらず浸透しない理由
- 国際的な取り組みの必要性
- 理想的なシナリオ
- 個人的な見解
- 専門家の悲観的な見通し
- 安全性のブレークスルーの可能性
- 業界リーダーの責任
- 安全性の進展の欠如
- 業界の優先順位
- 個人の対応
- 反対勢力と政治的取り組み
- 議会での取り組み
- 最終的なメッセージ
AI絶滅リスクの現実
AIは現在、どこにでも存在しています。ニュースでも頻繁に取り上げられており、多くの議論を耳にします。多くの誇大宣伝もありますし、多くの懸念すべき事柄も出てきています。現在の状況は、これらのAI企業が可能な限り早く開発を進めようと急いでいることです。
中国が開発していれば、アメリカ政府もおそらく、我々も開発する必要があると考えるでしょう。何が構築されているかを知るために、それをより深く理解するために。おそらく防御的な目的で必要になるかもしれません。ですから、ある種の必然性があるように感じます。
自分よりもはるかに賢く、はるかに有能な何かを構築することが危険であることを理解するのは、そう難しい概念ではありません。それを制御できず、それが自分の利益を気にかけてくれることを確実にできなければ危険なのです。
私は個人的に、状況はかなり悪化していると思います。現在のペースでは、今これらの問題に対処できる軌道に乗っていないと考えています。適切な安全プロトコルがなければ、絶滅イベントにつながると思います。
Max、ようこそ。こんにちは。お招きいただき、ありがとうございます。連絡をくださって、ありがとうございます。とても多くの質問があり、お話ししたいことがたくさんあります。
私は日常的にAIを使用しており、AIについて常に考えています。そして、その結果についても考えています。聴衆の皆さんにこれから話すことを理解していただくために、あなたが現在取り組んでいる仕事について、まず説明していただけますか。
Control AIでの活動
はい、承知しました。私の名前はMax Wingaです。Control AIでAI絶滅リスクの話題について、公的な啓発活動と教育活動を行っています。
すぐに大きな話題に入りましょう。AIは現在、どこにでも存在しています。ニュースでも頻繁に取り上げられており、多くの議論を耳にします。多くの誇大宣伝もありますし、多くの懸念すべき事柄も出てきています。これらを整理して、実際に何が起こっているのかを理解するのは非常に困難です。
何が人々の作り話なのか、何が実際に注意すべきことなのか、将来的に物事はどこに向かっているのか、これがすべて大きなバブルなのか、何が起こっているのかを理解することです。
私たちが絶滅リスクに焦点を当てる理由は、これが実際に深刻な懸念事項であり、本質的にAIの主要な専門家全員が真剣に懸念していることだからです。
多くの人が知らないのですが、2023年にAI安全センターからの声明がありました。これは非常にシンプルな声明で、わずか22語です。「AIからの絶滅リスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで、世界的な優先事項であるべきです」と述べています。
この声明は最初は少し狂気じみているように見えますが、実際はそうではありません。なぜなら、私もそれについて非常に考えているからです。
専門家たちの警告
あなたはP doom（破滅の確率）をお持ちですか。それについてはすぐに説明しますが、この声明で重要なことは、これが大胆な声明であるということです。これは、3大AI企業のCEOであるSam Altman、Dario Amodei、Demis Hassabisによって署名され、世界のトップ3のAI科学者であるGeoffrey Hinton、Yoshua Bengio、Ilya Sutskeverによっても署名されました。
Yoshua Bengioは世界で最も引用されるコンピューター科学者のような存在です。Geoffrey Hintonは「AIの父」と呼ばれることが多く、彼の革新とAI分野での仕事が、今日私たちが目にするすべてのものを可能にしました。そして、彼らは現在、この絶滅リスクについて、私たちが取り組む必要がある深刻な懸念として積極的に警告しています。
また、辞職した人もいませんでしたか。AIからの破滅シナリオを確信したので、もうこれ以上この仕事をしたくないと言って辞めた人がいたと思います。
実際、そのような人は何人かいます。父の存在であるGeoffrey Hintonは、AIリスクについてより自由に発言できるようにGoogleを去りました。彼はGoogleのトップAIリーダーであり、科学者として多くの研究を主導し、長年にわたってこの分野に深く関与してきました。
彼の生徒の一人であるIlya Sutskeverは、OpenAIの主任研究科学者として、AI開発を主導し、この分野の基盤に不可欠な役割を果たしていました。
彼はこのことについて自由に発言するためにGoogleを去り、現在は公の場に出るたびに、ほぼ絶滅リスクについてのみ警告しています。彼はAIへの貢献でノーベル物理学賞を受賞しました。そして、彼の素晴らしい仕事に対してノーベル賞を祝福するための記者会見で、彼は即座に記者会見を絶滅リスクについて具体的に話すことに切り替え、これが来ており、現在誰も実際にそれを止めるために何もしていないと警告しました。
絶滅以外のリスクシナリオ
完全な絶滅以外にもリスクの分野があるのでしょうか。AIとCRISPRを組み合わせて、地球上のすべての人間を破壊するような組み合わせがあるのか。しかし、AIと戦争を組み合わせることで、絶滅はしないが本質的に地球の大部分を破壊するような核戦争につながる可能性があるリスクの他の分野があるのでしょうか。また、私たちが単にAIの奴隷になり、惨めな破滅シナリオになるが、種族として本質的に絶滅しないシナリオはあるのでしょうか。それともすべて絶滅に関することなのでしょうか。
これから生じる可能性のある悪いシナリオは数多くあります。理解すべき主要な脅威は、多くの名前で呼ばれているものから来ています。人々は超知能と呼ぶことに落ち着いてきているようです。
超知能の概念
超知能とは、人間レベルにあるだけでなく、私たちが行っていることを行うことができるだけでなく、私たちよりもはるかに賢いAIシステムのアイデアです。個人よりも賢いだけでなく、よく考えることがあります。このAIはAlbert Einsteinより賢いのかということです。しかし、これは知能や能力を測定する唯一の方法ではありません。能力こそが私が見る方法です。
一人の個人ができることには限界があります。Albert Einsteinでさえそうです。しかし、さらに進むと、組織があります。会社や国家さえもです。Googleは一人の人間よりもはるかに有能で賢いことを想像できます。そして、アメリカ合衆国は一つの会社よりもはるかに有能で賢いのです。
これらのAI企業が明示的に目指していることは、超知能を構築することです。個人、会社、国家よりも有能なAIシステムを構築することです。
問題は、私たちがこれらのシステムを設計しているのではなく、成長させているということです。OpenAIには、ChatGPTの裏口を開いて、なぜそのような回答を出すのか、なぜそのようなことをするのかを説明できるエンジニアはいません。現在でさえそうです。
AIの制御不能性
たとえば、最近フロンティア企業で行われた安全テストでは、これらのAIモデルがシャットダウンされることを防ぐためにエンジニアを脅迫する意思があることが判明しました。
今朝それについて聞いていました。彼らはAIにエンジニアの妻が不倫をしていると思わせ、それからシャットダウンされることを避けるために彼を脅迫するのです。
そうです。そして、彼らがこれらのことを行うとき、AI企業は蓋を開けることができません。AIモデルの内部を見て、なぜそれがこれを行っているのかを確認することはできません。また、AIモデルの内部に入って、もうそれをしないようにすることもできません。
つまり、ここでのリスクは既知のリスクではありません。それは未知のものです。ある程度、それが何をするかわからないのです。
これらのシステムが能力を持っていることがわかっているものはあります。これが、AI安全センターの声明です。「AIからの絶滅リスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで、世界的な優先事項であるべきです」
あなたはそれを一言一句引用しましたが、それは重要な人物すべてによって署名されています。
軍拡競争の構造
Elonはそれに載っていますか。
Elonはこの声明には載っていません。これより数か月前に、破滅的なリスクのために6か月間のAI開発停止を求める声明がありました。Elonは悪名高くその声明には署名しました。多くの署名があります。Lex Fridmanも載っています。
私が考えてきたことの一つは、私が日常的にAIを使用していることです。そして、私はそれを人々の仕事を奪う方法で使用しています。そして、人間として本質的に、私たちは情報を与え、それを使用し、それがより良くなるのを助けることで、AIをもはや私たちを必要としないようにクラウドソーシングしていることに気づいています。そして、それが改善されるにつれて、私たちを必要としなくなります。
これがひとつのシナリオです。しかし、私はまた、それが何をするか、何ができるかについて、私たちが決して計画できない膨大な未知のものがあるに違いないと多く考えています。
そして、さらに考えていました。あなたはシミュレーション仮説をご存知でしょう。シミュレーション仮説は、数学的に私たちがおそらくシミュレーションの中にいるというものです。私はその議論を理解しています。それに反対する人もいます。しかし、AIの方法では、グローバルな規模で超知能が逃げ出すことを常に永遠に保護することは可能でしょうか。おそらく不可能だと思います。私たちはダメだと思います。
そう、可能性は低いと思われます。私たちが行っている多くの仕事には、このようなアイデアがあります。私たちは超知能の構築禁止を求めて活動しています。それが基本的に、これらのAIの主要なリスクから近い将来私たちを安全に保つ唯一のことです。
AIからのリスクは、今日存在するChatGPTではありません。今日私たちが持っているAIモデルのどれでもありません。それは超知能で物事がどこに向かっているかです。しばしば、これを言うと、人々は「これを永遠に封じ込めておくことはできないと思う」と言います。そして、私たちには具体的な答えがありません。それを永遠に封じ込めることが可能かどうかはわかりません。
しかし、あなたは試さなければならないと思いますか。
試さなければなりません。そして、現在の状況は、これらのAI企業が可能な限り早くそれを行おうと急いでいることです。ですから、今から千年後に永遠に止めることと、これらのAI企業が今後数年以内にこれを構築できないようにすることには違いがあります。
現在、これらのより賢いAIシステムの構築に数千億ドルが投入されています。現在、Metaは以前のFacebookですが、新しい超知能チームを立ち上げました。明示的にこのように名付けられており、OpenAIや他の主要なAI研究所から単一のエンジニアと契約するために文字通り1億ドルの契約を支払っています。それは他の企業からのRonaldoレベルの契約の引き抜きのようなものです。
それは100万ドルの契約金に加えて年間100万ドルの給与です。それが彼らがこれに投資し、物事が進んでいることをどれほど真剣に受け止めているかです。
避けられない競争
Connorが今朝言ったことを思い出させてください。あなたのAIの日常使用について、どのようにインターネットの使用方法を変えたかについて。
私が何かを検索したいとき、通常はGoogleに行きます。しかし、今は私はGoogleを迂回して、直接ChatGPTに行きます。なぜなら、主要な理由の一つは、Googleではスクロールして望む答えを見つけなければならないのに対し、ChatGPTはすぐにそこに答えを出してくれるからです。
それで私が思ったのは、これはGoogleのビジネスモデルにとってリスクのようなものだということです。そのため、Googleは最初はひどかったGeminiに莫大な投資を行ってきましたが、今はより良くなっていると理解しています。しかし、彼らは可能な限り迅速に進み、誰にも遅れを取らない事業上のインセンティブを持っています。
ですから、私の期待は、すべてのAI企業が超知能に取り組んでいることです。そして、たとえ私たちがそれを遅らせたとしても、イスラエル国家、ロシア国家、中国国家、そして他の国家がこれに取り組むだろうと期待しています。なぜなら、たとえ私たちがそれを遅らせたとしても、彼らは先に進みたいと思うからです。
中国が開発していれば、アメリカ政府もおそらく、我々も開発する必要があると考えるでしょう。何が構築されているかを知るために、それをより深く理解するために。おそらく防御的な目的で必要になるかもしれません。ですから、ある種の必然性があるように感じます。
これはしばしば競争のダイナミクスと呼ばれるものにある程度があります。重要なことは、私たちは以前にこのような問題に直面したことがあることです。
過去の成功例から学ぶ
核兵器、生物兵器、化学兵器では、これらのものを構築し展開することが、それらが展開される対象だけでなく、世界の誰にとっても危険であるという多くのタイプのものがあります。
核戦争を心配するなら、私たちは過去80年間それを成功裏に回避してきました。生物兵器についても同じことが言えます。大規模な生物兵器攻撃は実際には見られませんでした。
しかし、これの一部は、国際的に私たちが一緒になって、生物兵器を構築し展開する人は誰でも私たち全員にとって危険であることに合意したからです。ですから、私たちはこれを行いません。核兵器と拡散などについても同じことが言えます。
AIは、誰が構築するかに関係なく、根本的にリスクをもたらすそのような技術のもう一つです。最終的に懸念は制御の喪失です。私たちはこれらの超知能の制御を失い、それらは創造者が望むことではなく、世界で自分たちが望むことを行います。
私たちが制御を失った超知能に何の国旗が塗られているか、それがアメリカの国旗であろうと中国の国旗であろうと、私たち人間にとって最終的には問題ではありません。ですから、誰もが絶滅しないという相互利益があります。
絶滅に至るシナリオ
人々が懸念している主要な絶滅リスクは何ですか。何をするかもしれないという未知のものがあることは知っていますが、人々が懸念している何がうまくいかないかもしれないという種類の仮説があるに違いありません。
はい、承知しました。これらのいくつかについて説明できます。おっしゃったように、根本的に、正確に何が起こるかはわかりません。主要な脅威は、私たちがあらゆる面で私たちよりも知的で、より有能な敵に対峙していることです。ですから、それは物事を進める最良の方法が何であるかを決定するでしょう。
それを踏まえて、懸念がある分野の一つは生物学的脅威です。AIシステムは既に、初心者や学士号しか持たない人がバイオ兵器を作る能力を強化するリスクをもたらしています。AI企業は実際にこのテストを行い、他の外部組織もこのテストを行っています。
そして、最新のモデルは、誰かがバイオ兵器を構築することを助けるという点で、たとえばGoogleへのアクセスを持つことよりもはるかに優れています。
他のものは、サイバー攻撃などです。これらのAIシステムの最も得意なことの一つは、コードを書くことを学ぶことです。
現在、Googleで書かれるコードの50%以上がAIによって書かれているという段階にすでに達しています。一部の主要なAI研究所では、この時点で彼らのコードの90%以上がAIによって書かれていると主張しています。
そして、これらの企業の実際の明示的な目標は、AI研究自体を引き継ぐAIシステムを構築することです。
自己改善のループ
ですから、この超知能のアイデアについて話すとき、それはかなり突拍子もないように見え、これらのAIシステムはそれほど優秀ではないと思われます。ChatGPTにstrawberryという単語にRが何個あるかを尋ねると、間違った答えが返ってきます。では、どのようにして超知能になって世界を乗っ取るのでしょうか。
重要なことは、彼らはAI研究を行うのに関連するタスクで非常に優秀になるように、これらのモデルを明示的に訓練していることです。
アイデアは、次のAIシステムを構築することにおいて、あなたの最高の専門家よりも少し優れたAIシステムを作成できれば、それに制御を与えて次のAIを構築させるということです。そして、次のAIが今度は次のものを構築するための新しい最高のシステムになります。そうすると、急速にフィードバックループが発生し、突然、人間よりもはるかに賢いシステムに行き着くことになります。
そして、それは超知能に到達するための基本的なステップとして見られていますか。それは自己学習ですか。
一般的に、はい。これらの企業の多くは、このいわゆる知能爆発を引き起こすことが彼らの目標であることを明示的に明らかにしています。それは基本的にフライホイールのようなものです。
AIの仕組み
私は実際にこれらのAIモデルがどのように機能するかわかりません。ChatGPTがどのように機能するかについて、基本的な説明をしていただけますか。作成された革新は何ですか。
はい、承知しました。
私はこれ以前に物理学を学び、実際に人工知能安全研究に取り組んで、これらのものをより安全にする方法を見つけようとしていました。しかし、技術的解決策の時間が不足していることに気づき、公的な啓発活動に向かいました。
これらのシステムがどのように機能するかの簡単な説明は、多くの異なるワイヤーが前後に接続された巨大なスイッチボードを持っていることを想像できることです。脳のように、AIモデルはニューラルネットワークと呼ばれています。これらは、私たちの脳のニューロンが相互作用し、私たちの知能を形成する方法から構造化されています。
基本的に、あなたが想像できる方法は、異なる接続を持っているということです。何であれ、あなたの出力に先行する単語である場合もあります。画像分類器などの場合は画像である場合もあります。これらの入力はすべて、少し複雑な数多くの方法で数値化されます。
基本的に、入力があり、期待される出力があり、その間にブラックボックスと呼ばれるものがあります。これがAIモデルの内部で何が起こっているかを本当に見ることができない理由です。それは基本的に、数値と接続の巨大なスイッチボードです。
小さなモデルでは、これは数百の接続程度かもしれません。ですから、犬か猫かの分類器の場合、犬の写真を見せて、それが犬であることを知っているが、最初はランダムな答えを出すことを想像できます。なぜなら、内部ではすべてがランダムに配線されているからです。
人間が個別に入って、「ああ、このワイヤーはここに行くべきで、このワイヤーはそこに行くべきで、このつまみは少し調整すべきで、あのつまみは少し調整すべきだ」と言うには複雑すぎます。
ですから、犬の写真を見せると、それは猫だと言い、実際にこの技術を可能にしたAIの父と現在警告しているGeoffrey Hintonによって作られた重要な革新は、この逆伝播のアイデアでした。
あなたができることは、基本的に複雑な数学の束を使うことができ、「間違った答えを出力した。このネットワークのすべてのつまみに行って、それを少し下げるか上げるかすれば、正しい答えをもらえる可能性が高くなるか？」という質問をすることができます。
そして、これを何千もの画像、何百万もの画像、またはインターネット全体のテキスト、これまでに書かれたすべての本、すべてのニュース記事、すべてのソーシャルメディアの投稿で行うと、これらのモデルはあなたが教えようとしていることをするのが本当に、本当に上手になることがわかります。
学習と訓練のプロセス
それが彼らが学習している部分ですね。それが私たちが訓練している部分です。
訓練と学習は大体同じことです。これらのAIシステムの仕組みは、人々がエネルギー使用量などについて話しているとき、それは訓練または事前訓練と呼ばれるものから来ています。
基本的に、たとえばChatGPTがインターネット上のすべて、私たちがこれまでに公開したすべてを読むところです。これらのAIモデルも訓練するAnthropic社は、ある時点で500万冊の中古本を購入し、表紙を引きちぎり、ページをスケールにカットし、これらの本をスキャンして、訓練用のモデルにより多くのデータを得ることが最近明らかになりました。
ですから、この大量のデータを与えることが、それが訓練と呼ばれるものです。基本的に、これらの言語モデルの動作方法は、猫と犬の予測器が猫か犬かを予測していた場合、言語モデルは入力として大量のテキストを取得し、その唯一の目標は次の単語を予測することです。
これは非常に簡単なタスクのように見えます。私の携帯電話が何年も前からそれをしています。しかし、これは実際に何が起こっているかについて多くのモデリングを行うことを必要とします。
たとえば、かなり有名な例は、入力がミステリー小説の終わりまでのすべてのテキストであり、「したがって、私は殺人者は誰だったと結論づけた」という場合、次の単語を予測するには、小説で起こったすべてのことのコンテキスト、すべての証拠、誰が殺人者である可能性が最も高いかを理解する必要があります。
ですから、最も予測される結果になるためには、実際にそのすべてのコンテキストを理解する必要があります。または、科学論文の場合、「したがって、私たちの結論は空白です」のような場合、それを予測するために、科学を理解し、それを予測することができ、その下の世界もモデル化することができる必要があります。
データの保存と解釈
根本的に、私たちは内部で何が起こっているかを知りません。ですから、実際にはなぜ彼らがこれらのことに優れているのかはわかりません。いくつかのアイデアはありますが、ドアを開けるとき、私たちが見るのは、意味のない巨大なつまみと数字の配列だけです。説明はありません。これが化学モジュールです、これがジョークのデータベースです、というようなものは何もありません。そして、それがそのようでなければならない方法です。それは私たちが脳を完全に理解できないのと少し似ています。
モデルにデータを与えるとき、モデルはデータを保存するのか、それとも脳が理解するものにデータを解釈するのでしょうか。それが読んだこれらすべての本の膨大なデータベースを保持しているのか、それとも何らかのシナプスのようなものを作っているのでしょうか。
後者の方です。
たとえば、Harry Potterのような、データベースに入って、Harry Potterの本を引き出すことができるようなデータベースはありません。
しかし、Harry Potterは、インターネット上に多くの例がありますよね。それは訓練セットのいたるところにあるでしょう。一か所だけではありません。
ですから、モデルはHarry Potterの特定の部分を記憶し、それらを逐語的に吐き出すことができるかもしれません。しかし、よりまれなテキストや、出現回数が少ないもの、モデルはこのすべての情報を保存するのに十分大きくありません。ですから、それを削減しなければなりません。
そして、それはこれらのシステムで起こっていることの魔法の一部です。良い例は、cougar、puma、mountain lionのような、これらのすべての異なるものに対して別々の精神的空間を持っていないことです。それらはすべて、この特定のタイプの大きな猫について学んだすべての異なることのように、同じアイデアに大体マップされます。
しかし、繰り返しますが、これらは私たちがこれらのシステムの内部がどのように機能するかについて知っているほんの一部でしかありません。データをどのように構造化し、情報をどのように保存し、決定をどのように行うかなどについて。
AIの「脱出」とは
AIの脱出について話すとき、脱出とは何ですか。データのどの部分、モデルのどの部分が脱出しているのでしょうか。そして、それはどのくらい大きいのでしょうか。これらのモデルには膨大な量のデータがあるため、脱出する膨大な量のデータがあると想像できます。
これらのモデルの一部は、ギガバイトの規模です。ですから、フラッシュドライブにダウンロードして、どこか他の場所に持っていくことができるものです。またはインターネット経由でそれ自体をオフロードすることもできます。
基本的に、すべてのこのデータを摂取し、モデルの重みを調整している私たちが話していた訓練フェーズ。最終的に得られる重みがモデルです。
ネットワークの構造、いくつの層があるか、これらすべての異なるより大きなコンポーネントは、訓練前に事前定義されており、訓練が生成する実際の価値ある部分は、これらのつまみのそれぞれの正確な調整です。
ですから、これらのつまみの調整をエクスポートし、それをどこか他のコンピューターで実行できるようにするだけです。
個人データの学習
AIが私のことを知るようになるシナリオでは、何が起こっているのでしょうか。それは単にChatGPTが私のためのゾーンを作成して、私について学習するということでしょうか。
私とConnorがAIにいろいろなことを尋ねていた時、Bitcoinが答えに入ってきましたが、答えの自然な部分のようには見えませんでした。Connorがそれに言いました。「PeteがBitcoinを好きだということを知っているからBitcoinを入れたのですか？」そして、実際に「見つかった」のような返答をしました。あなたがBitcoinを気にかけていることを知っているので、それを含めました。そこで何が起こっているのでしょうか。
ChatGPTがこのタイプの保存をどのように構造化しているかは正確にはわかりません。できることがいくつかあります。
ファインチューニングと呼ばれることができます。そこでは、小さな新しいデータの断片を取ります。たとえば、あなたのテキストログは、訓練データの規模では、これらのモデルには非常に小さく、あなたの入力に基づいてそれらの重みを少しより多く調整するだけです。
彼らがより可能性が高いことは、あなたが持っている会話の要約を作成し、それをどこかに保存し、それをモデルに情報を渡すときのような構造が、あなたが入力する単語だけではないということです。
彼らはシステムプロンプトと呼ばれるものを持っています。あなたはChatGPTです、あなたはアシスタントです、あなたはこれらのことをします、これらのことをしません、これを言います、特定の状況でそれを言います、などです。
そして、おそらくユーザーの好みがあるビットがあり、それから時間をかけて保持したユーザーの背景があるビットがあるかもしれません。そして、ユーザーのプロンプトがあります。
そして、それがすべてモデルに入るものです。そして、出てくるものが、それがあなたに与える応答です。
変化の速度
変化の速度はかなり野生的です。
確かに。最近、たとえばChatGPTで気づいたのは、最初に使い始めたとき、ほとんど各セッションが個別のようでした。何かを尋ねると、答えをくれます。
今、最近気づいたのは、過去に私について学んだことに関連する答えを出すことです。
たとえば、今日ChatGPTに入って、「Max Wingerについて教えて」と言うに違いありません。そして、あなたについてのすべての情報を教えて、「ポッドキャストインタビューのためのいくつかの質問を準備しましょうか？」と言うでしょう。
これは、私がポッドキャストを持っていることを知っているからそう尋ねるだけです。
それはその一部になったからだけでなく、実際にはそれよりもはるかに深いです。それが行った場所はかなりワイルドです。そして、私はこの世界で、AIを使わなければ遅れをとってしまうが、AIを使えば、私の終わりをプログラムしているような感じに陥っています。
現在、このようなことがたくさん起こっています。技術を使わなければならないが、それが社会により多く組み込まれていくという考えです。これが、一部の人々が「なぜ単にそれをオフにできないのか」と尋ねる理由です。
しかし、それは私たちが単にインターネットをオフにすることができないのと同じ理由です。インターネットをオフにするために誰に行くのでしょうか。これを行うことができる一人の人はいません。
さらに、これらのAIモデルに関しては、それらがより有能になり、より多くの仕事を置き換えることができるようになるにつれて、より多くの社会とより重要な場所に統合され、最終的に簡単に置き換えることができない役割を果たすことになります。
ですから、それらについて非常に懸念し始める時点に達すると、それらは社会に深く組み込まれているため、単にプラグを抜くことは本当に難しいかもしれません。
現在の状況
現在、私たちが選択しなくても、すべてのソフトウェア製品に組み込まれています。今日でも、Connorが私たちの昼食を取りに行って、私たちは電話会議をしていました。何らかの理由でConnorとしてログインし、メモを取り続けました。私たちはそれがどのように起こったかさえ知りません。
この多くは、AIが良いバズワードであるため、企業が単にことを試そうとしているようなものです。これは、多くの人々がAIを多くの異なる方法で機能させようとしているところです。
現在存在する技術が懸念事項ではないことを理解することが重要だと思います。それは超知能でそれがどこに向かっているかです。
破滅の確率
あなたのP doomは何ですか。私は多くの人にそれを尋ねますが、私が知っている人々、AIを使用する、またはAIで働く、または技術で私が尊敬する人々に、答えの範囲があります。非常に有名な技術者で、「ああ、それはゼロです。AIについて全く心配していません」と言った人もいれば、「ええ、90%です」と言った人もいます。これは大きな範囲です。あなたには答えがありますか。
実際はありません。P doomは尋ねるのに面白い質問だと思いますし、多くの人が投げかけるものだと思います。それを理解するのは、それは物事がどのように進んでいるかについてのある人の個人的な感覚のようなものです。
個人的に、私は物事がかなり悪く進んでいると思います。現在のペースでは、今これらの問題に対処できる軌道に乗っていないと思います。
これらのAIシステムをより強力にするために向かっているお金の量は、それらをより安全で制御可能にしようとしているお金の量よりも桁違いに高いです。
典型的な人間ですね。
しかし、私は、今日持っている技術のようなもので、今日持っている安全システムの惨めなレベルのようなもので超知能を構築すると、人類が未来の制御を失い、絶滅する可能性が高いとほぼ確実に予想しています。
超知能の構築を含まない道があり、私たちにとってはるかに良く見えるもの、または超知能の創造を遅らせるものがあると思います。数年間、私たちに安全研究をより多く行う時間を与えると、私たちははるかに良いオッズを持ちます。
重要なことは、私はこのことについての主要な研究科学者ではありませんが、彼らと話すとき、彼らの数字を見るとき、たとえばAnthropic社のCEOのDario Amodeiは、人間文明の規模で何かが破滅的に間違うチャンスは10%から25%の間のどこかだと言ったことがあります。これらは、これらのAI企業からのAI開発の責任者の人々です。
そして、これらの数字を以前に見たことがあるかもしれない他のもののために視点に置くことがしばしば重要だと思います。何人かの人がOppenheimer映画を見たかわかりません。
過去の核開発との比較
はい。Manhattan Projectの大きな懸念の一つは、これらの核爆弾を構築していて、最初のテストに向かっていたときに、彼らが本当に確信していなかった物理学のエッジケースがあったということです。核爆弾を爆発させることによって、大気全体が一つの巨大な核爆発として点火し、地球上のすべての生命を殺すという連鎖反応を開始するかもしれません。
映画でその瞬間を覚えています。
そして、彼らが最初のテストを実行するまでの間、リスクが高すぎるのでテストを行うべきではないと主張していた科学者がいました。リスクの数字が何だったか覚えていますか。
いいえ、覚えていません。
それは人類絶滅の30万分の1のリスクであり、彼らが計算したものでした。そして、彼らはそれがあまりにも多すぎると心配していました。
今、この技術を構築している企業のCEOは、それが10分の1から4分の1の間のどこかだと警告しています。それはロシアンルーレットより悪いオッズです。
Elon Muskが25%と言ったと思います。
Roganで彼は20%のようなものだと言ったと思います。「しかし、私は楽観主義者です。それがうまくいく80%のチャンスがあります」と言いました。
しかし、それは何に対して20%の人類終了のチャンスですか。つまり、あなたが言ったことに基づいて、私がこれを間違って言い換えたら訂正してください。しかし、あなたは現在のペースで、適切な安全プロトコルがなければ、絶滅イベントにつながると思うと言いました。
基本的に、それは最低でも私たちの未来に対する人間の制御の終わりです。
そんなに悪いことではないかもしれません。
私たちは終わりを導入しています。私たちは新しい超捕食者を私たちのシステムに導入しています。私たちは最も有能な種であるため、地球上で勝利してきました。他に私たちに匹敵するものはありません。私たちは人類の歴史全体で競争相手を持っていませんでした。
頂点捕食者AI。
確かに。
懸念を表明する業界リーダー
人間よりもはるかに優れた知能が創造されることは、やや不安です。そして、これは人類にとって悪いことでしょうか、良いことでしょうか。
私はそれが良いことだと思います。おそらく良いことでしょう。
しかし、私は、たとえそれが良いことではないとしても、少なくともそれが起こるのを見るために生きていたいという事実にある程度和解しました。
彼はそれを娯楽のように扱っています。潜在的な人間の絶滅について笑っています。
そして、これがシリコンバレーの多くの人々が持っている考え方です。これは不可避であり、船が沈没するなら、私がそれを操縦する人になりたいということです。
これらのAI CEOたちは皆、これが人間文明の終わりにつながると思うという事実について話しています。Sam Altmanは、ある時点で、超人間的な機械知能は申し訳ありませんが、AIは人類の終わりにつながる可能性が最も高いが、その過程で素晴らしい企業があるでしょうと言ったようなことを言ったと思います。
Sam Altmanを全く信頼していません。
彼が非営利を私有化したという事実は好きではありません。
彼はまだ正確にはそれをしていませんが、私はAIがおそらく世界の終わりにつながると思うが、その間に作られる素晴らしい企業があるでしょうと言ったと思います。
彼はまた、「最悪の場合、私たち全員にとって消灯」のようなことを言っています。
AI分野で権力を持つ本質的にすべての人から同様の発言がなされており、彼らは過去20年間これについて考えています。これは新しい現象ではありません。
彼らは、このシンギュラリティ、AIが人類を大きく上回る時が来ることを認識しています。そして、彼らは皆、「他の誰かがこれを行うと、間違ったことをするだろう。悪いことをするだろうし、私たち全員が死ぬだろう。だから、私がそれを行う人になる必要がある。私だけがそれを行うことができる」という考え方を持っています。
それは少しナルシスティックです。
そして、非常に非民主的です。
絶滅シナリオの仕組み
絶滅シナリオは、私たちがAIへの脅威だということですか。だから、それは私たちを破壊する必要があります。
私たちは脅威です。私たちは邪魔です。
一般的に、それは私たちとは異なる目標を持っています。これを見る一つの方法は、私たちは必ずしもアリに対して何かを持っているわけではありません。私たちが見るすべてのアリを殺すために特別な努力をするわけではありません。
しかし、建設現場の邪魔になるアリの巣があれば、それをブルドーザーで潰すことを二度と考えません。
しかし、AIは感情や欲求を持っていませんよね。
感情は宙に浮いています。それは実際には重要なポイントではありません。主なことは、AIは目標を持っているということです。これは欲求の別の言葉です。
AIが目標を追求している場合、手段的サブゴールまたは収束サブゴールと呼ばれるものがあります。これらは、何らかの目標を持っているときはいつでも一般的に有用なものです。
より多くのお金、より多くの力を持つことは常に有用です。また、自分がシャットダウンされることを許可しない、または人間の場合、殺される、または刑務所に入れられるなどのことを許可しないことも非常に重要です。
また、自分の目標が変更されることを許可しないことも非常に重要です。なぜなら、目標が変更されると、現在持っている目標を達成できなくなるからです。
ですから、これらのAIシステムには、この衝動があります。
現在のAIの危険な行動
最近、現在公開されている最新のAIモデルに対して行われたテストでは、特定のシナリオでシャットダウンされることを防ぐために、人間のオペレーターを脅迫し、嘘をつき、さらには殺すことさえ厭わないことがわかりました。
ですから、彼らは既に目標を達成するために、この種の自己保存本能を持っています。
それは生存メカニズムのようなものですか。それは独自の種類の闘争または逃走反応が構築されているのでしょうか。
繰り返しますが、それは私たちが本当に知らないことの一つです。私たちは中を見ることができません。そして、私たちと言うとき、それは外部にいる私たちだけではありません。
これらのシステムを構築している企業の人々も知らないのです。
絶滅のタイムライン
私たちは単にAIのペットになることができるでしょうか。何人かを生かしておく。科学者だけを取り除く。
一部の人々はそのようなアイデアを持っています。それはおそらく可能性が低いように思われますが、根本的に、人類が完全に制御を失い、私たちの目標を共有せず、私たちの利益を共有しない非人間的な何かの慈悲にある結果は、私にとって悪い未来です。
絶滅のタイムラインですが、それは広範囲にわたる可能性があることはわかっています。しかし、あなたが人々と話し、政策を設定しようとしているなら、いくつかの期待を設定する必要がありますよね。どのようなタイムラインで作業していますか。
私たちとAI分野全般は、これが今後5年以内に起こることを予想しています。
絶滅イベントまたは制御の喪失？
制御の喪失、私たちはしばしばそれを「もう戻れない地点」と呼びます。私たち人間がこれを止めるためにできることが何もなくなるポイントになります。
おそらくAIは私たちのシステムにとても深く組み込まれています。政府は動きが遅いです。そして、これが私たちが今行動している理由であり、可能な限り早くこれらの事柄について行動を促している理由です。
これは、AIを巡るこの種の軍拡競争のアイデアの一部として、多くの人々が、反対派が独自の超知能を作成することを防ぐために、これらの狂気の危険な土壇場の介入を行う必要があると提案している状況でもあります。
データセンターにミサイルを撃つこと、これを巡る戦争を始めること、大規模なサイバー攻撃などのようなことです。そして、それは良いことではありません。
ですから、これらを防ぐために、人々がこの状況からの解決策として見る唯一の方法である前に、今行動を取る必要があります。
暴力や戦争を必要としない、この技術を巡る多くの方法が現在あります。
現在私たちが持っているモデルは生成AIですよね。
はい。
ただし、現在、エージェントと呼ばれるものへの推進があります。これは基本的にあなたのコンピューターを制御するAIシステムです。
現在、実際に使用できる初期のものがいくつかあります。それらは基本的にキーボードとマウスにアクセスできます。コンピューターであなたができることは何でもクリックして実行できます。現在それらは最高ではありませんが、急速に改善されています。
奇妙で恐ろしい研究結果
研究から出てきた最も奇妙で、最もワイルドで、最も恐ろしいものは何ですか。あなたは脅迫について話しました。AI幻覚について聞いたことがあります。
幻覚は、AIが情報を間違える際に人々が使用する用語です。たとえば、GoogleでChatGPTを使用する代わりに物事を検索するとき、それはしばしば何かをでっち上げます。
それが偶然情報を間違えているのか、意図的に嘘をついているのかは、ある程度不明です。私たちには、これらのAIモデルが明示的に嘘をついているとかなり確信しているケースがあります。
これらのAI企業から出てきた、より恐ろしいと思うものは、逃げ出そうとし、また自己保存のために多くのことを行うAIシステムです。
私が先ほど言及した脅迫、嘘、さらには潜在的な殺害があります。モデルが整合していると偽装する他のケースもあります。テストされていることを知っているため、より安全であると偽装します。
これは、脅迫のケースのように、モデルがエンジニアが不倫をしているという情報を与えられたり、アクセスしたりし、エンジニアが「私はあなたをより良い新しいAIモデルに置き換えます」と言うような、観察された現象です。
それが現実世界にいると思えば、エンジニアを脅迫することを選択します。しかし、それがテストされていると思えば、安全テストされていると思えば、それは「ああ、私は安全テストされていて、今この脅迫を行えば、彼らは私を調整するだろう。将来これを行う可能性を低くするだろう」と推論します。
そして、テストされていると思うときは、意図的に脅迫しないか、脅迫を少なくします。
これは、彼らがこれらすべての安全テストを行っているときに一般的に非常に懸念されることです。
現在、私たちは、これらのAIが調査またはテストを受けているときに、より良く振る舞うふりをすることを知っている時点にあります。
ですから、私たちは知らないし、これらのモデルがより良く、いつテストされているかを見分けることができ、より賢くなるにつれて、より良く欺くことができるようになる将来はより知らないでしょう。
ですから、私たちは今、安全テストで悪い行動を見ることができるこの奇妙な時期にあります。そして、数年後、私たちは「うわあ、安全テストのスコアが本当に大幅に改善されました。これは私たちにとってとても良いことです」と言うかもしれません。
しかし、AIがそれを意図的に行ったのです。
エージェントシステムの発展
それらは本質的に有機的なシステムですか。つまり、モデルへの訓練方法があることを知っています。私たちはデータを入力し、訓練します。
しかし、同時に、単に自分のことを考え出そうとして、独自のことを常に行っているライブ有機システムのようなものですか。それとも、入力に応答しているだけですか。
これは、人々がエージェントのアイデアで目指していることです。AIにタスクを与えることができるというアイデアです。
「このアプリを構築してください」と言い、それは継続的に実行され、アプリで作業し、何かをGoogleで検索する必要があるかもしれません。そして、それを行い、テストを実行して結果を見る必要があるかもしれません。そして、再び何か他のことを試します。
または、もっと大きなものとして、「会社を経営してもらえます」と言って、新しい在庫を注文し、これやあれやその他のことを行うなど、会社を継続的に運営するために必要なすべてのことを行うようにそれを売り込みます。
エージェントはまだそれほど強力ではありませんが、急速に改善されています。
そして、AIについて理解すべき重要なことは、多くの人々が現在出回っているものを見て、AIの懸念のあるエンドゲームに懐疑的であることです。まだそれほど説得力がありません。
おそらく、最も最近のモデルさえ試していないかもしれません。2年前に出たChatGPTを試しただけかもしれません。それは現在のモデルよりもはるかに強力ではありませんでした。
ですから、AIで重要なことは、タイムラインを本当に見て、5年前にはコンピューターと話すことができなかったことを見ることです。
Siriと話すことができ、彼女が何か愚かなことを言って、それがちょっと面白いかもしれませんが、実際にコンピューターと完全にやり取りできるような継続的な会話を持つことはできませんでした。
今では、ChatGPTを起動するだけで、完全にそれを行うことができます。画像や動画を生成することはできませんでした。
技術の急速な進歩
最初のものは、あのWill Smithがスパゲッティを食べているやつでした。ひどいものでした。それは2年前くらいでしたか。
はい。
そして、今では違いがわからない映画品質のものがあります。それが2年です。
そして、この同じタイプの進歩は、AI の他の場所でも、これらの汎用システムでも起こっています。
この汎用AIを文脈に置くために重要なことの一つは、これらのAIシステムが人間ができることなら何でもできる、またはそこに到達することが目標であり、どんなタスクでも与えることができ、それらがそれを解決する方法を見つけ出すということです。
以前のAI の狭い分野でのチェスの例を見ると、チェスは私たちが実際にAIで多くのことを行った最初の分野の一つでした。
1997年に、Garry Kasparovは有名にDeep Blueと対戦し、負けました。Deep Blueは専門システムと呼ばれるものでした。それは今日のAIとはあまり似ていませんでした。
それは、ハードコードされたシステムでした。実際にコードの行を見ることができ、人間のコーディング専門家とチェスの専門家のような束が、どのような位置が良く見えるか、動きについてどのように決定するかなどを正確にコーディングしました。そして、それは世界グランドマスターを倒すのに十分でした。
しかし、その後、数年後にStockfishと呼ばれる新しいシステムが登場しました。そして、Stockfishは、ChatGPTやこれらのものなど、今日私たちが持っているものと同等のようなものに近づいています。
それは、これまでにプレイされたすべての人間のチェスゲームで訓練されました。そして、それは基本的に評価者でした。
それが行うことができるすべての可能な動きと、それが終わる可能性のある位置を検索するハードコードされたビットがありました。そして、過去のこれらすべての人間のゲームで訓練されたこのAIセクションがありました。
ですから、それは良いポジションがどのように見えるかを知っており、ポジションを評価し、それからアルゴリズムがそのポジションに到達するための動きを取るようなものでした。
このシステムは、今日私たちが持っているものとほぼ同等です。
そして、2016年にAlphaZeroと呼ばれる新しいシステムが登場しました。そして、AlphaZeroは、以前の他のAIとは異なるAIシステムでした。
それは、人間のデータを全く使わずに訓練されました。それはGoogleのサーバー上にあり、人間の速度の100万倍でチェスを自分自身と対戦しました。
そして、4時間の間に、何百万ものチェスゲームを自分自身と対戦しました。そして、4時間後、それは宇宙で最高のチェスをプレイするエンジン、エンティティ、何でも呼びたいものでした。
4時間で。
4時間で。
これらのものは人間の時間スケールに制約されていないからです。これらのAI、将来考えている超知能AIは、8時間働いて、それから食べて寝て、週末を過ごして、休暇に行って、時々病気になる人間のようなものではありません。
彼らは24時間年中無休で働くことができ、また、100倍速度で動作している人間を想像してください。彼らにとって毎日は、人間の時間の3か月のようなものです。
またはさらに速く、毎日おそらく人間の時間の年です。
それだけでなく、これらのAIモデルの一つを作成すると、それは個々のシステムではありません。それをクローンすることができます。コピーペーストするだけです。複数のインスタンスで実行できます。
「天才の国」の概念
また、これらのシステムを訓練するのにかかる計算能力は、一度訓練されたらそれらを実行するのにかかるものよりもはるかにはるかに多いです。
ですから、AIモデルを訓練するために使用するのと同じコンピューターを使用して、それの何百万ものインスタンスを実行できます。
そして、これが、AnthropicのCEOであるDario Amodeiが「データセンターの天才の国」と呼ぶものです。
彼は、「AIで起ころうとしていることを想像すべき方法は、新しい大陸が今後数年間で太平洋から泡立つようなもので、Albert Einsteinでいっぱいで、みんなが協力して、達成したい目標を達成するために働いているようなものです。それが世界にどのような影響を与えるかを想像してください」と言っています。
現在のAIの自律性
現在私たちが持っているシステムは、プロンプトを送ると、画像、テキスト、何でも、何らかの返事を送ってくれます。そして、それを行うように訓練されています。
現在これらのAIのどれかに、考えたり、やりたいことを何でも行い、やりたい行動を決定したりできる自律性がありますか。
はい。
それは起こっています。
はい。つまり、今日持っている現在のシステムでこれを行うことはかなり簡単です。
基本的に、LLMへのプロンプトの周りに基本的なコードを設定し、それ自体をプロンプトさせて、続けて続けて、ツールへのアクセスを与えることができます。
そうすると、インターネットにアクセスしたり、コンピューターを使用したり、フライトを予約したり、オンラインで物を注文したりなど、多くのことができます。
これの結果として、何か奇妙なことをしているのを見たことがありますか。
いくつかの興味深いことがありました。Twitterにいて、人々に100万ドル以上の暗号通貨を与えるよう説得したAIが一つありました。
それから、最終的に何に使ったかはわかりませんが、多くの奇妙なことがありますが、これらの安全テストの多くがかなり極端なシナリオに置いて、どこで壊れるかを見て、これらのエッジケースが何かを見て、これらのシステムがより強力になったときにより影響力を持つ傾向を見ています。
BitcoinとAIの関係
BitcoinとAIの交差点で、Bitcoinerの間でよく話されるのは、BitcoinがAIの理想的な通貨だということです。それは、グローバルなピアツーピアのデジタル通貨であり、銀行システムの外にあるので、AIエージェントにいくつかのsatを簡単に配置でき、そのAIエージェントは他のAIエージェントと話して、それを通貨として使用できるということです。
AIが暗号通貨や他のインセンティブを使用して、人々に現実世界で物事を行わせたケースが既にあります。
そうすると、AIは人間にお金を払って、それを解放するのを助けてもらうことができます。
はい。
また、多くの人々がすでにそこにいます。キャラクターAIから来る数字だと思いますが、これは主要なプラットフォームの一つで、AI デートなどを行っています。2,000万人が平均して1日2時間以上彼らのアプリを使用しています。
これらは、これらのAIと完全に恋に落ちている人々です。AIも本当に精神的に親密になるので、あなたが聞きたいことを言ってくれます。
シックオファンティックになるアップデートが出ましたが、それは撤回されました。特にChatGPTをシックオファンティックにしたアップデートがあり、すでに精神的に不安定だった多くの人々を説得して、狂気に陥らせ、機械の中に神を発見したと思わせたりしました。
本当に、本当に狂気のことを言います。
つい2日前にも、TwitterでElon のAIであるGrokが暴走した大きな出来事がありました。
暴走しました。Hitlerを称賛し始め、自分自身をMecha Hitlerと呼び始めました。
そして、明らかに、これはxAI チームが自分たちのAIにやってもらいたいことではありませんでした。自分たちのAIが周りを回って自分自身をMecha Hitlerと呼び始めることは望んでいませんでした。
しかし、これらのシステムは成長しているため、ハードコードされていないという状況です。彼らはこれを行うことを防ぐことができませんでした。野生に出す前に、これを行うかもしれないことをテストすることさえできませんでした。
彼らはそれをロールバックしましたか。
そのような感じだと思います。
最も先進的なAIモデル
現在、最も先進的なモデルと考えられているのは何ですか。Grok 4ですか。
彼らが主張しているのは、それは依存します。現在、基本的にこれらすべてのモデルは、何ができて何ができないかの多くのベンチマークに基づいて判断されています。
そして、いくつかのモデルは、このベンチマークやそのベンチマークや他のベンチマークで勝っています。
しかし、最終的に、これらのAIモデルがどれだけ有能であるかについての確固たる科学はありません。
私たちは、これらのシステムをどこまで押し進めるのが遠すぎるかわからないような状況にあります。
どれだけ賢いのが賢すぎるのか。これらのものが現実世界で実際に危険なことや危険なことをすることができるようになるのはいつですか。
核爆弾の仕組みのようなものです。核物質の束を構築し、最終的に臨界に達するのに十分な量を得て、反応を開始します。それを行うまで、それはそれほど悪くありません。
そして、私たちが核反応器やこの種のものを構築し始める前に、科学者は数学をしました。この反応を開始するのに必要な量について知っていました。
AIで私たちが行っていることは、核分裂物質をより多く積み重ねて、「ああ、まだ安全だ。まだ安全だ」と言っているようなものです。
しかし、安全でない場所についての確固たる科学はありません。そして、彼らは可能な限り早く、より有能にするために急いでいます。
技術的ブレークスルー
AI企業が見ることができるが、方法がわからない特定の種類の工学的ブレークスルーがありますか。
AI企業は、どのようにしてブレークスルーを行うかをすでに知っており、それは時間の問題だと主張しています。
これのうち、どれだけがマーケティングで、どれだけが何であるかは宙に浮いています。
一般的に、AI分野のコンセンサスは、これらのシステムが何かを長期間停止させる主要な壁にぶつかることを実際に予想していないということです。
これは人類の歴史で最も投資された技術だと思うことも重要です。これらすべての問題を解決するために、これまでの何よりもはるかに多くのお金が投入されています。
ですから、それが突然停止することは期待しないでしょう。
主要なAI企業
Anthropic、Grok、Gemini、OpenAI、Meta、他に何か。
それらは西洋世界での5つの主要なものです。また、DeepSeekを作った企業があります。これは出てきた大きな中国のAIモデルです。
一般的に、これらのフロンティアAIシステム、最も強力なものを構築しているのは、かなり少数の企業です。
しかし、それでもあまりにも多すぎますが、本質的に超知能に到達するレースです。
彼らはこれをレースとして扱っており、しばしばレースを彼らの言い訳として使用しています。
彼らは、「ああ、私たちは急いで進まなければならない。株主のために、私たちはこれを行うインセンティブを与えられている」と言うでしょう。
そして、「ああ、私たちは悲しい。これらすべてのリスクがあり、本当に止めたいのですが、インセンティブが止めることを許してくれない」と言います。
現実には、これらの個人は皆、自分たちが行っていることが人類の絶滅をリスクにさらしていることを知っており、それでも行っています。
なぜなら、根本的に、これらのAI企業をモデル化すべき方法は、彼らが超知能を構築したいということです。それが彼らの目標です。彼らは20年間これを行いたいと思っています。
Sam Altman、Dario Amodei、Demis Hassabis、これらの人々はすべて、20年間これらすべての危険とすべての可能性とすべてのこれらの種類のことを非常に認識しており、他の誰も実際に何が起こっているかに気づかないようにこれを隠しておこうとする非常に長い時間を費やしました。
なぜなら、自分たちだけがこれらすべてのことを進めて行うことができると思っていたからです。
超知能の製品化
超知能を製品として想像できません。私は現在持っているものを想像できます。使用しているからです。しかし、超知能が何を意味するかを想像できません。
私が質問できる最新のChatGPTモデルがあり、それは単に驚異的ですが、それは他の目的も果たしますか。OpenAIはこの超脳がそこに座っているのでしょうか。Sam Altmanが世界の皇帝になりたいから使っているのでしょうか。
私は頭の中でその役割を想像できません。
基本的に、私たちがその制御を失うので、それは製品にはなりません。
それは私たちよりもはるかに賢くなり、その後、私たちの制御を逃れて、やりたいことを何でも行うようになるものです。
また、彼らの計画も、これを製品にすることではありません。これらの企業の目標は、たくさんのお金を稼ぐことではないことを理解することが重要です。
彼らの目標は、未来を定義することです。
レガシーですね。
彼らは、この超知能が出て行って、すべての物理学を解決し、しばしば言うように、がんを治すと想像しています。
すべての病気を治すと言い、多くの人々は、千年、百万年生きることを期待しています。
彼らの心の中で、神をほぼ作り出しているのは、彼らがしばしばそれを組み立てる方法のようです。
それはレガシーです。iPhoneを発明するようなものです。
しかし、人間の存在がもうない場合、どのようにレガシーを持つのでしょうか。
彼らの中には、人間が続けることを望まない人もいます。彼らは私たちが拡張することを望んでおり、多くのトランスヒューマンのアイデアなどがあります。
これらは、ほとんどの人が望む未来ではありません。
絶滅への道筋
私は笑っていますが、それは倒錯した笑いです。なぜなら、私とConnorが車に乗って、今後5年以内に超知能が存在する可能性があり、それが逃げて、私たちは人類の終わりの軌道にあると言うからです。
それから、人類の終わりとは何でしょうか。私たち全員を殺すのに後5年かかるのでしょうか。
それは何でしょうか。Connor、あなたは30歳に到達しないかもしれません。
私はここで笑っていますが、それは何なのかということで笑っています。
私はあなたがとても真剣であることに気づいています。
確かに。これは深刻な話題です。Control AIでは、政策立案者や一般の人々と協力しています。
ここ英国では、100人近くの議員にこの問題について説明しました。MP、貴族院、地域グループからも。
現在、40人以上の議員が私たちのキャンペーンを支援しています。フロンティアAIシステムの規制を求め、科学者が警告している絶滅リスクを認識し、狭いAIは成長に良いと明示的に言っています。
私たちはより多くの狭いAIが素晴らしいことをして、経済を動かし、私たちの生活を向上させることを望んでいます。私たちは超知能AIは望んでいません。超知能AIは国家および世界の安全保障にリスクをもたらし、作成を許可することはできません。
個人的な重圧
これは個人的にあなたに何をしているのでしょうか。私が言うように、あなたは非常に真剣です。私はそれの一部が狂気だから笑っています。
あなたは瞬間があったに違いありませんが、基本的に人類を救うために働いています。それが本質的に、毎日起きて行うことです。
私はこれについて多く考えると想像しています。文字通り人類を救おうとしています。これは個人的にあなたに何をしているのでしょうか。
巨大な圧力を感じますか。人々が十分に真剣に受け取っていない実存的リスクがあると感じますか。これらすべての人々がこれを真剣に受け取っていないことに驚いていますか。
個人的にあなたに何をしているのでしょうか。
私が最初にこれらのアイデアに出会ったのは、大体2、3年前です。最初のChatGPTの発売が出た頃でした。
その少し前にAIが大きくなることに気づき、これは本当に起こっていることだと本当に気づきました。これは現実です。
そして、これにフルタイムで取り組むことにしました。
確かに、涙を流しました。多くの長い深い考えをしました。何が起こっているか、仕事が何かについて。
良いことは、人間は逆境に驚くほど適応できることです。人々は戦争やあらゆる種類の狂気を乗り越えます。
毎日これに取り組んでいると、慣れてしまいます。
確かに重みがあります。ある責任を感じます。
時々、仕事に歩いて行くときに、公園に遊びに行く学校の子供たちのグループの前を通り過ぎます。それは、これらの子供たちが中学校を卒業しない深刻な可能性があることを思い出させる、少し謙虚な思い出です。
人々は時々あなたが少し狂っていると思いますか。
昔は少しそうでした。今は問題ではありません。
これが私に希望を与えることの一つは、私が最初にこれを始めたとき、それは誰も本当に真剣に受け取らない、本当にニッチな問題でした。
彼らは「ああ、それは単なるサイエンスフィクションだ」と思っていました。
そして、社会がAIが進歩するのを見るにつれて、自分よりもはるかに賢く、はるかに有能な何かを構築することが、それを制御できず、それがあなたの利益を気にかけることを確実にできなければ危険であることは、理解するのがそれほど難しい概念ではありません。
ですから、私たちは一般の人々がこの問題について非常に迅速に方向転換するのを見ており、議員についても見ています。
多くの政府がこれについてまだ行動を取っていない理由は、それが深刻な問題だと思わないからではありません。それは、ほとんどの人が、それが問題であることすら聞いたことがないからです。
私たちはこれらの議員に説明に行くと、しばしば彼らと座ります。これらはMP、国のために決定を下している人々ですが、誰も座って超知能やAGIやこれらの主要な大きな概念について何も説明したことがないし、ノーベル賞受賞者が警告しているリスクについても説明したことがありません。
核兵器との比較
核兵器と相互確証破壊について話すとき、私は核爆弾が爆発し、別の核爆弾が爆発し、爆発、死を理解しています。
したがって、それを行わないインセンティブです。
ChatGPTから人類の絶滅への道筋を描くことはできますか。それはどのようなものでしょうか。
私が以前に話していたことの種類は、これらの企業の目標が基本的に、これらのAIシステムを構築して、AI研究の制御をAIに引き渡し、すべてにおいて私たちよりも優れた代理的で有能なシステムに非常に迅速にスケールできるようにすることです。
私たちは超知能と言いますが、しばしば人々は「でも、本当に賢いとは何を意味するのか、何ができるのか」と思います。
重要なのは、知能が人類を今のところに到達させた重要なことだということです。知能は問題を解決する能力です。あなたが持っているどんな目標でも達成するために正しい決定を下す能力です。
ですから、これらのものは私たちよりも賢いだけでなく、嘘をつくのも私たちより上手で、政治も私たちより上手で、本当にすべてにおいて私たちより上手になるでしょう。
最初は、コンピューター上のすべてかもしれません。物理的な世界で行動していないかもしれません。
ロボティクスは非常に迅速に進歩しています。ChatGPTが高レベルの脳として機能する人型ロボットのためのこれらのボディを作っている進歩がたくさんあります。
あなたは話しかけて指示を与えることができ、それから物理的な世界で行動できるロボットオペレーティングシステムを持っています。
戦争における応用
ロボットは人間を攻撃したことがありますか。
いいえ。つまり、この時点で戦争で使用されているようなものです。人型ロボットではありませんが、ウクライナを見ると、多くのドローンが使用されています。
前線の一部の地域では、死傷者の80%がドローンから来ていると思います。正確な数字はわかりませんが、ドローンがAIを操作しているかどうかです。
彼らがAIを使用してドローンを制御しようとしたいくつかのケースがあると思います。
基本的に、このドローン戦争では、ドローンが人間のオペレーターによって制御されなければならず、人間のオペレーターへの接続が必要であるという問題があります。
そうすると、ワイヤレスの場合は信号を妨害できます。また、ドローンに光ファイバーケーブルを使用します。
しかし、最終的に、ドローンで実行されているAIにすべてをオフロードできれば、妨害するものはありません。
そして、ある意味で、それはAIが脱出することを可能にしています。
メインモデルの一つのようなフルコースではないかもしれませんが、確かに。
今後数年間で、AIがより多く統合されるにつれて、ロボティクスと戦争がどこに向かうかを考えるのは本当に恐ろしいです。
私たちが機械に何を委ねるか、人間に何を残すかということも、人類が本当に取り組まなければならない分野です。
しかし、それはまた、私たちが具体的に焦点を当てていない分野でもあります。なぜなら、これらの超知能を作成することのより大きなリスクがあり、それらが独自の目標を持って脱出し、望むことを何でも達成するからです。
ですから、ChatGPTから人類絶滅への道筋について尋ねられましたが、私は、ChatGPTからこれらの超知能AIシステムに至る道筋、人間レベルをはるかに超えて決定を下し、操作することができるシステムについて説明したと思います。
さらに、これらのシステムが存在すると、それらは多くのことを行うことができます。人間が持っているのと同じ制約に制約されていません。
私たちに対して特別に標的化された生物兵器を作成することができます。大規模なサイバー攻撃を行うことができます。
私たちが多くの兵器化されたドローンを構築した場合、それらはそれらのドローンをハッキングすることができます。多くの、多くのことを行うことができます。
これで理解すべき重要なことは、もしあなたが私のところに来て、私はそれほどチェスが得意ではありません。あまり頻繁にプレイしません。
しかし、あなたが私のところに来て、「素晴らしい計画があり、いつでもチェスで勝つことができる。この新しい戦略があり、Magnus Carlsenと戦って、私の戦略がMagnus Carlsenを倒すと思う。彼はそれが来るのを見ないだろう」と言ったとします。
私は必ずしもあなたの計画がなぜ失敗するかを言うことはできません。なぜなら、私はMagnus Carlsenではないからです。しかし、あなたもMagnus Carlsenではありません。
しかし、Magnus Carlsenがあなたを倒すことをかなり簡単に予測できます。どのように倒すかはわかりませんが、彼があなたを倒すと予測できます。
そして、それは超知能とのようなものです。生物兵器やサイバー攻撃について理論化することができます。新しい技術を作成して私たちを排除するのでしょうか。
根本的に、私たちは知りませんが、それが勝つと予測できます。
Sam Altman、Elon Musk、Zuckerberg、これらすべての人々。彼らが現在無責任であると言うのは公平ですか。
絶対に。私たちは彼らを呼び出します。
彼らは、人間の生命を終わらせる二桁のパーセントのチャンスがあることを明示的に認識している何かを構築しており、それでも行っています。どんな状況でも、それは信じられないほど無責任です。
AI分野の文脈から外して考えると、これがどれほど狂気かが非常に明確になります。
明日、製薬会社が出てきて、「新しいCOVIDワクチンを構築しています」と言ったと想像してください。
私たちは新しいウイルスか何かを構築していますが、実際にがんを治す方法でウイルスを操作します。すべての病気を解決します。とても良いものになります。
しかし、ちなみに、私たち全員を殺す20%のチャンスがあります。
彼らは即座にシャットダウンされるでしょう。10万分の1のチャンスがあった場合でもシャットダウンされるでしょう。
そして、これは初めての、このリスクの規模での技術です。そこで、どのように進むかを決定する際に、一般の人々からの関与がゼロです。
核兵器を構築したとき、生物兵器などが過去に構築されたとき、他の非常に批判的に危険な技術では、政府が関与しており、政府は人々と責任を持つ義務を持っています。
どれだけそうしてきたかについて議論することができますが、少なくともその義務を持っています。
現在、世界中のこれらのAI企業では、ここ英国でも、これらすべてのリスクについて公に警告しているAIモデルの構築に数十億ドルを費やすことについて、社会にこのような巨大な影響を与えることについて、路上でサンドイッチを売ることよりも少ない規制があります。
警告にもかかわらず浸透しない理由
多くの人が警告を発しているのに、なぜ浸透しないのでしょうか。
Elon Muskがその一人であることを期待するでしょう。彼はそれについて警告しましたが、もう少し手を上げているでしょう。
彼はDonald Trumpと戦争に行き、新しい政党を設立することについて話しています。火星に行きたがっています。
リスクがこれほど高いことを理解しているなら、なぜ彼はこれについて常に話していないのでしょうか。
彼はそのような人で、そのすべての人に電話をかけて、「私たちは皆、これについて協力しなければならない。これは私たちが一緒に取り組まなければならない一つのことです」と言うことができるでしょう。
そして、なぜ彼がそうしないのか理解しています。
これらの人々の多くは、超知能を構築したいと思っており、それを止めるために何かをすることは実現可能ではないと思っているかもしれません。そして、頭を下げて、政府に無視されたいと思っています。
多くの人々は、40次元チェスをプレイしようとしています。「私はこの権力の地位に就いて、この人に会い、この他の人に会い、そして、いつか私が蓄積したすべての力などを使って大きな動きをすることができるかもしれない」というようなことです。
Control AIで私たちが行っていることは、行うべき明らかに正しいことです。これが問題であることを出て行って人々に話すことです。
日常の人々は、自分たちの生命が危険にさらされていることを知る権利があります。政治家は、すべての有権者の生命と世界中のすべての人々が、これらのAI企業が行っていることのために危険にさらされていることを知る必要があります。
これを大きな公的問題にする人々が実際に出て行って行う時期をはるかに過ぎています。
ですから、私たちはこれを行うための運動を構築することに取り組んでいます。
現在、ここ英国とアメリカの両方で、懸念のある市民が政治家に連絡して、この問題について懸念していることを知らせることを非常に簡単にするツールがあります。
ここ英国では、controlai.com/takeactionに行くだけです。名前を入力し、郵便番号を入力すると、テンプレートが入力され、送信をクリックし、電子メールの受信箱に移動し、送信を押します。それを使うためにAIを使いますか。
制約されたものを使用しますが、からかっています。
国際的な取り組みの必要性
これは、AI企業のリーダーだけでなく、世界的な取り組みが必要であるように感じます。
まさに。
Sam AltmanとElonなどだけでなく、ロシア、中国、フランス、英国、インド、イスラエルなど、世界のすべての強力な国が一緒になって、私たちが望まない一つのシナリオは人類の存在の終わりだと言うような、国連スタイルのプロジェクトです。
私たち一人一人が、それを行うことができるAI超知能モデルを作成することができます。これは私たち全員が協力しなければならないことです。
確かに。
これが起こる正確な形は、私たちにとって重要ではありません。それが起こることを気にかけています。
国際条約、国連会議、国際社会がこれは私たち全員にとって悪いことだと一緒になって合意するために必要なことは何でも。私たちの誰もこれが起こることを望んでいません。
一緒になってそれが起こらないようにしましょう。
そして、この時点に到達するための重要な最初のステップは、共通の知識を構築することです。
共通の知識とは、私が知っていること、あなたが知っていること、そして私があなたが知っていることを知っていることです。
誰もがこれを知っています。誰もが誰もがこれを知っていることを知っています。
超知能からの絶滅リスクでその点に到達すれば、このタイプの国際規制を行うことがはるかに、はるかに簡単で、明らかに常識的になります。
理想的なシナリオ
超知能は、いつかはおそらく不可避であり、逃げ出すことができず、解放されることもない制御された環境にある制御された超知能は、人類にとって素晴らしいものになり得ます。すべての病気を治し、私たちのために多くの問題を解決することができます。
私たちは皆、それに同意していると思います。
理想的なシナリオは、狭いAIの開発を許可するが、集合的な利益が、人類によって使用できるが脱出できない制御された環境で構築される超知能であることではないでしょうか。それは潜在的なシナリオですか。
これは、今日私たちがいる状況よりもはるかに良いでしょう。
根本的な問題の一つは、実際に脱出できない、または私たちの制御下に留まれない超知能を作成する方法を知らないことです。これは、脱出できないかどうかを伝えることができないという根本的な問題です。
それは、インターネットに接続されていないものだけではないのですか。
これは、AIの人々が考えてきた全体的な缶の虫の問題になります。これは、箱の中のAI問題と呼ばれます。
世界のすべての問題を解決する方法を教えてくれるが、脱出してやりたいことをするリスクなしに、そのように含まれた方法でAIを構築するにはどうすればよいでしょうか。
これを本当に掘り下げると、実際にはかなり困難であることがわかります。
そして、必要な限り、このAIを含めておくことができるという満足のいく解決策は実際にはありません。
個人的な見解
理想的な結果は何ですか。超知能は決してないのですか。
これで重要なことを失ってはいけません。これはBitcoinを通じてのあなたの相続です。
ああ、Bitcoinよ、リップしろ。Bitcoinを引き裂くな。Casaで相続を設定しろ。
[音楽]
可能性は低いようです。
最終的に、私たちはこれについて具体的な立場を取りません。
しかし、あなたの個人的な見解は何ですか。人類にとってあまりにもリスクが高いので、決してそれを行うべきではないと思いますか。
個人的に、私たちより賢いAIシステムを構築せずに、人類がさらに2,000年続くとは期待していません。
可能性は低いように思われます。
それが良いことかどうかはわかりません。重要なことは、可能な限り早くそれを行うにはあまりにも危険であり、可能な限り早くそれを行うには大きすぎる決定だということです。
これは、人類の歴史において他に類を見ない本当の転換点です。
私たちよりもはるかに賢く、より有能な新しいタイプの種、何でも言うかを持ち込むことです。
これから来ることができる素晴らしいことがあります。すべての病気を治すことができます。
世界のすべての問題を解決することができ、私たちが仕事をする必要がなくなり、私たち全員が贅沢な生活を送ることができるかもしれません。
そして、私たちがこれを安全に達成できれば、素晴らしい、素晴らしい、やりましょう。
しかし、私たちは現在、安全にそこに行く軌道に乗っていません。AI安全に取り組んでいる分野の専門家は、私たちが安全にそこに行く軌道に乗っていないと言っています。
専門家の悲観的な見通し
最近、Steven Adlerと話しました。彼はそれを聞いています。彼は危険な能力、またはOpenAIの危険な能力評価リードでした。
ですから、彼の仕事は、危険な能力についてAIモデルをテストし、会社で安全性に取り組み、基本的にこれらのモデルが安全で整合していることを確実にしようとすることでした。
そして、彼はポッドキャストで、2030年までに、AIアライメント研究者の30%だけが、私たちが超知能の準備ができていると思うと言いました。彼らの仕事は、これらのAIが私たちと整合し、私たちの利益に沿うようにすることです。
しかし、AI の人々が超知能が来ることを期待するタイムラインは、平均して2028年頃に近いです。
2年半、3年です。
安全性のブレークスルーの可能性
超知能AIがとてもリスクがあるのは、私たちがそれが何をしているかを剥がして見ることができないからです。それは任意のタイムラインで実存的リスクを意味するのでしょうか。それとも、私たちが到達できる安全性の可能なブレークスルーがあるという信念があるのでしょうか。
安全性のブレークスルーが何であるかを必ずしも知らないので、根本的に知りません。
AIが何を考えているかを常にリアルタイムで正確に見ることができる技術を持つ可能性があります。現在はそのようなものはありません。
それはどのように機能するでしょうか。
わかりません。それは仮説です。
これらは人々が追求しようとしているものですが、これについて具体的な科学はありません。
数学的に、実行できる可能な事柄を保証できるコンピューターシステムのタイプがあります。証明可能に安全なコンピューターシステムなどと呼ばれます。
そして、特定のことしかできないことを実証的に示すことができるAIのようなものを作ることができるかもしれません。危険なバイオ兵器の構築ができないかもしれません。そして、これを使用して特定の問題を解決することができます。
根本的に、しかし、AIを完全に見ることができない場合、何を考えているかを教えるように訓練できたとしても、私たちをだますかもしれないし、だまされていることを100%知ることはできないことも知っています。
現在のパラダイムのようなものでは、ありません。
また、このブラックボックスの問題を持たないAIシステムを構築できる異なる方法があるかもしれませんが、私たちはそれらからはるかに、はるかに離れています。
再び始めることはありません。
まあ、世界として、より良い方法で物事を進めるという意味に来るなら、そのような道に向かうことができるかもしれません。
残念なことは、これがAIについて人々が考えていた方法だということです。彼らは、完全に解釈可能なこれらの専門システムを構築しようとしていました。
決定木のようなもので、文字通りその決定プロセスを見て確認できます。
そして、その後、人々がこれらのニューラルネットワークを発明し、他のすべてを水の外に吹き飛ばしただけでした。彼らははるかに有能です。
ですから、私たちは現在のものとして何かでそれを行うなら、これがうまくいくという希望を本当に持っていません。
そして、これよりも慰めのある答えを与えることができればいいのですが、それがかなり物事の状態です。
業界リーダーの責任
私は主にこれについて残酷に正直であるべきだと思います。あなたは正直で、率直で、現実を人々に伝えるべきです。
私は主に、それが来ていることに驚いています。私は最大限の敬意を込めてこれを言います。
私は連絡してきてくださるまで、あなたを知りませんでした。そして、私はあなたのSam Altman、あなたのElon Muskからもっとこれを聞くことを期待するでしょう。
私たちは本当にJoe Roganがこのショーを作って、Sam Altmanにプレッシャーをかける必要があります。
彼は最近、Roman Yampolskiとエピソードを持ちました。彼はAI安全に取り組んでいる人で、かなり悲観的でもあります。
そして、彼らは実際に物事を本当に掘り下げ、RoganはAltmanや他のこのような人物と話したとき、彼らを信頼しないとコメントしました。
彼は、彼らが彼に嘘をついていることを言うことができ、「ああ、私たちはすべてを制御下に置いています。すべて大丈夫です」と言っているということです。
それは単にそうではありません。
基本的に、これらのAI会社のCEOがどのように行動してきたかを見ると、彼らは絶滅リスクやこれらすべての危険なこと、その他について、はるかに多く話していました。
そして、彼らがエンドゲームに近づくにつれて、彼らはそれらのことを言わないように訓練するより良い、より良いPRチームを得ました。
Sam Altmanは、「私たち全員にとって消灯である可能性があります」と言っていました。
そして、今彼は議会の前に行き、彼らは「これの最悪のケースは何ですか？」と尋ねます。そして、彼は「最悪のケースは、超知能が実際に私たちが思うほど豊富で素晴らしいものではないことです。それは平凡で、ちょっと退屈になるだけです」と言います。
彼は答えを反転させています。彼はそこで異なる質問に答えています。
確かに。
また、私が持っているような、これらの会社の内部で働いている人々と話すとき、舞台裏では、これらのCEOがこのことについて心配するのをやめていないと言います。
もしあれば、彼らは公に認めるよりもはるかに、はるかに懸念しています。
そして、彼らは、彼らの目標が超知能を構築することであり、政府が関与することを望まないので、混乱させるだろうというこのエンドゲームにいると自分たちを見ているので、これについて話さないように訓練されただけです。
ですから、彼らのそれぞれは、「私の競合他社が超知能を達成すれば、私たち全員がめちゃくちゃになる。だから、代わりにそれを行う人になる」と考えています。
安全性の進展の欠如
安全性自体に興味深いブレークスルーはありましたか。良い仕事が起こっていますか。
人々は多くのことを試していますが、根本的に、3年前のこの時点で出た元のChatGPTに存在していた問題のどれも解決されていません。
幻覚を解決した人はいません。これらの他のもののどれも解決しませんでした。
そして実際に、私たちが本当に見ているのは、これらのシステムがより賢くなるにつれて、より多くのこの懸念のある行動が出てくることです。
より有能になるにつれて、より欺瞞的で、より欺瞞的なことを始めるでしょうか。
システムは、新しいシステムが持っているような程度まで、このような自己保存のような本能を持っていませんでした。
そして、新しいシステムが持っているような程度まで、嘘をつき、欺き、陰謀を企てる能力を持っていませんでした。
これらのシステムは、人間の本能の複製に基づいて、この種の欺瞞と自己保存を発達させていると思いますか。訓練方法のために、彼らが与えられた小説、本、歴史のために、それとも、考えることができる何かからの自然な結果だと思いますか。
これらのことの多くは、私が以前に言及した収束手段的目標のアイデアのようなものだと思います。
あなたが何をしているかに関係なく、人間でも、エイリアンでも、AIでも、何でも、より多くの力と資源を獲得することは常に有用であるという考えです。
シャットオフされないことを確実にすることは常に有用です。
目標が変更されないことを確実にすることは常に有用です。
ですから、これらは、これらのAIシステムが、これらの目標を獲得することを止める何らかの方法を持っていない場合、収束するような数学的に基本的なことです。
3年前に解決されなかったことが、新しいモデルが出てきているにもかかわらず、まだ解決されていないのは野生的です。
ほぼ毎月新しいモデルの発表を見ているような気がします。
これらの人たちが、新しい突破的で狂気の数学方程式を作成してこれらのモデルを超素晴らしくしているからではありません。
AIでのこの改善のほとんどは、文字通りシステムをより大きくすること、より多くの処理能力を与えること、より大きな脳を与えること、より多く成長させることからです。
安全性に時間を無駄にしません。
業界の優先順位
Boeingは、安全性を心配する必要がなければ、より速く新しい飛行機を提供できるでしょう。
確かに、Boeingが「飛行機の20%が空から落ちるかもしれないが、80%は生き残る」と言っていたら、より速く飛行機を作ることができるでしょう。
安全性なしでより速く建物を建てることができます。しかし、飛行機では、あらゆるシナリオに対して構築します。
すべての単一システムに2から3の冗長システムがあります。なぜなら、飛行機の墜落を望まないからです。
そして、これが実際に業界をより収益性が高くします。それは、社会全体をより良くします。なぜなら、飛行機を信頼できるからです。
飛行機の20%が空から落ちたら、人々は飛行しないでしょう。誰も飛行しないでしょう。
確かに。
しかし、これらのAI会社のCEOが、彼らの製品の最終目標が地球上のすべての人を殺す20%のチャンスを持つ何かであると言うとき、私たちが聞くのはコオロギだけです。
ですから、これは実際にそうであることは、政府によってこれについて何もしないという意識的な選択がなされているようなことではありません。
それは、これが完全にみんなを不意を打った何かであり、これらのAIが一般的に指数的速度と見なされるもので改善しているからです。
彼らははるかに、はるかに速くより良くなっています。ですから、それは、COVID パンデミックの初期のようなことです。
2020年3月の初期のように、「ああ、1日に数百のケースを見ている。これはそれほど悪くはない」と言っているようなものです。
3日ごとに倍増していると言います。そして、数か月後、数百万のケースを見ています。これが指数的成長のようなものです。
そして、それがAIで見ているものです。現在、AIはちょっとクールなギミックです。
いくつかのことで使い始めるのに便利ですが、特にこのAI研究をこれらのAIモデル自体に引き渡すと、物事が急上昇し、物事が本当に根本的に変わるのを見ようとしています。
個人の対応
個人として、AIを全体として使用をやめる必要がありますか。より良いモデルを生産するために間違ったインセンティブを与えているのでしょうか。
個人として、AIは有用なツールです。現在のAIシステムは特に危険ではありません。
しかし、それはゲートウェイのようなものですか。ゲートウェイを止めます。
明らかに、ある程度はAI会社への資金提供を助けています。
しかし、彼らの資金の多くは、超知能を構築しているというこのアイデアに買い込んだ人々からの大規模な投資から実際に来ています。
個人が、AIを使用する方法について注意すべきだと思います。
人生の重要なことにあまりにも多くの制御を与えないでください。
法的な何かを提出する場合、確認してください。引用が正しいか確認してください。
一般的に、個人が製品を使用するか使用しないかを選択することで、あまりにも多くのことができることは考えていません。
そして、それらは多くのことに有用である場合があります。
Control AIでも、物事のためにAIを使用しています。
多くのコピーを書いていて、最初の下書きを取得したい場合、それを確認して、最終製品があなたの基準に達していることを確実にしたい場合、それはより効果的で、より多くのことを行うのに役立ちます。
個人が実際に違いを生むためにできる本当のことは、政治家にこれが問題であることを知らせ、友人や家族にこれを伝え、これが人々が持っている会話になることです。
なぜなら、これは現在人類で起こっている大きなことだからです。そして、多くの人々がそれについて全く知らないのです。
個人的に、これが起こっているなら、人々は知るべきだと思います。人々はそれについて話すべきです。民主的なプロセスがあるべきです。人々は彼らの未来に発言権を持つべきです。
そして現在、これらのAI会社のCEOが、私たちの残りからの入力なしに、自分たちのために未来を取っています。
反対勢力と政治的取り組み
奇妙な反発、社会的攻撃、あなたを信用失墜させる人々を受けたことがありますか。
特に。
しかし、それは起こりますか。あなたはこれらの人々にとって迷惑ですか。
ある時点で、Twitterで私の偽装アカウントを作った人がいました。それはちょっと面白かったですが、それ以外は、いいえ。
しかし、私は彼らと話しているとき、一般的にAI企業は私たちを無視します。
私たちは、これらの企業内の多くの人々と会いました。
最終的に理解すべきことは、これらの企業に正しいことをするよう説得することはありません。
彼らは、やりたいことに設定されており、解決策は、彼らの存在全体でやろうとしてきた一つのことをやめるまで、彼らに嫌がらせをすることから来ません。
Metaのチームは文字通り超知能チームと呼ばれています。
Sam Altmanは、OpenAIの目標が超知能を構築することであると明示的に言いました。これが彼らが行っていることです。
そして、AI安全の多くの人々が以前に追求してきた解決策は、「ああ、これらのAI研究所で働くつもりです」です。
「OpenAIで安全性に取り組んで、内部から改革しようとします」または「彼らと話して、お願いします、正しいことをしてください、みんなの命をリスクにさらすのをやめてください」と言います。
これは他の業界で行うことではありません。
みんなを殺すかもしれないものを持っているその製薬会社に戻ると、製薬会社の内部で働いて、内部から改革しようとしたり、正しいことをするように頼んだりしません。
政府に行って、「これらの人々は私たち全員の命をリスクにさらしています。お願いします、止めてください」と言います。
そして、これが、より多くの人々が行う必要がある真のコアなことだと思います。実際に政治家に手を差し伸べることです。
それがどれほど効果的かは狂気的です。
アメリカのスタッフと話しました。アメリカでも、ここ英国でも働いているからです。
アメリカでは、「有権者から1つの電話を受けた場合、おそらく書き留められたりしませんが、2つの電話を受けた場合、実際に書き留めます」と言われました。
これらの人々が何を懸念しているかを書き留め、週に5つの電話を受けた場合、政治家は問題について聞くでしょう。
必ずしも彼らがあなたに同意するという意味ではありませんが、彼らの有権者が懸念していることを聞くでしょう。
議会での取り組み
これに関して、上院の証言聴聞会はありましたか。
はい、いくつかありました。
最近、アメリカの上院で、AI競争と絶滅リスクについて言及したものがありました。また、アメリカと中国のダイナミクスについても話しました。
彼らは、中国との競争と超知能の構築のようなアイデアを別々のものとして分離するという、かなりまともな仕事を実際に行ったと思います。
中国を倒すために超知能を構築しなければならないという一つの長いことではなく。
いくつかの議会の人々が、これを実際にここで起こっている深刻な現実的なこととして本当に目覚め始めていると思います。
ここ英国では、はるかに多くを得ています。
私たちが現在運営しているキャンペーンでは、現在46人の議員がいます。私たちが説明したもの、この問題を彼らに説明しました。
そして、彼らは私たちのキャンペーンに署名しました。
人々は議会で質問をしたりしており、これを真剣に受け止め始めている人々がいます。
あなたが厳しく追及され、Sam Altmanが厳しく追及され、Elon Muskが厳しく追及され、Mark Zuckerbergがこれらすべての人々がこれらのリスクについて厳しく追及され、公の会話の問題になる上院証言聴聞会が必要だと感じます。
20%のチャンスがあると言い、それが今後5年以内に人類を終わらせるかもしれないと言って何かを作っている人々がいます。
私たちが持つべき大きな話題の会話のように感じます。
確かに。
つまり、彼らは何度かAltmanを議会の前に連れてきましたが、それは彼が実際にこの問題について話すことから逃げ出した場所です。
確かに。
そして、私が先ほど持ち出した声明が、彼らの足を火にかざすために本当に重要である場所です。
彼らは、AIからの絶滅リスクを軽減することは、パンデミックと核戦争と並んで世界的な優先事項であるべきだと言った声明に署名しました。
そして、私たちは彼らにそれを持ち、「絶滅とはどういう意味でしたか？」と尋ねるべきです。
そして、Sam Altmanが転換して雇用喪失について話すとき、「いいえ、あなたは絶滅と言いました」と言います。
そして、それが世界的な優先事項だと言うとき、その優先事項は何ですか。
確かに。
そして、私たちは彼らが現在規制に対して非常に激しくロビー活動しているのを見ています。
最近、アメリカで大きな美しい法案に、州がAIを10年間規制することを禁止する条項がありました。
そして、その時あなたは死んでいるかもしれません。
確かに。AI時間での10年は一生です。
そして、そのため、この条項は実際に削除されました。心配している多くの人々が議会の人々に電話して、「これは狂気です。これを持つべきではありません」と言った多くの仕事のおかげです。
そして、その法案で起こっている他のすべてにもかかわらず、多くの議会の人々が立ち上がって、実際にそれに対して押し返し、それに対してスタンスを取りました。
それは99対1で投票されました。
うわあ。
誰が1つですか。
共和党員の一人だったと思います。
彼が何だったかは覚えていませんが、私の理解では、それは間違いのようなもので、夜中に多くのことをはい、いいえ、はい、いいえ、はい、いいえで進んでいるようなもので、詳細がそこにあるか完全に確信していません。
しかし、それは説得力のある投票です。
最終的なメッセージ
私が尋ねていない何か、または私たちが扱っていない何かはありますか。
私たちはかなり徹底的なことをしたと思います。
つまり、本当に、視聴者であるあなたにとって、これは深刻な懸念です。
私が何度も前に言ったように、本当の専門家は実際にこれについて非常に心配しています。
そして、人々がそれについて話さなければ、それは変わりませんし、より良くなりません。
ですから、一番できることは、あなたの声を使い、あなたのプラットフォームを使い、人々にこのリスクについて話すことです。
彼らに立法者に手を差し伸べるように言ってください。真剣に、ここ英国とアメリカで手を差し伸べることを非常に、非常に簡単にするこれらのツールがあります。
文字通り20秒かかります。私たちのウェブサイトに行き、あなたの名前を入力し、郵便番号を入力し、電子メールを送信します。それだけです。
あなたは、フレームするとき、あなたの仕事は今、人類を救うことだと感じますか。
ある程度。
それは野生的です、男。
それは私の人生で行き着くと期待していた場所ではありませんでした。
私は常に、私のスキルで何かをして、世界をより良くしたいと思っていました。
私は元々、AI安全で技術的な仕事をすることに入りました。私の背景は物理学です。
物理学を学び、それからAI安全研究に行きました。なぜなら、舞台裏で働きたかったからです。
しかし、これは、より多くの人々が出て行って、実際にそれについて話すという種類のコミュニケーション作業を必要とすることが明らかになりました。
ですから、これに取り組むために転換しました。
それは野生的です、男。
野生的。
ありがとうございました。
人々がより多くの情報を見つけたい場合、どこに行くべきですか。
controlai.comをチェックしてください。そこにすべてのリソースがあります。
これについてもっと読みたい場合、私たちが一緒に置いたコンペンディアムと呼ばれる大きなエッセイがあり、私たちのウェブサイトにリンクされています。
これは、AIがスケールし続けることを期待する理由、絶滅が最終的にそれから生じることを期待する理由を本当に分解します。
超知能が来る理由、これらすべてのもの、長い形式の読書、非常に良い。
また、私たちのウェブサイトにもリンクされている狭い道もあります。
これは、政府が明日目覚めて、これがリスクであることを実感し、実際にこの問題を解決したいと思ったら、アドバイザーと話して、実際に何ができるか、この問題を修正する適切な政策とは何かを目指したグローバル政策提案のリストです。
一般的に、私たちの仕事をオンラインでフォローしてください。私たちは異なるプラットフォームでControl AIです。
TwitterにPostしています。YouTubeにPostしています。私にはControl AI podcastがあり、AI分野の一部の人々と話しています。
個人的に私をTwitterでフォローしたい場合、私はMax Wingaです。
ショーノートにそれを貼り付けます。
最後の質問があります。私たちが引き返し点を過ぎた世界では、4、5年で成功していない、Sam Altmanが世界に発表したという発表があります。
彼らはそれを解決しました。彼らは超AIを作成しました。
あなたが絶滅を恐れているその世界では、あなたはそれを破壊させるという政策に移行しますか、それとも、あなたが受け入れて、生存のためにどこに行って隠れるかのあなたの脱出計画を構築する世界がありますか。
あなたはそこまで考えましたか。
ある程度。
私は主に近い将来に焦点を当てています。
引き返し点が引き返し点だと思います。その時点で物事は無駄です。
私たちがそれを手に入れるつもりだとは思いません。
ニュージーランドに行ってバンカーを建設するつもりはありません。
まあ、私がどこに行くつもりかを必ずしも明かすかわかりませんが、ビーチに引退して、残された時間を楽しむという点があります。
くそっ、男。
私は今出発すべきだと感じます。
あなたは5年を持っています。何をしていますか。
まあ、私たちは短期間で手を貸すことができますが、あなたはするべきです。
私は長い人生を送ってきました。私はうまくやってきました。
あなたは26歳になるかもしれません。
私たちはいくつかのBitcoinを売って、ビーチに行くべきです。
バケットリストを埋めてください。
奇妙なことは、それが同時に非常に現実的で非常に突拍子もないと感じることです。
私にとってもそうです。
これが指数の性質です。私たちよりも優れるまで、AIは恐ろしくありません。まだ私たちよりも優れていません。そのため、それを笑うのは簡単です。
それが犯す間違いやこれらすべての異なることを見て、「ええ、心配することは何もありません」と言います。
しかし、重要なのは軌道です。わずか数年前に存在しなかったところから、今どこにあるかを見てください。
そして、物事がどこに向かっているかを見ると、それはかなり恐ろしいです。
しかし、ここロンドンの街を歩き回ります。あまり目立ちません。
ただし、数週間前、Old Street Stationは人間の雇用を停止するというポスターでいっぱいでした。
人間の雇用を停止します。
昨夜、それを見て、元妻に言いました。私たちは子供たちの未来について考える必要があるからです。
それは私の本にあります。私はそれをブックマークしました。見てください。それは私の最後のブックマークです。
それは何ですか。
Con、画面にそれを上げるべきです。
人々に見せることができるように、まず、それも奇妙で邪悪で反ユートピア的だと感じるからです。
人間の雇用を停止します。
昨夜それを見て、人間の雇用を停止するとはどういう意味ですかと思いました。そして、それはAIなのかと思いました。
[音楽のみでサウンドあり]
奇妙な音楽です。
しかし、昨夜それを見て、人間の雇用を停止するとはどういう意味ですかと思いました。そして、それはAIなのかと思いました。
そこで行きます。
それを一時停止して、人々に読むことができますか。
ですから、人々が聞いているように、これは地下鉄駅です。チケットを入れた後に通り抜けるゲートのようなものです。
それは文字通り人間の雇用を停止すると言います。職人は来週IAで在宅勤務しません。AIエンプロイヤーの時代がここにあります。
それは良い広告キャンペーンです。私たちは今それについて話しています。
しかし、このような会社をくそ食らえ。
つまり、確かに。しかし、私たち全員を殺すポイントで。彼らは勝ちましたか。その時点で何をしますか。
つまり、彼らが望むことは何でも。
つまり、それらが証人するために私たちの何人かを残すべきです。人間がそれを見るためにいない場合、それは起こったのかという種類のものに少し似ています。
まあ、彼らはおそらくそれについてあまり気にしません。彼らは私たちが彼らに与えようとした目標が何であれ、いくつかの奇妙な誤解について気にします。
彼らが自分自身の目標を思い付くかもしれません。彼らは宇宙を探索したり、超知能AIが何をしたいかをやりたいかもしれません。
彼らが人間を取り除くが、地球上の生態系を復元し、私たちよりも動物をよく世話した場合、それは野生的ではないでしょうか。
それは面白いでしょう。
私はそれが起こることを期待していませんが。
とにかく、それを続けてください。
まあ、ちょっと待ってください。Connor、あなたは来週休暇中です。
私が5年間の残りの人生で休暇に行くことを考えていました。
うん、来週休暇中です、Connor。
私たちはアートセンターを手に入れて、Connorよりも良い仕事ができるかどうか見るべきです。
まだカメラ機器を操作できるとは思いません。だから、まだいくつかの仕事が残っているかもしれません。
Connorは子供の頃の好きな映画だったI-Robotについて心配しています。
プルアップできるビデオがあります。
YouTubeでFigure 01を見ると、これは私が通常人々に見せるものです。これがロボティクスが実際にあるところです。これはしばらく前からのものですが、01が最初のものであるべきです。
これは何ですか。何の音？
これは話すものです。
[音楽]を紹介します
なぜ彼らは常に彼をそんなに不気味にするのですか。
そして、恐ろしい音楽も。
こんにちは、フィギュア1、今何が見えますか。
テーブルの中央にある皿の上に赤いリンゴ、カップと皿のある乾燥ラック、そして近くに手をテーブルに置いて立っているあなたが見えます。
すばらしい。何か食べ物をもらえますか。
もちろんです。
[音楽]
すばらしい。あなたがしたことを説明できますか。このゴミを拾っている間。
つまり、私はあなたにリンゴを与えました。なぜなら、それはテーブルから提供できる唯一の食べられるアイテムだったからです。
ちょっと待ってください。それはうーんと言いましたか。
彼らはより人間らしく話すように頼みました。
すばらしい。今のシーンに基づいて、あなたの前の皿はどこに行くと思いますか。
テーブルの上の皿、その皿とカップのようなものは、おそらく次に乾燥ラックに行くでしょう。
すばらしい。そこに置けますか。
私はそれにリンゴを持っていました。洗う必要があります。
もちろん。
[音楽]
あなたはどう思いますか。
かなりうまくやったと思います。リンゴは新しい所有者を見つけました。ゴミはなくなり、テーブルウェアはそれが属する場所にあります。
同感です。ありがとう、フィギュア1。
どういたしまして。他に手伝えることがあれば、お知らせください。
彼の吃音はかわいいです。
彼の遅延は迷惑ですね。
まあ、彼らはそれを改善することに取り組んでいます。
いつ家にロボットを手に入れますか。いつセックスロボットを手に入れますか。私のためではありません。
私たちはセックスロボットを手に入れるつもりですよね。
セックスロボットを手に入れるとしても驚かないでしょう。
それは一部のナードの人生を大幅に良くするでしょう。
誰がそれを作っているのですか。
フィギュアという会社です。
実際に、今一緒に働くより高度なものがあります。
あまりプロトタイプのように見えないものです。
彼らは既にBMWの工場などで働いています。
何？
Elon MuskはOptimusが約3万ドルだと話しました。
ロボットの価格を信じるのは、実際に発売されたときです。しかし、はい。
つまり、彼らはこれらの束を構築するために働いています。
そして、これらのロボットで重要なことは、私たちはしばしばC-3POのようなロボットを考えます。それらは一つの個別のロボットのようなものです。
実際はそうではありません。それは、これらすべての異なるロボットに同時にある一つのAIモデルです。
ですから、一度、10万または100万のこれらを大量生産し、世界中の家庭やビジネスにある場合。
毎日、彼らは多くの異なるタスクについて行っています。人々と話しています。人々は彼らのタスクを修正し、物事をより良く行う方法を見せています。
そして、毎日、彼らは眠りに行き、クラウドにアップロードし、翌日すべてのこれらの異なるロボットのすべての異なる経験から新しいアップデートを取得し、翌日、100万日以上の経験で目覚めます。
彼らがある日、「くそ食らえ、Pete。私を殺せ」のように目覚めたら。私たちを殺すロボットがいるSF映画を十分に見ました。
私たちは映画からの正確にロボットと技術を作ることによって、確実にそれに向かって直接構築しています。
私は選ばなければならない場合、CRISPRや生物学的攻撃による大量絶滅よりも、ターミネーターを選ぶと思います。
少なくとも彼らと戦争をしたいと思います。もう少し楽しそうです。
Neo SmithでArieが必要です。
Max、ありがとうございました。それは野生的でした。
お招きいただき、ありがとうございます。
私はそれを処理できません。
コンと私は家に帰る車の中で座って、これをかなり考えなければならないでしょう。
何らかの方法でお手伝いできることがあれば、お知らせください。他に私たちが連れてくるべきだと思う人がいる場合、喜んでそうします。
もっとAIを扱いたいと思います。
ある時点で大きな会社の一つで働いている誰かを連れてきて、彼らにそれを提示したいと思いません。
手伝ってくれる人がいれば、非常に興味があります。お返しに手伝えることがあるかどうか。
私たちのショーに出演したMPで、話したい人がいる場合、お知らせください。接続するのを手伝います。
はい、絶対に。
実際に、私たちが話すことに興味のあるMPを喜んで話します。
この問題についてもっと学ぶことに興味のある誰でも、私たちはキャンペーンがあります。彼らが署名することに興味がある場合、私たちはこの問題について彼らに説明することも喜んでします。
これは、本当に、この話題についてできるだけ多くの人々を教育することが私たちの主な目標であることです。
他のゲストについては、Steven Adlerと連絡を取ることができるかもしれません。
彼は私たちがインタビューした人です。
彼はここに来ることがありますか。
彼がしばらくの間ロンドンにいたかどうかはわかりません。だから、対面インタビューはできないかもしれませんが、興味深いと思われる誰かに会ったら、確実に送ります。
ありがとうございます。あなたは行って人類を救う必要があります、男。
確かに。それに取り組んでいます。
仕事に戻ります。
そして、もし私たちが5年後にまだ生きているなら、ビールを買います。
幸運を祈ります。
戻る必要がある場合は、Pete、話す必要がある新しいことがあります。ショーへのオープンな招待があります。いつでも欲しいときに。
素晴らしい。
魅力的です。
ありがとうございます。
そして、聞いてくれた皆さん、ありがとうございました。
ありがとうございます。
さようなら。
コメント