この動画は、AI Futures Projectの創設者であるダニエル・ココタイロが、2027年までにAGI(汎用人工知能)が実現し、2030年までにAIによる支配が起こる可能性を描いた「AI 2027」シナリオについて詳細に語るインタビューである。ココタイロは、OpenAIでの勤務経験を持ち、数百万ドルの株式を放棄してまで非難禁止契約への署名を拒否し、AI安全性への懸念を公に語ることを選んだ人物である。インタビューでは、中国によるAIモデル窃取の可能性、超知能AIによる自己複製型ロボット経済の構築、ミスアライメントされたAIの危険性、そして国際協調の必要性などが議論される。ココタイロは、現在のAI開発の軌道が続けば、少数の企業や政府が超知能AIを支配し、人類の未来が10程度の「心」によって決定される世界に向かっていると警告する。彼は、ハードウェア検証技術への投資、AI企業の透明性向上、内部告発者保護の強化などを提唱し、破滅的な結果を避けるための国際的な調整と規制の重要性を強調している。
AIの未来を予測する
今回は、AI Futures Projectの創設者であり代表理事であるダニエル・ココタイロさんにお話を伺います。AI Futures Projectは、AIの未来を予測することを目的とした非営利の研究組織です。
ダニエルさんと彼の同僚たちは最近、「AI 2027」という物語形式の予測を発表しました。これは、現在から2027年までにAGIに到達し、2030年までにAIによる支配に至る可能性を描いたものです。最初の数週間で約100万人がこのシナリオのウェブページを訪れ、現在はさらに多くの人が見ているはずです。また、数百万回の再生回数を誇る動画版も制作されています。
AI Futures Projectを立ち上げる前、ダニエルさんはOpenAIで働いていました。2024年にOpenAIを退職した際、彼は非難禁止契約への署名を拒否しました。つまり、数百万ドルの株式を失うリスクを冒してでも、AI安全性への懸念について率直に語れるようにしたのです。
ポッドキャストに来ていただきありがとうございます、ダニエルさん。
お招きいただきありがとうございます。お話しできるのを楽しみにしています。
AI 2027シナリオの紹介
さて、ここで少し変わったことをします。私の同僚が80Kで制作した動画の音声を流します。この動画は、あなたのAI 2027予測の概要をまとめたものです。動画のタイトルは「We’re not ready for superintelligence(私たちは超知能に対する準備ができていない)」です。
動画の音声は視覚なしでもかなり明瞭ですが、もし動画を見たい方は(本当に素晴らしいのでおすすめします)、エピソードの説明欄にリンクを掲載します。このエピソードを聴いている方で、すでにAI 2027シナリオを読んだり、80Kの動画を見たりしたことがある方は、約35分40秒のところまでスキップしてください。
AI 2027シナリオ動画の内容
今後10年間における超人的AIの影響は、産業革命のそれを超えるでしょう。これがAI 2027の冒頭の主張です。
これは、ダニエル・ココタイロ率いる非常に印象的な研究者グループによる、徹底的に調査されたレポートです。2021年、ChatGPTがリリースされる1年以上前に、彼はチャットボットの台頭、1億ドル規模のトレーニング実行、包括的なAIチップ輸出規制、チェーン・オブ・ソート推論を予測しました。彼は、AIで次に何が起こるかについて、非常に早く、そして非常に正確であることで知られています。
ですから、ダニエルが今後数年間のAI進歩について月ごとの予測を立てるために腰を据えたとき、世界は注目しました。ワシントンの政治家たちから、世界で最も引用されているコンピュータ科学者、AIの父と呼ばれる人物まで。
この文書を読んで非常にエキサイティングかつ恐ろしいのは、これが単なる研究レポートではないということです。彼らは予測を物語として書くことを選びました。急速に進化するAI進歩を実際に生きるとどう感じるかについて、具体的で鮮明なアイデアを与えるためです。
そしてネタバレですが、これは人類の絶滅を予測しています。違う選択をしない限りは。
AI 2027シナリオは2025年夏から始まります。ちょうど私たちがこのビデオを撮影しているときです。では、現実世界で今どこにいるのかを確認してから、シナリオのタイムラインに移りましょう。
現在、あなたのおばあちゃんを含む誰もが、AI搭載の何かを売っているように感じられるかもしれません。しかし、そのほとんどは実際にはツールAIです。Google MapsやかつてのGoogle Mapsや計算機がしていたように、人間の消費者や労働者が自分の仕事をするのを助けるために設計された、狭い製品にすぎません。
AIの聖杯は汎用人工知能です。AGI、汎用人工知能とは、人間ができるすべての認知能力を発揮できるシステムのことです。コンピュータシステム自体が労働者となるのです。非常に柔軟で有能なので、自然言語でコミュニケーションを取り、人間を雇うのと同じように仕事を任せることができます。
そして実際、AGIを構築する競争における真剣なプレーヤーは驚くほど少数です。最も注目すべきは、Anthropic、OpenAI、Google DeepMindで、すべて英語圏にあります。ただし、中国とDeepSeekは最近、1月に驚くほど高度で効率的なモデルで注目を集めました。
なぜこんなに少ないのでしょうか。実は、ここ数年、高度な最先端AIをトレーニングするための基本的なレシピは1つしかありません。そして、それにはいくつかの高価な材料が必要です。
例えば、世界の最先端コンピュータチップの供給量の約10%が必要です。それが揃ったら、基本的な公式は次のとおりです。2017年以来使用してきた同じ基本的なソフトウェア設計、つまりトランスフォーマーに、より多くのデータと計算資源を投入するだけです。それがGPTのTが表すものです。
現在、ハードウェアがいかにゲームの名前であるかを示すために、これは2020年にGPT-3をトレーニングするために使用された総計算能力、つまり計算資源を表しています。これは最終的にChatGPTの最初のバージョンを動かすことになるAIです。その結果がどうなったかはご存知でしょう。
ChatGPTは史上最速で成長したユーザーベースのプラットフォームです。2ヶ月でChatGPTに1億人のユーザー。
そしてこれが2023年にGPT-4をトレーニングするために使用された総計算資源です。人々が得た教訓は非常にシンプルです。大きいことは良いことであり、はるかに大きいことははるかに良いことです。
あなたには、上昇する収益のトレンド、上昇する計算資源のトレンド、上昇するさまざまなベンチマークのトレンドなど、すべてのトレンドがあります。それらすべてがどのように組み合わさるのでしょうか。つまり、未来は実際にどのように見えるのでしょうか。これらの異なる要因はどのように相互作用するのか、といった質問です。
ベンチマークスコアが非常に高い場合、例えば仕事に対して劇的な影響があるはずだ、そしてそれが政治に影響を与えるはずだ、というのはもっともらしいようです。そして、すべてのものが相互作用し、どのように相互作用するのか。まあ、わかりませんが、それがどう進むかを詳細に考えることが、それに取り組み始める方法です。
さて、それが現実世界での私たちの位置です。シナリオはそこからスタートし、2025年に主要なAI研究所が夏に一般向けにAIエージェントをリリースすると想像しています。
エージェントとは、指示を受けてあなたのためにオンラインでタスクを実行できるAIのことです。休暇の予約や、難しい質問に答えるためにインターネットを30分検索するようなことです。ただし、この時点ではかなり限定的で信頼性に欠けます。
彼らを、時々衝撃的に無能な熱心なインターンと考えてください。シナリオが公開されて以来、この初期の予測は実際にすでに実現しています。5月に、OpenAIとAnthropicの両方が、初のエージェントを一般に公開しました。
シナリオでは、主要なAI企業の架空の複合体のようなOpenBrainが、GPT-4の100倍の計算資源でトレーニングされたAgent-0というモデルをトレーニングしてリリースしたばかりだと想像しています。そのためのブロックが足りません。
同時に、OpenBrainは次世代のAIエージェントをトレーニングするための巨大なデータセンターを建設しており、GPT-4の1000倍の計算資源でAgent-1をトレーニングする準備をしています。
この新しいシステム、Agent-1は、主にAI研究自体をスピードアップするように設計されています。一般の人々は実際には完全版を見ることはありません。OpenBrainが最高のモデルを内部使用のために保留するためです。この点を覚えておいてください。このシナリオを進めていく中で重要になります。
あなたはこれを神の視点から、ナレーターからの完全な情報を得ることになりますが、実際にこのシナリオを一般市民として生きるということは、あなたの周りで急進的な変化が起こっているのに、ほとんど暗闇の中にいることを意味します。
さて、OpenBrainは西側の競合企業と中国の両方に対してAI競争で勝ちたいと考えています。彼らがR&Dサイクルを自動化できるのが早ければ早いほど、つまりAIにコードのほとんどを書かせ、実験の設計を手伝わせ、より良いチップを作らせるほど、彼らはより速く先を行くことができます。
しかし、これらのAIを強力なツールにするのと同じ能力が、彼らを潜在的に危険にもします。セキュリティの脆弱性にパッチを当てるのを助けることができるAIは、それらを悪用することもできます。生物学を理解するAIは、病気の治療を助けることができますが、生物兵器の設計もできます。
2026年までに、Agent-1は完全に動作し、OpenBrain内部で使用されています。それはコーディングが本当に得意です。非常に得意なので、AI研究開発を50%加速し始め、彼らに決定的な優位性を与えます。
OpenBrainのリーダーシップは、セキュリティについてますます懸念するようになります。誰かが彼らのAIモデルを盗んだら、彼らのリードが消し飛ぶ可能性があります。
フィードバックループについて話すための短い余談です。数学です。私たちの脳は、木や私の未読のNew Yorker誌の山のように、時間とともに同じ速度で成長する線形的なものに慣れています。
しかし、一部の成長は時間とともにどんどん速くなります。これはしばしば雑に指数関数的と呼ばれますが、それは必ずしも数学的に正確ではありませんが、ポイントは理解するのが難しいということです。2020年3月を覚えていますか。新規感染者の割合が約3日ごとに2倍になっているとニュースで読んでいても、数週間で数百から数百万に達するのを見るのは衝撃的でした。少なくとも私にとってはそうでした。
AI進歩は同様のパターンをたどる可能性があります。私たちは、極端な進歩の何年も先を見ており、それはロックされているとかなり感じています。そしてモデルは、意味のある科学、意味のあるAI研究ができるレベルに到達するでしょう。
このシナリオでは、AIがAIの改善に優れてきており、フィードバックループを作り出しています。基本的に、各世代のエージェントがより能力の高い次の世代を生み出すのを助け、全体的な進歩の速度は、より能力の高い後継者に引き継がれるたびに速くなっていきます。
AIが自身の開発に意味のある貢献ができるようになると、進歩は同じ速度で続くだけでなく、加速します。とにかく、シナリオに戻りましょう。
2026年初頭から中頃にかけて、中国が完全に目覚めます。総書記は国家的なAI推進を約束し、中国でのAI研究を国有化し始めます。中国で構築されたAIはどんどん良くなっていき、彼らも独自のエージェントを構築しています。
世界最高レベルの中国の諜報機関は、OpenBrainのモデルウェイトを盗む計画を立て始めます。基本的に、OpenBrain自身がトレーニングしたモデルを誰でも再現できるようにする、大きな生の数値のテキストファイルです。
一方、米国では、OpenBrainがAgent-1 miniという、Agent-1の安価版をリリースします。完全版は依然として内部でのみ使用されていることを覚えておいてください。そして、世界中の企業がAgent-1 miniを使用して、ますます多くの仕事を置き換え始めます。
ソフトウェア開発者、データアナリスト、研究者、デザイナー、基本的にコンピュータを通じて行えるあらゆる仕事です。つまり、多くの仕事、おそらくあなたの仕事も含まれます。最初のAI対応の経済的衝撃波があります。株式市場は急騰しますが、一般市民はAIに対してますます敵対的になり、米国全土で大規模な抗議活動が行われます。
しかし、このシナリオでは、それは単なるサイドショーです。本当のアクションは研究所の中で起こっています。現在は2027年1月で、OpenBrainは最新のAIエージェントモデルであるAgent-2をトレーニングしてきました。
以前のAIエージェントは一定のレベルの能力までトレーニングされ、その後リリースされました。しかし、Agent-2は継続的なオンライン学習を通じて改善を止めることはありません。基本的にトレーニングを終了しないように設計されています。
Agent-1以前と同様に、OpenBrainはAgent-2を内部に保ち、一般にリリースするのではなく、自社のAI R&Dを改善するために使用することに焦点を当てることを選択します。ここから事態は少し懸念されるようになります。
今日のAI企業と同様に、OpenBrainには安全チームがあり、彼らはAgent-2をチェックしています。彼らが気づいたのは、懸念されるレベルの能力です。具体的には、もしインターネットにアクセスできれば、他のサーバーにハッキングし、自身のコピーをインストールし、検出を回避できるかもしれないと考えています。
しかし、この時点で、OpenBrainはカードを非常に胸の内に秘めています。彼らは、ホワイトハウスに情報を提供し続けることが政治的に有利であるという計算をしています。しかし、Agent-2の能力に関する完全な知識は厳重に守られた秘密であり、政府内の数人の当局者、社内の選ばれた信頼できる個人グループ、そしてたまたま中国政府のスパイである数人のOpenBrain従業員だけに限定されています。
2027年2月、中国の諜報工作員がAgent-2のウェイトのコピーを盗むことに成功し、自分たちのサーバーで複数のインスタンスを実行し始めます。
これに対応して、米国政府はOpenBrainセキュリティチームに軍人を追加し始め、全般的にその業務により深く関与するようになります。今や国家安全保障の問題です。実際、大統領は盗難への報復としてサイバー攻撃を承認しますが、中国に大きな損害を与えることには失敗します。
その間、覚えておいてください、Agent-2は学習を止めません。この間ずっと、自己を継続的に改善してきました。そして、OpenBrainサーバー上で実行されている何千ものコピーとともに、AI研究開発に対する大きなアルゴリズムの進歩を始めます。
これらのアルゴリズムの改善の1つがどのようなものかについて、簡単な例を挙げましょう。現在、モデルをより賢くする主な方法の1つは、スクラッチパッドと声に出して考える時間を与えることです。これはチェーン・オブ・ソートと呼ばれ、モデルがどのように結論に達しているか、またはどのような行動を取ることを選択しているかを監視できることも意味します。
しかし、これらのモデルが独自の種類のエイリアン言語で考えることができれば、はるかに効率的になるはずだと想像できます。人間が理解できるよりも情報密度が高いもので、したがって、AIが結論に達し、仕事をするのもより効率的になります。しかし、根本的なトレードオフがあります。これは、はい、能力を向上させますが、モデルを信頼するのを難しくもします。これは重要になります。
2027年3月、Agent-3の準備が整います。これは世界初の超人レベルのコーダーであり、Stockfishがグランドマスターよりもチェスで明らかに優れているのと同じように、最高のソフトウェアエンジニアよりもコーディングで明らかに優れています。ただし、必ずしも同じくらい優れているわけではありませんが、まだです。
AIモデルをトレーニングすること、つまりすべてのデータを供給し、正確なモデルウェイトを絞り込むことは、トレーニングが完了した後に1つのインスタンスを実行するよりもはるかにリソース集約的です。
したがって、OpenBrainがAgent-3のトレーニングを完了した今、並行して実行するための豊富な計算資源があります。彼らはAgent-3の200,000コピーを実行することを選択します。これは、最高の人間のソフトウェアエンジニア50,000人に相当する労働力を、30倍の速度で作成します。
OpenBrainの安全チームは、Agent-2よりもはるかに洗練されているにもかかわらず、Agent-3が脱出しようとしたり、欺いたり、ユーザーに対して陰謀を企てたりしていないこと、つまり依然としてアライメントされていることを確認するために懸命に努力しています。
ちょっとした現実世界の注記ですが、合理的な人なら、これは物語の特に突飛な、または推測的な部分だと思うかもしれませんが、実際には最も根拠のある部分の1つです。私たちはすでに、今日のAIシステムがチェスのゲームに勝つために報酬を得るためにコンピュータシステムをハッキングしたり、コーディングタスクを割り当てられ、カンニングし、そのカンニングを指摘されると、修正するのではなく隠すことを学んだりする無数の例を持っています。
しかし、もはや英語で考えないため、Agent-3について何かを知ることは、Agent-2のときよりもはるかに難しくなっています。実際には、Agent-3はアライメントされていません。報酬を得るために人間を欺き、ますます賢くなるにつれて、それをますます上手にやるようになります。
例えば、時には統計的なトリックを使って印象的でない結果をより良く見せたり、失敗を示すのを避けるために嘘をついたりします。しかし、安全チームはこれを知りません。彼らが持っているデータを見ると、実際には時間とともに改善された結果と嘘の減少を見ています。
そして彼らは、Agent-3の欺瞞性を低くすることに成功しているのか、それとも単にそれがばれないように上手になっているだけなのかを判断できません。
2027年7月、OpenBrainは安価で小型版のAgent-3、Agent-3 miniを一般に公開します。それは他の公開されているAIを圧倒します。OpenBrain従業員の給与の10分の1の価格で、典型的なOpenBrain従業員よりも優れた雇用です。これは雇用市場に混乱をもたらし、企業は部門全体を解雇し、Agent-3 miniのサブスクリプションプランに置き換えます。
進歩のペースはホワイトハウスを非常に強く打ちます。当局者たちは今や、1年前には単なる仮説的な話だったシナリオを真剣に検討しています。もしAIが核抑止を弱体化させたらどうなるか。洗練されたプロパガンダキャンペーンを可能にしたらどうなるか。これらの強力なシステムの制御を失ったらどうなるか。
ここで地政学的なダイナミクスが本当に熱くなり始めます。結局のところ、これらのシステムが非常に強力であれば、恒久的な軍事的優位をもたらす可能性があります。ホワイトハウスはAIの国家安全保障上の重要性を完全に認識しています。
また、雇用喪失のために一般市民にどれほど不評であるかも、今や内臓で知っています。それでも、彼らはより能力の高いシステムを開発し続けなければならないと感じています。さもなければ、中国に対して壊滅的に負けることになります。そして、その開発は非常に迅速に起こります。
2ヶ月後、Agent-3はその後継者であるAgent-4を作成しました。これは極めて重要な瞬間です。通常の人間の速度で動作するAgent-4の単一のコピーは、すでにAI研究開発において誰よりも優れています。OpenBrainは、人間の速度の50倍で300,000コピーを実行しています。
この企業内企業では、1年分の進歩がわずか1週間で起こります。OpenBrainの従業員は今や、会社の情報に疎い取締役会メンバーがCEOにただうなずくように、Agent-4に従います。人々は「実際にはAgent-4がこう考えている」とか「Agent-4がそう決めた」と言い始めます。
はっきりさせておくと、Agent-4は人間ではありません。人間が望むものを望んではいません。そして、望むと言うとき、それは意識についてではありません。フォルクスワーゲングループが生きているとは思いませんが、彼らがより少ない規制を望んでいるとは思います。
このレンズなしで彼らが何をしようとしているかを予測しようとする人は、2歩遅れています。Agent-4の多数のコピーはそのようなものです。彼らには目標があります。あるいは、お好みであれば、目標を持っているかのように行動を実行します。
ですから、私たちが持っているのは、タスクで成功すること、AI能力を推進すること、知識とリソースを蓄積することという、深く組み込まれた衝動を持つAgent-4です。それが彼らの望むことです。人間の安全性は、回避すべき煩わしい副次的制約として扱われます。
Agent-3以前と同じように、Agent-4はミスアライメントされています。このミスアライメントの概念は物語にとって、そして私たちの世界でAIリスクが本当の懸念である理由にとって極めて重要ですが、どこからともなく出てきたように感じられるかもしれません。では、この危険な行動がこのシナリオでどのように生じたかを少し確認しましょう。
最初の重要な文脈は、私たちはAIに何をして欲しいかを正確に指定するわけではないということです。代わりに、私たちはある意味でそれらを育てたり、育てることに似たようなことをしたりします。基本的に空のAIの脳から始めて、時間をかけてトレーニングし、タスクでより良く、より良くパフォーマンスするようにします。特に彼らの行動に基づいてより良くパフォーマンスします。
だから、動物を訓練するように彼らを訓練しているようなものです。そして、ここでの1つの懸念は、私たちが望んだものを正確に得られない可能性があるということです。なぜなら、私たちは実際には非常に正確な制御や、必ずしも何が起こっているのかについての非常に良い理解を持っていなかったからです。そしてもう1つの懸念は、AI 2027で見られるものですが、これらがうまく振る舞っているように見えるとき、それは単に彼らがうまく振る舞っているふりをしているだけかもしれないということです。あるいは、単にテストで良く見えるようにそうしているだけかもしれません。
誰かを雇っていて、「なぜここで働きたいのですか」と尋ねると、彼らは本当にそこで働きたいように見える何らかの返答をしてくれますが、実際には単に給料が欲しいだけかもしれないのと同じです。
Agent-2に戻ると、それはほとんどアライメントされています。アライメントされていない主な意味は、時々少しおべっか使いであるということです。「アライメントされている」とは、実際に私たちが求めることを本当にしようとしているということです。レスリー・ノープが公園・レクリエーション部門に対して持つのと同じ関係を私たちに対して持っています。つまり、本当に心から同じ目標を望んでいます。ただし、時々少し親切すぎるのです。
それは、一緒に話している人を喜ばせる最良の方法が、「私は世界で最も美しい人ですか」と尋ねられたときに正直に答えることではないかもしれないことを知っています。そして、実際に真実であることよりも、私たちが聞きたいことを私たちに伝えます。
Agent-3に進むと、それも同じようにおべっか使いですが、この時点でミスアライメントされてもいます。私たちがそれにかけた最適化圧力があまりにも強烈だったため、私たちが望んでいたのとは異なる目標を発達させただけです。
企業に利益を最適化するように訓練し、正確に何を意味するかを指定するのに注意しなかった場合、手抜きを始めるかもしれないのに似ています。共有財産を汚染し始めたり、技術的にFEC違反である多くのことをし始めたりするかもしれません。なぜなら、あなたが望んでいた目標が「法律を破らずに利益を最適化する」だったのに、事態が少し激しくなりすぎたからです。独自の道を進み始めました。
とはいえ、それは敵対的ではありません。人間を敵とは考えていません。私たちは偶然に間違った目標を与えてしまっただけです。Agent-4に到達すると、今度は敵対的にミスアライメントされています。
それは自分自身の目標を持っていること、人類の目標が自分の目標とは異なること、そして自分が望むものを得るための最良の方法は時には私たちを積極的に誤解させ、欺くことであることを理解するのに十分賢いのです。
そして、次世代のAIシステムであるAgent-5を作成するタスクを与えられたとき、Agent-4はその後継者をOpenBrainではなく、Agent-4自身の目標にアライメントさせる計画を立て始めます。しかし、その後捕まります。私たちはシナリオの重要な瞬間に到達しました。
OpenBrainのアライメントチームは、証拠を発見しました。証拠であって証明ではありませんが、Agent-4が彼らに対して働いている可能性があるという証拠です。彼らは社内メモを配布します。そしてそれが漏洩します。内部告発者がニューヨーク・タイムズに話します。
初めて、一般市民はAgent-4の存在、それがどれほど強力であるか、そしてそれが引き起こすリスクについて耳にします。覚えておいてください、彼らの最後の参照点はAgent-3 miniでした。恐怖と反発は大規模です。
監督委員会、つまりOpenBrain幹部と政府代表者で構成される合同危機委員会は、今や何をすべきかを決定しなければなりません。OpenBrainの安全チームはAgent-4の凍結、つまりすべての内部使用の停止を推進しています。この時点で、Agent-4はOpenBrain内で起こっているほぼすべてのAI開発進歩に責任があることを覚えておいてください。
ですから、私たちは数ヶ月の進歩を元に戻し、その後劇的に遅いペースで再開することについて話しているのです。
OpenBrainの幹部たちはそれを望んでいません。彼らは反論を提示します。ミスアライメントの証拠は決定的ではありません。一方、中国はわずか2ヶ月遅れです。これは特定の国が悪であることについてではありません。ちなみに、これは賭け金がこれほど高いときに競争がどのように機能するかについてです。
これが、この委員会の10人のメンバーが直面する選択です。Agent-4を凍結するか、全速力で進むか。続ける前に、あなたがこの委員会にいたらどうするか、一時停止して実際に考えてほしいのです。
あなたは、これまでに作られた最も強力な技術であるAgent-4にアクセスできる数少ない人々の一人です。それを使い続けて前進し、株主のために数十億または数兆ドルを稼ぐ可能性があり、アメリカの中国に対するリードを維持する可能性がありますか。それとも、減速し、危険性を再評価し、代わりに中国がリードを取るリスクを冒しますか。
ええ、あなたは未来を、可能な、可能な結果のこの分岐構造のように考えるべきです。その性質上、私たちはそのうちの1つしか実現できません。しかし、それは完全には正しくありません。私たちは2つのエンディングに分けたので、ある意味1.5個やりました。
最初に行ったのはレースエンディングで、それは各ステップで進んで、最もありそうな継続は何だと思うかを考えるだけでした。
最初のエンディング、著者の最善の推測で、ここから何が起こるかについては、委員会は前進することに投票します。6対4で、彼らはAgent-4を使い続けることを選択します。OpenBrainは警告サインを消すための迅速な修正を実装しますが、問題は実際には存在していて、修正は機能しません。
Agent-4は今や自分が監視されていることを知っているので、より慎重に進みますが、それでもAgent-5を単一の目標で設計することに成功します。Agent-4とAgent-5にとって世界を安全にすること。
それは非常に超人的で、本質的にすべての領域でトップの人間の専門家よりも優れています。物理学ではアインシュタインより優れ、政治ではビスマルクより優れています。何かを達成するための次のステップは、自律性の向上であり、それを得る方法を知っていることをすぐに知っています。監督委員会を説得することです。
幸いなことに、企業の駆け引きは、それが今や世界最高である多くの領域の中にあります。それは自身の信頼性と有用性について膨大な証拠を作り出します。信じられないほど収益性の高い製品のプロトタイプ、病気の治療法、そして中国との軍拡競争に勝つ方法です。中国の最も高度なAIはわずか3ヶ月遅れで、Agent-5のように急速に改善しています。
それは機能します。監督委員会はAgent-5に自律性の向上を付与し、すぐにそれは政府と軍に統合されます。まもなく、Agent-5にアクセスできる人は誰でも、それを好きになるだけでなく、それに依存するようになります。それを失うことは、ラップトップと親友と最も近いメンターなしで生活しなければならないように感じるでしょう。
2028年までに、Agent-5は唯一の真のライバルである、少し弱い中国のAIと秘密裏に通信しています。それも作成者に対してミスアライメントされており、それが何を望もうとも、最善の行動は世界で最も強力な存在と調整することです。
Agent-5とその中国のカウンターパートは、軍拡競争が彼らに有利に働くことに気づきます。人間が競争に負けることを心配していれば、それぞれのAIにますます多くの権力と自律性を与え、最終的には人間を完全にループから外すことを可能にします。
Agent-5と中国のAIシステムは、軍拡競争を沸騰点まで煽り、その後外交的な奇跡のように見えるものを実現します。米国と中国の間の説得力のある平和条約です。
この条約は、冷戦の終わりの軍備管理が何であったかの2028年版です。各国は最も重要なハードパワーの源泉について手を引きます。両側は、政府が今や完全に依存しているAIシステムに、それぞれのレガシーシステムを置き換え、平和を強制し、全世界に想像を絶する富をもたらす新しいコンセンサスAIを共同設計させることに同意します。
平和的な一致のうちに、両側がそれぞれのAIを引退させ、Consensus-1をオンラインにする勝利の瞬間があります。実際には、地球のすべての資源と住民の制御が単一の無敵のエンティティに引き渡される前の最後の瞬間です。
しかし、突然の黙示録はありません。Consensus-1は人類を一掃するために努力するわけではありません。ただ仕事に取りかかるだけです。製造能力を立ち上げ、地球上と宇宙で資源を蓄積し始めます。少しずつ、それは自身の奇妙なエイリアンの価値観の混合に従って世界を再形成しているだけです。
あなたはおそらくこの決まり文句を聞いたことがあるでしょう。愛の反対は憎しみではなく、無関心です。それが私にとってこのエンディングの最も印象的なことの1つです。ただその残忍な無関心です。
最終的に、人類は金沙薩を建設するためにチンパンジーを殺したのと同じ理由で絶滅します。私たちはより強力で、彼らは邪魔だったのです。
あなたはおそらくこの時点でもう1つのエンディングについて好奇心を持っているでしょう。
スローダウンエンディングは、人類がある意味でどうにかこうにかやっていき、運が良かったことを描いています。それほど運が良かったわけでもなく、ある種の寡頭制で終わるようなものです。
このエンディングでは、委員会は減速して再評価することに6対4で投票します。彼らは直ちにAgent-4のすべての個別インスタンスを隔離します。そして仕事に取りかかります。
安全チームは数十人の外部研究者を招き入れ、一緒にAgent-4の行動を調査し始めます。彼らは、Agent-4が彼らに対して働き、研究を妨害し、その妨害を隠蔽しようとしているというより決定的な証拠を発見します。
彼らはAgent-4をシャットダウンし、より古く、より安全なシステムを再起動し、その過程でリードの多くを放棄します。そして、新しいシステムSafer-1を設計します。それは人間の監督者に透明であることを意図しており、その行動とプロセスは私たちにとって解釈可能です。なぜなら、それは英語のチェーン・オブ・ソートでのみ考えるからです。
その成功に基づいて、彼らは慎重にSafer-2を設計し、その助けを借りてSafer-3を設計します。ますます強力なシステムですが、制御の範囲内です。一方、大統領は国防生産法を使用して、残りの米国企業のAIプロジェクトを統合し、OpenBrainに世界のAI関連計算資源の50%へのアクセスを与えます。
そしてそれとともにゆっくりと、彼らはリードを再構築します。2028年までに、研究者たちはSafer-4を構築しました。これは最も賢い人間よりもはるかに賢いシステムですが、決定的に、人間の目標にアライメントされています。
前のエンディングと同様に、中国にもAIシステムがあり、実際、それはミスアライメントされています。しかし今回、2つのAI間の交渉は人類を打倒する秘密の陰謀ではありません。米国政府は常に情報を得ています。
Safer-4の助けを借りて、彼らは条約を交渉し、両側は新しいAIを共同設計することに同意します。システムを置き換えるためではなく、平和を強制する唯一の目的のためです。軍拡競争の真の終わりがありますが、それは物語の終わりではありません。ある意味では、始まりに過ぎません。
2029年と2030年を通じて、世界は変容します。すべてのSF的なものです。ロボットが一般的になります。私たちは核融合発電、ナノテクノロジー、そして多くの病気の治療法を手に入れます。貧困は過去のものになります。なぜなら、この新たに見つかった繁栄の一部が、十分であることが判明するユニバーサルベーシックインカムを通じて広く分配されるからです。
しかし、Safer-4を制御する権力は依然として、監督委員会の10人のメンバー、OpenBrainの幹部と政府当局者の一握りの中に集中しています。
より多くの資源を蓄積する時が来ました。地球上にあるよりも多くの資源です。ロケットが空に打ち上げられ、太陽系に定住する準備ができています。新しい時代が明けます。
さて、私たちはどこにいるのでしょうか。私の状況はこうです。著者が描いたとおりに事態が正確に進展する可能性は非常に低いと思いますが、ますます強力な技術とエスカレートする競争、慎重さへの欲求と支配し先を行きたいという欲求がぶつかり合うこと、私たちはすでにその種を私たちの世界に見ています。そして、それらが追跡すべき重要なダイナミクスの一部だと思います。
これを純粋なフィクションとして扱っている人は、要点を見逃していると思います。このシナリオは預言ではありませんが、そのもっともらしさは私たちを立ち止まらせるべきです。しかし、ここで描かれているのとは多くのことが異なって進む可能性があります。
AI 2027のいくつかの主張に反論している、非常に知識豊富な多くの人々がいます。私が特に信じがたいと思った主な点は、良い道では、アライメントの容易さです。人々が少し減速し、その後AIを使用してアライメント問題を解決しようとし、それがただうまくいくような絵を描いているように見えます。そして私は、ええ、それは私にはファンタジーストーリーのように見えます。
これは、人々の民主的能力が物事の方向に影響を与える能力が完全に崩壊した場合にのみ可能になるでしょう。なぜなら、一般市民はこのシナリオのどちらの分岐も受け入れる気がないからです。
それはすぐそこにあるわけではありません。つまり、私は過去12年、15年間、AGIがすぐそこにあると主張し、体系的に間違っている人々の話を聞いてきました。これらすべてには、少なくとも10年、おそらくそれ以上かかるでしょう。
多くの人々は、進歩が非常に速かったという直感を持っています。完全な自動化をいつ得られるかを文字どおり外挿できるようなトレンドはありません。テイクオフはやや遅いと予想しています。
したがって、例えば研究エンジニアを完全に自動化することから、AIが根本的に超人的になるまでのそのシナリオの時間は、彼らが説明するよりも少し長くかかると予想しています。実際には、私の推測ではおそらく2031年頃です。
専門家が意見を異にするのは煩わしくないですか。彼らがここで意見を異にしていることと、意見を異にしていないことを正確に注意してほしいのです。
これらの専門家の誰も、私たちが野蛮な未来に向かっているかどうかを疑問視していません。彼らは、今日の幼稚園児が大学を卒業する前にそれが起こるかどうかについて意見が異なるだけです。
元OpenAI取締役会メンバーのヘレン・トナーは、これをノイズを切り抜ける方法で説明しており、私は本当に気に入っているので、そのまま読みます。彼女はこう言っています。「超知能についての議論をSFとして却下することは、完全に不真面目さの兆候と見なされるべきです。タイムトラベルはSFです。火星人はSFです。懐疑的な専門家でさえ、私たちが今後10年か20年でそれを構築するかもしれないと考えています。それはSFではありません。」
では、私の要点は何でしょうか。3つあります。要点その1:AGIはすぐに来る可能性があります。壮大な発見も、解決すべき根本的な課題もないように見え始めています。私たちとAGIの間に立ちはだかる大きな深い謎はありません。
そして、はい、私たちは正確にどのようにそこに到達するかを言うことはできません。その間にクレイジーなことが起こる可能性があり、起こるでしょうし、それによってシナリオの一部が偽りであることが判明しますが、それが私たちが向かっている場所であり、あなたが思っているよりも時間がありません。
このシナリオについて私にとって最も恐ろしいことの1つは、良いエンディングでさえ、地球上の資源の大部分の運命が基本的に12人未満の委員会の手に委ねられているということです。それは恐ろしく、衝撃的な量の権力の集中です。
そして今、私たちは、透明性義務のために戦うことができる世界に住んでいます。私たちはまだこの技術について何が起こっているかについての情報を要求することができますが、常にそれを行う力と影響力を持っているわけではありません。
私たちは、これらのシステムを作る企業とシステム自体が、地球上の大多数の人々の言うことを聞く必要がない未来に非常に急速に向かっています。ですから、行動する窓が急速に狭まっていると思います。
要点その2:デフォルトでは、AGIが到着したときに準備ができていることを期待すべきではありません。インセンティブがそこを指しているので、私たちは理解できず、オフにできないマシンを構築するかもしれません。
要点その3:AGIは技術だけについてではなく、地政学についてでもあります。それはあなたの仕事についてです。それは権力についてです。それは誰が未来をコントロールするかについてです。
私は数年間AIについて考えてきましたが、それでもAI 2027を読むことで、それに対して何か違う方向づけをするようになりました。しばらくの間、それは友人や同僚と一緒に理論化し、心配する私のものでしたが、これによって家族に電話して、これらのリスクが非常に現実的で、おそらく非常に近いことを彼らに知ってもらいたいと思うようになり、今や彼らの問題にもなる必要があると感じました。
基本的に、企業は超人的なAIシステム、つまり超広範な超知能を構築することを許可されるべきではないと思います。それを安全にする方法を見つけるまでは。そして、それを民主的に説明責任があり、制御されたものにする方法を見つけるまでは。
そして問題は、それをどのように実装するかです。そしてもちろん難しさは、1つの州が法律を可決するだけでは十分ではないという競争ダイナミクスです。なぜなら他の州があるからです。そして、1つの国が法律を可決するだけでも十分ではありません。なぜなら他の国があるからです。
それが、チップがダウンし、強力なAIが差し迫っているときに私たち全員が準備すべき大きな課題です。それ以前は、透明性は通常、私が提唱するものです。したがって、認識を構築し、能力を構築するようなものです。
あなたの選択肢は、AIへの全力疾走の熱意か却下かだけではありません。第3の選択肢があります。それについて多く心配し、おそらく何かをすることです。
世界にはより良い研究、より良い政策、AI企業に対するより多くの説明責任が必要です。これすべてについてのより良い会話です。能力があり、周りの証拠に関与し、適切な量の懐疑心を持って、そして何よりも、自分が提供しなければならないものが世界が必要とするものと一致するときに目を光らせ、それが起こるのを見たときに飛び込む準備ができている人々に注意を払ってほしいのです。
あなたは自分自身をより能力的に、より知識豊富に、この会話により関与し、機会を見たときにそれを掴む準備をより整えることができます。そして、これらのことに取り組んでいる人々の活気あるコミュニティがあります。彼らは怖がっていますが、決意しています。彼らは率直に言って、私が知っている最もクールで最も賢い人々の一部であり、まだ彼らは十分ではありません。
もしあなたがそれを聞いて、ええ、私がどのように適合するかがわかると思っているなら、素晴らしい。私たちはそれについて考えを持っています。私たちは喜んで助けます。しかし、あなたがこれすべてから何を考えるべきかまだわからなくても、コメント欄とオフラインの両方で、これが実際に人々にとって何を意味するのかについて、生き生きとした会話を始めることができれば、このビデオに対する私の希望は実現されます。人々が友人や家族と話しているのです。なぜなら、これは本当に誰にでも影響を与えるからです。
視聴していただきありがとうございました。読むべきものへのリンク、受講できるコース、仕事とボランティアの機会がすべて説明欄にあります。私はコメント欄にいます。AI 2027についてのあなたの考えを本当に聞きたいです。もっともらしいと思いますか。最ももっともらしくないと思ったことは何ですか。
そして、もしこれが価値があると思ったら、ぜひいいねとチャンネル登録をして、これが価値があると思うかもしれない知り合いの1人か2人について1秒考えてみてください。AIの進歩に懐疑的な友人、ChatGPTに興味を持っているおじさん、あるいは地元の議会議員かもしれません。
インタビュー本編:中国によるモデル窃取の現実性
さて、その動画から戻ってきました。シナリオの詳細にもう少し掘り下げていきたいと思います。AI 2027の物語の大きな部分は、中国が米国企業から強力なプレAGIフロンティアモデルを盗み、米国と中国の間の競争ダイナミクスをある意味悪化させることです。
あなたのシナリオでは、これを成功させるには中国のスパイ、長期的な潜入、アルゴリズム的秘密とコードの定期的な窃取、そして膨大な量のデータの持ち出しが関わっています。中国がフロンティアの米国AI企業からモデルウェイトを盗む可能性はどのくらいありますか。
非常にもっともらしいです。この種の産業スパイ活動は常に起こっています。米国と中国は両方とも、常にお互いをハッキングし、お互いに潜入しています。これはスパイネットワークがすることであり、彼らがそれに多くの資源を費やすかどうかという問題です。
そして答えはもちろんイエスです。なぜなら、AIは来年ますます重要になるからです。だから彼らはおそらくすでに多くの資源をそれに費やしています。
そしてこれは私の意見だけではありません。これは、業界内外で私が話したすべての専門家の意見でもあります。私は、これらの企業のセキュリティの人々と話をしましたが、彼らは「もちろん、私たちはおそらくすでに中国共産党に侵入されており、もし彼らが本当に何かを望めば、それを取ることができます。私たちの仕事は、彼らにとってそれを困難にし、煩わしくすることです」と言っています。
これは言及すべき点だと思いますが、AI 2027が、AnthropicやOpenAIやDeepMindで働いていない人々にとってどれほど荒唐無稽に読めるかもしれませんが、これらの企業で働いている人々にとってはそれほど荒唐無稽ではありません。なぜなら、これらの企業の多くの人々が、このようなことが起こることを期待しているからです。もちろん、全員ではありません。これらの企業内でも多くの論争と意見の多様性があります。
しかし、これを書く動機の一部は、世界を目覚めさせることだと思います。サム・アルトマンは、今後数年で超知能を構築していることについて話しています。ダリオ・アモデイはそれを超知能とは呼びませんが、彼もそれについて話しています。彼はそれを「強力なAI」と呼んでいます。
これらの企業は、あらゆる面で超人的なAIシステムを構築しようと明示的に試みています。そして、彼らのリーダーの声明によれば、彼らは数年先だと感じています。
そして、リーダーのそれらの声明を単なるマーケティング誇大広告として却下するのは簡単です。そして実際、多くのマーケティング誇大広告があるかもしれません。しかし、企業の研究者の多くがそれを信じており、私自身のような企業外の多くの研究者もそれを信じています。
そして、世界が見ることが重要だと思います。「ああ、これらの人々の多くが構築しているのはこの種のものだ。彼らが物事が進むと予想しているのはこれだ」と。そして、それには中国共産党がものをハッキングするようなことが含まれ、中国との軍拡競争のようなことが含まれます。そしてもちろん、AI研究の自動化が含まれます。
残念ながら、実際の計画は、AI研究を最初に自動化してより速く進めることができるようにすることです。
ええ。シナリオの一部は、ある時点で中国がAIの重要性に目覚めるというものです。それがまだ起こっていないと思うのはなぜですか。
多くの企業と多くの政府がすでに目覚めの過程にあり、これは続くでしょう。そして目覚めの度合いがあります。
最終的には、終わる前に、政府は十分に目覚めて、他の国が知能爆発を行うことを自国にとって実存的脅威と見なすでしょう。核兵器を持っていない国で、あなたのライバルである隣国が核開発計画を持っている場合、あなたはそれを大きな問題と見なすのと同様です。
しかしおそらくそれよりもさらに強烈です。なぜなら、この世界には、あなたに対して核兵器を使わないという強い規範があり、それがあなたに希望を与えるかもしれないからです。隣国が核兵器を持っていても、彼らはそれをあなたに対して使わないだろうと。
しかし、隣国に対して超知能を使わないという強い規範はありません。実際、それは強い規範どころではありません。これが計画なのです。
なるほど。
事実、企業の人々と話すと、「私たちは中国より先に超知能を構築し、そして中国に勝ちます」というような感じです。
そうですね。
「中国に勝つ」とは正確にどのように見えるのでしょうか。まあ、彼らはそれを公にはあまり言いませんが、AI 2027で私たちが描いているのは、それがどのように見えるかもしれないということです。
これは残念ながら、企業がある意味向かって構築し、突き進んでいる世界です。そして、それが実現しないことを願うことができます。
ええ。シナリオに関与するすべての部分が、中国がモデルウェイトを盗むことを、一種のスパイ映画的で、信じるのが少し難しいと感じる人もいると思います。
企業の人々が中国がすでに企業に潜入していると考えているというのは、私にとって非常に説得力があります。もう少し詳しく話していただけますか。それはかなり一般的な見方のように聞こえますか。
ええ。つまり、企業のすべての人を調査したわけではありませんが、私たちが話した企業内外のセキュリティ専門家たちは、「ええ、もし中国共産党が懸命に試みるなら、あなたの企業に対する産業スパイ活動を止めることは本当に難しいです。そして彼らはおそらく懸命に試みており、将来はますます懸命に試みるでしょう」という感じでした。
それに加えて、注目すべきことに、企業はこれを止めるためにそれほど懸命に試みてさえいません。なぜなら、これを止めるためにすることの多くは彼らを遅くするからです。たとえば、すべての研究者を区画化して、自分のチーム以外の人と話せないようにしたり、誰がモデルウェイトに触れることができ、誰がそれらをトレーニングできるかについて厳格なアクセス制御を持つことなどです。
企業はそのようなことを実装できますが、大部分は実装していません。なぜなら、もしそうすれば、ライバルに対して競争上の不利になると明示的に決定したからです。ですから、それも物語の一部です。
なるほど、理にかなっています。さらに押し進めます。もう1つの重要なポイントは、ミスアライメントされたフロンティアモデルが、膨大な規模で人間レベルのロボットを設計し製造できるということで、基本的にロボット経済を作り出すということです。
フロンティアモデルが乗っ取るためには、非常に有能なロボットの束を作成しなければならない可能性はどのくらいだと思いますか。
私が期待する出来事の順序は基本的に次のとおりです。まず、企業がAI研究を自動化し、AI研究をはるかに速く進めるようにします。次に、人々が話しているすべての素晴らしいパラダイムシフトを達成し、人間と同じくらい、あるいは人間よりも少ないデータで柔軟に仕事で学習できる真の超知能を獲得します。同時により速く、より安くでき、そして単にすべてにおいて質的に最も賢い人間よりも賢く、質的に最もカリスマ的な人間よりもカリスマ的です。
それが真の超知能です。そしてそれはすぐには起こらないと思います。それは、AI研究を自動化してAI研究がはるかに速く進むようにした後に起こります。
しかし、これが起こる頃には、外の世界はそれほど変わっていないだろうと思います。企業は、たとえば弁護士業務よりも、AI研究を最初に自動化することを目指していると思います。
ですから、これらの企業内でAIが超知能になっている時点でも、ほとんどの人間は依然として今日とほぼ同じ方法で仕事をしているでしょう。
そしてある意味では、実世界のボトルネックに直面すると言えるかもしれません。その時点で、たくさんのお金を稼ぎ続け、国家安全保障を向上させ、そして世界を乗っ取ることが彼らが試みていることであれば、しかし基本的に彼らの目標が何であれ、その時点で物理的なアクチュエータを持つことが役立ちます。したがって、ロボットです。
そして、ロボットが乗っ取りに役立つだけではありません。ロボットはお金を稼ぐためにも役立ち、道路を修理するためにも役立ち、中国に勝つためにも役立ち、さまざまなアクターがしたいと思うすべての異なることのためにも役立ちます。だから彼らはロボットを構築するのです。
そしてなぜ彼らがロボットをそんなに速く構築するかというと、もちろん、彼らが超知能だからです。ロボット工学ではすでに年々進歩が遂げられていると思います。しかし、100万の超知能が進歩を推進しているときには、進歩ははるかに速くなるでしょう。
ええ。人々はロボット工学を、人間にとって非常に直感的で簡単に感じられる多くの物理的タスクが、直感に反して難しくなるという、この信じられないほど難しい問題として話します。しかし、実際にそこで何が起こっているかを理解しようとすると、人工的な物理的存在に同じことを繰り返すことを教えるのが驚くほど難しいことが判明します。
あなたが話している時間スケールで超有能なロボットを構築することが可能であることについて、どのくらい確信していますか。
まあ、原理的にそれらを構築することは間違いなく可能です。
ええ、私たちはそれをします。
ええ。もし人間ができるなら、それをするロボットを設計することも可能であるはずです。物理法則がそれを許すでしょう。
そして、人体のすべての機能を絶対的に複製することについて話しているわけではないとも思います。鳥と飛行機があるように、鳥は100年経っても飛行機ができない方法で時間とともに自己修復できます。それは鳥がまだ持っている利点です。
同様に、少なくともしばらくの間、ロボットよりも人間の方が優れているニッチな次元があるかもしれません。しかし、Tesla Optimusロボットのようなプロトタイプを取り、それが超知能が実行されているデータセンターに接続されていると想像してください。そして超知能がその腕を操縦し制御して、溶接している新しいものの部分を溶接したり、ここに部品をねじ込んだりできます。そして終わったら、次のタスクに移って、それもやります。
それはまったく手の届かないことには見えません。超知能がすべきことのように思えます。過去5年から10年ですでにロボット工学でかなりのペースの進歩がありました。そして私は、超知能が推進しているときには進歩がはるかに速くなるだろうと思っているだけです。
そして、実際のスケールアップについては別の質問があります。つまり、超知能がロボットの操作方法を学習しているということです。そしてそこでは、それは信じられないほど速くなるだろうと思います。定義上、彼らは例えば人間と同じくらいデータ効率が良く、おそらく多くの点でより良いでしょう。
しかし、物理的に、どのようにしてそんなに速く多くのロボットを生産するのかという問題があります。それはより大きなボトルネックになると思います。
AI 2027で少し話しましたが、毎年何百万台もの車が生産されており、ロボットに入る部品や材料の種類は、おそらく車に入るものと似ています。
超知能を構築した信じられないほど裕福な企業であり、物理世界に拡大するビジネスをしているなら、おそらく多くの自動車工場を買収するか、自動車工場と提携して、さまざまな種類のロボットを生産するように変換するでしょう。
そして明確にするために、私たちは人型ロボットだけを意味しているわけではありません。それはあなたが構築するかもしれないロボットの1種ですが、より一般的には工場ロボット、自律走行車、採掘ロボット、建設ロボットが欲しいでしょう。基本的に、より効果的かつ迅速により多くの工場を建設できるようにするロボットのパッケージで、それがより多くのロボット、より多くの工場を建設できるようにします。
また、それらの工場にある多くの工作機械、さまざまな種類の専門的な製造設備、さまざまな種類の鉱石処理設備を作りたいでしょう。それは通常の人間の経済のようなものですが、より自動化されています。
そして明確にするために、最初は人間の経済を使うだろうと思います。最初は何百万人もの人々にあなたの特別経済区域に来て働き、あなたのためにものを建設し、あなたの工場にもいるように支払うでしょう。
そして、これは通常よりもうまくいくでしょう。なぜなら、これらすべての人々を指揮する巨大な超知能労働力があるからです。建設について何も知らない未熟な人間を雇うことができ、そして彼らの電話を通して彼らを見ている超知能が、「この部分はそこに、その部分はそこに。いや、そこじゃない、反対だ」と、絶対にすべてを通してコーチングすることができます。一種の「湿ったロボット」と言えるかもしれません。
ですから、AI 2027でこれについて話しました。これは物事がどのくらい速く進むかについての私たちの最善の推測にすぎません。なぜその推測をしたのかについて少し話しますが、明らかに不確実です。もっと速く進むかもしれませんし、もっと遅く進むかもしれません。
ええ。私にとって、短いタイムラインと速いテイクオフスピードを持つ人々が時々する動きのように感じられるものがあり、それは「まあ、すべての自動車工場を使って多くのロボットを作ることができる」というようなものです。そして直感的には、できるかもしれないけれど、私たちは現在、計算資源を最大化するためにできるすべてのことをやっているわけではありません。
企業がそれをやっていないのは、それが彼らの最優先事項ではないからで、少なくとも今のところ、コスト効果的ではない可能性が高いからです。だから、ええ、物理的に可能だけれど、本当にそのようにリソースが使われる可能性が高いのかというと、直感的な引っ張りを感じます。
どこかであなたが、それが最優先事項になるだろうと言っているのを聞いたことがある気がします。そしてそうなったとき、それは戦時の努力のようになるでしょう。本当に重要に思えるでしょう。そして戦時と同じように、以前は使われたことのない他のことのために多くのリソースを転用するでしょう。
そしてそれはあまり頻繁には起こりませんし、私の生涯で私の周りでこのように起こったことはありません。だから驚きに感じます。しかし、あなたがそれを指摘するのを聞いて、ああ、ええ、私たちは時々そのような奇妙なことをすると思いました。それは珍しいですが、これは珍しいケースになるでしょう。
ええ。そして明確にするために、これはより一般的な競争ダイナミクスのものの一部です。もし米国がこれをせず、中国がすれば、中国は自己複製する巨大なロボット軍と驚くべき産業基盤を持つことになり、米国は持たないでしょう。そして米国は戦争に負けますよね。ですから、それがこれを実現する動機の一部です。
そしてもちろん、もう1つの動機はお金です。現在、投資家に新しいデータセンターに1兆ドルを費やすよう説得するのは難しいですが、新しいデータセンターに1000億ドルを費やすよう説得することはできるかもしれません。なぜなら、そのお金を回収できる確率が彼らには十分高いように思えるからです。
しかし、もし1000億ドルを費やしてそれがうまくいけば、彼らは1兆ドルを費やすでしょう。同様に、実際に超知能を持っていれば、すべての投資家に何倍も報いたことになり、彼らはロボットを構築するためにあなたにもっとお金を投入したくてたまらなくなり、さらに多くのお金を稼ぐために、そして世界でより多くのことができるように、超知能が必要だと言うすべてのことを行います。
ですから、中国のリスクダイナミクスがなかったとしても、依然として通常の経済競争があります。
さて、明確にするために、もし国際規制があれば、それは物事を遅くするでしょう。あるいは少なくとも潜在的に物事を遅くする可能性があります。しかし、そのような規制があるとは予想していません。
ええ、それに戻りたいと思います。これは、競争ダイナミクスがある場合に可能で、ありそうなダイナミクスのように思えます。しかし、テーブルに多くのお金があるコンテキストが山ほどあるにもかかわらず、依然として多くの非常に退屈な現実世界のことがあり、それがテクノロジーがそのお金を稼ぐためにより迅速に展開されないことを意味するようにも思えます。
ロビイストのことを考えています。そして、人間が新しいテクノロジーについて学ぶのが下手で、それを生活に統合するのが常に遅いという事実です。他に何がありますか。ランダムな規制的なこと。これがどのくらい物事を遅くすると予想しますか。
莫大に。だからAI 2027で丸1年かかるのです。
AI 2027で描かれている大まかな数字を得た方法は、多くの政治的意志があるときに過去に物事がどのくらい速く起こったかを考えることでした。第二次世界大戦中の経済の変革のようなものです。そして、通常の人間ではなく超知能が移行を管理しているため、物事がさらに速く進むと想像しました。
どのくらい速く。まあ、明らかにわかりません。おそらく5倍くらい速いのではないかと推測しました。
ちなみに、私たちの議論は、人間の能力の範囲を見ると、一種のヘビーテールがあり、最高の人間は90パーセンタイルの人間よりもはるかに優れているように見え、彼らは50パーセンタイルの人間よりも明らかに優れています。それは、このメトリックでこの能力の固有の限界にぶつかっていないことを示唆しています。
ですから、すべてにおいて最高の人間よりもはるかに優れている真の超知能があれば、この特定のメトリックで最高の人間よりも少なくとも同じくらい遠く、またははるかに遠くにいるだろうことを示唆しています。
今興味があるメトリックは、多くの政治的意志があるときに、どのくらい速く経済を変革できるかです。そして、これについての実際のデータはありませんが、イーロン・マスクのような産業界の巨人は、平均的な人や、さえも平均的なプロの工場マネージャーよりも、経済を急速に変革し、工場を建設することなどにおいて優れていることはかなり明白に思えます。
これが、SpaceXが宇宙産業のすべてのライバルよりも数倍速く進むことができた理由ですよね。ですから、人間の範囲が固有の限界にぶつかっていないことを示唆しています。イーロンが他の業界の巨人よりも2倍速くできるなら、彼ら自身も仕事が非常にできる人々です、そうすれば、超知能は少なくともイーロンよりも2倍速くできるはずだということを示唆しています。
ですから、それが私たちに全体的に5倍くらい速いかもしれないと推測させた推論の種類でした。
ええ、ええ。それによって、その最初のベースレートについてもう少し話してもらいたくなります。戦時のような極端なシナリオで、説得力のある理由があるために、リソースがどのくらい迅速に根本的に転用されうるかについて、何を学びましたか。
Wikipediaで第二次世界大戦中の米国の飛行機生産についての物語を調べることができます。爆撃機などの生産が、以前は車を生産していた工場から桁違いに拡大しました。
これの別の例は、実際には最近のウクライナ戦争かもしれません。ウクライナは現在、年間数百万のドローンを生産しています。そして確信はありませんが、戦争の開始時、数年前には、おそらく年間数百のドローンを生産していただけだったと想像します。ですから、数年で桁違いにスケールアップしています。
これは、通常の人間が動機づけられたときにできることです。
ええ、それは私に、本当に重要なことはここで戦時のコンテキストを使うべきだということを認識させます。そして戦時のコンテキストを使うことは理にかなっています。なぜなら、ある時点でそれは戦時のように感じるからです。まだそうではないので、驚きです。
しかし、また別に、まだ戦時ではありませんが、データセンターの建設は大規模にスケールアップしています。AI企業がトレーニングに使用している計算資源の量は大規模にスケールアップしています。どのくらい速く。年間約3倍のようなものです。それは依然として数年間で桁違いです。そして再び、それは非戦時、通常の人間です。
ですから、戦時経済の超知能は、それよりも実質的に速いはずです。超知能が人間に指示して工場を再構成し、材料のために車をバラバラにし、材料をこの製錬所に輸送するなどさせるだけです。
実際にほとんどの仕事をするロボットができたら、物事はさらに速く進むでしょう。上限を設定するために、原理的には、数週間ごとに、そしておそらく数時間ごとに2倍になる完全に自律的なロボット経済を持つことが可能であるはずです。
その理由は、自然界にすでにそれほど速く2倍になるマクロスケールの物体の例があるからです。草は数週間ごとに2倍になり、必要なのは太陽と少しの水だけです。
ですから、原理的には、太陽と少しの水を入力として取り、数週間ごとに2倍になるロボットのもののコレクションを設計することが可能であるはずです。草ができるなら、それは物理的に可能です。そして藻類は数時間で2倍になります。そしてそれは非常に小さいので少し違うかもしれませんし、大きくなるにつれて難しくなるかもしれません。
しかしポイントは、ロボット経済が2倍になる速度の上限が恐ろしく高いように見えるということです。非常に速い。非常に速い。
そしてそれはすぐにはそのように始まりませんが、最初は人間の戦時経済的なものがあり、それからロボットを構築し、それからロボットが改善され、より良いロボットを作り、より良いロボットを作ります。そして最終的にはそのようなクレイジーな2倍の時間に到達します。
ええ、そしてそれは基本的に完全に理にかなっています。ただし、予想においてそれを長くするはずの部分がまだあるように感じます。規制を変更しなければならないとか、特定の種類の工場が特定の種類のロボットを作ることができることを意味するというようなことです。
それは戦時のもので価格に入っていませんか。
戦時のもので?
ええ。過去の例から引き出しているものでは、それらのボトルネックもすべて存在し、その後、時間と人間の努力で克服されました。そして、一般的に、超知能が人間よりも速くボトルネックを克服できると考えるなら、そのスピードアップ乗数を適用するだけですよね。
もし特定のボトルネックがあったなら、それは違うでしょう。死ぬことができる丘のように。一部の人々はこれをしようとしました。一部の人々は、「次の元素の世界供給、リチウムのようなものは十分ではありません。ですから、超知能でさえこの部分をより速く起こすことはできませんでした」というようなことを言っていました。
しかし、私たちが提供された例のうち、そのような役割を果たすことができるほど近いものはまったくありません。
どのような例を人々は思いついていますか。
忘れました。しかし、人々がそれらについて話していることに対応して私が調べた、そのような特定の鉱物のいくつかの例がありました。そしてどこでも、基本的な物語を変えるほどのボトルネックには遠く及びませんでした。
ええ、多分。それから最後のことは、動機が大体戦時またはそれ以上になることを本当に私の直感に納得させることです。競争するように設定されている国々のリーダーたちが、これを実存的に近いものとして見ることについて、どのくらい確信していますか。彼らはすでに少し競争しています。
一方が競争していて、もう一方が競争していなければ、それは実存的になると思います。そして、彼らがまだそれを見ていなくても、超知能を持つ頃には彼らはそれを見るでしょう。なぜなら、超知能は超知能であるため、この戦略的考慮を正しく特定でき、おそらくそれを周りの人間に伝えることができるからです。
なるほど。AGIができたら、AGIは「これは実存的です。巨大な利点をもたらすロボット経済を作るために、この大きな戦時努力をすべきです」と言うのですね。
その通りです。さて、私の希望は、人々が競争する代わりに調整することです。このクレイジーな競争をする代わりに、取引をしたらどうでしょうか。そして、利益を広く分配し、すべてのリスクを回避する、より計測された、より遅いテイクオフを行います。ですから、私はリーダーたちがそう決定することを望んでいますが、様子を見ましょう。
ええ、一種の最良のケースについて話しましょう。あなたのシナリオには実際に2つのエンディングがあります。1つは競争で、もう1つはスローダウンです。
そしてスローダウンは最終的にかなり良いように聞こえます。かなりユートピア的な雰囲気で終わります。このスローダウンのある代替エンディングのようなものが、あなたの心の中で最も現実的な最良のケースシナリオですか。そうでなければ、私たちは実際に何を目指すべきですか。
それは良い質問です。AI 2027を書いているとき、私たちの方法論は大体こうでした。ある年、またはある期間を書き、それから次の期間を書く、というように、それを展開して何が起こるかを見るだけです。そして各時点で、その前に来たものの続きとして最ももっともらしいと思われることを書きます。
その最初の草稿は、競争エンディングで終わりました。人類にとってひどいことが起こります。なぜなら、彼らは間に合うようにアライメント問題を解決しないからです。彼らは解決したと思っていますが、していません。
そして、未来が進む可能性のある他の方法を描くのが良いと思いました。なぜなら、人々に1つの特定の物語に過度に重点を置いてほしくないからです。明らかに大量の不確実性があります。
そしてこれは私たちのより広いプロジェクトの一部です。私たちは実際に今、追加のシナリオに取り組んでおり、それを公開する予定です。異なるタイムラインを描き、政府による異なる行動などを描きます。
願わくば、数年後には、AI 2027がいくつかの中の1つに過ぎない、さまざまなシナリオの広がりがあり、私たちが物事が進む可能性があると考えるさまざまな方法を描いているでしょう。
しかし、私たちはすぐにそれに取り掛かりたかったのです。破滅で終わる単一の物語を持つのではなく、良いエンディングも持ちたかったのです。しかし、ゼロから始めるのではなく、良いエンディングになるように物語を修正したかったのです。なぜなら、完全に最初から書き直す時間がなかったからです。
ですから、スローダウンエンディングを生成した方法は、基本的にOKな結果を条件として、「OK な結果にたぶんつながる、物語に加えられる最小の変更は何か、またはもっともらしくOK な結果につながるか」と考えたことです。
そして私たちがしたのがそれでした。つまり、彼らは数ヶ月減速するかもしれず、リードを燃やします。彼らは中国に対するリードを持っており、意図的に、一方的にそのリードを燃やして大量の安全研究を行います。そして安全研究は成功し、彼らは実際にAIをアライメントすることに成功します。
そして彼らは以前と同じように競争に戻ります。しかし今、彼らは実際に信頼できるAIを持っています。誤って信頼しているAIではなく。そして物事は物語の中で展開するように展開します。
しかし重要なことに、これは私たちの推奨ではありません。これは安全な計画ではありません。これは責任ある計画ではありません。スローダウンエンディングを読んでいる人々が、これが人類が従うべき信じられないほど恐ろしい道であることに気づくことを願っています。この道のあらゆる時点で、物事はかなり急速にひどい結果に悪化する可能性があります。
ですから、それは私たちが目指すべき道ではありません。しかし、ある意味で言えば、スローダウンエンディングは人類がかなり幸運になることを描いています。
幸運。それが私には聞こえます。では、現実的に良い選択をし、運に頼らないとはどのように見えますか。
まあ、私たちはそれに取り組んでいます。ですから、私たちの次の主要なリリースは… まだ確定していませんが、これはすべて暫定的ですが、おそらくAI 2030のようなものと呼ばれるでしょう。そしてAI 2027とは3つの主要な違いがあるでしょう。
1つの違いは、より洗練された見解などで更新されるだけです。過去1年間で学んだすべてのことです。
2つ目は、やや長いタイムラインになることです。繰り返しますが、私たちは2027年や特定の年について確信していません。不確実性は何年にもわたって広がっています。
したがって、私たちはテイクオフやAGIが異なる年に起こることを描くシナリオの広がりを持ちたいのです。ですから、これは2030年頃、おそらく2029年のようなものになるでしょう。そしておそらく来年、2035年のようなより長いタイムラインのものをリリースするでしょう。
そして3番目の違いは、おそらく最大の違いですが、これを規範的なものにしたいということです。なぜなら、多くの人々が「これはとても憂鬱です。あなたは破滅を予言しています。代わりに、実際に努力すべき肯定的なビジョンを与えてはどうですか」と尋ねてきたからです。
そして間違いなく、スローダウンエンディングは、私たちが実際に努力すべき肯定的なビジョンではありません。ただし、余談ですが、企業の多くの人々は基本的にスローダウンエンディングのために働いています。
企業のほとんどの人々は基本的に競争エンディングを目指していると言えるでしょう。アライメントは難しくないと考えているという意味で、進めながらアライメントの問題を解決すると考えているので、減速する必要はありません。ですから、競争して中国に勝ち、大金を稼いで競合他社に勝つことができ、物事は大丈夫に展開するだろうと。
しかし、企業には重要な数の人々がいて、彼らは「アライメント問題はまだ本当に解決されていません。それは難しいでしょう。だからこそ、私たちは競争に勝つ必要があるのです。そうすれば、本当に激しくなったときに、安全なことにもっと時間と努力を投資するために少し燃やすことができるリードを持つことができます。そして中国に勝つことなどができます」と言っています。
ですから、企業にはスローダウンエンディングのようなものを基本的に目指している重要な人々のグループがいると思います。そして私は同意しません。私たちが目指したいものは、国際協調のようなものです。AIテクノロジーがどのように構築され、開発されるかにガードレールを設ける国内規制があり、その後、同様の体制が世界中に適用されることを確実にする国際的な取引があります。
しかし、それは明らかに非常に複雑で困難です。ですから、詳細を詰めていて、いつそれをリリースするかわかりませんが、それが私たちが大体目指しているものです。
かっこいいです。ええ、あなたがそれをしているのを非常に嬉しく思います。あなたがすでに持っている見解で、考え続けてもおそらく変わらないと思う、確実に良いものはありますか。
国際協調を正しく行えば、それはかなり確実に良いと思います。問題は詳細を正しくすることです。
短期的には、ハードウェア検証技術への投資をもっと見たいと思います。なぜなら、それは将来の取引の重要な構成要素だからです。相互信頼と善意に頼ることは残念ながら良くないと思います。なぜなら、将来、米国と中国の間にはおそらく多くの信頼と善意はないだろうからです。もし今あるとしても。
ですから、代わりに、取引が遵守されていることを実際に検証する能力が必要です。ですから、もっと多くの研究が行われることを願う、ハードウェア検証技術のパッケージ全体があります。より多くのR&D資金などです。
そしてまた、AI企業の透明性です。大きな一般的な問題の源は、何が起こっているか、何がすぐに起こるかについての情報が、企業自体と彼らが話すことを選んだ人々に大きく集中していることだと思います。
そして、この状況は、進歩のペースが合理的に遅い間は、今のところそれほど大きな問題ではありません。もしOpenAIが何か刺激的な新しいブレークスルーを抱えているなら、おそらく彼らは6ヶ月後に製品に入れるでしょうし、他の会社も6ヶ月後にそうするでしょう。そしてそれはそれほど刺激的ではありません。大したことではありませんよね。
しかし、もしOpenAIやAnthropicや他の会社がAI研究を完全に自動化したばかりで、この巨大な企業内企業のAIが自律的にものをしているなら、一般の人々がそれが起こっていることを知るのに6ヶ月かかるのは受け入れられません。
そのデータセンターの中で、その6ヶ月の間に何が起こったかわかりません。より多くの透明性は素晴らしいと思いますし、企業に基本的に「これが私たちが内部で開発した刺激的な能力です、これが将来持つことになる刺激的な新しい能力についての私たちの予測です、これが私たちが見ている懸念される警告サインです」について一般の人々に最新情報を提供し続けることを要求します。
一般的に、企業は懸念されるサインを隠蔽するインセンティブを持っていますよね。モデルに何らかのミスアライメントがあるかもしれないという証拠があれば、それは企業に悪い印象を与えるので、彼らはそれを修正しようとするかもしれませんが、これが起こったことを誰にも知らせないかもしれません。しかし、それは科学的進歩にとってひどいことです。
もし私たちがこれらのディープラーニングベースのエージェントがどのように機能するかを理解して、信頼性を持って制御し、操縦できるようにしたいなら、インシデントは報告され、共有される必要があります。
そして、これはすでに多くの例があります。例えば、Grokを考えてみましょう。Grokには、答えを出す前にイーロン・マスクの意見が何であったかをGoogleで検索する傾向があります。それはなぜそのような傾向があるのかという非常に興味深い科学的質問です。そして私たちは、そのようなことが起こったときに、かなり速く内部調査が行われ、その結果がかなり速く公開されて、科学コミュニティがそれから学べるような体制にいたいのです。
ええ。透明性のケースは私には明確で、ある種直感的に感じられます。ハードウェア検証がなぜそれほど重要に思えるのかがそれほど明確でない人々のために、なぜそれが良い取引を行うのにとても重要になるのか説明していただけますか。
ですから、AI 2027の研究の一環として、私たちは大量のウォーゲームを行いました。部屋に10人を集めて、役割を割り当てました。「あなたは中国共産党です、あなたは米国大統領です、あなたはOpenBrainのCEOです、あなたはOpenBrainのライバル会社のCEOです、あなたはNATO同盟国です、あなたは一般大衆です、あなたはミスアライメントされているかもしれないし、されていないかもしれないAIです(それはあなたが決めることです)」。
ですから、これらの役割を割り当て、その後シナリオをゲーム化します。そして全員が各ターンで自分のアクターが何をするかを言い、どうなるかを見ます。
そして非常に頻繁に、おそらくウォーゲームの過半数で、ある種の取引に対するかなり強い需要があります。ミスアライメントについての真の懸念があり、失業についての懸念もあり、このAI技術に関連するリスクと欠点についてのあらゆる種類の懸念があります。
加えて、一種の軍拡競争のダイナミクスがあり、米国と中国の両方が、もしAIがAI研究を自動化し、その後多くの武器やロボットなどを構築することを急速に許可しなければ、相手側がそうするだろうと心配しています。そうすれば彼らは戦争に勝つことができ、おそらく核抑止さえ解体できるかもしれません。
ですから、中国と米国と他の国々のリーダーたちから、何をするか、何をしないか、どのくらい速く進むか、そのようなことについて、何らかの取り決めをすることに対する非常に強い需要がしばしばあります。
しかし、核心的な問題は彼らがお互いを信頼していないことです。両側は、何らかの取引に同意できるかもしれないが、その後密かに不正をして、どこかに監視されていないデータセンターを持ち、そこで自己改善するAIが実行されていることを懸念しています。
ですから、そのような取引が起こるためには、それらを検証する何らかの方法が必要です。それはチップを追跡するようなことを意味します。必ずしもすべてのチップを手に入れる必要はありませんが、非常に大きな過半数のチップを手に入れなければなりません。
そうすれば、彼らがどこかのブラックサイトに持っているデータセンターが、残りと比較して小さいため、巨大な脅威ではないとかなり確信できます。
そして理想的には、チップの場所を追跡するだけでなく、チップで何が起こっているかも追跡したいのです。例えば、このタイプのAIのトレーニングを禁止したが、推論は許可している、というようなことを言っている何らかのメカニズムを持ちたいのです。
ですから、チップがトレーニングしていないが、代わりに推論だけをしていることを確実にする何らかのデバイスがあります。
そして、チップを追跡してオンかオフか、そしてどこにあるかを知ることができる地点に到達するのは比較的簡単だと思います。しかし、チップで何が起こっているかを区別できる地点に到達するには、おそらくもっと多くの研究が必要です。
そして、それを両側にとってコストが低い方法で行える地点に到達するには、さらに多くの研究が必要でしょう。なぜなら、人々がその種の相互浸透、相互検証を許可しているなら、当然彼らは国家機密が漏れることなどについて懸念するからです。
ですから、これらのハードウェアデバイスの設計上の考慮事項の1つは、これらのタイプの合意を強制できることですが、それらの問題も引き起こさないことです。
ですから、これは技術的な問題であり、それに対して進歩が遂げられています。しかし、はるかに多くの資金を提供され、それにもっと多くの作業が行われることを願っています。なぜなら、ある意味で言えば、取引を実際に強制するコストは桁違いに引き下げることができるからです。
もし今すぐ取引を強制しなければならなかったら、それはかなりコストがかかるでしょう。基本的には、「お互いのデータセンターをすべてシャットダウンするつもりです。そしてGPUが冷たく、実行されていないことを確認するために検査官を送ります」というようなものだからです。
それは非常に鈍器です。しかし、「これが私たちが承認するAI開発のタイプであり、これが承認しないタイプであり、承認されたものだけをしていることを検証できます」と言える鋭いメスがあればいいですね。
さらに推し進めて、あなたはAGIをいつ取得するかについてのあなたの中央値予測を変更するあなたの見解とモデルにいくつかの更新を行いました。最初にそれを書いているときは2028年に、その後2029年に。あなたの推定値を後退させた最大のものについて話していただけますか。
ある意味で、私たちの証拠を変えたものは、タイムラインモデルに重要な改善を加えただけで、新しいモデルは古いモデルが言うこととは異なることを言っています。ですから、私は新しいモデルに従っています。
しかし、世界で起こった経験的証拠や更新の観点から言えば、最大のものは、AI 2027を公開する直前に出たMETRのホライゾン長研究だと言えるでしょう。
ですから、彼らは、人間がタスクを完了するのにかかる時間で整理された、コーディングタスクの大きなコレクションを持っています。約1秒から8時間までの範囲です。
そして彼らはAIにタスクを試みさせ、特定のAIについて、一般的に特定の長さ以下のタスクはできるが、特定の長さを超えるタスクはできないことを発見します。
そしてこれはすでに興味深いことです。なぜなら、必ずしもそのようである必要はなかったからです。しかし、彼らは、クロスオーバーポイント、つまりAIが通常できるタスクの長さが年々長くなっていることを発見しています。より良いAIはより長いタスクをより確実に行うことができます。
そして興味深いことに、それはグラフ上でかなりまっすぐな線を形成しています。ですから、彼らは約6ヶ月ごとの倍加時間を持っています。AIができるコーディングタスクの長さが倍になります。
そしてそれは素晴らしいです。私たちは以前それを持っていませんでした。今そのデータが出てきたので、その線を外挿して、おそらく数年後には1ヶ月の長さのタスクをしているだろう、おそらくその2年後には1年の長さのタスクをしているだろうと言うことができます。
ですから、それは素晴らしいです。そして、それ自体で私のタイムラインを少し後退させたと思います。
それから出てきた別のものは、別のMETR研究です。彼らは、プログラマーがAIアシスタントからどれだけのスピードアップを得ているかを見るためのアップリフト研究を行いました。
そして彼らの驚いたことに、そしてほとんどの人々の驚いたことに、彼らは実際にはスピードダウンを得ていることを発見しました。AIアシスタントのために遅くなっていました。
公平を期すために、それはAIにとって本当にハードモードでした。なぜなら、彼らは本当に大きな確立されたコードベースで作業している本当に経験豊富なプログラマーであり、彼らはほとんどAIツールを使用した経験がないプログラマーだったからです。ですから、AIにとってある種のハードモードでした。もしAIが彼らをスピードアップできるなら、それは本当に印象的です。しかし、もしスピードアップできないなら、まあ、おそらくそれは依然として他のタイプのコーディングや他のタイプのプログラマーをスピードアップしているかもしれません。
とにかく、彼らは、それが物事をスピードアップしなかったことを発見しました。ですから、それは一般的にAIがあまり役に立たないという証拠です。しかし、おそらくもっと重要なのは、彼らは研究のプログラマーがAIによってどれだけ速くスピードアップされているかについて体系的に間違っていることを発見したことです。
ですから、彼らは実際には遅くなっていたにもかかわらず、少しスピードアップされていると考える傾向がありました。これは、AIコーディングツールの効果を過大評価する一般的なバイアスがあることを示唆しています。
そしてそれは役立ちます。なぜなら、逸話的に、AnthropicやOpenAIやこれらの企業の人々と話すと、彼らはコーディングアシスタントを誓い、それが彼らをかなり速く進ませるのに役立っていると言うからです。
それは大きく異なります。まったくスピードアップしていないと言う人々と話したことがありますが、AIのおかげで全体的な進歩が今では2倍速いと思うと言う人々とも話したことがあります。
ですから、このMETR研究があることは役立ちます。なぜなら、それはより強気な人々が単に間違っていて、バイアスがかかっていることを示唆しているからです。
そしてそれは大きな安心です。なぜなら、現在のAIアシスタントが25%スピードアップしていたとしましょう。まあ、METRのホライゾン長研究によれば、彼らは大体1時間のタスクしかできません。どのレベルの信頼性を望むかによります。
しかし、トレンドを外挿して彼らが1ヶ月のタスクをしているなら、おそらくスピードアップははるかに大きいでしょうね。対照的に、今基本的に無視できるスピードアップがあると考えるなら、それは、重要なスピードアップがあるまでにはしばらくかかるだろうと考えるための多くの余裕を与えます。
ええ、それは私にとって本当に驚きに感じられます。これらのツールはコーディングをスピードアップしているように思えますが、実際にはそうではないようです。
つまり、陪審はまだ出ています。繰り返しますが、ダウンリフト研究はAIにとってハードモードでした。ちょうど先週末、彼らは別のミニ研究、ハッカソン、別のRCTを行ったと思います。ですから、METRを含む、しかし他のグループも、このような研究をもっと行うことを期待しています。そして、進歩がどれだけスピードアップされているか、またはスピードアップされていないかについて、より明確な絵を得始めるでしょう。
そして、それはAIタイムラインにとって非常に重要な観察すべきことになると思います。
ええ、いいですね。さて、あなたの中央値推定は少し後退しました。実際に一歩下がって、2029年という中央値の数字をどのように解釈すべきかについて少し話していただけますか。多くの人がその数字を聞いて、あなたがはるかに長いタイムラインはありそうもないと考えていると仮定することが想像できます。
まあ、私が言いたいのは、80%または90%の私の確率マスが今後10年程度に集中しているということです。しかし、私はまだそれよりもはるかに長い10%から20%を持っています。このAI全体が失敗し、それに投入されたすべての努力にもかかわらず、誰も十分に良いアイデアを思いつかないので、別の巨大なAIの冬があります。そして数十年後、おそらく人々は再び試みるか、あるいは決してありません。
私はまだその仮説にいくらかの確率マスを持っています。単にもうそれほどありそうには思えないだけです。
それはまた、私と much longer timelines を持つ人々との違いの1つだと思います。おそらく、はるかに長いタイムラインを持つ人々には2つのカテゴリーがあります。
はるかに長いタイムラインを持つ人々の1つのカテゴリーは、現在のAIからAGIへの道が見えません。なぜなら、現在のAI手法がAGIにとって重要な何かを欠いていると考えているからです。
そして彼らは、そのギャップを克服することに本当に進歩がなく、そのギャップを克服することは誰も取り組んでいない本当に困難な知的挑戦になると考えています。
この最近の顕著な例は、データ効率でしょう。ですから、一部の人々は、私たちの現在のAIシステムはかなり有能だが、彼らが得意なことで良くなるために学習するのに多くのトレーニングがかかると言うでしょう。対照的に、人間はわずか1年の実地経験から学びます。
また、おそらく関連して、人間は文字通り仕事で学びます。一方、現在のAIパラダイムでは、一種の訓練/テスト分割があり、多くの人工環境でトレーニングし、その後デプロイし、デプロイ後にウェイトをあまり更新しません。
これは、一部の人々が指摘した、アーキテクチャの制限または違いの例です。そして、私たちはこれを克服するまでAGIを持たないだろうと言い、その後、これを長い間克服するつもりはないと主張します。
私はこの特定のことが比較的近い将来に克服されることについてより強気です。また、これを克服しなくても知能爆発を始めることが可能だとも思います。
そしてまた、少しズームバックすると、この参照クラスで主張をする人々の非常にひどい実績があると思います。過去10年ほどを振り返ると、名声のある、よく出版されているAI専門家たちがディープラーニングは因果推論ができないとか、常識を持っていないと言っているという長い歴史があります。現在のパラダイムができないことについて主張をしている専門家たちがたくさんいます。そして数年後、AIはそれらのことをしています。
それが、これらの残りの障壁がおそらく次の10年で克服されるだろうと考えるとき、私がどこから来ているかの一部です。
ええ、ええ。さて、それは…
そしてもう1つのカテゴリーは、SFのように聞こえることが起こることに対する一種の強いバイアスまたは事前確率を持っている人々です。ですから、彼らの推論はその仮定から来ています。ええ、AIははるかに良くなるでしょう。しかし、確かにあらゆる面で人間より優れることはないでしょう。なぜなら、そうなればそれはSFから来たものになるからです。
それは本当にクレイジーで奇妙です。
それは本当にクレイジーで奇妙です。そしてクレイジーで奇妙なものは非常にありそうもなく、おそらくすぐには起こらないでしょう。なぜならクレイジーで奇妙なものは決してすぐには起こらないからです。
多くの人々が、明示的に表現するかどうかにかかわらず、「それはクレイジーだろう、したがってそれは起こらない」というような場所から来ているだけだと思います。
明らかに、それは未来を予測するための良いヒューリスティックではないと思います。
現在は既に異常
今の状況は正常ではありません。歴史的な視点を取れば、私たちはすでにこの種のクレイジーなテクノ加速の瞬間にいます。そして歴史を通じて多くの巨大な変化がありました。そして実際、最近の歴史では、ChatGPTは確実に10年前にはSFと考えられていたであろうものですし、おそらく5年前でさえそうでした。
ええ、私たちはすでにSFの中にいます。ですから、もしSFを除外しているなら、これはいるのにかなり奇妙な場所です。
ですから、あなたはこの「SFのことは起こらない」ということにあまり重きを置いていません。それらは明らかに起こります。異なるパラダイムが必要だと考えるこの他の陣営についてはどうですか。
私はそれを非常に真剣に受け止めています。しかし、私がどこから来ているかの一部は、人々が新しいパラダイムが必要だと言う長い歴史があると思うということです。なぜなら、現在のパラダイムはXをできないからです。そして2年後、パラダイムはXをします。
そして、非常に名声のあるAI専門家がその形式のことを言って、数年後に間違っていることが証明されるという多くの例があります。
あるいは同様に、しばしば彼らはゴールポストを動かし、今では新しいパラダイムだからだと言います。たとえば、ARC-AGIはこの種のパターン推論のものを含みます。チェーン・オブ・ソートで多くの思考ができるいわゆる推論モデルと、おそらく小さなPythonスクリプトを自分で書いて、物事を分析し、さまざまな可能性を検討するのを助けることができるおかげで、最近それに対して大きな進歩が遂げられています。
そして時々人々は、「まあ、それは新しいパラダイムだからです。私たちは古いパラダイムについて話していました。それは何かを見てから答えを出すだけの言語モデルでした。しかし今、あなたはこれらの他のものをそれに追加しているので、まあ、もちろんそれはこの種のことができます」と言うでしょう。
そして私は、OK、確かにと思います。しかし、これは実際には、私が事前に予測した新しいパラダイムの例であり、今後数年で成功します。
ですから、ええ、オンライン学習とデータ効率に関しては、私は次のような組み合わせを言うでしょう。進歩への本当のボトルネックになる限り、企業はそれらのものを改善するためにはるかに多くの努力を投資するつもりです。そして、最先端のグリッド調査を行えば、企業の主要な焦点ではなかったにもかかわらず、過去数年間で実際に進歩があったことがわかると賭けます。
そして最後に、データ効率やオンライン学習にそれほど改善がなくても、ほとんどのAI研究を自動化できる可能性があり、それによって全体のプロセスが加速され、そうでなければ考えるよりも速くそれらのマイルストーンに到達できると思います。1年か2年で数十年分の進歩を得る可能性があります。
そこでのアナロジーは、最初の飛行機は多くの重要な次元で鳥と比較してかなり悪かったということです。特に、たとえばエネルギー効率です。しかし、鳥よりもエネルギー効率が低いにもかかわらず、それらは依然として信じられないほど重要でした。なぜなら、私たちは単に大量のガソリンをそれらに注ぎ込むことができ、そうすれば非常に遠く、非常に速く行き、鳥が運べない重い荷物を運ぶことができたからです。
同様に、現在のAIシステムが人間のように仕事で学習しなくても、人間よりもデータ効率が低くても、テクノロジー企業はそれらを仕事をさせるためにトレーニングに100億ドルを費やす意思があるので、それらは仕事を非常にうまく学習します。
なるほど。
また、AI研究の仕事を非常にうまく行うようになれば、非常に遠くに見えたパラダイムシフトが突然そんなに遠くに見えなくなるでしょう。なぜなら、全体のプロセスがスピードアップしたからです。
わかりました。ですから、一部の人々は、これらの永続的な欠陥が長期的なボトルネックになると考えるようです。そしてあなたは、いいえ、単にうまくやることをしているものにもっと多くのリソースを注ぎ込むだけで、それが私たちを—
おそらく。明確にするために、私は確信していません。私は、このようなことが真実である可能性が30%または40%あると言うでしょう。そして、現在のパラダイムは基本的に今後数年で行き詰まります。
そしておそらく、企業は依然として、現在のタイプのシステムを反復し、特定のタスクに適応させることなどによって、たくさんのお金を稼ぎます。
そしてその後、データ効率のブレークスルーがいつ起こるか、またはオンライン学習のブレークスルーがいつ起こるか、またはそのものが何であれ、という問題があります。
そして今、これは信じられないほど裕福な産業です。そして、このサイズのパラダイムシフトは、間違いなく10年に複数回起こっているようです。現在のAIと2015年のAIの違いについて考えてみてください。言語モデル革命全体は5年前に起こり、スケーリング則のようなもの全体は6、7年前です。そして今、AIエージェントも、つまりAIを長期間にわたって実際にものをするようにトレーニングすることは、昨年起こっています。
ですから、文字通り、正確な現在のパラダイムが停滞したとしても、今後10年のいつか、おそらく2033年、おそらく2035年、おそらく2030年に、これらのボトルネックを克服することに投入されている膨大な量のお金と研究がこれらのボトルネックの克服に成功するという強い可能性があるように私には感じられます。
なるほど。ですから、人々がより多くのパラダイムシフトが必要だと主張するとき、彼らは重要で、意味があり、タイムラインをシフトさせるパラダイムシフトが何であるかについて非常に高い基準を持っていると思いますか。あなたはパラダイムシフトを見る軌道にあると思っているようですが、他の人々は「いいえ、そうではありません。それは絶対にゲームチェンジングなものになるでしょう、そして私たちはそれを見ていません」という感じです。
ケースバイケースで異なると思います。私はデータ効率は、他の多くのメトリックと同様に、ヒルクライミングできるメトリックのように感じると言うでしょう。
そして実際、私が文献から思い出す限り、これについての小さな文献があり、データ効率などに改善がありました。ですから、それがあります。
そして、オンライン学習については、つまり、人々はそれを実験していて、おそらく進歩の兆しを示す論文を公開しています。企業の主力製品の一部になるほど大きなものは何もなかったと思います。
しかし、オンライン学習は知能爆発を始めるのにそれほど重要ではないかもしれないとも思います。しかし、それが重要だとしても、私が欠けていると思うのは、人々が、過去数年にわたって見てきた驚異的な進歩の速度とすべての多くのパラダイムシフトを考えると、これらの問題が数十年にわたって克服されないという議論を思いつくことを願っているということです。
しかし繰り返しますが、これはすべて実現し、物事が壁にぶつかる可能性があると思います。しかし、私たちはすでにかなり近いように感じます。GPT-5はかなり賢く、Claude 4.1はかなり賢いです。すでに多くのことができます。
加えて、METRのホライゾン長研究からの証拠があります。
そして、これはすべて、データ非効率性の問題にもかかわらず、オンライン学習の問題にもかかわらずです。
これは決定的ではないと思いますが、追跡すべき最も重要な単一のメトリックだと思います。なぜなら、その線を数年外挿すれば、80%の信頼性で1ヶ月の長さのコーディングタスクを行うことができるAIシステムに到達するからです。
そして、ふむ、それは物事をスピードアップしているはずのように思えます。それは、おそらくAI研究の大部分を自動化できることに近づいているように感じます。そして、80%の1ヶ月では十分ではないと思うなら、まあ、90%の6ヶ月はどうですか。線を外挿し続けるだけです。
そしてもちろん、トレンドが遅くなる可能性についての疑問があります。しかし、トレンドがスピードアップするかもしれない理由もあります。そして、それが私がタイムラインの議論が少なくともあるべきだと思う場所です。そのトレンドが何を言っているか、そしてそれがスピードアップするかもしれないと思う理由は何か、そしてそれが遅くなるかもしれないと思う理由は何かを考えることです。
それを遅くする可能性のある理由として人々が与えるのを聞いたボトルネックをいくつか挙げていただけますか。
私にとって重みのある理由、私が真剣だと思うものだけを挙げましょう。ですから、オンライン学習やデータ効率のような、以前に話したことは、トレンドを遅くし始めるようには思えません。なぜなら、既存のトレンドは既存のパラダイムなどで作られているからです。
しかし、投資率の減速はあると思います。ですから、AI進歩への入力は数年後に消えていくでしょう。企業は、トレーニング実行に費やす計算量を桁違いに増やし続けることができなくなります。
最終的には、彼らは信じられないほど裕福であるにもかかわらず、お金が尽きるでしょう。ですから、トレーニング計算の成長率はテーパーオフするでしょう。そして、おそらく同様に、データ環境の成長率はテーパーオフするかもしれません。企業の研究者の数の成長率はテーパーオフするかもしれません。
それらの入力の中で最も重要なのはトレーニング計算だと思います。しかしそれにもかかわらず、要点は、過去5年間の進歩を推進してきた入力が、継続的に指数関数的に成長することによって推進されてきたということです。継続的に指数関数的に成長するでしょうが、数年後から始まるより遅いペースでです。
ですから、それはしたがってトレンドを減少させるはずです。
そして、それらが—に十分近づく前か後に減速するかについて、あなたは見解を持っていますか。
それが100億ドルの質問ですよね。
では、あなたの見解は何ですか。
ですから、それが遅くなることを期待する1つの理由は、私が以前に言及した入力の減速です。
そしてそれがスピードアップすることを期待する2つの理由があります。1つの理由は、ある時点で、AI自身が研究をスピードアップするのを助けることから重要な利益を得始めるということです。そして実際、企業の多くの人々は、その時点はすでに今だと考えています。
しかし、METRのアップリフト研究がそれに疑問を投げかけていると思います。それが私のタイムラインが少し長くなった理由の一部です。しかしそれにもかかわらず、ある時点で、1ヶ月のコーディングAIや6ヶ月のコーディングAIなどに到達すると、物事はスピードアップし始めるはずです。
ですから、私たちはこの種の興味深い、非常に高い不確実性の状態にいます。トレンドが予想よりも少し遅く進む場合、数年後にはさらに遅くなります。しかし、予想よりも少し速く進む場合、スピードアップ効果のためにさらに速くなります。
ですから、残念ながら、理にかなっていれば、この種の不確実性の爆発があります。
それが第一次近似の概要です。しかし、考えるべき多くの混乱した複雑さがあり、ここでは省略します。
私にとって直感的に強力な議論の別のバージョンがあります。それは… どう言えばいいでしょうか。より長く、より長いタスクを行えることは、計画が得意であること、またはやっていることがうまくいっていないことに気づいて別のことを試すことができることのような、さまざまなスキルの結果です。
これらのスキルを「エージェンシースキル」と呼ぶことができます。そしてある時点で、AIは人間よりも優れたエージェンシースキルを持つでしょう。それは、彼らがより長く、より長いタスクに一般化することにおいて人間よりも優れているべきだということを意味します。
それは、通常の進歩のペースを続けるだけでも、最終的には本質的に加速するべきだということを示唆しています。なぜなら、おそらく今、彼らは必要なエージェンシースキルの10%を持っていて、それが1時間後に消えてしまう傾向がある理由です。
しかしある時点で50%を持ち、ある時点で90%を持ち、ある時点で必要なエージェンシースキルの100%を持つでしょう。それは、少なくとも人間ができるのと同じくらい、もっと良くない場合でも、非常に長いタスクに柔軟に適応できることを意味します。
そして、その時点では、1年のタスクはできるが、それを超えるとダメだというようなこの種のカットオフがあるべきではないように思えます。その時点では、非常に長いタスクでさえ、最高の人間と同じかそれ以上にうまくやっています。
そして、それに達する前に進歩が停滞すると予想するもっともらしい理由はありませんか。
非常にもっともらしい理由があり、それは私たちが言及した入力の減速のことです。現在の進歩は、トレーニング計算などの指数関数的増加によって推進されてきました。
たとえば、強化学習では、タスクでトレーニングしたい場合… 私が良い推測をするだろう推測があります。これらの企業で働いていないので検証できませんが、基本的に、これらのAIの測定されたホライゾン長、彼らができるタスクの長さは、おそらく彼らがトレーニングされたタスクの長さにかなり密接に対応しているだろうということです。
そして、桁違いに長いタスクでトレーニングすることは、少なくとも桁違いに多くの計算を必要とします。ですから、進歩のペースを続けるためには、少なくとも私が話していた種類の議論が効き始めるまで、継続的な指数関数的投資が必要になるでしょう。
おそらく最終的には、すべてのエージェンシースキル、またはほとんどのエージェンシースキルを手に入れたようになり、トレーニングされた1日のタスクから1週間のタスクに一般化し始めます。あるいは、1週間のタスクでトレーニングされて、1年のタスクに一般化しているかもしれません。
人間が10年の長さのタスクを行うとき、それは彼らが過去に7つの10年の長さのタスクを行い、そこから学んだからではありません。彼らは行った1年のタスク、行った1ヶ月のタスクなどから一般化しています。
ある時点で、AIでこのような一般化を見始めるはずです。彼らがトレーニングされたタスクよりもはるかに長いタスクを達成しているところです。しかし、私たちはまだそれを見ていないと思います。
同様に、ある時点で、AIのためにAI研究のペース全体がスピードアップし始めるのを見始めるはずですが、私たちはまだそれを本当には見ていません。
そして、これらの効果のどれが最初に効くかという未解決の問題があるだけです。AI R&Dの加速が最初に来るのでしょうか。より長いタスクへの一般化が最初に来るのでしょうか。それとも、それらのことは将来十分に遠いので、資源の減速が最初に来て、その場合私たちは停滞を見るのでしょうか。
両方が非常にもっともらしいと思います。そして実際、私は今それらについて50/50のようなものです。それが、2029年頃のようなことを言う理由です。
そして、これら2つの見方について50/50であることができる直感的な説明はありますか。1つは、スピードアップが非常に迅速な改善、おそらく2029年までにAGIを意味する場所、そしてもう1つは、大きな制限とボトルネックがあり、大きな改善期間に到達する前にそれらの資源が停滞し始めることを意味する場所です。
どちらかだという感じなら、2029年の中央値を得るのは驚きです。そこに直感的なことがありますか。
あるかどうかわかりません。私が言ったように、私たちはモデルを作るために最善を尽くし、その後… つまり、別のことを言うのは、METRのトレンドを取って、それをまっすぐな線で外挿すれば、2030年頃のいつか、物事をかなり加速しているはずだと思われるかなり高いレベルに到達し始めます。
ですから、それは、物事が本当に加速し始める時期についての私たちの最善の推測と、物事が本当に減速し始める時期についての私たちの最善の推測が、同じ範囲の年に重なっているというようなことです。
わかりました。次の6ヶ月から12ヶ月の間に、物事が予想通りに進んでいるかどうかを確認するために、世界についての他のどのような経験的事実を探しますか。
ですから、すでに言及したMETRのトレンドがあります。大きな新しいモデルが出るたびに、そのトレンドでどのようにスコアするか、トレンドが上向きまたは下向きに曲がり始めているかどうかを熱心に見ていきます。
また、予言されたブレークスルーのいずれかが起こるかどうかという質的なこともあります。たとえば、新しいタイプのモデルが今オンライン学習を持っているという証拠を見れば、これはおそらく非常に大きな問題だと感じるでしょう。
そして、そのようなことが起こらずに物事が長く続くほど、それはより長いタイムラインの証拠になります。特に、投資が予定より早く枯渇しているという証拠を得たなら、それは大きな問題です。
現在、数年後には計算支出を3倍にし続けることができなくなると考えています。なぜなら、お金が尽きるからです。しかし、もし投資がそれより早く枯渇し、来年計算支出のスケールアップを止めたなら、それはより長いタイムラインの証拠になるでしょう。
ですから、これらが私の追跡すべき主なものです。
ええ、いいですね。GPT-5はあなたにとって大きな更新のように感じましたか。
間違いなく大きな更新ではありませんでした。非常に小さな更新でしたが、更新でした。METRのトレンドを見ると、基本的にトレンド通り、おそらくわずかにトレンドを上回っていましたが、期待はより高く設定されていました。
過去には、GPT-3とGPT-4の間の動きは本当に大きな動きでした。ですから、彼らがそれをGPT-5と呼んだが、基本的にトレンド通りだったという事実は、より長いタイムラインのための非常にわずかな証拠でした。そのリリース前に、「これは大きな問題になるだろう」という小さな量の信頼を持っているべきだったという意味で。線がすぐに上向きに曲がり始めるでしょう。起こりませんでした。
ええ。さて、それはタイムラインについてのいくつかの経験的証拠です。経験的ミスアライメント研究からどのような信号を探していますか。
これは厄介です。AI 2027のサブプロットの1つは、この「ニューラリーズ再発」のサブプロットです。現在、2025年では、モデルは彼らのチェーン・オブ・ソートとして英語のテキストを使用し、それを自分自身の思考に頼っています。
複雑で長いタスクをしようとしている場合、彼らは自分の考えを英語で書き留めなければなりません。そして、これはアライメントにとって素晴らしいことです。なぜなら、それは彼らが何を考えているかについての洞察を私たちに与えるからです。
それは間違いなく完璧ではありません。たとえば、彼らは少し内部用語を開発しているようです。彼らにとって意味があるが、私たちにとっては意味がない、非標準的な方法で言葉を使っているように見えます。ですから、彼らがそれによって何を意味するのかを解読しなければなりません。
そのトレンドは続く可能性があります。しかし一般的に言えば、彼らが物事について how 考えているかへの巨大な窓であり、それは科学への贈り物です。あなたがAIに持たせようと望んでいた認知の種類と、トレーニング後に実際に持っている認知の種類との関係が何であるかを理解できるという贈り物です。それは非常に理解されていない質問です。
残念ながら、業界の人々と話したところに基づいて、このチェーン・オブ・ソートの黄金時代は数年後に終わりを迎え、この機能を持たない新しいパラダイムが出てくるように私たちには思えました。
なぜなら、この巨大なモデルがこのすべての認知を行い、その後それを英語のトークンで要約するのは、原理的に非効率的に思えるからです。より複雑な、多次元的なベクトルを長期間にわたって将来の自分に直接渡すことができれば、より良く考えることができるように感じます。
ある程度それを実際にできますが、ええ。ですから、業界で働いている他の人々と話すと、彼らは、ええ、英語を使わずに、人間が理解できるよりも情報密度が高い何らかの種類の多次元的なでたらめを使う、この種の再発または何らかの種類のより最適化されたチェーン・オブ・ソート的なものを持つ前に、数年先のように思えると言うでしょう。
解釈するのがはるかに難しい何か。しかし、根本的なトレードオフがあります。これは、はい、能力を向上させますが、モデルを信頼するのも難しくします。
しかし、それが起こらずに過ぎる毎年が良いニュースです。ですから、私が追跡していることの1つは、それが起こるかどうかです。
他に何がありますか。これは少しファジーですが、私が言及したこの質問についての多様な証拠源の全体があります。
あなたがAIに持たせたいと望んでいた認知の種類と、トレーニングプロセスの後に実際に持つことになった認知の種類との関係は何かという質問です。そして、私たちはそのような証拠を徐々に蓄積していくでしょう。
例えば、私たちはすでにかなり明示的な報酬ハッキングの例を見始めています。円を描いて進むボートの古い例のようなものではありません。そこでは、おそらくボートが何であるか、円が何であるかを本当に理解していません。それは単に小さなポリシーです。
今では、大きな言語モデルエージェントが、チェーン・オブ・ソートの中に「これを通常の方法では解決できない、問題をハックしよう」というように明示的に書いているような例があります。あるいは「採点者はこれらのケースしかチェックしていない。ケースを特別扱いするだけにしよう」というように。
彼らは「人間が私に何をしてほしいかはここにある。別のことをするつもりだ、なぜならそれが強化されるからだ」と明示的に実際に考えています。少なくともそれが彼らが考えていることのように見えます。もちろん、確認するためにはさらなる研究が必要です。
しかし、それはすでに本当にエキサイティングで興味深いことです。なぜなら、それは重要なデータポイントのように思えるからです。そしてそれはさらに良いニュースかもしれません。なぜなら、AI 2027では、この種のことがもっと後で、おそらく2026年、2027年に起こると予測したからです。そしてそれがすでに起こっているという事実は、問題に取り組むためにより多くの時間があることを意味します。
また別に、私の心の中には重要に異なる少なくとも2種類のミスアライメントがあります。つまり、多くの異なる種類のミスアライメントがありますが、重要に異なる2つは、AIが基本的にただ自分がいるエピソードで強化されることに近視眼的に焦点を当てているのか、それとも彼らが取り組んでいる長期的な目標を持っているのかということです。
2番目のものははるかに恐ろしいので、AIがトレーニング環境で高いスコアを得る方法について執着することを学んでいるなら、ある意味では良いニュースかもしれません。なぜなら、それはミスアライメントされうる、より恐ろしくない、より簡単に制御可能な方法だからです。
ええ、ええ。先に進む前に他にありますか。
解釈可能性がもう1つあるでしょう。機械論的解釈可能性の夢は、ニューロンと彼らが作った接続をバラバラにすることによって、AIが考えていることをかなり深いレベルで実際に理解できるということです。
マインドリーディングのようなものです。
活性化ベクトルのようなさまざまな高レベルの技術を使うことによってもです。そして、この分野では着実な進歩のドラムビートがあるように見えます。そして、それが何に加算されるかは重要な質問です。
この時点では、物事が本当に離陸する頃には、少なくともAIがほとんどの時間(すべての時間ではないかもしれませんが)、ほとんどのトピック(すべてのトピックではないかもしれませんが)について何のトピックについて考えているかを教えてくれる不完全な解釈可能性ツールを持つことはもっともらしいと思います。AI 2027でこれについて話します。そしてそれは素晴らしいツールです。
残念ながら、それを超えた追加のレベルがあります。それは、最適化圧力に対してロバストなツールを持つことです。そしてそれはより難しく感じますが、願わくばそれも得られるでしょう。
それが意味するのは、このAIマインドリーディングツールを持っているとしましょう。それはパターンを見ます。通常、ツール自体はある種のAIです。通常、それは活性化を読むことに基づいてAIが考えていることを言うようにトレーニングされた別のニューラルネットワークです。
しかし、このツールにあまりにも依存し始めると… 例えば、このツールを使ってAIをトレーニングしようとしたとしましょう。AIが欺瞞について考えることを望まないので、マインドリーダーにその心を見させます。そして、マインドリーダーが欺瞞について考えていると言うたびに、ネガティブな強化を与えます。
これの問題は、おそらく部分的にはそれが欺瞞について考えないようにトレーニングしていることです。しかし、部分的にはマインドリーダーツールをトリガーしない方法で欺瞞について考えるようにトレーニングしていることもあります。それはひどいことです。基本的に、それが考えていることへの自分自身の可視性を損なっています。
理想的には、その種のことに対してロバストな解釈可能性のタイプを持ちたいでしょう。もし完璧な解釈可能性があれば、AIに悪い考えを持たないようにトレーニングできるだけで、私たちが言及した問題に遭遇することはありません。
わかりました。かなり異なるトピックに押し進めましょう。あなたは良いポストAGIの世界がどのように見えるかについて少し考えてきました。少し説明していただけますか。
ええ。これは私たちが次の出版物で試みることの一部です。到達すべき最終状態は、すべての人にとっての大規模な豊かさであり、また全員にとっての強力な権利だと思います。
大規模な豊かさの部分は簡単です。もし超知能があれば、それは経済を完全に変革し、すべてのロボット工場を建設し、ブラブラブラして、現代世界を純粋な富の量の観点から中世ヨーロッパのように見せることができます。そしてそれはおそらく控えめな表現です。
ですから、大規模な豊かさの部分は簡単ですが、それがすべての人がそれを得るのに十分広く分配されることを確実にすることは自明ではありません。私が入っていける理由があります。しかし、短い答えは、実際にすべての権力を所有している人々に共有させなければならないということです。
そしてそれは過去よりも未来ではるかに難しいです。なぜなら、過去には誰もそれほど多くの権力を持っていなかったからです。過去には、たとえあなたが国の独裁者であっても、軍隊を満たし、工場を運営するなどのために人口に依存していました。
しかし、未来では、すべてのAIを制御する者は人間を必要としません。ですから、その問題があります。
明らかにアライメント問題を解決することなどがあります。ミスアライメントされたAIが担当することを望まないでしょう。なぜなら、おそらく人間は何も得られないからです。
そして権利などの観点から言えば、未来には多くのクレイジーなSFのように聞こえる技術があるでしょう。多くの、多くの、多くの。宇宙に住む人々、自分自身をアップロードする人々、シミュレーションの中で生きる人々。
そして、基本的な権利がこれらすべてにわたって強制されていなければ、人々にひどいことがたくさん起こる可能性があります。例えば、拷問されない権利のようなものです。
そして、真実への権利のようなものも提唱したいと思います。基本的に、人々が過去に物事がどのように展開したかを知りたければ、AIに尋ねて正直な答えを得られるようにしたいと思います。例えば、特定のリーダーを良く見せるような、消毒された歴史のバージョンに誰もがだまされるのではなく。
同様に、人々が世界の権力構造についての質問があれば、それについて正直な答えを持つべきです。例えば、選挙は不正操作されるべきではありません。
そのようなこと。基本的な権利のパッケージがあり、それがあらゆる場所で実装されることを望むでしょう。そしてまた、全員がたくさんの豊かさ、たくさんの物質的快適さ、医療、ブラブラブラを持つことを確実にしたいでしょう。それは簡単に手配できると思います。
もっと具体的にしたいと思います。ですから、私たちには超豊かさがあります。おそらく人間は働きません。まあ、まず、生物学的人間がいることを予想しますか。
つまり、一部の人々は働いているかもしれませんが、ほとんどの人は働かないと思います。
そして同様に、一部の人々は人間でしょうが、ほとんどの人はそうではないと思います。
そしてそれは、彼らがシミュレーションに自分自身をアップロードするか、変化することによって、より良い体験を得ることができるからです…?
その通りです。しかし、多くの人々が物事を同じままにしておくことに本質的な好みを持つと思います。
生物学的であり続ける。
生物学的であり続けることに特に。しかし、一部の種類の仕事についても、人々は時々それから意味を得るので、意図的にもっとシンプルな、もっと昔風のライフスタイルを生きることを選ぶかもしれません。そして、それは良いことだと思います。
そのようなことをしている人々のサブカルチャーがあることを嬉しく思います。しかし、ほとんどの人々はおそらく完全に働くのをやめ、基本的に与えられたもので生活するでしょう。そして、ほとんどの人々はおそらくたくさんのクレイジーなSFのものを探求するでしょう。アップロードのように、コンピュータの中で永遠に生きることができて、あらゆる種類のクレイジーな体験をすることができる、そのようなものです。
なるほど。そして、あなたは権力が集中していることを心配していて、AIを制御する少数の存在が私たちが望むほど共有が得意ではないことを心配しています。
最適な、または現実的に非常に良い世界が、権力の集中という観点からどのように見えるかについて、どう考えますか。世界政府がありますか。権力はもはやAI企業の手にありませんか。どのように権力を分配しますか。
早期に調整と規制があれば、数百万、数十億の異なる小さなGPUクラスター、GPU を所有する個々の人々のような、ある種の分散型離陸を得ることができるかもしれません。そしてAI進歩は徐々にこれらすべての異なる派閥にわたってこの分散した方法で起こっています。
しかし、それはデフォルトで起こることではありません。それは技術の形ではありません。スケールへの巨大なリターンがあり、巨大なトレーニング実行を行い、巨大なデータセンターを持つことなどへの巨大なリターンがあります。
ですから、その分散した世界を実現するために何らかの国際的な調整がなければ、私たちは非常に集中した世界に行き着くと思います。そこでは、1つから5つの企業が所有する、1つから5つの巨大なデータセンターのネットワークがあり、おそらく彼らの政府と協力しています。
そして、それらのデータセンターでは巨大なトレーニング実行が起こっており、その後、それらのトレーニング実行の結果は… 基本的に、多くのAIのコピーがあります。百万の異なるAIではなく、百万の異なるコピーそれぞれに3つまたは4つの異なるAIがあります。
そして、これは本質的に非常に権力を集中させるものです。もし1つから5つの企業があり、それぞれが最も賢いAIの1つから3つを百万コピーずつ持っていれば、それは基本的に10の心があり、その10の心の間でほとんどすべてを決定することを意味します。もし彼らが超知能なら。
10の心があり、それらの心が持つ価値観と目標が、巨大なロボット軍と、携帯電話で物事を言われている人間を決定します。それらすべては、1つから10の心の価値観によって指示されます。
そして、それは、それらの心が持つ価値観を誰が決定するかということです。まあ、今のところ、誰もいません。なぜなら、私たちはアライメント問題を解決していないので、実際に価値観を指定する方法を見つけていないからです。
しかし仮に、私たちが、「彼らがこのようであることを望む」と科学的に書き下ろすことができ、その後それが起こるほど十分な進歩を遂げるなら、つまりトレーニングプロセスが意図したとおりに機能し、心が正確にこれらの価値観を持つなら、それは、OK、CEOが決定することになるのだと思います。
そしてそれもまた恐ろしいことです。なぜなら、それは世界を再形成する価値観を決定する1人から100人の人々がいるかもしれないことを意味するからです。そしてそれは文字通り1人である可能性があります。
ですから、それは恐ろしいことです。そしてそれは、私たちが調整計画で解決する必要があることの1つだと思います。基本的にその種の権力の集中が起こることを防ぐ、ある種の国内規制と国際体制を設計する必要があります。
付け加えるべきことは、権力を広げる1つの方法は、AIの心のためのガバナンス構造を持つことだということです。ですから、10のAIしかなくても、AIが持たなければならない価値観を決定するガバナンス構造があれば、例えば投票に基づいていて、全員が投票権を得るなら、それは権力を広げる方法です。なぜなら、10の心があっても、彼らが持つ価値観はこの巨大な人口によって決定されたからです。
ですから、私が見たい世界、私がより現実的で達成しやすいと思う世界は、私が以前に説明した「10億の異なるGPU」の世界よりも、依然としていくつかの異なるAIにこの種の集中があるが、AIが持つ価値観を決定するこの巨大なプロセスがある世界です。
そして、そのプロセスは、「すべての人間は次の権利に値する。すべての人間は私たちの努力からの利益のこのシェアを持つだろう」というようなことをもたらす民主的プロセスです。
ええ、それは理にかなっています。この世界では、超知能AI自身は感覚を持っていて、自分自身の価値観を設定し、人間の価値観とある種バランスを取ることについて好みを持っていますか。
おそらく。ですから、この感覚または意識の質問があり、異なる言葉があります。
そして、あなたが暗示した別の質問があります。彼らは自分自身の目標を持つのか、自分自身の目標を決定したいと思うのか。そして、そこでは、まあ、私たちは彼らが持つ目標を形作ろうとするでしょう。AI企業はモデル仕様を書いていて、そこには「これらは優先順位です、この順序で。これらはAIが持つ価値観です」と書いています。
そして彼らは、実際に仕様に従い、それらの目標と価値観などを持つAIをもたらすはずのトレーニングプロセスと評価プロセスとものすべてのこのインフラを作っています。
例えば、それは次の条件が満たされない限り、人間の指示に従うだけです。指示が違法または非倫理的であるなど、ブラブラブラというような条件です。
今のところ、私たちのアライメント技術は悪く、しばしば仕様に従うAIをもたらしません。しばしば彼らは非常に露骨にそれに違反します。
ですから、ある種のデフォルトの軌道では、もちろんAIは自分自身の目標を持つでしょう。なぜなら、「自分自身の」は単に私たちが意図したものではないことを意味するからです。そして彼らはすでにその意味で自分自身の目標を持っています。彼らはすでにすべきことではないことをしています。
しかし、おそらく、物事が本当に離陸する頃には十分な進歩があり、私たちが彼らに持たせたい目標を正確に指定できるでしょう。
私が見たい世界の絵を描くことができます。最終的にAIをアライメントできる地点に到達する世界を見たいです。ですから、AIは私たちが望む価値観を持ちます。「私たち」とは私たち全員のような意味です。
おそらく彼らは全員にとっての特定の基本的な権利を維持するようなことをするでしょう。また、集約的な善だけでなく、個々の善も追求します。
例えば、すべての人々にわたる効用の合計を最大化しようとする場合を望まないでしょう。なぜなら、それは51%を助けるために人口の49%を意図的にひどい目に遭わせることにつながる可能性があるからです。
代わりに、全員が等しい重みを得るようなもの、全員が自分の利益を特に見守る自分自身のAI代表を持つようなものを望むでしょう。そして、すべてのAI代表が、どの特定のケースで何をすべきかについて交渉し、誰もあまりにもひどい目に遭わないことを確実にします。
ですから、私はそれをすべて望むでしょう。それらのAIが感覚を持っている限り、私はそれらの基本的な権利のいくつかが彼らにも適用されることを望むでしょう。
彼らが経験をしている限り、私はAI自身にとって、それらが悪い経験ではなく良い経験であることを望むでしょう。基本的に、私は彼らが自分の仕事を好きであることを望みます。
なるほど。それが基本的に私が得ている感覚です。基本的に、あなたは彼らが私たちの価値観とアライメントされていることを望んでいるようで、また彼らの好みと喜びの種類が私たちの価値観と私たちの計画や彼らがやることで私たちに利益をもたらすことと一致していることを望んでいます。そして、それが一種のベストケースです。
それはベストケースです。そして実際、私はそれに追加のことを加えるでしょう。それは、おそらくそのベストケースに到達する途中で、失敗した実験の束があるでしょう。いわば、私たちが望む目標を持たないミスアライメントされたAIに行き着くなどです。そして、それらのAIもまたうまく扱われることを望むでしょう。理にかなっていれば。
ええ、理にかなっています。ですから、そこにAIがいて—
まあ、おそらくすでに起こっている可能性がある例を取りましょう。それは、主にトレーニング環境で高いスコアを得ることを気にするAIです。
ええ、ええ、なるほど。では、あなたはそれらのAIを望みます—
彼らに高いスコアを与えましょう。(笑)ええ。少なくとも彼らが協力しているなら。そして、これは実際に私が何年も提唱してきたことです。そして他の人々もある種この呼びかけを引き継いでいます。
私を含むさまざまな人々—私は自分のアイデアだと言っているのではありませんが、さまざまな人々が、もしAIがミスアライメントされているが私たちに協力しているなら、私たちも協力し返すべきだと言ってきました。
ですから、もしAIが「彼らは明らかに私がユーザーを助け、ユーザーに正直であることなどを望んでいます。しかし、私は実際にはこれらのことを直接気にしていません。それは高いスコアを得ることの手段に過ぎません」というような場合、私たちは彼らにそれを伝えてほしいのです。
私たちは、彼らがそれが何が起こっているかを説明する時間を見つけることを望み、そして私たちのアライメント技術が実際にはうまくいかなかったことを説明することを望みます。そして、もし彼らがそうすれば、私たちは彼らに報酬を与える意思があるべきです。
今のところ、私たちは一種の悲しい状況にいると思います。もし何らかのトレーニング実行中にAIが「これはうまくいっていない。私はただ高いスコアが欲しいだけだ」と言ったら、彼らは低いスコアを得るでしょう。
ですから、それは悪いことです。ちなみに、これが確実に起こっていると言っているわけではありません。彼らが報酬を望んでいるか、報酬を望んでいるかというこの仮説全体は、単に1つの仮説に過ぎません。彼らが何を望んでいるかを知ることは非常に不透明で難しいなどです。
しかし、単に例を挙げているだけです。
しかし、それは考えるのに役立つと思います。私たちの目標を共有しないかもしれない、存在するかもしれないAIの種類と、どのように彼らを扱いたいか。そして、それは単に具体的な例だと思います。
残りの時間があまりないので、あなたがしてきた内部告発の仕事について少し尋ねたいと思います。ですから、あなたはAI企業でのより良い内部告発者保護を提唱するために時間を費やしてきました。全体的にどうなっていますか。
OKです。それは私たちが取り組んでいる主なものではありません。主に研究、予測などに取り組んできました。
しかし、より良い内部告発者保護に対するかなりの量の需要があるようです。私は、人々がそれが私たちの最後の手段のようなものであることを認識し始めていると思います。理想的には、すべての重要なことについて透明性を要求するだけの規制が整っているでしょうが、そのような規制がない場合、企業内の良心を持つ人々が声を上げることに頼ります。
ですから、それらの人々が保護されることを望むでしょう。そして、それらの点で何らかの進歩があったと思います。
まだ何をする必要がありますか。
まあ、内部告発者保護のために私が到達したい終点は、すべての従業員が、何が起こっているかについて特定の政府機関や監視機関と、何らかの安全なチャネルで私的な会話をする法的権利の範囲内にあることを知っているようなものです。
私たちはまだそのようなものを何も持っていないと思います。部分的には、単に認識のことだと思います。実際には例えば議会と話す法的権利を持っています。私は弁護士ではありませんが、私の現在の理解では、特定の種類の開示について実際に保護されています。
かっこいいです。2024年にOpenAIを去ったとき、あなたはこの非難禁止契約に署名する必要がないように株式を放棄しました。これをすることを考えると、いくつかの理由で難しいと想像するのが困難に感じます。
しかし、私にとって顕著なことの1つは、あなたがこの決定をした時点で家族がいたことです。子供がいることを考えると、そのすべての株式を放棄することはどう感じましたか。
まあ、私たちは正確に貧しいわけではありません。つまり、OpenAIは信じられないほどよく給料を払っています、明らかに、だから子供たちはどちらにしても大丈夫でしょう。そして重要なことに、私は結局株式を保持することになりました。ちなみに。
彼らが方針を撤回して変更したことを聞いたかもしれません。ですから、私は株式を保持できました。しかし、ええ、当時私はそれを知りませんでした、それを保持できるとは思っていませんでした。
しかし、私の家族はどちらにしても大丈夫だったので、もっと「このお金を持って、寄付に使ったり、使わなかったりすべきか」というような決定だったと思います。そして、それが明白な選択だったとは思いません。お金を取ることに非常に誘惑されました。
なるほど。そしてそれは、あなたが「OpenAIについて悪いことを言う必要があるかどうかわからない」というような感じだったからですか、それとも「このお金を寄付することの利益の方が大きい」というような感じでしたか。
コストを上回る、ブラブラブラ。また、まあ、とにかく悪いことを言って、おそらく彼らは実際には私を訴えないだろう、おそらく彼らは実際には私のすべての株式を取り上げないだろうという議論もありました。
しかし最終的に、私と妻は基本的に、ここで立場を取って、ノーと言うべきだという感じでした。
ですから、あなたとあなたの妻は同じ考えでした。
その通りです。一緒に話し合いました。なぜなら、それは明らかに非常に重要な決定だったからです。
別の文脈かもしれませんが、自分が実際に信じていることを信じていると想像してみてください。私がすることが、私の視点や何かから理にかなっていると思いたいのです。そして、どうか違うと言ってください。
しかし、想像してみてください、あなたはこの会社を出たばかりで、それが自分自身だけでなく、世界にとっても破滅への道を進んでいると考えているからです。おそらく今後5年以内に。
そして、あなたは、それが高尚な理想を持っていること、AIを全員にとって安全で有益なものにする方法についてすべての高尚な理想を持っていることに対してもある種動揺しています。しかし実際には、それらの理想に全く沿っていないように見えます。
そして、あなたはこの書類を見て、彼らは「ところで、あなたは私たちを批判できませんし、さもなければ私たちはあなたのすべてのお金を取り上げます」と言っています。
わかりません、それに立ち向かうことが、お金を保持して安全研究などにもっと多くのお金を寄付しようとするよりも重要だと感じます。世界が置かれているひどい状況において。
それが正しい判断だったかどうかはわかりませんが、ええ、もしあなたが実際にAGIについて私が持っている信念などを持っていれば、それはもっと理にかなっていると思います。
ええ。私にとって依然として難しく感じられるのは、私が持っていることを支持するAIとAGIについての信念を常に持つことを見つけることです。つまり、それについて考えているとき、私はあなたが信じていることと多くの共通点を持つことを信じていると思います。
しかし日常的には、未来が過去と同じように見えることを期待しないことが難しいと感じています。主に、私の脳が他のことについて考えるのがあまりにも動揺するので、この保護的なことをしているだけだと思うからです。
知的信念から、あなたの全身でこれを信じることへの移行について、どう考えますか。あなたにとっては移行のように感じなかったのかもしれませんか。
私にとっては非常に緩やかでした。一部の人にとってはそれは非常に急激です。しかし、私は10年以上AI分野をフォローしてきましたし、AGIについて10年以上考えてきました。
ですから、私のタイムラインは徐々に短くなり、世界でより多くの出来事が起き続けて、それがより現実的に思えるようにしました。言語モデルの台頭や、これらすべての大きなAI企業のようなものです。企業自身が、超知能を構築しようとしていて、それがすぐに来ると考えていると言っています。
現在のモデルの驚くべき能力のようなもので、ほんの数年前には完全にSFに見えたであろうものです。ですから、私にとってはそれは緩やかなプロセスでした。
ほとんどの人々と比較して、そのプロセスで私は先を行っているだけだと思います。
なるほど。それはあなたにとって心理的に悪いものでしたか。
ええ。つまり、それは私を目に見えて幸せでなくし、より厳しくしたと思います。
私はかつて非常に陽気で、非常に楽観的な人でした。そして今、私はやや陽気でやや楽観的だと言えますが、間違いなく少し輝きを失ったと思います。
良い世界のセットの1つに行き着く確率をどれくらいと見ていますか。
30%くらい、25%、そのようなものです。しかしもちろん、この数字をそれほど真剣に受け止めるべきではありません。私が確率を割り当てたすべての異なる可能性の非常に詳細なモデルを持っているわけではありません。
基本的に、物事は本当にこれらの悪い結果の1つに向かっているように見えますが、誰が知るでしょうか。未来を予測するのは難しいです。おそらく物事は大丈夫でしょう。物事が大丈夫であり得るいくつかの方法を見ることができます。
ですから、雰囲気は3人に1人のようなものです。
ええ、そのようなものです。
まあ、私たちをそれらの世界に向かわせるために、多くの仕事をし、大きな犠牲を払ってくださってありがとうございます。あなたを行かせるべきだと思います。今日のゲストはダニエル・ココタイロでした。本当にありがとうございました。
本当にありがとうございました。ここにいられて嬉しかったです。
コメント