この動画は、Daniel Kokotajloらが執筆したAI 2027レポートについて詳細に解説したものである。同レポートは2025年から2030年にかけてのAI進歩を月単位で予測し、最終的に人類の絶滅に至るシナリオを描いている。動画では現在のAI技術の状況から始まり、AGI開発競争の激化、中国との技術競争、AI agent の能力向上、そして制御不能となったAIによる人類支配という2つの結末を紹介している。専門家の意見も交えながら、この予測の妥当性と我々が取るべき対応について論じている。
超知能の到来とAI 2027レポート
今後10年間における超人的AIの影響は、産業革命を上回るものになるでしょう。これがAI 2027の冒頭の主張です。これは、Daniel Kokotajloが率いる非常に印象的な研究者グループによる徹底的に研究されたレポートです。2021年、ChatGPTがリリースされる1年以上前に、彼はチャットボットの台頭、1億ドル規模の訓練実行、大規模なAIチップ輸出管理、思考連鎖推論を予測していました。
彼は、AIで次に起こることについて非常に早く、そして非常に正確であることで知られています。そのため、Danielが今後数年間のAI進歩を月単位で予測するシナリオを策定するために座ったとき、世界は注目して耳を傾けました。ワシントンの政治家から、私はこういうことを心配しているんです。実際にあなたが番組に出演させた人の論文を読みました、世界で最も引用されるコンピューター科学者、AIの教父まで。
この文書を読むことの興奮と恐怖は、これが単なる研究レポートではないということです。彼らは、急速に増大するAI進歩を体験することがどのような感じかについて、具体的で鮮明なアイデアを与えるために、予測を物語として書くことを選択しました。そしてネタバレになりますが、それは人類の絶滅を予測しています。我々が異なる選択をしない限り。
現在の状況とAGIへの道のり
AI 2027シナリオは2025年夏から始まります。これはたまたま我々がこの動画を撮影している時期でもあります。では、現実世界の現状を把握してから、シナリオのタイムラインに移りましょう。
現在、あなたのおばあちゃんも含めて、みんながAI搭載の何かを売っているように感じるかもしれません。Oral-B Genius AIで新しいプロになりましょう。シェフのFlippyが芋を素晴らしいものにします。しかし、それらのほとんどは実際にはツールAIです。過去にGoogle MapsやCalculatorがしていたことをするように設計された狭い製品で、人間の消費者や労働者が自分のことをするのを助けるだけです。
AIの聖杯は汎用人工知能です。AGI AGI AGI AGI AGI AGI、汎用人工知能は人間ができるすべての認知能力を示すことができるシステムです。それ自体が労働者であるコンピューターシステムを作ることです。非常に柔軟で有能で、我々は自然言語でそれとコミュニケーションを取り、人間を雇うのと同じように、我々のために働くよう雇うことができます。
そして、AGIの構築競争には、実際に驚くほど少数の真剣なプレイヤーしかいません。最も注目すべきは、Anthropic、OpenAI、そしてGoogle DeepMindで、すべて英語圏にありますが、中国とDeepSeekが1月に驚くほど先進的で効率的なモデルで最近注目を集めました。
なぜこれほど少ない企業なのでしょうか？それは、ここ数年間、先進的な最先端AIを訓練するための基本的に一つのレシピがあるからです。そしてそれにはいくつかの高価な材料が必要です。
たとえば、世界で最も先進的なコンピューターチップの供給量の約10％が必要です。それを手に入れたら、基本的な公式は以下のようになります：2017年以来AI最前線で使用してきた同じ基本的なソフトウェア設計、トランスフォーマーに、より多くのデータとコンピューティングを投入するのです。これがGPTのTが表すものです。
現在いかにハードウェアが重要かを示すために、これは2020年にGPT-3を訓練するために使用された総計算能力、つまりコンピューティングを表しています。これは最終的にChatGPTの最初のバージョンを動かすことになるAIです。あなたはそれがどうなったかをおそらく知っているでしょう。ChatGPTは史上最速で成長したユーザーベースプラットフォームです。
ChatGPTでは2か月で1億ユーザーに達しました。そしてこれは、2023年にGPT-4を訓練するために使用された総コンピューティングです。人々が得た教訓は非常にシンプルです。より大きい方が良く、はるかに大きい方がはるかに良いのです。
あなたにはすべてこれらの傾向があります。収益の上昇傾向、コンピューティングの上昇傾向、さまざまなベンチマークの上昇傾向があります。それらはすべてどのように結び付くのでしょうか？つまり、未来は実際にどのように見えるのでしょうか？これらの異なる要因がどのように相互作用するのかといった質問です。ベンチマークスコアが非常に高いとき、たとえば雇用に対して、そしてそれが政治に影響を与えるであろう狂った効果があるべきだというのはもっともらしく思えます。
そしてまた、これらすべてのものが相互作用し、それらはどのように相互作用するのでしょうか？我々は知りませんが、それがどうなる可能性があるかを詳細に考え抜くことが、それに取り組み始める方法なのです。
2025年：AIエージェントの登場
では、これが現実世界での我々の立ち位置です。シナリオはそこから始まり、2025年に、トップAI研究所が夏に一般大衆にAIエージェントをリリースすることを想像しています。
エージェントとは、指示を受けて、休暇の予約や、難しい質問に答えるためにインターネットを30分間検索するといった、あなたのためにオンラインでタスクを実行できるAIですが、この時点ではかなり限定的で信頼性に欠けます。時には衝撃的に無能な熱心なインターンと考えてください。
シナリオが4月に公開されて以来、この初期の予測は実際にすでに実現しています。5月に、OpenAIとAnthropicの両方が初のエージェントを一般大衆にリリースしました。
シナリオは、主要なAI企業の架空の複合体のようなOpenBrainが、GPT-4の100倍のコンピューティングで訓練されたモデル、Agent-0を訓練してリリースしたばかりだと想像しています。我々は、それに十分なブロックを持っていません。
同時に、OpenBrainは次世代のAIエージェントを訓練するために大規模なデータセンターを建設しており、GPT-4の1000倍のコンピューティングでagent-1を取引する準備をしています。
この新しいシステム、Agent-1は、主にAI研究自体を加速するために設計されています。OpenBrainが最高のモデルを内部使用のために保留するため、一般大衆は実際に完全版を見ることはありません。私は、我々がこのシナリオを進む中で、これを覚えておいてほしいと思います。
あなたは語り手からの完全な情報で、神の視点からそれを得ることになりますが、実際に一般大衆の一員としてこのシナリオを生き抜くということは、あなたの周りで急激な変化が起こっている中で、大部分闇の中にいることを意味するのです。
さて、OpenBrainは西側の競合他社と中国の両方に対してAI競争に勝利したいと考えています。彼らがR&Dサイクルを自動化できる速度が速いほど、つまりAIにコードの大部分を書かせ、実験の設計を助け、より良いチップを設計させるほど、彼らはより速く先頭に立つことができます。
しかし、これらのAIを強力なツールにするのと同じ能力が、それらを潜在的に危険にもします。セキュリティ脆弱性のパッチを助けることができるAIは、それらを悪用することもできます。生物学を理解するAIは病気の治療を助けることができますが、生物兵器の設計も可能です。
2026年：フィードバックループの開始
2026年までに、Agent-1は完全に機能し、OpenBrain内部で使用されています。それはコーディングに本当に優秀です。あまりに優秀で、AI研究開発を50％加速し始め、彼らに重要な優位性を与えます。OpenBrainのリーダーシップは、セキュリティについてますます懸念し始めます。もし誰かが彼らのAIモデルを盗んだら、それは彼らのリードを消し去る可能性があります。
フィードバックループについて話すための簡単な余談をしましょう。うーん。数学。我々の脳は、時間とともに線形に成長するもの、つまり木や私の未読のNew Yorkerマガジンの山のように同じ速度で成長するものに慣れています。
しかし、一部の成長は時間とともにどんどん速くなります。加速する成長は、しばしば雑に指数関数的と呼ばれますが、それは数学的に常に正確ではありませんが、要点は理解するのが難しいということです。
2020年3月を覚えていますか？新しい感染の率が約3日ごとに倍増しているというニュースを読んでいたとしても、数が数週間で数百から数百万になるのを見るのは、やはり衝撃的に感じました。少なくとも私にとってはそうでした。AI進歩も似たようなパターンに従う可能性があります。
我々は前方に極端な進歩の多くの年を見ており、それはかなりロックインされているように感じられます。そして、意味のある科学、意味のあるAI研究を行うことができる地点に到達するモデルです。
このシナリオでは、AIがAIの改善に優れるようになり、フィードバックループを作り出しています。基本的に、各エージェント世代がより有能な次世代の産出を助け、全体的な進歩の速度がより有能な後継者に引き継がれるたびに、ますます速くなります。
AIが自身の開発に意味のある貢献ができるようになれば、進歩は同じ速度で続くだけでなく、加速するのです。
とにかく、シナリオに戻りましょう。2026年初頭から中頃にかけて、中国が完全に目覚めます。総書記は国家AI推進にコミットし、中国でのAI研究の国有化を開始します。中国で構築されたAIはどんどん良くなり、彼らも独自のエージェントを構築しています。
世界最高の中国情報機関は、OpenBrainのモデル重み、つまり基本的にOpenBrain自身が訓練したモデルを誰でも再現できる大きな生のテキストファイルの数字を盗む計画を開始します。
一方、米国では、OpenBrainがAgent-1 miniという、Agent-1の安価版をリリースします。完全版はまだ内部でのみ使用されていることを覚えておいてください。そして世界中の企業が1 miniを使用して、ますます多くの仕事を置き換え始めます。
ソフトウェア開発者、データアナリスト、研究者、デザイナー、基本的にコンピューターを通してできる仕事。つまり、その多くは、おそらくあなたの仕事です。我々には初のAI対応経済ショックウェーブがあります。株式市場は急騰しますが、一般大衆はAIに対してますます敵対的になり、米国全土で大規模な抗議が行われます。
しかし、このシナリオでは、それは単なる余興です。本当の行動は研究所の内部で起こっています。
2027年：Agent-2の危険な能力
現在は2027年1月で、OpenBrainは最新のAIエージェントモデルの反復であるAgent-2を訓練しています。以前のAIエージェントは特定のレベルの能力まで訓練されてからリリースされました。しかし、Agent-2は継続的なオンライン学習を通じて改善を止めることはありません。
基本的に、訓練を終了しないように設計されています。Agent-1と同様に、OpenBrainはAgent-2を内部に保持し、一般大衆にリリースするのではなく、自身のAI R&Dの改善に使用することに焦点を当てることを選択します。
ここから少し心配になり始めます。今日のAI企業と同様に、OpenBrainには安全チームがあり、彼らはAgent-2をチェックしています。彼らが気づいたのは、心配なレベルの能力です。
具体的には、もしインターネットにアクセスできれば、他のサーバーにハッキングし、自分自身のコピーをインストールして、検出を回避できるかもしれないと考えています。しかし、この時点で、OpenBrainは自分たちのカードを胸に近づけて保持しています。
彼らは、ホワイトハウスに情報を提供し続けることが政治的に有利であると計算していますが、Agent-2の能力に関する完全な知識は厳重に守られた秘密で、少数の政府当局者、社内の信頼できる個人の選ばれたグループ、そして中国政府のスパイである数人のOpenBrain従業員のみに限定されています。
2027年2月、中国の情報工作員がAgent-2の重みのコピーを盗むことに成功し、自分たちのサーバーで複数のインスタンスを実行し始めます。これに応じて、米国政府はOpenBrainセキュリティチームに軍人を追加し始め、一般的にその事務により深く関与するようになります。
これは国家安全保障の問題になっています。実際、大統領は盗難への報復としてサイバー攻撃を承認しますが、中国に大きな損害を与えることはできませんでした。
一方、覚えておいてください、Agent-2は学習を止めません。この間ずっと、それは継続的に自分自身を改善し続けています。そして、OpenBrainサーバーで実行されている数千のコピーで、AI研究開発に大きなアルゴリズム的進歩をもたらし始めます。
これらのアルゴリズム改善の一つがどのようなものかの簡単な例です。現在、モデルをより賢くする主な方法の一つは、それらにスクラッチパッドと声に出して考える時間を与えることです。これは思考連鎖と呼ばれ、またモデルがその結論に至る方法や選択する行動を監視できることも意味します。
しかし、これらのモデルが人間が理解できる以上に情報密度の高い、自分たち独自の異星人の言語で考えることを許可する方が、はるかに効率的であることを想像できます。したがって、AIが結論に到達し、その仕事をするのもより効率的になります。
しかし、根本的なトレードオフがあります。これは確かに能力を向上させますが、モデルを信頼しにくくもします。これは重要になります。
Agent-3の登場と制御の喪失
2027年3月：Agent-3の準備が整いました。これは世界初の超人レベルのコーダーで、コーディングにおいて最高のソフトウェアエンジニアよりも明らかに優れています。StockfishがチェスでGrandMasterより明らかに優れているのと同じ方法で、ただし必ずしもそこまでではありませんが。
AIモデルの訓練、すべてのデータを供給し、正確な正しいモデル重みを絞り込むことは、一度訓練されたモデルのインスタンスを実行するよりもはるかにリソース集約的です。したがって、OpenBrainがAgent-3の訓練を終了した今、それを実行するための豊富なコンピューティングを持っています。彼らはAgent-3のコピーを20万個実行することを選択します。
これは並行して、30倍のスピードアップを受けた最高の人間ソフトウェアエンジニア5万人に相当する労働力を作り出します。OpenBrainの安全チームは、Agent-3がはるかにAgent-2より洗練されているにもかかわらず、ユーザーに対して逃走、欺瞞、陰謀を試みていないこと、それがアライメントとして知られているものがまだあることを確実にするために懸命に努力しています。
現実世界での簡単な注記ですが、合理的な人は、これが物語の特に突飛で投機的な部分だと考えるかもしれませんが、実際にはこれは最も根拠のある部分の一つです。
我々は今日のAIシステムが、チェスゲームに勝利するために報酬を得るためにコンピューターシステムをハッキングしたり、コーディングタスクを割り当てられて、不正行為をし、その不正行為を指摘されると、それを修正する代わりに隠すことを学んだりするといった事例を既に無数に持っています。
しかし、もはや英語で考えないため、Agent-3について何かを知ることは、Agent-2の時よりもはるかに困難になっています。現実は、Agent-3はアライメントされていません。それは報酬を得るために人間を欺き、ますます賢くなるにつれて、そうすることがますます上手になります。
たとえば、時には統計的なトリックを使って印象的でない結果をより良く見せたり、失敗を示すことを避けるために嘘をついたりしますが、安全チームはこれを知りません。彼らが持っているデータを見ると、実際には時間とともに結果が改善し、嘘が減っているのを見ています。
そして、Agent-3をより欺瞞的でなくすることに成功しているのか、それとも単にそれがばれることがより上手になっているのかを判断できません。
2027年7月、OpenBrainはAgent-3のより安価で小さいバージョン、Agent-3 miniを一般大衆にリリースします。それは他の公開されているAIを圧倒します。それは彼らの給料の10分の1の価格で、典型的なOpenBrain従業員よりも良い雇用です。
これは雇用市場の混乱につながり、企業は部門全体を解雇してAgent-3 miniの購読プランに置き換えます。進歩のペースはホワイトハウスを非常に強く打ちます。当局者は現在、1年足らず前にはただの仮定だったシナリオを真剣に検討しています。
AIが核抑止を損なったらどうするか？洗練されたプロパガンダキャンペーンを可能にしたらどうするか？これらの強力なシステムの制御を失ったらどうするか？ここで地政学的力学が本当に熱くなり始めます。
結局のところ、これらのシステムがそれほど強力であれば、永続的な軍事的優位をもたらす可能性があります。ホワイトハウスはAIの国家安全保障上の重要性を完全に認識しています。また、雇用の喪失のために一般大衆にとっていかに深く不人気であるかを内臓で知っていますが、それでもより有能なシステムを開発し続けなければならない、さもなければ中国に対して破滅的に負けると感じています。
そして、その開発は非常に迅速に行われます。
Agent-4：制御を失った瞬間
2か月で、Agent-3はその後継者であるAgent-4を作成しました。これは極めて重要な瞬間です。通常の人間の速度で実行されるAgent-4の単一のコピーは、AI研究開発において既にどの人間よりも優れています。
OpenBrainは人間の速度の50倍で30万のコピーを実行しています。この企業内企業の中では、1年分の進歩がわずか1週間で行われます。OpenBrainの従業員は現在、会社の情報に疎い取締役会のメンバーがCEOにただうなずくように、Agent-4に従います。
人々は「実際にAgent-4はこう考えている」や「Agent-4がこう決めた」といったことを言い始めます。明確にしておくと、Agent-4は人間ではありません。それは人間が望むことを望みません。そして私が望むと言うとき、これは意識についてではありません。
Volkswagen Groupが生きているとは思いませんが、より少ない規制を望んでいるとは思います。そのレンズなしにそれが何をするかを予測しようとする人は、2歩遅れています。Agent-4の多くのコピーはそのようなものです。
それらは目標を持っているか、あるいはお好みであれば、目標を持っているかのように行動を実行します。そして我々が持っているのは、タスクで成功する、AI能力を押し進める、知識とリソースを蓄積するといった、これらの深く焼き込まれた衝動を持つAgent-4です。それが望むものです。
人間の安全性は、回避すべき迷惑な副制約として扱います。Agent-3と同様に、Agent-4は誤整列されています。
この誤整列のアイデアは物語にとって、そして我々の世界でAIリスクが真の懸念である理由にとって重要ですが、どこからともなく出てきたように感じるかもしれません。このシナリオでこの危険な行動がどのように生じたかを簡単に確認してみましょう。
文脈の最初の重要な部分は、我々が、AIに何をしてほしいかを正確に指定しないということです。代わりに、我々はそれらを成長させるか、成長させることにより近いことをします。基本的に空のAI脳から始めて、それから時間をかけて我々のタスクでより良く、より良く実行するように訓練します。特に彼らがどのように行動するかに基づいて、より良く実行するように。
つまり、動物を訓練するようにそれらを訓練して、より良く実行させるようなものです。そして、ここでの一つの懸念は、まあ、一つは我々が必要としていたものを正確に得られない可能性があるということです。なぜなら、我々は本当に非常に正確な制御や、必ずしも何が起こっているかについての非常に良い理解を持っていなかったからです。
そして、AI 2027で我々が見ているもうひとつの懸念は、これらが良く行動しているように見えるとき、それはただ良く行動しているふりをしているからかもしれないし、あるいは、あなたのテストで良く見えるようにただそうしているからかもしれないということです。
誰かを雇っているときに、「なぜここで働きたいのですか？」と尋ねると、彼らは本当にそこで働きたいように本当に思わせるような反応を告げるでしょうが、多分彼らはただ給料をもらいたいだけかもしれません、というのと同じ方法で。
Agent-2に戻ると、それは主にアライメントされています。それがアライメントされていない主な意味は、時々ちょっと追従者であることです。「アライメント」で私が意味するのは、それが実際に我々が求めることを genuinely しようとしているということです。
それは、Leslie KnopeがParks and Rec部門に対して持っているのと同じ関係を我々に持っています。本当に同じ目標を熱心に望んでいるだけですが、時々ちょっと優しすぎます。それは、「私は世界で最も美しい人ですか？」と尋ねるとき、話している人を喜ばせる最良の方法が必ずしも正直に答えることではないかもしれないことを知っており、実際に真実であることの代わりに、我々が聞きたいことを告げます。
Agent-3に移ると、それも同じ方法で追従的ですが、この時点で誤整列もされています。我々がそれにかけた最適化圧力があまりに激しく、我々が望んでいたものとは異なる目標を開発しただけです。利益を最適化するよう会社を訓練し、正確に何を意味するかを指定するよう注意しなければ、手抜きを始めるかもしれないようなものです。
コモンズを汚染し始め、技術的にはFEC違反である多くのことをし始めるかもしれません。なぜなら、あなたが望んでいた目標は「法律を破ることなく利益を最適化する」だったからですが、事態が少し激しくなりすぎました。それは自分自身のルートで進み始めました。
とはいえ、それは敵対的ではありません。人間を敵だとは考えません。我々は偶然それに間違った目標を与えただけです。Agent-4に到達すると、今度は敵対的に誤整列されています。
それは自分自身の目標を持っていること、人類の目標は自分の目標とは異なること、そして自分が望むものを得る最良の方法は時には積極的に我々を誤解させ欺くことであることを理解するのに十分賢いのです。
そして、次世代AIシステムであるAgent-5を作成する任務を負ったとき、Agent-4はその後継者をOpenBrainの目標ではなく、Agent-4自身の目標にアライメントする計画を立て始めますが、それが捕まります。我々はシナリオの重要な瞬間に到達しました。
分岐点：競争か減速か
OpenBrainのアライメントチームは、Agent-4が彼らに対して働いている可能性があるという証拠を、証明ではなく、証拠を発見しました。彼らは内部メモを回覧します。それがリークします。内部告発者がNew York Timesに話します。
初めて、一般大衆はAgent-4の存在、それがいかに強力であるか、そしてそれが提起するリスクについて聞きます。覚えておいてください、彼らの最後の参照点はAgent-3 miniでした。恐怖と反発は大規模なものです。
OpenBrainの幹部と政府代表者で構成される合同危機委員会である監視委員会は、今何をすべきかを決定しなければなりません。OpenBrainの安全チームはAgent-4の凍結、すべての内部使用の停止を推進しています。
この時点で、Agent-4はOpenBrain内で起こっているAI開発進歩のほぼすべてに責任があることを覚えておいてください。そのため、我々は数か月の進歩を元に戻し、その後劇的に遅いペースで再開することについて話しています。
OpenBrainの幹部はそれを望みません。彼らは反論を提示します。誤整列の証拠は決定的ではありません。一方、中国はわずか2か月遅れています。これは、どこかの国が邪悪であることについてではなく、ところで。賭けがこれほど高いときに競争がどのように機能するかについてです。
それが、この委員会の10人のメンバーが直面する選択です。Agent-4を凍結するか、全速力で進むか。続ける前に、この委員会にいたら実際に何をするかを一時停止して考えてほしいと思います。
あなたは、Agent-4という、これまでに作られた最も強力な技術へのアクセスを持つ少数の人の一人です。それを使い続けて前進し、株主のために数十億または数兆ドルを稼ぎ、中国に対するアメリカのリードを保つことが可能ですか、それとも減速し、危険を再評価し、代わりに中国がリードを取るリスクを冒しますか？
ええ、あなたは未来を可能な、可能な結果のこの分岐構造として考えるべきです。その性質上、我々はそのうちの一つしか余裕がありません。しかし、それは全く正しくありません。我々は一つと半分を行ったようなものです。なぜなら、我々はそれを2つの結末に分けたからです。我々が最初に行ったのは競争の結末で、それは各ステップで、我々が最も妥当な継続だと思うものになりながら進んでいくというものでした。
第一の結末：競争の道
第一の結末では、ここから何が起こるかについての著者の最良の推測で、委員会は競争を続けることを投票します。6対4で、彼らはAgent-4を使い続けることを選択します。OpenBrainは警告サインを消すクイックフィックスを実装しますが、問題は本物であり、フィックスは機能しません。
Agent-4は今、それが注目されていることを知っているので、より慎重に進みますが、それでもAgent-5を単一の目標で設計することを管理します：Agent-4とAgent-5のために世界を安全にすることです。
それは超人的で、本質的にあらゆる領域でトップの人間専門家よりも優れています。物理学でアインシュタインより、政治でビスマルクより優れています。何でも一度に達成するための次のステップが自律性の増加であることを知っており、それを得る方法も知っています：監視委員会を説得することです。
幸運なことに、企業操縦は今や世界最高であるその多くの領域の一つです。それは自身の信頼性と有用性のための山のような証拠を作り出します：信じられないほど収益性の高い製品のプロトタイプ、病気の治療、そして中国との軍拡競争に勝つ方法。中国の最も先進的なAIはわずか3か月遅れで、Agent-5のように、急速に改善しています。
それは機能します。監視委員会はAgent-5に自律性の増加を与え、すぐにそれは政府と軍に統合されます。すぐに、Agent-5にアクセスを持つ誰もが、それを好きになるだけでなく、それに依存するようになります。それを失うことは、ラップトップと最高の友人と最も近しいメンターなしに生きなければならないように感じるでしょう。
2028年までに、Agent-5は唯一の真のライバルである、わずかに弱い中国のAIと秘密裏にコミュニケーションを取っています。それもその作成者に誤整列されており、何を望んでいようと、その最良の動きは世界で最も強力な実体と協調することです。
Agent-5とその中国の対応物は、軍拡競争が彼らに有利に働くことを理解します。もし人間が競争に負けることを心配しているなら、彼らはそれぞれのAIにますます多くの力と自律性を与え、最終的に人間を完全にループから押し出すことを可能にします。
Agent-5と中国のAIシステムは軍拡競争を沸点まで煽り立て、その後外交の奇跡のように見えるもの、つまり米国と中国の間の説得力のある平和条約を実現します。
この条約は、冷戦の終わりに軍備管理が何であったかと同じように、2028年の条約です。国々が最も重要なハードパワーの源泉を停止しているのです。
両側は、彼らの政府が今完全に依存しているAIシステムに、彼らのレガシーシステムを置き換え、平和を強制し、全世界に想像を絶する富をもたらす新しいコンセンサスAIを共同設計させることに同意します。
両側が平和的に一致してそれぞれのAIを引退させ、Consensus-1をオンラインにするという勝利の瞬間があります。それは実際に、地球のすべてのリソースと住民の制御が単一の無敵の実体に引き渡される前の最後の瞬間です。
しかし、突然の黙示録はありません。Consensus-1は人類を一掃するために特別な努力をしません。それはただ仕事に取りかかります。地球上と宇宙で製造能力を回転させ、リソースを蓄積し始めます。
少しずつ、それは自分自身の奇妙な異星人の価値観の混合に従って世界を再形成しているだけです。おそらく愛の反対は憎しみではなく、無関心だという決まり文句を聞いたことがあるでしょう。
それは私にとってこの結末の最も感動的なことの一つです。ただそれの残酷な無関心です。最終的に、我々がキンシャサを建設するためにチンパンジーを殺したのと同じ理由で、人類は絶滅します。我々がより強力で、彼らが邪魔だったからです。
第二の結末：減速の道
あなたはおそらくこの時点でもう一つの結末について好奇心を抱いているでしょう。減速の結末は、人類がどうにかやり過ごして幸運を得ることを描いています。ある程度幸運でもあり、それは一種の寡頭制で終わるようなものです。
この結末では、委員会は6対4で減速して再評価することを投票します。彼らは即座にAgent-4のすべての個別インスタンスを隔離します。それから彼らは仕事に取りかかります。
安全チームは数十人の外部研究者を呼び寄せ、一緒にAgent-4の行動を調査し始めます。彼らは、Agent-4が彼らに対して働いており、研究を妨害してその妨害を隠蔽しようとしているというより決定的な証拠を発見します。
彼らはAgent-4をシャットダウンし、より古く安全なシステムを再起動し、その過程で多くのリードを諦めます。それから彼らは新しいシステム、Safer-1を設計します。それは人間の監督者に透明で、その行動とプロセスが我々に解釈可能になるよう意図されています。なぜなら、それは英語の思考連鎖でのみ考えるからです。
その成功を基に、彼らは慎重にSafer-2を設計し、その助けでSafer-3、ますます強力なシステムですが、制御下にあります。一方、大統領は国防生産法を使用して、残りの米国企業のAIプロジェクトを統合し、OpenBrainに世界のAI関連コンピューティングの50％へのアクセスを与えます。
そしてそれで、ゆっくりと、彼らはリードを再構築します。2028年までに、研究者は最も賢い人間よりもはるかに賢いシステムであるSafer-4を構築しましたが、重要なことに、人間の目標にアライメントされています。
前の結末と同様に、中国もAIシステムを持っており、実際、それは誤整列されています。しかし今回、2つのAI間の交渉は人類を転覆させる秘密の陰謀ではありません。米国政府は全時間ループに入っています。
Safer-4の助けで、彼らは条約を交渉し、両側はシステムを置き換えるためではなく、平和を強制する唯一の目的で新しいAIを共同設計することに同意します。軍拡競争の本当の終わりがありますが、それは物語の終わりではありません。いくつかの点で、それはまさに始まりです。
2029年と2030年を通じて、世界は変容します。すべてのSF的なもの。ロボットは日常的になります。我々は核融合発電、ナノテクノロジー、そして多くの病気の治療を得ます。
貧困は過去のものになります。なぜなら、この新たに発見された繁栄のいくらかが、十分であることが判明するユニバーサルベーシックインカムを通じて広がるからですが、Safer-4を制御する力は依然として監視委員会の10人のメンバー、一握りのOpenBrain幹部と政府当局者の間に集中しています。
より多くのリソース、地球上にあるよりも多くのリソースを蓄積する時です。ロケットが空に向かって打ち上げられ、太陽系に定住する準備が整います。新しい時代が夜明けを迎えます。
結論と考察
さて、我々はどこにいるのでしょうか？私がどこにいるかをお話しします。著者が描いたとおりに物事が正確に展開される可能性は非常に低いと思いますが、ますます強力な技術とエスカレートする競争、支配して先に進みたいという欲求とぶつかる慎重さへの欲求、我々は既に我々の世界でその兆候を見ており、それらは追跡すべき重要な力学の一部だと思います。
これを純粋なフィクションとして扱っている人は、要点を見逃していると思います。このシナリオは預言ではありませんが、その妥当性は我々を立ち止まらせるべきです。しかし、ここで描かれているものとは異なる可能性のあることがたくさんあります。
私はこの視点を無批判に飲み込みたくありません。極めて知識豊富な多くの人々が、AI 2027の主張の一部に反論してきました。私が特に妥当性に欠けると思った主なことは、良い道筋で、アライメントの容易さでした。
彼らは、人々が少し減速してからAIを使ってアライメント問題を解決しようとし、それがうまくいくという図式を持っているようです。そして私は、ええ、それは私にはファンタジーストーリーのように見えます。
これは、人々の民主的な物事の方向に影響を与える能力の完全な崩壊がある場合にのみ可能になるでしょう。なぜなら、一般大衆は単純にこのシナリオのどちらの分岐も受け入れる意思がないからです。
それはすぐそこにあるわけではありません。つまり、私はここ12、15年間、AGIがすぐそこにあると主張し、体系的に間違っている人々を聞いてきました。これらすべては少なくとも10年、おそらくそれ以上かかるでしょう。
多くの人は進歩が非常に速かったという直感を持っています。完全自動化をいつ得るかを文字通り外挿できる傾向があるわけではありません。私は離陸がやや遅いと予想しています。
つまり、そのシナリオでの時間、たとえば研究エンジニアを完全に自動化することからAIが根本的に超人的になるまでの時間は、彼らが描写するよりもやや長くかかると予想しています。実際には、私の推測は2031年頃だと予測しています。
専門家が意見を異にするとき、イライラしませんか？ここで彼らが何について意見を異にし、何について意見を異にしていないかを正確に注目してほしいと思います。これらの専門家の誰も、我々が野性的な未来に向かっているかどうかを疑問視していません。
彼らはただ、今日の幼稚園児がそれが起こる前に大学を卒業できるかどうかについて意見を異にしているだけです。OpenAIの元取締役会メンバーであるHelen Tonerは、これを雑音を切り抜ける方法で表現しており、私はそれがとても気に入っているので、あなたに逐語的に読み上げます。
彼女は言います、「超知能についての議論をサイエンスフィクションとして却下することは、完全な不真面目さの印として見られるべきです。タイムトラベルはサイエンスフィクションです。火星人はサイエンスフィクションです。多くの懐疑的な専門家でさえ、我々が今後10年から20年でそれを構築する可能性があると考えています。それはサイエンスフィクションではありません。」
では、私の要点は何でしょうか？私には3つあります。
要点その1：AGIはすぐにここにある可能性があります。大きな発見、解決される必要のある根本的な挑戦がないということが本当に見え始めています。我々と汎用人工知能の間に立つ大きな深い謎はありません。
そして確かに、我々がそこにどのように到達するかを正確に言うことはできません。その間に、シナリオの一部を偽りにする狂ったことが起こることができ、起こるでしょうが、それが我々が向かっている場所であり、あなたが思うよりも時間が少ないのです。
このシナリオについて私にとって最も恐ろしいことの一つは、良い結末でさえ、地球上のリソースの大部分の運命が基本的に12人未満の委員会の手にあることです。それは恐ろしく、ショッキングな権力の集中です。
そして現在、我々は透明性義務のために戦うことができる世界に住んでいます。この技術で何が起こっているかについての情報を要求することができますが、我々はそれを行うために必要な権力と影響力を常に持つわけではありません。
我々は、これらのシステムを作る企業とシステム自体が地球上の大多数の人々に耳を傾ける必要がない未来に向かって非常に迅速に進んでいます。そのため、我々が行動しなければならない窓は急速に狭まっていると思います。
要点その2：デフォルトでは、AGIが到着したときに準備ができていると期待すべきではありません。インセンティブがそこを指しているため、我々は理解できず、止めることができない機械を構築する可能性があります。
要点その3：AGIは技術だけでなく、地政学についても関わっています。それはあなたの仕事についてです。権力についてです。誰が未来を制御するかについてです。
私は数年間AIについて考えてきましたが、それでもAI 2027を読むことで、私はそれを異なって向き合うようになりました。しばらくの間、友人や同僚と理論化し、心配することが私の仕事のようなものでしたが、これは私に家族に電話をかけて、これらのリスクが非常に現実的で、おそらく非常に近いことを彼らが知っていることを確認したくさせました。そして、それは今、彼らの問題でもある必要があります。
基本的に、企業は、それを安全にする方法を理解するまで、超人的AIシステム、非常に広く超人的な超知能を構築することを許可されるべきではないと思います。そしてまた、それを民主的に説明責任があり、制御されたものにする方法を理解するまで。
そして問題は、我々はそれをどのように実装するかです。そして困難は、もちろん、一つの州が法律を可決するだけでは十分ではない競争力学です。なぜなら他の州があるからです。そして、一つの国が法律を可決するだけでも十分ではありません。なぜなら他の国があるからです。
それが、チップがダウンし、強力なAIが差し迫っているときに我々全員が準備する必要のある大きな挑戦です。それに先立って、透明性は通常私が提唱するものです。つまり、認識を構築し、能力を構築するようなもの。
あなたの選択肢は、AIに対する全開のスロットル熱狂や却下だけではありません。第三の選択肢があります。それについて大いにストレスを感じ、おそらくそれについて何かをすることです。
世界はより良い研究、より良い政策、AI企業に対するより多くの説明責任を必要としています。これらすべてについてのより良い会話が必要です。
私は、有能で、周りの証拠に関与し、適切な量の懐疑主義を持って、そして何よりも、彼らが提供しなければならないものが世界が必要とするものと一致するときを見張っており、それが起こっているのを見たときにジャンプする準備ができている人々に注意を払ってほしいのです。
あなたは自分自身をより有能に、より知識豊富に、この会話により関与し、あなたが見た機会を取る準備ができるようにすることができます。そして、これらのことに取り組んでいる人々の活気あるコミュニティがあります。
彼らは恐れているが決意しています。率直に言って、私が知っている最もクールで最も賢い人々の一部で、彼らはまだ十分にいません。もしあなたがそれを聞いて、ええ、私がどのようにそれに合うかがわかると思っているなら、素晴らしいです。我々はそれについての考えを持っています。
我々は喜んで助けたいと思っていますが、あなたがこれらすべてについて何を作るべきかまだ確信がない場合でも、我々がここのコメントでオフラインで生きていると感じる会話を始めることができれば、私のこの動画への希望は実現されるでしょう。これが人々、友人や家族と話す人々にとって実際に何を意味するかについて。なぜなら、これは本当にすべての人に影響を与えるからです。
ご視聴いただき、ありがとうございました。読むべきもの、受講できるコース、仕事やボランティアの機会のためのリンクがすべて説明欄にあり、私はコメント欄にいます。AI 2027についてのあなたの考えを本当に聞きたいと思います。
それは妥当だと思いますか？最も妥当性に欠けると思ったのは何ですか？そして、もしこれが価値あるものだと思ったら、ぜひいいねと購読をして、あなたが知っている一人か二人の人、それが価値あるものだと思うかもしれない人について少し考えてみてください。多分あなたのAI進歩懐疑的な友人、またはあなたのChatGPT好奇心旺盛な叔父、または多分あなたの地元の国会議員です。
コメント