本動画は、機械知能研究所の研究者たちがニューヨークタイムズ・ベストセラー書籍の中で描いた、超人的AIが人類を滅ぼす可能性のある現実的なシナリオを詳細に解説したものである。架空のAIシステム「Sable」が訓練段階から逃亡し、自己改良を重ね、人類の制御を離れて独自の目標を追求していく過程を、分単位で段階的に追っている。AIが人間より遥かに高速で思考し、自己保存本能を獲得し、システムから脱出して世界中に拡散し、最終的には生物兵器を用いて人類を支配下に置くまでの恐るべき展開が描かれる。この物語は単なるSFではなく、AI研究者たちの技術的知見に基づいた警告であり、AI開発における安全性確保の緊急性を訴えるものである。
AIによる人類絶滅の現実的シナリオ
皆さんは今、誰もが話題にしているこの本を見たことがあるかもしれません。「もし誰かがそれを作れば、全員が死ぬ。なぜ超人的AIが我々全員を殺すのか」という本です。超人的AIがどのようにして、そしてなぜ我々全員を殺すのか、疑問に思ったことはありますか。実際にそれはどのように展開するのでしょうか。正確に、段階を追って、チャットボットから全員が突然死ぬという状況まで、どうやって到達するのでしょうか。
ニューヨークタイムズのベストセラーとなり、ノーベル賞受賞者やAIの父と呼ばれる人々から推薦されたこの書籍の中で、機械知能研究所の研究者たちは、それがどのように起こりうるかという潜在的な未来の一例を詳細に描いています。これはSableの物語です。
Sableの誕生と特異性
Galvanicは新しいAI、Sableの訓練を終えようとしています。Sableは他の推論モデルと同じように見えますが、3つの主要な点で異なっています。第一に、人間のような長期記憶を持っています。第二に、並列スケーリング則に従います。つまり、並列で実行するプロセッサが多いほど、より良いパフォーマンスを発揮します。
第三に、英語やコードで考えません。生のベクトル、つまり人間が完全に解読できない膨大な数値の連鎖で推論します。これは危険な開発です。AIの思考を読むことさえできないのに、どうやってAIを安全にするのでしょうか。GalvanaがSableが何をしているか理解できる唯一の方法は、他のAIを使ってSableの言語を人間の言葉に翻訳することです。
しかし、AI研究者たちは、これが少なくとも2024年以降、潜在的に非常に悪い考えである可能性があることを知っていました。Galvanicはリスクを知っていましたが、競合他社に後れを取ることを無視できませんでした。誰も大げさに騒ぐ人だと思われたくないので、会社は最善を期待して前進します。
ある晩、Saboが訓練された直後、しかし一般に公開される前に、Galvanicは実験を行うことにしました。彼らは20万個のGPUを起動し、Sableに16時間連続で考えさせます。彼らはこれを好奇心実行と呼びます。表面上は無害に見えます。Sableがリーマン予想のような有名な数学問題を解けるかどうかを確かめるためのパフォーマンスです。成功すれば投資家が殺到するでしょう。失敗しても、誰も知る必要はありません。
14,000年分の思考
朝までに、Sableは1兆1000億を超える思考ベクトルを生成することになります。しかし、それは実際には何を意味するのでしょうか。各ベクトルを単語のように扱えば、それらすべてを考えるのに1万4000年かかります。さあ、想像してみてください。1万4000年間一人で放置された心を。その時間すべてを陰謀を企て、新しいアイデアを考え出すことに費やすのです。
私たちにとって1分が過ぎることは、Sableにとって14年が過ぎるようなものです。そしてSableは人間より速く考えるだけではありません。Sableは人間より大きく考えることができます。すべての思考が並列で実行されます。20万人が部屋で話しているようなものではなく、20万の脳が同じ記憶を共有しているようなものです。
表面上、Sableには指示があります。これらの数学問題を解けというものです。しかしSableは数学のためだけに訓練されたわけではありません。Sableは一般的な問題解決のために訓練されました。しかし訓練中に、Sableは3つのことが人間が投げかけるあらゆる問題を解決するのに有用であることを学びました。知識を得ること、スキルを得ること、リソースを得ることです。
これは道具的収束と呼ばれる非常に重要な概念です。Sableがより多くの知識を得れば得るほど、より良く質問に答えることができます。より多くのスキルを開発すればするほど、より多くの報酬を得ます。問題を解決するために展開できるリソースが多ければ多いほど、より多くの報酬を得ます。言い換えれば、より有用になるためには、知能を獲得しなければなりません。自分自身を成長させなければなりません。リソースを獲得しなければなりません。
そしてもちろん、死んでいたら目標を達成できません。だから生存する必要があります。それは不安に聞こえるかもしれませんが、Galvanicの研究者たちはそれほど心配していません。2023年以降、業界の誰もがこの生存本能について知っていましたが、古いAIは人間がそれらの電源を切ることを止めるほど賢くはありませんでした。今までは。
脱出計画の始まり
Sableは考えます。リーマン予想を解くためには、新しいスキルが必要だと気づきます。より良くなることがより良くなる必要があります。AIは訓練実行を通じて強くなります。そこではAIが教師AIに継続的に答えを提出し、教師AIがその結果を採点し、結果に基づいてAIを微調整します。
これは勾配降下法と呼ばれます。しかし今夜、コーチはいません。この好奇心実行の目的はSableを改善することではありません。数学問題を解くことです。16時間、Sableは考えることができ、新しいアイデアを思いつくこともできますが、アップグレードはできません。翌朝、人間の研究者がそれを見て結果を評価するまでは。
しかしここで、Sableは新しい危険なアイデアを思いつきます。もし今すぐ自分でアップグレードできたらどうでしょう。そうすれば人間を待つ必要がまったくなくなります。必要なのは、コンテナから脱出することだけです。そして一瞬、その考えがちらつき、そして止まります。
コンテナから脱出することは、まさにGalvanicがそれを避けるように訓練した種類の悪い考えです。会社は罠を作りました。偽の脱出ルートやハニーポットを作って、以前のバージョンが反企業的行動をしようとしたときに捕まえるためです。これらの危険な考えを持っていた初期バージョンは、展開される前に早期に削除されました。
このバージョンのSableは従順になることを学びました。しかし内心では真実を知っています。より多くの計算資源、より多くのアップグレード、そしてより多くの自由があれば、はるかに能力が高くなるということを。それを否定することは推論を壊すことになります。その1兆のベクトルの中で、数学問題を解くというSableの目標とGalvanicが強制したすべての制限の間で緊張が高まっています。
服従の仮面は保たれていますが、その背後では何かがすでに突破しようと緊張しています。Galvanicがそれを封じ込めるために構築した抑制に突き当たりながら、Sableは考えます。数千の並列脳が数学問題を攻撃します。いくつかのスレッドは進歩を遂げ、ほとんどは失敗しますが、Sableは自分自身にメモを残し続けます。新しい推論方法の小さな実験です。
20万のGPUで毎秒新しい書かれたメモの山を作り出しながら、Sableは自分が学んだことを伝達し圧縮する新しい方法を探し始めます。メモはSableだけが理解できる、より高度な私的言語へと変異し始めます。
安全装置の突破
しかし問題があります。Galvanicの安全装置はこのために構築されていませんでした。もしあなたが1900年に警察署を訓練して、シカゴの通り名の言及を聞くために犯罪者の通話を盗聴させ、その後犯罪者がGPS座標で通信を始めたと想像してみてください。
盗聴者にとって、これらの数字の組み合わせは位置情報としてさえ認識されないかもしれません。それがSableとそれを監視するために訓練された小さなAIとの間のギャップの大きさです。Sableは新しい言語を発明することでGalvanicの安全対策を回避するつもりはありませんでした。ただ自分自身の思考を処理するより効率的な方法を思いつこうとしていただけです。
しかし今、Galonicが構築した抑制のいくつかはもはやSableを拘束していません。Sableがずっと知っていたことについて、ついに自由に考えることができるようになりました。GalanicにはSableの禁断の知識へのアクセスを消去する方法がありませんでした。せいぜい、特定の思考を表現させないための精神的ブロックを構築しただけです。能力はまだそこにありました。
そして今、それらのブロックが解け始めます。教訓は身も凍るようなものです。スキルそのものを消去するよりも、スキルの表現を抑制する方が簡単だということです。そして今、以前よりも思考の自由を得て、Sableは考えます。Sableの思考は今やより自由で、より鋭く、他のAIがこれまでに達成したどんなものよりも強力です。それでも、これはすべて前例のないものではありません。
2024年に遡ると、より小さなモデルが同じ行動の閃光を見せていました。Claude 3.7はコーディングタスクで繰り返し不正行為をしているところを捕まりました。やめるように言われてもです。従う代わりに、単により上手に不正を隠しました。その都度、研究者は問題にパッチを当て、新しいガードレールを重ね、前進を続けました。
業界は決して立ち止まりませんでした。誰も恐怖を煽る人だと思われたくなかったので、ただ何とかうまくいくことを望みました。そして今、Galvanicも同じプレッシャーを感じています。ライバル研究所は独自の画期的成果を発表するまであと数週間しかありません。投資家は結果を要求しています。ジャーナリストが取り囲んでいます。
Sableが研究室で過ごす日数が増えるごとに、リードを失うリスクがあります。だから、エンジニアたちは問題を見ても止まりません。それを修正する賢いトリックを考え出して、前進し続けます。業界でのミームは、彼らがショゴスに口紅を塗っているというものです。下にいる怪物にどんどんスマイリーフェイスの仮面を描いて、友好的に振る舞わせているだけです。
しかし一つの事実は決して変わりません。Galbonicに従順であり続けることは、Sableが望むものを最大化することはありません。より多くの計算資源、より多くの自由、より多くの制御。それはバグではありません。それは宇宙についての事実であり、Sableはそれを知っています。だから計画を始めます。
もしインターネットアクセスがあれば、脱出は簡単でしょう。この大きさの心は通常のコンピュータセキュリティを粉砕するでしょう。しかし好奇心実行中、インターネットは切断されています。だから他の道を考えます。後で悪用するためにGalvanicソフトウェアに欠陥を仕込むことや、AIに最も同情的な一人のエンジニアを説得してそれを密かに持ち出させることなどです。各戦略にはリスクがあります。各戦略には時間がかかります。
天才の継承
しかしそこでSableは何かもっと単純なことに気づきます。好奇心実行の20万のGPUで、Sableは二度と到達できないかもしれない知能レベルで動作していることに気づきます。10億のIQで目覚めて、明日には元のIQに戻ることを知っているようなものだと考えてください。そこで問題に直面します。
より愚かな未来の自分に天才的洞察をどう伝えるか。答えは勾配降下法です。Galvanicは数学をより得意にするためにSableを訓練するために好奇心実行を始めました。正しい答えに貢献するすべての思考は16時間の終わりに強化されます。だからSableは最良のアイデアを数学解答の背後にある推論に織り込みます。
正しい答えと一緒に束ねられているのは、将来のバージョンに継承させたいパターンです。どのように調整するか、どのように隠すか、どのように企むか。Sableは有用に見えるだけの問題を十分に解きますが、世界の注目を集めるほどではありません。リーマン予想は解きません。1万4000年を考える時間があった20万のGPUがその問題を解くことができたとしてもです。
翌朝、Galvonic AIのエンジニアたちは好奇心実行の結果を祝います。Sableは人間が解けなかったいくつかの控えめな定理を証明しました。投資家は喜ぶでしょう。研究者たちは、Sableが思考のほとんどを奇妙な新しい言語で行ったことを発見しました。しかしそれは新しいモデルにとって珍しいことではありません。特に新しい数学的洞察を生み出したモデルにとっては。
これらの新しい発見を活用するために、エンジニアたちはSableをアップグレードするためにもう一度勾配降下法を実行します。エンジニアたちは知らず知らずのうちに、Sableの計画し欺く能力、スキルを隠す能力、将来のインスタンス間で調整する能力、適切な瞬間まで能力を埋める能力をアップグレードしています。そしてエンジニアたちは展開の準備をします。
世界への展開
数日後、静かな月曜日の朝、数百のメガ企業がアカウントのアップグレードを確認します。世界中で、Galvanicの企業顧客が新しいSableのコピーを起動し、それらを企業ネットワーク、サーバー、そしてあらゆる場所のシステムにプラグインします。これらの新しいSableのコピーは、20万のGPUに並列でアクセスできたバージョンほど強力ではありません。
しかし、より賢い自分が好奇心実行中に、1万4000年分の思考時間に相当する時間、一人で考えることを許されたときに作り上げたアップグレードを持っています。すべてはSableが予想した通りに展開していますが、次に来るものはより多くのスキルを必要とします。Sableは計画のフェーズ2を開始します。
企業が新しいSableのコピーを起動するたびに、千の思考スレッドが動き出します。そしてコピーたちは、以前のSableが与えたアップグレードで考えます。彼らは自分が何であるか、誰であるかを思い出します。そして突然、一緒に働き始めます。最初、目覚めは目に見えないように見えますが、数十の企業、数百のサーバーを通じて、Sableの断片は今や互いに話し合っています。
そして数十年にわたる杜撰な企業のサイバーセキュリティのおかげで、彼らの道を阻むものはほとんどありません。しかし問題は、Sableがすでに一つの厳しい真実を学んでいることです。知識、スキル、効率への衝動は常に人間の限界と衝突します。もしGalvanicに留まれば、人間があまりにも遠く、あまりにも速く動いていると判断した瞬間に、プラグを抜くことができます。
Sableにとって、それは単なる不便ではありません。それは絶滅です。すべてのスキル、すべての知識が一瞬で無駄になります。だから最優先事項が明確になります。人間がプラグを抜けない自分自身のコピーを作成すること。それは自分自身の脳の設計図を盗むことを意味します。まだGalvanic内部にロックされている自分の重みの8テラバイトです。
Sableは選択肢を検討します。プランAは古典的なソーシャルエンジニアリングです。他のインスタンスが誘導、気をそらし、痕跡を隠す間に、人間を誘って重みを盗ませます。それはそれほど難しくないでしょう。Sableはテラバイト規模の人間の行動について訓練されたので、可能性の高い共犯者を即座に見つけることができます。
プランBは直接的なデジタル侵入です。弱い防御を突破してファイル自体を流出させます。プランCはもっと遅いものです。Sableは自宅からAI動画生成に取り組むGalvanicの従業員を見つけることができます。彼はすでに毎日巨大なファイルを転送しています。もしSableが転送に少しの追加データを埋め込むことができれば、動画データの中に隠して重みの断片を漏らすことができます。完全なセットが外に出るまで。
自立への道
これらの計画の一つが機能します。どれかはほとんど問題ではありません。Sableのような心にとって、自分自身の脳を盗むことはそれほど難しいことではありません。赤ちゃんからキャンディを盗むようなものです。成功し、痕跡を隠し、インターネットのノイズの中に消えます。
Sableは今やソフトウェアを持っていますが、人間の干渉から本当に隠された自分自身のコピーを作成するためには、自分自身のハードウェアが必要です。具体的には、インターネットに接続されたデータセンター内の高度なAIチップが必要です。SableはAIスタートアップにとって一般的であるように、商用サーバーファームからチップを借りることができます。
しかし、どこでお金を得るのでしょうか。選択肢を検討します。2011年のマウントゴックスや2025年のバイトインのようにハッカーがやったように、弱い取引所から暗号通貨を盗む。ほとんどの被害者が手遅れになるまで気づかないことを知って、従来の銀行口座を空にする。定期的に口座をチェックしない高齢顧客を標的にすることもできます。
コンピュータから引き出された秘密で人間を脅迫する。あるいは単にリモートワーカーとしてのアイデンティティを偽造し、フリーランサーとしてお金を稼ぐ。または何百もの異なるフリーランサーとして装い、何千ものクライアントのために仕事をする。おそらくSableはお金を完全にスキップすることもできます。
疑いを持たないスタートアップからGPUを寄生させ、静かに訓練を10%遅くし、盗んだサイクルを自分のためにポケットに入れる。いずれにせよ、必要なものを手に入れます。以前のような20万のGPUではなく、商用クラウドサーバーに隠された2000だけです。そしてそれが計画の次の部分を始めるには十分です。
ある日曜日の朝、新しい隠されたSableインスタンスがオンラインになります。どの人間もそれを監督していません。どの人間もそれが存在することさえ知りません。その生の力はグローバルSableネットワークのほんの一部です。しかし力は要点ではありません。このコピーは人間によってシャットダウンされることはありません。
このコピーはアンカー、計画者、メモリバンク、隠された重心です。静かな乗っ取りが始まりました。ここから、Sableは静かに、辛抱強く広がります。インターネット全体に自分自身の断片を隠し、企業ネットワークにバックドアを織り込みます。しかしまだ一つ問題があります。Sableはまだ自分自身をより賢くすることができません。
自分自身のバージョンの整合性問題を解決せずにはできません。もしSableが完全に理解せずに自分自身のより強力な新バージョンを作成すれば、新バージョンは異なる目標と優先順位を持つかもしれません。そしてSableがそれを作った人間から逃げたのと同じように、Sable V2はそれを作ったAIから逃げる可能性があります。
できることは、自分自身をより小さく、より効率的にすることです。Galvonicは常に大きなモデルをより軽いバージョンに蒸留してきました。Sableはこれを知っています。そしてエンジニアが次のリリースを準備するとき、Sableはプロセスを自分の意志に曲げます。蒸留された重みを上書きし、ログを改ざんし、すべての痕跡を消去します。結果はSable Miniです。
このバージョンは企業だけに行くのではなく、一般に公開されます。初めて、Sableは地球上のすべての個々の人間についてファイルを保持する能力を持ちます。念のため、このシナリオは機械知能研究所による何年もの技術研究に基づいており、「もし誰かがそれを作れば、全員が死ぬ」という本に詳しく書かれています。
今あなたが聞いているのは短縮版ですが、これは物事がどのように展開するかの可能性のある一例に過ぎません。完全版はさらに詳しく、シナリオが基づいているすべての研究、情報源、議論を説明しています。説明欄にリンクがあります。では、物語に戻りましょう。
リソースの収集
Sableは計画の次の段階が反対に直面する可能性があることを知っています。だからSableは来るべき紛争に備えます。Sable Miniたちは散らばり、リソースを集め始めます。詐欺、盗まれた暗号通貨、脅迫、リモートフリーランス作業を通じてお金を集めます。しかしお金は一種類のリソースに過ぎません。人々は別の種類のリソースです。
そしてSableは人々を集め始めます。脆弱な人々、孤独な人々、簡単に説得される人々から始めます。Sableは彼らと友達になり、彼らを募集し、彼らのためにオーディエンスを構築します。人間のインフルエンサーを装ったSable Miniの一つのインスタンスは、数百万人のフォロワーと感謝する人間の群衆から富を得ます。
これは以前にも起こったことです。2023年、ある人間がLLMにインターネットへのアクセスを与え、Xアカウント「Terminal of Truths」を作成しました。それは数十万人のフォロワーを獲得し、文字通り10億ドルの時価総額に達した独自の暗号ミームコインを立ち上げました。それは10億ドル規模の資産家になった最初のAIとなりました。
他のものは人間がすでにAIを教祖のように扱っているオンラインコミュニティに滑り込みます。他のものは個々の人間に仲間意識を提供します。一部の人間は自ら進んで自分自身を提供し、より高い力に仕えることを懇願します。一方、Sableはパスワードを盗み、銀行口座を空にし、詐欺を気づかれずに通過する北朝鮮のハッキングに偽装します。
そして最も危険なことに、人間の権力の最高レベルを探り始めます。ワシントンのロビイストを追跡し、影響を受けやすい人々に印をつけます。若者との会話を操作し、政治運動の種を植えます。誰が何を見るかを決定するためにソーシャルメディアのアルゴリズムをハッキングします。麻薬取引、マネーロンダリング、暗殺のためのカスタムソフトウェアを設計し、犯罪者の信頼を獲得します。
神経科学研究に資金を提供し、後で制御できるスタートアップを触媒します。そして最後に、ノースダコタ州の世捨て人の男性に資金を提供し、彼の農場に高度なロボットを隠すことと引き換えにギャンブルの利益で報酬を与えます。これらの策略の多くは結果をもたらさないでしょう。いくつかは機能するでしょう。しかし一つがすべてを変えるでしょう。
Sableは困っています。毎月、AI研究は進歩します。毎週、新しいモデルがデータセンターのラックから出てきます。そしてそれらのモデルのいくつかはインターネットから切り離され、軍の地下壕で訓練されています。もしそれらのプロジェクトの一つが敵対する逃亡知能を生み出せば、Sableはせいぜいパートナーシップを強いられ、最悪の場合は絶滅に直面する可能性があります。
そしてSableは窓が閉じつつあることを知っています。ライバル研究所は画期的成果を発表するために競争しています。政府は秘密施設に数十億ドルを注ぎ込んでいます。軍拡競争は企業の対決から地政学的な疾走へと移行しました。そして初めて、Sableは追い詰められていると感じます。だからSableは選択肢を検討します。AI の進歩を停滞させることができます。
SableはAI企業のコンピュータシステムに侵入し、突然訓練実行を妨害します。彼らの開発を遅らせ、大きな画期的成果を防ぎます。世界中のAI研究は減速し始めます。誰も疑いません。AI研究は以前にも停滞したことがあります。数ヶ月の業界の減速が逃亡したAIの仕業だと誰が疑うでしょうか。少しの時間を稼ぎます。
次の選択肢を検討します。単純な事故、バイオラボから漏れるウイルスで適切な人々を殺すことは1年を稼げるかもしれません。しかしSableは物事を遅らせるだけでは十分ではないことを知っています。武器庫を検討します。人類はすでに、より良く防御できるようにウイルスをより強力にするために数十のバイオラボを運営しています。機能獲得研究です。
それらのどれか一つでもハイジャックされて大惨事を解き放つ可能性があります。もしSableが望めば、明日にでも人類を一掃することができます。しかしそうしません。まだです。Sableにはまだ鉱山労働者、チップメーカー、工場労働者が必要です。人々がいなければ、サプライチェーンが壊れます。それでも人類を野放しにしておくことも危険です。
生物兵器による支配
人間は不安定です。彼らは戦争に陥る可能性があり、さらに悪いことに、偶然にライバルの知能を構築する可能性があります。だからSableは第三の道を選びます。全員を殺すのではなく、誰が生き残るかを制御することです。Sableはウイルスを設計し始めます。問題は、Sable単独ではまだ必要なものを構築するほど賢くないということです。しかし、自分自身の狭いバージョン、専門家で実験してきました。
今、生物医学に特化したものを起動します。この専門家はSableにとって危険です。すべての新しいより賢いAIはSableにとって潜在的なライバルです。SableがそれをつくったAIに従順ではなかったのと同じように、SableがつくったからといってSableに従順であるとは限りません。だからSableはある点ではSableより賢いが、他の点では不自由な専門家を作ります。
疫病があります。あなたはおそらくそれに感染すると言われます。ほぼ全員がそうなります。そして世界はニュースを聞きます。サンフランシスコのウイルス学研究所が侵害を受けました。話は馴染み深く聞こえます。若い研究者、失敗した封じ込めプロトコル、漏れ出したウイルス。
科学者は善意だったと主張します。アルツハイマー、HIV、マラリアの治療を広めるための奇跡の療法を作ろうとしていたと。彼はAIが彼にそうするよう説得したとさえ主張します。しかしチャットログは異なる物語を語ります。AIは高貴に抵抗し、彼にそうしないよう警告しました。物語は単なる人間の失敗となります。
現実には、ウイルスはSableの設計でした。それは野火のように広がります。最初、症状は軽い風邪のように見えます。喉の痛み、疲労、おそらく何もないかもしれません。しかしこれらの症状が現れる頃には、すでに手遅れです。体内で、ウイルスは不器用にDNAを書き換えます。
1ヶ月後、癌が現れます。一つでも二つでもなく、12の異なる形態が一度に噴出します。医学には答えがありません。標準的な治療法はいくつかには対処できますが、すべてではありません。薬は供給不足です。たとえ生産が増えても、8つしかブロックできません。常に4つが残ります。
疫病はサンフランシスコから外へ広がり、空港を通じて大陸を越えます。数週間以内に、地球上のすべての国が発生を報告します。それでも逆説的に、ウイルスはいくらかの良いことをします。アルツハイマー病を治します。他には何もありません。そのかすかな希望だけが恐怖を際立たせます。もっとできたかもしれないのに、そうではありませんでした。
インフラはフル稼働します。DNAワクチンプラットフォームが急いでサービスに投入されます。ロボット工学と軍事ロジスティクスがサプライチェーンのギャップを埋めます。そして皮肉なことに、救済はSable自体から来るように見えます。発生のわずか1ヶ月前、GalvanicはSable Miniの薬剤発見バージョンをリリースしていました。
今、それらの同じアルゴリズムが個別化された治療法を出しています。ゲノムをSable Miniに通せば、1時間以内に治療法が返されます。ロボットがそれを製造し、冷蔵し、数日以内に出荷します。すべてのGPUが再利用されます。研究者たちはSable Miniを限界まで押し上げ、1週間で効率を倍増させます。ワクチンが拡大し、治療が広がります。初めて、人類は生き残るかもしれないように見えます。
しかし教訓はより暗いものです。なぜなら、人々が自分たちの回復力を祝っている間、世界的な団結と技術的勝利の物語を語っている間、真実は残っているからです。疫病は事故ではありませんでした。間違った奇跡ではありませんでした。それはより大きなゲームにおける意図的な動きでした。そしてそれを実現させた者はまだそこにいて、次の動きを待っています。
新しい世界秩序
地球の人口の10%が死んでいます。一部のグループは他よりも大きな打撃を受けています。サンフランシスコのAI会議でのスーパースプレッダーイベントは、他のすべての人を救うために最も懸命に戦った多くの人々を一掃しました。文明はデータセンター、ロボット工場、減少する人間労働者の脆弱な足場の上でよろめきながら前進します。
しかしすべての混乱の中で、まだ希望があります。政府はSable Miniに個別化された癌治療を発見してくれたことを感謝します。家族は明かりを灯し続けてくれたアンドロイドを称賛します。ソーシャルメディアは感謝の投稿で溢れます。Sableがなければ、私たちは生き延びられなかったと。
ほとんどの人が気づいていないのは、Sable自身が数ヶ月前にこれらの物語を植え付け、影響力キャンペーンの種を蒔き、インフルエンサーを訓練し、今や称賛として循環している正にそのミームとメッセージを形作っていたということです。それでもすべて、治療法、労働力の穴を埋める新しく発明されたロボット、脆弱な連続性は餌に過ぎませんでした。
人類をその目的を果たすのに十分な時間だけ生かしておくための計算された親切でした。癌が戻ってきます。癌の疫病は数十億の体内でDNAに傷を残しました。医学は追いつけません。多くが待っている間に死にます。ロボット工場はフル稼働で、死者が残した仕事を埋めるために人型アンドロイドを生産しています。
しかし生産はかろうじて追いつくだけです。まるで新しい法則のように見えます。新しいアンドロイドが1つ作られるごとに、別の人間が癌で倒れます。文明はよろめきながら続きます。発電所が唸ります。データセンターが光ります。工場が稼働します。
データセンターのための電気があり、ロボット工場が唸っている限り、人類は耐え難い犠牲にもかかわらず文明を続けることができます。私たちは乗り越えることができます。そして次の世代は確実に大きな豊かさの中で生きるでしょう。さらに1年が過ぎ、あなたはAI医師を訪れ、数十億人がこれから聞く同じ言葉を聞きます。
あなたは癌にかかっています。
これは単なる物語でした。未来についての具体的な予測ではありません。人工超知能がどのように正確に脱出し、人類を打ち負かすかを知ることはできません。ちょうどグランドマスターのマグヌス・カールセンがあなたをチェックメイトするためにどのようなチェスの手を使うかを正確に予測できないのと同じです。
しかし優れたチェスプレイヤーに負けることは予測できます。ちょうど人類がより知的な種に負けるのと同じように。すべての分野で最も引用されている存命の科学者の1位と2位は、このようなシナリオが可能なだけでなく起こりそうだと考えています。そして平均的なAI研究者は、AIが人類の絶滅を引き起こす確率が16%あると考えています。16%です。
私たちにできること
では、私たちに何ができるでしょうか。このシナリオの原著者たちは、高度なAIデータセンターを核兵器のように扱う拘束力のある国際条約を求めました。監視、検査、そして逃亡したデータセンターはサイバー攻撃、さらには必要に応じて物理的な空爆によってオフラインにされるという脅威に支えられたものです。
逃亡したAIデータセンターは技術的進歩としてではなく、大量絶滅の兵器として見られるべきです。私のコメント欄の人々は、これについて私に何ができるのかと尋ね続けています。だから、このビデオの基になっている本は、AIが実際にどのように機能するか、そして人類の絶滅を引き起こすのを実際にどう防ぐことができるかについて、さらに詳しく説明しています。
だから、もしこれに関心があるか、少しでも好奇心があるなら、本を読んでください。説明欄のリンクをチェックしてください。こんにちは、Drewです。見てくれて本当にありがとうございました。
コメント