AI開発の最前線に立つ世界的企業のCEOや億万長者たちが、自ら開発を急ぐAGI（汎用人工知能）に対してなぜ恐怖を抱いているのかを解説する。アライメント問題の解決の難しさ、開発企業間の終わりのない軍拡競争、数億人の雇用喪失とそれに伴う経済的崩壊の危機、そして制御不能な知能爆発のリスクなど、AI技術がもたらす現実的かつ破壊的な脅威の全貌を紐解く内容である。
ビリオネアたちがAGIを恐れる理由
過去12ヶ月の間、地球上で最も裕福で権力のある男たちが、同じような奇妙なことを言い始めました。サム・アルトマンは、AIが未来のすべての価値の光円錐を捉える可能性があると言いました。イーロン・マスクは、それは悪魔を召喚するようなものだと言っています。デミス・ハサビスは、これが人類最後の発明になるかもしれないと言いましたが、それでも彼らは可能な限り最速でそれを構築しています。そして彼らは公然とそれに恐怖を抱いています。では、どちらが本当なのでしょうか。AGIは人類史上最大の贈り物なのでしょうか、それとも私たちを終わらせるものなのでしょうか。今日は、AGIを構築しているビリオネアたちがなぜ恐怖を抱いているのかを探っていきます。
解決の糸口が見えないアライメント問題
さて、AIに関して最も大きな問題の一つでありながら、まだ十分に語られていないのがアライメント問題です。これはおそらく、じっくり考えてみるまでは抽象的に聞こえる危険性の、最も明確な例でしょう。現在活躍している中で最も尊敬されているAI科学者の一人であるスチュアート・ラッセルが、この問題を最も残酷な形で説明しています。もしあなたが超知能AIに、がんを治療するように指示したとします。それは単純な目標であり、間違いなく良いことです。ただし、がんを治療する最短の道は、同意なしに何百万人もの人間を使って実験を行うことかもしれません。あるいは、がんを発症する遺伝的素因が最も高い人口集団を排除することかもしれません。あなたはそのようなことをしろとは言っていません。あなたはそれを当然のことと想定し、言わずもがなのことだと思っていました。しかし、電源を入れる前に、言葉にされていない人間のあらゆる価値観をシステムにエンコードする方法を見つけ出さない限り、AGIはあなたの想定を共有してはくれません。そしてそれが悪夢なのです。なぜなら、私たちが与えるすべての指示には、決して書き留められることのない何千もの暗黙の前提が含まれているからです。人を傷つけないでください。その過程で経済を破壊しないでください。目標を達成するために私の感情を操作しないでください。やっていることについて私に嘘をつかないでください。あなたにとって効率的に見えても私たちがゾッとするような方法で手抜きをしないでください。方程式を書いている人間よりも賢いシステムを制御できるだけの数学的な厳密さへと、これらすべての狂気のような前提をどうやって変換するのでしょうか。まだ誰もこれを解決していません。解決には程遠い状態です。
安全性を求める離脱と終わらない開発競争
そしてこれこそが、Anthropicという会社が存在する理由そのものです。ダリオ・アモデイとダニエラ・アモデイは、フロンティアAIの開発において安全性が真の優先事項として扱われていないと考え、実際にOpenAIを去りました。初期のAIシステムを構築した男であるイリヤ・サツケヴァーが、Safe Superintelligence Inc.を立ち上げるために組織を離れたのもそのためです。地球上で最も強力なAIシステムの設計者たちが、安全性を研究するラボを作るために辞めていくとき、それを単なるドラマとして片付けることはできません。注意を払うべき出来事なのです。さて、ポッドキャストなどではあまり語られない次のポイントがあります。声に出して言ってしまうと、彼ら自身が物語の悪役のように聞こえてしまうからです。それは、これらテクノロジー企業のCEOたちが、AIが暴走することだけを恐れているわけではないということです。彼らは実は、お互いのことを恐れているのです。おわかりのように、誰であれ最初にAGIを構築した者は、単に市場や製品カテゴリーで勝つのではありません。彼らは潜在的にすべてにおいて勝利します。ゲーム全体、つまり地球上の絶対的にすべてのことにおいて、ただ勝つのです。24時間体制で同時に働き、決して眠らず、燃え尽き症候群にならず、株式を要求することもない、100万人もの天才レベルの研究者に相当する単一の組織を想像してみてください。彼らはチップのアーキテクチャを最適化し、新薬を発見し、地政学的戦略を練り、金融商品を設計し、プロパガンダを生成することを同時に行います。それはもはや企業ではありません。ほとんどの国民国家を合わせたよりも多くの認知的出力を持つ一つの実体なのです。サム・アルトマンは自身の名前で発表したエッセイの中で、AGIは資本主義を破壊する可能性があり、私たちが何世紀にもわたって築き上げてきた経済的権力構造は無傷では生き残れないだろうと文字通り書いています。OpenAIに対するイーロン・マスクの訴訟は、AGIをコントロールする単一の民間企業は文明に対する脅威であるという主張に部分的に基づいていました。それにもかかわらず、イーロン・マスクはGrokを構築し、サム・アルトマンはGPT-6やそれ以上のものを構築しています。彼らの誰もが、自分が恐れていると主張するまさにその単一の実体になろうと全力で走っているのです。この認知的不協和は驚くべきものですが、同時に完全に合理的でもあります。なぜなら、内部から見れば、一方的に立ち止まることは、誰か他の人が勝つことを意味するだけだからです。恐怖はAGIが存在するようになることではありません。恐怖は、他の誰かが先にそこにたどり着くことです。そして彼ら全員の心の中で、間違った人間というのは常に他の誰かなのです。
経済崩壊の予測とベーシックインカム
ここで、AGIが経済に何をもたらすかについて実際に話す必要があります。ここで問題が個人的なものになってくるからです。私がすでにお話ししたように、ゴールドマン・サックスは世界で3億人の仕事がAIによる自動化の脅威にさらされる可能性があるという調査結果を発表しました。そしてその数字は、現在の形での推論モデルが存在する前、つまりコンピューターを使い、ウェブを閲覧し、複数ステップのタスクを自律的に実行できるエージェンティック・システムが登場する前のものです。AIによる動画生成が今のような品質に達する前の話です。今日、その脅威は大幅に広がっています。そして、ほとんどの人が見落としている事実がここにあります。AGIは、私たちがすでに自動化について話している仕事で止まるわけではありません。トラックの運転手、倉庫の作業員、コールセンターのオペレーターに取って代わるだけではないのです。放射線科医に取って代わります。創薬を行っている企業の弁護士に取って代わります。若手のソフトウェアエンジニアに取って代わります。財務アナリスト、脚本家、マーケティング戦略家、そしてそう、私のような動画クリエイターにさえ取って代わるのです。人間の労働にはかけがえのない価値があるという近代経済の根本的な前提は、単一のシステムが人間よりも安く、速く、高品質にあらゆる認知タスクを実行できるようになると、単に崩壊してしまいます。そして、これらすべてのテクノロジーCEO、すべてのビリオネアたちは、このことを知っています。彼らにとってそれは本当の意味での推測ではありません。予測なのです。だからこそ、サム・アルトマンはWorldcoinに資金を注ぎ込み、ユニバーサルベーシックインカムのパイロット版を公然と提唱しているのです。だからこそ、イーロン・マスクはユニバーサルハイインカムについて話し続けているのです。人々はこれを利他主義や未来主義の枠組みで捉えようとしますが、そのどちらでもありません。これはリスク管理です。AGIがすべての経済的生産をトップに集中させ、富の再分配メカニズムが存在しない世界は、長くは安定を保てない世界です。彼らはすでに計算を終えています。ユニバーサルベーシックインカムの話は慈善事業ではありません。ビリオネアたちが、社会の爆発が自分たちの門前に到達する前に、それを事前解決しようとしているだけなのです。もしあなたが未来について心配しているなら、私のポストAGIフレームワークをダウンロードすることを忘れないでください。これは完全に無料の電子書籍で、私はたくさんの異なる研究論文を読み漁り、私たちが実際にそこに到達する前に皆さんがAGIの時代で成功できるように、財政をナビゲートし、キャリアの将来性を確保し、お金と生活を守るための基本的な7ステップのフレームワークを作りました。
眠れぬ夜をもたらす再帰的自己改善
さて、ここからが、研究者たちが本当に夜も眠れなくなる問題に入っていきます。それは再帰的自己改善と呼ばれるものです。これを一度理解すれば、少なくとも近い将来、AI開発について決して同じようには考えられなくなるでしょう。ご存知のように、ある時点でAIシステムは、自分自身の基盤となるコードとアーキテクチャを有意義に改善できるだけの十分な能力を持つようになります。すると、そのバージョンはわずかにより高い能力を持ち、自分自身を改善する能力もわずかに高くなります。そのため、システムは再び自己改善を行い、今回はさらに速くなります。そしてその次のバージョンはさらに速くそれを行います。反復するたびに複利で成長し、研究者たちはこの力学をハードテイクオフ、あるいは知能爆発と呼んでいます。そしてこのタイムラインの恐ろしいところは、およそ人間レベルから圧倒的な超人間レベルまでの窓口が、数十年単位で測られるものではないかもしれないということです。数ヶ月で測られるかもしれません。数週間で測られるかもしれません。いくつかの極端な理論的バージョンでは、数日や数時間になる可能性すらあります。ニック・ボストロムは2014年の著書の中で、このシナリオを詳細に提示しました。何年もの間、主流派の反応は、映画の見すぎな人たちが書いたSFだと呼んで一蹴することでした。しかし2026年に時間を早送りすると、フロンティアAIラボはすでに、次世代モデルの設計を支援するためにAIモデルを使用しています。フィードバックループは、すでに原始的な形で始まっているのです。もしテイクオフが緩やかなものであれば、人類には観察し、適応し、軌道修正する時間が十分にあります。制度は追いつくことができます。安全性研究もペースを維持できます。しかし、もしテイクオフが突然加速し、早くなってしまった場合、正解を導き出すためのチャンスは一度きりしかありません。数回のチャンスではなく、たった一度だけです。そしてビリオネアたちは恐怖しています。なぜなら、彼らのすべてのリソース、すべての研究者、そしてすべての計算能力をもってしても、彼ら自身も、彼らの安全性チームも、地球上のどの政府も、私たちがどのようなテイクオフに向かっているのか、誰一人として知る由もないからです。
ターミネーターではなく、人類による兵器化
ここで、私たちはターミネーターのことを本当に忘れるべきです。なぜならそれは実際の短期的な脅威ではありませんし、これまでもそうであったことはないからです。2026年以降の本当の悪夢のシナリオは、はるかに日常的で、はるかに恐ろしいものです。それは実際には、人間が他の人間に対する兵器としてAGIを使用することです。AIレベルの能力が攻撃的な文脈で何を意味するかを考えてみてください。地球上のあらゆるネットワークシステムをスキャンできる自律型サイバー兵器。ゼロデイ脆弱性をリアルタイムで特定し、人間の防衛チームが対応できるよりも速く攻撃を実行します。かつては国家レベルのリソースや専門エージェントのチームを必要とした生物兵器の設計が、ラップトップとシンプルなプロンプトに圧縮されて使用される可能性があります。あなたがこれまで見たこともないような規模での、パーソナライズされた偽情報。単なる一般的なプロパガンダではなく、各個人、各兵士、各株主の経歴、恐怖心、そして認知バイアスに合わせて特別に操作され、個別に調整された心理的操作です。現在、これらトップ企業すべてと、一握りの民間AIラボが、同時にこのAI競争に参加しています。AGI開発を管理する国際条約はありません。査察官も、検証されたコンプライアンスの枠組みもありません。結果を伴うレッドラインも存在しません。そして、研究者たちを夜も眠れなくさせるさらに深い恐怖は、相手側が先に安全性を切り捨てるかもしれないからという理由で、安全性が切り捨てられてしまうことです。それはまさに核兵器の備蓄を生み出したのと同じ論理です。軍拡競争の力学は、安全性を気にしません。誰が最初にそこに到達するかにしか関心がないのです。そしてAGIは今まさに、その力学の真っ只中で構築されようとしているのです。
コメント