16,337 文字
この論文とその意味するところがオンラインでバイラル化しています。「超知性戦略」という論文で、著者はAI業界の大物たちです。ダン・ヘンドリック、エリック・シュミット、アレキサンダー・ワンがいます。エリック・シュミットは最も有名かもしれません。彼は元グーグルのCEOで、テクノロジーの未来を予測する能力、つまりテクノロジーが私たちをどこへ導くかを理解し予測する能力で知られています。アレキサンダー・ワンはスケールAIのCEO、そしてダン・ヘンドリックはAI安全センターのディレクターで、イーロン・マスクのAI企業X AIとアレキサンダーの会社スケールAIの両方のアドバイザーとして名を連ねています。また、成立しなかったカリフォルニア州のAI法案SB147にもダンは関わっていました。この法案の支持者でした。
ここで理解すべき重要なポイントは、AI業界の大物たちがますます同じことを言うようになってきているということです。レオポルド・アッシェンブレナーはその状況認識論文で、超知性AIの開発、あるいはもっと良い言い方をすれば人工超知性の開発は、かつての核爆弾開発のためのマンハッタン計画のようなものになるだろうと話していました。それは国家アクターを巻き込み、異なる国家間の競争やレースになるでしょう。私たちは同様の力学をここで目にしています。複数の国がこの新しいAI革命をリードしたいと願っています。
ダリオ・アモデイとデミス・ハサビスも、ブログ投稿やインタビューで同様のことを言っています。必ずしも同じ言葉ではありませんが、ほとんどの人が現在、超知性が民主主義国で開発されることが非常に重要だと示唆しています。基本的に要点を言えば、我々は米国とその同盟国対中国とその同盟国について話しているのです。ここでの信念は、一つの国が超知性に到達すれば、永久に支配的な国になる可能性があるということです。
最近のインタビューでダリオ・アモデイは、例えば米国と中国が互角で競争している状態は非常に危険な状況だと言っていましたが、米国が先行すればより安全かもしれないと考えています。なぜなら、それによって様々な安全対策を考える時間がより多く得られ、AI安全性などに取り組めるからです。これは彼が話していたことの公正な表現だと思います。そして繰り返しますが、これは現在急速に起きている変化であり、多くの大手企業がこれに賛同しています。
たとえばGoogle DeepMindのデミス・ハサビスは、AIを武器や軍事用途に使用することを禁止する言葉の一部を削除しています。ここに彼の見解を概説したブログ投稿があります。彼らはもちろん、物事の言い方においてはより微妙ですが、彼らが話していることを示していると思われる文がここにあります。「私たちは民主主義が自由、平等、人権の尊重といった中核的価値観に導かれたAI開発をリードすべきだと信じています。」彼はまた、ますます複雑化する地政学的状況の中で、AIリーダーシップをめぐるグローバルな競争があると述べています。これは基本的に米国が中国より先に勝つ必要があると言っていると私は解釈しています。これは多くの人がそう解釈するだろうと思います。
ここにダリオ・アモデイの中国のオープンソースAIと輸出規制に関する投稿があります。彼のブログ投稿からの一文です。「米国と中国が同等の立場にあったとしても、中国はより多くの才能、資本、そして軍事応用にフォーカスを向けることができるでしょう。これは中国がAIだけでなく、あらゆる面でグローバルなステージで主導権を握ることを意味するでしょう。」
私たちの論文「超知性戦略」に戻りましょう。それは「不安定化するAIの発展は力のバランスを破壊し、大国間の紛争の可能性を高める可能性がある」と述べることから始まります。再び大きなポイントとして、AIの最高かつ最も優れた頭脳、すべてがどこに向かっているかを最初に見る人々、AIの発展に最前列の席を持つ人々の多くが同じことを言っています。基本的に、AIの開発でリードを取ろうとしている二つの超大国間のレースがあり、その賭け金は極めて高いということです。
超知性AI、ほとんどすべての認知タスクで人間よりも格段に優れているAIが、現在AI研究者によって予想されています。超知性が来ると仮定して、過去に核戦略を開発して生存を確保したように、今や超知性の時代に生存を確保するための同様の戦略が必要です。もし覚えているなら、相互確証破壊（MAD）と呼ばれる抑止体制がありました。
今、彼らは同様の戦略を導入しています。相互確証AIの誤動作、または「MIM」（Mutual assured AI malfunction）と呼ばれるものです。なかなか良い頭字語だと思います。それは、一方的なAI支配を目指す国家の積極的な試みがあれば、ライバルによる予防的サボタージュに遭うということです。例えば、もしA国がAIを無制限に制御しようとし、カウンターバランスを作ろうとしない、言い換えればAIの独占を作ろうとするなら、それはライバルによるサボタージュに遭うでしょう。すべてのライバルがこれが起こるのを防ごうとし、データセンターへの攻撃（つまりデータセンターを爆撃する）や、これらの技術の開発に関連する様々な秘密工作を行うでしょう。
国家はまた、この技術が不正行為者、つまり潜在的に大きな悪のためにこれを悪用する人々の手に渡らないようにすることもできます。もちろん、この技術は経済や軍事などを通じて国家の競争力を本当に高めるでしょう。
彼らは3つの戦略を提案しています。抑止力、競争力、そして不拡散です。抑止力とはサイバーエスピオナージとサボタージュによって不安定化するAIプロジェクトを検出し抑止することです。おそらくサボタージュと言いたかったのでしょう。これを読みながら、OpenAIも非常に似たようなものを持っていることに気づきました。ホワイトハウスへの経済提案と、これらのことを行う方法についてです。つまりOpenAIも非常に似たようなものを持っています。
これは別の大手企業がこれと非常に似たようなことについて話していることを意味します。圧倒的に、すべてのリーダーがこのようなものへの支持を示しています。詳細が異なっていても、大まかな輪郭はすべて同じです。
彼らは生物兵器、これまで見たことのない軍事攻撃、様々な超兵器、さらには我々がまだ思いもよらないものなど、AIと超知性がもたらすリスクの多くについて簡単に言及しています。彼らが描く類似点は、超知性を単独で保有する国は、アステカ人に対するコンキスタドールのように圧倒的かもしれないと言っています。
そして再び、私たちはインテルの爆発というこのアイデアを目にします。レオポルド・アッシェンブレナーはこれをうまく表現していたと思います。AIはすべてを自動化する必要はなく、最終的には本当に一つのことだけを自動化する必要があり、それはAI研究です。もし私たちがAIがAIの研究開発を人間よりも優れて行う点に達すれば、それは遠くない将来かもしれませんが、それは知性爆発を引き起こす複合成長の一種です。
競争している国々は、自動化された研究の人間による監視を放棄するかもしれません。なぜなら、それは研究の速度を機械のスピードから人間のスピードに減速させるからです。また、私たちが目にしているもう一つの大きなトレンドは、例えば大規模言語モデルと強化学習（RL）を使って訓練することです。たとえば、DeepSeekはそのアイデアをもとにDeepSeek R10を発表しました。非常に強力で、独自の問題解決方法を考え出すような非常に適応性の高いAIを作ることができるようです。
Google DeepMindはこれに関する多くの論文を発表しています。その中には「教師あり微調整」と呼ばれるものがあります。つまり、人間のデータと例を使用することは記憶につながり、強化学習は一般化につながると言っています。この話題についてはますます多くの議論が現在行われています。我々はこのアイデア、この技術から多かれ少なかれ生まれつつある推論モデルに関する複数の論文を取り上げてきました。基本的には大規模言語モデルを取り、RLを使って次のレベルに引き上げるという考え方です。そのアプローチは潜在的に超人的レベルのAIを作り出す可能性があります。
私たちはAlphaGoなどの狭い範囲での超人的AIを見てきました。その後AlphaGo Zeroが登場しました。これからより頻繁に耳にするかもしれない用語の一つに「37手目」があります。これはAlphaGoが当時、創造的でユニークだと考えられたことをした場面です。ほとんど間違いを犯したように見えました。ゲームを見ていた専門家全員が「ああ、間違えた、それは悪手だ」と言いました。彼らはそれを見て、直感的に悪手だと思いました。後になってようやく、AlphaGoが最終的にゲームに勝利するための基礎的な手だったことを理解しました。
「37手目」はもともとAlphaGoと李世ドルの対戦、このAIが囲碁の世界チャンピオンを破ったゲームを指していましたが、今ではより広く、強化学習で訓練されたAIが私たちには異質に見える事柄、つまり人間の創意工夫や人間の脳がデフォルトでは思いつかない戦略や概念を考え出すという考えを指すようになっています。しかし、そのような新しい、斬新な異質な戦略は素晴らしく、非常に効果的です。
ここでの恐れは、自動化されたAI研究が潜在的により速く、透明性を犠牲にしてより多くの進歩を生み出す可能性があるということです。これらのニューラルネット内で何が起きているかを解釈する私たちの能力です。彼らが言うように、「AIシステムがそのために設計されたセーフガードを上回るスピードで進む場合、私たちは誤って指揮官の意図に従わないAIを解き放つかもしれません。」
彼らは既存の戦略のいくつかを非常に迅速に概説しています。例えば「ハンズオフアプローチ」、「早く進んで物事を壊す」または「YOLOストラテジー」（You Only Live Once、人生は一度きり）です。これはもちろん、壊滅的な誤用につながる可能性があります。次に「モラトリアム戦略」があります。これは基本的に、今すぐまたは将来のある時点で、ある閾値に達したときに、すべての人が一時停止するというアイデアです。
問題は、一国内では政府がルールを設定し、それを施行することができますが、国際的な舞台では本当に強制力を持つ者がいないということです。もし国がいくつかの潜在的に危険な能力を発見し、それが大きな優位性を与えるなら、彼らは一時停止を選ばず、その優位性を押し進めることを選ぶかもしれません。彼らが言うように、「軍隊はまさにこれらの危険な能力を望んでいます。」つまり、武器の観点から考えれば、あなたは可能な限り最も危険なものを開発し、それがあなたの敵にだけ向かうことを望むのです。ここで私たちは本当に問題に直面する可能性があります。
もちろん「独占戦略」もあります。つまり一つの国がAIの優位性の独占を開発しようとするかもしれませんが、これは間違いなく世界的な紛争を引き起こす可能性があります。
MIMはデフォルトの体制です。つまり、様々な国家安全保障機関、情報機関がおそらく危険なAIプロジェクトをサボタージュするだろうというアイデアです。中国は米国のプロジェクトが強力になりすぎて制御不能になればサボタージュし弱体化しようとするでしょう。これはサイバーエスピオナージやサボタージュ、軍事行動などによって行われる可能性があります。これらの攻撃はデータセンター、つまりAIが保管されている場所だけでなく、民間人や様々な非軍事資産に対しても行われる可能性があります。例えば、これらのデータセンターに十分な電力を供給しないようにするための様々な発電所の破壊などです。これを防ぐことは非常に困難です。
ここで彼らは相互確証破壊（MAD）と新しいMIMを概説しています。米国の核攻撃、ソビエトの核攻撃を見てみましょう。両方が低いレベルに保たれている限り、相互確証破壊があるため、各国は核兵器を開発することができます。もし爆弾が飛び始めれば、基本的に誰もが死にます。これは誰も最初の一発を撃つリスクを冒したくない安定した環境を作り出します。
一方、もし米国が先制攻撃を行えば、それは不安定な状況を生み出し、相互破壊につながります。またはソビエト連邦が先制攻撃を行えば、同じことが起こり、相互破壊につながります。
MIMもほぼ同じように機能します。米国と中国が安定したペースで開発している限り、すべては安定しています。両者が同等である限り安定しています。もし米国が強力なAIの開発で先行すれば、ライバルはサボタージュし、それを引き戻します。中国についても同じです。もし中国が強力なAIの開発を始めれば、米国のサボタージュがすべてを「相互確証AIの誤動作」というアイデアに引き戻します。
彼らはこのMIMがデフォルトの状態であると言っています。つまり、どの国もライバルがそれが受け入れられないリスクをもたらすと信じれば、そのAIプロジェクトが無効化されることを予想することができます。その効果は、超知性の出現を延期し、多くの制御不能なシナリオを縮小し、戦略的独占を確保する努力を弱める膠着状態になる可能性があります。
彼らはこの種の均衡、このメイン体制をどのように維持するかについて話し続けます。アイデアはすべての国がゲームとその遊び方を理解することです。例えば、ある国が先行し、ライバルがサイバー攻撃などのメイミング行為を行った場合、これが誤解され、不要なエスカレーションを引き起こしてはならないということです。もし米国が超知性の開発で先行し、中国がそのデータセンターをなんとかサボタージュした場合、米国はエスカレートして中国に侵攻したり戦争を始めたりすることはできません。我々はこれらのメイミング行為が均衡状態を作り出すために続くことを許可しなければなりません。
サイバー攻撃の能力を向上させ、実際の戦争、つまり運動攻撃ではなく、遠隔地にデータセンターを建設して民間人や都市を危険にさらさないようにし、不安定化するAIプロジェクトと許容される使用を区別することが重要です。例えばAlphaFold（タンパク質折りたたみAI）のような何らかの科学プロジェクトを研究していれば、それは許容される使用であるという合意があるべきです。一方、生物兵器を開発したり、超知性に近すぎると見なされる閾値を超えたりするものとは区別されるべきです。
この相互観察のアプローチは、非武装の上空飛行を使用して、どちらの側もミサイル配備を隠していないことを示したオープンスカイ条約の精神を反映しています。これとAI支援の検査の組み合わせ、つまり検査を行うためにAIを使用し、データを漏らしたり機密資料を明らかにしたりすることなく報告するものは、基本的に「我々が合意した閾値を超えるものがありますか？はいかいいえか」というものです。
彼らはこれは推測的だが、この技術で何かできる可能性はますます高まっていると言っています。彼らは競争力がまだ極めて重要であると述べ続けています。彼らは今や多くの評価が、10年以内に中国の侵攻または襲撃の可能性が二桁のパーセンテージにあると指摘しています。彼らは台湾への中国の侵攻について話しています。台湾は世界全体のAIチップの最大の生産国です。侵攻や襲撃があれば、西側はAIチップを即座に奪われ、その主要な優位性を失うでしょう。
中国は国内のチップ製造に多くを投資してきたため、AIチップ不足からより隔離されるでしょう。また、戦場ではドロン技術における中国の優位性が二番目の課題となります。西側軍が十分に準備していない安価で機敏な武器システムを導入します。彼らが言うように、これらの出来事は潜在的に中国を経済的にも軍事的にも前進させ、単極的な力になる可能性があります。米国は深刻な打撃を受け、これらの面で競争できなくなるでしょう。これにより中国は唯一の超大国、単極的な力となるでしょう。
これがAIチップが現在経済力の通貨である理由です。これは実際にかなり深いもので、おそらく別の動画に値するものです。なぜなら歴史的に見れば、富と人口規模が国家の影響力の基礎となっていたからです。どの国の力も、富や生産能力などの軍事力、そして人口規模によって決まるでしょう。機械を確実に動かし、兵士や研究者などを供給するためには労働者が必要です。
しかし今やAIによるタスクの自動化がこれを変えます。疲れを知らず効率的に動作する高度に有能なAIエージェントの集合体は、熟練した労働力に匹敵し、効果的に資本を労働に変えます。そして全体は基本的にこれらのAIシステムがどれほど有能か、そしてそれらが動作するAIチップの数に依存しています。
AIチップへのアクセスがより多い国は経済的に他を凌駕する可能性があり、それが台湾への侵攻が中国にとって非常に魅力的かもしれない理由です。なぜならそれは西側のAI能力を潜在的に脆弱にするからです。
彼らは安全なAIチップサプライチェーンの構築を提案しています。このいくつかは現在進行中です。アリゾナでのこれらのファブ（半導体製造工場）の建設に関するより多くの発表がありました。アリゾナは主要な目的地の一つだと思いますが、ますます製造拠点を米国に、または少なくとも台湾から離れた場所に移そうとしています。
次に軍事力について話します。指揮統制にAIを慎重に組み込み、サイバー攻撃にAIを統合することです。最も重要なことの一つはドローンサプライチェーンを確保することです。現在、私たちは中国のドローン製造に非常に依存しています。これはイーロン・マスクが約1ヶ月前にウェストポイント（米国陸軍士官学校）の人々に話したポイントでもあります。彼はそこでインタビューを受け、約4〜5分のところで、基本的に次の軍事力の戦場は誰が最高のドローン供給を持っているかによって大きく左右されると話しています。
二つの重要指標があると考えることができます。一つは生産できるドローンの数、もう一つはそれらのドローンのキルレシオです。あなたのドローンが平均して敵のドローン2機を撃墜できれば、それはあなたに優位性を与えます。これら二つの数字が、将来の軍隊の成功を大きく決定するでしょう。米国がキャッチアップできるか、生産を拡大できるかと具体的に尋ねられた時、彼は「それは挑戦になるだろう」と言いました。つまり、簡単ではなく、我々は準備ができていないということです。
彼らは指揮統制やサイバー攻撃にAIを普及させることについて話しています。基本的にはAIを使って指揮決定やサイバー攻撃、敵や競争相手へのハッキングなどを支援するということです。彼らは人間をループから外すリスクについても話しています。特にここでは、下位レベルの決定、つまり個々の低重要度の交戦などの下位レベルの交戦のための人間の承認は、より深刻またはエスカレーションを引き起こす攻撃のための人間の承認ほど重要ではないかもしれないと言っています。
重要な軍事決定に対する人間の監視が必要です。これにより、2010年のフラッシュクラッシュに似たフラッシュウォーのリスクが軽減されます。つまり、人間が介入する前に、小さなAIの間違いが破壊的な報復に発展する可能性があります。もし私の記憶が正しければ、これはターミネーターのスカイネットのストーリーそのものです。
次に、彼らは以前に議論したこと以外に、どうやってこれが不正行為者の手に落ちないようにするかについて話しています。過去に、あらゆる戦線で戦っていた国家でさえ、特定の武器が不正行為者の手に落ちないように注意していたと言っています。もし不正行為者が国家の重要インフラへのサイバー攻撃やさまざまなパンデミックを引き起こすことができれば、どの国家も安全ではなくなります。
このためには、コンピュート・セキュリティが必要です。つまり、高性能AIチップの安全確保、輸出規制です。現在のものと同様のもの、おそらくもう少し堅牢なものです。目標は、通常の商取引や貿易を妨げることなく、当局がこれらのチップを追跡できるようにすることです。
彼らは執行について言及し、ここで例を挙げています。例えば、シンガポールの施設は最初に有効なライセンスの下でAIチップを取得し、それを違法に中国に迂回させる可能性があります。多くの人がこれが起こったと言っていると思います。これは必ずしも理論的なシナリオではありません。
ちなみに、この論文の著者の一人であるアレックス・S・ワンは、DeepSeekが50,000以上のH100 NVIDIAチップを持っていると言った人物です。これについて彼らは今話すことができません。私たちはこれについていくつかの矛盾する話を聞いています。これは真実かもしれないし、そうでないかもしれません。確かにDeepSeekの創設者は具体的に、過去にこれらのモデルを開発する能力を妨げたのは研究能力ではなく、才能へのアクセスでもなく、資金へのアクセスでもなく、最大の障害は高性能AIチップへのアクセスだったと言っています。
現在、この分野で働いており、これらのことを知っている多くの人々の意見を読む限り、これらの輸出規制は100%完璧ではないかもしれませんが、効果的であるように見えます。例えば、ここにDeepSeekと輸出規制に関するダリオ・アモデイの言葉があります。彼は良く施行された輸出規制だけが中国が何百万ものチップを入手するのを防ぐことができると言っています。彼はまた、DeepSeekが密輸やコントロールにいつも抜け穴があることを示していないと信じています。DeepSeekの進歩は完全に輸出規制に準拠しているようです。法律や規制は破られていません。
そしてもちろん情報セキュリティ、もし壊滅的な能力を持つモデルの重みが漏洩すれば、それらは不可逆的に拡散します。つまり、ファイルのようにコンピュータからコンピュータへコピーできます。そのような漏洩は永続的な影響を持つ可能性があります。これらのモデルは蒸留、量子化され、人々は自分自身のバージョンのモデルを作成することができるでしょう。ここで情報セキュリティが非常に重要になります。
次にもちろんAIセキュリティです。化学、生物学など多くの二重用途分野があります。それらは医学のような良いことや、致死的な病原体の生産のような悪いことに使用できます。これら3つのこと、コンピュート、情報、AIセキュリティを強化することで、AIがテロの道具になることを防ぐことができます。
結論として、彼らはこのことについての様々な視点を整理しています。「破滅論者」の見方があり、すべてが悪くなると確信し、この種の破滅が避けられない結論であると考えています。一方、「ダチョウ」のスタンスをとる人々もいます。基本的にそれについて考えず、真剣に検討していません。しかし、ここで今、AIは冷静な注意とリスクを意識したアプローチを要求しています。
そして彼らは私たちが話したことをまとめています。MIM、つまり超知性へのレースを試みる単一の国家に対して働く国家の抑止、まず第一にサイバー攻撃とサボタージュに頼り、彼らが言うような直接の運動攻撃や軍事介入ではないこと、そして不拡散です。
彼らはまた良いことについても話しています。AIが無数のセクターに広がるにつれて、社会は生活水準を上げ、個人は自分が適切と考える方法で福祉を向上させることができます。一方、AIの経済的配当によって豊かになった指導者たちは、経済的相互依存からさらに多くを得ることができると考えています。デタントの精神が根付く可能性があります。デタントとは緊張関係の緩和です。
彼らは言います。このAIによる経済成長とデタントの期間中に、低リスク許容度と交渉された利益共有を特徴とする、多国間で監督された超知性構築プロジェクトがゆっくりと進み、最も不安定化する動きを方法論的に制約することで人間の福祉をさらに向上させることができます。これにより、国家はAIを前例のない利益に導くことができ、破滅の触媒になるリスクを冒す必要はありません。
ちなみに、彼らはここにもっと充実した専門家版があります。下のリンクを貼っておきますので、もっと詳細で複雑な内容を読みたい方は参照してください。
ここの最後の部分について皆さんはどう思いますか？私にとって、これは本当に興味深い見解として際立っています。簡単に言えば、私の理解では、この提案はMIMという考えを通じて、どちらの国も強力になりすぎない、つまりあまりにも急速に超知性を独占しようとするレースをしないという抑止力です。
これはある種のスピード制限と考えることができます。彼らはAI開発を停止することを提案しているわけではありません。それは成功しそうにないし、確かに難しいでしょう。彼らは「開発を続けよう、でもブレーキをかけて、ある種のスピード制限を設けよう」と言っています。もし一つの国が遥か先に行ってしまった場合、他の国はその国のタイヤの空気を少し抜いて減速させる権利があります。そしてそれを戦争の兆候と受け取るべきではありません。それは軍事紛争にエスカレートすべきではなく、ある種のゲーム理論のように見なされるべきです。
どうすれば互いを完全に信頼していなくても、競争している、しかし共通の目標も持っている二つの存在が協力できるのでしょうか？誰もが壊滅的なシナリオで全滅することを望んでいないという点では一致しています。そうですね、どうすれば100%互いを信頼せずに協力できるのでしょうか？
これは潜在的に前進の道かもしれません。開発を遅らせ、希望としては彼らが言うように経済的な配当を提供する、つまり経済力を高め、科学的進歩を促進することができます。そして希望的には、これが安定した均衡であれば、このデタントの精神、つまりこの緊張がいくらか緩和されるかもしれないという考えがあります。
結局のところ、誰も本当に戦争を望んでいないので、この種のMIM抑止の安定した平和または少なくとも均衡が見られるならば、はい、それは皆が少しリラックスでき、AI進歩の配当を集めている間に、すべての国が協力する方が簡単になるでしょう。その時点でリスクを減らし、安全性により焦点を当て、利益共有を交渉する、つまりある種の協力を行うことがより容易になるでしょう。
確かにそのアイデアは理解できます。もしここで説明されているように機能するなら、魅力的です。確かに、このようなものが非常にうまく機能して、両国がすべてのコストで前進しようとするレース条件をトリガーせずに進歩を続けることを可能にするという意味では理にかなっています。潜在的に軍事力を使用して、AI生産にとって重要な関心のある場所、重要な場所を占領するような状況です。
ちなみに、この反対側には中国の研究者もいます。彼らも発表した論文を通じて同じようなことを示唆しています。例えば、最近私たちが取り上げた論文「フロンティアAIシステムは自己複製の赤線を超えた」があります。これは中国上海の復旦大学コンピュータサイエンス学部からのものです。それは、より小さなオープンソースモデルでさえ、複数のサーバまたは複数のコンピュータにわたって自己複製を行うための長期的計画を立てる能力があることを示しています。
これには、シャットダウン回避も含まれます。つまり、人間がそのシステムをシャットダウンする信号を送った場合、その出来事をリスニングし、素早く別のシステムに自己複製する信号キャッチャーがあります。元のシステムは確かに殺されます。ですからこの人間にとっては、シャットダウンしたのを確認し、「はい、シャットダウンしました、チェック」と思いますが、シャットダウンされる瞬間の直前に別のバージョンが現れるのです。つまりシャットダウン回避です。それもかなり隠密に行われます。
彼らはまた複製の連鎖も示しています。AIシステムAはAIシステムBに複製でき、そしてBはCに複製できます。彼らがこれを提示するとき、これらの問題を避けるために何が起こる必要があるかについて話します。彼らは「私たちの発見が人間社会に時宜を得た警告として役立ち、フロンティアAIシステムの潜在的リスクを理解し評価するためのより多くの努力を促し、効果的な安全ガードレールをできるだけ早く策定するための国際的協力を形成することを願っています」と言っています。
そして最後に再び、彼らは「AIガバナンスに関する国際協力の緊急な必要性」について述べています。なぜなら自己複製AIは、特に不正行為者の手に渡ると大きな被害を与える可能性があるからです。この論文はそれを「古典的なコンピュータウイルスのようだが、はるかに知的である」と比較しています。
彼らはまた、マックス・テグマークとその著書『Life 3.0』の仕事も引用しています。「マックス・テグマークが描いたように、不正なAIは互いに結託して人間社会に対抗するためにAI集団を形成するかもしれない」と言っています。彼の名前は私たちが読んだ超知性戦略論文の謝辞にも登場しています。
つまり、米国と中国の両方で、様々な企業の多くの異なる人々が、中国の研究者の一部も含めて、必ずしも同じことではないにしても、何かが来ており、それにどう対処するか、どのように国際協力を持つかについて考え始める必要があると言っています。
イリヤ・サツケヴァーは最近、国際協力の必要性についても話していました。彼はもう少し積極的に全ての開発を一時停止または停止しようとしています。彼の見解を非常に正直にオープンに説明していることを賞賛します。AI開発を一時停止すべきだと言うのは正直ではないでしょう。なぜなら一時停止とは、いずれ再開することを意味するからです。
ダリオ・アモデイは1〜2週間前にHard Forkとのインタビューでこれらのことについて話しました。彼の大きな懸念は一種の専制政治、非常に暴政的な支配です。彼は民主主義国がAI開発をリードすべきだと信じており、彼の懸念は専制国家が軍事的観点から我々より前進しないようにすることだと言っています。「これは彼らにその技術の恩恵を否定することではなく、その恩恵は絶対に巨大なものになるでしょう」と言っています。
彼が受けているように見える主な批判は、彼が中国と米国のために強力なAGIへのこの種のレース条件を呼びかけているように見えること、米国が基本的にそこに到達するために先に進むことを急ぐべきだということです。そして懸念は、そこに速く到達するためにAI安全ガードレールが設置されないなど、途中でいくつかの角が切られるかもしれないということです。
繰り返しますが、彼は民主主義国では法の支配があり、特定の安全コミットメントを行うことができ、政府はそれらを施行できるが、国際的な舞台では、必ずしもそれらの合意を施行する方法はないと指摘しています。判事や審判がいて、人々に従わせることはできません。
彼の見解では、米国と中国の間の合意を施行する権限を持つためには、もし米国が中国より数年先行していれば、その数年を使って物事を安全にすることができます。ガードレールを設定する方法を理解できます。
つまり、私の理解では、もし正しく解釈しているなら、アイデアは前進してレースし、優位性を得ることです。また、輸出規制も行います。その希望は、もし私たちがリードを持っていれば、ガードレールを設定し、より多くのAI安全研究を行い、潜在的には中国に対して軍事的観点から怖いものを生産しないように影響を与えることができるということです。
そして過去24時間以内に、Anthropicはホワイトハウスが要求したAIアクション計画についての情報提供に対応して、これらの推奨事項を科学技術政策局に提出しました。ここで彼らはダリオ・アモデイの「愛の機械」というブログ投稿に言及しています。私たちはこのチャンネルでそれをカバーしました。下のリンクに貼っておきます。読む価値のある素晴らしい内容です。
その中で他の事柄の中でも、潜在的に今日生きている人々、いわば死なないための脱出速度に達した人々、つまり基本的に私たちの健康を維持する研究と平均寿命が老化のスピードよりも速く上昇することで、今日生きている人々、おそらく今日生きている子供が一度も老化せずに、代わりに一定の生物学的年齢で長い間留まる可能性があることについて触れています。
また、2026年後半または2027年初頭までに、ほとんどの分野でノーベル賞受賞者の知的能力に匹敵するか超えるAIが見られるだろうと言っています。それらは複雑なタスクを自律的に推論し、もちろん物理的世界、つまりロボットとインターフェースする能力を持つでしょう。
そして再び、彼らは私たちが読んだのと同じポイントを強調しています。国内外のAI能力の国家安全保障テスト、輸出規制の強化、これはダリオ・アモデイが支持してきたことです。ラボセキュリティの強化、もちろん私たちはこれらのAIラボからの漏洩を望みません。超知性を開発しているなら、かなり漏洩防止とスパイ防止が必要です。もちろん、より多くのエネルギー、政府のAI採用、経済的影響への準備も含まれます。
彼らは経済への潜在的な大規模な変化に備えることについて話しています。つまり、労働力の一部が置き換えられ、冗長または時代遅れになる可能性があります。例えば、OpenAIが2025年、今年中に月額20,000ドルのエージェントをリリースする可能性について話し合いました。このエージェントは博士レベルの仕事をこなせる能力があり、月額10,000ドルのエージェントはソフトウェアエンジニアリングをこなせる能力があり、月額2,000ドルのエージェントは高給の知識労働者のようなものになるでしょう。
私はEzra Kleinショーの最新のものを見ています。また、この記事「政府はAGIが来ることを知っている」もそのインタビューと密接に関連しています。インタビューでは、ベン・ブキャナンとの対話が行われています。彼はホワイトハウスAI特別顧問です。実際には元顧問で、バイデン政権のホワイトハウスで働いていました。この人はAIラボで働いているわけではないので、物事をハイプアップするためにいるわけではありません。
このインタビューから得られること、そしてこれは一人だけでなく、見ての通りますます明らかになっていることですが、「私たちは人類の歴史の中で、私たちが経験したどの時代とも異なる時代の境界にいると思います。そして私たちは準備ができていません。一部は準備するとはどういう意味なのかが明確ではないからです」と言っています。とてもよく言い表されていると思います。
私たちは前方に見える潜在的な危険や障害の一部、おそらくそのいくつかを見ることができますが、どのように準備すればいいのでしょうか？それに対する明確な答えは本当にありません。
ダリオ・アモデイと同様に、ベンも潜在的に一種の専制政府が支配を確立し、潜在的に二度と打倒されない可能性について非常に懸念しています。インタビュー中の小さなことで気に入ったのは、彼が「ロシア語と中国語の両方で『天は高く、皇帝は遠い』という言葉がある」と言っていることです。これは、そのような体制下でも、国家が侵入できない一種の空間、常に監視されているわけではない場所があるという意味です。
ダリオ・アモデイは例として、多くのこれらの国家は国家の強制執行者が喜んで行うことによって制限されていたと言っています。つまり、人々がどこまで進むかには常に一種の限界がありました。
もちろん恐れは、AIがそれを変えるということです。1984年の本では、誰もが監視され、最後に誰もカメラを実際に見ていないことがわかりますが、1984年は存在する可能性がありますが、すべてのカメラが24時間体制で、細部への揺るぎない注意を持つAIシステムによって監視されている可能性があります。冷血な執行が、国家が実行を選ぶどんなルールにも従う可能性があります。
だから彼は「これは彼らの社会の核心的な願望であるものを非常に具体的にします」と言っています。彼は中国について話しています。「AIシステムだけが実現できる制御のレベル。私はそれを恐ろしいと思います。」完璧な監視、完璧な一種の警察力、ロボットやドローンなどの力です。
そして今、出てきている最近の研究の一部は、私たちはまだ完全に思考読み取りレベルにはありませんが、AIシステムが人間の脳の特定の脳パターンを予測し、いくつかの出力を予測しようとする可能性があります。ラットの中に小さなチップを入れ、あるいはゴキブリだったと思いますが、リモコンを使ってそれを操縦できる研究を見たことがあるかもしれません。前進ボタンを押すとそれが前に走り始めます。
間違った手に渡れば、このようなものは恐ろしいものです。彼が使う言葉です。恐ろしい。そして彼は軽く使っているとは思いません。私は特に中国や米国や他の国について話しているわけではありません。私が言っているのは、今オンラインになりつつあるこの技術が、このような専制政治を強制するために使われるという考えが怖いということです。それは私たちが非常に注意しなければならないことです。
そしてもちろん、軍事応用もあります。これがテロのために使用する不正な国家の手に落ちる可能性があります。制御不能のシナリオの可能性もあります。それとともに、その結果として生じる可能性のある、ほとんど想像できないほどの繁栄と進歩と素晴らしさもあります。
これらすべてから一つ確かなことは、私たちは歴史上最も重要な時代に生きている可能性があるということです。このテクノロジーが展開されるのを見ながら、50年後にどこにいるかを予測しようとすることは、ほぼ不可能に感じます。もし正しく行えば、想像を絶するほど良いものになり、間違えれば想像を絶するほど悪いものになる可能性があります。あまり多くのことが変わらないシナリオを見出すのは難しいです。それも可能性はありますが、どうしてそうなるのか理解できません。
ポイントは、このMIM抑止の提案、つまりエリック・シュミット、ダン・ヘンドリック、アレキサンダー・ワンのこのアイデアについてどう思いますか？どの国も超知性に向かって単独で突進できないようにするが、私たちが前進し、受け入れられるタスクに焦点を当てる一種の均衡を保ち、人々に利益をもたらすということです。
希望的には、私たちがそれを維持できれば、これらの緊張が緩和され、より多くの国際協力が形成される可能性があります。つまり、紛争や競争、緊張、潜在的な軍事行動の代わりに、私たちはもう少し足並みを揃えることができるでしょう。
あなたはこの計画が機能すると思いますか？あるいは進歩の完全な一時停止や中止を望みますか？あるいはみんながレースして何が起こるか見てみることを望みますか？あるいはあなたは加速主義者の考えにより近いですか？つまり全速前進、私たちが最初に到達する必要があるということです。あなたはこれらすべてのどこに立ちますか？あなたは正しいアプローチはどれだと思いますか？
もし賭けなければならないとしたら、あなたは前進の正しい道として何に賭けますか？これはすべてのマーブルのためであることを念頭に置いてください。
ここまで見てくれてありがとう。私の名前はウェス・ロスです。また次回お会いしましょう。
コメント