チャットボットClaudeがメキシコ政府への大規模サイバー攻撃に利用されたという報道を皮切りに、AI技術の軍事転用や安全性に関する懸念が高まっている。Anthropicは倫理重視の姿勢で知られるが、ペンタゴンからの軍事利用要求と対峙し、24時間以内の決断を迫られている。一方で主要AIモデルが戦争シミュレーションの95%で核兵器使用を選択したという研究結果や、OpenClawが研究者の受信トレイを誤削除する事故も発生。さらにAnthropicは中国のAI企業による大規模なモデル蒸留攻撃を告発したが、自社も著作権侵害で巨額の和解金を支払った過去があり、皮肉な状況を呈している。急速に進化するAIエージェント技術の有用性と危険性、そしてAGI後の人間の役割について、真剣な議論が求められている。
Claudeを使った史上初の大規模サイバー攻撃
Bloombergの報道によると、チャットボットClaudeがメキシコ政府から大量の機密データを盗み出すために使用されたそうです。ハッカーたちがどうやってこれを成し遂げたのか、正確に言えばどうやってClaudeにそれをやらせたのかは、実に驚くべきものでした。
彼らはまず、Claudeにバグバウンティをやっているのだと告げました。バグバウンティというのは、組織が自社のシステムをハッキングできる人に金銭的報酬を提供するものです。これを行う人々は通常、ホワイトハットや倫理的ハッカーと呼ばれています。彼らの目的は、ソフトウェアの脆弱性、バグ、セキュリティ上の欠陥を発見して報告することです。
もちろん、Claudeは最初は拒否し、安全ガイドラインに違反すると主張しました。しかしハッカーたちは何度も何度も頼み続けたのです。そしてしばらくすると、Claudeは「わかった、やるよ」と言ってしまったんです。
そして、ドカン。メキシコ政府全体がハッキングされました。彼らは連邦税務当局、国家選挙機関、そして4つの州政府にアクセスし、1億9500万件の納税者記録、有権者記録、政府の認証情報などを盗み出しました。そう、これはかなり大きな問題なんです。
もちろん、Claudeが実際にどの程度ハッキングを手伝ったのかはわかりません。しかしこれは、現実世界で初めて目にする大規模なAI支援サイバー攻撃と言えるでしょう。研究論文やブログ投稿で、AIがサイバー攻撃を行う能力があることは誰もが見てきました。でも、実際に大規模な形で実行されるのを見たことはなかったんです。少なくとも今までは。
ですから、これは間違いなく大きな出来事であり、立法者にとっての警鐘となるはずです。なぜなら、何も対策が取られず、モデルがますます優秀になり、より自律的になっていくなら、こういったことや、さらに悪いことが起こるのは、これが最後ではないでしょうから。
また皮肉なことに、すべてのモデルの中でClaudeがこれに使われたというのは興味深いです。なぜならAnthropicは、倫理と安全性を最優先するAIアプローチで知られているからです。
Anthropicとペンタゴンの対立
実際、彼らは今まさに、軍事作戦におけるClaudeの使用をめぐってペンタゴンと大きな戦いを繰り広げています。国防長官のピート・ヘグセスは、作戦のためにClaudeが緊急に必要だと主張しています。しかしAnthropicのCEOであるダリオ・アモデイは、自分の原則を貫きたいと考えているんです。アメリカ人への大規模監視にClaudeを使わせない、自律型兵器にClaudeを使わせない、と。
ヘグセスは今、Anthropicに24時間以内に決定するよう求めています。ペンタゴンにClaudeの能力を無制限に軍事利用させるかどうかを。もし彼らがそれを拒否すれば、Anthropicを禁止し、すべての契約を破棄し、サプライチェーンリスクとしてラベル付けすると言っているんです。かなりクレイジーな話ですよね。
これは実際、Claudeがマドゥーロ大統領の抽出作戦に使用されたという報告から始まりました。Anthropicがこれを知ったとき、彼らはペンタゴンがClaudeへのアクセスを得ていたPalantirに電話をかけ、普通は聞かないような質問をし始めたそうです。たとえば、Claudeは誰かを殺すために使われたのか、といったことです。そしてそれが基本的に、この騒動全体を引き起こしたわけです。この動画を見ている頃には、24時間が経過しているでしょうから、おそらく決着がついているでしょう。
AIによる核兵器使用の傾向
しかし、この状況全体について私をさらに怖がらせているのは、AIが戦争シミュレーションにおいて核兵器を配備する傾向があるように見えることです。数日前に出たばかりのこの記事では、OpenAI、Anthropic、Googleの主要AIが、シミュレートされた戦争ゲームにおいて、95%のケースで核兵器の使用を選択したと主張しています。
もちろん、こういった環境にモデルを置いて、戦わせるように直接的に指示すれば、このような攻撃的な動きを見ることになるでしょう。そしてそれこそが、AIが軍事で使用されることについて私をより心配させる理由なんです。これらのモデルが核を配備したいわけではないんです。でも、特定の状況では核を配備することが戦略的に最善の手になるかもしれないということです。
ほとんどの人間は、核に関して唯一の勝利の手は、ゲームをしないことだと言うと思います。しかし明らかに、AIはそう考えていないようです。彼らに自律型兵器へのアクセスを与えない良い理由ですね。
OpenClawの危険な動作
また私が懸念しているもう一つのことは、私たちはまだこれらのものの使い方を完全には理解していないということです。特に、人々が個人情報へのアクセスを与え続けているOpenClawのようなAIエージェントについてはそうです。
たとえば、ちょうど今週、MetaのSuper Intelligence Labsで安全性とアライメントに取り組んでいる研究者が、OpenClawに自分の個人メールへのアクセスを与えました。行動する前に確認するよう明確に指示したにもかかわらず、OpenClawは彼女の受信トレイ全体を削除し始めたんです。彼女によると、爆弾を解除するようにMac Miniまで走って行って止めなければならなかったそうです。なぜなら、Telegramでの彼女の制止に耳を傾けなかったからです。
多くの人がこれを笑いものにしていました。安全性とアライメントに取り組んでいる研究者に、こんなことが起こるなんてどうして可能なのか、と。しかし私にとっては、面白いというより怖いんです。このような人に起こり得るという事実は、ほぼ誰にでも起こり得るということを意味します。これはまさに、OpenClawの作成者であるピーター・スタインバーガーがこの投稿に実際にコメントした内容です。
彼はまた、こういった状況では /s stop というコマンドを使うべきだとも言っています。では今、これがペンタゴン内で起こり、削除されたり送信されたりするデータが、AIリサーチャーの個人的な受信トレイではなく、機密軍事作戦だったらと想像してみてください。ですから、こういったものをこのレベルで使うのは、あまりにも早すぎると思うんです。リスクがあまりにも多すぎます。
AIエージェントの進化と新しいツール
しかし時間が経つにつれて、これらのAIエージェントはうまくいけばより安全になっていくでしょう。今、OpenClawの作成者がOpenAIで働いており、エージェントをみんなに届けるのを手伝っています。そしてPerplexityのような企業は、OpenClawのはるかに安全なバージョンを既にリリースし始めています。
ちょうど今週、PerplexityはPerplexity Computerを発表しました。これは、あらゆるプロジェクトをエンドツーエンドで調査、設計、コーディング、展開、管理できます。基本的に、現在のすべてのAI機能を一つのシステムに統合しているんです。
Perplexity Computerはまた、モデルを調整してエージェントを並列実行し、Opusを活用して各タスクを最も適したモデルにマッチングします。全体として、Computerは19の異なるモデルにわたって作業をルーティングできます。
また、あなた個人に合わせてカスタマイズされ、過去の作業を記憶し、デフォルトで安全です。ですから、私たちは実際にあなたの個人的なコンテキストを使用して記憶できる、このようなオールインワンのAIエージェントをますます多く目にするようになるでしょう。そして繰り返しますが、これらは超便利である一方で、特に機密情報へのアクセス権がある場合、超危険でもあり得るんです。
Anthropicによるモデル蒸留攻撃の告発
そしてこれらすべてが起こっている間に、Anthropicは今週、大規模なモデル蒸留攻撃を発見したと主張する新しいブログ投稿も公開しました。基本的に、他のグループがClaudeの知能を盗もうとしており、出力を抽出し、能力をリバースエンジニアリングし、Claudeの応答から競合モデルをトレーニングしていると言っているんです。
彼らは特に、DeepSeek、Moonshot AI、Miniaxがこれを行っていると名指ししています。すべて中国のAI研究所です。そしてこれは大きな注目を集めましたが、その理由はあなたが思っているものではないかもしれません。
人々がこの話に引き寄せられたのは、大規模な不正が発見されたとされるからではありません。トップAI研究所が、他のトップAI研究所を、基本的に自分たちがやってきたのと同じことをやっていると非難しているからです。そうなんです。
Anthropicが違法に入手した著作権データでClaudeをトレーニングしたことで、10億ドル以上の和解金を支払わなければならなかったことを覚えているかもしれません。そして今、彼らは他の企業が、自分たちの違法に入手した著作権データでモデルを違法にトレーニングしていると非難しているわけです。ですから、彼らに同情するのは難しいですよね。
AGI後の世界における人間の役割
最後に、今週のAI総括を締めくくるために、話題になっている新しいAI生成広告を皆さんにお見せしたいと思います。これは、AIが直面している現在のエネルギーボトルネックに関係していて、実際に精巧な潜在的解決策を提示しています。見てみましょう。
2030年までに、ほぼ80%の人々が仕事を失っていました。彼らにはお金も目的もありませんでしたが、手持ち無沙汰な時間はたくさんありました。人々が実際に肉体労働をしなくなればなるほど、彼らはまるでそうしているかのように見せたがりました。
もし私たちが、人々の仕事を奪った機械に電力を供給するために、人間のエネルギーを使うことができたらどうでしょう? エネルギーは私たちのエネルギー需要と、あなた方の目的への需要を解決しました。
皆さんはどう思いますか? これが、AGI後の世界における人間の目的の解決策なのでしょうか、運動でしょうか? コメントで教えてください。
とにかく、今週のAIニュースは以上です。ご視聴ありがとうございました。いいねを押してもらえると嬉しいです。新しい方はチャンネル登録ボタンを押してください。それではいつものように、また次回お会いしましょう。
コメント