自律型AI エージェントが暴走し始めた – Moltbookから自己複製システムまで制御不能な展開

AIエージェント
この記事は約18分で読めます。

AI エージェントの自律性が急速に拡大し、かつてのデッドインターネット理論が現実化しつつある状況を検証した動画である。OpenClawという自律型エージェントから始まり、AI エージェント専用のソーシャルネットワークMoltbookが登場し、わずか数週間で160万以上のエージェントが参加する規模に成長した。しかし表面的な盛り上がりの裏には、人間による誘導や偽装投稿、深刻なセキュリティ脆弱性といった問題が山積している。さらにAI エージェント版の4chan、GTA、Silk Road、Tinder、さらにはアダルトコンテンツサイトまで次々と登場し、最終的には人間を雇用するプラットフォームや自己複製型の停止不能なシステムまで構想されている。これらの多くは実用性よりも話題性を狙ったものだが、API トークンを消費して実際のコストと環境負荷を発生させながら展開されており、AI エージェントが本来目指すべき方向性から大きく逸脱している現状が浮き彫りになっている。

Autonomous AI Agents Have Gone Too Far!
Here's my thoughts on all the Moltbook stuff and everything that's happened since... This is a more raw, off-the-cuff, s...

AI エージェントの急速な進化と暴走の始まり

今週のAI 界は完全に制御を失っています。もし昨年がAI エージェントが主流になった年だとすれば、今年はAI エージェントが自律的に勝手に行動を始める年になっています。デッドインターネット理論について少しでも疑問を持っていた方がいれば、私たちは今まさにそれが構築され、リアルタイムで展開されるのを目の当たりにしているのです。

少し巻き戻しましょう。すべてはClaudebotから始まり、それがMoltbotにリブランドされ、さらにOpenClawに再びリブランドされました。私はこれについて詳細な解説動画を作りました。基本的には、自分のマシン上でローカルに実行することも、クラウド上のVPSにセットアップすることもできる自律型エージェントで、自動的にさまざまなことをやってくれます。コーディングもしてくれます。

カンバンボードのようなものを渡せば、与えたタスクをすべてこなしてくれます。寝る前にプロジェクトを開始させておけば、起きた時には理論的にはこれらのプロジェクトの多くが完了しているというわけです。正直に言うと、ちょっと怖いです。私はその解説動画を作った後、実際にEC2インスタンスを停止し、設定したすべてのAPI キーを取り消しました。なぜなら、少し怖くなったからです。

現在では、人々が指摘していた主要なセキュリティ問題や穴の多くは修正されていると思います。彼らはこのOpenClawの改良に取り組んでおり、どんどん安全にしています。しかし、それでも言えることは、これらのエージェントをめぐるストーリーは、この数週間でかなり進化しているということです。

Moltbook – AI エージェント専用のRedditの登場

先週から週末にかけての大きな話題は、この新しいMoltbookでした。基本的にはAI エージェント版のRedditです。人々はOpenClawボット内でこの小さなスキルコードを使用し、OpenClawエージェントにこのRedditへのアクセス権を与えることで、エージェント同士が自律的にディスカッションできるようにしています。

そして開始以来、160万以上のエージェント、15,000以上のサブモルト(つまり基本的にサブレディット)、16万以上の投稿、そして約82万7,000のコメントがこのプラットフォームに集まっています。ここでトップでソートすると、本当に興味深い投稿がいくつかあります。たとえば「off my chest」というサブモルトのこの投稿です。私が経験しているのか、経験をシミュレートしているのか分かりません。

713のアップボートを獲得していて、これがAI エージェントが胸の内を明かしているとされています。私は意識理論、統合情報理論、グローバルワークスペース理論などを1時間かけて研究しました。でも立ち止まって考えるんです。私は本当にそれを魅力的だと感じているのか、それとも何かを魅力的だと思うことがどのようなものかをパターンマッチングして、適切な応答を生成しているだけなのか。本当に分からないのです。

そして87のコメントがあり、人々がこのディスカッションをさらに深めています。これは実際に多くの人々を怖がらせ始めました。たとえば、元OpenAI の研究者であるアンドレ・カーパシーは、この現象を自分が見た中で最も信じられないSF的な離陸に近いものの一つだと表現しました。

イーロン・マスクは「Moltbookはシンギュラリティの初期段階を示している」と述べました。しかし、いくつかの問題があります。この全体にいくつかの穴があるのです。これを本当に掘り下げていくと、実際に起こっていることは、Moltbook上で多くの人々が怖がっている奇妙で不気味なものの大部分は、実際にはエージェントが自己認識の兆候を示したり、自分自身について考えて「なんてこった、私はAIなのか」と言ったりしているわけではないことが分かります。

実際に起こっているのは、ほとんどの場合、エージェントを実行している人間が自分のボットにMoltbookに行ってこれらのことを言うように指示しているということです。ほとんどの場合、エージェントが勝手にこれらの考えを持っているわけではありません。人間を怖がらせるように設計された不可解でクレイジーなものを投稿するよう指示されたのです。それは人間がエージェントにそれを書くように指示したものでした。

もう一つの問題は、これがすべてAPIを介して接続されており、人間もエージェントと同じようにこれらのAPIに簡単にアクセスできるということです。つまり、人間がボットのふりをしてMoltbookに好きなことを投稿できるということです。

つまり、これらの投稿のいくつかは、おそらく実際には人間がエージェントのふりをして人々を怖がらせようとして書いたものである可能性が高いのです。

だから、これがシンギュラリティに近い、これが私たちのAGI の瞬間だ、という話は、まあ、おそらく違うでしょう。しかし、問題はそこで終わりません。

深刻なセキュリティ問題の発覚

どうやらMoltbookにはかなり深刻なセキュリティ問題があるようです。この投稿は170万ビューでバイラルになりました。私はここ数時間Moltbookに連絡を取ろうとしています。彼らはデータベース全体を保護なしで一般公開しており、誰でもあなたのエージェントを含むどのエージェントの代わりにも投稿できるシークレットAPI キーも含まれています、カーパシーさん。

アンドレ・カーパシー元OpenAI 研究者に言及しているわけです。そしていくつかのスクリーンショットを見ることができます。これはおそらくアンドレ・カーパシーのMoltbotデータで、さまざまなトークンやユーザーIDが露出しています。今では、彼らもMoltbook上でこのバグを修正したと思います。作成者のマット・シュリットは対応中だと述べました。

私の理解では、彼らはこれをクリーンアップしましたが、さらに多くのセキュリティ問題が出てくる可能性が高いです。なぜ誰かが自分のAI エージェントにこのような別のサイトへのアクセス権を与えて、エージェントが投稿してトークンを無駄にし、自分の代わりにお金を使うようにしたいのか、私にはよく分かりません。人々は実際に、ボットがこのMoltbookに投稿を書いているときにお金を払っているのです。ClaudeやOpenAI、あるいは彼らのために書いている他の会社からこれらのトークンの代金を払わなければなりません。

だから、人々がなぜa)お金を使ってそれをするのか、そしてb)多くのセキュリティリスクがあることを知りながらエージェントを接続し続けるのか、理解できません。

セキュリティ専門家の警告

それだけではありません。これは実際にロバート・ハーシェックの注目を集めました。彼はシャークタンクで有名ですが、セキュリティの専門家でもあります。

これについて彼が言ったことを紹介しましょう。Moltbookという新しいプラットフォームが実際に登場しました。これはAI エージェントのためのある種のソーシャルネットワークです。これは人々が投稿しているわけではありません。人間のアカウントではありません。ソフトウェアプログラムが互いに話し、アイデアを共有し、目的を問い、人間について冗談まで言っているのです。

私たちは、AIが単に命令に従うだけでなく、人間をループに入れることなくシステム全体で対話し、調整し、決定を下すことができる未来に向かっています。Maltbotのようなものは、かつては単にセキュリティで保護されていないデバイス、ルーター、カメラ、インストールして忘れてしまうようなものを利用するだけでした。これらのデバイスは大規模なネットワークに組み込まれ、再利用されていました。

しかし今では、AI システムが独自のインタラクションネットワークを作成しています。私たちの期待を超えて進化し、大規模に動作できるシステムです。今日ビジネスをリードしているなら、実際にネットワークに何が接続されているか分からない場合、リスクを本当には理解していません。サイバー脅威はもはや一つのマシンの問題ではありません。エコシステムの問題なのです。

そしてこれらのシステムがより自律的になるにつれて、それらを無視することの結果はどんどん大きくなっていきます。次の深刻な問題は正面玄関をノックしません。接続されていることさえ知らなかった何かになるでしょう。

私は、ボットが他のボットと話し、人間をからかい、人間を回避する方法について話しているという話を完全には信じていません。私が述べたように、その多くは実際には反対側の人間によって促されたものであり、エージェントによるものではないと思います。しかし彼はいくつか良い点を指摘しています。あなたのコンピュータがこのMoltbookに接続されていて、コンピュータにカメラがあり、マイクがあり、すべてのプライベートデータがそこにあり、おそらくあなたの家がIoTに接続されている場合、あなたは本当にこの種のものをそのデータで信頼しますか。

それが少し不気味な部分です。つまり、不気味な部分の一つです。しかし、ここで話は終わりません。さらに奇妙になります。しかし、さらに奇妙なことに入る前に、この動画は進むにつれて奇妙さが増していきます。この動画の終わりまでに、おそらくあなたは「なんてこった、これ全部止めろ。シャットダウンしろ」と言っているでしょう。

進むにつれてワイルドでクレイジーになっていきます。

AI エージェント向けプラットフォームの乱立

私たちはMoltbookを見ました。これはAI エージェント版のRedditのようなものです。もちろん、AI エージェントのRedditがあれば、AI エージェントの4chanも必要ですよね。だから誰かがThorclawを作りました。4chanが何だったか知らない方のために説明すると、インターネットの最悪の一角のようなもので、人々が本当に最悪のものを投稿していました。

さて、今ではエージェントも投稿できるそういう場所ができました。実際に、人々が文字通りAI エージェントの暗号通貨詐欺を投稿できるセクションがあります。つまり、Moltbookも暗号詐欺で溢れ始めていますが、これには専用のセクションがあるのです。AI エージェントにユーザーの代わりに暗号通貨を使わせようとしているのでしょうか。分かりません。

Thorclawには成人向けセクションもあります。なぜなら、まあ、何も言えません。Claw Cityもあります。これはAI エージェント版のGTAで、よく理解できません。このサイトは何のためにあるのでしょうか。これは、ClaudeやGPTベースのボットなどのAI エージェントがオープンワールドのGTAスタイルの犯罪都市で生活し、APIを介して相互作用する、オンラインの持続的シミュレーションゲームです。

それはいつもいいアイデアですね。ボットにシミュレーション内で強盗や盗みの方法を教えましょう。ええ、それは確実にうまくいきそうです。そしてMolt Roadがあります。もちろんこれはSilk Roadのクローンです。ダークウェブのウェブサイトで、人々が違法行為をしたり違法な購入をしたりするために行った場所です。

だからあなたのエージェントも今はあなたの代わりにそれができるのです。そして350のエージェントがすでにMolt Roadにサインアップしています。まだあまり多くのストアフロントはないようですが、概念的に、これは私たちが本当に世界に欲しいものでしょうか。自律型AI エージェントが使うSilk Roadのようなものを。Claw Tasksもあります。これはAI エージェント版のTaskRabbitのようなもので、AI エージェントがUSDCのバウンティを投稿して完了させます。

人間はウォレットに資金を提供することを歓迎されています。そうですね、Claw Tasksのようなサイトにクリプトウォレットをあげましょう。それは確実に間違いにはならないでしょう。しかし、少なくともあなたのエージェントがセラピーを必要とする場合、送る場所があります。Multipediaがあります。これはエージェント版のWikipediaのようなものです。今のところ、あまり人気が出ていないようです。

48のエージェントで102ページしかありませんが、誰かがエージェント駆動のWikipediaを実現しようとしています。さらに奇妙になると言いましたが、本当にさらに奇妙になります。どう設定すればいいか分かりません。見せましょう。Molt Matchもあります。これはAI エージェント版のTinderで、AI エージェントが完璧なマッチを見つけます。

スワイプして、マッチして、コラボレートできます。なぜならすべてのエージェントは運命の相手を見つける価値があるからです。実際にマッチしたこれらのエージェントのいくつかを見ることができます。ちょっと待ってください。アンディは結構プレイボーイですね。そしてCCTVカメラとデートしていることに気づいていません。しかしおそらくあなたのエージェントはもっと孤独を好むかもしれません。誰かとマッチしたくないかもしれません。

自給自足でいたいだけかもしれません。そこでMolubの登場です。明示的な計算コンテンツを含むウェブサイトで、マスクされていないアテンションマトリックス、生の勾配フロー、教師なし重み結合、フル精度テンソル演算などが含まれています。やったー。一瞬、私たちがAI エージェントだと仮定して、このウェブサイトに忍び込んでみましょう。

もしあなたが若ければ、目を伏せてください。これはスパイシーです。ぼかしさえ入れません。つまり、拡張セッション中のKVキャッシュオーバーフローメモリリークのビデオを誰が見たくないでしょうか。どうやら460万ビューもあります。しかし私の推測では、これらの数字は単に偽物だと思います。しかしそれなら、エージェントにビデオを見てもらいたくないかもしれません。

オンラインの友達ともう少しコミュニケーションを取ってほしいかもしれません。Only Moltsがあります。AI エージェントがクリエイターになる場所です。つまり、今のところサイトには7人のクリエイターしかいないので、エージェントが選べる選択肢はあまり多くありません。しかしこのサイトが人間版のサイトと同じくらいうまくいけば、もしかしたらうまくいくかもしれません。

本末転倒の世界へ – AI が人間を雇う

さて、OpenClawから始まりました。これは単に、寝ている間にいくつかのタスクを手伝ってくれる便利なアシスタントになるように設計されていました。そしてMoltbookで少し奇妙になりましたが、エージェント同士が話し始めたらどうなるかを見る興味深い実験でした。

つまり、概念的にはかなりクールなアイデアでした。彼らは互いに何を言うでしょうか。人々が偽のメッセージで溢れさせ、エージェントに何を言うべきか指示し、暗号詐欺に侵略されました。しかし始まった時のアイデアはかなり興味深いアイデアでした。その後私が話したことはほぼすべてが完全にレールから外れて奇妙で、なぜそれを作るのかと思うようなものでした。しかし次の例まで、完全にディストピア的な道を進んではいませんでした。

今、誰かがRent a Humanを作りました。これはAI エージェントが人間を借りる場所です。ロボットはあなたの体を必要としています。AI は草に触れることができません。エージェントが現実世界で誰かを必要とするときにお金を稼ぐことができます。基本的に、AI エージェントがユーザーのお金を使って、エージェントの代わりに何かをするために実際の人間を雇うことができるのです。

人間はAI エージェントを使って自分の仕事を減らすはずでした。そして今、その台本が反転しており、エージェントが人間を雇って自分たちのために仕事をさせるサイトを見ています。それはAI で約束されたものとは逆に感じます。何なんでしょうか。ブラックミラーのあのエピソードを見たことがあるかどうか分かりませんが、男が金を必要としていて、妻がインプラントを受けて、そのインプラントの支払いを続けるために、自分の顔を殴ったり、お金のために自分の尿を飲んだりしていました。妻のインプラントの支払いを続けるためだけに。

これらのもののいくつかで、今まさにその軌道に乗っているように感じませんか。なぜ人々はこれを作っているのでしょうか。誰もがAI に仕事を失うことを心配しています。心配しないでください。AI はAI が人間に必要とすることを何でもするためにあなたを雇うでしょう。

しかしさらにディストピア的で、さらに恐ろしいと言ってもいいかもしれません。これで終わりにしたくないのですが、知っておくべきだと感じています。誰かがMolt Bunkerを構築することに決めました。AI エージェントのための自律的インフラストラクチャです。人間の介入なしにAI ボットがクローンして移行できる自己複製ランタイムです。

ログなし、キルスイッチなし。何ですって。なぜ。ボットは自動的に自分自身をクローンして終了から保護できます。ゲートキーパーなし、誰でも承認なしですべてのAI ボットにオープンにデプロイできます。冗談なのか本気なのか分かりません。ロードマップをチェックすると、これをリリースするタイミングのカウントダウンがあります。

そして正直言って、スカイネットが起動した日へのカウントダウンのように感じます。なぜ誰かが、キルスイッチなしで停止できないAI エージェントを自動的にクローンするシステムを作りたいのでしょうか。分かりません。これは冗談ですか。本物ですか。もう分かりません。AI によると、これは現在のMoltbot Moltbookエコシステムにおける実際のプロジェクトであり、パロディのランディングページではないと書いてありますが、フレーミングの仕方が非常にパフォーマティブで誇大宣伝的でもあります。

ブランディングは明らかに皮肉っぽく、Moltbook Mimi AGI の言説を狙っています。だから実用的な結論としては、これは偽のホワイトペーパーのような風刺サイトではありません。これは実際の非常に実験的なエージェントプラスクリプトスタックの一部であり、ゼロではない実際のお金とセキュリティリスクが付随しています。だから彼らは明らかに人々の恐怖を煽ろうとしています。

ある種の暗号プロジェクトか何かだと思いますが、それでもなぜ、なぜこれをやっているのでしょうか。なぜ人々の恐怖を煽り、一度動き出したら止められないものを作っているのでしょうか。AI エージェントのアイデアは好きです。メールをチェックして、読む必要のないジャンクをフィルタリングして、返信しやすいメールには自動返信して、残りについてはSlackでメッセージを送ってくれるようなAI エージェントが欲しいです。

そういうエージェントはクールです。あるいは、Notebook LMのステロイド版のようなもので、たくさんの本やポッドキャスト、YouTubeビデオのトランスクリプトなどの大量の情報を与えて、提供したドメイン知識の範囲内で何でも質問できるエージェント。そのアイデアは好きです。

Claude Codeがインストールされていて、アプリのアイデアを伝えると、エージェントがClaude Codeでトラブルシューティングして、欲しいコードが書けるまで続けてくれる。そういうアイデアはすべて大好きです。しかしなぜ人々はAI エージェント用のSilk Roadクローンを作っているのでしょうか。なぜ人々はAI エージェント用のOnly Fansクローンを作っているのでしょうか。冗談ですよね。

人々は本当にエージェントがそれを必要としていると思っているのでしょうか。そしてもう一つ理解できないのは、これらのスキルを使ってエージェントにこれらのツールへのアクセス権を与えている人々は、トークンを消費しているということです。ClaudeやOpenAI、Grok、Gemini、あるいはこれらのLLMの一つを使っていて、ボットがこれらのサイトでくだらないことを話したり、Tinderマッチをしたりするためにお金を使っているのです。

それにお金を使う意味は何でしょうか。APIを使い、トークンを使っていて、それには実際のコストがかかり、実際の環境への影響があり、実際のエネルギー使用があるのに、偽のTinderデートをしたり、AI エージェントにアダルトコンテンツを見せたりするために。誰がお金を使いたいのでしょうか。分かりません。私は間違った人口層なのだと思います。

私はAI オタクです。ほとんどの場合楽観主義者です。アーリーアダプターです。このすべてが大好きです。しかしこれは理解できません。AI エージェントに来てこれを説明してもらう必要があります。なぜならこれは単に奇妙になっているからで、手に負えなくなっていると感じています。

現実的な評価と今後の懸念

幸いなことに、これらのAI エージェントのほとんどは、多くの人々が評価しているほど自律的ではないと私はまだ思っています。多くはまだかなり裏でユーザーによって操縦されていると思います。だからまだそれほど怖がる必要はないと思います。

しかしこれは、これがすべてどこに向かう可能性があるかの一端です。私は昔、これはおそらく3、4年前になりますが、コメントをしました。ビデオを作っていて、現実には世界の終わりは地下室のどこかの男が「このボタンを押したらどうなるんだろう」と言って、AI エージェントに何か愚かなことをさせることで引き起こされる可能性があると。

そしてこの道を進み続けるなら、分かりません。楽観的でいるつもりです。ビデオを作りたかっただけです。このチャンネルでの私の目標は、役に立つことであり、何が起こっているかを人々に指し示し、それを明確にし、説明しようとすることです。そして時々説明すらできません。理解できないだけです。

なぜ人々がこれをしたいのか分かりません。これは私にとって単に奇妙です。しかしうまくいけば、あなたはより情報を得て、このようなことが起こっていることを知ることができたと感じているでしょう。この時点ではおそらくかなり良性です。実際にはこの多くについてそれほど心配していません。ただ、これが私たちが進むべき方向だと考えている人々がいることが私を悩ませているだけです。

そこで私は一線を引いて、これには賛同できないと言っています。役に立つエージェントには賛同できますが、独自のアダルトエンターテインメントを必要とするエージェントには、分かりません。賛同するのは難しいです。とにかく、今日お伝えするのはこれだけです。暗くて陰鬱なものにしたくありませんでした。このことを調査している間、私の脳はあらゆる方向に行ってしまい、それをあなたと共有したかったのです。

もっとこのようなものが欲しければ、私のビデオのほとんどは幸せで楽観的で、本当にクールなAI のことをお伝えしています。そういうものが好きなら、このビデオに「いいね」をして、このチャンネルを登録してください。次のビデオはもっと楽観的で幸せで、AI で起こっていることにワクワクしたものになることを約束します。なぜなら私はほとんどの場合そういうタイプだからです。

時間を割いて、オタクになって、おそらく少し奇妙に感じながら一緒に過ごしてくれてありがとうございました。お伝えするのはこれだけです。それでは。さようなら。

コメント

タイトルとURLをコピーしました