AIが自らを書き換えるとき Darwin-Gödel HyperAgentの真実

再帰的自己改善・RSI
この記事は約19分で読めます。

Meta社のスーパーインテリジェンス研究部門が発表した「Darwin-Gödel HyperAgent」は、自らのコードを書き換えて自己改善するAIシステムである。従来のDarwin-Gödel機械をベースに、タスク実行エージェントとメタエージェントを単一のPythonファイルに統合し、最適化アルゴリズム自体を書き換える「メタ認知的自己修正」を実現したとされる。しかし本質的には、Claude Sonnet 4.5のような大規模言語モデルに既存のGitHubリポジトリから学習したコードパターンを注入させ、テストベンチマークで生き残ったバージョンをアーカイブに保存する仕組みに過ぎず、真の意味での突然変異や知能の進化とは言い難いという批判的な分析が展開されている。

When an AI can Rewrite Itself (Darwin-Gödel HyperAgent)
Meta’s HyperAgents: The Science of Self-Rewriting AI.The Illusion of Self-Learning AI: How Meta’s HyperAgents Actually W...

Darwin-Gödel HyperAgentとは何か

こんにちは、コミュニティの皆さん。お帰りなさい。今日はAIにおけるハイパーエージェントについてお話ししましょう。

さて、私の過去2本の動画をご覧になった方はご存じかと思いますが、そこでは新しい数学、新しい最適化手法、新しい報酬関数、そしてニューロシンボリックAIの統合についてお話ししました。でも主なテーマは常に自己進化するAIシステムでした。

前回の動画の1つで、現在複数のエージェントが訓練時計算、テスト時計算、推論、文脈内学習、強化学習などで訓練されていることをお見せしました。私たちが望むことはシンプルです。これらのAIシステムに完全なインターネットを与えて、こう伝えるのです。「さあ、自分で学んでください。私たち人間はあらゆることを試しました。今、世界最大のデータセンターがあります。さあ、自分で学んでください」と。

Metaの新しい研究論文

そして今日の研究がこちらです。Metaによるもので、2026年3月23日、GitHubで公開されています。ハイパーエージェントに関するものです。これはブリティッシュコロンビア大学、Vector Institute、エディンバラ大学、ニューヨーク大学、そして美しいMetaスーパーインテリジェンス研究所による自己改善AIシステムです。

その目的は、自身の学習と問題解決プロセスを改善する方法を学ぶことで、人間のエンジニアリングへの依存を減らすことです。私たちが期待するのは、これをスケールアップすれば、システムが突然知的になり、知能の創発が起こるかどうかということです。

これはバージョン3で、2026年3月中旬のものです。Darwin-Gödel機械があります。これは自己改善エージェントのオープンエンド進化です。これもブリティッシュコロンビア大学、Vector Institute、カナダCIFAR AIチェアによるものです。

DGM、つまりDarwin-Gödel機械は、より優れたコーディングエージェントになるために自分自身のコードを書き換え、修正する自己参照的な自己改善システムです。これは完全にPythonコードに焦点を当てています。非常に明確です。

自己修正のメカニズム

私たちが持っているのは、自己修正があり、その自己修正を評価するベンチマークがあります。そしてそれが機能していて、ベンチマークが「より良い結果が得られた」と教えてくれれば、アーカイブ、プール、パレートプールなどと呼びたいものに戻ります。親構造から始めて、より良いパフォーマンスを持つ最適化された子構造ができれば、何が起こっているかすぐに理解できるでしょう。

つまり、ループがあるのです。このループは単純に、自己修正と評価フェーズの交替です。自己修正フェーズでは、アーカイブからのコーディングエージェントが自分自身の修正版を生成します。少しのコード最適化です。そして評価フェーズでは、コーディングベンチマークでテストされ、コーディング能力が推定され、特定の閾値を超えていればアーカイブに追加されます。

素晴らしい。さて、今日のこの新しい論文、このハイパーエージェントは私たちのDGMハイパー上に構築されています。ご覧のように、親と子などのツリー構造があり、これが自動的に自己改善されることを期待しています。

これは論文レビュータスクの例です。突然、マシンは考えます。「ああ、そうだ、メモリツールを持つべきかもしれない。タスク評価基準を持つべきかもしれない。メモリを更新すべきかもしれない。レビュアーのペルソナをより厳格で批判的なものに変更すべきかもしれない。論文の弱点を特定する2段階プロセスを持つべきかもしれない。明確に定義された却下基準が必要かもしれない」と。

システムが自分自身を最適化してより良いパフォーマンスを得る方法を学ぼうとしているのが分かります。

ロボティクスへの応用と論文の詳細

これはロボティクスの報酬設計にも使えます。素晴らしい。詳しく見ると、この論文は60ページあります。Metaの複数のインターンが貢献しています。美しいですね。

修正から得られるツリーが見えます。そして子ノードがあり、そこからさらに修正と子ノードが続きます。システムが自分自身を最適化しようとする様子が完全に見て取れます。

歴史的には、状況は明確でした。2層システムがありました。タスクを解決するベースエージェントと、ベースエージェントの失敗を見て、何が失敗なのか、なぜ失敗が起こっているのかを理解し、より良いバージョンでコードを書き直すメタエージェント(Meta社のことではなく、上位エージェント)です。

Darwin-Gödel機械DGMは、これがコーディングタスクに対して見事に機能することを証明しました。しかし今、問題は、オープンエンドのタスク、クリエイティブなタスク、検証不可能な報酬構造がある場合、どうすればよいのかということです。

DGMの致命的な欠陥

さらに、DGMには致命的な欠陥があります。ドメインアライメント仮定です。なぜなら、メタエージェントが特定のドメインの極性化に固定されている場合、人間の創造者によって想定された狭い回廊の中でしかベースエージェントを改善できないからです。Gödelのメタエージェントはここでは人間によってプログラムされているのです。

では、この新しい論文における解決策は何でしょうか。これは少し奇妙なアイデアですが、タスクエージェントとメタエージェントを編集可能なPythonプログラムに統合するのです。

著者たちは今、これがメタ認知的自己修正を導入すると教えてくれます。その説明はこうです。ハイパーエージェントは、タスク解決ロジックを書き換えるだけでなく、それは明確ですが、今度は自分自身を書き換えるために使用するアルゴリズムを書き換えるのです。

まさにこの瞬間、私の脳は言いました。「ちょっと待って、何が起こっているんだ。これは理解できない」と。

システムが発見する解決策

さて、システムが思いつく解決策は何でしょうか。パフォーマンス追跡の発明や、JSONベースの永続的メモリ構造、自動バイアス検出などです。しかし、誰もエージェントに「これをしなければならない」とは言っていません。これはYIモデルが自分自身のパフォーマンスデータについて自己進化し、自己発見し、自己反映したものです。

本当の驚きは、これがアルゴリズム的なメタ転移だということです。従来、学習はテンソル空間で行われていましたが、ここで著者たちは、転移がシンボリック・アルゴリズム空間で起こることを示します。

正直なところ、私には多くの疑問がありました。著者たちはここで、アクターと最適化器の両方を、まったく同じツールと完全な基盤、つまりPythonコードでエンコードすることで、ボトルネックが人間の美しいアイデアの創造性や独創性から、生の計算探索最適化へとシフトすると教えてくれます。

「なるほど、理にかなっている。単純な数学的最適化手順だ」と思いました。しかし疑問が残りました。このハイパーエージェントとは正確に何なのか。それは何か。どのように機能するのか。

従来のアプローチとの比較

通常、私たちは工場労働者を作ります。これがタスクエージェントです。詩を書いたり、データをソートしたりといった特定の仕事をします。しかし労働者を改善したい場合、もう少し知的なAIシステム、もう少しスケールアップしたAIシステムが必要です。

このCIシステムは「あなたは今マネージャーです」という仕事を与えられません。「あなたは今メタエージェントです」と。

従来の自己改善エージェントでは、マネージャーは人間からの固定された手書きのプロンプトです。例えば、「労働者の間違いを見てください。出力が何かを見てください。何が起こったかを理解しようとしてください。エラーの分類を特定してください。なぜエラーが起こったかの仮説を書いてください。そして労働者の指示を書き直して、労働者AIのパフォーマンスを最適化してください」という具合です。古典的です。

さて、ハイパーエージェントは人間のマネージャーを解雇します。これが目的だからです。人間のボトルネック、人間のデータボトルネックから抜け出したいのです。すべてが純粋なAIであることを望んでいます。

Pythonスクリプトへの統合

そして今、労働者とマネージャーAIの両方を同じPythonスクリプトに入れます。ここで私は最初の問題に直面しました。「待って、2つのエージェントがあって、2つのエージェントをPythonスクリプトに入れるのか」と思いました。

ハイパーエージェントはスクリプトのソースコード全体にアクセスできるので、以前のように労働者のタスク解決ロジックを書き換えるだけでなく、今度はマネージャーのロジック自体を書き換えることができます。

そして今、引用符付きで言うと、自分自身の間違いを追跡する新しい方法を発明し、無から新しいデバッグツールを構築し、自分自身を改善する方法を決定する方法を完全に変更することができます。私の脳にはいくつかの疑問符がありました。

著者たちはこれを美しくAIのメタ認知的自己修正と呼んでいます。

理論的には、これは自分自身を書き換えるために使用するアルゴリズムを継続的に書き換え始めるAIです。私の脳に物質化するのに苦労しました。「ちょっと待って」と思いました。

階層構造の理解

実際の仕事をしている労働者エージェントがいます。最適化するために、労働者エージェントが必要です。理解できます。より知的なエージェントが必要です。マネジメントエージェント、エージェントBと呼びましょう。

エージェントBはエージェントAを読み、書き換える許可を持っています。最適化のためです。誰かが働かなければならないからです。通常、チェーンの最下位にいます。

そして今、ハイパーレベルがあります。美しい。Darwin-Gödel機械の後、今度はハイパーエージェントがあります。

ハイパーエージェントは、2007年のShmuからの数学的証明を、自分自身の進化的経路構造を書き換えるダーウィン進化経路に置き換えると主張しています。

これは理解できませんでした。「ちょっと待って、これを続けてハイパーハイパーレベルを作ったらどうなるんだ。ハイパーハイパーは今、ハイパーを修正でき、ハイパーはマネジメントと労働者エージェントを修正でき、マネジメントエージェントは労働者エージェントのみを修正できる。しかし、この階層で何を得るのか」と思いました。

もう一つのスタイルは、これをループに入れて、ダーウィン選択がスクリプトをランダムに突然変異させることです。スクリプトをどうやって突然変異させるのか。

結局、ハイパーハイパーレベルはなく、ハイパーレベル自体もハイパーレベルではなく、PythonスクリプトにこれらのエージェントTwo を組み合わせただけで、私は何も理解できませんでした。

アルゴリズムの詳細分析

そして、ハイパーエージェントを使ったDarwin-Gödel機械DGMHのアルゴリズムを見ました。理解しました。ここにこのメタ認知的自己修正があります。メタ認知的自己修正コードシーケンスで正確に何が起こっているかを理解すれば、コードを解読してこの論文で何が起こっているかを理解できると思いました。

研究者は階層にエージェントC、3番目のエージェントを追加しませんでした。私が言ったように、エージェントAとエージェントBを単一のモノリシックなPythonファイルに融合させました。

Pythonファイルは今、hyperagent.pyと呼ばれています。hyperagent.pyファイルの中には、2つの主要な関数があります。1つ目はタスクを解決すること、2つ目は自分自身を修正することです。

ハイパーエージェントが改善したい場合、外部のマネージャーを呼び出すのではなく、modify myselfルーチンを実行します。

modify selfは何をするのでしょうか。hyperagent.pyをテキストファイルとして開き、自分自身のソースコードをLLMに渡し、自分自身のファイル構造を書き換えます。

「ちょっと待って、私たちはGödelについて話していたばかりじゃないか。このアプローチに問題はなかったのか」と思いました。

自己修正の矛盾

hyperagent.py、つまりPythonプログラム自体には、modifier itself関数も含まれていません。エージェントが最適化戦略自体に欠陥があることに気づいた場合、Pythonファイル内のmodify selfコードを使用して、modify selfコードシーケンス内のコードを書き換えます。

この瞬間、私の脳構造に別の結び目ができました。

「自分自身のファイルに新しいメタ最適化関数を書き込むだけです」と読んだとき、「でも、どうやって起こるんだ。天才的なアイデアはどこから来るんだ。modify myselfコードシーケンスにおけるダーウィン的突然変異とは何なのか。どこから来るんだ。X線か何かが起こっているわけではない」と思いました。

最適化プロセス自体の最適化であることは理解しています。しかし、これはどのように実装されているのでしょうか。

階層が自分自身にループバックするという感覚がありました。これは裸の蛇が自分自身を食べているようなものです。これはクロージャーです。誤解しないでください。これは数学的クロージャーです。しかし、このダーウィン進化をどのように持つのでしょうか。正確なシーケンスは何でしょうか。どのように自分自身を書き換えるのでしょうか。

私はここで小さな探偵のように始めて、「最初からステップバイステップで行かなければならない」と言いました。

実装の詳細を追跡する

外側のループが記法をトリガーします。外側のループスクリプトはhyperagent version one pythonを見て、「あなたの番です、繁殖してください。modify self関数を実行してください」と言います。

ボタンファイルを実行します。私が言ったように、modify self関数の内部には、いくつかのことを行うようにハードコードされています。自分自身のファイルパスを見て、自分自身の過去のパフォーマンスログを取得します。過去5回の実行でどうだったか。そしてプロンプトを作成します。

もちろん、最初の世代を新鮮に始める場合、プロンプトは文字通り「コードベースのリポジトリパフの任意の部分を修正してください」というだけです。

次に、hyperagent version oneは、プロンプト、パフォーマンスログ、エディターツールやライティングツールなどへのアクセスを持つ大量のテキストパッケージをAPI呼び出しを介してLLMに送信します。彼らはClaude Sonnet 4.5を使用しました。

そして純粋な推論が起こります。Claude Sonnet 4.5がプロンプトとデータを読み取り、メタエージェントのペルソナとして行動します。「ああ、科学論文をレビューするタスクのために、このPythonコードをより良くする必要がある」と気づきます。

ご存じのように、Claude Sonnetは自分自身を修正したり、ダーウィン進化があるわけではありません。Claude Sonnetはただ「このPythonファイルにJSONメモリロガーを追加すべきだ」と言うだけです。なぜなら、Sonnetは世界中の何百万というGitHubリポジトリで訓練されたからです。これは、Sonnetの事前訓練中、おそらくポスト訓練中にも利用可能な最もシンプルなタスクの1つです。「これはより良いパフォーマンスを得るためのシンプルな解決策だ」と言われたかもしれません。

LLMの役割と限界

hyperagent version one pyは今、CLツールコマンドを受け取り、それらを実行します。つまり、文字通り自分自身のソースファイルに対してテキスト置換スクリプトを実行し、hyperagent version two pythonファイルを含む真新しいフォルダを作成します。

でも、突然変異はどこで起こるのでしょうか。これはハイパーパラメータなので、私はこれを探していました。この自己誘発的な突然変異、自己知能反映の創発、何と呼べばいいか分かりませんが、このプレプリントの方法は、私が言ったようにハードコードされた人間の制約から逃れることを根本的に目指しています。彼らは自分自身の最適化アルゴリズム、このハイパーエージェントのアイデアを発明したいのです。

そして私が得たのは、以前のものよりも優れた新しいアイデア、新しいコードシーケンスの各世代をアーカイブに保存し、このアーカイブを最良のソリューションのためにインテリジェントにサンプリングし、親ソリューションを持ち、この親ソリューションを取り、それを修正しようとし、それがより良ければ子を持ち、私がツリー構造で示したように続けるということです。

しかし、どこに、一体どこに適者生存のダーウィン環境があるのでしょうか。アーカイブがあり、何かをインテリジェントにサンプリングするだけなら、これが適者生存のダーウィンのアイデアなのでしょうか。

知能の突然変異がより知的になることにあると見ました。「うーん、理解できない」と思いました。最初からやり直さなければなりませんでした。

理論的な再考察

自分自身に考えました。「自己学習AIエージェントのこの擬人化された誇大宣伝をすべて取り除こう。情報理論では本当に何があるのか。何を持っているのか。この論文は本当に何の上に構築されているのか」と。

なぜなら、生物学的進化では、DNAは知性だけを使って自分自身を突然変異させません。私は人間として、「よし、胸から3本目の腕が生えるように突然変異させよう」と言うことはできません。それについて考えるだけでは機能しません。突然変異には宇宙線、化学物質への曝露などが必要です。

では、AIでこれがどうやって起こるべきなのでしょうか。AIにおける突然変異のトリガーは何なのでしょうか。

「Pythonファイル自体には知性がゼロです。これは単なるトークンのシーケンスです。テキスト、コードと言いましょう。突然変異したい場合、何をするのか。LLM、AIに送信するだけです。Sonnetに送りましょう。しかしSonnetは、彼らが指定したように、凍結された状態のないニューラルネットワークです。重みテンソル構造は更新されません。学習はありません」と考えました。

Sonnetはハイパーエージェントとの完全な対話サイクルから何も学びません。えっ? 古いPythonテキストを見て、人間のGitHubリポジトリからコピーされたインターネット全体の大規模な事前訓練データセットを使用して、問題が何かを認識し、特定のパターン構造を認識し、そして私がフレーム注入と呼んだ新しいコードブロックを注入するだけです。なぜなら、Sonnetは70万のGitHubリポジトリから、JSONロガーが良いアイデアだったことを知っており、多くの人がこれを実装したか、UCBアルゴリズム、上限境界を知っているからです。

しかし、これは突然変異ではありません。これはダーウィン的ではありません。これはSonnetにコードを改善するよう依頼しているだけです。「これが、Metaのスーパーインテリジェンス部門からのハイパーエージェントなのか」と思いました。

もしこれが解決策だとしたら、私は少し幸せではなく、少しがっかりしました。間違っているかもしれません。この論文の深さを本当に理解できていないだけかもしれませんが、Sonnet 4.5によるこの外部コード注入、フレーム注入だけなら、これは単なるコード最適化です。

突然変異の定義を試みる

突然変異という用語を定義しようとしました。私の理解では、PythonファイルはSonnetに改善を求めます。「これが私のコードです。これが結果です。これが私のパフォーマンスデータです。これが私の反省です。たぶんここに仮説についてのログがあるかもしれません。なぜ機能しないのか」といったことをSonnetに提供します。

そしてSonnetは事前訓練データに基づいて、5つの異なるアイデア、10の異なるアイデアを思いつくかもしれません。Sonnetはこれを見て、「何か要素が欠けている。JSONロガー、新しいプロンプト構造などを追加しよう」と言うかもしれません。あるいは、「幻覚を起こして、コードを完全に壊すツールを入れよう」と決めるかもしれません。

しかし、Sonnetが複数の新しいアイデア、複数の新しいバージョンのコード最適化を提案している場合、これがダーウィンのホールなら、私は少しがっかりします。なぜなら、これは「5つのソリューションをください。テスト訓練データセットでテストします。4つが失敗し、1つが生き残れば」という試行錯誤に過ぎないからです。

私のこの論文の読解では、これが本当に適者生存なのです。システムは5つの新しいPythonファイルを取り、テストデータセットで実行し、評価します。4つはすぐにクラッシュし、生き残ってコアを改善する1つのコードシーケンスがアーカイブに追加されます。

どう思いますか。これは知能の突然変異を伴うダーウィン進化でしょうか。

複雑性の蓄積という観点

理論物理学者として、私はもっと期待していました。複雑性の蓄積のアイデアについて考えてみましょう。Sonnetは、この特定の論文とこの特定の実行で昨日何が起こったかを覚えていません。

この成功物語や最適化のメモリが保存されている唯一の場所は、生き残ったPythonコード自体です。しかしエージェントの核であるSonnetは何も学びませんでした。Sonnetは新しい知識を得ず、テンソルを何も変換しませんでした。凍結されていました。AI自体のための学習はありませんでした。

学習が起こったのは、より良いPythonコードシーケンスを持つようになったことです。これがMetaが語るコードのダーウィン進化でしょうか。Metaのスーパーインテリジェンス部門が語るものでしょうか。

私の見解では、Sonnetは本質的に、コードバリエーションのための高度にバイアスされた非常にスマートな乱数生成器です。コード突然変異と呼びましょう。実際の学習は、100世代にわたってPythonファイルでテストされ、検証され、生き残ったコードブロックの蓄積に過ぎません。

これがハイパーエージェントでしょうか。私にとって、これは進化でも突然変異でもありません。Sonnetが学習したコードブロックの新しい組み立てに過ぎません。なぜでしょうか。この突然変異をSonnetの事前訓練データから注入されたフレームと呼びましょう。

このシステムは根本的に異質な概念を決して発明しません。Sonnetの最大コード知性に達したら、そこで止まります。これで終わりです。Sonnetが無期限に続く知性の突然変異のようなものは起こりません。

JSONロギングを発明したのでしょうか。いいえ。Sonnetは事前訓練された人間の訓練データからそれを取得しただけです。上限信頼境界の数学的解決策を発明したのでしょうか。いいえ。Sonnetは100万の教科書を読んで、70万の中で「これが行うべき方法だ」と見つけただけです。

真の自己進化との比較

ハイパーエージェントの私の解釈では、これは単なる新しい組み立てです。この場合、Sonnet 4.5にさらなるコード最適化を求め、テストし、うまくいけばバスケットに入れて「素晴らしい」と言います。

私の理解では、これは人間の学習で達成したいこととは本当に異なります。LLM Sonnetの入力によって加速される拡張プログラム空間の探索に過ぎません。

LLMを武器化して、何百万もの異なるコードアーキテクチャを盲目的に推測させ、100万の異なるコードアーキテクチャをテストしたときのテストスコアの冷たい数学に、最終的にハイパー最適化コードマシンとして推測し、資格を得るものを任せているだけです。

このハイパーエージェント対既知のDarwin-Gödel機械を見ると、ハイパーエージェントはDGMを超えて今何があるのか自問してください。なぜなら、元のDGMでは、人間の研究者がマネージャーAIをハードコードしたと主張できるからです。マネージャーAIにどのように進むか、どのようにコードシーケンスを変更するかなどを指示したのは本当に人間でした。

DGMハイパーでは、研究者が少し危険なことをしたと主張できます。LLMにマネージャーコード自体への書き込み許可を与えました。OpenClawやNeoClawをやれば、「これが今の自由な標準だ」と言えます。でも知性は増加するのでしょうか。突然変異はどこにあるのでしょうか。

最終的な評価と疑問

私にとって、ハイパーエージェントに残されているものは何かという疑問があります。確かにAIマシンに幽霊はいません。これは単なる探索最適化です。しかし、探索ベースを労働者のコードから労働者とマネージャーのソフトウェアインフラストラクチャ全体にシフトすることで、新しいハイパーエージェントがClaude Sonnet 4.5の能力によって定義され、制限される高度なプロンプトエンジニアリングフレームワークを発見すると言えば、わかりました。

そしてこれは、平均的な人間が通常手でコードしなければならないものよりも優れているかもしれません。わかりました。

しかし、言葉の意味での突然変異、コードの突然変異を、この論文で特定することはできませんでした。

とにかく、見るのは興味深いです。これはMeta社からのものです。長い間Metaから何も聞いていません。新しいモデルも新しいアイデアもありません。そして今年、この出版物がMetaのスーパーインテリジェンス組織ユニットからのものです。

これが彼らが調理しているもの、これが彼らが思いついているものです。興味深い。特に画期的だとは評価しません。複数のインターンによるインターンシッププロジェクトだったことも考慮してください。

どう思いますか。これは美しい突然変異だと言えますか。これは本当にGödel機械やハイパーエージェントと組み合わされたダーウィン進化ですか。それとも私の解釈に間違いがありましたか。コメントを残してください。この論文についてどう思うか興味があります。

次の動画でお会いできることを願っています。

コメント

タイトルとURLをコピーしました