MITが発表した再帰的言語モデル(RLM)は、従来のLLMが抱えるコンテキスト長の限界と推論能力の劣化という根本的問題に対する革新的な解決策である。本研究は、GPT-5のような最先端モデルでさえ、公称の27万トークンのコンテキストウィンドウを持ちながら、実際には1万6000トークン程度で複雑な推論タスクにおいて性能が著しく低下することを実証的に示した。RLMは推論時の新たな戦略として、長文プロンプトを外部環境として扱い、LLMがPythonコードを生成して自身を再帰的に呼び出すことで、100万トークン以上のコンテキストを効果的に処理できる。この手法は、ニューラルネットワークの言語理解能力と決定論的なシンボリックコードの論理処理を組み合わせたニューロシンボリックアプローチであり、コストは約2倍に増加するものの、複雑な推論タスクにおける性能を0.04%から58%へと劇的に向上させる。本技術は既存のあらゆるLLMに適用可能な推論手法として、2026年のAI開発における重要な方向性を示している。
MITによる革新的な再帰的言語モデルの登場
こんにちは、コミュニティの皆さん。お帰りなさい。今日はMITから全く新しいトピックをお届けします。私のチャンネル、ディスカバリーへようこそ。最新の研究論文を見ていきます。
想像してみてください。ほんの数日前、Googleが発明した新しいトランスフォーマーについてここで話しました。メーターコントローラーのことです。そしてわずか2日前には、DeepSeekから新しいトポロジカルトランスフォーマーが発表され、これが新しいGoogleトランスフォーマーと完全に互換性があるというものでした。
つまり、両方を組み合わせることができるんです。そして今日、今日はMITから全く新しいものがあります。MITは言います。「LLMのことは忘れてください。RAGシステムのことも忘れてください。もっと素晴らしいものがあります。再帰的言語モデルです。これは推論手法であり、ほぼすべてのLLMに適用できる新しい技術です」信じられません。
彼らは何に取り組んでいるのでしょうか。彼らは言います。「ご存知のように、私たちにはまだコンテキスト腐敗があります。これは名ばかりの解決策のままです。なぜなら、コンテキスト長が増加するにつれて、LLMの推論能力は劣化するからです。しかも線形ではなく、劇的に、特に科学、金融、医療などの情報密度の高いタスクで顕著です」
MITは今、コンテキストウィンドウをトークン数で100万トークン、さらには1000万トークンまで拡張する新しい方法があると教えてくれます。これはつまり、GPT-5の場合、OpenAIによる従来のコンテキストウィンドウはわずか27万2000トークンでしたが、今や推論実行時に100万トークン以上に拡張できるということです。これは本当に驚くべきことです。
コンテキスト腐敗の相転移現象
彼らはまた、GPT-5システムにおけるコンテキスト腐敗には相転移があると述べています。そして、情報密度、情報の複雑性がGPTシステムのパフォーマンスにとって重要な変数であることを特定したと言います。
物理学の用語で言えば、標準的な大規模コンテキストモデルは、信号対雑音比が本当に高い、複雑な推論タスクがほとんどない希釈された限界でうまく機能します。
しかし、これは事実上、必要な推論密度が増加するにつれて、私がいくつかのOlongペアをお見せしますが、LLM自体が相転移を起こし、注意機構、つまり私たちの古典的なトランスフォーマーアーキテクチャが一貫性を維持できなくなるということを主張しているのです。MITはこの問題を診断し、適用可能な解決策を見つけました。
さて、皆さんが何を言おうとしているか分かります。「ちょっと待ってください。つまり、27万2000トークンまで取り込めるGPTシステムがあるのに、幻覚を起こしたり完全に焦点を失ったりせずに効果的に推論できないと本気で言っているんですか?」その通りです。
そして皆さんは反論するかもしれません。「では、GPT-5を使った複雑な推論構造とRAGすべてに17万トークンを使えばいいじゃないか」と。
どうなると思いますか。GPT-5は1万6000トークンのコンテキスト長で失敗し始めるのです。この1万6000トークンという数字は、かなり強烈でかなり長い私の論理テスト、エレベーターテストが、2~3年前から知られている標準的なベンチマークテスト、本当に短いものと比較して、この挙動を示し始める理由を説明するでしょう。
GPT-5の実際の推論能力の限界
そして分かっています。皆さんは「ちょっと待って。どこの無名大学の小さなグループが、優秀な若いAI学生たちとはいえ、GPT-5のスターダムとOpenAIの新しいIPOにあえて挑戦するんだ?」と言うでしょう。
はい、皆さんの予想通り、MITです。これは彼らの主な結果の一つです。これを見てください。X軸に対数スケールで入力コンテキスト長があり、もちろんここにパーセンテージでのGPT-5のスコア、パフォーマンスがあります。
皆さんは「見て、素晴らしい100%だ」と言うかもしれません。いいえ、これは最大27万2000トークンまで100%に留まる線です。素晴らしいですね。でも、これは何でしょう。これは有名な「干し草の山の中の一本の針」テストです。これは複雑度1です。つまり、本の中で一つの単語やパスワードか何かを見つけるようなものです。LLMは単語の集合の中で単語を見つけることができます。素晴らしい。
でも、私たちは何をしているでしょうか。推論をしているんです。金融がある場合、複雑なタスクがある場合、単語を見つけたいのではありません。推論アルゴリズムが働くことを望んでいます。
ここにあります。Olong。これはn次の複雑度を持つ推論アルゴリズムです。例えば、それは何でしょうか。これが最も単純な複雑度です。いいえ、すべての行を読んで値を合計するというものです。
皆さんは「ええ、素晴らしい。GPTは限界までこれをやってくれる」と言うかもしれません。いいえ、GPTはここで、その訓練済みコンテキストウィンドウを与えられた場合、ほぼ20%、30%のパフォーマンスまで落ち込みます。
「どうしてこんなことが可能なんだ?」と思うかもしれません。でもちょっと待ってください。ここにOlongペアからの別の線があります。「これは一体何だ?」と思うでしょう。これは二次の複雑度を持つ推論プロセスです。
特定の特徴や特性を共有するすべてのユーザーのペアを見つけるという、信じられないほど複雑なタスクがあります。パターン認識AIマシンにとっては本当に単純なタスクですが、これはGPT-5にとって絶対的な拷問テストです。
ご覧の通り、ベンチマークを見てください。ここに1万6000トークンのコンテキスト長でオレンジ色の点線があります。1万6000トークンは、RAGを使う場合や複雑な推論構造がある場合、多くはありません。
GPT-5の線形複雑度のパフォーマンスを見てください。すでに80%以下に落ちています。二次複雑度では、すでに60%以下のどこかにあります。そして3万3000トークンでは、GPT-5のパフォーマンスはほぼゼロです。
マーケティングの「干し草の山の中の針」を混同しないでください。「ええ、完全なウィンドウ長で絶対に100%です」というのは違います。推論能力について話す必要があります。これはGPT-5では3万3000トークンで終わります。
Nvidiaによる先行研究との関連
さて、これがMITによる最初の洞察でした。そして私たちはこれを知っています。いいえ、これはNvidiaによるもので、見てください、これは2024年8月でした。かなり前のことで、Nvidiaはすでに「長文コンテキスト言語モデルの本当のコンテキストサイズは何か」と言っていました。
そして彼らはすでに示唆していました。「干し草の山の中の針を見つけることではありません」と。全く逆です。しかしこれが今日のメインペーパーです。MITの素晴らしい論文で、Omarがここで2人の学生を美しく指導しており、彼らは再帰的言語モデルを開発しました。
彼らは言います。「私たちはこれがGPTシステムにとって大きな問題であることを理解しました。では、解決策を見てみましょう。なぜなら、失敗を見つけるのは良いことですが、それを解決しなければならないからです。いいえ、改善しなければなりません。より良くしたいのです」
再帰的言語モデルの解決策
彼らは、一般的な推論戦略を開発したと言います。つまり、重みテンソルや構造などにアクセスする必要はなく、推論実行中に長いプロンプトを外部環境の一部として扱い、LLMにプログラム的に検査、分解させ、プロンプトの断片に対して自分自身を再帰的に呼び出させるという特定の戦略を実行するだけです。
靴下をしっかり履いていてください。これを行うと、本当に驚くべきことですが、GPT-5のサイズの4倍にすることができます。推論実行中のこのRLM GPT-5で、100万コンテキストでのパフォーマンスが得られます。これは全く訓練されていません。通常のGPT-5では不可能です。
そして、複雑なタスクや二次複雑度タスクに対して、ほぼ50%またはちょうど50%のパフォーマンスを維持できます。これは巨大な改善です。信じられないほどの改善です。なぜなら、通常、二次複雑度はGPT-5では3万3000トークンで終わるのに、今では100万トークンまで行けるからです。
MITはどうやってこれを達成したのでしょうか。解決策は、皆さんご存知です。簡単です。ニューロシンボリックです。誰が予想したでしょうか。
重要な洞察は、長いプロンプトをAIに、ニューラルネットワークに、トランスフォーマーアーキテクチャに直接入力すべきではなく、代わりにLLMがシンボリック的に相互作用できる環境の一部として扱うべきだということです。
20万トークンの古いデータの大量のプロンプトを、Googleの100万トークンでもOpenAIの27万トークンでも、制限されたコンテキストウィンドウのトランスフォーマーに直接入力する代わりに、RLMはプロンプトを外部環境のオブジェクトとして扱います。
そして最もシンプルなPythonを使います。このモデルは今、検査し、チャンクに分割し、サブインスタンスで自分自身を再帰的に呼び出すコードを書きます。単一のサブインスタンスだけでなく、複数のサブインスタンスでデータを処理するのです。
このPythonは今、古い友人、REPL(Read-Eval-Print Loop)です。これに馴染みがない方のために説明すると、小さなコード片を入力して結果を一度に一ステップずつすぐに見ることができるインタラクティブなプログラミング環境です。ほぼすべてのプログラミング言語にこれがあります。Python、Lisp、Ruby、Juliaなど、何でもあります。
再帰的言語モデルの仕組み
少し視点を変えてみましょう。別の観点から見てみましょう。楽しみましょう。なぜなら、これは人間のYouTuberだからです。私はAIによって制限されていません。
この再帰的言語モデルは、仮想メモリを使用するコンピューターとオペレーティングシステムのように機能すると考えてください。プロンプトはハードディスク上のファイルとして扱われます。これが外部環境です。そしてCPU、これはもちろん私たちのLLMですが、一度にすべてを見ることはできません。
メカニズムは何でしょうか。ファイルを読むために、オペレーティングシステム、つまり私たちの再帰的言語モデルは、0から1000のコンテキストとか、50ページに分割するとか、特定の読み取りコマンドを発行しなければなりません。
何をするかというと、小さなデータのページをRAMまたはVRAMに引き込み、それらを処理し、結果を保存し、次のページのためにメモリをクリアします。ほら、とても簡単です。適切な複雑さに対して適切なアイデアを持つだけでいいのです。
そして再帰呼び出しを追加します。これはマルチスレッドプロセスのように機能します。ページが複雑すぎる場合、メインプロセスは子プロセス、再帰的なサブ言語モデル呼び出しを生成して、特定のチャンクを処理し、答えだけを返します。
はい、それだけ簡単です。これは誰もまだ公開したり発見したりしていない方法論で、OpenAIでさえこれに言及していません。これは美しい重要な技術的発見です。
二次複雑度のタスク、私がお見せしたように、10万件のドキュメントですべてのエンティティのペアを見つけるタスクでは、標準的なRAGは失敗します。なぜなら、検索が単に損失があるからです。また、コンテキストの圧縮や要約も失敗します。単に詳細の損失があるのです。
でもご存知ですか。MIT が示したRLMは成功します。なぜなら、決定論的なコード、forループを介してデータの100%カバレッジを確実にするためにプログラム的に反復するからです。つまり、これは非常にシンプルで、些細なことです。そして今、私たちはこれを発見するのです。
再帰的言語モデルの3つの構成要素
この方法論の構造的革新は何でしょうか。ご想像の通り、3つのコンポーネントに依存しています。
まず、美しい環境、Pythonがあります。プロンプトPは、Python REPLの内部で文字列変数コンテキストとして読み込まれます。
第二に、インターフェースがあります。LLMにはシステムプロンプトが与えられます。5分後にシステムプロンプトをお見せします。すべてがすぐに利用可能です。すぐに始められます。これはコンテキストへのアクセスがあることを説明しており、そして今、これが私たちの特別な魔法の関数、サブプロンプトに対するlm_queryです。
そしてもちろん、再帰的軌跡があります。これだけです。これがすべてです。再帰的軌跡を詳しく見てみましょう。
フェーズ1は探索です。AIは今Pythonコードを書きます。これが最も複雑なことです。本当に信頼できるPythonコードを書くことができるLLMが必要です。彼らはここで、8BモデルはこのようなロングコンテキストでのPythonコード推論において本当に信頼できるコードを書くのに最適なLLMではないと述べています。
少し大きなモデルで素晴らしいPythonコードを書いてください。それは正規表現関数やスライシングを使ってデータの構造を検査します。これはCSVですか。最初の5行をチェックさせてください。LLMはアクションを実行するためにPythonコードを書くだけでよいのです。
フェーズ2は分解です。AI GPT-5は今、この定義されたコンテキストを反復処理するためにPythonでループを書きます。
フェーズ3は再帰です。このループの中で、有名なLLM queryを呼び出します。これは空のコンテキストウィンドウを持つGPT-5の新しいインスタンスを生成します。なんという驚きでしょう。
このサブインスタンスで特定のチャンクを読み出し、タスクが何であれ、圧縮されたインサイトのオーディオを返します。
そして4つ目は単に集約です。ルートモデル、GPT-5は、GPT-5のすべてのサブ呼び出しから出力を収集し、最終的な答えを合成します。
再び、ここでGPT-5の言語能力に依存していますが、何かに気づきましたか。すべての論理推論はPythonにアウトソースされていますが、これを推論技術として持つことができる方法で行われています。これは美しいです。オープンソースとプロプライエタリモデルをすぐに使用できます。
GPT-5のパフォーマンス結果とコスト分析
GPT-5のパフォーマンス結果はどうでしょうか。Olongペア全体で、3万2000トークンのコンテキストがあるとしましょう。何もないGPT-5は0.04パーセントポイントの成功率でスコアします。
GPT-5上のこのラッパーは58%をスコアしました。推論技術だけでこれはかなり印象的だと思います。
そして皆さんが何を言おうとしているか分かります。「うわー、これは100倍も高価に違いない。1000倍も高価に違いない」と思ったでしょう。
さて、ここにあります。彼らはこれをGPT-5だけでなく、Q coderでも行いました。なぜなら、コーディングが、美しい要約という言語的なものよりもさらに重要な部分だからです。
GPT-5については、最初の行にベースモデルがあり、私が言ったように、この3万2000トークンのOlongペアに行きましょう。GPT-5のパフォーマンスは0.04パーセントで、コストは16セントです。4Kで録画したので、問題なく読めるはずです。
さて、RLM GPT-5バージョンを使うと、今度は33セントかかります。つまり、2倍です。でもパフォーマンスのジャンプを見てください。0.04から58%です。
つまり、この特定のOlongペアテスト、ベンチマーク、何と呼んでも構いませんが、16セントではなく33セントになるので、価格は2倍になりますが、素晴らしいパフォーマンスジャンプを実現し、これを推論で行います。これは完全なOlongペアテストのコストです。
これは自明だと思います。もちろん、私のテストが二次複雑度以上である場合、少し多く支払うことになります。例えば、GPT-5がこれを小さな部分に分解しなければならないかもしれないので、テストがより挑戦的であればあるほどです。そして何かをコード化する方法は、特に代数的でない用語では簡単なタスクではありません。
しかし、このテストセットでの価格差についてのアイデアがあります。付録でMITは複数の例を公開しています。これを見てください。1つだけお見せしたいと思います。
実際の使用例
GPT-5上のこのRLM推論ラッパーがあり、browse comp plus queryのクエリ74を実行する場合。例として、このタスクでは、エージェントは次のマルチホップクエリへの答えを見つけなければなりません。
証拠文書と否定的な文書を含む1000の一意の文書のコーパスを与えます。これがタスクです。気にしないでください。何でも読めます。特定の年のコンテストに優勝した人の名前と姓は何かという質問です。素晴らしい。
ステップは何でしょうか。GPT-5で行くとしましょう。GPT-5は、正規表現クエリで1万のリストを探索することを決定します。これがGPT-5が書くコードです。
このイベントについてのいくつかの賞がありますが、プロンプトに与えられた特定のクエリを考慮して、美人コンテストやフェスティバルのような特定のキーワードも探します。素晴らしい。
ステップ2、この正規表現クエリを実行した後、ルートLM、GPT-5は、インデックス番号6のチャンクで興味深いスニペットを見つけます。そこで、元のクエリに関連する情報を探すために、この特定のスニペットに対して美しい再帰的LM呼び出しを起動します。
RLMはこの情報を変数に保存することも、ルートLMが見るためにこの情報を印刷することもできます。サブLLM呼び出しは答えが特定の名前であることを見つけ、この特定の情報をルートLM環境に保存します。
ここにこれのコードがあります。すべてがPythonまたはここで必要なものにコーディングに転記されていることが分かります。
ステップ3、上記の情報をチェックした後、今何か美しいことが起こっています。ルートLMまたはGPT-5の推論は、この特定のクエリに答えるのに十分な情報を持っていますが、MITは、ルートLMが今、その答えがこのチェックと一致することを確認するために2つの追加の再帰的言語モデル呼び出しで答えをチェックすることを選択したと決定しました。
そしてその後、最終的にルートLM GPT-5は、この特定の名前で最終的な答えを返します。これは実際に正しい答えであり、ここでコードを見ることができます。これは最もシンプルなコード例です。すぐに複雑さを増やすことができ、MIT出版物の付録にこれらすべての例の詳細があります。
彼らはまた、GPT-5で100万コンテキストトークンウィンドウを使いたい場合の全体的なコストの例もここにあります。運用コストがどれくらいかかるか興味がありました。
ここにあります。クエリあたりの平均コスト、0ドル、1ドル、2ドルから始まり、最大2.50ドルです。青色で、ビデオの冒頭で見た3つの異なるタスクでの純粋なGPTがあり、GPT-5のネイティブ最大コンテキストウィンドウ27万2000トークンまで、非常に低いことが分かります。
でも見てください。推論なしで、1万冊の本から用語を見つけるだけの価格は、このMIT技術でGPT-5で100万コンテキストウィンドウを使用しても、ほぼ同じです。10セントで絶対的に飽和します。
しかし、もちろん推論プロセスが最も重要です。ここにオレンジ色の線があります。ご覧の通り、25万から50万へのジャンプはそれほど多くありません。わずかな傾斜です。
しかし、100万を本当に利用したい場合、タスクの線形複雑度を考えると非常に多くのAPI呼び出しを行うため、この特定のタスクで1ドル以上になることが分かります。
でも覚えておいてください。100万コンテキストウィンドウで作業しているのです。それは本当に機能します。なぜなら見てください。これが私たちのパフォーマンスとコストグラフで、パフォーマンスは100万のどこかで50%です。
つまり、答えが正しく、幻覚ではない50/50のチャンスがあり、GPT-5は25万トークンで止まって「これで限界です」とは言いません。
そしてもちろん、二次複雑度がある場合、価格は1ドルから2.50ドルに上昇することが分かります。なぜなら、二次複雑度がある場合、はるかに多くのAPI呼び出しがあり、単純により多くのトークンを使うからです。
しかし、GPT-5で100万コンテキスト長まで行けます。RLMシステムプロンプトをお見せすると言いました。4Kで録画しました。
システムプロンプトの公開
これがパート1です。これがGPT-5を念頭に置いたRLMのシステムプロンプトです。つまり、GPT-5用に最適化されています。2番目の部分は単にこれです。
ご覧のように、複雑なものは何もありません。これは単純で素晴らしいアイデアです。しかし、このアイデアの複雑さはかなりシンプルです。この洞察を持つだけでよいのです。
プロンプトエンジニアリングが何であれ、忘れてください。今、絶対に美しいものがあります。でもちろん、明確にしたいのは、GPT-5システムまたは使用するシステムの知能に依存しているということです。
このシステムが問題をコードシーケンスに分解し、C++を実行するか、Pythonを実行するか、何でも実行できない場合、このシステムは失敗します。だから、すべてここに依存します。優れたコーディングシステムでなければなりません。
そして、おそらくこれを試してみます。コードにはClaude 4.5を使用し、純粋なLLMの言語的意味的複雑性にはGemini Pro 3を使用します。おそらく両方のモデルの洞察を組み合わせることができます。
ニューロシンボリックアプローチの本質
この再帰的言語モデルは単なる方法ではありません。注意だけでは十分ではないという認識です。なぜなら、この注意を超えることができるからです。
注意は局所的な、推論とさえ呼ばないでしょう、局所的な検索アルゴリズムには十分です。干し草の山の中の針を見つけるだけです。しかし、科学のように、今RAGを使用している大規模なデータセットにわたって多くの情報がある、グローバルで高密度の推論に行く場合、単純により簡単な解決策があります。
シンボリック論理が必要です。注意交響楽団を調整するためにコードを使用します。私の科学的判断を許してください。このMITプレプリントは、堅牢なAI推論への道、本当に推論があり、単純なベンチマークテストだけではない推論は、GPTシステムではなく、ニューロシンボリックシステムにあることを確認しています。
したがって、曖昧な直感にはニューラルネットワークを使用します。これは特定の方法でのlm_query関数で、お見せした通りです。そして何らかのシンボリックコード、Pythonを使用します。好きなものを使ってください。厳密な構造、forループのために。
これがMITのこの出版物で見られるパフォーマンスを提供します。明確にするために、繰り返させてください。3つの要素があります。
ルートLLMがあります。これは一種の建築家です。しかし、ルート建築家、LLMは推論を行っていません。ルートLLMの仕事は、厳密にコード生成とサブLLMから返される結果のオーケストレーションです。
つまり、私の単純な頭脳では、これはコード、LLMが書くものが効果的に言っているということです。「Python、このテキストを10チャンクに分割してください。そして各チャンクについて、それを読むために自分自身のクローンに入力し、答えを返してください」
これだけです。2番目はここで実際のエンジン、実際の推論エンジンです。これは決定論的システムです。Python、C++、好きなものです。これは線形複雑度または二次複雑度のコード表現を実行します。
つまり、これは、Leanシステムのような、Pythonである必要はないが、LLMが苦手な、カウント、インデックス作成、ループ、メモリに大量の文字列変数を保持するような、ハードロジックを処理します。
お見せしたように、このPython環境にはこの特別な関数、LM queryがあります。そしてもちろん、再帰的なので、このルートLLMは、実際の作業を行うGPT-5を支払わなければならない、自分自身の複数の同一コピーを生成できます。
しかし繰り返しますが、これらは、コード内のLM query関数によって生成されたインスタンスです。彼らは議論しません。読み取り、要約、またはコードから結果を抽出するような曖昧な論理を処理するだけです。
すべての知能がAIから、LLMから、Pythonに、C++に、Lean 4に、何でも持っているものに移動したことが分かります。LLMは今、素晴らしい文を定式化し、美しい言語的複雑性の文を構築する、この美しい言語マシンにのみ使用されています。
しかし、推論、論理、因果推論はもはやAIでは行われていません。したがって、このLLMとRACKシステムとRLMを比較すると、RACKは確率的でした。LLMによる生成と、オーダー1またはlog nの検索複雑度の近似がありました。
RACKは、エンコーダトランスフォーマー部分によるプログラミングが十分なデータで正しい方法で行われた場合、ベクトル検索が高次元ベクトル空間で正しい針、正しいコサイン類似性を見つけることを期待していました。
再帰的言語モデルは、靴下をしっかり履いていてください、決定論的で網羅的です。オーダーnまたはn二乗です。コードを介してすべてのデータを反復することによってカバレッジを保証します。もはや確率的ではありません。決定論的です。
しかし、コードによって提供される事実の文の定式化と要約にのみ、AI確率的エンジンを使用します。決定論的90%ですが、少しここでも確率的です。
未来への展望
もちろん、将来の見通しとして、任意のLLMが与えられた問題を再帰的に分解し、コードを介してディスク、環境を読み取ることができれば、今日事実上無限のコンテキストウィンドウを持っています。
つまり、2026年のここでの課題は、非同期並列処理のようなこれらの再帰ループのレイテンシを最適化することであり、事前トレーニングやファインチューニングやポストトレーニングでトランスフォーマーの注意スパンをここで拡張することではありません。
この技術により、無限のコンテキストウィンドウは、良すぎるほど大きく聞こえます。もちろん、ニューロシンボリックは今始まったばかりではないことを理解しています。
先週の私の最後のビデオを見てください。ワールドモデルを備えたニューロシンボリックT5 Googleアーキテクチャについて話しました。数日前、ニューロシンボリックウェブワールドモデルに関するビデオがありました。
ニューロシンボリックは、2026年にAIで進むべき道です。科学、論理、推論に関係があり、1万冊の本で単語を見つけるだけではない場合です。
個人的な声明を言わせてください。ニューラルの重みからPython環境にメモリを移動することにより、MITは、ニューラルネットワークが現在、それらをサポートするシンボリックな外骨格なしでは、正確な大規模推論には不十分であることを明確に示しました。
MITによるこの声明はかなり印象的だと思い、次のGPT-6システムが今トレーニングを開始すべき場所を示しており、2025年のような同じ古いものではありません。2026年のAIの未来のための完全に新しいアイデアがあります。
そしてはい、もちろん、再帰的言語モデルもニューロシンボリックエージェントです。シンボルを書くためにニューラルネットワークを使用します。コードを必要とする場合、シンボルを使用してニューラルネットワークを制御します。
AIの知能にまだ依存しており、優れたコードAIシステムを持つ必要があり、ここでClaude 4.5を使用しますが、好みのコーディングモデルで行けると思います。試してみてください。
これを実行しようとした場合のフィードバックに非常に興味があります。
用語の定義
最後に、いくつかの定義です。なぜなら、ここで使用した言葉の定義は何かといつも聞かれるからです。
再帰呼び出しは、関数エージェントが、より大きな問題の小さな部分を解決するために、自分自身の新しいインスタンスを呼び出すプロセスです。このアーキテクチャでは、再帰呼び出しは文字通りLM queryという名前のPython関数です。
MITによる出版物にすべての例があります。したがって、再帰呼び出しは今、縮小された複雑性を持つ特定のサブタスクを処理するために、この特定のAIの時間的に隔離されたコピーを生成し、このAI自体のコピーを閉じ、結果のみを保持するだけです。
これが集約され、純粋なメモリ問題を管理問題に変換します。美しくないですか。楽しんでいただけたことを願っています。このトピックに新しい洞察があったことを願っています。
新しいGoogleトランスフォーマーがあることは絶対に魅力的だと思います。DeepSeekのアルゴリズムがあります。トランスフォーマーアーキテクチャ内の残差ストリームを最適化するためのものです。これはGoogleトランスフォーマーの最適化と完全に互換性があります。
そして3番目のステップとして、この新しいAIを実行する推論部分で、再帰的言語モデルがあります。そしてこれらすべてが3日間で。2026年の最初の3日間です。なんてことでしょう。2026年は大変な年になりそうです。
購読して、メンバーになってみませんか。
コメント