現代のAIシステムが抱える最大の課題の一つである「破滅的忘却」に対し、Googleが画期的な解決策を提示した。ニューラルネットワークは新しいタスクを学習する際に以前の知識を失ってしまうという根本的な問題を抱えており、これがAGI実現への大きなボトルネックとなっている。Googleの新しい研究論文「Nested Learning」は、モデルを複数の入れ子状の最適化問題の集合として捉え、それぞれが異なる速度で学習することで人間の脳のような記憶システムを構築する。この手法により、新しい情報を学習しても過去の知識を保持できる可能性が示された。Hope モデルはTransformer、Titans、Mamba 2などを上回る性能を発揮し、長文脈推論やニードル・イン・ヘイスタックテストで優れた結果を示している。これはAI研究における実質的な前進であり、真の継続学習能力の実現に向けた重要な一歩である。
Googleの破滅的忘却への挑戦
ニューラルネットワーク、つまり今日のAIシステムが抱える最大の問題の一つが、破滅的忘却と呼ばれるものです。皆さんも聞いたことがあるかもしれませんね。これはAIが新しいことを学習した瞬間に、以前学習したことを突然忘れてしまうという現象です。本質的に、今日のAIシステムは時間をかけて真に学習することができないのです。
もちろん再訓練は可能ですが、人間のように記憶して適応することはできません。ファインチューニングを行うたびに、その脳を消去してゼロからやり直すようなものなのです。OpenAIの共同創設者であり、テスラの元AI責任者だったアンドレイ・カルパシーは、これが現在AGIへの最大のボトルネックの一つだと述べています。なぜなら、これらのモデルがどれだけ大きくなっても、継続的に学習することができないからです。
ただし彼はこの発言の直後に、現在のAIをスロップ(粗悪品)と呼んでもいますけどね。まあ、それはご自由に解釈してください。しかしイーロン・マスクも最近この問題を取り上げました。彼は、Grok 5がAGIに到達する確率は10%で上昇中だと述べています。誰かが「継続学習機能を持つのか」と尋ねたところ、マスクは「動的強化学習が重要だ」と答えました。そして、Grok 5は賢い人間のようにほぼ即座に学習するだろうと付け加えたのです。
しかしこれまでのところ、それらはすべて単なる話に過ぎません。なぜなら、この問題に関して私たちが実際に見てきた唯一の本当の進展は、すべてを変える可能性のある研究論文を発表したGoogleから来ているからです。タイトルにあるように、継続学習のための新しい機械学習パラダイム、Nested Learningの紹介です。
Nested Learningとは何か
Nested Learningは機械学習への新しいアプローチで、モデルを複数の小さな入れ子状の最適化問題の集合として捉え、それぞれが独自の内部ワークフローを持つことで、新しいタスクの学習が古いタスクの習熟度を犠牲にするという破滅的忘却の問題を軽減、あるいは完全に回避しようとするものです。
簡単に言えば、一つの大きな脳がすべてを一度に学習しようとするのではなく、Googleは基本的に多くの脳から成る脳を作っているのです。それぞれが独自の速度で学習します。速く適応するものもあれば、ゆっくり学習するものもあり、それらが一緒になって、新しいことを学ぶたびに自分自身を消去しない種類の記憶システムを構築するのです。
Googleは、過去10年間でAIに大きな進歩が見られたものの、継続学習、つまり古いスキルを忘れることなく時間をかけて学習し続ける能力は、基本的にまだ解決されていない唯一の分野だと述べています。ただし彼らは、継続学習と自己改善に関しては、人間の脳が依然としてゴールドスタンダードであると言及しています。
人間の脳は神経可塑性を通じて適応します。これは新しい経験や記憶に応じて文字通り自分自身を再配線する能力です。その能力がなければ、人は前向性健忘症の人のように基本的に現在の瞬間に閉じ込められてしまうでしょう。そして現在のAIモデルもある意味で同じようなものなのです。
彼らの知識は二つの場所に固定されています。短期的なコンテキストウィンドウの中にあるものと、事前学習中に記憶したものです。その中間がないのです。さて、新しいことを学ぶたびにモデルのパラメータを更新し続けることもできます。しかしそれが、ご存知のように破滅的忘却として知られるものを引き起こすのです。新しいことは学習しますが、古いことを忘れてしまうのです。
研究者たちはより良いアーキテクチャとより賢い最適化アルゴリズムでこれにパッチを当てようとしてきました。しかし彼らは常にこれら二つのもの、つまりネットワーク自体とそれを訓練するアルゴリズムを別々のものとして扱ってきました。そしてGoogleが主張するのは、その分離こそが私たちを妨げているものだということです。
学習パラダイムの革新
したがって、「Nested Learning: The Illusion of Deep Learning Architectures(深層学習アーキテクチャの幻想)」というタイトルの論文で、Googleは基本的にこう言っています。もしモデルと訓練プロセスが実際には同じものだとしたらどうでしょうか。
つまりこういうことです。Nested Learningは、AIモデルを一つの大きな学習者としてではなく、互いに入れ子になった多くの学習システムの集まりとして見ます。それぞれが独自の情報の流れと独自の更新速度を持っています。繰り返しになりますが、一部は速く学習し、他は遅く学習し、それらが一緒になって、忘れることなく適応できる一種の階層化された記憶システムを形成するのです。
Googleはこれをより深い計算深度と呼んでいます。単により多くの層を積み重ねるのではなく、時間とともに異なる方法で学習する層なのです。より明確にするために、Googleはこれを、顔を見て名前を思い出すような連想記憶を脳がどのように処理するかと比較しています。彼らは、バックプロパゲーションのような訓練プロセス自体も連想記憶と考えることができると指摘しています。
モデルは常にデータを、それがどれだけ驚くべきか、または新規かということと照合しています。どの情報が本当に際立っているかを学習しているのです。そしてトランスフォーマーのようなものを見ると、各部分、アテンション、フィードフォワード、メモリは、実際にはこれらの小さな記憶ループのもう一つに過ぎず、すべて異なる速度で更新されています。
Googleは、私たちの脳もまったく同じように機能していると述べています。マルチタイムスケール学習です。異なる部分が異なる頻度で更新されるのです。モデルの各部分がどのくらいの頻度で更新されるか、基本的にはその学習速度を制御することで、それらすべての入れ子になった部分をレベルに整理できます。そしてその構造こそがNested Learningの核心なのです。
技術的な革新と実装
彼らは次に、このアイデアがすべてを変える方法、つまりモデルを訓練する方法さえも変えると語っています。これは少し技術的ですが、彼らは最適化アルゴリズム、つまり実際にモデルの重みを調整するアルゴリズムを、独自の小さな記憶システムとして完全に再定義しています。
各データポイントを個別に扱う代わりに、これらの最適化アルゴリズムはデータ間の関係を記憶できるようになりました。これにより、データがノイズだらけだったり不完全だったりする場合でも、より安定したものになります。
そしてアーキテクチャ自体については、Googleは連続体記憶システム、つまりCMSと呼ばれるものを導入しています。通常のトランスフォーマーでは、アテンションが短期記憶で、フィードフォワード層が長期記憶です。しかしCMSはそれらを完全なスペクトルに接続します。いわば、ミリ秒から数ヶ月まで、異なる速度で更新される記憶のスムーズなブレンドであり、モデルにより豊かで人間のような想起を与えるのです。
そして最後に、実際にこれらすべてをテストするために、彼らはHopeと呼ばれる新しいモデルを構築しました。これはTitansとして知られる記憶重視アーキテクチャの自己修正バージョンです。Titansについては以前の動画で取り上げたかもしれません。正直なところ覚えていないのですが。
基本的に、Titansは長期記憶を管理するために設計されました。それらは情報がどれだけ驚くべきか、または重要かに基づいて情報を保存することで機能します。私たちの脳が奇妙なものを最初に記憶する方法に似ています。問題は、Titansには短期と長期の二つの学習レベルしかなかったことです。
つまり、よく記憶することはできましたが、どのように記憶するかを改善し続けることはできませんでした。お分かりいただけるでしょうか。それがHopeが修正することなのです。Hopeは無制限の数の学習レベルを追加します。無限の層の記憶と学習を積み重ねるようなものです。
文字通り、学習方法を更新できるのです。継続的なフィードバックループを作り出し、進むにつれて独自の学習アルゴリズムを微調整するモデル、ほとんど自己改善型のニューラルネットワークのようなものです。
実験結果と今後の展望
そしてそれは実際に機能します。HopeはTransformer、Titans、Mamba 2を複数のベンチマークで上回ります。より低いパープレキシティ、より高い精度、そしてより良い長文脈推論を持っています。
そしてニードル・イン・ヘイスタックテストでは、モデルが大量のテキストの奥深くに埋もれた小さな詳細を見つけなければならないのですが、HopeとTitansの両方がほぼ完璧に実行し、Mamba 2やTTTのような古いモデルをはるかに上回りました。
つまり要するに、GoogleはAIを構築する全く新しい方法を示しているのです。モデルが何であるかと、それがどのように学習するかを分離する代わりに、彼らはその二つを融合させました。
それは抽象的に聞こえるかもしれませんが、AIの最大の欠陥、つまり忘却を解決する鍵になる可能性があります。彼らはここにこう書いています。「私たちは、Nested Learningパラダイムが、現在のLLMの限定的な忘却の性質と、人間の脳の驚くべき継続学習能力との間のギャップを埋めるための堅固な基盤を提供すると信じています」
したがって、Nested Learningはまだ初期の研究段階であり、結果はそれほど印象的ではありませんが、これはAGI、あるいは少なくとも人間のような学習に向けた実際の具体的なステップのように見えます。
コメント欄で皆さんの意見をお聞かせください。これは本物なのでしょうか、それとも単なるマーケティングの誇大広告なのでしょうか。そしていつものように、ご視聴ありがとうございました。この解説を楽しんでいただけたなら、ぜひいいねを押してください。初めての方はチャンネル登録ボタンを押してください。次の動画でまたお会いしましょう。
コメント