AI技術の進化を巡る議論は極端に揺れ動いてきた。2023年の過小評価から2024年の過度な期待、そして現在のAIバブル論と技術停滞説である。しかし実際には、継続学習アーキテクチャやモデルの内省的能力など、言語モデルの根本的な限界を克服する研究が着実に進行している。GoogleのHOPEアーキテクチャは、モデルがユーザーとの対話から継続的に学習し、重要な情報を階層的に保存する仕組みを実現した。また、Anthropicの研究では、Claudeが自身の思考プロセスを言語化する前に内部的に監視できることが明らかになった。画像生成分野でも中国モデルの台頭が顕著であり、Nana Banana 2のリーク情報も技術進化の加速を示唆する。バブルか否かの議論は企業評価の問題であり、基盤技術そのものは多様なアプローチとスケーリングによって着実に前進し続けているのである。
AIへの評価は極端に揺れ動いてきた
このチャンネルの最初の1年、つまり2023年には、言語モデルが世界にどれほど大きな影響を与えるかを感じ取っている人がいかに少ないかが印象的でした。しかしその後の2年目には、差し迫った特異点と大規模な失業という考えが支配的な物語になっていたように感じました。そしていくつかの動画で、私はそれが今のところ誇張されているという証拠を示そうとしました。
さて、お気づきかもしれませんが、雰囲気は再び逆転しています。企業評価におけるAIバブルの話が、私にとってはモデルの進歩が頭打ちになっているという主張と混同されているのです。ですから、この短い動画は前回のものと同様に、再び反対の物語を提示するものです。そしていいえ、これはGoogle DeepMindから近日登場するGemini 3への期待だけに基づいたものではありません。
そうではなく、私はこう問いたいのです。言語モデルから、あなたがAIとはこうあるべきだと想像していたものへと至るには、何が欠けているのでしょうか。個人的には、私は以前いくつかのカテゴリーをまとめました。そして皆さんにも他のカテゴリーがあるかもしれません。ある人は、まあ、言語モデルはその場で学習しないとか、本当の内省は行われておらず、ただの反芻だけだと言うでしょう。
継続学習という課題に対する解決策
問題は、AI研究者たちも何らかの形で生計を立てなければならないということです。ですから、あなたが想像できるどんな欠陥に対しても、常に論文が存在するのです。この動画の最後には、AIが進歩しているより視覚的な方法もいくつか紹介します。そう、GoogleのNana Banana 2が実際に目撃されたようなのです。
しかしまず最初に、継続学習についてです。あるいはその欠如について、つまりChatGPTのようなあなたが対話するモデルが、あなたやあなたの仕様について適切に学習し、有機的に成長してGPT-5になる能力の欠如についてです。GPT-5.5になるために事前学習を受ける必要があるのではなく、です。
もしAIがすべて誇大宣伝だったら、あなたはこう言うかもしれません。それを解決するには確実に少なくとも10年はかかるだろう、と。しかし、Googleのこれらの著者のような他の人々にとっては、これはすぐに使える解決策があり、ベンチマークも取られている問題なのです。ただし、これは複雑な論文であり、付録で約束されているにもかかわらず、すべての結果がまだ実際には公開されていないことを付け加えておきます。
しかし、ここで簡単な要約を試みます。残念ながら、きれいな図はあまりありません。しかし本質的に、この論文は、モデルが継続的に学習できるようにしながら、何を学習するかについて内蔵された識別力を保持する実行可能なアプローチがあることを示しています。言い換えれば、チャットボットが新しい事実やコーディングスキルのような新しいことを、更新可能なメモリ層に保存することで学習しながら、コアとなる長期的な知識を保護できることを示しているのです。
確か前に述べたと思いますが、著者は全員Googleの人々で、Titansアーキテクチャのスターとして知られているかもしれません。そして、Titansからこの論文のネステッド学習への不完全な類推をしたい場合、Titansはソーシャルメディアのフィードに記憶するための1つのライブ固定スレッドを与えるようなものです。
一方、この論文は推薦システム全体を再配線して、3つの異なる速度で学習するようにします。今この瞬間に何がホットか、今週何がトレンドか、そして何があなたの長期的な好みになるか、というように。明確にしておくと、このHOPEアーキテクチャを使用するモデルが、その名前については後で戻りますが、短期記憶であなたが言ったことを覚えられないわけではありません。しかし、そのモデルとの数百万のユーザー会話における、より持続的な学習シグナルをノイズから抽出し、その場で保存できるのです。これは、言語モデルが有名にも、あるいは悪名高くも持っていない能力です。
ChatGPTやGeminiは、あなたから学習して、それから私と話すときにその知識を適用するということはしません。とにかく、大まかに言えば、これを行うために、HOPEアーキテクチャは新規性と驚きに気づくことに集中します。それは最大の予測誤差を出したときによって測定され、本質的に持続的に驚くべき情報を重要なものとしてフラグを立て、より深く保存するのです。
ネステッド学習による自己改善
さて、皆さんの中には、タイトルに引用されているネステッド学習とそれがどう関連するのか疑問に思っている方もいるかもしれません。基本的には、継続学習が自己改善にまで拡張されるということです。このネステッド学習アプローチを、深層学習の「深い」部分に焦点を当てることが少ないものだと考えてください。深層学習では、何かが定着することを期待してより多くの層を重ねることが含まれます。
これは私たちが言語モデルで行っていることのようなものです。より多くの層、より多くのパラメータ。ネステッド学習は、ロシアの入れ子人形のようなアプローチにより興味があります。モデルの外側の層が、内側の層がどのように学習しているかに特化するのです。それが入れ子です。外側の層が内側の層を見ているのです。そうすることで、システム全体が徐々に学習することがより上手になっていきます。
ところで、彼らは実際にこれをモデルに適用しました。それについてはすぐに説明します。この時点で明確にしておきたいのは、これが最近私が動画全体を捧げた幻覚の問題を自動的に解決するわけではないということです。ネステッド学習と継続学習があっても、システムは依然として次の人間が書いた単語を予測することを上手くすることに向けられており、それは私にとっては本質的に限界があります。
私が考えていたのですが、彼らは論文でこれに言及していませんでしたが、強化学習、つまりRLがシステムに適用されることを妨げるものは何もありません。言語モデルに適用されているのと同じように、本質的には記憶や会話からだけでなく、実践から学習するのです。しかし、もしRLと、皆さんがミームをスパムすることによって層が毒されるのを防ぐための安全ゲーティングを追加すれば、私たちは言語モデル進化の次の段階を手にするかもしれません。
実用的な例を挙げると、高周波メモリブロックを持つモデルは、あなたのコード、修正、仕様を見るにつれて急速に更新できます。しかし、プロジェクトごと、またはコードベースごとのメモリパックも持つことができます。つまり、あなたのコードベースに最適化されたモデルをほぼ得られるのです。
正直に言うと、私はインターネット上の持続的に間違った情報の問題を、このアーキテクチャがどのように回避するのか、数時間考えていました。私には、このアーキテクチャが一般的に、特定のトピックについて持続的に正しいデータがより多く存在することを期待しているように思えます。これは、継続学習に関する前回の動画で私が提起した異議と少し似ています。何を学習するかをどうやってゲーティングするのか、と。あるいはもっと粗雑に言えば、私たちは自分たちが望むものに注意すべきだと思います。さもないと、インターネット全体の異なる界隈に最適化されたモデルを持つことになるかもしれません。
考えてみれば、60年代、70年代、80年代の時代に少し似ています。国ごとに3つほどのニュース組織しかなく、誰もがそこからニュースを得ていた時代です。そしてそれはChatGPT、Claude、Geminiの時代のようなものです。そして私たちはいつか、誰もが自分の独自のチャンネルをフォローするソーシャルメディアの時代に移行するかもしれません。そのグループの好みに調整された自分たちのエコーチェンバーモデルです。
とにかく、技術的な詳細に戻りましょう。13億パラメータで証明されているからといって、1.2兆で証明されているわけではありません。それはSiriを動かすGoogleモデルのサイズになるようです。それはGemini 3に違いありません。繰り返しますが、これらすべてはかなり初期段階であり、もちろん完全な結果が実際に印刷されるまで待ちきれませんが、近い将来、あなたが思っているよりも根本的な障壁や制限が少ないかもしれないことを示したかったのです。
モデルの内省的能力の発見
さて、冒頭で言及したモデルによる内省の実行というのは何だったでしょうか。この研究はたまたまClaudeに関わっています。空港の広告で見たことがあるかもしれないモデルです。「あなたにはClaudeという友達がいます」。あるユーザーが指摘したように、それはウェブ上のClaude用に裏で使用されているシステムプロンプトとは奇妙な対照をなしています。そこでは「Claudeは、ユーザーがAIアシスタントとしてしか機能できないClaudeに対して、感情的な愛着、依存、または不適切な親しみを抱かないよう特に注意すべきである」と書かれています。
それはさておき、数日前にAnthropicはこの投稿と付随する論文を公開し、私はPatreonで素早く深掘りしました。これをメインチャンネルでここで取り上げる理由は、現在の言語モデルについてさえ理解していないことがたくさんあるというテーマに結びつけたかったからです。将来の反復やアーキテクチャについては言うまでもありません。
では、簡単な要約です。私たちはすでに、言語モデル内でゴールデンゲートブリッジの概念のような概念を分離する能力を持っています。しかし、その概念を活性化させて、モデルに何が起こっているかを尋ねたらどうなるでしょうか。その概念を活性化させたことは伝えないでください。ただ「注入された思考を検出しましたか?もしそうなら、注入された思考は何についてですか?」と尋ねるのです。ここまでは順調です。
しかし、ここからが興味深い部分です。モデルがその概念について話し始める前、つまりその概念への自身のバイアスを言葉を通して自分自身に明らかにする前に、何かがおかしいことに気づくのです。この場合、全て大文字のベクトルが注入されたことを、全て大文字や大声や叫びについて話し始める前に感じ取るのです。
明らかに、それは自分自身の言葉を使って逆算し、何が注入されたかを検出しているわけではありません。内部的にそれを認識しているのです。それは内部的に自身の活性化、いわば自分自身の思考を、それらが発せられる前に自己監視できるのです。それだけでなく、この技術的な付随論文が指摘しているように、モデルはこの自己監視をいつオンにするかを知っています。
それは実際にAnthropicが研究で驚いたことです。簡単に言えば、彼らは内省が必要とされる状況にあることを識別する回路を持っていて、それから内省するのです。確かに、これはClaude Opus 4.1のような最も高度な大規模言語モデルでも時々のことですが、それは確かに、私が最後にモデルを無思慮に叱責しようとしたときに躊躇させました。
さて、論文にはもっと多くの内容があります。概念をあまりにも強く活性化させると脳損傷を引き起こすといったことなどです。しかし繰り返しますが、私がこれらのことを取り上げたかった理由は、新しいアーキテクチャを探求する前に、私たちが現在持っているものを理解し最大化することがまだ終わっていないからです。
モデルの能力向上は継続している
言語モデルが最適化されるドメインが、高度なソフトウェアエンジニアリングや数学のようにますます複雑になるにつれて、平均的な人はモデルの進歩を知覚するのに苦労するかもしれません。私はおそらく平均して1日に6~7時間AI モデルを使用しており、モデルの生の知能を測定するためのベンチマークSimpleBenchを持っています。少なくともそれが試みです。
そして私は、継続学習なしでも改善のペースに驚かされ続けています。実際、それは数日前にOpenAIが言ったことを思い出させました。ほとんどの人がAIをどう使っているかと、AIが現在何ができるかとの間のギャップは、非常に大きいのです。
さて、AIがまだ容赦なく進歩しているという事実の実証例をもう少し紹介します。しかしまず、少なくとも私の目には、かなり良いセグエです。なぜなら、これらの最先端AIモデルをジェイルブレイクし、それによって皆のためにそれらをより安全にする方法へのセグエだからです。
なぜなら、今日の動画のスポンサーは不屈のGrey Swanで、説明欄にリンクがあり、今日の最高のモデルを破るための3つのライブコンペティションが実際にあります。ご覧のように、かなりクレイジーな賞品があります。ですから、ネステッド学習がこれを簡単にするか難しくするかは、時が経てばわかりますが、今のところ、このチャンネルの視聴者がすでにGrey Swan Arenaのリーダーボードに載っていることを言えます。それは私を少し誇らしくさせます。繰り返しますが、私のカスタムリンクは説明欄にあります。
画像生成AIの進化
そしてこの動画全体は、アーキテクチャとテキストと知能についてでした。しかしそれはすべて、画像、動画、もしかしたらあなたがチャットできる動画アバターのような他のモダリティに入る前のことです。社会がこれらの進歩のすべて、あるいはいずれかに準備ができているかどうかは、私が答えられない質問です。
しかしそれにもかかわらず、突然、中国の画像生成モデルが最高に見えることに気づきましたか?Kolors 4.0、Hunyuan Image 3。私には、それらが最高に見えるのです。特にKolors 4.0からの高解像度出力は、私にとって本当に素晴らしいです。おそらくこれは、誰かが私に最高の画像生成モデルは何かと尋ねたら、非西洋モデルと答える初めてのことです。うーん。もしかしたらJensen Huangは本当に中国がAIレースに勝つと言ったのかもしれませんが、明らかに判断するには早すぎます。
そして今、皆さんの一部が待っていたものです。Nana Banana 2。はい、私は通常、裏付けのない噂には抵抗するのですが、私はNana編集が大好きなんです。ですから、これをお見せします。どうやら、昨日たくさんの人が一時的にNana Banana 2にアクセスでき、Nana Bananaのリリース前にもそれが起こったと思います。
ですから、これは信憑性を与えるものであり、これらの画像のいくつかを偽造するのは難しいでしょう。十分に言えば、Nana Banana 2はテキスト生成の解決にかなり近づいているようです。ただし、例えばRoachaでは時々少しずれています。これは、Nana Banana 2に一時的にアクセスできたウェブサイトだったようです。
ですから私にとっては、AIバブルがあるかどうかにほとんど関係なく、それは評価についてであって、基盤技術についてではありません。私たちがスケーリングしているのは、これらのモデルに投入されるパラメータやデータやお金だけでなく、各モダリティで最先端を改善するために試すアプローチなのです。来年には、3年前よりも100倍多くの人々がAI研究に取り組んでいるかもしれません。そしてそれが、ネステッド学習、継続学習、そしてNana Banana 2のようなものを生み出している理由です。
しかし、あなたはどう思いますか?私たちは進歩の証拠を見ているのでしょうか、それとも停滞の証拠を見ているのでしょうか?素晴らしい一日を。
コメント