AIの強化学習において、従来の報酬関数のみに依存する手法とは異なり、教師AIと生徒AIの間で行われるソクラテス的な対話を通じてモデルが自己修正能力を獲得していく新しいアプローチを検証している。教師AIによる過剰な情報提供を防ぐための報酬減衰機能や、従来の知識の蒸留とは異なる強化学習としての側面を詳しく分析している。さらに、論文内の実験結果のグラフに存在する未定義の要素や、アブレーション解析のデータに対する疑問点を鋭く指摘し、AIが教師から独立して自律的な推論能力を内面化していくプロセスについて独自の考察を展開している。
ソクラテス的方策最適化という新たなアプローチ
皆さん、こんにちは。またお会いできて本当に嬉しいです。アメリカ市民以外はFable 5が使えなくなってしまったので、私たちにはAIについてもっと学ぶ時間ができましたね。それでは、今回はソクラテス的方策最適化に関する研究について見ていきましょう。私はこの研究がとても気に入っています。なぜかというと、前回の動画でも強化学習についてお話ししたばかりですが、今回のはまた違うものだからです。これは新しい手法なのです。私が見つけた非常に興味深い内容をご紹介します。ソクラテス的方策最適化という名前自体がとても魅力的ですよね。古代ギリシャの思想がここで取り入れられているわけですが、これを手がけたのは中国科学技術大学の認知知能国家重点実験室です。つまり、中国がこのソクラテス的方策最適化を進めようとしているのです。本当に素晴らしい試みですね。詳しく見てみましょう。
これは6月3日に発表された素晴らしい論文です。もちろんGitHubのリポジトリもありますので、試してみたい内容はすべて利用可能です。一見すると、この論文は少し数学的で技術的な側面に偏っているように思えるかもしれません。しかし、それはそれほど重要ではありません。なぜなら、私たちはメインとなるアイデアに焦点を当て、今AIの世界で何が起きているのかをお見せしたいからです。
私の拙い意見ですが、この論文における最も深いアイデアは、新しい報酬の公式を作ることではありません。それよりも、AIのアライメントに向けた強化学習の枠組みを再定義したことにあります。何年もの間、推論の強化学習の多くは、前回の動画で紹介したような、プロセスの最後にある0か1かという報酬関数からアライメントが生まれると想定してきました。しかし、この新しい論文は、ソクラテス的方策最適化においては、学習がAIシステム間の対話、つまり自己反省から生まれる可能性を示唆しているのです。自己反省の中で起こる学習であり、それは報酬が想定されるよりも前に発生するべきものなのです。
対話を通じた自己修正ループの仕組み
ほとんどの強化学習の論文は、前回の動画でご覧いただいたように、新しい損失関数を考案するものです。もちろん、このソクラテス的方策最適化でも標準的な目的関数はほぼそのまま維持されています。そこには目新しさはほとんどありません。では、何が変わるのかというと、ロールアウトのプロセスが変わるのです。これを見てください。
ここにはプロンプトがあります。外側には生徒のAIマシンが回答し、その回答が教師のAIマシンによって検証されます。教師のAIマシンは、生徒が間違えた場合にガイダンスを与えますが、ここが重要な部分なのですが、正解をそのまま教えるわけではありません。君は2だと思ったようだけど、実際には5だよ、というような教え方はしません。教師はここで生徒をソクラテス的な対話へと導くのです。本当にそれで合っていますか、もう一度パラメータ12について考えてみてはどうですか、というように促します。あるいは、システムの密度を計算し始めているようですが、まずはシステムのエンタルピーから始めて、そこから進めてみてはどうでしょうか、といった具合です。つまり、教師のガイダンスは深い洞察を与えるものではありますが、解決策そのものや正解ではないのです。
そして、生徒のAIマシンが戻ってきて、これを理解しなければならないと考えます。教師マシンからのこの非常に具体的なフィードバックをもとに、どのように自己反省し、自己学習できるかを考え、生徒は2回目の試行で新しい回答を提示します。それが正解だった場合、ここで報酬が与えられます。
ここでのアイデアは、教師のガイダンスが多くなればなるほど、その特定の報酬は減少していくというものです。もし生徒マシンが自力で正解すれば報酬は1になり、教師のAIマシンから1回ガイダンスを受けて正解した場合は報酬が0.9になり、2回受けた場合は0.8になります。仕組みがお分かりいただけたでしょうか。つまり、想像できる中で最もシンプルな報酬減衰関数が使われているのです。
これにより、教師が存在する学習環境はインタラクティブで非常に具体的なものになります。これはコンピュータゲームを学習環境にしていたときとよく似ていますが、今の学習環境はコンピュータゲームではなく、非常にインテリジェントな教師AIマシンなのです。これは素晴らしいことです。
さらに、これが絶対に美しいのは、プラグアンドプレイで機能する点です。生徒は教師のロジックを必要としません。教師のトークン確率分布をコピーして模倣する必要もありませんし、教師AIマシンのトランスフォーマーアーキテクチャのレイヤーにある隠れ状態のパラメータも一切必要ありません。何もいらないのです。ただ、プレーンでシンプルなテキストによる英語のガイダンスが必要なだけです。そのため、どのようなマシンを使っていても、ほぼすべてのマシンで動作します。
通常、最初に推論があり、次に教師マシンによる批評があり、それから生徒マシンによる修正された推論があり、最終的に報酬が与えられます。
知識の蒸留と方策最適化の違い
このように、従来の古いスタイルのように報酬関数だけでAIを純粋にトレーニングするのではなく、私たちが何を行っているかというと、ループを回しているのです。そうです、もちろんこのチャンネルでもループを扱っています。この論文もそれを実装していることを示しています。モデルが批評や与えられたヒント、環境、そして診断的な対話から学ぶような、ガイド付きの自己修正ループ構造を通じて、AIをトレーニングすることがますます増えていくでしょう。これは人間の学生と同じようなものです。大学でテストが返されて、すべてにバツがつけられているだけだったら、自分がどんな間違いをしたのか全く分かりませんよね。しかし、違う要素で微分してしまっているよとか、別の数学的アプローチを使ってみてはどうかといった記述があれば、何が間違っていたのか分かります。これこそが、この批評の中に組み込まれているものなのです。このヒントを得ることで、同じAIモデルが修正された推論、そして願わくばより優れた推論を行えるようになり、これが一種の自己学習ループとなるわけです。
しかし、ちょっと待ってください、これがこの研究の興味深い部分です、と思われるかもしれません。これは蒸留なのではないか、と私は一瞬考えました。教師と生徒のAIモデルがあるわけですからね。しかし、少し考えてみると、従来の蒸留は何を転送しているでしょうか。そうです、意味的な回答だけでなく、ロジックや確率、そして思考の連鎖も転送しています。教師がターゲットを生成し、生徒はその蒸留プロセスの中でターゲットとなる回答を多かれ少なかれ模倣するのです。しかし、今回の研究で起きているのはそういうことではありません。ここを絶対に明確にしておく必要があります。なぜなら、このソクラテス的方策最適化は、その名の通り、蒸留ではなく強化学習の手続きだからです。
ただし、別のものが転送されています。教師と生徒の間で転送されているのは、エラーの診断、つまり生徒が犯した間違いの論理的な分析であり、教師がそれを修正しているのです。したがって、ソクラテス的方策最適化は、教師の出力に対する模倣損失関数を直接最適化するものではなく、むしろ批評モデルに近いものです。生徒が行動し、教師が生徒の回答を分析し、深い知的な理解を持ってコメントし、いくつかのヒントを提供します。そして生徒が再び行動します。それが正解であれば報酬が割り当てられ、報酬が戻ってくることで強化学習のアップデートが行われます。これは素晴らしいことです。そして、ここでアライメントプロセス、つまりポストトレーニングが行われているのです。
最適化のシグナルは依然として報酬駆動型ですが、それはこのソクラテス的な議論の後に行われます。
だからこそ、著者らはこれを蒸留手法ではなく方策最適化として分類しているのだと思います。新しい手法を目にするときはいつでも、それがAなのかBなのかCなのかを理解しようとすることが重要です。今やこれが蒸留ではなく、それに非常に近いものの、新しい強化学習の方策最適化であり、312番目か何かの新しい手法であることが理解できました。素晴らしいですね。
もし、これが詳細には一体何なのかと聞かれたら、私は連続的な強化学習ループの内部に組み込まれた、批評を介した蒸留のようなものだと答えるでしょう。しかし、これは私たちがよく知っているようなものではありません。シンプルに考えましょう。転送される対象は診断的な批評であり、最終的な学習シグナルは、蒸留関数からの直接的な模倣ではなく、報酬減衰を伴う強化学習を通じて媒介されるのです。この減衰については説明しましたね。実に見事です。これでこれが何であるかが分かりました。
教師AIのヒントのさじ加減と報酬減衰の役割
これを理解した上で、次の問題に突き当たります。回答を見てみましょう。簡単な例として、チェスをプレイしているとします。ソクラテス的方策最適化において、グランドマスターのAIモデルが教師として存在し、生徒である私に、君のキングサイドの構造は弱いね、ナイトの配置を見てごらん、と言ったとします。グランドマスターは、小さな生徒AIである私が探索プロセスを形成するのを手伝ってくれているわけです。これにより、私はどこが重要な構造で、何に気をつけるべきかを正確に知ることができます。
しかし、これは私が出すべき正確な行動を指示しているわけではありません。そのため、生徒AIとしては、2つか3つの解決策を考え出し、その場に最も適した確率の高い解決策を選ぶことが求められます。
しかし、ここには落とし穴があります。絶対に正確でなければならないのですが、私自身の例でも見てきたように、親切な教師AIマシンが情報を与えすぎてしまうと、学習プロセスではなく、ただの模倣プロセスになってしまいます。なぜなら、もし教師による批評の回答が、コードの3行目にある材料BとCの比較が間違っている、なぜならCの方が生成エネルギーが低いからだ、というものだったとしたら、これは情報の与えすぎだからです。Cにそのような特定の特徴があることを示してしまい、BとCを比較すれば結果がどうなるかが正確に分かってしまうため、小さな生徒AIはそれについて推論を始める必要がなくなってしまいます。この回答から論理的に推論して、何が正解かを理解できてしまうのです。
ある時点で、教師が生徒の代わりに推論のほとんどを行ってしまっている状態になり得ます。教師AIモデルが情報を与えすぎず、正しい方向へのヒントだけを与えるようにコードを書くのは極めて複雑で、簡単なことではありません。特に科学の分野で働いている場合、因子の依存関係を少し知っていれば、解決策が何であるかをすぐに推測できてしまいます。
ここでは見事なループが形成されています。もはやプロンプトの話をしている人は誰もいません。ここにあるのはソクラテス的方策最適化のループです。質問があり、生徒による1回目の試行があり、グランドマスターによるガイダンスがあり、生徒による2回目の試行があり、別のガイダンスがあり、そして3回目の試行が行われます。これが正しい回答です。ここでは2回のガイダンスがあったため、報酬は1ではなく0.8になります。つまり、報酬が減衰しているのです。素晴らしいですね。
なぜ報酬を減衰させるのかと思われるかもしれません。私にとっても、これはこの論文において最も重要な要素の一つであり、同じように考えました。モデルは批評を受け取り、修正を行うことで学習を始めます。これは新しい行動能力です。方策は今、回答の生成や模倣だけでなく、修正オペレータを学習しているのです。しかし、このオペレータは非常に敏感です。言葉を換えると、勾配は一体どこからシグナルを得ているのでしょうか。私のシンプルな言葉で言えば、2つの可能性があります。論文には数学的な説明があります。
1つの可能性は、生徒が本当に実質的な自己修正方策を学習しているというケースです。AIが、これは複雑な物理システムであり、因子Aと因子Bがあり、これらを結ぶ公式があることを理解し、したがって計算して導き出し、これをこうして理解しなければならない、と考えるわけです。これこそが、生徒マシンの推論プロセスにおいて、意味のある強化学習のアライメントと向上をもたらすものとして私たちが期待している展開です。
しかし、そこには常に大きな「ただし」が存在します。もう1つの解釈Bは、近道が存在し、生徒は全く学習をせずに、ただコピーや模倣をして推測する方法を見つけているだけだというシンプルなものです。教師のガイダンスには、課題を解決するために必要な情報のほとんどが含まれています。その場合、私たちの強化学習手法であるGRPOは、主に教師のヒントをどのように消費するかを学習していることになります。そうなると依存関係が生じ、小さな生徒AIは、教師からヒントがもらえるから自分で考える必要はない、教師を待ってから始めればいい、と考えるようになってしまいます。著者らが私の理解通りに考えているのであれば、減衰率は、後の自己修正方策の学習プロセスにおいて、教師からの独立性を実装することを意図しているはずです。問題は、彼らが選んだこの特定のアプローチでそれが可能なのかということです。
実験結果のグラフに関する疑問点
繰り返しになりますが、オプティマイザであるGRPOは標準的なものであり、目新しさはありません。私個人としては、ここでの革新は、ロールアウトがマルチターンの軌跡になり、方策が再び行動する前に、外部の教師AIマシンがシステムの動態に批評を注入する点にあると考えています。ワンショットの推論問題を、長い推論モデルのために私たちが求めているシーケンシャルな意思決定プロセスへと変換したいわけです。処理すべき50の異なるサブタスクがある場合、強化学習の利用はもちろん有効であり、これは知識の蒸留や転送のために必要なものではありません。より高い複雑性に対して、本当の学習を起こしたいからです。
簡単に言えば、蒸留においては、必要であれば教師AIモデルがグラウンドトゥルースを強調します。一方でソクラテス的方策最適化では、教師は強化学習環境におけるゲーム内のNPCのような存在にすぎません。教師のテキストが環境の状態を変化させ、生徒はその変化した状態の中で最適な方策を学習するのです。強化学習の専門用語に厳密に当てはめるなら、そういうことになります。そのため、解決策に対して過剰なヒントを提供していない限り、これは蒸留とは全く異なるものであることが分かります。
著者らはこれが実際に起きていることを証明したいと考えており、多くのテストを行いました。それは素晴らしいことです。しかし、彼らが提示したこの図について、私は言わなければなりません。これは論文全体の中で最も重要なグラフだと私は考えています。生徒の方策データとして、40億パラメータの小さなQ3のインストクトモデルが使われています。小さなネズミのようで可愛いですね。そして彼らは、ここに結果が出ていると言います。
私たちはここに何を見ているのでしょうか。彼らは、私たちの強化学習プラスプラスとソクラテス的方策最適化のQ3があり、これは強化学習プラスよりも2パーセントほど優れていると言っています。最初は2パーセントポイントというのはそれほど大きな差ではないように思えますが、彼らはここにライラック色、あるいはピンク色の線があり、そしてダークブルーの線があると言います。残念なことに、彼らは論文全体を通じて、このアンダースコア・ステップ1を伴うピンク色の線が一体何であるかを定義していません。これが何であるかの説明がどこにもないのです。
しかし、これは最も重要な測定値であり、実験そのものです。読者である私たちには、これが何であるか全く説明されていません。著者らにとっては当然のステップ1なのでしょう。
これは問題です。テキストを一緒に見てから、これについて話をしましょう。彼らは、初期段階において、生徒のAIは教師のガイダンスを受け取った後に正しく回答する能力を急速に向上させると述べています。これはガイダンスありのパフォーマンス曲線に反映されており、ガイダンスの後に急激な上昇が見られます。ここでは、このピンク色の線がガイダンスありのパフォーマンス曲線であると仮定しましょう。彼らは、モデルが自身の失敗した試行を確認し、その後にグランドマスターAIである教師による的を絞った修正フィードバックが続くことで、まずはガイダンスを使って自身の推論を修復する方法を学ぶと言っています。
ガイダンスが何度も繰り返されますが、モデルは例えば1000ステップの後に、この教師AIによるガイダンスを理解し、扱い、実装することを学びます。そして、自分が何をすべきかを理解するのです。これが、ガイダンス後の急激な上昇として示されているものだと思います。フィードバックを受け取ったとき、それをどう扱えばいいのかに慣れるまでには少し時間がかかるものだからです。AIモデルは、このフィードバックメカニズムにどのように対処するかを学習しなければなりません。
しかし、その後は多かれ少なかれプラトーに達します。そして、この状態になります。
これがステップ1です。そして、青い線があり、これが通常のものになります。ここからが興味深いところです。これは一体何なのでしょうか。なぜなら、青い線に関するテキストには、後半の段階における報酬減衰について書かれているからです。これについては先ほど話しましたね。1マイナス何とかという式が、ガイダンスの後にのみ正解した回答のアドバンテージを徐々に減少させ、一方で支援なしの正解に対して比較的強いクレジットを与えるようになります。
アブレーション解析とデータの解釈
彼らが示したいのは、結果として何を測定しているのか分からないこの実験において、学習のプレッシャーが、助けを借りて正解することから、より早い段階で助けなしに正解することへとシフトするということです。私は、これがガイダンスなし、つまり助けなしでの急激な上昇を示しているのだと推測しています。
これが何を意味するのか、私には何となく見当がつきますが、私がアイデアを持っていることは皆さんにとって役に立ちません。なぜなら、私たちは科学について話しているからです。アンダースコア・ステップ1が何であるかを説明もせずに論文を発表し、ただ線を見せられても、それがどのように計算されたのか、要素や因子が何なのか、どのように構築されているのか、このグラフで何を示しているのかが分からなければ、本当に役立つとは言えません。特に、それがあなたの仮説や主張を真に証明する最も重要なグラフである場合はなおさらです。そのため、私はこれに対して少し問題を抱いています。しかし、アイデア自体は素晴らしいものです。そこははっきりさせておきましょう。生徒同士、あるいは生徒と教師モデルの間の対話、ソクラテス的な対話によるもう一つの強化学習として、このアイデアは美しいものです。素晴らしいですね。
彼らが理解できない図3を見せた後、著者らは次のように主張しています。このパターンは、私たちの設計の直感をサポートしている。これは本当に極めて重要なことで、教師のガイダンスが学習可能な修復を生み出し、報酬の減衰が生徒に対してそれらの修復を自律的な推論へと内面化することを促しているというのです。もしこれが本当なら、模倣でもなく、近道を学ぶのでもない、生徒AIモデルの内部における真のディープラーニングのプロセスを見事に示していることになります。しかし残念なことに、彼らがここで何を見せているのかが分からない以上、どのように判断すればいいのでしょうか。
私は他に対象となるデータがないか探し、教師のガードと報酬減衰からのアブレーション結果を示した表2を見てみました。もしこれが報酬減衰によるものだとして、ここを見てみましょう。134億パラメータのQ3モデルがあり、これが教師モデルです。生徒も134億のQ3なので、教師と生徒が同じです。つまり、生徒同士の対話が行われているわけです。ここで、この手法の核心である報酬減衰関数がない場合を見てみましょう。ベンチマークとして物理を見てみます。数値は74パーセントです。そして、この手法を適用した場合、数値は76パーセントになります。
2パーセントポイント未満の差です。これが、この新しい手法が機能しているという議論の根拠になるのでしょうか。
私には分かりません。今度は270億パラメータの教師モデルを見てみましょう。物理は、報酬減衰がない場合は74パーセントです。そして、この新しい手法を適用すると77パーセントになります。
これが本当に、この手法が機能していること、これが新しいブレイクスルーであることの証明になるのか、私には疑問が残ります。なぜなら、彼らは図3が何であるかを説明していないからです。もちろん、私にはこれに関するアイデアがありますので、ここからは推測の部分に入ります。論文はここで終わっており、私たちには洞察がなく、著者らが何を達成したいのかは分かりますが、私たちが追えるような、私が納得できるような証明はありません。
自律的な思考能力の獲得への考察
もし私が席について想像力を働かせるとしたら、これをどう解釈できるでしょうか。それがどうあってほしいと願うでしょうか。しかし、私の仮定がどれほど弱いかを見てください。まず、生徒モデルで修正を行うことと、修正を内面化することは同じではないと思います。もし、これがソクラテス的方策最適化のQ3のステップ1であるピンク色の線だとして、修正を利用することは、修正を内面化することとは異なります。
これは一体何なのでしょうか。これは修正の利用なのでしょうか。これは私たちのLLMの周囲にある足場としての能力なのでしょうか、それとも違うのでしょうか。私は、青い線は、もしそう呼びたければ、学習された自律的な能力であり、報酬の減衰が真に重要となる線であると考えます。
最も簡単なルートは何でしょうか。当然、足場を利用することです。生徒AIは教師からヒントを得て、何をすべきかを正確に理解し、推論の中で修正を行い、それが正解となって0.9の報酬を得ます。素晴らしいですね。モデルはこれを学習し、実装することができ、教師のすべてのヒントを解釈することを理解します。そして、少しのトレーニング期間を経て、教師AIモデルによるヒントを解釈することにおいて完璧になり、すべてを正しくこなして90パーセント以上の成功率を記録するようになります。素晴らしい、見事な展開です。しかし、これは私のファンタジーにすぎません。
もしこれを行うとしたら、モデルは修正を内面化することを学んだと言えます。しかし、私たちが本当に求めているのは、真に学習し、教師モデルから自律したモデルです。著者らの主張によれば、この強化学習における新しい報酬の減衰により、モデルは時間の経過とともに教師に導かれた構造による報酬が減少していくことを学びます。そのため、モデルはより良い報酬関数を探すようになります。精度高く動くため、最も高い1.0の報酬は、モデルが自力で正しい解決策を発見したときに得られます。
問題は、これが修正への対処法を正確に学び、修正を内面化した自律的な能力であり、内部的に推論できるようになった状態であるとするならば、どこかの段階で腑に落ちて、教師の助けを借りずに問題を解決する方法を正確に理解するようになるかということです。したがって、著者らが言う「ガイダンスなしでの急激な上昇」について、私はこのガイダンスが教師AIモデルを指しており、ガイダンスなしというのは教師がいない状態を意味していると推測します。そのため、これが教師による学習の後に自律したモデルそのものであり、考え、沈み込み、また考えることで理解に達した状態ではないかと思います。ここには、もしそう呼びたければ、遅延された内面化が存在するのではないか、というのが私の解釈です。そして突然パフォーマンスが再び跳ね上がり、このようなパフォーマンスの跳ね上がりが起きます。なぜなら、モデルが内部的に解決策を見つける方法を突如として学習したからです。どのようにこの推論の痕跡を構築し、自身の思考を向上させるかを学んだのです。
これについては、裏でグロッキングについて少し考えていますが、これについては後ほど詳しくお話しします。グロッキングに関する新しい情報があります。しかし、これが生徒とマスターマシンの間の対話構造によるアイデアであり、彼らがここで私たちに見せたかったことを説明できるかもしれません。しかし、これが本当に内面化、つまり学習が起きたことの証明になるのでしょうか。正直なところ、私には確信が持てません。これは絶対に魅力的な手法だと思いますが、さらなる調査、さらなるテスト、さらなる実験が必要だと思います。著者らがここで何を示したかったのかを本当に理解する必要がありますが、ここに描かれている情報は単純に不足しています。したがって、私が何かを推測することは適切ではありません。データがどのように生成され、どのように作成され、どのような意図があったのかを正確に知る必要があり、そうして初めてこの定理を検証または反証することができるのです。
さて、今日はここまでです。少し新しいアイデアを楽しんでいただけたなら幸いです。数学が出てきても気にする必要はありません。論文を読み、主要な文脈を理解すれば、一歩深く踏込んでこの新しい手法、この新しいアプローチの背後にある本当のアイデアを理解しようとすることが、いかに魅力的であるかが分かるはずです。 And sometimes you just end up in fascinating discussion. もし私が気づかなかった答えをお持ちの方は、ぜひコメントを残してください。また次の動画でお会いしましょう。
コメント