カーネギーメロン大学、スタンフォード大学、ハーバード大学、プリンストン大学の研究者チームが、大規模言語モデルの訓練における根本的な欠陥を発見した。「破滅的過剰訓練」と呼ばれるこの現象は、従来の「より多くのデータで長時間訓練すれば性能が向上する」という前提を覆すものである。研究によると、一定の閾値を超えた訓練は、モデルのファインチューニング能力を著しく困難にし、下流タスクでの性能を実際に悪化させることが判明した。この発見は、GPT-4やGeminiなどの最先端AIシステムにも既に組み込まれている可能性があり、AI開発の未来を根本的に変える可能性がある。
衝撃的な発見：より多くのデータがAIを悪化させる可能性
もしAIモデルをより多くのデータで訓練することが、モデルをより賢くするのではなく、逆に悪化させるとしたらどうでしょうか。これは、カーネギーメロン大学、スタンフォード大学、ハーバード大学、プリンストン大学を含む主要機関の研究者グループからの警告です。
彼らは、大規模言語モデルの構築方法を根本的に破綻させる可能性のある欠陥を特定しました。この欠陥は小規模な研究室だけでなく、オープンソースツールからGPT-4やGeminiのような独自の巨大システムまで、世界で最も強力なAIシステムに既に組み込まれている可能性があります。
これは幻覚やバイアスの問題ではありません。これはもっと深刻な問題です。訓練データの表面下に隠された、モデルの適応能力における内部的な破綻なのです。
この研究では、これを破滅的過剰訓練と呼んでおり、「より多くの訓練は常により良い性能をもたらす」というAI分野の中核的な前提の一つに挑戦しています。彼らが発見した内容と、それが企業AIから汎用アシスタントまでのあらゆるものをどのように変える可能性があるかを詳しく見ていきましょう。
AI界を震撼させた発見
2025年3月、「過剰訓練された言語モデルはファインチューニングが困難である」と題された論文が、科学研究のオープンアクセスプラットフォームであるarXivで発表されました。筆頭著者のジェイコブ・ミッチェル・スプリンガーと、複数の主要研究機関からの共著者たちは、破滅的過剰訓練という用語を導入し、大規模言語モデル開発で観察されるパターンを説明しました。
ほとんどのLLMプロジェクトでの前提はシンプルです。モデルにより多くのデータをより長期間与え続ければ、性能は向上し続けるというものです。しかし、この研究の発見はこの前提と真っ向から対立しています。
研究者によると、事前訓練プロセスのある時点以降、モデルは著しくファインチューニングが困難になり、さらに悪いことに、これらのモデルは高品質で厳選されたデータで訓練されていても、指示チューニングなどの下流タスクで性能を失う傾向があるのです。
結果は単なる能力の停滞ではありません。測定可能な性能の悪化なのです。そして、これは理論的な話ではありません。チームは実世界のモデルでこの問題を実証したのです。
実証実験：OLMo-1Bでの検証
理論を検証するため、研究者たちはAllen Institute for AI2が開発した10億パラメータのオープンソースモデル、OLMo-1Bに焦点を当てました。このモデルは制御された実験に適しており、現実的な条件を反映するのに十分大きく、それでいて一から複数のバージョンを訓練するのに管理可能な大きさでした。
彼らはOLMo-1Bの2つの別々のバージョンを作成しました。一つは2.3兆トークンで訓練され、もう一つは3兆トークンで訓練されました。これは訓練データの約30%の増加で、通常であればより能力が高く適応性のあるモデルが生成されると期待されるものでした。
しかし、そうはなりませんでした。
モデルが人間のプロンプトにより良く従うよう改良される重要なプロセスである指示チューニング後、3兆トークンで訓練されたバージョンは、実際にいくつかの標準的な言語モデルベンチマークで、より小さな対応モデルより性能が劣る結果となりました。
より大きなモデルは最大3%の性能低下を示し、さらに重要なことに、これは孤立した結果ではありませんでした。性能の低下は様々な評価タスクで一貫しており、ファインチューニングのさらなる段階でも続きました。
研究者たちは約2.5兆トークン付近で変曲点を特定しました。その閾値を超えると、追加の事前訓練は利益をもたらさなくなるだけでなく、モデルの適応性を積極的に害するようになったのです。
これらの発見は重要なトレードオフを明らかにします。より多くの事前訓練がベースモデルの生の能力をわずかに向上させる可能性がある一方で、そのモデルを特定の下流アプリケーション用にファインチューニングすることをより困難で、時には逆効果にする可能性があるのです。
過剰訓練がモデルを破綻させる理由
では、実際に内部で何が起こっているのでしょうか。研究者たちは進行性感度と呼ぶ現象を特定しました。これは、事前訓練がある時点を過ぎて続くと、モデルの内部パラメータ（言語理解を定義する数値）がますます脆弱になることを意味します。
モデルが大規模なトークンセットで長時間訓練されるほど、そのパラメータはそのデータの特定の統計的パターンにより強固に固定されます。そうなると、指示チューニング、新しいモダリティへの適応、ガウシアンノイズの追加などの小さな更新でさえ、そのバランスを乱す可能性があります。
この感度は、研究者が忘却と表現するものにつながります。簡単に言えば、新しい強みを追加しようとすると、モデルは以前に獲得した強みを失い始めるのです。
これは、ファインチューニングに依存する企業や開発者にとって特に重要です。モデルが過度に敏感になると、他の分野で性能低下を引き起こすことなく効果的に適応させることができなくなります。これは、メールの要約を行うある瞬間と、次の瞬間にPythonでコーディングするような、多様な下流タスクを処理するよう設計された多目的モデルにとって特に危険です。
さらに、この感度は特定のアーキテクチャのバグではありません。それは長期間の訓練の構造的な結果なのです。この研究では、線形ネットワークのような簡略化された理論モデルを使用して、この脆弱性が、適切な制約なしに事前訓練が続けられる場合、数学的に避けられないことを確認しました。
つまり、これは事後的にパッチを当てることができるものではないのです。それは現在の大規模モデル開発方法に組み込まれたリスクなのです。
そして、この脆弱性は学術研究モデルだけに影響するのではありません。AI開発の最高レベルで影響を与える可能性があるのです。
AI開発者への現実的な影響
AI分野は、スケールアップがより良い性能への鍵であるという信念に支配されています。GPT-3、GPT-4、Claude、Geminiなどはすべて、モデルサイズ、データセット規模、訓練時間の境界を押し広げてきました。これらのモデルの多くは10兆トークン以上で訓練されていると噂されていますが、正確な詳細は多くの場合非公開です。
破滅的過剰訓練が普遍的に適用される場合（現在のデータがそれを示唆していますが）、既に本番環境に展開されている最大規模のモデルの一部は、最適な閾値を過ぎて動作している可能性があります。
そして、それは後続のファインチューニングステップがすべて、向上ではなく効果を削り取っている可能性があることを意味します。
これは、ユーザーがファインチューニングされたモデルで報告する不整合を説明する可能性があります。例えば、ChatGPTがアップデートや新しいプラグインを受け取った時に突然予測しにくい行動を始める場合や、指示に従う能力がある版で改善し、次の版で後退する場合などです。これらは、進歩的により改良が困難になっているモデルの症状である可能性があります。
この問題は商用モデルに限定されません。LLaMAやMistralのようなオープンソースLLMも積極的にスケールしています。彼らの事前訓練戦略が過剰訓練の閾値を考慮していない場合、法的研究、医療、教育などのドメイン固有のアプリケーション用にこれらのモデルをファインチューニングする開発者は、収穫逓減に直面する可能性があります。
ワークフローの一部としてAIに投資している組織にとって、この発見は新たな複雑さの層を追加します。より多くのデータとより多くの計算が常により良い性能をもたらすという前提は、資格なしには真実ではなくなったのです。
大手テック企業の数十億ドルモデルは危険にさらされているのか
この研究によって提起される最も緊急な質問の一つは、この欠陥が今日の最大の商用AIモデルにどの程度適用されるかということです。
OpenAIのGPT-4、AnthropicのClaude 3、GoogleのGemini 1.5、MetaのLlama 3、MistralのMixtralシリーズはすべて、しばしば10兆トークン以上の範囲にあると推測される大規模なトークン数を使用して訓練されています。
しかし、これらの企業はいずれも、モデルの正確なスケール、トークン閾値、または訓練の変曲点を開示していません。この透明性の欠如により、世界で最も強力なLLMの一部が既に安全ゾーンを超えて過剰訓練されているかどうかを評価することが困難になっています。
しかし、この研究が説明することと一致する兆候があります。例えば、OpenAIのユーザーは、ChatGPTの新しいバージョンが論理や指示に従うことで改善を示す一方で、創造性や記憶処理などの分野で性能を失うケースに気づいています。
Anthropicのクロードモデルは、アライメントと安全性で広く称賛されているにもかかわらず、サードパーティアプリケーションに統合された際に時折不安定性を示し、性能の後退を引き起こしています。
GoogleのGemini 1.5 Proは、長文脈理解などのタスクで優秀である一方で、特にテキストと画像入力を含むマルチモーダルタスクでファインチューニングされたワークフロー下で、一貫性のない推論の報告に直面しています。
これらの変動は、既に適応性の閾値を超えているモデルをチューニングすることの副作用である可能性があります。
懸念すべきことは、これらのモデルが破滅的過剰訓練に苦しんでいる場合、どれだけファインチューニングや事後的なパッチを適用しても、それを完全に元に戻すことはできないということです。問題が事前訓練自体の深さと持続時間に起因するため、下流パイプラインを変更したり、より多くのデータを追加したりすることで修正できるものではありません。
つまり、業界で最も高価なモデルの一部が、それに気づくことなく既にスケールを安定性と引き換えにしている可能性があるのです。
この欠陥は修正できるのか
研究チームは問題を特定しただけでなく、それに対処するための様々な緩和戦略も探索しました。しかし、これらのアプローチはいずれも完全な解決策を提供しませんでした。
テストされた技術の中には、ファインチューニング学習率の低下、重み減衰の適用、正則化手法の使用、チューニングバッチサイズの削減、下流タスク用の指示データの慎重な選択などがありました。
これらの方法は性能悪化の開始を遅らせるのに役立ちましたが、それを完全に排除することはできませんでした。これらの調整があっても、2.5兆トークンの閾値を超えて事前訓練されたモデルは、ファインチューニング後、より少ないデータで訓練されたモデルと比較して一貫して性能が劣りました。
これは開発者とモデル設計者にとって根本的なトレードオフを提示します。一方で、より長い事前訓練はより強力なベースモデルをもたらし、より良い生の能力を持つ可能性があります。他方で、ファインチューニング中にそれらの能力が悪化するリスクを大幅に増加させるのです。
この研究はまた、将来の研究のためのいくつかの未解決の質問も強調しています。例えば、AdamWとLionのようなオプティマイザーの選択が、過剰訓練の発症にどれだけ早く影響するかということです。また、訓練データの分布や品質が、感度を最小化する上で測定可能な役割を果たすかどうかという問題もあります。
もう一つの潜在的な方向性は、事前訓練目標自体を再考することです。おそらく異なる目標を混合したり、訓練プロセスの早い段階で適応性メカニズムを組み込むことによってです。
しかし、現時点では普遍的な解決策は存在しません。これは、オープンソースか独自かを問わず、すべての新しいモデルが、破滅的過剰訓練を慎重に管理すべき構造的制限として扱わなければならないことを意味します。これを怠ると、理論上は印象的に見えるが、現実世界のシナリオに適用した際に期待を下回るモデルが生まれる可能性があります。
AIの未来にとってこれが意味すること
この発見は、グローバルな競争がモデルをより大規模に構築し、より長時間訓練する競争を駆動するAI開発の重要な瞬間に生まれました。業界は主に「多いほど良い」という信念の下で動作してきましたが、破滅的過剰訓練に関する発見はその前提に挑戦しています。
ある閾値を超えると、トークン数の増加はモデルの適応性を損なう可能性があり、特に指示チューニング、マルチモーダルタスク、現実世界の展開において、継続的な事前訓練の利益に重要な制限を導入します。
これにより、焦点は生のスケールから安定性へとシフトします。医療、法律、ロボティクス、教育などの高リスクドメインでは、モデルを確実にファインチューニングする能力が、強力なベースモデルを構築することと同じくらい重要になります。
この研究は、事前訓練の閾値感度とチューニングの回復力を理解することが、将来のAI開発の中心になる可能性があることを示唆しています。
フォローアップ作業は既に進行中です。ETH Zurich and Berkeley AI Researchなどの機関は、Mixture of ExpertsやRetrieval Augmented Generationなどの新しいアーキテクチャが、同様の過剰訓練の脆弱性に直面するかどうかを調査しています。
分野が進化するにつれて、この欠陥は将来のシステムの構築方法を形作る上で決定的な役割を果たす可能性があります。10兆、さらには20兆トークンで訓練されたモデルに向かう中で、一つの質問が残ります。いつ行き過ぎたかをどうやって知るのでしょうか。
まだ普遍的な答えはありませんが、一つのことは明確です。訓練だけではモデルの成功を決定しません。パワーと適応性のバランスを取ることが、次に来るものの鍵となるでしょう。
ここまでご覧いただいた方は、下のコメント欄であなたの考えをお聞かせください。より興味深いトピックについては、今画面に表示されている推奨動画をぜひご覧ください。ご視聴ありがとうございました。
コメント