この動画では、AIシステムの内部動作における予想外の発見と、物理学実験設計への革命的応用について解説している。研究者たちがChatGPTのような大規模言語モデルが同じ入力に対して異なる出力を生成する真の原因を突き止め、それがGPUの浮動小数点演算ではなくバッチ処理の違いにあることを明らかにした。さらに、AIが物理学の最先端実験であるLIGOの設計を改良し、40年間の人間の努力では見つけられなかった性能向上の方法を発見した事例を紹介している。
AIの精密性への疑問
AIは正確であるべきです。同じ入力を与えれば、同じ出力が期待されます。シンプルですよね？ところが、実際はそう簡単ではありません。なぜなら、ChatGPTの温度を0に設定しても、つまりランダム性や創造性を完全に排除し、毎回最も明白な答えだけを求めても、常に同じ回答が得られるわけではないからです。
同じ質問を2回尋ねると、2つの異なる答えが返ってくることがあります。時にはQueens, New YorkとNew York Cityのような微妙な違いですが、再現性がすべてである科学の世界では、そのような小さな一貫性の欠如は悪夢です。そして、まさにこの問題が研究者たちを突き動かし、AIの脳内で実際に何が起こっているかを深く掘り下げる原動力となったのです。
AIの神秘に迫る
研究者たちは、ChatGPTのようなモデルがランダム性を無効にしても異なる回答を提供する理由を調査しました。その説明は、AIがハードウェアレベルでどのように思考するかに直結しています。そして、問題は人々が想定していたものとは異なることが判明しました。
長年にわたり、安易な答えは「GPUが厄介だから」というものでした。GPUは並列で数学計算を行い、浮動小数点数は扱いが困難です。異なる順序で加算すると、わずかに異なる結果が得られる可能性があります。これは理論的には正しいのです。非常に小さな数値と非常に大きな数値を取り、順序を入れ替えると、丸め処理がずれて異なる合計が得られる場合があります。1セントに100万ドルを加算してから100万ドルを差し引くようなものです。順序によって、セントが消えてしまう可能性があります。
しかし、ここで驚きの事実があります。研究者が実際にAIのワークロードでこれをテストした結果、これらの小さな浮動小数点の癖は、完了結果が異なる主な理由ではありませんでした。実際、GPU上で同じ大きな行列乗算を同じ入力で何度も実行すると、毎回まったく同じ答えが得られます。
つまり、明白な犯人は無実でした。真の問題はより高いレベルに存在していました。それがバッチ処理です。
バッチ処理の謎
説明しましょう。AIサーバーにリクエストを送信するとき、あなただけではありません。数百人が同時にプロンプトを送信しています。効率を高めるため、サーバーは複数のリクエストをまとめてバッチにグループ化し、それらをモデル内で並行して実行します。
システムの観点から見ると、これは単なる賢いリソース管理です。しかし、落とし穴があります。バッチのサイズと作業がGPU間でどのように分割されるかによって、モデル内の数学が常にまったく同じ順序で実行されるとは限りません。そして、その順序こそが、どの単語が出力されるかを制御しているのです。
つまり、外部から見ると、月曜日の同じプロンプトは10のリクエストのバッチにグループ化される一方で、火曜日には50のバッチに含まれる可能性があります。そのわずかな変化が数学を通じて連鎖し、結果として異なる答えが得られます。これは、モデル自体がランダムだからではありません。モデルを取り巻く環境、つまりサーバーの負荷が予測不可能だからです。
サーバーの観点から見ると、これは依然として決定論的です。同じバッチが入力されれば、同じ出力が得られます。しかし、個々のユーザーにとっては、非決定論的に感じられます。
解決策の探求
だからこそ、研究者たちは真の敵は浮動小数点数学ではなく、バッチ不変性の欠如だと言います。平易な言葉で言えば、システムは、あなたのリクエストが単独で処理されるか、他の100件と一緒に処理されるかに関係なく、同じ出力を提供すべきです。しかし、GPU内で実行される小さなプログラムであるほとんどのAIカーネルは、そのように構築されていません。
では、どうやってこれを修正するのでしょうか？モデルの脳が計算を行う方法を再設計する必要があります。チームは3つの中核操作に焦点を当てました。RMS正規化、行列乗算、そして注意機構です。これらは、すべての大規模言語モデルの背後にあるアーキテクチャであるトランスフォーマーの主力要素です。
そして、ここが巧妙な部分です。彼らは、どのようなバッチサイズを投げても同じように動作するように、これらの操作を書き直す方法を見つけ出しました。
たとえば、正規化について考えてみましょう。通常、AIモデルが多くの数値を結合するとき、エンジニアは効率を保つために作業を異なるGPUコア間に分散させます。落とし穴は、作業を分割すると、計算の順序がわずかに変わる可能性があり、その小さな変化だけで最終出力が変動するのに十分だということです。
研究者たちの解決策は大胆でした。戦略の切り替えをやめることです。GPUの電力を少し無駄にすることになっても、常に同じ固定された方法で数値を処理します。より遅くなりますが、結果は確実に安定します。
行列乗算も同じ問題に直面しました。ライブラリは通常、バッチのサイズに応じて方法を適応させ、それにより高速になりますが一貫性がありません。チームはシステムに毎回1つの方法に固執させることを強制しました。最良のライブラリと比較して生の速度を約20％失いましたが、出力の変化は止まりました。推論においては、その一貫性は余分な速度よりも価値があります。
最も困難な挑戦は注意機構、つまりモデルがどの単語に焦点を当てるかを決定する部分でした。通常、キャッシュされた単語は時間を節約するために新しい単語とは異なって処理されますが、これにより結果がどれだけのトークンが保存されているかに依存します。修正策は、すべてを同じ方法で処理し、順序が決して変わらないようにすることでした。そして、モデルが一度に1つの単語だけを処理しているときは、動的に適応させる代わりに固定されたチャンクにロックしました。
驚異的な結果
これらすべてが整うと、結果は明確でした。彼らは温度0で同じプロンプトの1,000回の完了を実行しました。古いシステムは80の異なるバージョンの答えを生成しましたが、新しいシステムは1,000回の同一完了を生成しました。まさに貪欲復号化が行うべきことです。
これによりQuin 38Bでは処理が少し遅くなりました。約100トークンの1,000シーケンスの生成は、通常26秒かかりましたが、決定論的設定では55秒、注意機構を最適化した後は42秒かかりました。猛烈に速くはありませんが、完全に使用可能です。
これが本当に重要なのは訓練においてです。強化学習は、推論中に使用するのとまったく同じ動作でモデルを訓練することに依存しています。それらが一致しない場合、訓練が崩壊する可能性があります。修正なしの1つのテストでは、モデルの報酬が急上昇してからクラッシュし、ステップ318頃に発散が現れました。修正により、物事は安定しました。しかし、決定論的サンプリングと訓練では、発散は完全に消え、訓練は順調に続きました。これが真のオンポリシー学習の姿です。
科学への影響
そして、なぜこれがあなたにとって重要なのでしょうか？科学は再現性に依存しているからです。研究者が同じモデルから同じ出力を2回得ることができないなら、実験を信頼したり、結果を比較したりすることはほぼ不可能です。AIの脳をハッキングして完全に決定論的にすることで、彼らはより信頼性の高い研究、より簡単なデバッグ、そしてより堅牢な訓練の基盤を築きました。
表面的には派手に見えないかもしれませんが、これは内部のすべてを静かに変える目に見えないアップグレードの1つです。そう、AIが単語一つでも変動できないようにロックすることは、研究にとって巨大な意味を持ちます。
AIの野生の発想
しかし、すべての科学者がAIに安全な道を歩ませることを望んでいるわけではありません。中には実際に逆の質問をする者もいます。もしそれを解き放ち、野生状態にして、どのようなアイデアを思いつくかを見たらどうなるだろうか？
そして、これが次の話につながります。なぜなら、AIは奇妙な理論を吐き出すだけでなく、実際の物理学実験の再設計を始めたからです。そして最も驚くべき部分は、それが考え出したものが実際に機能することです。
LIGO実験の革新
物理学者たちは、これまでに構築された最も敏感な実験のいくつかを再設計するためにAIの使用を開始しました。ワシントンとルイジアナにある4キロメートルの長いアームを持つ巨大な重力波検出器LIGOを例に取りましょう。これは陽子の幅よりも小さい距離の変化を測定します。アルファ・ケンタウリまでの距離を測定し、人間の髪の毛ほど小さなマージンを気にするような極端な精度です。
この設計には数十年を要しました。建設は1994年に始まり、LIGOが最初の重力波、数十億光年離れた2つのブラックホールの衝突からの信号を検出したのは2015年になってからでした。その成功の後、カルテック大学のRana Adakariは、LIGOの設計をさらに押し進めることができるかどうか疑問に思いました。目標は、より多くの周波数で波をキャッチし、異なるサイズのブラックホールを発見したり、あるいは完全に予期しない何かを発見したりする扉を開くことでした。
人間の直感だけに頼る代わりに、彼らはAIに頼りました。物理学者Mario Krennによって量子光学のために開発されたソフトウェアが、鏡、レーザー、ビームスプリッターなどの部品のサンドボックスを与えられ、設計を見つけるよう指示されました。
最初の結果は狂気じみていました。対称性も優雅さもない、人間が自然に提案するようなものは何もない、完全にエイリアン的なレイアウトでした。一見すると、それらはナンセンスに見えました。しかし、1つの設計の中に埋もれていたのは衝撃的なものでした。AIは光がアームから出る前に循環させるために3キロメートルの長い光学リングを追加しました。
このトリックは、数十年前にロシアの物理学者によって発見されたが、実際には試されたことのない曖昧な量子ノイズ削減原理を利用したものでした。結果として、もし彼らが最初からその追加要素でLIGOを構築していたなら、10から15％より敏感にできた可能性があります。亜原子スケールで差が測定される世界では、それは巨大です。
数千人の科学者が40年間LIGOからあらゆる性能を絞り出すことに費やしました。それでも、AIは彼らが皆見落としていた単純な調整を投げかけたのです。
量子もつれの新発見
これは孤立したケースではありません。Krennのグループはまた、もつれ交換と呼ばれる量子もつれの有名な実験を再検討するためにAIを使用しました。1993年に遡り、Anton Zylingerと同僚たちは、そのパートナーを干渉させることによって、決して相互作用したことのない2つの粒子をもつれさせる方法を解明しました。これは量子技術の基石となりました。
しかし、KrennのチームがPytheistと呼ばれるAIシステムをこの問題に対して実行したとき、それは全く異なる設計を吐き出しました。よりシンプルで、より効率的で、ほとんどの研究者がこの問題に関連付けていなかった原理である多光子干渉に基づいていました。最初は、科学者でさえそれが間違っていると思いました。信頼できる設計とは全く似ていませんでした。
しかし、数学は正しく、2024年12月に中国の南京のチームが実験を構築し、予測された通りに機能することを確認しました。これは、AIが人間の設計を模倣するだけでなく、実際に現実で通用する新しい設計を発明していることを意味します。
データからのパターン発見
実験を超えて、AIはデータ内の隠れたパターンも発見しています。大型ハドロン衝突型加速器では、研究者たちは物理学を教えることなく対称性を検出する機械学習モデルを訓練しました。モデルは純粋に生データからローレンツ対称性、アインシュタインの相対性理論の基礎を再発見しました。
天体物理学では、他のチームがAIを使用して宇宙でダークマターがどのように凝集するかの公式を生成し、人間が作成したものよりもデータによく適合する方程式を産み出しました。
これらのモデルはまだ方程式の背後にある物語を語りませんが、AIが混沌の中に構造を見つけることができることを示しています。物理学者Kyle Cranmerはうまく表現しました。今のところ、それは子供に話すことを教えるようなものです。多くのベビーシッティングが必要です。しかし、大規模言語モデルが数学と自然言語の両方の扱いが向上すると、データに適合するだけでなく、仮説と説明を提案するシステムを目にする可能性があります。
そして、それが起こるとき、AIは配管だけでなく、物理学の実際の理論に貢献し始める可能性があります。
科学の未来への問い
ここで質問があります。私たちはAIが科学の真のパートナーになる瞬間を目撃しているのでしょうか、それとも発見がもはや私たちのものではなくなる境界線を越えているのでしょうか？コメントであなたの考えをお聞かせください。
購読を忘れずに、「いいね」をつけてください。ご視聴いただきありがとうございました。次回でお会いしましょう。
コメント