ChatGPTの共同開発者であるLiam氏とDeepMindで物理チームを率いていたDoge氏が、なぜ両社を離れてPeriodic Labsを創業したのかを語る。Periodic Labsは、実験データと物理シミュレーションを統合した強化学習により、AIに物理学と化学を教える先端AI研究所である。現在のLLMは数学やコーディングには優れているが、実世界の物理現象を理解するには実験によるフィードバックループが不可欠だという信念のもと、高温超伝導体の発見を最初の目標に掲げている。彼らは約30名のチームで、機械学習の専門家と物理学者・化学者を融合させ、従来のテキストベースの報酬関数ではなく、実験室での物理実験そのものを報酬関数とする新しいAIトレーニング手法を開発している。その応用範囲は材料科学、先端製造業、宇宙産業、防衛産業など多岐にわたり、物理R&Dを劇的に加速させる可能性を秘めている。
ChatGPT共同開発者が目指す新たな挑戦
最終的に科学は実世界の実験に対して駆動されます。だからこそ私たちはPeriodic Labsでそれを実践しているのです。私たちはこれらの前駆技術を取り入れて、科学を前進させることを重視するなら実験をループに組み込む必要があると言っています。
より適切な表現がないのでAI物理学者と呼びますが、現実世界を設計できるAI物理学者を構築することの応用範囲は非常に広大です。先端製造業に適用できますし、材料科学や化学、物理世界でのR&Dが必要なあらゆるプロセスに適用できます。Periodicが取り組んでいるブレークスルーから恩恵を受けるように思えます。
例えば、200ケルビンの超伝導体を発見できたとします。それで何か製品を作る前であっても、そのような高温で量子効果を見ることができるということは、人々が宇宙をどう見るかという観点において非常に大きな認識のアップデートになると思います。
Liamさん、あなたはChatGPTの共同開発者でしたね。DeepMindでは物理チームの一部を率いていました。お二人がどのように出会ったのか、そしてPeriodicを始めるために両方のラボを離れなければならないと気づいた瞬間について話しましょう。
Google Brainでの出会い
8年前にGoogle Brainで大きなタイヤをひっくり返していたときに出会ったと思います。Googleの話をもっと聞かせてください。Google Railsというのは、Googleの施設にあるジムの一つでした。Dogeとそこで出会ったと思います。一人では基本的にひっくり返せないような巨大なタイヤがありました。
Dogeがそれをひっくり返そうとしていて、私を引っ張ってきたんです。二人ならできると思う、と彼は言いました。
なぜそのタイヤをひっくり返そうとしていたんですか。
まあ、やってみない理由がありますか。私は試してみましたができませんでした。それで、誰か一番強い人を探そうと思いました。BarrettかLiamのどちらかでした。Liamを選んで、うまくいきました。実際にひっくり返せました。
それがお二人とも物理学のバックグラウンドを持っていることに気づいた瞬間だったんですか。タイヤをひっくり返すところから実験をひっくり返すところまで、どのように進んだのですか。
Dogeがこれを覚えているかわかりませんが、何年にもわたって近況を報告し合っていました。そして量子力学や超伝導についてよく話していました。これは非常によくあることでしたが、一緒に物理学に取り組むことになるとは思っていませんでした。
Liamは大規模言語モデルに取り組んでいて、それは非常にうまくいっていました。私は大規模言語モデルを使っていませんでしたが、LLMが私の仕事でますます影響力を持つようになっていることに気づいていました。
影響を与えていた一つの方法は、化学や物理学について何かを思い出そうとしたとき、チャットボットと話すだけで忘れていたことを実際に多く学べたことです。もう一つはもちろんコーディングでした。シミュレーションを書いていて、LLMがこれらのシミュレーションを書くのに非常に役立ちました。それで疑問が生まれました。LLMを物理研究においてより第一級の市民として使えないだろうか、と。
Periodicを創業する決断
OpenAIを離れる決断に至るまで、Dogeとはつながりながらこれらの異なる技術ツリーについて話していました。言語モデルの改善、推論の進歩を見ていました。高計算量の強化学習ができることを見ていました。
材料科学の側では、物理学内、化学内でのスケーリング則を見ていました。シミュレーションに関しても実験に関しても。機械学習で働いているのと同じ種類の原理です。私たち二人にとって、そしてこの分野の多くの人々にとって、この技術の目標は科学を加速すること、物理的なR&Dを加速することです。
チャットボットは素晴らしいマイルストーンでしたが、私たちは本当に技術が世界に出ていくのを見たいのです。ここが始めるのにちょうど良い場所だと感じました。物理学は非常に検証可能です。素晴らしい報酬関数であり、かなり速い反復ループがあります。物理システムの大きなクラスに対してシミュレーターがあります。このAI科学者を作るには、これがこの道の始まりだと感じました。
そうして確信を築き、Periodicを創業することを決めました。
Periodic Labsとは何か
少し時間を取ってPeriodic Labsとは何か、何をするのかについて話しましょう。Periodic Labsは、LLMを使って物理学と化学を前進させようとしている先端AI研究所です。実験をループに組み込み、シミュレーションやLLMと緊密に結合させることが極めて重要だと感じています。
高スループット、高品質のデータを生成するラボを構築しています。そして実験と連携してLLMとシミュレーションを使って反復しようとしています。科学はその性質上、反復的な方向性を持っており、LLMが人間が利用できるこれらすべてのツールを使用することで、物理的なR&Dの加速に素晴らしい仕事ができると感じています。
目的は、今日使っている数学採点者やコード採点者からの報酬関数を置き換えることだと言えます。例を挙げると、数学採点者では、2+2は何ですか、というプロンプトがあります。正解は4です。プログラム的にチェック可能なこのような問題に対して多くの最適化圧力をかけることができます。
私たちがラボを持つことによって行っているのは、物理的に根拠のある報酬関数を作成し、それを最適化の基礎にすることです。シミュレーターに何らかの欠陥や問題がある場合、常にエラー訂正を行います。なぜなら私たちにとって真実は実験、つまりRL環境だからです。自然が私たちの設定におけるRL環境なのです。
実験とAIトレーニング
馴染みのない人のために、実世界でRLを検証するラボとはどういう意味なのか、少し説明しましょう。実験がどのように機能するかについて話していただけますか。今日AIモデルはどのようにトレーニングされているのか、そしてPeriodicでトレーニング、開発、ポストトレーニング、展開される方法とどう違うのでしょうか。ChatGPTをどのように作成したかについて話すと役立つかもしれません。
ChatGPTは元々、技術が過去数年間で非常に急速に進化しました。最初に作成したとき、それは非常に標準的なRLHFパイプラインでした。事前学習モデルがあり、それは生の基盤のようなものです。この自動補完モデルを取って有用なものに変えようとしています。
当時行った方法は、教師データを用意することでした。ある入力に対して、これが望ましい出力だと言います。アシスタントとして機能させようとするなら、そのようなタプルを作成し、それから強化学習を実行します。しかし今度は人間の好みに対してトレーニングされた報酬関数に対して学習しています。人間は、この入力に対して、補完Bよりも補完Aを好む、と言います。
これを何度も繰り返します。そして最適化できる報酬関数を作成できます。それがChatGPTを作成した基礎のようなものです。しかし元のモデルと今日持っているものの間には大きなギャップがあります。その一部は推論ですが、一部はより優れた、より正確な報酬関数でもあります。
最初に使っていた報酬関数は、数学的に正しいかどうかを判断できませんでした。だからChatGPTの初期バージョンは数学的にそれほど強くありませんでした。それは報酬関数の結果です。
何に対して最適化したのですか。報酬関数は基本的に、親切なアシスタントになって人々が目標に到達するのを助けようとすることをエンコードしていました。しかしこれが数学的に正しいかどうか、このコードが有効かどうかについての感覚はありませんでした。報酬関数の正確性について大きな進歩を遂げました。
しかしこれはすべてデジタルです。インターネット、教科書、論文に基づいてタスクを作成しています。これは素晴らしい。基礎を築きます。しかし最終的に科学は実世界の実験に対して駆動されます。だからこそ私たちはPeriodic Labsでそれを行っているのです。
これらの前駆技術を取り入れて、科学を前進させることを重視するなら実験をループに組み込む必要がある、と言っています。それが私たちのエージェントの報酬関数になります。
Dogeが言っていたように、私たちのエージェントはコーディングやクエリへの回答に使うのと同じタイプのことをしていますが、今ではPythonやブラウザのようなツールの代わりに、量子力学のようなツール、異なるシステムをシミュレートするツールがあります。しかし最終的にラボに行き、それがシステムが最適化する基礎になります。これはこれらのシステムの自然な最終状態のようなものです。
ラボの意味の違い
AIの人々がよくラボと言うとき、彼らが指しているものはあなた方が意味するラボとはかなり異なります。違いは何ですか。
その通りです。Dogeが言及したように、これまでLLMは論理と数学が非常に得意になってきました。検証可能な報酬があります。論理と数学の後の次の探究のフロンティアは何でしょうか。物理学だと言えます。そして物理学と言うとき、異なるエネルギースケールがあります。銀河を研究する天体物理学、核融合、原子核物理学がありますが、私たちの生活により関連する物理学のエネルギースケールがあります。それは量子力学、シュレーディンガー方程式です。これは生物学が起こり、私たちの周りで化学が起こり、材料が生まれる場所です。
私たちの最初のラボは基本的にその量子力学的エネルギースケールを探査すべきだと感じました。私たちにとってそれは固体物理学、材料科学、化学のレベルでの物理学になります。私たちの周りのものを作る最も基本的な方法の一つは粉末合成です。既存の材料の粉末を取り、混ぜ合わせ、特定の温度まで加熱すると新しい材料になります。
それが私たちのラボの一つです。粉末合成ラボを持つ予定です。これはロボットが非常に安価でシンプルな方法で実行できる方法の一つであることがわかりました。SF空港でコーヒー作りロボットを見たかどうかわかりませんが、基本的にそのレベルのロボットが粉末を混ぜて炉に入れることができます。
これは非常に豊かな分野です。その方法を使って新しい超伝導体、磁石、私たちの周りの技術にとって非常に重要なあらゆる種類の材料を実際に発見できます。しかしその中核には量子力学があります。
これらのLLMに量子力学の基礎モデルになることを教えることが、LLMの次のフロンティアになると感じています。
なぜ既存のモデルでは不十分なのか
現在世界で展開されているモデルがこれを実行できないのはなぜですか。
素晴らしい質問です。Liamが先ほど述べたように、科学はその性質上反復的です。最も賢い人間でさえ、発見したものを発見する前に何度も試みました。これはLLMについての混乱を招くポイントの一つかもしれません。
LLMは非常に賢くなれますが、科学について反復していなければ科学を発見しません。正直なところ、人間もそうしません。人間を何かを反復する機会なしに部屋に入れても、重要なことは何も発見しないでしょう。
これらのLLMに科学的探究の方法を教えることが重要だと感じています。シミュレーションを行い、理論計算を行い、実験を行い、結果を得ます。結果はおそらく最初は正しくないか、望むものではありません。しかし反復します。これはまだ行われていないと感じています。
これが私たちがやりたいことですが、シミュレーションだけでなく実際の物理学で行う必要があると感じています。だからこそ私たち自身のラボがあり、LLMは量子力学の理解について反復する機会を持つのです。
基本的に、機械学習モデルはトレーニングされたことが得意です。それがその性質です。モデルが悪い動作をしている場合、そのタスクをトレーニングしたのか、ということになります。
Dogeのポイントに基づくと、認識論的不確実性、つまり実験を実際に実行しない限り実際には構築したり崩壊させたりしない還元可能な不確実性のようなものがあります。例えば、私たちのチームのエンジニアの一人が文献で報告されたある物理的特性を調べていましたが、それは何桁にもわたっていました。
このようなデータでシステムをトレーニングすると、これらのシステムは魔法ではありません。できる最善のことはその分布を再現することですが、宇宙、物理学、化学のより深い理解には全く近づいていません。
もう一つのポイントは、否定的な結果を発表することは非常に珍しいということです。結果は基本的にすべて肯定的であり、有効な否定的結果は非常に価値があります。否定的結果は、ずさんな科学だったから破棄される可能性がありますが、有効な否定的結果があり、それは学習信号です。これは私たちのラボも生み出すものです。
ノイズの多いデータ、否定的結果がないこと、そして科学を実際に行うには行動する能力が必要であること、これは反復的な努力です。これらがラボが必要な理由の中核的な論点だと思います。
進捗の測定方法
その目標に対するPeriodicの進捗を測定する中核的な方法は何でしょうか。
シンプルなものの一つは、高温超伝導性としましょう。私たちが合成した最高温度の超伝導体は何か。今日、常圧での最高の数値は135ケルビンほどです。その数値を超えることができればうまくいっているとすぐにわかります。
より応用的な側面では、材料の処理とそれが材料特性に与える影響があります。これらの特性を直接測定できます。延性、靭性、材料の強度です。測定すると、LLMは非常に明確な信号を得ます。
これらの他のLLMトレーニング技術とは異なり、ハッキングするのは困難です。実生活で見るものが実際にLLMに行く信号なのです。
効果的には、あなたの周りの世界を設計できるか、ということです。この特性を持つ何かが必要だ、と。このシステムはそれを発見し生産できるか。基本的な科学的発見の観点からも、産業においてもです。宇宙や防衛や半導体で働いている人がいて、これらの問題を抱えている、この材料やこの層のこの特性を達成しようとしている、と。システムはこれらの技術の開発を加速できるか。非常に根拠があります。それがうまくいっているかどうかわかる方法です。
応用範囲の広さ
より適切な表現がないのでAI物理学者と呼びますが、現実世界を設計できるAI物理学者を構築することを解決することの応用範囲は非常に広いように感じます。先端製造業に適用できます。材料科学、化学、物理世界でのR&Dが必要なあらゆるプロセスに適用できます。Periodicが取り組んでいるブレークスルーから恩恵を受けるように思えます。なぜこれまで行われてこなかったのでしょうか。そしてこの歴史の瞬間がこの問題を攻撃するのに適切な時期である理由は何ですか。
一つのコメントは難しさです。何がそれを非常に難しくしているのか。その一部はチームだと思います。
私たちの見解では、これは過去数年間の先端技術によって可能になりました。DogeとはN=1のチームを編成することに非常に集中してきました。この物理学者、化学者、シミュレーションの専門家、そして世界で最高の機械学習研究者の一部のグループが、これまで一つの協調した努力の一部になったことはありませんでした。これを実際に達成するには、これらすべての専門知識、これらの柱が必要だと感じています。
チーム編成の指針
OpenAIやDeepMindを離れた後、チームを設計するにあたって、チームに誰を望むかを見極めるために使った主要なヒューリスティックは何でしたか。
専門知識の観点からは、LLMの専門知識、実験の専門知識、シミュレーションをカバーしたいと考えました。そしてそれぞれについて基本的に世界クラスの人材を望みました。もちろん各チームには実際に多くのサブチームがあります。専門知識はフラクタルのようなものです。
実験側では、固体化学、固体物理学、自動化、そして施設のようなより運用的な側面をカバーしたいと考えました。シミュレーション側では、より理論物理学の部分、シミュレーションのより多くのコーディング側面があります。LLM側ではもちろん、中間トレーニング、RL、インフラがあります。これらのサブピラーで革新してきた基本的に最高の人々を得ようとしました。
それを行うために必要だと考える技術は、本当にここ数年で出現したばかりです。このデータはRedditフォーラムか何かにあるようなものではありません。実験データ、シミュレーションデータを実際に生成する必要があります。これらすべての先端産業にサイロ化されており、その多くは願望はあるものの、AIにおけるこの最近の波を推進してきた最新の技術の知識を持っていないかもしれません。
スケーリング則の適用範囲
GPT-3の論文のようなモデルや論文があった時点がありました。言語モデルの設定やfew-shot learnersで、スケーリング則のアイデアを提案しました。その後、OpenAIからフォローアップの論文があり、生成モデリングのスケーリング則と呼ばれていたと思います。適切な組み合わせで計算量とデータをスケールアップし続けるだけで、これらのモデルのパフォーマンスを非常に予測可能に改善できることを示しました。理論としては、それを無限に続けていけば多くの創発的能力が出現するというものでした。これらのモデルはドメイン外、分布外のあらゆる種類の問題について推論できるようになるでしょう。
これは、現在のほとんどの先端ラボでの事前トレーニングとポストトレーニングのパイプラインが最終的に物理学もクラックするという考え方と、どう整合性を取るのでしょうか。物理的検証のアイデアがなぜそれほど必要なのか、その思考の学派は間違っているのでしょうか。
素晴らしい質問です。スケーリング則は経験的に保持し続けているように見えます。それは疑問の余地がありません。しかし、このY軸が何なのかという疑問があります。そのテスト分布は私たちが話していることとは非常に異なります。
そのテスト分布は、インターネット上で事前トレーニングしているとすると、インターネットからの代表的なセットである可能性があり、これらの予測可能なスケーリング特性があります。しかしそれは、異なる分布に関して非常に異なるスケーリング特性のセットを持つことを捉えません。
もう少し具体的にしましょう。仮にコーディングモデルをトレーニングしていて、何らかの報酬信号を提供するためにユニットテストがあるとします。モデルがPRを書きます。ユニットテストが失敗から合格に変わることをチェックし、これは成功だったと言います。これらのことを強化します。
これを最適化し始めると、システムは自己開発のためのコードを書くことがますます能力が高くなり、加速があります。ある種のテイクオフシナリオがあります。
コードはこれに最も有望な領域の一つです。なぜならオンラインに豊富なデータがあるからです。システム自体が自己改善を始めることができるこのフィードバックループがあります。非常に有望な技術であり、私たちは皆、高度なコーディングモデルの恩恵を見ており、急速に加速しています。
しかしそのモデルは癌を治療することはないでしょう。知識は単に存在しません。あなたが気にする分布に対して最適化する必要があります。そのモデルは、ソフトウェアエンジニアとして非常に価値のあるツールになるでしょうし、癌研究者が分析を行うのを助けるかもしれませんが、単にデータ、知識、またはその環境に対して反復する専門知識を持っていません。それが私たちが持っている基本的な信念だと思います。
実際、Liamと私はビジョンモデルのスケーリング則を調べているときにこれに少し取り組みました。OpenAIのCLIP論文でも多く出てきましたが、ドメイン内の汎化とドメイン外の汎化は単調に相関していますが、必ずしも線形ではありません。
つまり、モデルを改善し続けることができ、ドメイン内ではべき乗則として改善し、Liamが言ったようにトレーニングセットとは少し異なることをしようとしているドメイン外タスクもべき乗則として改善します。しかしそのべき乗則の傾きは十分に良くないかもしれません。望む結果を得るのに何世紀も費やす必要があるかもしれません。
例えばNOVA論文でこれを見ました。トレーニングセットのサイズを増やすと、ドメイン内のパフォーマンスはべき乗則として改善します。ドメイン外のパフォーマンスもべき乗則として改善します。しかしドメイン外がどこにあるか、トレーニング分布からどれだけ離れているかによって、そのべき乗則の傾きが非常に小さく、基本的に役に立たない可能性があります。
これが進歩を遂げる最良の方法は、ターゲットをドメイン内のトレーニングセットにできるだけ近づけることだと感じる理由の一つです。これを行う最良の方法は、基本的にトレーニングセットをやりたいことにより近いものに変更することを反復することです。
もう一つの答えは実際にはさらにシンプルかもしれません。私たちが望む実験データは実際には存在しません。例えば、合成のための文献の実験データから学習したいとしましょう。生成エンタルピーラベル、つまり基本的に原子を望む形に組み立てるのに必要なエネルギーは非常に高く、それで機械学習モデルをトレーニングすると、次のものを予測するのに十分な予測力がないことがわかります。
その理由の一つは、Liamが述べたように、通常人々は否定的な結果を発表しないからです。そして否定的な結果は通常非常に文脈依存的です。ある人にとっての否定的な結果は、異なる方法で行えば肯定的かもしれません。
このドメインシフトの問題だけでなく、やろうとしていることがトレーニングセットとは異なる可能性があるため、べき乗則が望むほど大きな傾きを持たないかもしれないという問題もあります。しかしもう一つの問題は、やりたいことの一部についてデータが存在しないということです。
例えば超伝導性については、多くのデータセットを見ることができますが、それらのノイズフロアが非常に高いため、それらでトレーニングしても通常は役立ちません。
Doge、私、チーム全体はスケールアップとスケーリング則の深い信奉者ですが、気にすることに対して直線的に進むべきです。私たちの場合、科学の前進、物理的R&Dの前進を気にしています。それが論点です。
最初の目標領域の選択
超苦労せずにより多くの計算を投入するだけという考え方と、あなた方が説明したラボが焦点を当てなければならない領域固有のパイプラインとの間に緊張関係はありますか。最初のビームラインは超伝導性と磁性に向けられていると述べましたね。それらのドメインがPeriodicが取り組んでいる最初のいくつかのパイプラインに適した候補である理由は何ですか。そしてそれらは、あなた方が行っていることの究極の北極星であるあらゆる種類のドメインにわたって汎化するAI物理学者への道の途中の休憩所なのでしょうか。それとも本質的にオフランプになる危険性があり、AI科学的超知能という北極星には到達しないのでしょうか。
例えば高温超伝導性の目標は、実際には非常に多くのサブゴールを含む目標だと感じています。DeepMindとOpenAIが始まってAGIをやると言ったのと少し似ています。しかし彼らが意味していたのは、これらのクールな結果を得るまでに非常に多くのことをしなければならなかったということです。
私たちにとって、高温超伝導体を得たいなら、おそらく自律合成、自律特性評価が得意になる必要があります。LLMを使用してシミュレーションを正しく実行し、材料のさまざまな側面を特性評価することが得意になる必要があります。これは北極星であり、その途中には私がコミュニティにとって非常に影響力があると思う多くのゴールがあります。それが一つの理由です。
もう一つの理由は、高温超伝導性は非常に根本的に興味深い問いだと感じています。例えば200ケルビンの超伝導体を見つけることができれば、それで何か製品を作る前であっても、それ自体が私たちがまだ知らなかった宇宙について非常に多くのことを語っています。そのような高温で量子効果を見ることができるということは、人々が宇宙をどう見るかという観点において非常に大きな認識のアップデートになると思います。これが製品を作る前であっても人類にとって本当に影響力があると感じる理由です。
技術的な理由もあります。超伝導性は相転移なので、まだシミュレートできない詳細の一部に対してかなり頑健です。例えば材料を作るとき、超伝導温度は通常、欠陥やミクロ構造のようなものよりも、その結晶の基本的な特性によって支配されています。一方、他の材料特性では、結晶が望む特性を持っていても、シミュレートできない非常に多くの他の要因がその特性を見ることを妨げる可能性があります。
超伝導性にはこの素晴らしい哲学的な利点、技術的な利点があります。そして物理学を40年間研究してきた人々を本当に結集させます。超伝導性に非常に興奮している人々がいますし、物理学を一度も勉強したことがない人々も超伝導性に非常に興奮しています。チーム全体を結束させるトピックを見つけることは非常にまれです。
Dogeが言ったように、これを行うためには解決すべき非常に多くの基礎的な部分があります。私たちの戦術は、AI科学者というこの目標に実際に到達するためには、どこかで完全なループに接触する必要があるということです。非常に漠然とした言葉でこれを行っていると言うと、アーカイブ論文や教科書に戻ってしまいます。
ループを実行することが私たちにとって本当に重要ですが、この反復可能なプロセスを作成します。サブドメインからサブドメインへどのように進むか。MLシステムがこれらのものの間でどれだけうまく汎化するかについて本当に興味深い質問があります。
例えば超伝導性データから磁性データへのシステムの汎化と、流体力学への汎化能力は非常に異なって見えるかもしれません。そこには基本的な議論があると思います。
しかし目標は、この反復可能なシステムを作成し、それを証明し、その後その方法で異なるドメインを進むことです。
商業的な道筋
実験ベースから室温超伝導性をクラックすることが人類にとって非常に価値があるという議論はわかります。しかしあなた方はスタートアップを構築しています。北極星への途中で明確な中期的または短期から中期的な道筋を持つ必要がある理由のアナロジーを使うと、それは商業的に実行可能で社会にとってもネットポジティブである必要があります。
例えばホワイトカラー労働やソフトウェア知識労働の自動化に取り組んでいる他の先端ラボで見てきたことは、AI研究者という北極星がありますが、その途中に多くのサブゴールなどがありました。しかしその道の途中で大量の商業的価値とユーザーへの利益を開いた具体的なアプリケーションは、AIプログラミングのアイデアでした。
ソフトウェアエンジニアリングは、おそらくAIモデルが消費者アプリケーションを超えてどれだけ有用であるかについて人々が本当にプライアーを更新した最初の主要なドメインになりました。生産性の観点から、その影響はわずか数ヶ月で驚異的でした。
従来の先端ラボの北極星がAI研究者で、そこに到達するための道の途中がプログラミング、AIプログラミングだったとすれば、Periodicにとってそれは何ですか。
基本的に、先端産業のエンジニア、研究者のためのコパイロットです。シリコンバレーにいるためか、コンピュータ指向の仕事について本当に考えます。すべてがデジタル、すべてがビットです。しかし宇宙、防衛、半導体のような非常に多くの産業があり、材料の反復、物理学を扱っており、それが彼らのワークフローの一部です。これらの新技術、新デバイスをどのように設計しているのか。
データがない場合、優れたシステムがない場合、彼らは特に優れたツールを持っていません。それが私たちの機会であり、これらは巨大なR&D予算です。高温超伝導性は素晴らしい北極星ですが、技術と資本が絡み合っていることを非常によく理解しています。
これが非常に成功した商業エンティティであれば、科学を最大限に加速できます。そのために、これらすべての異なる産業で先端製造を加速したいと考えています。
これらすべてのチームのインテリジェンスレイヤーのようになり、ワークフローを加速し、反復時間を短縮し、より迅速により良いソリューションに到達させ、研究者とエンジニアを加速します。
チーム文化と実践
実際のPeriodicチームメンバーの日常生活について、もう少し深く掘り下げましょう。チームの約半分が機械学習のバックグラウンドを持つML科学者で、残りの半分が物理学または化学のバックグラウンドを持つ物理科学者であるというのは正しいですか。文化を統合することからどのように始めますか。
これまでのキャリアが主にウェットラボでの実験、物理学と化学の実験だった人に、どのようにMLの直感を与えますか。逆もまた同様です。あなた方は両方とも物理学者で、その後先端AIラボにいる機会があり、ChatGPTやGnomeのような現在ランドマーク的な機械学習システムと考えられているシステムのトレーニングの一部でした。しかし他のドメインから来る人々にとって、チームが他のドメインへの直感を構築するのをどのように支援しますか。
素晴らしい質問です。これらのチームが互いに非常に緊密に協力することが実際に私たちにとって重要だと感じています。私たちが見ているものの一つは、物理学者と化学者がLLMにこれらのことについて推論する方法を教える方法を見つける必要があるということです。先端AIラボは数学と論理についてトレーニングする方法を見つけましたが、まだ物理学、化学についてはそうではないからです。
私たちが見ている非常に生産的だと思うことの一つは、物理学者と化学者が、LLMに量子力学について正しく推論する方法、これらの物理システムについて正しく推論する方法を教える中間トレーニング、RLトレーニングに含めるべきステップは何かを考えていることです。
もちろんもう一つは、LLM研究者が物理学、シミュレーションツール、目標について多くを学んでいることです。彼らは本当にうまく協力しています。RLループがどのように機能するか、データクリーニングがどのように機能するかをLLM研究者が教える週次の教育セッションがあり、物理学者と化学者は科学のさまざまな側面、科学の歴史についても教えています。それも非常に重要です。
これは非常にうまくいっていると感じています。これを見る一つの方法は、例えば超伝導体を発見できるようにLLMに教えなければならないことには、文献を本当によく読むこと、すべての論文、教科書を読み、関連部分を見つけること、そしてシミュレーション、理論計算を実行できること、そして行動を起こし実験を実行することが含まれます。
これは、これらの企業の物理的R&D研究者と非常に似ていると感じています。彼らは文献、内部または外部の文書を読み、シミュレーション、理論計算を実行し、そして実際に実験的に試み、そこから学ばなければなりません。
内部の超伝導性または物理学の目標に向けて行っているすべての進歩は、実際に非常に類似したワークフローを行っている顧客にサービスを提供する上でLLMをはるかに優れたものにしていると感じています。
文化について言えば、愚かな質問はありません。最も愚かな物理学の質問、最も愚かなMLの質問をすることができます。
私たちの会社の一部として数人の教員がいますが、彼らは実際に優れた教師です。これらの学習セッションは本当に素晴らしいものでした。もう一つ気づいたことは、コンピュータサイエンティストはしばしばAPIの観点から考えるということです。
科学者が何かを言うと、彼らは常にそれをマッピングしようとします。入力は何か、出力は何か、ターゲットは何か、それをどうマッピングし直すか。常にこの翻訳であり、チーム内にこれらの異なるエッジにいる人々も構築してきたと思います。
純粋なML、LLM、純粋な実験主義者、純粋なシミュレーションのシンプレックスがあるとすれば、その内側に住んでいる人々がいます。彼らはこれらの異なるグループの人々の間を翻訳する優れた橋渡しとなっています。積極的に他のスペースを学ぶこと、APIを作成すること、そしてこれらの種類の橋渡しコネクター的な人々がいます。Dogeはその素晴らしい例だと思います。
Periodicに参加したい人にとって、物理学または化学の高度な学位を持つことは必須ですか。
絶対にそうではありません。私たちが冗談で言っていたことの一つは、NBAの選手が「私はあなたよりもレブロン・ジェームズにはるかに近い」と言っていたというものです。
私たちは候補者に対してその逆を言っていました。なぜなら、最高の物理学者でさえ物理学について知らない量は、彼らが物理学について知っている量よりもはるかに大きいからです。この新しい候補者が物理学のバックグラウンドがなくても、私たちがやろうとしていることについて学ばなければならない量は、最高の物理学者が学ばなければならない量と実際にそれほど違いません。学ぶべき化学、材料科学が非常に多いからです。
これは今日の科学の興味深い側面の一つだと思います。1800年代には、最先端で非常に多くの異なることができる物理学者がいました。今日、私たちの知的知識は非常に大きくなり、主導的な思想家は通常一つの非常に特定の分野でのみ前進できます。これが実際に私たちを妨げているかもしれません。
素晴らしい超伝導体を発見するには、この例に戻りますが、化学、物理学、合成、特性評価について非常に多くのことを知らなければなりません。残念ながら、これらすべてについて十分に知っている人間は誰もいないと思います。だから協力しなければなりません。
私たちのチームは、さまざまな点がそのシンプレックスにあるような小さな例だと思います。どの人にとっても学ぶべきことが非常に多いですが、それは基本的に他のすべての科学者にも当てはまります。例えば、私は物理学の側から来たとされていますが、チームにさまざまな化学の分野、物理学の分野の人々がいるため、はるかに多くの物理学を学んでいます。
LLM研究者にも当てはまると思います。彼らが入ってくると、チームの他の研究者と協力し始めるまで知らなかったLLMの側面があります。これは素晴らしい経験であり、LLMで行おうとしていることの小さな例のようなものだと思います。私たちは研究者として学んでいるこれらすべての異なることをこのLLMに教えようとしているからです。本当に楽しい体験だと思います。
優れた研究者の特性
OpenAIやAnthropicやDeepMindでの優れた研究者とは異なる、Periodicでの優れた研究者を作るものは何ですか。
非常に高い重複があると言えます。しかしおそらく最大の決定要因の一つは、このミッションを気にかけているかということです。科学を加速することがあなたにとって大きな目標であり、今のチームを見ると、これは北極星だ、やろうと言う非常にミッション駆動型の人々です。
もし誰かが本当にメガコーポの製品を改善したいなら、おそらくそのメガコーポにいる方が良いでしょう。しかし科学的発見を気にかけるなら、Periodic Labsがそれを行うのに最高の場所だと思います。
今日のチームの規模はどれくらいですか。
約30人だと思います。
展開戦略
会社で行われている多くの研究を取り、それを現実世界に展開することについて考えるとき、私たちが話してきた顧客の種類、宇宙、防衛、先端製造業は、彼らが経済のどの部分であれ、そこに不可欠であることで知られているミッションクリティカルな産業です。しかし彼らは必ずしも最も速く新技術を採用するわけではありません。
科学が得意で物理学が得意な先端エージェントの種類を、AIやMLではあなた方ほど洗練されていないかもしれない企業や組織にどのように展開することを考えていますか。進歩の弧が展開でボトルネックにならないようにするための実用的な論点はありますか。研究側で科学的進歩の弧のブロックを解除する方法についてはかなり良い論点があるようですが、展開に関しては、Periodicが構築しているシステムを実世界に出すのに役立つ楽観的な実用理論は何でしょうか。
これらすべての企業との会話で気づいたことの一つは、彼らは皆AI戦略を探しているということです。技術が非常に急速にシフトしていることを理解しており、仕事のやり方を見ていますが、彼らが思うべきほど急速には変化していません。
一部の産業はまた、異なる分野で重要な専門知識を失っています。これらのシニアエンジニア、シニア研究者を失っており、どうやってそれを保存するか、と考えています。
一つの論点は、これらのAPIについて考え、評価とは何か、これらの企業にとっての最大のボトルネックは何かを理解することです。彼らが直面している問題のいくつかを見て、それを私たちのシステムにマッピングし、これを劇的に加速できると思う、と言うことができます。
やって来て、初日にあなたの製造ラインを変革する、あなたがやっているすべてのことを変革する、すべてを忘れる、と言うのではありません。いいえ、私たちは本当に重要な問題を解決します。範囲が明確で、非常に明確な評価があります。
彼らと共同起案し、気にかけることに対して最適化するときにこの技術がどれだけ強力であるかを彼らに示します。特に驚くようなことはありませんが、期待するようなランド・アンド・エクスパンドタイプの方法です。しかしその企業内で誰が最大のプロモーターかを本当に探します。
最大の問題は何か。彼らにとって非常に現実的なことを解決していることを確認し、私たちの技術能力が最も高い場所と交差させます。
今朝、パイプラインにいる顧客の一人と電話していましたね。誰かを言う必要はありませんが、Periodicに解決してほしい最も緊急の問題として聞いたことは何でしたか。
その一つはシミュレーションでした。彼らは使用する必要があるシミュレーションについて人々をトレーニングすることに多くの時間を費やしており、それは開発にとって重要です。これらのシミュレーションを自動化できることは非常に可能にすると思います。
設計プロセス、そして形式を一致させる、シミュレーション結果を設計パイプラインに供給できるなどの小さなことがあります。これらすべてが非常に重要に見え、データを同じ場所でまとめて処理できることが重要です。他に何かありますか。
本当に根本的な質問があると思います。これらの企業の多くは検索に依存します。それは非常に軽量なものです。誰かがニューラルネットを持ってきて、すべてのデータに対して検索を行います、それがあなたのソリューションです、と言います。
しかしChatGPTやその他のものでも見てきたように、データに対して事前トレーニングするときです。実際に知識を重みにエンコードするとき、単なる検索システムではなく、材料のより豊かで深い理解があります。これは大きな根本的な課題だと思います。
例えばこの顧客にとって、従業員に特権を与え、検索をその人の代わりに行うシステムを持つことができます。システムはユーザーとして機能し、アクセスのために同じ種類の特権を一致させることができます。
しかし異なる部分で事前トレーニングや中間トレーニングを始めると、すべてのデータに対して事前トレーニングする場合、それはその企業のCEOのような人にのみアクセス可能かもしれません。したがって、その知識をどのようにバケット化し、異なるタイプのシステムを作成するかを見つける必要があります。
しかし今のところ、ユーザーと話した後、彼らはすべての知識を単一のモデルまたはモデルのセットに蒸留するための優れたソリューションを持っていないようです。
検索を超えて適切なトレーニングに進むこと、そして彼らが行っている教師ありトレーニングは、入力出力があり、いくつかの例があるChatGPTの初期の頃と本当に似ています。この新しい考え方に変換することは、いいえ、高計算量の強化学習が本当に効果的です、これがあなたが戦略について考えるべき方法です、これが使用している効果的なツールを作成する方法です、これがそれらの問題に対して効果的に最適化する方法です、というものです。
中間トレーニングの説明
馴染みのない人のために、中間トレーニングとは何を意味するのか説明していただけますか。人々は事前トレーニング、ポストトレーニングには馴染みがありますが、Periodicの文脈で中間トレーニングとは何を意味しますか。
専門用語で申し訳ありません。この用語は数年前に出てきたと思います。事前トレーニングがあり、ポストトレーニングがありますが、時々もう少し知識を入れる必要があります。
検索がうまく機能する前、新鮮さの問題がありました。事前トレーニングされたモデルがあり、知識カットオフがあります。その時点でのインターネットのスクレイピングのようなものですが、ユーザーはよりリアルタイムの知識を望んでいます。どうやってそれをそこに入れるか、中間トレーニングの登場です。
中間トレーニングは基本的に、新しいデータ、モデルにない新しい知識を取り、事前トレーニングを続けることです。
これは標準的なポストトレーニングとは異なります。ポストトレーニングは通常、より多くの強化学習、教師あり学習であり、そのメカニズムは基本的に、またはその目標は、以前に存在しなかった多くの知識をモデルに入れることです。それが一言で言う中間トレーニングです。
Periodicの文脈では、それは基本的に、特定の顧客、特定の産業での実験的実装からのカスタムデータを大量に注入することを意味しますか。中間トレーニングの原子単位は何ですか。今日では全くひどいモデルの能力を改善すると思われる中間トレーニングの系列は何ですか。
すべての知識です。物理的オブジェクトの非常に低レベルの記述を持つことができます。例えば結晶構造です。また、材料XYZをどのように作ったかというより高レベルの意味的記述も持つことができます。このすべてのデータをモデルに入れることは本当に価値があります。
シミュレーションデータ、実験データ、これらはどれも存在しません。基本的にその知識をモデルに入れ、これらの分布が何らかの方法で接続されていることを確認します。
私が意味するのは、分布A、B、Cを単に混ぜ合わせるだけでは、汎化の保証がないということです。これらのシステムから見たいのは、この他のデータセットを含めることが他のデータセットのパフォーマンスを改善しているということです。
これらは機械学習の技術または解決すべき機械学習の問題のようなものです。しかし基本的には物理学と化学の専門家にし、以前は不足していたところを補うということです。
あなた方は両方とも、私が今年初めにスタンフォード物理学ラボでこれらのモデルの多くで評価を実行することに時間を費やしたことを知っていますが、結果はモデルが科学的分析においてひどいものでした。そのようにトレーニングされていなかったからです。
しかし一方で、一般的なモデルに取り組んでいる既存の研究チームの多くは、これらをより良くしようと投資しています。あなた方がPeriodicを構築する方法に、ベースモデルで起こっているすべての進歩にドラフトできる何かがありますか。それともすべてをゼロから始めなければならず、したがって今日のメインラインモデルで起こっている進歩と組み合わせることができないのでしょうか。
さまざまな進歩から恩恵を受けています。その一つはLLMが良くなっていることです。事前トレーニングされたモデルを取り、それを中間トレーニングするので、その恩恵を確実に受けています。
もう一つは物理シミュレーションツールが良くなっていることです。彼らはシミュレートする新しい方法、機械学習を使って特性を予測する新しい方法をオープンソース化しています。だから基本的にそれらすべてを利用できます。
機械学習が物理学と化学の分野に大きな影響を与えているため、これらの改善が続くことを期待しています。
もう一つは、エージェントのためのツールについて考えるとき、ブラウザ、Pythonがあると考えますが、ますます人々はツールを他のニューラルネット、他のエージェントとして考えています。多くの物理コードを見ると、それは特に深くありません。これは競技プログラミングではありません。
これはややハック的なスクリプトのようなものですが、どこでスパイクしているかに応じて最高のシステムのいくつかに依存できます。これらのエージェントへのツールとしてのニューラルネットは、私たちの仕事を即座に加速するものです。すべてをすべて複製する必要はありません。
大学との関係
物理科学における多くの基礎研究、ここで話している物理学、化学、生物学は、歴史的に大学の研究室で行われてきました。大学のエコシステムがPeriodicの将来で何らかの役割を果たすと思いますか。それともこれらは完全に分岐した道だと思いますか。
絶対にあります。私たちが使用するシミュレーションツールの多くは学術界で開発されてきました。その多くはヨーロッパにあります。例えば、多くの新しい合成方法があります。私たちのチームでは効率的に開発する方法を本当に知らない複雑なFortranコードである物理シミュレーションツールがたくさんあります。
学術界と産業研究所の間には確実に非常に深いつながりがあると感じています。例えば最近、多くの大規模シミュレーションはMicrosoft、DeepMind、Metaのような産業研究所で行われていますが、それらのツールの多くは実際には学術界で開発され、その後引き継がれています。
本当に素晴らしい相乗効果があります。他のこともいくつか追加したいと思います。あなたがモデルの科学的分析能力を評価したとき、それらは不足していました。これはおそらくそれらのモデルをトレーニングしているチームにとって直接的な目標ではありませんでした。
学術界とこれらの協力が、重要なタスクは何か、この分析をどのように行うか、モデルに入れたいスキルは何かを知らせるのに役立つと思います。スキルは完全な分析である可能性もあれば、より大きな分析の一部としてのより小さなプリミティブである可能性もあります。
第二に、どのように考えるかということです。物理学者の一人が私たちのモデルの一つの推論戦略を見ていました。彼は、すべて間違っている、すべて間違っている、と言いました。私たちは、どういう意味ですか、と聞きました。彼は、いいえ、これはより高いレベルで考えるべきです。対称性の観点から考えるべきです、と言いました。
これが、より効果的な思考戦略をエンコードする本です。もちろん、強化学習環境はそれらのタイプの戦略を報酬する必要があります。しかし最も優れた科学者の何人かがこれらの戦略を使用していることを考えると、それらは効果的である可能性が高いです。
これらは、産業と学術のパートナーシップが非常に強力になり得るタイプのことです。なぜなら産業はこれらのタイプの分析、これらのツール、そしてこの考え方に単に盲目だからです。
問題のツールにもそれを接続する方法があります。なぜなら言語は非常に重要ですが、人間の脳では多くの視覚処理、幾何学的なものも見られるからです。これらのLLMがますます良くなり続ける一方で、実際には別の幾何学的推論を持つことから恩恵を受ける可能性があります。
今日、同変グラフニューラルネットワークでそれを行うことができます。構造的に幾何学的ツールである拡散モデルでそれを行うことができます。LLMはそれらを呼び出すことができます。したがって、合成レシピには非常に良い言語の側面と、原子を表現するのに非常に良い幾何学的側面、一般的に幾何学を設計することの両方を持つことができます。
学術研究室とのPeriodicの結びつきをどのように深めることを考えていますか。
これは私たちにとって非常に重要です。この方向で二つの主要なイニシアチブがあります。その一つは、諮問委員会を始めることです。これは超伝導性から固体化学、物理学に及ぶ専門知識になります。長期的な研究方向性と連絡を取り合っていることを確認したいと考えています。
多くの重要な政府資金がこれらのグループに行っており、彼らにとって何が重要かと私たちとの緊密な結合を持ちたいと考えています。これには、スタンフォード大学のZX Shenのような実験側の超伝導性の専門知識、理論側のSteve Kivelsonが含まれます。ノースウェスタン大学のMercouri Kanadasからの合成の専門知識、高スループットDFT側のChris Wolvertonもいます。
第二のイニシアチブは助成プログラムを通じて行われます。学術界で進行中の素晴らしい仕事を本当に可能にしたいと考えています。その仕事の一部は産業には適していません。学術界で行うのが最善です。
助成提案を受け入れたいと考えており、特にLLM、エージェント、合成、材料発見、物理モデリングに関連してコミュニティに役立つ種類の仕事を可能にし、支援したいと考えています。この番組の後にリンクを含めることができるかもしれません。
ショーノートに含めます。
Periodicが求める人材
Periodicに参加することに興味があるかもしれない人々にとって、あなた方は何を探していますか。
まず、深く好奇心がある人です。機械学習、科学をより深いレベルで本当に理解したい人、現実と接触したい人、科学を前進させたい人、これが推進力でなければなりません。
しかしまた実用的でもあります。私たちがやろうとしていることは信じられないほど困難であり、非常に注意深いプロセスを持ち、目標に迅速に到達する、ソリューション指向の人です。
そして何らかの次元で本当に世界クラスの人です。これらすべての異なる柱を見ています。機械学習、実験主義者、シミュレーション、そして何らかのイノベーションをもたらすことができる人々です。創造的なMLシステムをどのように作成するか。これらの最先端モデルにどのような新しいタイプのツールまたは新しいタイプの思考をもたらすか。シミュレーションを前進させ、実験でよりロバストで信頼性の高いものにできる人です。
もう一つ追加したいことは、LiamとがLiamと私は候補者に緊急性の感覚を本当に探しているということです。なぜなら、これらの技術を10年後ではなく、欲しいからです。LLMが10年後に科学の改善を始めることを望んでいませんが、できるだけ早く欲しいのです。
候補者がこれらの物理システムを改善すること、これらの素晴らしい材料を発見すること、超伝導性について革新することに緊急性の感覚を感じるなら、良い適合です。
これらすべてに一致する場合は、ぜひ連絡してください。
さて、Periodicで起こっていることのスピード、規模を上げる必要があるようですね。キャリアリンクをショーノートに入れます。来ていただきありがとうございました。
コメント