15,001 文字
マンハッタン計画の時代、40年代では物理学者たちはみな、他の仕事をしてても結局そこに行きはったんです。それが目指すべき場所やったんですわ。今のAIも同じような感じで、OpenAIがその立場にあるんちゃうかなって。公的機関が主導するマンハッタン計画みたいなもんは要らんかもしれませんが、OpenAIがその役割を果たしてくれそうですわ。
今回のエピソードにご出演いただきますんは、最近OpenAIの研究者として迎えられたダン・ロバーツさんです。この収録は、彼がSequoiaを去る前日に行われました。その後、彼は01（別名ストロベリー）の主要な貢献者となられました。
ダンさんは量子物理学者で、MITで博士号を取得される前には、透明マントの研究をされてました。その後、名門プリンストン高等研究所でポスドクをされて、物理学とAIの接点について幅広く研究と執筆活動をされてきはりました。
今回のエピソードでは、主に2つのことについてダンさんにお聞きしたいと思います。まず1つ目は、物理学がAIに何を教えてくれるのか。知能爆発の物理的限界や、スケーリング則の限界、そしてニューラルネットをどのように理解できるのかについてです。2つ目は、AIが物理学や数学、そして世界の仕組みについて何を教えてくれるのかということです。
ようこそお越しくださいました、ダンさん。
ありがとうございます。多分Sequoiaでの最後から2日目になりますけど、この機会に参加できて嬉しいですわ。この放送がいつになるかによって変わるかもしれませんが。
ダンさん、これからもSequoiaファミリーの一員やということは変わりませんで。
ありがとうございます。ほんまに感謝してます。
まずは簡単に、ダンさんについて教えていただけますか？面白い経歴をお持ちで、確か大学時代には透明マントの研究もされてたと聞いてますが、そもそも理論物理学者を目指されたきっかけは何やったんでしょう？
そうですね。今となっては決まり文句になってもうてますけど、要するに3歳の時から「なんで？」って聞き続けた子供が大人になっただけなんです。好奇心が旺盛で、何でも仕組みを知りたがる性格でした。
今、家に19ヶ月の子供がおりますけど、洗濯機の修理屋さんについて回って中を覗き込もうとする姿を見てると、私も同じやったんやなって思います。そういう好奇心を持ち続けて、数学的な考え方が得意やった私は、哲学ではなく物理学の方に進んでいったんですわ。あなたが聞かれてへん質問にも答えさせていただきますと、内面的なことは定量化が難しくて、人文科学の領域に属すると感じたんです。でも外の世界はどうなってるんやろう？っていう疑問に対して、同じような考え方で迫れるのが面白かったですね。
そうなると、あなたの19ヶ月のお子さんも将来の候補生として今から声かけていくべきですね？
ああ、もちろんです。既にSequoiaの赤ちゃん用ロンパースは卒業して、今はトドラーTシャツを着てますわ。将来の起業家として準備は整ってますね。
AIに興味を持ち始めたきっかけについて教えていただけますか？その転機はいつ頃訪れたんでしょう？
そうですね。多くの人と同じように、コンピューターを知った時から、その仕組みやプログラミングについて知りたいと思ってました。大学でAIの授業も取りましたが、当時は旧来の考え方が主流で、今になって見直されている考え方も多かったですね。
でも当時は実用的とは思えませんでした。「もしこうなったら、こうする」みたいな単純なものばっかりで。ゲームのプログラミングもありましたが、アルゴリズム的なアプローチが中心で、知能とは何かっていう本質的な問いかけからは遠かったんです。
ちょっとその話に関連して伺いたいんですが、ダンさんにとって「知能とは何か」についてどうお考えですか？
ええ、なかなか難しい質問ですね。正直、これについては決まった答えを持ち合わせてないんです。でも、重要な質問なので適当なことは言えませんわ。
私にとって面白いのは、AIシステムが人間と同じようなことができるようになってきてることです。そして、そのシステムが何行かのPythonコードから生まれて、入力から出力までの過程を追跡できるっていうことですわ。
例えば、システムがどうやって物を見分けるのか、猫は猫やと認識できるのか、あるいは詩を書けるのかとか。これが数行のコードから生まれるんです。
一方、人間の知能を研究しようと思うと、生物学から神経科学、心理学まで、様々なレベルで考える必要があります。
なので、知能について私なりの答えを出すとすれば、人間ができることというのが一つの定義になるかもしれません。
そして先ほどの話に戻りますと、AIっていうのは人間ができることの一部を取り出して、シンプルで研究しやすい形で理解することを可能にしてくれるんです。これを通じて、人間が実際に何をしているのかをより深く理解できるかもしれないと考えてます。
ダンさん、大学時代に学んだAIについて、その後「これは違う」って気付いた瞬間はありましたか？例えば「if thenの論理」を超えて、もっと大きな可能性を感じた瞬間とか。
実は、そういう明確な瞬間はなかったんです。むしろ一度は見限ってしまいました。その後10年くらい間が空いて…と言いたいところですが、実際にはそれほど時間は経ってません。
大学院の最初の時期をイギリスで過ごした時に、機械学習と、より統計的なアプローチによる人工知能に出会ったんです。そこでは大量のデータ…まあ、当時の基準では「大量」とは言えなかったかもしれませんが、とにかくタスクの実例を使って学習するという方法でした。
機械学習にはいろんなアプローチがありますが、基本的には柔軟なアルゴリズムを作って、それが例から学習して適応していくんです。このアプローチは物理学からも多くを借りています。
ちなみに私が大学を卒業したのが2009年で、機械学習に出会ったのが2010年から2011年頃。そして2012年がディープラーニングの大きな転換点でした。見限ってから再発見するまでの期間はそれほど長くなかったですね。
もちろん2009年の時点でも機械学習は存在してましたが、私が受けた授業とは関係ないものでした。でも、このアプローチは科学的な観点から見て理にかなっていると感じました。そして運良く、実際に進展も見られ始めて、私自身もとても興奮しましたね。
ダンさんのような経歴、つまり物理学からAIに移ってきた研究者って多いですよね。これって偶然なんでしょうか？それとも物理学者がAIを理解するのに特に適してるんでしょうか？
はい、その質問に対する答えは「はい」です。全ての観点においてそうなんです。まず、物理学者というのは様々な分野に進出していって、自分たちのハンマー（手法）でいろんな問題という釘を叩こうとするんです。
歴史的に見ても、物理学者は機械学習に見えるようなものにたくさん貢献してきました。最近まで、アカデミアに残らない物理学者たちの一般的な進路は金融工学でした。その後データサイエンスが加わり、そして機械学習が出てきたわけです。
機械学習が産業界で実現されたことは、特に興奮を呼びました。というのも、これは実際の物理学によく似ていて、多くの人々にとって興味深く刺激的な問題に取り組めるからです。
このポッドキャストをやっておられる理由も、AIに興奮を覚えておられるからでしょう？みんながAIに興奮してるんです。そして多くの点で、これは物理学者が取り組んでいたような研究問題に似てるんです。ただし、物理学の手法は従来のコンピューターサイエンスの手法とは異なってて、大規模な機械学習の研究には特に適してると思います。
例えば、物理学では理論と実験の間に多くの相互作用があります。何らかの理論的な直感に基づいてモデルを作り、それから実験をして、そのモデルを検証するか否定するか。データを集めて理論を立て、おもちゃのようなモデルを作って、理解を深めていくという密接なフィードバックループがあるんです。
その結果、私たちは素晴らしい説明理論を手に入れることができます。大規模なディープラーニングシステムの動作方法も、同じようなフィードバックループを持っています。物理学者が慣れ親しんだ数学とよく似た数学を使うんです。
なので、多くの物理学者がこの分野で働くのは自然なことやと思います。また、これらのツールの多くは、少なくとも理論的なコンピューターサイエンスや理論的な機械学習の伝統的なツールとは異なります。
それに、単に優れたエンジニアであることと科学者であることの違いもあります。これらのシステムを研究する上で、科学をやってきた経験から得られるツールが役立つんです。
ダンさん、「知能爆発における暗黒の穴」という素晴らしい論文を書かれましたね。その中で、微視的な観点とシステムレベルの観点について語られてて、物理学者はシステムレベルの観点で考えることに長けているという指摘をされてます。これは相補的な利点があるということですが、微視的とシステムレベルの違い、そして物理学の影響がシステムレベルの理解にどう役立つのか、少し説明していただけますか？
はい。まずは類似点から説明させていただきますが、実はこれは単なる類似以上のものなんです。200年ほど前、産業革命の時代に遡ってみましょう。その時代には蒸気機関があって、蒸気の力が産業化の原動力となっていました。最初は蒸気機関の工学的な側面が中心でしたが、その後、熱力学という確固たる理論が生まれました。
おそらく皆さんも高校で習われたと思いますが、理想気体の法則があって、圧力と体積と温度の間に関係があるということを学びましたよね。これらはマクロなレベルの話です。温度計で温度を測ったり、部屋の体積を測ったり、気圧計で気圧を測ったりできます。まあ、今は気象情報で気圧を見る方が多いかもしれませんが。
これらは私たちが日常的に測定して話題にできるものです。でも、その背後には原子や分子の概念があって、それを理解して検証するのにはしばらく時間がかかりました。空気分子が飛び回っていて、それがどういうわけか温度や圧力といった現象を引き起こすんです。
まあ、体積の方は分子が部屋に閉じ込められてるということで理解しやすいですが、分子の統計的な理解から熱力学を導き出せるんです。理想気体の法則も導けます。
さらに進んで、これが理想的なモデルである理由…つまり、間違ってる部分があるということですが、それも理解できます。修正も可能です。ミクロな視点、つまり普段は見たり触れたりできない分子のレベルから、日常的に観察できるマクロなレベルでの振る舞いを理解できるんです。
で、ご質問に答えますと、ディープラーニングシステムにも似たようなことが起きてると思います。シャディアとボリス・ハノンと一緒に本を書いたんですが、このような考え方をディープラーニングに適用する方法について、少なくとも初期的な枠組みを提案しました。
ミクロな視点では、ニューロンや重み、バイアスがあります。その仕組みについて詳しく話すこともできますが、アーキテクチャを考える時、人々は回路と呼ぶこともありますね。入力信号があって、それは画像やテキストかもしれません。そして多くのパラメータがあります。コードを書くのはとても単純で、機械学習ライブラリを考慮に入れても、そんなに多くの行数は必要ありません。単純な方程式の集まりなんですが、それを動作させるためには多くの重み、つまり数値が必要になります。これが分子に相当する、ミクロな視点です。
一方でマクロな視点では、「それは何をしたのか」という問題になります。詩を作ったのか、数学の問題を解いたのか。この重みやバイアスから、そのマクロな振る舞いにどうやって至るのかということです。
統計物理学や熱力学の場合は、これを完全に理解してます。同じような手法を文字通り適用して、これらのモデルの基本的なミクロな統計的振る舞いが、マクロな、あるいはシステムレベルの視点にどうつながるのかを理解しようとすることもできます。
ダンさん、スケーリング則の話に移りたいんですが、AI Ascentでアンドレ・カーパシーが言及してましたように、現在のAIシステムは生物学的なニューラルネットと比べると、効率の面で5、6桁も劣ってるんですよね。これについてどうお考えですか？スケーリング則と、ハードウェアの効率化の組み合わせで追いつけると思われますか？それとも研究面での大きな飛躍が必要だと思われますか？
ここには2つの意味が込められてる可能性がありますね。1つは、人間がAIシステムと同じような規模で動作する際の効率の違いです。人間は何兆もの単語を見なくても話せるようになります。私の子供は既に文で話し始めてますが、一般的な大規模言語モデルと比べると、はるかに少ない単語しか見てません。
つまり、人間の学習効率とLLMが行っていることの間には、ある種の断絶があるわけです。もちろん、これらは全く異なるシステムで、設計も違いますから、ある意味でこれは当然のことかもしれません。もう1つの側面は、スケーリング則に関連して、私の論文でも触れましたが、多くの人が議論してることなんです。「最終的なGPT」はどうなるのか。今はGPT-4がありますが…まあ、他の企業もありますが、これからOpenAIに入社する身として、新しい会社の話をさせていただきますと。
6になるのか7になるのか、ある時点で、スケールアップを前提とした場合、何かが壊れることになります。経済的な限界かもしれません。世界のGDPより大きなモデルを訓練しようとするかもしれません。あるいは、十分なGPUを生産できなくなるかもしれません。地球の表面を覆い尽くすことになるかもしれません。
こういったことは、いずれかの時点で限界を迎えます。おそらく経済的な限界が最初に来るでしょう。では、実際にスケールできなくなるまでに、あと何回の繰り返しが可能なのか。そして、それは私たちをどこまで連れて行ってくれるのか。
この2つの視点をつなげて考えると、もちろん、人々がより効率的なものを作っていくので、これらを切り離して考えるのは不可能ですが、GPT-2という最初の大規模モデルを文字通り単純にスケールアップし続けた場合、それは何か非常に異なるもの、経済的なパワーや他の何かを生み出すことができるのでしょうか。
それとも、新しいアイデアが必要なのでしょうか。繰り返しになりますが、これらを切り離して考えることはできませんが、一般的なスケーリング仮説は、アイデアではなくスケーリングが重要だというものです。
一方で、人間のように効率的になるためには、非自明なアイデアが必要だと思います。そして、ご質問に答えると、私がOpenAIに入社することに興奮している理由は、アイデアに高いレバレッジがあると考えているからです。スケーリングを超えて進む必要があり、次のステップに進むためにはそれが必要になると思います。
まだ自分が何に取り組むことになるのかわかりませんが、この放送が流れる頃には分かってると思います。それが本当に興奮する理由なんです。ダンさん、AIの世界では、スケールとアイデアの間で振り子のように行ったり来たりしてるような感じはありませんか？Transformerが登場した時は素晴らしいアイデアでしたが、その後はスケールを競う時代が続きました。今は様々な実用的な理由で頭打ちになりつつある。振り子はまたアイデアの方に戻ってきてるんでしょうか？最大のGPUクラスターを持つことよりも、推論の仕組みなど、新しいアーキテクチャの breakthrough を見出すことの方が重要になってきてるんでしょうか？
ええ、とても良い質問ですね。リチャード・サットンの「The Bitter Lesson」（苦い教訓）という論文があって、基本的にアイデアは重要ではなく、スケールこそが必要だという主張をしてます。
考え方としては、80年代や90年代に多くの面白いアイデアが出てきたんですが、当時は十分なスケールで検証できませんでした。AlphaGoの後、DeepMindが多くの論文を出してた頃を覚えてますが、人々はそれらの論文を再発見して、ディープラーニングシステムで再実装してました。
でも、これはまだ人々が「必要なのはスケールアップだ」と気付く前の話です。今でも、Transformerについて、他のアーキテクチャや、さらにシンプルな以前からあるアーキテクチャを探求する人たちがいます。
アーキテクチャに何か問題がない限り、スケーリング則は特別なアイデアからではなく、基本的なデータ処理と大量のデータから生まれるという考え方もあります。
でも本当の答えは、両者のバランスだと思います。スケールは非常に重要で、おそらくその重要性が十分に理解されていなかっただけかもしれません。また、様々な時期に、物事をスケールアップするためのリソースも不足してました。これらのモデルを生み出すGPUクラスターを作るためには、ご存知の通り、サプライチェーンやプロダクトチェーン、何て呼ぶのが正しいか分かりませんが、多くの要素が必要です。
GPUも元々の形から進化して、これらのモデルに適した形になってきました。ある意味で、Transformerが良いアイデアだった理由は、当時のシステムで効率的に訓練できるように設計されていたからとも言えます。
確かに、他のアーキテクチャでも理想的な科学的レベルではできたかもしれません。でも実用的なレベルでは、そのスケールに到達できるものを作ることが重要だったんです。
なので、アイデアをもっと広い意味で捉えて、スケールと結びつけて考えると…まあ、誰かがディープラーニングというアイデアを思いついたわけです。それは重要なアイデアでした。
ピッツとマカロックが最初のニューロンのアイデアを考え出し、ローゼンブラットが最初のパーセプトロンを考え出しました。80年ほど前から、多くの人々が重要な発見をしてきたんです。
結局のところ、両方が必要だと思います。でも、ボトルネックに直面してる時にアイデアを追求し、突然スケールの新しい可能性が開かれると、大きな成果が得られて、スケールが超重要に見えるというのは理解できますよね。実際には、両者の相乗効果なんだと思います。
スケールを追求する競争の話題に関連して、ダンさん、先ほど経済的な制約や現実について触れられましたが、民間セクターでの実質的な上限についても。また、マンハッタン計画についても言及されましたが、AIに関して国家レベルや国際レベルでのマンハッタン計画的なものが必要だとお考えですか？
まあ、一つ言えることは、私がOpenAIに行くことになったプロセスの中で、最初にSequoiaに連れてきてくれたショーン・マグワイアさんと話をしてたんです。私にとって科学的な問題や研究的な問題と、ビジネスとしての側面がうまくバランスの取れたスタートアップがあるかどうかを探してました。ショーンさんが言うには…マンハッタン計画の否定的な影響という意味ではなく、規模と組織という観点からの例えなんですが、40年代には物理学者たちは皆マンハッタン計画に向かったと。他のことをしてても、そこが目指すべき場所やったんです。
今のAIも同じような状況で、OpenAIがその立場にあるって。だから、公的機関主導のマンハッタン計画は必要ないかもしれない。OpenAIがそれになり得るってことです。
それは素晴らしい…まあ、文脈を外して引用されるのは避けたい発言かもしれませんが、比喩的な意味でのマンハッタン計画という…
そうですね、規模と野心の観点からということで。
物理学者の多くがOpenAIで働きたがる理由は、まあ、マンハッタン計画に参加した時とは全く異なる理由があると思います。ここは微妙な話題なので、大きな主張は避けた方がいいかもしれませんね。
AIについてお話を伺いたいんですが、特にディープニューラルネットが発展していく中で、私たちはそれを理解できるんでしょうか？それとも、いわゆるブラックボックスのまま進んでいくんでしょうか？
はい、これは「あなたは何に対して異論がありますか？」という質問への私の答えになるかもしれません。まあ、インターネット上ではあらゆる立場の人がいるので、本当に異論と言えるかどうかは難しいですが。
AI界隈では、私の異論は「これらのシステムを本当に理解できる」というものです。物理システムは極めて複雑ですが、その理解において大きな進歩を遂げてきました。AIシステムも同じ枠組みの中にあると思います。
シャディアと私が本の中で話してる物理学の原理の一つは、非常に大きなスケールでは極端な単純さが現れることがあるということです。これは統計的な平均化、より技術的には中心極限定理によるものです。もちろん、これが大規模言語モデルで正確に同じように起こってるとは言ってません。でも、私たちが持ってる手法を適用できると思います。将来的にはAIの助けを借りることもできるでしょう。ここでいうAIは独立して動作する個々の知能というよりは、ツールとしてのAIですが。
極端な話、これは芸術ではなく、科学が追いつくものだと考えてます。システムがどのように動作し、振る舞うのかについて、大きな飛躍的進歩を遂げることができると思います。
ダンさん、物理学がAIに教えることについて多く話してきましたが、逆にAIが物理学に教えることについても伺いたいです。物理学や数学の分野で、これらの新しいモデルがさらなる探求を可能にすることについて、楽観的にお考えですか？
はい、確実に楽観的です。私の見方では、数学の方が物理学よりも容易かもしれません。これは私が物理学者で数学者でないことを露呈してるかもしれませんが…
その理由を説明させていただきますね。私にはまだ物理学の分野で働いてる友人が多くいますが、彼らの間で…ある種の不安が広がりつつあるように感じます。
これは「なぜ物理学者がAIに取り組むのか」という質問への答えにもなるかもしれません。もし物理学の問題の答えを知りたくて、できるだけ早くそれを実現したいと思うなら、最も効果的なアプローチは何でしょう？
物理学の問題に直接取り組むのではなく、AIの開発に取り組む方が良いかもしれません。なぜなら、AIがそれらの問題をすぐに解決できるようになるかもしれないと考えるからです。
私は誰もがどこまで真剣にこれを考えているのか分かりませんが、少なくとも私が出身とする理論物理学のコミュニティでは、このような議論が行われています。もっと具体的な答えをさせていただきますと、数学に関して興奮するのは…これはヌーム・ブラウンさんが来られたら話されるかもしれませんが、彼がOpenAIに入る前から話されていたことです。
私たちはゲームを解くことにおいて、単に戦略を調べるだけでなく、先を読むシミュレーションができるようになって、大きな進歩を遂げました。
例えば、難しい局面に直面した時、直感だけでなく、じっくり考えて次の手を決めることができます。これは「推論時の計算」とも呼ばれ、訓練時や事前学習時の計算とは異なります。
ある意味で、推論するということは、このように考えを巡らせる能力と密接に関係してると思います。ゲームの場合は、明確な勝敗のシグナルがあるので、先読みをして何が良い手か悪い手かを判断できます。
数学の一部の問題は…私は数学者ではないので、公の場で数学について間違ったことを言うのは怖いんですが…ゲームほど制約は厳しくないものの、まだ十分に制約があると思います。
例えば、証明を見つけるということを考えてみましょう。証明の次の「手」を見つけるという意味で探索の問題があります。「手」という言葉を使うこと自体が、数学にもゲームに似た要素があることを示唆してるんです。
だから、ゲームで良い結果を出せるということは、ある種の数学的発見でも良い結果を出せる可能性があるということです。
ヌームさんの話が出ましたが、彼はテスト時の計算能力の例としてリーマン予想の証明の可能性について言及してましたよね。物理学の世界でも、私たちの生きてる間にAIが解決できそうな同様の問題や仮説はありますか？
そうですね、物理学に関連するミレニアム問題が1つありますね。正確に思い出そうとすると間違えそうで…そうなると物理学者として信用を失いそうですが、ヤン・ミルズ質量ギャップに関連する数理物理学の問題です。でも私が言いたいのは、物理学者が関心を持つ問題の性質は、数学的な証明の類とはちょっと違うんです。ここで私は物議を醸すかもしれませんが、物理学者はより非形式的というか…
物理学者は「手を振る」ように説明することで有名です。一方で、実験とモデルの相互作用に結びついているという意味では、それが物理学者を救ってるとも言えます。
つまり、非形式的で手を振るような説明でも、説明力があるんです。エンジニアが全ての刺激的な産業機械を発見し、物理学者がその仕組みの理論を整理し、そして数学者がさらに後で来て、全てを形式化して整理する。
数学者や数理物理学者が、物理学者のやることを適切な形で形式化し、理解しようとするんです。でも、証明について話すのではなく…私が言いたいのは、物理学者にとって興味深い問題は証明のような形を取らないかもしれないということです。
例えば、特定のモデルが与えられた時にそれをどう解くかというよりも、他の要素が重要になります。一度物事が正しく設定されれば、その分野で訓練を受けた上級者なら、システムの分析方法を理解できるものです。
むしろ重要なのは、他の部分です。どんなモデルを研究すべきか、それは正しい種類の問題を捉えているのか、これは本当に関心のあることと関係しているのか、どんな洞察を引き出すべきか、といったことです。
AIがそこで助けになるためには、数学向けに構築しているのとは異なるアプローチが必要でしょう。「はい、この単語問題を解いてください」とか「リーマン予想を証明してください」というのとは違って、物理学の問題は「量子重力とは何か」とか「ブラックホールに何かが落ちた時に何が起こるのか」といった類のものなんです。
これは単にトークンを生成すれば良いというものではありません。物理学部に行くと、黒板の前で人々が集まって議論してます。数学的なことをスケッチすることもありますが、他にもたくさんの要素があるんです。だから、必要なデータの集め方も異なってくるかもしれません。ランダムなメールやSlackでの会話、走り書きのようなものかもしれません。
例えば、新しい論文を理解するのに2週間かけなくても済むように助けてくれるツールは確実に役立つでしょう。質問をして理解を深めることもできます。現在の実装方法には問題もありますが、Mathematicaのような数式処理ソフトウェアと同じように、物理学者の仕事を加速させるツールはたくさんあると思います。
申し訳ありません、スティーブン・ウルフラムさんですが、私は主に積分計算に使ってます。時には積分表を調べないといけないこともありますが…
つまり、他の科学分野にも当てはまることですが、問題の立て方や科学を行う方法は分野によって異なり、ゲームからどんどん離れていく可能性があります。
そうなると、必ずしもたくさんのアイデアが必要というわけではなく…いや、アイデアは必要ですが、むしろ全てに異なるアプローチが必要になるということです。最終的には全てを理解できる普遍的なものができるかもしれませんが、当初は異なるアプローチが必要だと思います。
AIマスオリンピアンの審査委員も務めておられるので、最前線で見ることになりますね。最後の点について、なぜ人々は最も難しい問題から取り組もうとするんでしょう？物理学や数学は、学校で誰もが恐れた科目ですよね。まだ解決されていない他の分野もたくさんあるのに、なぜ最も難しい分野から始めるんでしょう？これらの難しい分野を最初に解決することで、汎用的な知能に近づけるんでしょうか？異なる分野を解決することは、より大きなパズルの中でどのように組み合わさっていくんでしょうか？
最初に思い浮かぶのは、「いや、これらは難しくないんです。これらが簡単な分野なんです」と反論することです。私は生物学が苦手で、全く理解できません。私のガールフレンドは生物工学とバイオテックの分野にいますが、彼女のやってることは全く理解できない一方で、物理学は完全に理解できるんです。もっと良い答え、あるいはもっと限定的な答えをすると、先ほど数学について話したように、制約があるということです。特に数学の多くは実世界との結びつきがなく、実験をする必要がありません。
それは文章を生成する言語モデルの仕組みや、一部の強化学習システムの仕組みに近いんです。そこから離れれば離れるほど、物事は複雑になり、おそらくより困難になります。
また、これらのシステムを訓練するための適切なデータを得ることも難しくなります。生物学を解決するAIシステムを作りたいとすると…人々は試みてますが難しそうです。ロボット工学も確実に必要になってくるでしょう。そういった種類の実験ができないといけないし、そのようなデータを理解する必要があります。
あるいは人間に実験をしてもらうことになるかもしれませんが、自立したAI生物学者を目指すなら、多くの要素が必要になってきます。
もちろん、その途中でAlphaFold 3のようなものも出てきます。つい最近発表されたばかりで、詳細は読めてないんですが、創薬に使おうとしてるみたいです。
それぞれの分野で進展はあると思いますが、制約が少なくなり、より複雑で実世界に結びついたものになればなるほど、達成は難しくなると思います。
なるほど、人間にとって難しいということと、機械にとって難しいということは同じではないということですね。
そうですね。加えて、人々の間でも何が難しいかについては意見が分かれます。私たちの中には機械のように考える人もいるんでしょうね。
2つ目の質問は、全てが1つの大きなモデルに統合されていくと思われますか？現在は分野ごとの問題解決が行われているように見えますが。
はい、物事の進み方を見てると、答えはイエスのように思えます。この分野で推測をするのは非常に危険です。通常、言ったことはすぐに間違いになってしまいますから… ではそれを保持しておきましょう…また、「異なる」とは何を意味するのかという問題もあります。この質問を無意味にする方法は簡単にあって、例えば「モデルは他の全てのモデルの結合だ」と言えば済みます。
Mixture of Expertsは元々そういう意図で作られましたが、実際にはそうはなってません。でも、ここには段階的な尺度があって、少なくとも大手の研究所は1つの大きなモデルを目指していて、それを信じているように見えます。まあ、私には分かりませんが、将来的にはその哲学が分かるようになるかもしれません。
ダンさん、最後にいくつか一般的な質問をさせていただきたいと思います。まず高いレベルの質問から始めさせていただきますが、短期・中期・長期で考えた時、仮に5ヶ月、5年、50年として、AIの世界で最も期待され、楽観的に見ている部分はどこでしょうか？
5年前といえば、Transformerモデルの登場後で、おそらくGPT-2の頃でした。この5年間はスケーリングの時代でした。次の5年以内に、スケーリングが終わりを迎えるだろうと想像します。
それは、人々が期待するような種類のユートピアで終わるかもしれません。皆が経済的な制約から解放され…あなた方のファンドも全て閉鎖して、お金が意味を持たなくなってモノポリーのお金を返還することになるかもしれません。
あるいは、たくさんのアイデアが必要だと分かるかもしれません。新たなAIの冬が来るかもしれません。また、推測するのは怖いですが、5年以内にAIについて何か興味深い変化が起こると想像します。
それはAIが終わりを迎え、次の魅力的な投資機会に移行することかもしれません。もちろん、それが私がAIに関心を持つ理由ではありませんが…5年あれば、それを見極めるには十分な時間かもしれません。
1年で…いや、5ヶ月でしたっけ？申し訳ありません、混乱してしまいました。
大丈夫ですよ。これは概算の話です。物理学者も大雑把だと仰ってましたし、ベンチャーキャピタリストも同じように大雑把ですから。
物理学では冗談で「0、1、無限大」の3つの数字しかないと言います。つまり、物事は極端に小さいか、極端に大きいか、あるいは1程度のオーダーかのどれかということです。
ありがとうございます。思い出させていただいて。5ヶ月については、OpenAIという大きな研究所の最前線で何が面白いのかを学べることに興奮してます。
一つ興味深いのは、次世代モデルの変化がどうなるかということです。Meta以外は公表されてませんが、データの規模やモデルの規模という点でスケールアップが進んでいます。スケーリング則を見ると、それは損失関数に関係していますが、実際の能力に変換するのは難しいです。
次世代のモデルと会話するとどんな感じなのか、どんな見た目になるのか、大きな経済的影響があるのかどうか。速度を推定するには複数のポイントが必要で、1つのポイントだけでは不十分です。GPT-3からGPT-4への変化で少し見え始めてきましたが、次の変化を見ることで、モデルからモデルへの進化の速度がどんな感じなのかが本当に分かってくると思います。
5ヶ月後には、もっと良い予測ができるようになってるかもしれませんが、おそらくあなた方にはお話しできないでしょうね。
ダンさん、一つ気になったことがあります。あなたの文章は非常に分かりやすく、軽快で、ユーモアがあります。これは普通の技術文書からは感じられない特徴ですが、技術文書は全てこのように非形式的で面白い方が良いとお考えですか？これは意図的なものなんでしょうか？
はい、確実に意図的です。ある意味で、これは私が出身とする分野のスタイルを引き継いでるんだと思います。もちろん私自身も深刻すぎない人間ですが。
ある時の話を聞いてください。私がプリンストン高等研究所でポスドクをしてた時のことです。ナティ・セイバーという教授と昼食を取ってて、冗談を言い合ってました。
そこで誰かが「良いタイトルってどんなものか」って質問をしたんです。私は「タイトルは冗談でなきゃいけない」って言って、彼もそれに賛成してくれました。
それで私は、論文を書く理由は冗談を入れるためだって説明したんです。いくつかの冗談を思いついて、それを人に読んでほしい。だから科学的な成果という包装に入れるんです。人々は科学的な成果を読みたがるから、その過程で冗談も我慢して読んでくれる。
ナティはイスラエル人の教授なんですが、「理解できない。なぜ単に科学だけをやらないんだ？冗談も素晴らしいけど、科学のために書くべきで、冗談のために書くべきじゃない」って言うんです。
私は冗談のために書くという立場を譲りませんでした。でも、あなたが言われたように、ある時点で科学的方法論や形式的なやり方について学び、全てのルールを学びます。
そして少し大人になると…私には言語学者のルームメイトがいて、今はテキサス大学オースティン校の教授をしてますが、彼は私にどのルールなら破れるのか、そのルールがどこから来てるのか、なぜ重要なのか、あるいは重要でないのかを教えてくれました。
そこで気付いたのは、これらのルールは破ることができるということです。究極の目的は、読者が読んで理解できるかどうかということです。読者の理解を妨げることはしたくありませんが、分かりにくくする必要もありません。
楽しければ楽しいほど、人々は読んで要点を理解する可能性が高くなります。書く側も楽しいですしね。それが私のスタイルの由来だと思います。
ダンさん、本日は本当にありがとうございました。たくさんのことを学ばせていただき、冗談も楽しませていただきました。Sequoiaでの最後から2日目を私たちと過ごしていただき、本当に感謝しています。
ありがとうございます。皆さんとお話しできて本当に楽しかったです。素晴らしい時間でした。
コメント