この動画は、ノーベル賞受賞者でGoogle DeepMindのリーダーであるデミス・ハサビスがLex Fridmanと行った深い対話を収録したものである。自然界のパターンは古典的学習アルゴリズムによって効率的にモデル化できるという彼の画期的な仮説から始まり、P=NP問題、AGIの実現時期、科学研究におけるAIの可能性まで幅広く議論している。特に彼のゲーム開発者としての背景と、それが現在のAI研究にどう活かされているか、そしてV3の物理シミュレーション能力の驚異的な進歩について詳しく語られている。
- 自然界のパターンとAIの可能性
- ノーベル賞講演での挑発的な仮説
- 複雑性理論と新しいクラスの問題
- 創発現象とカオスシステム
- V3の物理シミュレーション能力
- ビデオゲームとAIの未来
- 史上最高のビデオゲーム
- アルファ進化とハイブリッドシステム
- バーチャル細胞と科学的発見
- 細胞モデリングの挑戦
- AGIの実現時期と定義
- AGIの判定における人間の理解力
- Alpha Evolveと再帰的自己改善
- スケーリング則とAI進歩の壁
- データとエネルギーの課題
- 人類文明の未来
- 人間の本質とゲームの役割
- Googleの成功とリーダーシップ
- 競争の中での協力
- 人材をめぐる戦い
- AGIの実現に向けたリスクと協力
- 現実の基本的性質への問い
- 物理学への深い関心と意識の謎
自然界のパターンとAIの可能性
俺らが人間として、こんな超非線形な動的システムについて、まともな予測なんてできるわけないやん。せやけど君の言うとおり、古典的な学習システムが流体についてさえも、何をできるかでめちゃくちゃ驚かされるかもしれへんな。
そうそう、その通りや。つまり流体力学、ナビエ・ストークス方程式なんて、従来は古典システムで処理するには超難しくて手に負えん問題やと思われとったんや。天気予報システムやらなんやら、こういうのは全部流体力学の計算が必要で、膨大な計算量が要るねん。
せやけどまた、俺らのビデオ生成モデルのV3みたいなのを見てみ、液体をかなりうまく、驚くほどうまくモデル化できるんや。材料も、鏡面反射の照明もな。俺が好きなやつは、透明な液体が油圧プレスを通って押し出されるような動画を生成するやつやな。
俺は昔、ゲーム開発の初期の頃に物理エンジンやグラフィックエンジンを書いとったんや。そんなことができるプログラムを作るのが、どんだけ骨の折れる大変な作業か知っとる。
なのにこれらのシステムは、YouTubeの動画を見とるだけで、そういうのを逆算して理解しとるんや。つまり推測やけど、これらの材料がどう振る舞うかっていう根本的な構造を抽出しとるってことやな。だから多分、俺らが内部で何が起こっとるかを完全に理解できたら、学習可能な低次元の多様体みたいなもんがあるんかもしれへん。
それは多分、現実の大部分についても言えることかもしれへんな。
以下は、Google DeepMindのリーダーで現在ノーベル賞受賞者でもあるデミス・ハサビスとの対話や。彼は今日の世界で最も優秀で魅力的な頭脳の一人で、知能の理解と構築、そして俺らの宇宙の大きな謎の探求に取り組んどる。
今回が彼にとって2回目のポッドキャスト出演や。これは俺にとって本当に光栄で楽しい経験やった。これがLex Freedmanポッドキャストや。サポートするには、説明欄のスポンサーをチェックして、このチャンネルの登録を検討してくれ。そして今、親愛なる友よ、ここにデミス・ハサビスが登場や。
ノーベル賞講演での挑発的な仮説
君のノーベル賞講演で、俺が超興味深いと思う仮説を提案しとったな。引用すると「自然界で生成されたり発見されたりする任意のパターンは、古典的学習アルゴリズムによって効率的に発見・モデル化できる」っていうやつや。どんなパターンやシステムがそれに含まれるんやろ？生物学、化学、物理学、多分宇宙論、神経科学。何について話しとるんや？
そうやな、俺はノーベル賞講演では少し挑発的であるべきやっていう伝統があると思うし、その伝統に従いたかったんや。
俺がそこで話しとったのは、一歩下がって俺らがやってきた全ての仕事、特にアルファXプロジェクトを見てみることや。アルファ碁はもちろんやし、アルファ折り畳み（AlphaFold）を考えてみ。これらが実際何をしとるかっていうと、俺らは超組み合わせ的に高次元な空間のモデルを構築しとるんや。もし君が力技で解を見つけようとしたら、囲碁で最高の手を見つけるとか、タンパク質の正確な形を見つけるとかで、全ての可能性を列挙しようとしたら、宇宙の時間では足りへんくらいや。
だから、もっと賢いことをせなあかん。俺らが両方のケースでやったのは、そういう環境のモデルを構築することや。それが賢い方法で探索を導いて、扱えるようにしてくれるんや。
タンパク質の折り畳みのことを考えてみ。これは明らかに自然システムやろ。なんでそんなことが可能なんや？物理学はどうやってそれをやっとるんや？タンパク質は俺らの体の中でミリ秒で折り畳まれるんやで。
だから何らかの形で、物理学は俺らが今、計算的に解いた問題を解決しとるんや。俺がそれが可能やと思う理由は、自然界では、自然システムには構造があるからや。なぜなら、それらは進化的プロセスの影響を受けて、それがそれらを形作ったからや。もしそれが本当やったら、その構造が何かを学習できるかもしれへん。
この視点は、俺が本当に興味深いと思うんや。君がほのめかしとるように、粗雑に述べるなら「進化できるものは何でも効率的にモデル化できる」みたいなもんやな。そこには何らかの真実があると思う。
そうや、俺は時々それを「最も安定したものの生存」とか呼んどる。生物にとっては進化があるのは当然やけど、地質学的時間を考えてみると、山の形なんかも数千年にわたる風化プロセスによって形作られとるやろ。さらに宇宙論的にも、惑星の軌道、小惑星の形なんかも、何度も何度も作用したプロセスを生き延びてきとるんや。
もしそれが本当やったら、ある種のパターンがあるはずで、それを逆算して学習できて、ある種の多様体があって、それが正しい解、正しい形への探索を助けて、効率的な方法でそれについて予測することを可能にするんや。なぜなら、それはランダムなパターンやないからな。
だから、人工的なものや抽象的なもの、大きな数の因数分解みたいなものには不可能かもしれへん。数のスペースにパターンがあるかもしれへんけど、もしなくて均一やったら、学習するパターンもなければ、探索を助けるモデルもない。そしたら力技でやるしかない。その場合は量子コンピュータとかが必要かもしれへん。
せやけど、俺らが興味を持っとる自然のほとんどのものは、そんなんとは違う。理由があって進化して、時間をかけて生き延びた構造を持っとる。もしそれが本当やったら、ニューラルネットワークによって学習可能やと思う。
自然が探索プロセスをやっとって、その探索プロセスの中で効率的にモデル化できるシステムを作り出しとるっていうのは、めちゃくちゃ魅力的やな。
そうや。だから効率的に再発見されたり回復されたりできるんや。自然はランダムやないからな。俺らが周りで見るもの全て、より安定した元素も含めて、全てが何らかの選択プロセス、圧力の影響を受けとる。
複雑性理論と新しいクラスの問題
君も理論計算機科学や複雑性のファンやから、複雑性クラスみたいなもん、複雑性動物園タイプのクラスを考え出せると思う？多分、学習可能システムの集合、学習可能自然システムの集合、LNS。これはデミスの新しいシステムクラスで、この方法で古典システムによって実際に学習可能やもんかもしれへん。効率的にモデル化できる自然システム。
そうや、俺はずっとP=NP問題と、古典システム、つまり非量子システム、実質的にはチューリングマシンによって何がモデル化可能かに魅力を感じとったんや。実際に俺が今、わずかな空き時間に数人の同僚と取り組んどることは、この種のニューラルネットワークプロセスによって解決可能な新しい問題クラスがあるべきかどうか、そしてそれを物理学に存在して構造を持つこれらの自然システムにマッピングできるかどうかや。
俺はそれが考える新しい方法として非常に興味深いと思う。そして、それは俺が物理学全般について考える方法とも合っとる。俺は情報が根本的やと思う。
情報は宇宙の最も基本的な単位で、エネルギーや物質よりも基本的や。それらは全て互いに変換できると思うけど、俺は宇宙を一種の情報システムとして考えとる。
宇宙を情報システムとして考えるなら、P=NP問題は物理学の問題になる。
そうや。そして、それは俺らが実際にこの全体で起こっとることを解決するのに役立つ問題や。
P=NP問題についてもっと具体的に言うと、俺らが言っとることの一部は今は正気やないレベルやけどな。クリスチャン・エンディソンのノーベル賞講演で彼が言った論争的なことも、正気やないって聞こえたけど、その後で君らは行って、ジョン・ジャンパーと一緒にその問題でノーベル賞を取ったんや。
だから、P=NPについて話そう。俺らが話しとることの中に、もし事前に多項式時間や定数時間の計算をやって、この巨大なモデルを構築できるなら、理論計算機科学的な方法で、これらの超困難な問題のいくつかを解けるってことを示せるものがあると思う？
そうや、実際にこの方法で表現できる問題の巨大なクラスがあると思う。俺らがアルファ碁でやった方法と、アルファ折り畳みでやった方法で。システムのダイナミクス、そのシステムの特性、君が理解しようとしとる環境をモデル化して、それが解の探索や次のステップの予測を効率的に、基本的に多項式時間で扱えるようにするんや。
古典システム、チューリングマシンで動くニューラルネットワークは、普通のコンピュータで実行されるからな。俺が思うに、これは最も興味深い問題の一つや。そのパラダイムがどこまで行けるのか？
俺らは古典システム、チューリングマシンが以前思ってたよりもずっと遠くまで行けることを、俺ら自身とAIコミュニティ全般が証明したと思う。
タンパク質の構造をモデル化したり、世界チャンピオンレベルより上手に囲碁を打ったりできるからな。10年前、20年前やったら、多くの人がそれは何十年も先のことやとか、タンパク質の折り畳みをするには量子マシンが必要かもしれへんって思ってたやろうし。
だから俺らは、いわゆる古典システムができることの表面をまだ引っかいただけやと思う。
もちろん、ニューラルネットワークシステムの上に、古典コンピュータの上に構築されるAGIは、それの究極の表現になるやろうな。そして、その種のシステムが何をできるかの限界、境界は非常に興味深い問題で、P=NP問題に直接関わってくる。
創発現象とカオスシステム
また仮説的やけど、この枠外にあるかもしれへんものは何やと思う？例えば、セルオートマトンを見ると創発現象があるやん。超シンプルなシステムがあって、そこから何らかの複雑性が現れる。そういうのは枠外にあるかもしれへんし、それとも君の推測では、それでも古典マシンによる効率的なモデル化に適してるかもしれへん？
そういうシステムは境界線上にあると思う。ほとんどの創発システム、セルオートマトンなんかは、古典システムでモデル化できると思う。それの前向きシミュレーションをやって、多分十分効率的やろう。
もちろん、初期条件が本当に重要で、無相関な終状態に到達するカオスシステムみたいなものには問題があるかもしれへん。そういうのはモデル化が難しいかもしれへん。だから、これらが開かれた問題やと思う。
せやけど、一歩下がって俺らがシステムでやったことと、俺らが解決した問題を見て、それからV3みたいなビデオ生成で物理学やライティングなんかの本当に核心的で基本的なことをレンダリングしとるのを見ると、結構興味深い。それは物理学の基本的なことについて何かを教えてくれとると思う。俺の意見では、宇宙がどう構造化されとるかについて、かなり基本的なことを教えてくれとる。
ある意味で、それが俺がAGIを構築したい理由や。科学者として俺らがP=NPのような問題に答えるのを助けるためにな。
俺らは古典コンピュータで何がモデル化可能かについて、継続的に驚かされるかもしれへんと思う。相互作用の面でアルファ折り畳み3は驚きやし、遺伝コードを機能にマッピングするアルファゲノムも、ある種の創発現象で遊んどるのが驚きや。こんだけ多くの組み合わせ的選択肢があるのに、ここで効率的にモデル化される核心を見つけられるんや。
そうや。なぜなら何らかの構造があるから、何らかの景観、エネルギー景観とかがあって、勾配を追うことができるんや。そしてもちろん、ニューラルネットワークが得意なのは勾配を追うことや。追うべき勾配があって、目的関数を正しく指定できれば、全ての複雑性を扱う必要がない。
俺が思うに、これらの問題について何十年も単純に考えてきた方法や。全ての可能性を列挙すると、全く扱えないように見える。そんな問題は多くあって、そうするとタンパク質構造は10の300乗通り可能やし、囲碁のポジションは10の170乗通りで、全て宇宙の原子数より遥かに多い。どうやって正しい解を見つけたり次のステップを予測したりできるんや？
せやけど、実際にそれは可能で、もちろん現実、自然がそれをやっとるんや。タンパク質は実際に折り畳まれるからな。だから、もし俺らが物理学がそれをどうやってやっとるかを理解できて、そのプロセスを模倣、モデル化できれば、俺らの古典システムでも可能なはずや。基本的にそれが仮説の内容や。
もちろん非線形動的システム、高度に非線形な動的システムがあって、流体を含む全てがそうや。最近俺はテレンス・タオと会話したんやけど、彼は数学的に、その中に特異点を持つシステムの非常に困難な側面と格闘しとって、数学を破綻させるんや。俺ら人間が高度に非線形な動的システムについてきれいな予測をするのは難しい。せやけど君の言うとおり、古典学習システムが流体についてさえも何ができるかで、俺らは非常に驚かされるかもしれへん。
V3の物理シミュレーション能力
そうそう、その通りや。流体力学、ナビエ・ストークス方程式は、従来古典システムでは非常に困難で扱えない問題やと考えられとった。膨大な計算量が必要で、天気予報システムなんかは全部流体力学の計算を含んどる。
せやけどまた、俺らのビデオ生成モデルのV3みたいなものを見ると、液体をかなりうまく、驚くほどうまくモデル化できるし、材料や鏡面反射の照明もや。
俺が好きなやつは、透明な液体が油圧プレスを通って押し出されるような動画を人々が生成しとるやつや。俺は昔、ゲーム開発の初期の頃に物理エンジンやグラフィックエンジンを書いとったんや。そんなことができるプログラムを作るのが、どんだけ骨の折れる大変な作業か知っとる。
なのにこれらのシステムは、YouTubeの動画を見るだけで、それを逆算しとるんや。おそらく起こっとることは、これらの材料がどう振る舞うかについての根本的な構造を抽出しとるってことや。だから多分、もし俺らが内部で何が起こっとるかを完全に理解できたら、学習可能な低次元の多様体みたいなもんがあるんかもしれへん。
それは多分、現実の大部分について真実かもしれへんな。
俺がV3のこの側面に継続的に正確に驚かされ続けとる。多くの人がコメディーやミーム的な側面を含む様々な側面を強調しとるし、人間を本当にいい感じでキャプチャして現実に近くて説得力があると感じる超リアルな能力、それにネイティブオーディオを組み合わせることもや。
これら全てがV3の素晴らしい点や。せやけど君が言及しとる通り、まさに物理学がそうやな。完璧やないけど、かなりいい。そして本当に興味深い科学的な問題は、それができるために俺らの世界について何を理解しとるのかってことや。拡散モデルの冷笑的な見方では、それが何かを理解しとるはずがないってことになるけど、俺はあのようなビデオを理解なしに生成できるとは思えへん。そうすると俺ら自身の哲学的な「理解するってどういう意味か」っていう概念が表面に出てくる。V3はどの程度俺らの世界を理解しとると思う？
俺が思うに、それが一貫した方法で次のフレームを予測できる範囲で、それはある形の理解やと思う。人間っぽい版の理解やないし、何が起こっとるかについての何らかの深い哲学的理解があるとは思わへんけど、これらのシステムは確実に十分なダイナミクスをモデル化しとる。そう言った方がいいかな。それで、一見するとかなり区別が難しい問題がある、一貫した8秒のビデオをかなり正確に生成できるんや。
2、3年後にそれがどう見えるか想像してみ。俺がそのことを考えとる。1、2年前の初期バージョンから俺らがどこまで来たかを考えると、どんだけ信じられへんほど見えるやろうな。
だから、進歩の速度が信じられへん。そして俺も君と同じく、多くの人がスタンダップコメディアンやら、それが人間のダイナミクスやボディランゲージをかなりよくキャプチャしとることを愛しとる。せやけど実際に俺が最も印象を受けて魅力を感じとるのは、物理学の振る舞い、ライティングや材料や液体や。それができるのはかなりすごい。
そして俺は、それが少なくとも直感的物理学の概念を持っとることを示しとると思う。物事がどう動くべきかの直感的な理解を。多分人間の子供が物理学を理解する方法みたいに。博士課程の学生が全ての方程式を本当に解けるっていうんやなくて、もっと直感的物理学の理解や。
その直感的物理学の理解は、それが人々が時々常識って呼ぶもの、ベースレイヤーや。それが本当に何かを理解しとるってことや。多くの人がそれがそのレベルのリアリズムを理解なしに生成できるとは思わなかったことに、俺は本当に驚いた。
物理世界を理解する唯一の方法は、その世界と相互作用する embodied なAIシステム、ロボットを持つことやっていう概念がある。それがその世界の理解を構築する唯一の方法や。せやけどV3はそれに直接挑戦しとる感じがする。
そうや、非常に興味深い。5年前、10年前に俺に聞いたとしたら、俺はこの全てに浸っとったのに、そうやな、多分直感的物理学を理解する必要があるやろうって言ったと思う。例えば俺がこのグラスをテーブルから押したら、割れるかもしれへんし、液体がこぼれるやろうって。俺らはそういうことを全部知っとる。
せやけど俺は思ってた、神経科学には行動における知覚っていう理論があって、世界を本当に深く知覚するには世界で行動する必要があるんや。直感的物理学を理解するには embodied intelligence やロボット工学、少なくともシミュレートされた行動が必要やっていう理論がたくさんあった。
せやけど、受動的観察を通して理解できるみたいやっていうのは、俺にとってかなり驚きやった。そしてまた、俺の意見では、単にクールなビデオを生成すること以上に、現実の性質について根本的なことをほのめかしとると思う。
もちろん次の段階は、多分それらのビデオをインタラクティブにすることや。だから実際にその中に入って、動き回れるようになる。それは俺のゲーム背景を考えると、本当に心を奪われるようなことになるやろうな。
そうすると、俺が世界モデルって呼ぶもの、世界がどう動くか、世界の仕組み、世界の物理学、その世界の中のものについてのモデルに向かって始めとるって想像できる。そしてもちろん、それが真のAGIシステムに必要なもんや。
ビデオゲームとAIの未来
ビデオゲームについて話さなあかん。君は少しトロリーやっとったな。君がTwitter、Xでますます楽しんどるのを見るのは素晴らしい。ジミー・アップルズっていう男が「俺のV3ビデオのビデオゲームをもうプレイさせてくれ。Googleはこんなにうまく作ったんや。プレイ可能な世界モデルはいつや」ってツイートした。そして君がそれを引用ツイートして「それは何かになるやろうな」って言ったんや。
AIでゲーム世界を構築するのはどんだけ難しいんや？5年後、10年後のビデオゲームの未来を見据えることができる？どんな感じになると思う？
ゲームは俺の最初の愛やったし、ゲーム用のAIをやるのが俺が10代の頃にプロとして最初にやったことで、俺が構築した最初の主要なAIシステムやった。そして俺はいつかそのかゆみを掻いて、それに戻りたいと思っとる。絶対にやるで。
そして俺が夢に見るのは、90年代に今日のようなAIシステムにアクセスできてたら、何をやったやろうかってことや。絶対に心を奪われるようなゲームを作れたと思う。
次の段階は、俺がいつも作ってきた全てのゲームがオープンワールドゲームやったことや。シミュレーションがあって、AIキャラクターがいて、プレイヤーがそのシミュレーションと相互作用して、シミュレーションがプレイヤーのプレイ方法に適応するゲームや。
俺はいつもそれらが最もクールなゲームやと思ってた。俺が作業したテーマパークみたいなゲームで、みんなのゲーム体験がそれぞれユニークやったんや。君がゲームを共同制作しとるような感じでな。俺らがパラメータを設定して、初期条件を設定して、君がプレイヤーとしてそれに没入して、シミュレーションと一緒にそれを共同制作しとるんや。
せやけどもちろん、オープンワールドゲームをプログラムするのは非常に難しい。プレイヤーがどの方向に行っても、コンテンツを作成できなあかんし、プレイヤーが何を選んでも魅力的であってほしい。そして、セルオートマトンみたいな従来のシステムを使って、創発的な行動を作り出すのはいつも非常に難しかった。少し脆弱で、少し制限されとった。
せやけど今、俺らは多分次の数年、5年から10年で、君の想像力の周りに真に創作できるAIシステムの瀬戸際におるかもしれへん。動的に物語を変えて、ストーリーテリングやナラティブを変えて、君が最終的に何を選んでもドラマチックにできるんや。究極の自分で選ぶアドベンチャータイプのゲームみたいなもんや。
そして、V3のインタラクティブ版のことを考えて、それを5年から10年先に進めて、どんだけ良くなるか想像してみ。
そうや、君がそこで言った超興味深いことがたくさんある。一つは、オープンワールドに組み込まれた深いパーソナライゼーションや。君が説明した方法では、オープンワールドみたいに、どんなドアでも開けることができて、そこに何かがあるってだけやない。
君が開くドアの選択が、制約のない方法で、君が見る世界を定義するんや。だからゲームによっては選択を与えようとするものもある。せやけど実際はただの選択の錯覚やねん。なぜなら実際は数個のドアしかなくて、ナラティブに連れて行かれるだけやから。
最近プレイしたスタンリー・パラブルっていうゲームは、ある意味メタ的に選択の錯覚を嘲笑して、自由意志の哲学的概念なんかを扱っとる。せやけど俺はスタンリー・パラブルは素晴らしいビデオゲームやと思うし、みんなにプレイすることを勧める。
せやけど俺の好きなゲームの一つ、エルダースクロールズのダガーフォールがある。ダンジョンのランダム生成を本当に試しとったと思う。オープンワールドの感覚を与えてくれて、ドアを開けると、君のためにランダム生成されたものが見える。それは君だけがそれを見る唯一の人かもしれへんっていう、既に信じられへんような体験や。
そうそう、その通りや。せやけど君が望むのは、単純なランダム生成よりも少し良いもんやろ？だから、また、単純なABハードコードされた選択よりも良いもんやろ？それは本当にオープンワールドやない。君が言うように、選択の錯覚を与えとるだけや。
君ができるようになりたいのは、そのゲーム環境で潜在的に何でもできることや。そして俺が思うに、それができる唯一の方法は、生成システム、その場でそれを生成するシステムを持つことや。
もちろん、無限の量のゲームアセットを作ることはできへん。今日のAAAゲームの作り方でさえ十分高いからな。そして、それは90年代に俺がこれらのゲーム全てに取り組んどった時に俺らには明らかやった。
俺が取り組んだブラック・アンド・ホワイトっていうゲームは、多分まだ最高のAI学習AIが入っとるゲームやと思う。君が面倒を見て、成長させて、育てとる神話的な生き物がおって、君がそれをどう扱うかによって、それはその世界の村人たちを同じように扱うんや。君が意地悪やったら、それも意地悪になる。君が良いことをしたら、それは保護的になる。
だから、それは君がプレイした方法の反映やったんや。だから実際に俺がやってきた全ては、ゲームの媒体を通してシミュレーションとAIの分野や。俺のキャリアの始まりと、今日俺がやっとることは全て、当時のもっとハードコードされたAIのやり方から、完全に一般的な学習システムまでの延長線上にあって、同じことを達成しようとしとるんや。
君とイーロンが明らかにゲームを作りたがってもがいとるのを見るのは、興味深くて、面白くて、楽しかった。君ら両方ともゲーマーやから。そして君らの信じられへんような成功の悲しい側面の一つは、科学の多くの分野で、深刻な大人の仕事みたいなもんで、実際にゲームを作る時間がないかもしれへんってことや。君らは他の人がゲームを作るためのツールを作ることになるかもしれへん。
君がいつも夢見てきたものを他の人が作るのを見なあかんかもしれへん。君の極めて忙しいスケジュールの中で、ブラック・アンド・ホワイトみたいなもん、実際のビデオゲームを作る時間を実際に見つけることができると思う？子供の頃の夢を実現できるように。
それについて考える方法は二つある。多分vibe codingが良くなって、実際に空き時間にそれを一人でできる可能性があるってことや。だから俺はそれにかなり興奮しとる。もし時間があったら、それが俺のプロジェクトになるやろうな。
俺は実際にvibe codingをやりたくてうずうずしとる。そして他の方法は、AGIが安全に世界に管理されて、届けられた後の sabbatical かもしれへん。それと、俺らが最初に話した俺の物理学理論に取り組むこと。それが俺の二つのポストAGIプロジェクトや。そう呼ぼう。
ポストAGI後に君がどのゲームを選ぶか見てみたい。人類史上最も賢い人々の何人かが格闘してきた問題、P=NPを解くか、クールなビデオを作るか。
せやけど俺の世界では、それらは関連しとるやろうな。なぜなら、それは可能な限りリアルなオープンワールドシミュレートゲームになるからや。だから、宇宙とは何なのか？それは同じ問題、P=NPに関わっとるんや。少なくとも俺の頭の中では、これらのことは全て関連しとる。
本当に深刻な意味で、ビデオゲームは時々、単なる楽しい副次的活動として見下されることがあるけど、特にAIがますます困難で退屈なタスク、現代世界で俺らが仕事と呼ぶもんをやるようになるにつれて、ビデオゲームは俺らが意味を見出すもの、時間をどう使うかを見つけるものになるかもしれへん。信じられへんほど豊かで意味のある体験を作ることができる。それが人間の人生とは何かや。そしてビデオゲームでは、より洗練された、より多様な生き方を作ることができるやろ？
そう思う。ゲームを愛する俺らのような人間にとって、それは想像力を走らせることができるっていうことや。俺は90年代から2000年代初頭のゲーム業界の黄金時代、80年代もかもしれへんけど、ゲームを作って、ゲームを愛しとった。新しいジャンルが発見されて、俺らは単にゲームを作っとるんやなくて、今まで存在しなかった新しいエンターテイメント媒体を作っとると感じてた。
特にこれらのオープンワールドゲームやシミュレーションゲームでは、プレイヤーとして君がストーリーを共同制作しとる。聴衆が実際にストーリーを共同制作する他のエンターテイメント媒体はない。もちろん今はマルチプレイヤーゲームもあるし、それは非常に社会的な活動にもなれるし、その中で様々な興味深い世界を探索できる。
せやけど一方で、物理的な世界も楽しんで体験することは非常に重要や。
せやけど問題は、俺らは現実の基本的性質についての問題に再び立ち向かわなあかんってことや。これらのますますリアルなシミュレーション、マルチプレイヤーで創発的なものと、俺らが現実世界でやることとの違いは何になるんや？
現実世界、自然を体験することには明らかに大きな価値がある。人間を直接、対面で体験することにも大きな価値がある。今日俺らが座っとるような方法でな。せやけど俺らは科学的に厳密に、なぜかっていう問題に答える必要がある。
そうや。そしてその価値のどの側面がバーチャル世界にマッピングできるのか。「そうや、草に触って自然の中でぶらぶらすべきや」って言うだけでは十分やない。なぜ正確にそれが価値があるのか？
そして俺が思うに、それは多分俺のキャリアの始まりから俺を悩ませ、夢中にさせてきたことや。俺がやってきた様々なことを考えると、それらは全てその方法で関連しとる。このシミュレーション、現実の性質、そして何がモデル化できるかの境界。
史上最高のビデオゲーム
馬鹿げた質問で申し訳ないけど、これまでで最高のビデオゲームは何や？上位にあるのは？
俺の史上お気に入りはCivilizationや。Civilization 1とCivilization 2が俺の史上お気に入りのゲームや。最新のやつは避けとると思うけど、多分それをやったら sabbatical が必要になって、消えてしまうやろうからな。
そうそう、その通りや。このCivilizationゲームは時間がかかるからな。だから気をつけなあかん。
面白い質問や。君とイーロンは何らかの形でしっかりしたゲーマーみたいやな。ゲームが得意であることと、AI企業の素晴らしいリーダーであることの間に何か関係があるんやろうか？
分からへん。興味深いことやな。俺らは両方ともゲームが好きで、彼も最初にゲームを書いてたのは興味深い。
俺が育った時代、特にイギリスでは、家庭用コンピュータが普及し始めた80年代後半から90年代にかけて、俺はSpectrumを持って、その後Commodore Amiga 500を持ってた。これは俺の史上お気に入りのコンピュータで、そこで俺はプログラミングを全部学んだ。もちろんゲームをプログラムするのは非常に楽しいことや。
だから多分今でもプログラミングを学ぶのに素晴らしい方法やと思うし、そして俺はすぐにそれをAIとシミュレーションの方向に持っていった。だから俺の科学的興味とゲームへの興味を一緒に表現できた。
そして最後に俺がゲームについて素晴らしいと思うことは、芸術的デザイン、アートと最先端のプログラミングを融合させることや。
だから90年代には、全ての最も興味深い技術的進歩がゲームで起こっとった。AIであれ、グラフィックス、物理エンジン、ハードウェア、GPUでさえ、もちろん元々ゲーム用に設計されたもんやった。
だから興味深いことに、それは研究の最前線が進んどった場所で、アートとの信じられへんような融合やった。グラフィックスだけやなく、音楽や、ストーリーテリングの全く新しい媒体でもあった。俺はそれが好きやった。俺にとって、それはこの種の多分野にわたる努力で、これも俺が人生を通して楽しんできたことや。
多くの、そして俺が言うべきやった最も信じられへんこと最近のことの一つで、何らかの理由でまだ十分な注目を得てない気がするのが、アルファ進化（Alpha Evolve）や。進化について少し話したけど、アルゴリズムを進化させるGoogle DeepMindのシステムや。
アルファ進化とハイブリッドシステム
こういう進化のような技術は、将来の超知能システムの構成要素として有望やと思う？知らん人のために言うと、これは俺がLLMガイド付き進化探索って呼ぶのが公平かどうか分からんけど。
そうや、その通りや。進化アルゴリズムが探索をやって、LLMがどこに行くべきかを教えてくれるんや。LLMがある種の可能な解を提案して、その上で進化的計算を使って探索空間の新しい部分を見つけるんや。
実際、俺はそれを基盤モデルやLLMを他の計算技術と組み合わせる非常に有望な方向性の例やと思う。進化的手法も一つやけど、モンテカルロ探索、基本的に多くの種類の探索アルゴリズムや推論アルゴリズムを基盤モデルの上に、あるいは基盤モデルを基礎として使うことも想像できる。
だから実際、このようなハイブリッドシステムと呼べるもので、かなり多くの興味深いことが発見されると思う。
進化をロマンチック化するつもりはないけど、俺は人間やからな。せやけどそのメカニズムが何であれ、何らかの価値があると思う？俺らが自然システムについて既に話したから。進化を理解し、モデル化し、シミュレートできて、自然にインスパイアされたそのメカニズムについて俺らが理解したものを使って、どんどん良い探索をするっていうのは、たくさんの低くぶら下がった果実があると思う？
そうや。俺らが構築したシステムの本当に基本的な核心まで分解して考えると、基本的なシステムの動力学のモデルがある。そして、何か新しいもの、今まで見たことのない新しいものを発見したいなら、探索空間の新しい領域に連れて行ってくれる何らかの探索プロセスが上に必要や。
それはいくつかの方法でできる。進化的計算もその一つや。アルファ碁では、俺らはモンテカルロ探索を使っただけで、それが手37、今まで見たことのない囲碁の新しい戦略を見つけた。だから、それが潜在的に既に知られていることを超えて行く方法や。
モデルは今知っていること全て、今持っているデータ全てをモデル化できるけど、それを超えてどうやって行くか？だからそれは創造性のアイデアについて話し始める。これらのシステムはどうやって新しいもの、新しいものを創造し、発見できるのか？明らかにこれは科学的発見や科学と医学を前進させることに非常に関連しとる。俺らがこれらのシステムでやりたいことや。
そして実際に、これらのモデルの上にかなり単純な探索システムを取り付けて、空間の新しい領域に到達させることができる。
もちろん、その空間を完全にランダムに探索してないことも確認する必要がある。それじゃあ大きすぎる。だから、最適化しようとしとる目的関数があって、それがその探索を導いてくれる必要がある。
せやけど進化のメカニズムで興味深いものがあるかもしれへん。多分プログラムの空間で。せやけどプログラムの空間は極めて重要な空間やから、多分全てに一般化できるやろう。例えば突然変異。だからモンテカルロ木探索みたいな探索やなくて、時々物事を組み合わせることができる。
そうや。物事を組み合わせて、部分的な構成要素を変更するみたいに。そうや。だから進化が本当に得意なのは、自然選択だけやなく、物事を組み合わせて、ますます複雑な階層システムを構築することや。だから、その構成要素は特に興味深い。特にアルファ進化のようにプログラムの空間で。
そうや、その通りや。進化システムから少し余分な特性を得ることができて、生命で起こったように、何らかの新しい創発的能力が生まれるかもしれへん。
興味深いことに、LLMや現代のAIなしの単純な従来の進化計算手法では、90年代や2000年代初頭によく研究されて、いくつかの有望な結果があったけど、問題は新しい特性、新しい創発的特性をどう進化させるかが決して分からなかったことや。システムに入れた特性のサブセットしか得られなかった。
せやけど、多分これらの基盤モデルと組み合わせれば、その制限を克服できるかもしれへん。明らかに自然の進化はそれをやったからな。新しい能力を進化させた。バクテリアから今の俺らまで。
だから明らかに進化システムで新しいパターン、俺らが最初に話したことに戻るけど、新しい能力や創発的特性を生成することは可能やなければならん。そして多分俺らはそれをどうやってやるかを発見する瀬戸際におるのかもしれへん。
アルファ進化は俺が今まで見た中で最もクールなことの一つや。俺の家の机には、水から陸に這い上がった初期の生物の一つであるティクタリクの頭蓋骨がある。俺はその小さな男をじっと見とる。進化の計算メカニズムが何であれ、かなり信じられへん。
真に信じられへん。俺らの探索に必要なのが正確にそれかどうかは分からんけど、自然がここでやったことの力を決して軽視してはいかん。
そうや。そして、それは比較的単純なアルゴリズムで驚くべきことや。効果的にはな。40億年の時間をかけて実行されたけど、この信じられへんほど豊かな多様性が現れる。宇宙の物理的基盤の上で長時間の計算時間を実行した探索プロセスとして考えることができるけど、それがこの信じられへん豊かな多様性を生成した。
バーチャル細胞と科学的発見
聞きたい質問がたくさんある。せやけど一つ、君には夢がある。モデル化したい自然システムの一つに細胞がある。それは美しい夢や。それについて聞きたい。
AI科学者の前線で、ダニエル・ココタイロ、スコット・アレクサンダーたちのエッセイがあって、ASIに到達するための道筋を概説して、たくさんの興味深いアイデアがある。その中の一つには、超人的なコーダーと超人的なAI研究者が含まれてて、そこに「研究のセンス」っていう用語が出てくる。本当に興味深い。
君が見た全てで、AIシステムが研究のセンス、人間の優秀な科学者を助ける方法でAI共同科学者として君を助けるセンス、そして潜在的にそれ自体で真に新しいアイデアを生成すべき方向を見つけることは可能やと思う？それは素晴らしい科学をする上で本当に重要な構成要素のように思える。
俺が思うに、それがこの「センス」や「判断」のアイデアを模倣したりモデル化したりする最も難しいことの一つになるやろう。俺は、それが優秀な科学者と良い科学者を分けるものやと思う。プロの科学者はみんな技術的に優秀や。そうやなかったら、学界やそういうところでそこまで行けないからな。せやけど、正しい方向、正しい実験、正しい問題を嗅ぎ分けるセンスがあるかどうか。
正しい問題を選ぶことが科学の最も難しい部分や。正しい仮説を立てることもな。そして今日のシステムは確実にそれができない。だから俺がよく言うのは、本当に良い推測を思いつくことの方が、それを解くことより難しいってことや。
だからもうすぐ、かなり難しい推測を解けるシステムができるかもしれへん。数学オリンピック問題で、俺らのアルファ証明システムが去年銀メダルを取ったような本当に難しい問題や。多分最終的には千年問題のような問題を解けるようになるかもしれへん。
せやけど、テレンス・タオのような人が「それは数学の性質や数の性質や物理学の性質について本当に深い問題やな」って言うような、研究に値する推測をシステムが思いつけるやろうか？それは遥かに難しい種類の創造性で、俺らはそのメカニズムが何かよく分からん。今のシステムは明らかにそれができないし、俺らはそのメカニズムが何かよく分からん。
アインシュタインが当時持ってた知識で特殊相対性理論、そして一般相対性理論を思いついた時のような、この種の想像力の飛躍。
推測として、興味深くて証明可能なものを思いつきたいんや。極めて困難なものを思いつくのは簡単や。極めて簡単なものを思いつくのも簡単や。その非常に端にある、そのスイートスポットで、基本的に科学を前進させ、仮説空間を理想的には二つに分割する。それが真か偽かで、何か本当に有用なことを学んだってことや。
それは難しくて、偽造可能で、現在利用可能な技術の範囲内にあるものを作ることや。だから、それは実際に高度に創造的なプロセスで、モデルの上の単純な探索では十分やないと思う。
仮説空間を二つに分割するっていうアイデアは超興味深い。君が「失敗は極めて価値がある」って言うのを聞いたことがある。正しく質問を構築し、正しく実験を構築し、正しく設計すれば、失敗と成功の両方が有用やと。多分それが仮説空間を基本的に二つに分割するからやな。バイナリサーチみたいなもんや。
そうや。真の青空研究をする時、質問と仮説が仮説空間を意味のある形で分割する限り、本当に失敗っていうものはない。
だから実験がうまく行かなくても、実験を良く設計して、仮説が興味深いものやったら、同じくらい価値のあることを学べるはずや。うまく行かなかった実験は、実験を良く設計してれば、次にどこに行くべきかについてたくさん教えてくれるはずや。
効果的に探索プロセスをやってて、その情報を非常に有用な方法で使っとるんや。
細胞モデリングの挑戦
君の細胞モデリングの夢に行こう。俺らが実現するために横たわっている大きな挑戦は何や？アルファ、つまりたくさんの飛躍があったことを強調すべきやな。アルファ折り畳みがタンパク質の折り畳みを解決したって言うのが公平やとしたら、俺らが話せる信じられへんたくさんのことがある。君らがリリースした全ての開源化も含めて。
アルファ折り畳み3は、タンパク質、RNA、DNAの相互作用をやってて、これは超複雑で魅力的や。モデル化できるってことや。アルファゲノムは、小さな遺伝的変化、単一の変異について考えるなら、それがどう実際の機能に結びつくかを予測する。
だから、それらは洗練された、より複雑なもの、細胞のようなものにじわじわ近づいてるように見えるけど、細胞には本当に複雑な構成要素がたくさんある。
だから俺がキャリアを通してやろうとしてきたことは、こういう本当に壮大な夢を持って、君も気づいたと思うけど、それを管理可能で達成可能な中間ステップに分解しようとすることや。それ自体で意味があって有用なもんにな。
バーチャル細胞、細胞をモデル化するプロジェクトって俺が呼んでるものは、多分25年くらい前からこのアイデアを持ってた。俺の生物学のメンターの一人であるポール・ナースとよく話してた。彼はクレイグ研究所を設立して運営してて、2001年にノーベル賞を獲った。
俺らは90年代から、細胞の内部を完全にモデル化するのに何が必要かについて話してきた。バーチャル細胞で実験ができて、シリコンでその実験をやって、その予測がウェットラボで時間を大幅に節約するのに有用やろうっていう。それが夢や。多分実験の100倍の速度で、ほとんどをシリコンで探索して、検証ステップをウェットラボでやるって感じで。
せやけど多分ついに、アルファ折り畳みのような構成要素を構築してて、それが最終的に細胞の完全な相互作用、完全なシミュレーションをモデル化することを可能にしてくれるんや。多分酵母細胞から始めるやろう。一部にはポール・ナースが研究してたからやけど、酵母細胞は単一細胞の完全な生物みたいなもんやから。最もシンプルな単一細胞生物の種類で、ただの細胞やなくて完全な生物なんや。そして酵母は非常によく理解されとる。だから、完全にシミュレートされたモデルの良い候補になるやろう。
アルファ折り畳みは、タンパク質がどう見えるかの静的な写真、タンパク質の3D構造の静的な写真の解や。せやけど俺らは生物学で興味深いことは全てダイナミクス、相互作用で起こることを知っとる。それがアルファ折り畳み3が向かってる最初のステップや。これらの相互作用をモデル化することや。
だから最初はペアワイズで、タンパク質とタンパク質、タンパク質とRNAとDNAやけど、その後のステップは多分経路全体をモデル化することやろう。癌に関わる経路みたいなもんをな。そして最終的には細胞全体をモデル化できるかもしれへん。
また、ここには別の複雑さもあって、細胞の中の物事は異なる時間スケールで起こるってことや。それは厄介やろ？タンパク質の折り畳みは超速いけど、全ての生物学的メカニズムを知らんけど、中には時間がかかるものもある。だから、それが異なる時間スケールでモデル化せなあかんレベルや。それは難しいやろう。
だから多分、これらの異なる時間ダイナミクスで相互作用できるいくつかのシミュレートされたシステムが必要やろう。少なくとも多分階層的なシステムみたいなもんで、異なる時間段階を上下に飛べるようなもんや。
ここでの挑戦の一つは、例えばこれの量子力学的側面をシミュレートするのを避けることができるかってことやろ？オーバーモデルしたくない。本当に高レベルなもので、何が起こるかの本当に良い推定を得られるものにスキップしたい。だから、どんな自然システムをモデル化する時でも、興味のあるダイナミクスを捉える粒度のカットオフレベルが何かを決断せなあかん。
だから多分細胞の場合、俺はそれがタンパク質レベルやと期待したい。原子レベルまで下がる必要はないと。だから、もちろんそれがアルファ折り畳みが活躍する場所や。
それが基礎になって、それからそれらをビルディングブロックとして取る、より高レベルなシミュレーションを構築して、創発的な振る舞いを得るんや。
先回りして頭の悪い質問で申し訳ないけど、生命の起源をシミュレートしてモデル化できると思う？非生物から生物の誕生、最初の生物の誕生をシミュレートできると？
俺が思うに、それはもちろん最も深くて魅力的な問題の一つや。俺はその生物学の分野が大好きやねん。ニック・レーンのような人々がいて、「進化の10の偉大な発明」っていう素晴らしい本がある。俺はそれが素晴らしいと思うし、それは大きなフィルターが何かについても語ってる。俺らより前にあるのか、俺らより先にあるのか。
俺が思うに、ニック・レーンの本を読むと、それらはおそらく過去にあると思う。生命が全く存在しないことがどんだけありそうにないかや。そして単細胞から多細胞への移行は、信じられへんほど大きなジャンプで、地球上でそれが起こるのに10億年くらいかかったと思う。それがどんだけ難しかったかを示しとる。バクテリアは非常に長い間、非常に長い間超幸せやった。何らかの形でミトコンドリアを捕獲する前にな。
AIがその種のシミュレーションを助けられない理由はないと思う。また、それはある種の組み合わせ空間を通る探索プロセスや。ここに化学的、原始的なスープがある。地球上のこれらの熱い噴出孔の近くにあったかもしれへん原始的なスープがな。初期条件がある。細胞のように見える何かを生成できるか？
だから、それはバーチャル細胞プロジェクトの後の次の段階かもしれへん。どうやって化学的なスープから実際にそういうものが現れることができるのか？
生命の起源の手37があったらいいなと思う。
俺もそれが偉大な謎の一つやと思う。俺が思うに、最終的に俺らが見つけるのは連続体やってことや。非生物と生物の間に線はない。せやけどもし俺らがそれを厳密にできるなら。
それが、ビッグバンから今日まで、同じプロセスやったってことや。もし俺らが非生物から生物への実際の起源について俺らが頭の中で構築したその壁を打ち破ることができて、それが線やなくて物理学と化学と生物学を結ぶ連続体やってことなら。線はない。
俺がAIとAGIに人生をかけて取り組んできた理由は全て、俺らがこの種の問題に答えるのを助ける究極のツールになると思うからや。
そして俺は、平均的な人がなんで、このようなことをもっと心配しないのか理解できへん。どうやって俺らが生きてるものと生きてないものの良い定義を持ってなくて、時間の性質も、意識や重力や量子力学の奇妙さも理解してないんや。俺にとっては、ずっと顔の前で叫んでて、それがどんどん大きくなってるんや。一体何が起こってるんや？現実の性質っていう一番深い意味でな。それがこれら全てに答える究極の問題でなければならんのや。
もし君が考えてみたら、俺らはお互いを見つめ合って、生きてるもの全てを、いつでも見つめることができるのは、ある種クレイジーや。顕微鏡で検査して、ほぼ原子レベルまで分解できるのに、まだ明確に簡単な方法でその質問に答えることができない。どうやって生きてるって定義するんや？
そうや、これは驚くべきことや。生きてるっていうのは、ある程度話して逃げることができるけど、意識のようなもんは、俺らには明らかに主観的な意識体験があるやん。俺らは自分の世界の中心にいて、何かを感じるような感覚があって、どうやって君がそのような謎で叫んでないんや？
つまり、実際に人間は長い間、周りの世界の謎と格闘してきたんや。太陽とは何やとか、雨とは何やとか。去年はたくさん雨が降ったのに、今年は雨が降らない。俺らは何を間違ったんや？人間は長い間、その質問をしてきた。
その通りや。だから俺らは、これらの深い謎を完全に理解できないものと対処するための多くのメカニズムを開発してきた。見ることはできるけど完全に理解することはできないもんとな。そして日常生活を続けて、忙しくしておかなあかん。ある意味で俺らは気を逸らせ続けるんやろうか？
天気は人類史上最も重要な問題の一つや。俺らはまだそれが、特にイングランドでの小話の定番の方向性や。有名なことに、極めて困難にモデル化するシステムで、その系でもGoogle DeepMindは進歩を遂げた。
そうや、俺らは世界最高の天気予報システムを作った。それらは通常大規模なスーパーコンピュータで計算して、計算に数日かかる従来の流体力学のシステムより良い。そして俺らは天気ダイナミクスの多くを俺らのWeatherNextシステムでニューラルネットワークシステムでモデル化することに成功した。
そして再び、それらの種類のダイナミクスは、非常に複雑で、時にはカオス的システムに近いにも関わらず、モデル化できるのは興味深い。その興味深い側面の多くは、最近ではハリケーンの進路予測を含めて、これらのニューラルネットワークシステムでモデル化できるんや。
もちろん、世界にとって超有用で超重要で、それを非常にタイムリーに、非常に迅速に、そして正確にやることが超重要で、俺は非常に複雑な現実世界システムをシミュレートして前向き予測とシミュレーションを実行できるっていう非常に有望な方向性やと思う。
テキサスで、ストームチェイサーって呼ばれる人々のコミュニティに出会う機会があったことを言及すべきや。そして彼らについて本当に信じられへんことは、もっと話をする必要があるんやけど、彼らは極めて技術に精通してるってことや。なぜなら彼らがせなあかんことは、嵐がどこにあるかを予測するためにモデルを使うことやから。
だから彼らは、目の中に入るくらいクレイジーで、命を守って極端な事象がどこで起こるかを予測するために、ますます洗練された天気のモデルを持たなあかん。
それは、生物として存在しながら、最先端の科学の美しいバランスや。だから彼らは実際にDeepMindシステムを使ってるかもしれへん。
そうや、うまくいけば使ってるし、俺も一度は彼らと一緒にその追跡に参加したい。素晴らしく見えるやろ？実際に一度体験して、何かが来る正しい予測と、それがどう進化するかを体験することや。信じられへん。
AGIの実現時期と定義
君はAGIを2030年までに実現すると予測したな。それについて興味深い質問がある。俺らは実際にそこに到達したことをどう知るんや？そしてAGIの、引用すると「手37」は何かもしれへん。
俺の推定は次の5年間で50%の確率や。だから2030年までには良い可能性があると思う。
もちろん、AGIの定義が何かにもよる。今、人々がそれについて議論してて、俺のは結構高いハードルで、いつもそうやった。脳が持つ認知機能に匹敵できるかどうかみたいなもんや。
俺らの脳は、ほぼ一般的なチューリングマシンの近似値やって知っとるし、もちろん俺らは俺らの心で信じられへんような現代文明を作り上げた。だから、それは脳がどんだけ一般的かについても語っとる。
俺らが真のAGIを持ってることを知るためには、それがそれらの能力を全て持ってることを確認する必要がある。今日のシステムのような、何かは本当に得意やけど、他のことは本当に欠陥があるっていうようなギザギザした知能やない。それが俺らが現在のシステムで持ってるもんや。一貫してない。
だから全般にわたって知能の一貫性が欲しいし、俺らが前に話した真の発明能力や創造性のような、欠けてると思う能力もある。だからそれらが見えることが欲しい。
どうやってそれをテストするか、一つの方法は、人間ができると知ってる何万、何千もの認知タスクの一種の力技テストやろう。多分システムを世界トップの専門家、各分野のテレンス・タオのような人々、数百人に利用可能にして、彼らがシステムの明らかな欠陥を見つけられるかどうか、1、2ヶ月与えて見てもらうことや。
もし見つけられなかったら、俺らは完全に一般的なシステムを持ってるってかなり確信できると思う。
少し反論するなら、人間がすべてのドメインで知能が向上するにつれて、当たり前のように取ることが本当に信じられへんように思える。テレンス・タオのようなこれらの優秀な専門家を挙げたけど、彼らは数週間のうちに、それができる信じられへんなことを全部当たり前に取って、そして「はは、そこやな」に焦点を当てるかもしれへん。
俺は人間やと考えてる。まず第一に俺は人間やと。第二に俺は人間やとアイデンティティを持っとる。人々が俺の話を聞いて、「あの男は話すのが下手や、どもりがあるし」って言うような人もおる。だから人間でさえも、数学や物理学以外の明らかなドメイン横断的な制限があるんや。
だから俺は、10,000の認知タスクの集中砲火みたいなものよりも、手37のようなものを一つか二つ必要になるかもしれへんって思う。
俺はその通りやと思う。だから一般的なテストで一貫性を確保するための毛布テストの種類があるけど、俺が探してる手37のような灯台の瞬間があると思う。
だから一つは、アインシュタインがやったような物理学の新しい推測や新しい仮説を発明することやろう。だから多分1900年の知識カットオフで、その後テストを実行することもできて、1900年まで書かれた全てをシステムに与えて、それから特殊相対性理論と一般相対性理論を思いつけるかどうか見ることや。アインシュタインがやったようにな。それは興味深いテストになるやろう。
別のやつは、囲碁のような深く美的に美しく洗練されたゲームを発明できるかや。手37、新しい戦略を思いつくだけやなく、囲碁と同じくらい深くて美的に美しくて洗練されたゲームを発明できるかや。
それらが俺が探してる種類のことや。そして多分システムがそれらのことのいくつかをできるようになること。一つのドメインだけやなく、非常に一般的になるために。
そして俺が思うに、それが俺らがAGIレベルのシステムを持ってるっていう、少なくとも俺が探してるサインやろうな。
そして多分それを埋めるために、一貫性もチェックするやろう。そのシステムに穴がないことを確認するためにな。
新しい推測や科学的発見のようなもの。それはクールな感じやろうな。
それは素晴らしいやろうな。だから俺らを助けるんやなくて、実際に全く新しいものを思いつくんや。そして君はその部屋におるんやろうな。
だから、多分発表する2、3ヶ月前やろうな。そして君はそこに座って、そのような素晴らしい新しい物理学のアイデアとは何やってツイートしないようにしようとしとるんや。
その通りや。そして俺らは多分その分野の世界の専門家とそれをチェックして、検証して、その仕組みを調べるやろう。そして俺は、それもその仕組みを説明するやろうと思う。素晴らしい瞬間になるやろう。
AGIの判定における人間の理解力
俺らが人間として、専門的な人間でさえも、それを見逃すかもしれへんって心配する？かなり複雑かもしれへんから。だから類推として、チェスでガルリ・カスパロフやマグナス・カールセンと対局して、彼らが素晴らしい手を打ったら、俺はその手を思いつけないかもしれへんけど、後で彼らはなぜその手が意味を成すかを説明できるし、俺らはある程度理解できる。彼らのレベルではないけど、彼らが説明するのが上手やったら、これも知能の一部で、考えてることを簡単な方法で説明できることやから。
俺は、それが最高の人間科学者にとって非常に可能やと思う。
せやけど俺は、アグネスやガルリにとって、最初は悪い手やって最初は却下するような手があるかもしれへんって思う。
もちろん、そうかもしれへん。せやけど後で彼らは直感でなぜこれが機能するかを理解するやろう。
そして、そしてそして、ゲームの良いところは、ゲームについての素晴らしいことの一つは、それは科学的テストの種類やってことや。君はゲームに勝つか勝たないかや。そして、それは「OK、その手は最終的に良かった。その戦略は良かった」って教えてくれる。
そしてそれから戻って、それを分析して、自分自身にもう少し説明することができる。それがチェス分析やそういうもんの仕組みや。だから多分俺の脳がそのように機能するのは、俺が4歳からそれをやってきたからで、その方法でハードコアなトレーニングを積んできたからや。
せやけど今でも、俺がコードを生成する時でさえ、この種の微妙で魅力的な論争が起こっとることがある。俺は最初に、生成されたコードの集合を何らかの興味深い微妙な方法で間違ってるって最初に特定するかもしれへん。せやけど俺は常に「ここにより深い洞察があって、間違ってるのは俺の方やろうか？」って質問せなあかん。
システムがますます知能になるにつれて、それと格闘せなあかんようになる。君が思いついたものは、これはバグか機能か？
そうや。そして、もちろんそれも、かなり複雑にするやろう。せやけどもちろん、そのコードやその他を生産してるAIシステムと、人間のプログラマーがそれを見てるのも想像できるけど、それを生成したものとは異なる、AIツールの助けも借りずにではない。
だから、それを生成したものとは異なる、多分監視ツールのようなAIツールになるやろう。
Alpha Evolveと再帰的自己改善
AGIシステムを見てみると、申し訳ないけど、それを戻すけど、Alpha Evolve、超クールや。だからAlpha EvolveはプログラミングサイドでRecursive Self-Improvementのようなものを可能にする。潜在的にその最初のバージョンやなくて、その先の数バージョンのAGIシステムみたいなもんで、実際にそれがどのように見えるか想像できる？それは単純やと思う？
単純な自己改善プログラムのような一つのものになると思う？
潜在的にそれは可能や。俺が言うとすれば、それが望ましいかどうかも分からへん。なぜなら、それは一種のハード離陸シナリオやからな。
せやけど、Alpha Evolveのような現在のシステムは、様々なことを決定する人間がループにおって、相互作用するハイブリッドシステムやった。最終的に、それをエンドツーエンドでやることを想像できる。なぜそれが不可能やないかは分からんけど、今のところシステムはコードのアーキテクチャを思いつくという点で、十分良くない。
そして再び、それは新しい推測的仮説を思いつくというアイデアに少し関連しとる。非常に具体的な指示を与えれば、それらは得意や。せやけど、非常に曖昧な高レベルの指示を与えても、現在はうまく行かないやろう。
そして俺が思うに、それは囲碁と同じくらい良いゲームを発明するっていうのと関連しとる。それがプロンプトやったと想像してみ。それは非常に制約が少ない。だから現在のシステムは、俺が思うに、それをどう扱うか分からんやろう。どうやってそれを扱いやすいものに絞り込むかも。
そして「自分のより良いバージョンを作れ」っていうのも似たようなもんやと思う。それは制約が少なすぎる。
せやけど俺らはAlpha Evolveで、より速い行列乗算のような非常に具体的なものをやった。だから、非常に具体的なものに絞り込むと、それを段階的に改善するのは非常に得意やけど、現時点では、これらは理解の大きな飛躍が欲しい場合に必要な、より大きな進歩ではなく、段階的な改善のような小さな反復や。
ハード離陸シナリオに対して反論するために、それは段階的改善の連続になる可能性もある。行列乗算のようなもので、改善について何日も座って考えて、それを再帰的にやって、より多くの改善をするにつれて遅くなるから、AGIへの道は急峻やなくて、時間をかけて段階的に改善されるように見えるやろう。
段階的改善だけやったら、そのように見えるやろう。
だから問題は、2017年に俺らや脳がやったTransformersアーキテクチャのような新しい飛躍を思いつけるかどうかや。Alpha Evolveのようなシステムがそんな大きな飛躍をできるかどうかは明らかやない。
だから確実に、これらのシステムは段階的な丘登りができる。それは一種の大きな問題で、ここから必要なのがそれだけなのか、それとも実際に1つか2つのもっと大きなブレークスルーが必要で、同じ種類のシステムがそのブレークスルーも提供できるのかってことや。
たくさんのS字カーブみたいに、段階的改善やけど、時々飛躍もあるんや。
そうや。俺は手37は飛躍やと思う。そのような飛躍を明確に示したシステムは、まだ誰も持ってないと思う。現在の君のS字カーブの丘登りをやるシステムはたくさんある。
手37は飛躍やったんや。そのようなものが。
スケーリング則とAI進歩の壁
事前学習、事後学習、テスト時間、計算でスケーリング則が強く維持されてると思う？その裏返しで、AI進歩が壁にぶつかると予想する？
俺らは確実に、スケーリングにまだたくさんの余地があると感じとる。だから実際には、事前学習、事後学習、推論時間の全てのステップで。
だから、同時に起こっとる3種類のスケーリングがある。そして再び、どんだけ革新的になれるかについてで、俺らは最も広くて深い研究ベンチを持ってることを誇りに思っとる。
俺らには素晴らしい、信じられへんような研究者がいて、Transformersを思いついたナム・シャジルや、アルファ碁プロジェクトを率いたデイブ・シルバのような人々がいる。その研究基盤は、アルファ碁やTransformersのような新しい何かのブレークスルーが必要やったら、俺らがそれをやる場所やと俺は思う。
だから俺は実際に、地形が難しくなる時が好きや。なぜなら、それは単なるエンジニアリングから真の研究に、あるいは研究プラスエンジニアリングにより向かうからで、それが俺らのスイートスポットや。
そして俺は、ものを発明することの方が、ファスト・フォローすることより難しいと思う。
だから、新しいことが必要かどうか、既存のもののスケーリングで十分かどうかは、俺らにも分からへん。50/50ってところや。だから真の経験的な方法で、俺らは両方を可能な限り強く推し進めとる。
新しい青空のアイデアと、俺らのリソースの約半分はそれに費やされて、それから現在の能力を最大限にスケーリングしてる。そして俺らはまだGeminiの各バージョンで素晴らしい進歩を見続けとる。
君がそれを深いベンチという点で表現する方法は興味深い。AGIへの進歩が計算をスケーリングするエンジニアリング側の問題以上で、ブレークスルーが必要な科学的側面により多くある場合、Google DeepMindはそのドメインでお尻を蹴ることができる立場にあると確信してる。
俺が思うに、過去10年か15年の歴史を見ると、多分現代のAI分野を支える今日のブレークスルーの80-90%は、元々Google Brain、Google Research、DeepMindからやった。だから俺は、それが続くことを望んでる。
データとエネルギーの課題
データ側で、特に高品質な人間データの不足について心配しとる？
俺はそれについてあまり心配してない。なぜなら、俺が思うに、十分なデータがあるし、システムをかなり良くするのに証明されとる。そして、これは再びシミュレーションに戻るけど、正しい分布からより多くの合成データを作成できるシミュレーションを作るのに十分なデータがあれば。
明らかに、それが鍵や。だから、そのようなデータジェネレーターを作るためには、十分な現実世界のデータが必要で、俺が思うに、俺らは今その段階におる。
そうや、君らは科学と生物学の側面であまりデータがなくても信じられへんなことをたくさんやった。それでもたくさんのデータやけど、離陸するのに十分なデータやと思う。
その通りや。そうそう、その通りや。
AGIを構築するために計算のスケーリングはどんだけ重要や？これはエンジニアリングの問題や。地政学的な問題でもある。なぜなら、サプライチェーンやエネルギーも統合されてるからや。君がたくさん気にかけとるもんで、エネルギーの側面での革新、潜在的に核融合もや。だから俺らは計算をスケーリングし続けると思う？
いくつかの理由で、俺はそう思う。俺が思うに、計算には、訓練のために持つ計算量があって、しばしば co-located される必要がある。実際、データセンター間の帯域幅制約でさえそれに影響することがあるから、それは訓練にとって重要や。明らかに最大のモデルを訓練できるけど、今や AIシステムが製品に入って世界中の数十億人に使われとるから、大量の推論計算が必要や。
その上に、去年の新しいパラダイム、テスト時により多くの推論時間を与えるほど賢くなる思考システムがある。だから、それら全てに大量の計算が必要で、それが遅くなるとは思えへん。
そして AIシステムが良くなるにつれて、より有用になって、需要がもっと出てくるやろう。だから訓練側は、実際に必要な全体的な計算の一部だけかもしれへん。それは小さい部分になるかもしれへん。
そうや、それはある種のミームみたいなことの一つで、V3の成功と信じられへんな側面について、コメディーやミーム的なものも含めて、人々が様々な側面をハイライトしとる。そしてそれが成功すればするほど、サーバーが汗をかくって感じで人々がからかうもんや。
そうそう、その通りや。俺らはサーバーで卵を焼いたりする小さなビデオを作った。それは正しいことで、俺らはそれをどう解決するか考えなあかん。
君らが知ってるように、俺らは独自の TPU ラインを持ってて、推論専用のもの、推論専用チップみたいな、よりエネルギー効率的にできる多くの興味深いハードウェア革新がある。
俺らはまた、エネルギー使用を助ける AI システムの構築に非常に興味を持ってて、実際にやってきた。冷却システム用のデータセンターエネルギー、グリッド最適化、そして最終的には Commonwealth Fusion と一緒にやってきたプラズマ封じ込め融合炉を助けることのようなもんも。
原子炉設計も想像できる。それから材料設計は、新しいタイプの太陽光材料、太陽光パネル材料、常温超伝導体の最もエキサイティングなもんの一つやと思う。それは俺の夢のブレークスルーのリストにずっとあった。最適なバッテリーも。
俺が思うに、これらのもんのどれか一つの解決策でも、気候とエネルギー使用にとって絶対に革命的になるやろう。そして俺らは多分、次の5年で、これらの問題に物質的に助けることができる AI システムに近づいとると思う。
馬鹿げた質問で申し訳ないけど、もし君が賭けるとしたら、20年、30年、40年後の主なエネルギー源は何やと思う？核融合になると思う？
俺は融合と太陽光の二つに賭けると思う。太陽光は、つまり、空の融合炉やから、もちろん。そして俺が思うに、そこでの問題は本当にバッテリーと送電や。
だからより効率的な太陽光材料、多分最終的には宇宙で、ダイソン球タイプのアイデアのようなもん。そして融合は絶対にできると思う。適切な原子炉設計があって、プラズマを制御できて、十分速くできればやから。
俺が思うに、これらの両方が実際に解決されるやろうから、俺らは多分少なくともそれらが、再生可能でクリーンなほぼ無料、あるいは多分無料のエネルギーの二つの主要な源になるやろう。
人類文明の未来
もし俺が君と一緒に100年後の未来に旅行したら、俺らがタイプ I カルダシェフスケール文明を通過したことに、どんだけ驚くやろう？
ここから100年の時間スケールなら、俺はそんなに驚かないやろう。俺が思うに、もし俺らが今話した方法の一つで、融合や非常に効率的な太陽光でエネルギー問題を解決したら、それは非常に明らかや。
エネルギーが無料で再生可能でクリーンやったら、それは他の多くの問題を解決する。だから例えば、水へのアクセス問題はなくなる。なぜなら脱塩をただ使えるからで、俺らはその技術を持ってる。ただ高すぎるだけや。だから、シンガポールやイスラエルのような、かなり裕福な国だけが実際に使っとる。
せやけど、もしそれが安かったら、海岸を持つ全ての国がそれを使えるやろう。せやけど、無制限のロケット燃料も持てるやろう。海水をエネルギーを使って水素と酸素に分離するだけで、それがロケット燃料や。
だからイーロンの素晴らしい自己着陸ロケットと組み合わせれば、宇宙へのバスサービスのようになるかもしれへん。それは信じられへんな新しいリソースとドメインを開く。
小惑星採掘は現実になると思うし、星への最大の人間の繁栄。それが俺も夢見とることや。カール・セーガンの意識を宇宙に持ち込む、宇宙を目覚めさせるっていうアイデアみたいなもんや。そして俺は、もし俺らが AI を正しく扱って、これらの問題をそれで解決したら、人類文明は時間の完全な意味でそれをやるやろうと思う。
俺は、もし君がただの観光客として宇宙を飛行しとったら、何に気づくか想像してる。エネルギー問題を解決したら、地球に気づくやろうな。なぜなら、ここロンドンのような交通がたくさんあるけど、宇宙でたくさんのロケットが見えるやろうから。
そして多分、太陽光のような宇宙に浮かんどる何らかのエネルギー源が見えるやろう。だから地球は表面でより技術的に見えるやろうし、そしてそのエネルギーの力を使って、人類史上初めて資源制約されないから、自然を保護するやろう。熱帯雨林とかそういうものを全て。
それはゼロサムやないから、人間にとって素晴らしい新しい時代になるかもしれへん。俺はこの土地を持ってる、君は持ってない。もしトラが森を持ったら、地元の村人は何を使うんや？俺が思うに、これは大いに助けるやろう。全ての問題を解決するわけやないけど、なぜなら他の人間の欠点がまだ存在するやろうから、せやけど少なくとも一つの大きなベクター、資源の不足、土地や材料やエネルギーの不足を取り除くやろう。
俺が時々呼ぶような、他の人も呼ぶような、この種の根本的豊かさの時代があるべきで、それは周りにたくさんのリソースがあるってことや。
もちろん、次の大きな問題は、それが公平に共有されることを確実にして、社会の誰もがその恩恵を受けることや。
人間の本質とゲームの役割
人間の本質について何かがあって、俺が気づいたのは、ボラトみたいに、俺の隣人みたいに、俺らはトラブルを始める傾向があるってことや。俺らは対立を始めるし、それが俺らが古代史でも実際に学んどることやけど、ゲームは実際にホットウォーから人々を遠ざける目的を果たしとる。だから多分俺らは、対立のかゆみを掻く、人間の本質について何でもそれが、ますます洗練されたビデオゲームを考え出すことができるかもしれへん。
そして実際のホットウォーを避けることができる。なぜなら俺らは、人類文明全体を実際に破壊できる武器を作ることができる段階をとっくに過ぎてるからや。
だからもう隣人と始めるのは良い方法やない。チェスやフットボールのゲームをする方が良い。
そうや、そして俺が思うに、現代のスポーツがそれやと思う。俺はフットボールを見るのが大好きで、たくさん愛しとるし、以前はたくさんプレイもしてた。それは非常に生々しくて部族的で、俺が思うに、それはある種の人間の必要性、あるグループに属したいっていう気持ちを満たしとるけど、楽しい方法で、健康的な方法で、破壊的やない方法で、建設的な種類のもんや。
そして俺が思うに、ゲームに戻ると、それらも子供がプレイするもの、チェスのようなものにとって元々素晴らしい理由でもある。それらは世界の素晴らしい小さな縮図シミュレーションや。それらも世界のシミュレーションやねん。
それらは現実世界の状況の簡略化されたバージョンで、ポーカーや囲碁やチェス、外交、現実世界の様々な側面、または様々な側面や。
それらで練習することもできる。なぜなら、人生で大規模な決定の瞬間を何回練習する機会があるんや？何の仕事に就くか、どの大学に行くか、多分十数個くらいの重要な決定をしなあかんけど、それらを可能な限り良くしなあかん。
そしてゲームは安全な環境、反復可能な環境の種類で、決定プロセスを上達させることができる。そして多分、よりクリエイティブで建設的な追求にエネルギーを向けるっていう追加の利益もある。
俺が思うに、負けることと勝つことを練習することも本当に重要やと思う。負けることは、俺らが人間にとって本当に、ゲームが好きな理由でもある。
俺がブラジリアン柔術のようなもんさえ愛してる理由でもある。安全な環境で何度も何度もお尻を蹴られることができるからや。それは物理学について、世界の仕組みについて、時々負けること、時々勝つことについて思い出させてくれる。みんなと友達でいることもできる。
せやけど、負けるっていう感情は、俺らが人間にとって本当に理解するのが奇妙なもんや。それは人生の基本的な部分で、負けることや。
そうや。そして俺が理解する限り武道でも、少なくともチェスでも俺が受けた方法では、それは自己改善、自己知識に関することがたくさんある。だから、OK、俺はこのことをした。それは他の人を倒すことについてやないんや。自分の潜在能力を最大化することについてや。
もし健康的な方法でやるなら、勝利と敗北を使う方法を学ぶんや。勝利で天狗になって、世界で最高やと思わないでおく。そして敗北は謙虚さを保って、学ぶことがまだたくさんあることを常に知っておく。
いつも指導してくれる、もっと大きな専門家がいるってことをな。俺が思うに、それを武道で学ぶし、チェスでも同じように訓練された方法やと思う。
そして挫折を建設的なもの、次回はこれを改善するとか、これが上手になるとかに結びつける健康的な方法で、挫折に対処することを学ぶんや。
その改善ステップは幸福の源泉、意味の源泉になるもんがある。勝ったり負けたりすることについてやない。
そうや。熟練や。より満足できるもんはないような感じで、「おお、これは前にできなかったことやけど、今はできる」みたいなもんや。
そして再び、ゲームや身体的スポーツや知的スポーツは、その進歩を測る方法や。測定できるから美しいんや。
俺が思うに、これが俺らがロールプレイングゲームが好きな理由や。スキルツリーの数字が上がるっていう、文字通りそれが俺ら人間の意味の源泉なんや。
俺らは何でも、俺らはこの種のもんにかなり中毒になってるし、多分俺らがそのようなゲームを作った理由は、明らかにそれが俺らが何かやからやろう。俺らは自分自身が丘登りシステムやからな。
俺らがこれをどこでもやることを。カラーベルトも、俺らはあらゆるところでこのようなことをしとるやろ？俺らはただこの、そしてそれが俺ら人間にとって深い意味の源泉やってことを軽視したくない。
Googleの成功とリーダーシップ
ビジネス、リーダーシップ側の信じられへんな話の一つは、過去一年でGoogleがやったことや。俺が思うに、GoogleはLLM製品側で一年前にGemini 1.5で負けてたって言うのは公平で、今はGemini 2.5で勝ってるし、君がその努力の舵を取ってリードした。勝ってたって引用符つきから勝ってるって引用符つきになるのに一年の間で何が必要やったんや？
そうや、まず第一に、俺らが持つチーム、コリーやジェフ・ディーンやオラル、Geminiで俺らが持つ素晴らしいチームに率いられた、絶対に信じられへんなチームやねん。絶対に世界クラスや。だから最高の才能なしにはできへん。
そしてもちろん、たくさんの素晴らしい計算も持ってる。せやけど、それから俺らが作った研究文化やろ？基本的にGoogle内の異なるグループ、世界クラスのチームだったGoogle Brainと古いDeepMindが一緒になって、最高の人々と最高のアイデアを全て集めて、俺らができる絶対に最高のシステムを作ることに集まった。
せやけど俺らはみんな非常に競争心があって、研究が大好きで、これをやるのはとても楽しいし、俺らがどこにいるかを見るのは素晴らしい。俺らの軌道は与えられたもんやなかったけど、俺らは俺らがいる場所と進歩の速度に非常に満足しとる。
最も重要なことは進歩の速度や。2年前から1年前、今まで俺らがどこまで来たかを見ると、俺が思うに、俺らが容赦ない進歩と呼ぶもの、その進歩の容赦ないシッピングと一緒に、非常に成功しとる。
そして信じられへんほど競争が激しい、世界で最高の起業家やリーダーや企業の何社かと競争する全AI空間で、みんながAIがどんだけ重要かを実感してるからや。そして俺らがその進歩を見ることができたのは、俺らにとって非常に満足やった。
Googleは巨大な企業や。その場合に自然に起こることは、現れる官僚主義について話すことができる？管理者や会議があるような自然な種類の。君が言ったようにシップするために、過去一年でシップされたGemini関連製品の数は正気やないレベルやろ？それが容赦なさの見た目や。リーダーシップの観点から、それを突破するためのいくつかの挑戦は何や？
俺が思うに、どんな大企業も、大量の管理レイヤーやそういうもんを持つことになるのは、それが機能する方法の性質や。
せやけど俺はまだ、古いDeepMindと同じように、大きなものやったけどまだスタートアップとして運営してたし、今日もGoogle DeepMindと同じようにスタートアップとして行動しとる。最高の小さな組織から得られる決断力とエネルギーで行動して、俺らは両方の世界の最高を得ようとしとる。
この信じられへんな数十億のユーザーサーfaces、俺らのAIと研究で力を与えることができる信じられへんな製品を持ってるところや。それは素晴らしい。そして世界でそれを得られる場所はほとんどない。一方で信じられへんな世界クラスの研究ができて、次の日にはそれをプラグインして数十億人の生活を改善できるんや。
それはかなり素晴らしい組み合わせや。そして俺らは、研究文化と容赦ないシッピング文化が繁栄することを可能にするために、官僚主義を継続的に戦って削り取っとる。
そして俺が思うに、大企業として、そして俺らが持つ多数の巨大な製品サーfacesで責任を持たなあかんので、それでも責任を持ちながら、かなり良いバランスを得たと思う。
君が数十億のサーfacesについて言及した面白いことや。大英博物館でアーヴィン・フィンケルっていう優秀な男と会話した。彼は楔形文字の世界的専門家で、タブレットの古代文字や。そして彼はChatGPTやGeminiについて知らん。AIについて何も知らん。せやけど彼の最初のAIとの遭遇は、GoogleのAIモードや。
彼は「それが君が話してるAIモードのことか？」みたいな感じで、それは俺らがこのAIのことを知らん世界の大部分があることを思い出させてくれる。
俺も知っとる。XやTwitterに住んでて、少なくとも俺のフィードでは全部AIで、バレーやこのAIについて考えることだけを考えてる特定のポケットがあるけど、普通の世界の多くはまだそれに出会ってない。
せやけど、それは彼らの最初の相互作用への大きな責任で、グランドスケールで田舎のインドでも世界中どこでも、君はそれを正しくしたいし、できる限り良くしたい。そして多くの場合、それはただフードの下で何かをパワーアップして、マップや検索がより良く動くようにしてるだけや。
そして理想的には、これらの人々の多くにとって、それはシームレスであるべきや。彼らの生活をより生産的にして助ける新しい技術やってだけや。
Gemini製品とエンジニアリングチームの多くの人々が君について極めて高く話してて、俺がほとんど期待さえしてなかった別の次元で、君を深い科学者、これらの大きな研究科学的問題を気にかける人やと考えてるけど、彼らはまた君が素晴らしい製品の人やとも言った。多くの人が使って楽しく使うもんを作る方法についてな。
だから多分、多くの人が楽しく使うAIベースの製品を作るのに何が必要かについて話すことができる？
そうや、俺の意味で、それは90年代に何百万ものゲーマーのためにゲームをデザインしてたゲームデザインの日々に戻る。人々はそれを忘れるやろう。俺は製品で最先端技術の経験を持ってる。それが90年代のゲームのあり方やったんや。
だから俺は実際に、最先端研究の組み合わせと、それが製品に応用されて新しい体験をパワーアップすることが大好きや。だから俺が思うに、それは実際に同じスキルや。それを内臓的に使うのがどのような感じかを想像して、良いセンスを持つことや。
前に戻ると、科学で役立つのと同じことで、俺が思うに、製品設計でも役立つことができる。そして俺はただ、常に多分野の人やった。だから芸術と科学の間や、製品と研究の間の境界を本当に見てない。俺にとってはそれは連続体や。
俺は最先端のものを使った製品でしか働きたくない。フードの下に最先端技術がない普通の製品やったら、俺はそれらについて興奮できないやろう。だから、それはこの発明創造能力を必要とする。
LLM側でも、Geminiと相互作用してて、君が学んだ具体的なことは何かある？これはレイアウト、インターフェース、多分待機時間とのトレードオフ、その待機がどう表示されるか、推論能力をユーザーにどう提示するかについて感じないような。君が言ったように、これは最先端やから。俺らはそれをどう提示するか、正しく提示する方法を知らん。だから君が学んだ具体的なことはある？
俺の意味で、それは非常に速く進化する空間や。俺らは常にこれを全て評価してるけど、今日俺らがおる場所では、物事を継続的に簡素化したいってことや。
インターフェースでも、モデルの上に構築するもの全てでも。君は基本的にモデルの邪魔をしたくない。モデル列車が線路を下ってきてて、信じられへんほど速く改善しとる。俺らが前に話した容赦ない進歩やな。2.5対1.5を見ると、それは巨大な改善や。そして俺らは将来のバージョンでも再びそれを期待しとる。
だからモデルはより能力が高くなってきとる。だから今日のこれらのAIファーストプロダクトのデザイン空間で君が持つ興味深いことは、今日技術ができることのためにデザインするんやなくて、一年後のためにデザインせなあかんってことや。
だから実際にはかなり技術的な製品の人でなければならん。なぜなら、今夢見てることが今日はできないけど、研究トラックが6ヶ月や一年後に基本的にそれを迎撃するようにスケジュールされてるかどうかについて、かなり良い直感と感覚を持たなあかんからや。
だから君は、この高度に変化する技術がどこに向かってるかを迎撃せなあかんし、前に実現できなかった新しい能力が常にオンラインになってくる。Dリサーチが機能するようになったり、今ビデオ生成があるから、それで何をするか？このマルチモーダルなもの。
俺が持つ一つの質問は、今日俺らが持ってるこれらのテキストボックスチャットの現在のUIは、これらの超マルチモーダルシステムのことを考えると、非常にありそうにないように見えるってことや。マイノリティレポートのように、ある種の協力的な方法でそれとバイブすような何かであるべきやないか？
今日は非常に制限されてるように見える。俺が思うに、俺らは今日のインターフェースや製品やシステムを、多分ほんの数年で、かなり古風なもんとして振り返るやろう。だから俺が思うに、研究側だけやなく、製品側でも実際にイノベーションが起こる余地がたくさんある。
そして俺らはオフラインでこれについて話してたけど、キーボードはいつ、どれだけ俺らの周りの機械との相互作用の主要な方法としてオーディオに移行するか、タイプするもんに対してかっていう開かれた質問や。
俺の意味で、タイピングは非常に低帯域幅な方法や。君が非常に速いタイパーでも。そして俺が思うに、俺らはスマートグラス、オーディオ、イヤフォン、そして最終的には多分何らかの神経デバイスなど、他のデバイスを利用し始めなあかん。そこで俺らは今日の100倍くらいの入力と出力の帯域幅を増やすことができる。
俺が思うに、過小評価されてる芸術形式はインターフェースデザインや。せやけど俺が思うに、システムの知能の力を解き放つ正しいインターフェースがなければ、それを解き放つことはできへん。インターフェースは本当にその力を解き放つ方法や。その知能とどう相互作用するかの非常に興味深い問題や。
だから君が思うように、邪魔をしないっていうのは本当の芸術形式や。君が知ってる、俺が思うに、スティーブ・ジョブズが常に話してたようなことやろ？俺らが欲しいのは、シンプルさ、美しさ、エレガンスやろ？そして俺らはまだそこにいない。俺の意見では誰もまだそこにいない。そして俺が俺らに到達してほしいのはそこや。
また、それはある種、囲碁についても話すやろ？ゲームとして、最もエレガントで美しいゲーム。そんなに美しいインターフェースを作ることができるか？そして実際、俺が思うに、俺らはAI生成インターフェースの時代に入ろうとしてる。多分君にパーソナライズされたもので、君の美学、君の感覚、君の脳の働き方に合うようなもんや。
そしてAIが君がやってるタスクに応じて、それを生成するんや。そんな感じで、それが俺らが多分最終的に行き着く方向やと思う。
そうや。なぜなら、ある人はパワーユーザーで、全てのパラメータを画面に欲しがって、全て、全てベースのキーボードナビゲーションが欲しい。俺みたいに全てのショートカットが欲しいんや。
そして他の人はミニマリズムが好きで、その複雑さを全部隠してほしいんや。
その通りや。そうや。
君の中にスティーブ・ジョブズモードもあることが嬉しい。これは素晴らしい。アインシュタインモード、スティーブ・ジョブズモード。
よーし、俺に答えを騙し取らせようとする質問をしてみよう。Gemini 3はいつ出るんや？GTA 6の前か後か？世界は両方を待っとる。そして2.5から3.0に行くのに何が必要なんや？既に性能の飛躍である2.5のリリースがたくさんあったように見えるから。だから新しいバージョンに行くことは何を意味するんや？性能についてか？全く異なる体験の味についてか？
そうや、俺らの異なるバージョン番号での仕組みは、新しい種類のフルランをやるのに大体6ヶ月くらいかかるってことや。新しいバージョンの完全な製品化もな。その間に、たくさんの新しい興味深い研究の反復とアイデアが出てきて、君が想像できる過去6ヶ月分の興味深いアイデアをアーキテクチャフロントで全部集めるんや。
多分データフロントでもそうや。多くの異なる可能性があって、俺らはそれを全部集めて、次の反復に有用そうなものをテストして、それから全部バンドルして、新しい巨大なヒーロー訓練ランを始めるんや。
それから監視されて、事前訓練の終わりには、事後訓練がある。それをやる多くの異なる方法があって、それをパッチする異なる方法があるから、そこから多くの利得を得ることもできる実験段階全体がある。
それが君が通常ベースモデル、事前訓練されたモデルを参照してるバージョン番号を見るところや。そして2.5の中間バージョン、異なるサイズや異なる小さな追加は、しばしば同じ基本アーキテクチャからできる後でのパッチや事後訓練のアイデアや。
それからもちろん、その上に、俺らはまたproやflash、flashlightのような異なるサイズも持ってて、それらはしばしば大きいものから蒸留されるんや。flashモデルはproモデルからな。
そしてそれは、君が開発者として性能か速度かを優先したいかどうかで、俺らが異なる選択の範囲を持ってることを意味する。コストもな。そして俺らはこれをパレートフロンティアと考えるのが好きで、一方のy軸は性能で、x軸はコストや遅延と速度、基本的にはな。そして俺らは完全にフロンティアを定義するモデルを持ってる。
だから個人ユーザーや開発者として君が欲しいトレードオフが何であれ、俺らのモデルの一つがその制約を満たすものを見つけるべきや。
だからバージョン変更の背後には、大きなヒーロー運営がある。
そうや。そしてそれから製品化の正気やない複雑さがある。それから異なるサイズのパレートフロンティアに沿った蒸留がある。
そして君が取る各ステップで、クールな製品があるかもしれへんと気づく。サイドクエストがある。
その通りや。せやけど、あまりにも多くのサイドクエストを取りたくもない。そうしたら100万のバージョンの100万の製品になってしまう。非常に不明確やけど、それも超クールやから超興奮もするんや。
V3はより大きなものにどうフィットするかのようにな。
その通りや。その通りや。そして君は常に、製品表面からや、事後訓練からや、さらにそれより下流からでも、俺らがアップストリーム収束と呼ぶこのプロセスを常にやってて、次の実行のためのコアモデル訓練にアイデアをアップストリームするんや。
だからメインモデル、メインGeminiトラックはますます一般的になって、最終的に一度に一つのヒーロー実行でAGIになる。
そうや、その通りや。数回のヒーロー実行後。
これらの新しいバージョンや各バージョンをリリースする時、ベンチマークは時々あるようにモデルの性能を示すのに生産的か反生産的か？君はそれらが必要やって思うし、せやけど重要なのはそれらに過剰適合すべきやないってことやろ？だからそれらが最終目標であるべきやない。
だから有機的に主要な方法の一つになったLMSysか、以前はChatbot Arenaと呼ばれてたものがある。人々がこれらのシステム、少なくともチャットボットをテストするのを好む。
明らかに、数学やコーディング能力、一般的言語能力、科学能力などをテストする学術ベンチマークがたくさんある。そして俺らは気にかける俺ら自身の内部ベンチマークもある。
それは一種の多目的最適化問題やろ？君は一つのことだけが得意になりたくない。俺らは全般で良い一般的システムを構築しようとしてて、後悔しない改善をしようとしてる。コーディングを改善してるけど、他の分野での性能を下げないようなもんやな。
だからもっとコーディングデータを入れたり、ゲームデータを入れたりすることもできるけど、それが君の言語システムや翻訳システムや君が気にかけてる他のものを悪くするか？だから君は、この増加する大きな大きなベンチマークスイートを継続的に監視せなあかん。
また、これらのモデルを製品に入れる時、エンドユーザーからの直接使用と直接統計と信号も気にかける。コーダーでも、チャットインターフェースを使う平均的な人でも。
そうや。なぜなら最終的に有用性を測りたいけど、それを数字に変換するのは非常に難しいやろ？それは本当にバイブベースのベンチマークで、大量のユーザーにわたってで、それを知るのは難しい。
君が言った全てを考えると、多くのドメインで賢くて有用である必要があって、それは本当に恐ろしいことやと俺には思える。これまで解決できなかったプログラミング問題を突然解決してるから超興奮する。
せやけど今度は詩がクソになったとか、何か分からんけど、それはストレスフルで、バランスを取るのは非常に難しい。実際にはベンチマークを信頼することはできへんから、本当にエンドユーザーを信頼せなあかん。
そうや。そして、システムのペルソナ、システムの性格のような、より秘教的なものも作用する。それがどう、冗長か簡潔か、ユーモラスかどうか。そして異なる人が異なるものを好む。
だから、これらは全て、以前に本当に取り組まれたことがない製品空間の新しい問題の種類や。せやけど俺らは今、急速に取り組まなあかんやろう。これらは全て、心理学研究や人格研究の最先端部分みたいなもんや。
俺が博士課程でやってたような5因子人格、俺らは実際にアシスタントにどうあってほしいのか。そして異なる人が異なるものを好むやろうしな。だから、これらは全て製品空間の新しい問題で、以前に本当に取り組まれたことがないと思うけど、俺らは今急速に取り組まなあかん。
俺が思うに、それは超魅力的な空間や。そのもののキャラクターを開発することで、そうすることで俺ら自身に鏡を当てる。俺らが好む種類のものや。プロンプトエンジニアリングはそれらの要素の多くをコントロールすることを可能にするけど、製品はそれらの体験の異なる味、異なるキャラクターを相互作用するのをコントロールしやすくできるか？
そうや、その通りや。
競争の中での協力
Google DeepMindが勝つ確率は？
俺はそれを勝つようには見てない。俺が思うに、俺らが構築してるものがどんだけ重要で結果に関わるかを考えると、勝つっていうのは間違った見方や。面白いことに、それが俺のマインドセットの多くであっても、俺はゲームや競争のように見ようとしない。
俺の見方では、俺らのような最先端にいる全ての人は、この信じられへんな技術を安全に世界に管理する責任がある。信じられへんな良いことに使えるけど、リスクもある技術をな。人類の利益のために安全に管理することや。
それは俺がいつも夢見てきたことで、俺らがいつもやってきたことや。そして俺は、AGIに近づけば近づくほど、それが明らかになった時に、最終的に国際コミュニティがそれが必要やってことの周りに結集することを望んでる。
俺は君に同意する。それは美しく言われたと思う。君は何人かのラボのリーダーと話してて、良い関係にあるって言ったな。競争が激化するにつれて、そのような関係を維持するのはどんだけ難しい？
これまでのところ大丈夫やった。俺は協力的な人であることを誇りに思ってる。俺は協力的な人や。研究は協力的な努力や。科学は協力的な努力や。
もし君が信じられへんな、恐ろしい病気の信じられへんな治療法を治すなら、これは人類にとってネットな勝利や。エネルギーでも同じや。俺が助けたいAIで解決することに興味があることの全て。
だから俺は、その技術が世界に存在して、正しいことに使われることを望むだけで、その生産性の利益がみんなの利益のために共有されることを望んでる。
だから俺は、全ての主要なラボの人々と良い関係を維持しようとしてる。君が期待するように、彼らの多くは非常に興味深いキャラクターや。せやけど、そうや、俺は良い関係にある。少なくともほぼ全員とは良い関係だと思ってる。
そして俺が思うに、今よりもさらに深刻になった時、それは重要になるやろう。そのコミュニケーションチャンネルがあることと、特に安全性のようなもので、必要な場合には協力や共同作業を促進すること。
俺は、あまり高い賭けやないもので何らかの協力があることを望んでる。そうすることで友情と関係を維持するメカニズムとしての役割を果たす。
だから例えば、俺はもし君とイーロンが何らかの形でビデオゲームを作ることで協力したら、インターネットは愛するやろうと思う。そのような類いのことで、それが友好関係と良い関係を可能にし、その協力的な筋肉を構築する種類の。
そうや、それは素晴らしいやろう。そして俺らは過去にそれについて話したことがあって、俺らができるクールなことかもしれへん。そして俺は君に同意する。そのような協力的な側面に傾倒できるサイドプロジェクトの種類があるのは良いことで、それは双方にとってwin-winで、その協力的な筋肉を構築するんや。
俺は科学的努力を人類のためのそのような種類のサイドプロジェクトと見てるし、Google DeepMindが本当にそれを推し進めてるのを見る。他のラボももっと科学的なことをやって、それから協力するのを見たい。なぜなら、大きな科学的問題で協力するのは簡単に思えるから。
同意するし、他のラボの多くの人が科学について話してるのを見たいけど、俺が思うに、俺らは実際に科学に使ってそれをやってる唯一の人や。そしてそれが、AlphaFoldのようなプロジェクトが俺と俺らのミッションにとって非常に重要な理由や。AIが人類の利益のために明確に使える非常に具体的な方法を示すためや。
そして俺らはAlphaFoldから、薬物発見をするIsomorphicのような会社をスピンアウトした。それは本当にうまく行ってて、化学空間に入るためのAlphaFoldタイプのシステムを追加で構築して、薬物設計を加速するのを助けてる。
俺が思うに、俺らはその例を示す必要があって、社会はAIがもたらすことができるこれらの巨大な利益を理解する必要がある。
心の底から、君が厳密さ、楽しさ、謙虚さで科学的努力を前進させることを感謝してる。それでいてP=NPについて話してる。つまり、それは信じられへんことや。だから俺はそれが大好きや。
人材をめぐる戦い
才能をめぐる戦いがあったようや。その一部はミームで、俺は知らん。Metaが巨額の給与で人材を買い占めることと、この人材をめぐる戦いの激化について、君はどう思う？俺は多くの人がDeepMindを、君が概説した理由で、最先端の仕事をする本当に素晴らしい場所と見てると言うべきや。この活気ある科学文化があるからな。
そうや、もちろん、今Metaが取ってる戦略がある。俺が思うに、少なくとも俺の視点からは、AGIのミッションと、それができる良いことと悪いことの両方の本当の結果を理解してる本当の信者の人々、そしてそれが伴う責任を理解してる人々は、俺のような人々が研究の最前線にいることを望んでると思う。だから彼らがその技術が進む方向に影響を与えることができて、その技術を安全に世界に管理するのを助けることができるように。
そして今Metaは最前線にいないかもしれへん。多分彼らは戻ることを管理するかもしれへんし、彼らの視点からは彼らがやってることは多分合理的や。彼らは後れてるから、何かをする必要があるから。
せやけど俺が思うに、お金だけよりも重要なことがある。もちろん、人々を市場レートで、これらのことが全て上がり続けるレートで支払わなあかんし、それは続く。
プロとして、私は長い間この分野にいるけど、より多くの人々が、企業のリーダーが俺が30年以上知ってきたことに気づいてるからやと思う。AGIは多分これまでに発明される最も重要な技術や。だからある意味で、それをやることは合理的や。
せやけど俺はまた、もっと大きな問題があると思う。この間俺らがAIの人々について話してたように、非常によく支払われてる。2010年に俺らが始めた時のことを覚えてる。2年間自分に給料を払わなかったんや。お金が足りなかった。お金を調達できなかった。
そして今日、刃インターンが俺らが最初のシードラウンド全体として調達した金額を支払われてる。だからかなり面白い。そして俺が俺自身の金を払ってでもインターンシップをするために働かなあかんかった日々を覚えてる。今は全部逆になってるけど、それが新しい世界で、それがそのあり方や。
せやけど俺が思うに、俺らがポストAGIについて議論してきたように、エネルギーシステムが解決されたりしたら、お金でさえ何を意味するんや？だから俺が思うに、給与やそのようなもんについて今日話すのは、こんなに巨大な結果と、多分数年先の巨大で魅力的な科学的問題に直面した時、少し脇の問題や。
実用的な実際的な意味で、もし俺らがプログラマーを見るなら、プログラマーは現在AIシステムがプログラミングで信じられへんほどうまくやってて、ますますそうなってるように見えるから。
だから生計を立てるためにプログラムする多くの人々、プログラミングが好きな人々は、仕事を失うことを心配してる。どんだけ心配すべきやと思う？そして新しい現実に適応して、プログラミング世界で人間として生き残って繁栄することを確実にする正しい方法は何や？
俺の意味で、プログラミングが興味深いことで、俺らが何年も前に思ってたのと逆直観的に、より難しいスキルと考えるもんの一部が、様々な理由でより簡単なものになったように見えることや。せやけどコーディングと数学は、たくさんの合成データを作って、そのデータが正しいかどうかを検証できるからや。だからその性質のために、訓練する合成データを作るのが簡単や。
それはまた、俺らが全員興味を持ってる分野でもある。なぜなら俺ら自身プログラマーで、もっと速くもっと生産的になるのを助けるからや。
だから俺が思うに、次の時代、次の5-10年で、これらの技術を受け入れて、それらとほぼ一体になる人々は、クリエイティブ産業でも技術産業でも、超人的に生産的になると思う。
だから優秀なプログラマーはもっと良くなるけど、今日の彼らの10倍にもなるやろう。なぜなら彼らのスキルを使ってツールを最大限に活用し、最大限に悪用することができるから。だから俺が思うに、それが次のドメインで俺らが見ることや。
だからそれはかなりの変化を引き起こすやろう？だから多くの人がそれから利益を得るから。だから俺が思うに、その一例は、コーディングが簡単になれば、多くのクリエイティブな人々がより多くのことをすることができるようになるけど、俺が思うに、トッププログラマーはまだ、アーキテクチャが何であるべきか、問題が何であるべきか、これらのコーディングアシスタントを有用な方法で導く方法を指定する点で、巨大な利点を持つやろう。
そして彼らが生産するコードが良いかどうかをチェックすることもな。だから俺が思うに、予見可能な次の数年間、そこにはたくさんの余地がある。
そこにはいくつかの興味深いことがある。一つは、これらのツールをますます良く使うことに一貫して良くなる大きな命令があるってことや。だから彼らは改善するモデルの波に乗ってる。
対抗するのではなく。せやけど悲しいことに、それが地球上の生命の性質や。ある種のプログラミングには大きな価値があって、他の種類には少ない価値があるかもしれへん。
例えば、フロントエンドウェブデザインのようなもんは、君が言及したように、AIシステムによる生成により適してるかもしれへんし、多分例えばゲームエンジン設計やそのようなもん、バックエンドデザインや高性能状況でシステムを導く設計決定、高性能プログラミングタイプの設計決定は極めて価値があるかもしれへん。
せやけど、人間が最も必要とされる場所をシフトさせるやろうし、人々が適応するのは怖いことや。
俺が思うに、それは正しい。混乱と変化がたくさんある時はいつでも、俺らは人類史でこれを何度も経験してきた。インターネット、モバイルもそうやったけど、その前には明らかに産業革命もあった。
今回は、おそらく産業革命の10倍の影響を与える何かを見ることになると思うけど、10倍速くもなるやろう。100年の代わりに10年や。
だからそれは、社会が対処するのをより困難にするやろう。10倍の影響とスピードの組み合わせみたいなもんや。だからそれが、俺が思うに、より困難にするものや。
そして俺が思うに、今まさにそれについて考える必要があって、世界のトップエコノミストや哲学者に、社会がこれによってどう影響を受けるか、何をすべきかについて考え始めることを勧める。
増加した生産性の多くが配布されるユニバーサルベーシック提供のようなものも含めて、多分サービスやその他の形で、もしそれより多くが欲しいなら、まだ行って信じられへんほど稀なスキルを得て、自分を独特にすることもできる。
せやけど基本的な提供があって、政府を技術として考えるなら、経済学だけやなく政治学でも興味深い問題がある。急速に変化する時代に対応するシステムを設計して、異なるグループが感じる異なる痛みを表現できるようにするにはどうするか？
そして分裂につながらない方法でその痛みに対処してリソースを再配分するにはどうするか？なぜなら政治家はしばしば分裂を煽って、それを使って選出されるのが本当に得意で、他者を定義して、それは悪いと言うことに基づいてやから。
俺が思うに、それはしばしば世界の繁栄を助けるために急速に変化する技術を活用することに対して生産的やない。
だから俺らは、その移行を助けるために、新しいガバナンス構造、機関も必要やと思う。だから俺が思うに、政治哲学と政治科学がそれの鍵になるやろう。
せやけど俺が思うに、第一は、より多くのリソースの豊かさを作ることや。それが第一のことや。生産性を上げて、より多くのリソースを得て、多分最終的にゼロサム状況から抜け出すことや。
それから第二の問題は、それらのリソースをどう使って配布するかやけど、最初にその豊かさを持たずにはそれをできへん。
君は俺に「The Maniac」っていう本について言及した。ベンジャミン・ラバチュットの本で、俺についてのバイオがある。奇妙や。どんだけフィクションでどんだけ現実かは不明や。せやけど俺が思うに、中心人物はジョン・フォン・ノイマンやと言うやろう。
狂気と天才の恐ろしくて美しい検討で、発見の諸刃の剣とでも言うようなもんや。知らん人のために、ジョン・フォン・ノイマンは伝説的な頭脳の一種や。量子力学に貢献した。マンハッタン計画にいた。現代コンピュータとAIの父や先駆者と広く考えられてる。だから多くの人が言うように、史上最も賢い人間の一人や。それは魅力的や。
そして魅力的なのは、核科学と物理学がアトミックボムになるのを見た人としてもやってことや。だからアイデアが世界に巨大な影響を与えるものになるのを見なあかんかった。彼はコンピューティングについても同じことを予見した。
それが本の美しくて恐ろしい側面でもある。そして、少なくともアルファゼロアルファ碁の大きな瞬間で、ジョン・フォン・ノイマンの考えが現実に持ち込まれたっていう飛躍を取る。
だから俺が思うに、もし君が今ジョン・フォン・ノイマンと付き合えたら、何が起こってることについて彼は何を言うと思う？
それは素晴らしい経験やろうな。彼は素晴らしい頭脳で、俺も彼がプリンストンの高等研究所で過ごした時間を愛してる。考えるための非常に特別な場所や。
そして彼がどんだけポリマスだったかは驚くべきことや。現代コンピュータが全て基づいてるフォン・ノイマンアーキテクチャも含めて、彼が発明を助けたもののスプレッドや。
そして彼は素晴らしい先見性を持ってた。俺が思うに、彼は今日俺らがいる場所を愛したやろうし、彼は、ゲームもやったから、アルファ碁を本当に楽しんだと思う。彼もゲーム理論をやった。
俺が思うに、彼は学習マシン、プログラムされるのではなく成長するシステムと呼んだもんの多くを予見した。俺は彼が俺が思うに1950年代に既に予見してたことの結実に、それほど驚かなかったかもしれへんと思う。
彼がどんなアドバイスをするか興味深いやろうな。マンハッタン計画で原子爆弾の建設を見なあかんかった。多分話されへん興味深いことがあるやろう。多分官僚的側面、多分政治家の影響、多分いわゆる敵と電話で話すことが足りなかったのかもしれへん。その時代から実際に失われてるかもしれへん深い知恵があるかもしれへん。
そうや、そうやと思う。そうやと思う。俺もその時代のたくさんの本を読んだ。その時代の年代記を。何人か優秀な人が関わってた。俺は君に同意する。俺が思うに、多分もっと対話と理解が必要や。俺は、俺らがその時代から学べることを望んでる。
俺が思うに、ここでの違いは、AIは明らかにマルチユース技術やってことや。俺らは全ての病気を解決したり、エネルギーや希少性を助けたり、これらの信じられへんなことをやろうとしてる。
これが俺らの全ての人、俺自身が30年以上前にこの旅を始めた理由や。せやけどもちろんリスクもあって、多分フォン・ノイマンの推測では、彼は両方を予見したんやと思う。そして俺が思うに、彼は彼の妻に言ったと思うけど、これは、コンピュータは世界でもっと影響力があるやろうって。
俺らが議論したように、俺が思うに、それは正しい。俺が思うに、少なくとも産業革命の10倍になるやろう。だから俺が思うに、彼は正しかった。だから俺が思うに、彼は俺らが今いる場所に魅力を感じたやろうと想像する。
そして俺が思うに、本からの収穫の一つは、多分君が俺を正せるけど、本で言われてるように、狂気の夢の理由は、俺らがこれらの超強力な技術を構築する時に人類を導くのに十分やないってことや。
何か他のものがある。宗教的構成要素もある。神でも、宗教でも、それが与えるものでも、それが俺らを引っ張る人間の精神の何かで、生の冷たい理性が俺らに与えへんもんや。そして俺はそれに同意する。
俺が思うに、俺らはそれに、君が呼びたいもん、精神的次元や人文主義的次元でアプローチする必要がある。宗教に関係する必要はない。せやけど魂のアイデア、俺らを人間にするもの、多分意識について最終的に理解した時にこの火花。
俺が思うに、それが努力の中心になければならん。そして技術は、俺がいつも技術を見てきた方法やけど、イネイブラーやろ？俺らが繁栄して、世界についてもっと理解することを可能にするツールや。
そして俺はフェインマンについてのこれで、彼はいつも科学と芸術が仲間やって話してた。両方の側面から理解できる、花の美しさ、どんだけ美しいか、そしてなぜ花の色がそのように進化したかも理解できる。それはただ花をもっと美しくするだけや、花の本質的な美しさを。
そして俺はいつもそのように見てきた。多分ルネサンス時代のダ・ヴィンチのような偉大な発見者たちは、科学と芸術の間に違いを見なかったと思う。多分宗教もな。それらは全て、人間であることの一部やって、俺らの周りの世界にインスパイアされることの一部やった。
それが俺が取ろうとしてきた哲学で、俺のお気に入りの哲学者の一人はスピノザで、俺が思うに、彼はそれを全部非常によく組み合わせたと思う。宇宙を理解して、宇宙の中での俺らの場所を理解しようとするアイデア、それが彼の宗教を理解する方法やった。俺が思うに、それはかなり美しい。
そして俺にとって、これらのことは全部関連してる。技術と人間であることの意味。そして俺が思うに、俺らが技術と研究に没頭してる時に、それを忘れへんのは非常に重要や。
俺がフィールドで見る多くの研究者は少し狭すぎて、技術だけを理解してる。そして俺が思うに、これは社会全体で議論されることが重要な理由でもあるし、俺は起こるAIサミットのようなもんや、政府がそれを理解することを非常に支持してる。
そして俺が思うに、チャットボット時代とAIの製品時代の良いことの一つは、普通の人が実際に最先端のAIを感じて相互作用できることで、自分自身でそれを感じることができることや。
そうや。なぜなら彼らは技術者に人間の会話をさせるからや。
そうや、確実に。それが希望に満ちた側面や。君が言ったように、俺らが話してるような技術を人類全体を会話に統合することで、二重使用技術やから、最終的にAI AGIは国家が技術を使うもの、対立なんかに使うもんに使われるやろう。
そして俺らがチャットすることで人間をこの絵により多く統合すればするほど、それはより多く、それは社会が過去にいつもやってきたように、俺らが発明してきた信じられへんな技術に適応できるようになるやろう。
AGIの実現に向けたリスクと協力
マンハッタン計画のようなものがあると思う？この技術の力がエスカレートして、国家が古い考え方で、兵器技術として使おうとして、そこにエスカレーションがあるやろうか？
俺は望まない。俺が思うに、それをやるのは非常に危険やろうし、俺が思うに、技術の正しい使い方でもない。
俺は、もし必要やったら、もっとCERNプロジェクトのような協力的なものになることを望んでる。研究に焦点を当てて、世界の最高の頭脳が一緒になって、最終的なステップを慎重に完了させて、世界に展開する前に責任を持って行うことを確実にするようなもんや。
俺らは見るやろう。現在の地政学的気候では、協力を見るのは難しいと思うけど、物事は変わることができるし、俺が思うに、少なくとも科学レベルでは、研究者が少なくともそのような種類の話題について、お互いに連絡を取り合って、近くにいることが重要や。
そうや。そして俺は教育の面でも、移民の面でも、両方向に、西洋から中国に、中国から戻ってくる人々が移民することが素晴らしいことやと思う。人々がただ混ざり合うっていう家族的な人間的側面がある。
そうや。それによって、それらの結びつきが強くなる。だからお互いに対して、この古い学校的な考え方で分裂することはできへん。
だから多文化的な多分野研究チームが科学的問題に取り組む。それが希望や。戦争指導者が戦争屋やから俺らを分裂させへんように。
俺が思うに、科学は最終的に本当に美しい結びつきや。そうや。そして科学は常に非常に協力的な努力やったと思うし、科学者は、それは集合的な努力でもあることを知ってるし、俺らは皆お互いから学ぶことができる。だから多分それは少しの協力を得るためのベクターになるかもしれへん。
現実の基本的性質への問い
馬鹿げた質問やけど、君のpドゥームは？人類文明が自分自身を破壊する確率。
そうやな、俺はpドゥーム番号を持ってない。俺がそれを持たへん理由は、それがそこにない精度のレベルを意味すると思うからや。
だから人々がどうやってpドゥーム番号を得てるのか分からん。俺が言うとすれば、それは確実に非ゼロで、多分無視できへんやろう。だから、それ自体がかなり厳粛なことで、俺の見方は、それはただ非常に不確実やってことや。
これらの技術が何をできるようになるか、どんだけ速く離陸するか、どんだけコントロール可能やろうか。いくつかのことは、うまくいけば俺らが思ってるよりもずっと簡単に判明するかもしれへん。せやけど俺らが今日推測してるより難しい本当に難しい問題があるかもしれへん。そして俺らはそれを確実に知らん。
だから、多くの不確実性やけど巨大な賭け金の条件の下で、両方の方法で、一方では俺らは全ての病気、エネルギー問題、希少性問題を解決できて、星への旅行と星への意識、最大の人間の繁栄。
一方では、この種のpドゥームシナリオがあるから、その周りの不確実性と重要性を考えると、俺にとって明らかな唯一の合理的で賢明なアプローチは、慎重な楽観主義で進むことや。
だから俺らは結果を望んでる。俺らはもちろんAIがもたらすことができる利益と、全ての素晴らしいことを望んでるし、実際に俺は、俺らが持つ他の挑戦、気候変動、老化、資源を考えると、AIのようなものが下流にやってくるのを知らなかったら、人類にとって本当に心配やろう。
俺らはそれらの他の問題を全てどうやって解決するんや？俺が思うに、それは難しいやろう。だから俺が思うに、それは良いことに驚くほど変革的になる可能性がある。
せやけど一方で、そこにあることを知ってるけど、正確に定量化できへんリスクがある。だから最良のことは、科学的方法を使ってより多くの研究をして、それらのリスクをより正確に定義しようとすることや。もちろんそれらに対処することも。
そして俺が思うに、それが俺らがやってることや。俺が思うに、俺らがAGIラインに近づけば近づくほど、今あるよりも10倍多くの努力がそれに必要やろう。
君にとってより心配の源泉は何やろう？人間によるもんか、AGI自体によるもんか？その技術を乱用する人間対、君が話した機構を通じて、欺瞞やこの種のもんを通じてどんどん良くなって、秘密にそれからという仕組みでAGI自体。
俺が思うに、それらは異なる時間スケールで動作してて、対処することが等しく重要や。
だから、新しい技術を、この場合汎用目的技術を悪意のある目的のために悪用して転用する悪い行為者の、ありふれた種類がある。それは巨大なリスクで、俺が思うに、多くの複雑さがある。
なぜなら一般的に俺はオープンサイエンスとオープンソースを大いに支持してるし、実際俺らは全ての科学プロジェクト、AlphaFoldやそれらの全てのもんで、科学コミュニティの利益のためにそれをやった。
せやけど、個人でも不正国家でも、悪い行為者のアクセスをこれらの強力なシステムにどう制限するか、同時に良い行為者のアクセスを最大限に有効にして、その上に構築できるようにするか。それはかなり厄介な問題で、俺は明確な解決策を聞いたことがない。
だから悪い行為者の使用ケース問題があって、それからシステムがよりエージェンティックになって、AGIに近づくにつれて、より自律的になるにつれて、どうやってガードレールを確実にして、俺らが望むことに固執して、俺らのコントロール下にいるようにするか。
俺は多分俺の頭が制限されてるかもしれへんけど、人間についてより心配する傾向がある。だから悪い行為者と、そこで破壊的技術を悪い行為者の手に渡さない方法やけど、別の部分で、地政学的技術の観点から、どうやって世界の悪い行為者の数を減らすかっていうのも興味深い人間の問題や。
そうや、難しい問題や。俺の意味で、見て、俺らは技術自体を使って、多分悪い行為者の使用ケースのいくつかを早期警告で助けることができる。バイオでも核でも、何でも。それを使ってるAIが、AIが信頼できる限り、助けることができるかもしれへん。
だからそれは一種の連動する問題で、それが何を非常に厄介にしてるかで、再び、少なくとも中国と米国の間で、何らかの基本的な標準の国際的に何らかの合意が必要かもしれへん。
物理学への深い関心と意識の謎
「The Maniac」の本について、手78のリサ・ドールの瞬間があって、多分人間が純粋な人間の天才の手をやって、AlphaGoを打ち負かしたり、その脳を壊したりした最後の時や。申し訳ない、擬人化して。せやけど興味深い瞬間やから、多くのドメインでそれが起こり続けると思う。
そうや、それは特別な瞬間やったし、リサ・ドールにとって素晴らしかったし、ある意味で彼らはお互いにインスパイアしてたと思う。俺らはチームとして、リサ・ドールの才能と高貴さにインスパイアされたし、多分彼もAlphaGoがやってることにインスパイアされて、この信じられへんインスピレーショナルな瞬間を conjure したんや。
それは全部、それについてのドキュメンタリーで非常によくキャプチャされてるし、俺が思うに、それは多くのドメインで続くやろう。少なくとも予見可能な将来について、人間が彼らの独創性を持ち込んで、正しい質問をしよう、そしてそれらのツールを活用して、問題を解決する方法で。
AIがどんどん賢くなるにつれて、俺らが自分自身に問うことができる興味深い質問の一つは、人間を特別にするものは何かってことや。俺らが人間として深く特別やと感じるのは、多分偏見やと思う。それが俺らの知能やないかもしれへん。狂気の夢の理由の外にあるその他のもんかもしれへん。
俺が思うに、それが俺が子供の時からこの旅を始めた時にいつも想像してたもんや。意識のようなものに魅力を感じて、脳がどう動くかを見るために神経科学の博士号をやった。特に俺が海馬に焦点を当てた想像と記憶をな。
そして俺が思うに、それはもちろん、思考実験をして、多分神経科学で実際の脳で実際の実験をすることについて哲学することもできるけど、最終的に俺がいつも想像してたのは、AI、ある種の知的な人工物を構築して、それを人間の心と比較して、違いが何かを見ることが、人間の心について特別なことがあるとしたら、それを明らかにする最良の方法やろうってことや。
そして俺は多分何かあると思うけど、それを定義するのは難しいやろうし、俺が思うに、俺らがいるこの旅は、その謎を明らかにして定義するのに役立つやろう。
カーボンベースの基盤である俺らとシリコンのものが情報を処理する時に違いがあるかもしれへん。俺が好きな意識の最も良い定義の一つは、俺らが処理する時に情報が感じるもんやってことや。
それは非常に役に立つ科学的説明やないと思う。俺が思うに、それはある種の興味深い直感的なものやけど、だから俺らがいるこの科学的旅は、俺が思うに、その謎を明らかにするのに役立つやろう。
「私が創造できないものは理解していない」
それは君が深く尊敬する誰か、リチャード・ファインマンや。君もウィグナーの数学の普遍性の夢に手を伸ばす。制約されたドメインで彼が見たものやけど、数学などでも広く一般的に。君が推し進めてる多くの側面で。
だからトラブルを起こすつもりはないけど、最後にロジャー・ペンローズ。そうや。
君は意識について話したけど、まず第一に、意識の困難な問題、情報がどう感じるかについて、意識は計算やと思う？もしそれが情報処理やったら、君が言ったように全てがそうやけど、それは古典コンピュータでモデル化できるもんなのか？それとも量子力学的な性質なのか？
そうやな、ペンローズは素晴らしい思想家で、現代の偉大な人の一人や。もちろん俺らはこれについてたくさん議論した。
もちろん、俺らは心から不一致やけど、それは俺らにとって、俺が思うに、彼は脳で量子力学的振る舞いのメカニズムを見つけるために多くの良い神経科学者と協力した。そして俺の知識では、彼らはまだ説得力のあるものを見つけてない。
だから俺の賭けは、脳で起こってることは主に古典計算やってことで、それは全ての現象が古典コンピュータでモデル化可能か模倣可能やってことを示唆してる。
せやけど俺らは見るやろう。意識の感情、クオリアのような、哲学者が議論するこの種のもんの最終的な神秘的なもんがあるかもしれへん。それは基盤に固有のもんかもしれへん。
俺らは、もし俺らがニューラルリンクのようなことをして、AIシステムへのニューラルインターフェースを持つなら、最終的にそれを理解することに向かうかもしれへん。俺が思うに、俺らは多分最終的にAIシステムに追いつくためにそうするやろう。
俺らは実際にシリコンで計算するのがどのような感じかを感じることができるかもしれへん。だから、そして多分それが俺らに教えてくれるやろう。
そこで基質との根本的共感を学ぶのは大きなテストや。
その通りや。俺らは以前にそれに立ち向かったことがない。
そうや、俺らは実際にそれについて植物や他の生命体と考えることができる。進化の木で十分遠くにある異なる似たような基質やけど、コンピュータとそれをやるのは。俺らは既にそれをやってる動物研究がある。
もちろん、キラークジラやイルカや犬や猿や象のような高等動物、それらは確実に意識のいくつかの側面を持ってる。IQの意味でそんなに賢くないかもしれへんけど。だから俺らは既にそれに共感できるし、多分俺らのシステムの一部でも。
俺らは、イルカやクジラの音で訓練されたGemmaのバージョンであるDolphin Gemmaっていうもんを作ったんや。多分俺らは、ある時点でインタープリターやトランスレーターを構築できるやろう。それはかなりクールやろう。
人類文明の未来について、君に希望を与えるものは何や？
俺に希望を与えるのは、まず第一に、俺らのほぼ無限の独創性やと思う。俺が思うに、俺らの最高の人と最高の人間の心は信じられへん。
そして俺は、スポーツでも科学でもアートでも、ゲームのトップで任意の人間に会って見ることを愛してる。彼らが彼らの要素でフローにいるのを見るほど素晴らしいもんはない。俺が思うに、それはほぼ無限や。俺らの脳は一般的システム、知的システムやからな。だから俺が思うに、俺らが潜在的にそれらでできることはほぼ無限やと思う。
そしてもう一つは、俺らの極端な適応性や。俺が思うに、たくさんの変化があることについて大丈夫やろう。
せやけど俺らが今いる場所を見て、効果的に俺らの狩猟採集民の脳でな。どうやって俺らは現代世界に対処できるんや？飛行機に乗る、ポッドキャストをやる、コンピュータゲームをプレイする、バーチャルシミュレーションを。
つまり、それが開発されたもの、バッファローを狩ることからすると、それは既に心を吹き飛ばすようなもんやった。社会は既にこの心を吹き飛ばすようなAI技術に今日既に適応してるんや。
「ああ、チャットボットと話すのは全く問題ない」みたいにな。そして俺らがここでやってるこの非常にポッドキャスト活動は、完全にAIに置き換えられる可能性が非常に高い。俺は非常に置き換え可能で、君のレベルでそれをできるようになるのを待ってる。
君のレベルではできへん、Lex。だからそう思わんといて。
それが俺ら人間がお互いにやることや。俺らは褒め合う。
よーし、これは大きな名誉やった、デミス。君は世界で本当に特別な人間の一人や。君がやってることと今日話してくれたことに感謝してる。
ありがとう、Lex。
コメント