Safe Superintelligence(SSI)の共同創設者であるイリヤ・サツケヴァーが、AI研究の新たな局面について語った対談である。彼は2020年から2025年を「スケーリングの時代」と位置づけ、現在は再び「研究の時代」に回帰していると主張する。事前学習のスケーリングが限界に近づく中、強化学習や価値関数の活用が重要になるが、現在のモデルは人間に比べて汎化性能が著しく劣ると指摘する。イリヤは、真の汎用人工知能は完成された知識体系ではなく、人間のように新しいスキルを継続的に学習できる能力を持つべきだと論じ、そのような超知能を5年から20年以内に実現可能と予測している。さらに、AI安全性の鍵は「感覚ある生命への配慮」を組み込むことにあり、複数の超知能システムが同時期に開発されることで権力の分散が期待できるとする。人間とAIの統合についても言及し、長期的な均衡を保つための選択肢としてNeuralink++のような技術の可能性を示唆している。
スケーリングの時代からの移行
これ、全部本当のことだって、おかしくないですか。何がですか。そう思いませんか。このAI関連のすべて、そしてこのベイエリアのすべてが、実際に起こっているということが。まるでSFから飛び出してきたみたいじゃないですか。
もう一つおかしいのは、このゆっくりとしたテイクオフがどれほど普通に感じられるかということです。AIにGDPの1%を投資することになるなんて、もっと大きな出来事のように感じられたはずなのに、今はただ普通に感じられます。
私たちは物事にかなり早く慣れてしまうんですね。でも、それはある意味抽象的でもあります。それは何を意味するのか。ニュースで、どこそこの会社がこれこれの金額を発表したというのを見る、ということです。それだけです。今のところ、他の方法では実際には感じられていません。
ここから始めるべきでしょうか。これは興味深い議論だと思います。もちろん。
私が言いたいのは、平均的な人の視点からすれば何も変わっていないという点が、シンギュラリティになっても続くだろうということです。
いや、そうは思いません。なるほど、興味深いですね。
私が指摘していた、何も変わっていないように感じられることというのは、どこかの会社が理解しがたい巨額の投資を発表したということです。誰もそれをどう受け止めればいいか分からないと思います。でも、AIの影響は感じられるようになると思います。AIは経済全体に拡散していくでしょう。そこには非常に強い経済的な力が働くはずで、その影響は非常に強く感じられるようになると思います。
その影響はいつ頃現れると予想していますか。
モデルの性能は、その経済的影響が示唆するよりも優れているように見えます。そうですね。これが今のモデルについて非常に混乱させられることの一つです。評価指標での好成績と経済的影響の乏しさをどう調和させるか。評価指標を見ると、かなり難しい評価です。モデルはそこでとても良い成績を収めています。でも経済的影響は大きく遅れているように見えます。
これを理解するのは非常に難しいです。一方ではこれらの驚くべきことをするモデルが、他方では何らかの状況で同じことを二回繰り返してしまうというのはどういうことなのか。
例えば、バイブコーディングを使って何かをするとします。どこかに行ってバグが発生します。そこでモデルに「バグを直してくれますか」と尋ねると、モデルは「ああ、本当ですね。バグがあります。直しましょう」と言います。そして第二のバグを導入してしまいます。
そこで「この新しい第二のバグがあります」と伝えると、「ああ、どうしてこんなことをしてしまったんでしょう。またおっしゃる通りです」と言って、最初のバグを復活させてしまいます。そしてそれらを交互に繰り返すことができます。
どうしてそんなことが可能なのでしょうか。よく分かりませんが、これは何か奇妙なことが起こっていることを示唆しています。私には二つの説明があります。
より風変わりな説明は、もしかしたらRL訓練がモデルを少し視野が狭く、一点集中的にしすぎているのかもしれません。他の面では認識力を高めてもいるのですが、少し認識不足になっているのかもしれません。このため、基本的なことができないのです。
でももう一つの説明があります。人々が事前学習をしていた頃、どのデータで訓練するかという質問への答えは決まっていました。その答えはすべてでした。事前学習をするときは、すべてのデータが必要です。だから、このデータかあのデータかを考える必要はありませんでした。
でも、人々がRL訓練を行うときは、考える必要があります。「このことにはこの種のRL訓練が欲しい、あのことにはあの種のRL訓練が欲しい」と言います。私が聞いたところでは、すべての会社に、新しいRL環境を作って訓練ミックスに追加するチームがあるそうです。
問題は、それらは何かということです。自由度が非常に多いのです。作成できるRL環境の種類は膨大にあります。一つできることがあって、これは意図せずに行われていることだと思いますが、人々は評価指標からインスピレーションを得ます。
「リリース時にモデルに本当に良い成績を出してほしい。評価指標を素晴らしく見せたい。このタスクに役立つRL訓練は何だろう」と言うわけです。これは実際に起こっていることだと思いますし、今起こっていることの多くを説明できる可能性があります。
これをモデルの汎化能力が実際には不十分であるという事実と組み合わせると、私たちが目にしているもの、つまり評価指標のパフォーマンスと実際の実世界でのパフォーマンスとの乖離を説明できる可能性があります。そして、私たちは今日、それが何を意味するのかさえ理解していません。
本当の報酬ハッキングは、評価指標に集中しすぎている人間の研究者だという考えが気に入りました。
あなたが今指摘したことについて理解する、あるいは考える方法には二つあると思います。一つは、もしコーディングコンペティションで超人的になるだけでは、モデルが自動的にコードベースの改善方法についてより洗練された判断力を発揮するようにならないのであれば、コーディングコンペティションで最高のパフォーマンスを発揮するだけでなく、環境のスイートを拡大すべきだということです。
Xのこと、Yのこと、Zのことのために最高のアプリケーションを作れるようにもなるべきです。もう一つ、これはあなたが示唆していることかもしれませんが、そもそもなぜコーディングコンペティションで超人的になることが、より一般的にはより洗練されたプログラマーにならないのかということです。
環境の量と多様性を積み重ね続けるのではなく、一つの環境から学習して、他の何かでパフォーマンスを向上させるアプローチを見つけるべきかもしれません。
役立つかもしれない人間の類推があります。あなたが言及した競技プログラミングの場合を考えてみましょう。二人の学生がいるとします。一人は最高の競技プログラマーになりたいと決めたので、その領域のために1万時間練習します。すべての問題を解き、すべての証明技法を暗記し、すべてのアルゴリズムを素早く正確に実装することに非常に熟練します。
そうすることで、最高の一人になりました。二人目の学生は「ああ、競技プログラミングは面白そうだ」と思いました。おそらく100時間練習しただけで、はるかに少ないですが、それでも本当に良い成績を収めました。
後でキャリアでより良い成績を収めるのはどちらだと思いますか。二人目です。その通りです。基本的に、それが起こっていることだと思います。
モデルは最初の学生にはるかに似ていますが、さらにその度合いが強いのです。なぜなら、私たちはモデルが競技プログラミングが得意であるべきだと言って、これまでのすべての競技プログラミング問題を取得するからです。そして、さらに多くの競技プログラミング問題を得るためにデータ拡張を行います。そしてそれで訓練します。
これで素晴らしい競技プログラマーが手に入りました。この類推では、より直感的です。もしそれがそれほどよく訓練されているなら、すべての異なるアルゴリズムとすべての異なる証明技法が手元にあります。そして、この準備レベルでは、他のことに必ずしも汎化しないだろうということがより直感的です。
でも、二人目の学生がファインチューニングの100時間を行う前に何をしているのかの類推は何ですか。
彼らには「それ」があると思います。「それ」の要素が。私が学部生だったとき、私と一緒に勉強していたこういう学生がいたことを覚えています。だから、それが存在することは分かっています。
事前学習が行うことから「それ」を区別することは興味深いと思います。あなたが事前学習でデータを選ぶ必要がないと言ったことを理解する一つの方法は、実際には1万時間の練習と大して変わらないということです。ただ、その1万時間の練習は、事前学習の分布の中にすでにどこかにあるので、無料で得られるということです。
でも、もしかしたら、事前学習からの汎化はそれほど多くないことを示唆しているのかもしれません。事前学習にはデータが非常に多くありますが、RLよりも必ずしも汎化が良いわけではありません。
事前学習の主な強みは、Aそれが非常に多いこと、そしてB事前学習にどのデータを入れるかを深く考える必要がないことです。それは非常に自然なデータであり、人々が行うことの多くを含んでいます。人々の思考や多くの特徴が含まれています。
それは人々によってテキストに投影された全世界のようなもので、事前学習は膨大な量のデータを使ってそれを捉えようとします。事前学習について推論するのは非常に難しいです。なぜなら、モデルが事前学習データにどのように依存しているかを理解するのが非常に難しいからです。
モデルが間違いを犯すたびに、それは偶然に事前学習データによってあまりサポートされていないことが原因である可能性がありますか。「事前学習によるサポート」はおそらく曖昧な用語です。これについてこれ以上有用なことを付け加えられるかどうか分かりません。
事前学習に人間の類推があるとは思いません。人々が事前学習の人間的類推として提案したものがあります。それらがなぜ潜在的に間違っているのか、あなたの考えを聞きたいです。
一つは、人の人生の最初の18年、15年、13年について考えることです。その時期には必ずしも経済的に生産的ではありませんが、世界をよりよく理解することをしています。
もう一つは、進化が30億年間何らかの探索を行い、それが人間の生涯のインスタンスをもたらすと考えることです。これらのどちらかが事前学習に類似していると思いますか。
事前学習でないとしたら、人間の生涯学習をどのように考えますか。これらの両方と事前学習の間にはいくつかの類似点があると思いますし、事前学習はこれらの両方の役割を果たそうとしています。でも大きな違いもあると思います。
事前学習データの量は非常に、非常に驚異的です。そうですね。どういうわけか人間は、たとえ15年後でも、事前学習データのほんの一部で、知っていることははるかに少ないです。でも、知っていることは何であれ、どういうわけかはるかに深く知っています。
その年齢ですでに、私たちのAIが犯すような間違いはしないでしょう。もう一つあります。進化のようなものかもしれないと言うかもしれません。答えはおそらくそうです。でもこの場合、進化の方が実際に優位に立っているかもしれません。
これについて読んだことを覚えています。神経科学者が脳について学ぶことができる一つの方法は、脳のさまざまな部分に脳損傷を持つ人々を研究することです。最も奇妙な症状を想像できるような人々がいます。実際、本当に興味深いです。関連する思い浮かぶケースが一つあります。
何らかの脳損傷、脳卒中か事故で感情処理を失った人について読みました。だから彼は感情を感じなくなりました。それでも彼は非常に明瞭なままで、小さなパズルを解くことができ、テストでは問題ないように見えました。でも感情は感じませんでした。
彼は悲しみを感じず、怒りを感じず、生き生きとした感じもしませんでした。彼はどういうわけか決断を下すことが極端に苦手になりました。どの靴下を履くか決めるのに何時間もかかるでしょう。非常に悪い金融的決断をするでしょう。
これは、私たちを実行可能なエージェントにする上で、組み込まれた感情の役割について何を物語っているでしょうか。事前学習についてのあなたの質問につなげると、事前学習からすべてを引き出すのに十分に優れていれば、それも得られるかもしれません。でもそれは…
まあ、事前学習からそれを得ることができるかどうかはわかりません。「それ」とは何ですか。明らかに直接的な感情ではありません。あらゆる決定の最終的な報酬が何であるべきかを教えてくれる、ほとんど価値関数のようなものに見えます。
それが事前学習から暗黙的に来ないと思いますか。来る可能性はあると思います。ただ、100%明白ではないと言っているだけです。
でもそれは何ですか。感情をどう考えますか。感情のML的類推は何ですか。
何らかの価値関数的なものであるべきです。でも、素晴らしいML的類推があるとは思いません。なぜなら、今のところ、価値関数は人々が行っていることにおいて非常に目立った役割を果たしていないからです。
価値関数とは何かを聴衆のために定義する価値があるかもしれませんが、それをしたいですか。もちろん、喜んでそうします。
人々が強化学習を行うとき、今行われている強化学習の方法は、どのようにこれらのエージェントを訓練するのでしょうか。ニューラルネットがあって、問題を与えます。そして、モデルに「さあ、これを解いてください」と言います。モデルはおそらく数千、数十万の行動や思考か何かを取り、そして解決策を生み出します。
解決策は採点されます。そして、そのスコアは、軌道内のすべての行動に対する訓練信号を提供するために使用されます。つまり、長時間続くことを行っている場合、長時間かけて解くタスクを訓練している場合、提案された解決策を思いつくまで、まったく学習は行われません。
これが強化学習が素朴に行われる方法です。これがo1やR1が表向き行われている方法です。価値関数は「あなたが上手くいっているか下手にやっているか、時々、常にではなく、教えてくれるかもしれない」というようなことを言います。
価値関数の概念は、他の領域よりもいくつかの領域でより有用です。例えば、チェスをプレイしていて駒を失ったとき、私は失敗しました。ゲーム全体をプレイして、自分がしたことが悪かったと知るためにゲームをプレイする必要はありません。だから、その前にあったことも悪かったのです。
価値関数は、最後まで待つのをショートカットさせてくれます。何らかの数学的なことやプログラミング的なことをしていて、特定の解決策や方向性を探求しようとしているとしましょう。例えば、1000ステップの思考の後、この方向性は有望ではないと結論づけたとします。
この結論に達したらすぐに、この道を追求することを決めたときの1000タイムステップ前に、すでに報酬信号を得ることができます。「次回は似たような状況でこの道を追求すべきではない」と言えるのです。実際に提案された解決策を思いつくよりもずっと前にです。
これはDeepSeek R1の論文にありました。軌道の空間が非常に広いので、中間的な軌道と価値のマッピングを学習するのは難しいかもしれません。また、コーディングでは、間違ったアイデアを持って、それから戻って、何かを変更します。
これは深層学習に対する信頼の欠如のように聞こえます。確かに難しいかもしれませんが、深層学習にできないことはありません。価値関数は有用であるべきだという私の期待であり、すでに使われていないとしても、将来使われることを完全に期待しています。
感情の中枢が損傷を受けた人について私が言及していたことは、それが示唆しているのは、人間の価値関数は進化によってハードコードされた何らかの重要な方法で感情によって調整されているのかもしれないということです。そしてそれは、人々が世界で効果的であるために重要なのかもしれません。
それがまさに私があなたに尋ねようとしていたことです。価値関数の感情について本当に興味深いことがあります。それは、かなりシンプルに理解できるものでありながら、これほど多くの有用性を持っているというのが印象的です。
私には二つの反応があります。私たちが学ぶことや話していることの種類、話しているAIの種類と比較して、感情は比較的シンプルであることには同意します。それらは人間が理解できる方法でマッピングできるほどシンプルかもしれません。それができたら素晴らしいと思います。
有用性に関しては、複雑さと堅牢性のトレードオフのようなものがあると思います。複雑なものは非常に有用ですが、シンプルなものは非常に広範な状況で非常に有用です。私たちが見ているものを解釈する一つの方法は、主に哺乳類の祖先から進化したこれらの感情があり、それから私たちが類人猿だった間に少し微調整されたということです。
私たちには哺乳類にはないかもしれない社会的感情がかなりありますが、それほど洗練されてはいません。そして洗練されていないから、私たちが住んでいたのとは非常に異なるこの世界で、私たちにとても良く役立つのです。
実際、それらは間違いも犯します。例えば、私たちの感情は…まあ実際、分かりませんが。空腹は感情として数えられますか。議論の余地があります。でも、例えば、私たちの直感的な空腹感は、この食べ物が豊富にある世界で私たちを正しく導くことに成功していません。
スケーリングと研究の新しい時代
人々はデータのスケーリング、パラメータのスケーリング、コンピュートのスケーリングについて話してきました。スケーリングについて考えるより一般的な方法はありますか。他のスケーリング軸は何ですか。
真実かもしれないと私が思う視点があります。MLがかつて機能していた方法は、人々がただものをいじって面白い結果を得ようとすることでした。それが過去に起こっていたことです。そして、スケーリングの洞察が到来しました。スケーリング則、GPT-3、そして突然誰もがスケーリングすべきだと気づきました。
これは言語が思考に影響を与える例です。「スケーリング」はただ一つの言葉ですが、人々に何をすべきかを教えるという点で非常に強力な言葉です。彼らは「物事をスケールさせよう」と言います。では、何をスケールさせているのか。
事前学習がスケールさせるべきものでした。それは特定のスケーリングレシピでした。事前学習の大きなブレークスルーは、このレシピが良いという認識です。「ちょっと、いくつかのコンピュートと一定サイズのニューラルネットにいくつかのデータを混ぜれば、結果が得られる。レシピをスケールアップするだけでより良くなることが分かる」と言うわけです。これも素晴らしいです。
企業はこれが大好きです。なぜなら、リソースを投資する非常に低リスクな方法を提供してくれるからです。研究にリソースを投資するのははるかに難しいです。それと比較してください。研究をする場合、「研究者よ、進んで研究し、何かを考え出してください」のようにする必要があります。一方、より多くのデータを取得し、より多くのコンピュートを取得する、と。
事前学習から何かが得られることは分かっています。実際、Twitterで一部の人々が言っていることに基づくと、Geminiが事前学習からより多くを引き出す方法を見つけたように見えます。しかしある時点で、事前学習はデータを使い果たすでしょう。データは非常に明確に有限です。
次に何をするのか。何らかの強化された事前学習、これまでとは異なるレシピを行うか、RLを行うか、あるいは他の何かをするかです。でも今、コンピュートは大きいです。コンピュートは今、非常に大きいので、ある意味で私たちは研究の時代に戻ってきています。
おそらくこれを言い換えることができます。2020年まで、2012年から2020年まで、それは研究の時代でした。今、2020年から2025年まで、それはスケーリングの時代でした。おそらくプラスマイナス、これらの年に誤差範囲を追加しましょう。なぜなら、人々は「これは驚異的だ。もっとスケールしなければ。スケールし続けなければ」と言うからです。その一つの言葉、スケーリング。
でも今、スケールは非常に大きいです。本当に「ああ、とても大きいけれど、100倍あればすべてが大きく違っていたはずだ」という信念ですか。確かに違うでしょう。でも、スケールを100倍にするだけですべてが変革されるという信念は本当にありますか。それが真実だとは思いません。
だから、ただ大きなコンピュータと一緒に、また研究の時代に戻ってきたのです。それは非常に興味深い言い方ですね。
でも、それなら、あなたが今提起した質問をあなたに尋ねさせてください。私たちは何をスケールさせているのか、そしてレシピを持つことは何を意味するのか。
事前学習に存在したような、ほとんど物理法則のように見える非常にクリーンな関係については私は知りません。データやコンピュートやパラメータとロスの間にべき乗則がありました。私たちが求めるべき関係の種類は何で、この新しいレシピがどのようなものであるべきかをどう考えるべきでしょうか。
私たちはすでに一種のスケーリングから別の種類のスケーリングへの移行を目撃しています。事前学習からRLへ。今、人々はRLをスケールさせています。Twitterで人々が言っていることに基づくと、今この時点では、事前訓練よりもRLにより多くのコンピュートを費やしています。なぜなら、RLは実際にかなりのコンピュートを消費できるからです。
非常に長いロールアウトを行うので、これらのロールアウトを生成するのに多くのコンピュートがかかります。そして、ロールアウトごとに比較的少量の学習しか得られないので、本当に多くのコンピュートを費やすことができます。
私はそれをスケーリングとさえ呼ばないでしょう。「ちょっと、あなたは何をしているのか。あなたがしていることは、あなたができる最も生産的なことか。あなたのコンピュートをより生産的に使う方法を見つけられるか」と言います。
私たちは以前、価値関数のビジネスについて議論しました。おそらく人々が価値関数が得意になったら、彼らはリソースをより生産的に使うようになるでしょう。モデルを訓練する全く別の方法を見つけたら、「これはスケーリングか、それともただリソースを使っているだけか」と言えるかもしれません。
少し曖昧になってくると思います。人々が当時研究の時代にいたとき、それは「これを試してみよう、これを試してみよう。あれを試してみよう、あれを試してみよう。ああ、何か面白いことが起こっている」というものでした。それへの回帰があると思います。
もし私たちが研究の時代に戻っているなら、一歩引いて、最も考える必要があるレシピの部分は何でしょうか。価値関数と言うとき、人々はすでに現在のレシピを試していますが、LLM-as-a-Judgeなどを持っています。
それは価値関数だと言えますが、あなたはもっと根本的なものを念頭に置いているようです。事前学習自体を再考すべきでしょうか。そのプロセスの最後にステップを追加するだけではなく。
価値関数についての議論は、興味深いと思いました。価値関数はRLをより効率的にするものだと思いますし、それは違いを生むと思います。しかし、価値関数でできることは、価値関数なしでもできますが、ただもっとゆっくりです。
最も根本的だと思うことは、これらのモデルが人々よりも劇的に汎化が悪いということです。それは非常に明白です。それは非常に根本的なことのように思えます。だから、これが核心です。汎化。
二つのサブ質問があります。一つはサンプル効率についてです。なぜこれらのモデルが人間よりも学習するのにこれほど多くのデータが必要なのか。二つ目の質問があります。必要なデータ量から独立してさえ、なぜ人間よりもモデルに私たちが望むものを教えることがそれほど難しいのか。
人間の場合、必ずしも検証可能な報酬がなくても…あなたはおそらく今、多くの研究者を指導していて、彼らと話し、コードを見せ、考え方を示しています。そこから、彼らはあなたの考え方、研究の仕方を吸収しています。
彼らのために検証可能な報酬を設定する必要はありません。「さて、これがカリキュラムの次の部分で、今、これがあなたのカリキュラムの次の部分です。ああ、この訓練は不安定でした」のようにする必要はありません。この骨の折れる、特注のプロセスはありません。
おそらくこれら二つの問題は実際には何らかの形で関連していますが、この二つ目のこと、より継続学習のようなものと、最初のこと、サンプル効率のように感じられるものを探求したいと思います。
人間のサンプル効率の可能な一つの説明として、実際に考慮される必要があるのは進化です。進化は私たちに少量の最も有用な情報を与えてくれました。
視覚、聴覚、運動のようなものについては、進化が私たちに多くを与えてくれたという非常に強い主張があると思います。例えば、人間の器用さは…つまり、ロボットもシミュレーションで大量の訓練を受けさせれば器用になることができます。
でも、現実世界でロボットを訓練して、人が行うように新しいスキルを素早く習得させることは、非常に手の届かないことのように思えます。ここでは、運動について言えるかもしれません。私たちの祖先全員が素晴らしい運動能力を必要としていました、リスのように。だから運動については、おそらく私たちには信じられないような事前知識があるのでしょう。
視覚についても同じことが言えます。ヤン・ルカンが指摘したと思いますが、子供たちは10時間の練習の後に運転を学びます。それは本当です。でも、私たちの視覚はとても優れています。少なくとも私にとって、5歳の自分を覚えています。当時、車にとても興味がありました。
5歳の時点で、私の車の認識は運転にはすでに十分以上だったと確信しています。5歳児としてそれほど多くのデータを見るわけではありません。ほとんどの時間を両親の家で過ごすので、データの多様性は非常に低いです。
でも、それも進化かもしれないと言えます。しかし、言語や数学やコーディングでは、おそらくそうではありません。それでも、モデルよりは優れているように見えます。明らかに、モデルは平均的な人間よりも言語、数学、コーディングが優れています。でも平均的な人間よりも学習が優れているでしょうか。
ああそうですね。ああそうです、絶対にそうです。私が言いたかったのは、言語、数学、コーディング、特に数学とコーディングは、人々を学習が得意にする何かが、おそらくそれほど複雑な事前知識ではなく、もっと根本的な何かであることを示唆しています。
あなたが言っていることを理解したかどうか分かりません。なぜそうあるべきなのか。では、人々が何らかの優れた信頼性を示すスキルを考えてみてください。
もしそのスキルが何百万年、何億年もの間、私たちの祖先にとって非常に有用だったものであれば、人間がそれが得意なのは進化のためかもしれない、何らかの非常に明白でない方法でエンコードされた進化的事前知識があって、それがどういうわけか私たちをそれがとても得意にしているのかもしれない、と主張できます。
でも、もし人々が最近まで本当に存在しなかった領域で優れた能力、信頼性、堅牢性、学習能力を示すなら、これは人々がただ、期間、より良い機械学習を持っているかもしれないという、より多くの指標です。
それについてどう考えるべきでしょうか。ML的類推は何でしょうか。それについていくつか興味深いことがあります。それはより少ないサンプルを取ります。それはより教師なしです。車を運転することを学ぶ子供…子供たちは車を運転することを学んでいません。
車の運転方法を学んでいる10代の若者は、必ずしも何らかの事前に構築された検証可能な報酬を得ているわけではありません。それは機械との、環境との相互作用から来ています。それははるかに少ないサンプルを取ります。それはより教師なしのように見えます。それはより堅牢に見えます。
はるかに堅牢です。人々の堅牢性は本当に驚異的です。なぜこれらすべてのことが一度に起こっているのかについて、統一的な考え方はありますか。このようなものを実現できるML的類推は何でしょうか。
あなたが尋ねていることの一つは、10代のドライバーが外部の教師なしに自己修正し、経験から学ぶことができるのはなぜかということです。答えは、彼らには価値関数があるということです。彼らには一般的な感覚があり、それはちなみに、中毒の周りのいくつかの例外を除いて、人々において非常に、非常に堅牢でもあります。
人間の価値関数が何であれ、それは実際に非常に、非常に堅牢です。だから、運転を学んでいる10代のような場合、彼らは運転を始めて、すぐに自分がどのように運転しているか、どれほどひどく、どれほど自信がないかという感覚をすでに持っています。そして彼らは「分かった」と見ます。そしてもちろん、10代の学習速度は非常に速いです。10時間後には、準備万端です。
人間には何らかの解決策があるようですが、彼らがどのようにそれを行っているのか、なぜそれがそれほど難しいのかについて興味があります。このようなことを可能にするために、モデルを訓練する方法をどのように再概念化する必要があるでしょうか。
それは尋ねるべき素晴らしい質問で、私はそれについて多くの意見を持っています。しかし残念ながら、すべての機械学習のアイデアが自由に議論されるわけではない世界に私たちは生きており、これはその一つです。
おそらくそれを行う方法があります。できると思います。人々がそのようであるという事実は、それができるという証拠だと思います。しかし別の障壁があるかもしれません。それは、人間のニューロンが私たちが思っているよりも多くの計算を行っている可能性があるということです。
もしそれが本当で、それが重要な役割を果たしているなら、物事はもっと困難かもしれません。しかしいずれにせよ、それは何らかの機械学習原理の存在を指し示していると思います。それについて私は意見を持っていますが、残念ながら、状況が詳細に議論することを難しくしています。
このポッドキャストは誰も聞いていませんよ、イリヤ。興味があります。もし私たちが研究の時代に戻るとあなたが言うなら、あなたは2012年から2020年までそこにいました。もし私たちが研究の時代に戻るなら、今の雰囲気はどうなるでしょうか。
例えば、AlexNetの後でさえ、実験を実行するために使用されるコンピュートの量は増え続け、フロンティアシステムのサイズは増え続けました。この研究の時代が今でも途方もない量のコンピュートを必要とすると思いますか。
アーカイブに戻って古い論文を読む必要があると思いますか。あなたがGoogleやOpenAI、スタンフォードにいたとき、これらの場所で、より研究の雰囲気があったとき、コミュニティでどのようなことを期待すべきでしょうか。
スケーリングの時代の一つの結果は、スケーリングが部屋の中のすべての空気を吸い出したことです。スケーリングが部屋の中のすべての空気を吸い出したため、誰もが同じことをし始めました。私たちは、アイデアよりも企業の方が多い世界にかなり到達しました。
実は、それについて、シリコンバレーの格言があります。アイデアは安い、実行がすべてだと。人々はそれをよく言いますし、それには真実があります。でも、Twitterで誰かがこんなことを言っているのを見ました。「もしアイデアがそれほど安いなら、どうして誰もアイデアを持っていないのか」と。それも真実だと思います。
研究の進歩をボトルネックという観点から考えると、いくつかのボトルネックがあります。その一つはアイデアで、もう一つはそれらを実現する能力で、それはコンピュートかもしれませんがエンジニアリングでもあります。
90年代に戻ったとしましょう。かなり良いアイデアを持っていた人々がいて、もしはるかに大きなコンピュータを持っていたら、おそらく彼らのアイデアが実行可能であることを示すことができたでしょう。でも彼らにはできませんでした。だから、誰も納得させられない非常に小さなデモンストレーションしかできませんでした。だから、ボトルネックはコンピュートでした。
そして、スケーリングの時代には、コンピュートは大幅に増加しました。もちろん、どれだけのコンピュートが必要かという問題はありますが、コンピュートは大きいです。コンピュートは、何らかのアイデアを証明するためにそれほど多くのコンピュートが必要なことは明白ではないほど十分に大きいです。
類推を示しましょう。AlexNetは2つのGPUで構築されました。それが使用されたコンピュートの総量でした。Transformerは8から64GPUで構築されました。単一のTransformer論文の実験で2017年の64GPU以上を使用したものはありませんでした。それは今日の何、2GPUのようなものですか。
ResNetですよね。o1の推論は世界で最もコンピュート集約的なものではなかったと主張できます。だから研究には、確かにある程度のコンピュートが必要ですが、研究のために絶対的に史上最大量のコンピュートが必要であることは全く明白ではありません。
絶対的に最高のシステムを構築したいなら、はるかに多くのコンピュートを持っていることが役立つと主張するかもしれません。そしてそれは真実だと思います。特に、誰もが同じパラダイム内にいるなら、コンピュートは大きな差別化要因の一つになります。
歴史についてあなたに尋ねているのは、あなたが実際にそこにいたからです。実際に何が起こったのか、私はよく分かりません。最小限のコンピュート量を使ってこれらのアイデアを開発することが可能だったようです。でも、Transformerはすぐには有名になりませんでした。
それがみんなが行い始め、その上で実験し、その上で構築し始めたものになったのは、より高いレベルのコンピュートで検証されたからです。正しいです。
そして、もしあなたがSSIで50の異なるアイデアを持っているなら、他のフロンティアラボが持っているような種類のコンピュートを持たずに、どれが次のTransformerでどれが脆弱なのかをどうやって知るのでしょうか。
それについてコメントできます。短いコメントは、あなたがSSIに言及したことです。具体的に私たちにとって、SSIが研究のために持っているコンピュートの量は、実際にはそれほど小さくありません。説明したいと思います。簡単な数学がなぜSSIが持っているコンピュートの量が研究のためには人が思うよりも匹敵するのかを説明できます。説明します。
SSIは30億ドルを調達しました。これは絶対的な意味では多額です。でも、「他の会社を見てください、もっとずっと多く調達しています」と言えるかもしれません。でも、彼らのコンピュートの多くは推論に使われます。これらの大きな数字、大きなローンは、推論のために指定されています。それが一つ目です。
二つ目、もし推論を行う製品を持ちたいなら、エンジニア、営業担当者の大きなスタッフが必要です。多くの研究が、あらゆる種類の製品関連機能を生み出すことに捧げられる必要があります。
だから、実際に研究のために残っているものを見ると、差はずっと小さくなります。もう一つは、もし何か違うことをしているなら、それを証明するために絶対的な最大スケールが本当に必要ですか。私はそれは全く真実ではないと思います。
私たちの場合、私たちが行っていることが正しいことを自分自身と他のすべての人に納得させるのに十分なコンピュートを持っていると思います。OpenAIのような企業が実験だけにこれまでのところ年間50億から60億ドル程度を費やしているという公開推定があります。これは彼らが推論などに費やしている金額とは別です。
だから、彼らはあなた方が持っている総資金よりも年間多くを研究実験の実行に費やしているように見えます。それをどう扱うかという問題だと思います。それをどう扱うかという問題です。
彼らの場合、他の場合には、訓練コンピュートに対する需要がはるかに多いです。より多くの異なる作業ストリームがあり、異なるモダリティがあり、ただもっと多くのものがあります。だから断片化されます。
SSIはどうやってお金を稼ぐのですか。この質問に対する私の答えはこんな感じです。今は研究に集中するだけで、その質問の答えはおのずと明らかになるでしょう。多くの可能な答えがあると思います。
SSIの計画はまだ、超知能への直行ですか。おそらくそうです。それには価値があると思います。日々の市場競争に影響されないことは非常に良いので、多くの価値があると思います。
でも、私たちに計画を変更させる可能性のある二つの理由があると思います。一つは実用的なもので、もしタイムラインが長いことが判明した場合で、そうかもしれません。
二つ目は、最高で最も強力なAIが外に出て世界に影響を与えることに多くの価値があると思います。これは意味のある価値のあることだと思います。
では、なぜあなたのデフォルトの計画が超知能への直行なのですか。OpenAI、Anthropic、これらすべての他の企業は、彼らの明示的な考え方は「見てください、私たちには弱い知能、弱い知能があって、一般の人々がそれに慣れて準備できます」というものです。
なぜ超知能を直接構築することが潜在的に優れているのですか。賛成と反対の主張をします。賛成の主張は、人々が市場にいるときに直面する課題の一つは、ラットレースに参加しなければならないことです。
ラットレースは非常に困難で、行わなければならない困難なトレードオフにさらされます。「これすべてから自分たちを隔離して、研究だけに集中し、準備ができたときだけ出てきて、その前には出ない」と言えるのは良いことです。
でも反論も有効で、それらは対立する力です。反論は「ちょっと、世界が強力なAIを見ることは有用です。世界が強力なAIを見ることは有用です。なぜなら、それがコミュニケートできる唯一の方法だからです」というものです。
まあ、アイデアをコミュニケートできるだけではないと思います。AIをコミュニケートする、アイデアではなく。AIをコミュニケートする。
「AIをコミュニケートする」とはどういう意味ですか。AIについてのエッセイを書くとしましょう。エッセイには「AIはこうなる、AIはああなる、こうなる」と書いてあります。それを読んで「なるほど、興味深いエッセイだ」と言います。
今、AIがこれをしているのを見る、AIがあれをしているのを見るとします。比較になりません。基本的に、AIが公にあることから大きな利益があると思います。それが、私たちが完全な直行ではない理由でしょう。
それがそうというわけでもないと思いますが、それが重要な部分だと思います。でもそれさえもそうではないのですが、他の大きなことは、人間の工学と研究の他の分野で、最終的な成果物が安全にするためにどうするかを考えることだけで安全にされた場合を思いつけないということです。例えば、マイル当たりの飛行機の墜落が今日何十年前よりもはるかに少ないのはなぜか。
なぜ今日Linuxでバグを見つけるのが何十年前よりもはるかに難しいのか。私はそれが主にこれらのシステムが世界に展開されたからだと思います。失敗に気づき、それらの失敗が修正され、システムはより堅牢になりました。
AGIと超人的知能が何か違う理由があるか分かりません。特に、これから取り上げることになると思いますが、超知能の害は、そこに何らかの悪意のあるペーパークリップマキシマイザーがいることだけではないように見えます。でもこれは本当に強力なもので、私たちは人々がそれとどう相互作用するか、人々がそれで何をするかを概念化する方法さえ知りません。
それへの段階的なアクセスを持つことは、おそらくその影響を広げ、人々がそれに備えるのを助けるより良い方法のように思えます。まあ、私はこの点について、直行のシナリオでさえ、それの段階的なリリースを行うだろうと思います。それが私がどう想像するかです。
段階主義はあらゆる計画の固有の構成要素でしょう。ドアから出る最初のものが何かという問題です。それが一つ目です。
二つ目、あなたが他の人々よりも継続学習を提唱してきたと思いますし、実際にこれは重要で正しいことだと思います。理由はこうです。思考に影響を与えた言語の別の例を挙げましょう。
この場合、それは思考を形作った二つの言葉になります。最初の言葉、AGI。二番目の言葉、事前学習。説明させてください。AGIという用語、なぜこの用語は存在するのか。これは非常に特殊な用語です。なぜ存在するのか。理由があります。
AGIという用語が存在する理由は、私の意見では、それが知能の何らかの終状態の非常に重要で本質的な記述子だからというよりも、むしろ存在していた別の用語への反応だからです。その用語はnarrow AIです。
古代の歴史、ゲームプレイとAI、チェッカーAI、チェスAI、コンピュータゲームAIに戻ると、誰もがこの狭い知能を見てと言うでしょう。確かに、チェスAIはカスパロフを破ることができますが、他のことは何もできません。それはとても狭い、人工的に狭い知能です。
だから、それに対する反応として、何人かの人々は、これは良くない、と言いました。それはとても狭いです。私たちが必要とするのは汎用AI、すべてのことができるAIです。その用語は多くの注目を集めました。
多くの注目を集めた二つ目のものは事前学習、具体的には事前学習のレシピです。私は、人々が今RLを行う方法が、おそらく事前学習の概念的な刻印を取り消しているのだと思います。
でも事前学習にはこの性質がありました。より多くの事前学習を行うと、モデルはほぼ一様にすべてにおいて良くなります。汎用AI。事前学習はAGIを与えます。
でもAGIと事前学習に起こったことは、ある意味で目標をオーバーシュートしたということです。もし「AGI」という用語について、特に事前学習の文脈で考えるなら、人間はAGIではないことに気づくでしょう。
確かにスキルの基盤がありますが、人間には膨大な量の知識が欠けています。代わりに、私たちは継続学習に依存しています。だから、「よし、成功を達成して、何らかの安全な超知能を生み出すとしましょう」と考えるとき。
問題は、それをどう定義するかです。継続学習の曲線のどこにそれはあるでしょうか。私は超知能的な15歳を生み出します。彼らは非常に熱心です。ほとんど何も知りませんが、素晴らしい学生で、非常に熱心です。
さあ行ってプログラマーになりなさい、医者になりなさい、さあ行って学びなさい。だから、展開自体が何らかの学習試行錯誤期間を含むことを想像できます。それは完成したものを落とすのではなく、プロセスです。
なるほど。あなたが超知能について指摘していることは、経済におけるすべての仕事をする方法を知っている完成した心ではないということですね。
元のOpenAIの憲章かなにかがAGIを定義する方法は、すべての仕事ができる、人間ができるすべてのことができる、というものだからです。あなたは代わりに、すべての仕事を学ぶことができる心を提案しています。そしてそれが超知能です。
そうです。でも、学習アルゴリズムを持ったら、それは人間の労働者が組織に加わるのと同じ方法で世界に展開されます。
まさに。これら二つのことのうちの一つが起こりそうな気がします。どちらも起こらないかもしれません。一つは、この超効率的な学習アルゴリズムが超人的になり、あなたと同じくらい、そして潜在的にさらに良くなる、ML研究のタスクにおいて。その結果、アルゴリズム自体がますます超人的になります。
もう一つは、たとえそれが起こらなくても、もし単一のモデルを持っていて、これはあなたの明示的なビジョンですが、経済全体に展開されて異なる仕事をするモデルのインスタンスがあり、それらの仕事をすることを学び、仕事を通して継続的に学習し、人間が習得できるすべてのスキルを習得しますが、それらすべてを同時に習得し、それから学習を統合する場合、基本的に、ソフトウェアでの何らかの再帰的自己改善なしでさえ、機能的に超知能的になるモデルを持つことになります。
なぜなら、今や経済におけるすべての仕事ができる一つのモデルがあり、人間は同じ方法で心を融合できないからです。だから、広範な展開から何らかの知能爆発を期待しますか。
急速な経済成長になる可能性は高いと思います。広範な展開については、対立する二つの議論ができると思います。一つは、実際に物事を素早く学ぶことができるAIを持ち、それらの多くを持つポイントに達したら、それらを経済に展開するための非常に強い力が働くでしょう。それを止める何らかの規制がない限り、ちなみにそれはあるかもしれません。
でも、ある期間の非常に急速な経済成長というアイデアは、広範な展開から非常に可能だと思います。問題はそれがどれほど急速になるかです。これは知るのが難しいと思います。なぜなら、一方では非常に効率的な労働者がいるからです。
他方では、世界は本当に大きくて、たくさんのものがあり、そのものは異なる速度で動きます。でも他方では、今、AIができる…だから、非常に急速な経済成長は可能だと思います。
異なる国々が異なるルールを持ち、よりフレンドリーなルールを持つ国々では、経済成長がより速くなるというようなあらゆる種類のことを見ることになるでしょう。予測するのは難しいです。
これは非常に不安定な状況にあるように思えます。極限において、これは可能であるはずであることを知っています。もし学習において人間と同じくらい優れているものがあれば、しかし人間が融合できない方法で脳を融合、異なるインスタンスを融合できるなら、すでにこれは物理的に可能であるはずのもののように思えます。
人間は可能です、デジタルコンピュータは可能です。その両方を組み合わせてこのものを生産すればいいだけです。このようなものは非常に強力に見えます。
経済成長はそれを表現する一つの方法です。ダイソン球は大量の経済成長です。でもそれを表現する別の方法は、潜在的に非常に短い期間に…SSIで人を雇うと、6か月後には正味で生産的でしょう、おそらく。
人間は本当に速く学習し、このものはますます速く、速く賢くなっています。それがうまくいくようにすることについてどう考えますか。なぜSSIはそれをうまく行うポジションにあるのか。SSIの計画はそこで何なのか、基本的に私が尋ねようとしていることです。
私の思考が変化してきた方法の一つは、AIが段階的に、そして事前に展開されることに今より多くの重要性を置いていることです。AIについての非常に難しいことの一つは、まだ存在しないシステムについて話していて、それらを想像するのが難しいということです。
実際に起こっていることの一つは、AGIを感じるのが非常に難しいということだと思います。AGIを感じるのは非常に難しいです。それについて話すことはできますが、年を取って虚弱になったときにどのようなものかについての会話を想像してください。
会話をすることはできます、想像しようとすることはできますが、ただ難しいです。そして、そうではない現実に戻ってきます。AGIとその将来の力をめぐる問題の多くは、想像するのが非常に難しいという事実から来ていると思います。
将来のAIは異なるでしょう。強力でしょう。実際、問題全体、AIとAGIの問題は何か。問題全体は力です。問題全体は力です。力が本当に大きいとき、何が起こるでしょうか。
過去一年間で私の考えが変わった方法の一つ、そしてその考えの変化は、少しヘッジしますが、私たちの会社の計画にバックプロパゲートするかもしれませんが、それは、もし想像するのが難しいなら、何をすべきかということです。そのものを示さなければなりません。そのものを示さなければなりません。
AIに取り組んでいるほとんどの人々もそれを想像できないと私は主張します。なぜなら、それは人々が日常的に見るものとあまりにも異なるからです。ここで、私が予測することがあります。これは予測です。
AIがより強力になるにつれて、人々は行動を変えるだろうと私は主張します。今は起こっていない前例のないあらゆる種類のことが見られるでしょう。いくつか例を挙げましょう。
良くも悪くも、フロンティア企業は何が起こるかに非常に重要な役割を果たすでしょうし、政府もそうでしょう。あなたが見ると思うことの種類、その始まりを見ていますが、それは激しい競争相手である企業がAI安全について協力し始めることです。
OpenAIとAnthropicが最初の小さなステップを行ったのを見たかもしれませんが、それは存在していませんでした。それは約3年前の私の講演の一つで予測したことで、そのようなことが起こるだろうと。
また、AIがより強力になり続けるにつれて、より明らかに強力になるにつれて、政府や一般の人々から何かをしたいという欲求もあるだろうと私は主張します。
これは非常に重要な力だと思います、AIを示すことは。それが一つ目です。二つ目、よし、AIが構築されている。何をする必要があるか。私が起こるだろうと主張する一つのことは、今、AIに取り組んでいる人々、私はAIがその間違いのために強力に感じられないと主張します。
ある時点でAIは実際に強力に感じられ始めるだろうと思います。それが起こると、すべてのAI企業が安全に取り組む方法に大きな変化が見られると思います。彼らははるかに用心深くなるでしょう。
これは私たちが起こると見る予測として言っています。私が正しいかどうか見てみましょう。でもこれは起こることだと思います。なぜなら、彼らはAIがより強力になるのを見るからです。今起こっていることすべて、私は主張しますが、人々が今日のAIを見て、将来のAIを想像するのが難しいからです。
起こる必要がある三つ目のことがあります。より広い観点から話しています、SSIの観点からだけではありません、あなたが私たちの会社について尋ねたので。問題は、企業は何を構築することを目指すべきかです。何を構築することを目指すべきか。
誰もがロックされてきた一つの大きなアイデアがありました。それは自己改善するAIです。なぜそれが起こったのか。アイデアよりも企業の方が少ないからです。でも、構築するのがより良い何かがあると私は主張します。そして誰もがそれを望むだろうと思います。
それは、特に感覚ある生命を気にかけるように堅牢にアライメントされたAIです。特に、感覚ある生命を気にかけるAIを構築する方が、人間の生命だけを気にかけるAIを構築するよりも簡単である可能性がある主張があると思います。なぜなら、AI自体が感覚を持つからです。
そして、動物への人間の共感のようなものについて考えるなら、それは十分に大きくないと主張するかもしれませんが、存在します。私はそれが、他者をモデル化するために、自分自身をモデル化するのと同じ回路を使うという事実からの創発的性質だと思います。なぜなら、それが最も効率的なことだからです。
だから、AIに感覚ある存在を気にかけさせることができたとしても、そしてアライメントを解決した場合にそれがあなたがすべきことなのか、実際には明確ではありません。それでも、ほとんどの感覚ある存在はAIであるという事実になるでしょう。
何兆、最終的には何千兆ものAIがいるでしょう。人間は感覚ある存在のほんの一部になるでしょう。だから、もし目標がこの未来の文明に対する何らかの人間のコントロールであるなら、これが最良の基準であるかは明確ではありません。
それは本当です。最良の基準ではない可能性があります。二つのことを言います。一つ目、感覚ある生命への配慮、それには価値があると思います。考慮されるべきです。企業がこの状況にあるときに使える短いアイデアのリストのようなものがあったら役立つと思います。それが二つ目です。
三つ目、最も強力な超知能の力が何らかの形で制限されたら、本当に実質的に役立つと思います。なぜなら、多くのこれらの懸念に対処できるからです。どうやってそれを行うか、よく分かりませんが、本当に本当に強力なシステムについて話しているとき、それは実質的に役立つだろうと思います。
アライメントの議論を続ける前に、それについてダブルクリックしたいと思います。上の方にどれだけの余地がありますか。超知能についてどう考えますか。
この学習効率のアイデアを使うと、おそらくそれは新しいスキルや新しい知識を学ぶのが非常に速いだけですか。ただより大きな戦略のプールを持っているだけですか。中心により強力またはより大きい単一の一貫性のある「それ」がありますか。
もしそうなら、これは人間文明の残りと比較して神のようなものになることを想像しますか、それともただ別のエージェント、または別のエージェントのクラスタのように感じられますか。
これは異なる人々が異なる直感を持つ領域です。確かに非常に強力になると思います。最も起こりそうだと思うことは、ほぼ同時に複数のそのようなAIが作成されるということです。
クラスタが十分に大きければ、文字通り大陸サイズのクラスタであれば、そのものは本当に強力になる可能性があると思います、確かに。文字通り大陸サイズのクラスタを持っていれば、それらのAIは非常に強力になる可能性があります。
私があなたに言えるのは、もし非常に強力なAI、本当に劇的に強力なAIについて話しているなら、何らかの方法で抑制できたり、何らかの合意や何かがあったりしたら良いだろうということです。
超知能の懸念は何ですか。懸念を説明する一つの方法は何ですか。十分に強力なシステム、本当に十分に強力なものを想像すると、そして非常に一点集中的な方法で感覚ある生命を気にかけるというような何か賢明なことをするように言えるとしたら、私たちは結果を好まないかもしれません。それが本当にそれです。
ちなみに、答えは、通常の意味でRLエージェントを構築しないことかもしれません。いくつかのことを指摘します。人間は半RLエージェントだと思います。私たちは報酬を追求し、それから感情か何かが私たちを報酬に飽きさせ、異なる報酬を追求します。
市場は非常に近視眼的な種類のエージェントです。進化も同じです。進化はある面で非常に知的ですが、他の面で非常に愚かです。政府は三つの部分の間の終わりのない戦いになるように設計されており、それは効果があります。だから、このようなものだと思います。
この議論を難しくする別のことは、私たちが存在しないシステムについて話していて、構築方法を知らないことです。それが別のことで、それが実際に私の信念です。
人々が今やっていることは、ある程度進んでから頭打ちになると思います。改善し続けるでしょうが、「それ」でもないでしょう。「それ」を構築する方法を私たちは知りません。そして、多くのことが信頼できる汎化を理解することにかかっています。
もう一つ言います。あなたが今指摘したこと、アライメントを難しくする原因について理解するために言えることの一つは、人間の価値を学ぶあなたの能力が脆弱だということです。
それからそれらを最適化するあなたの能力が脆弱です。実際にそれらを最適化することを学びます。そして、これらすべては信頼できない汎化のインスタンスではないと言えないでしょうか。
なぜ人間がそれほど良く汎化するように見えるのか。汎化がはるかに良かったらどうなるでしょうか。この場合、何が起こるでしょうか。効果は何でしょうか。でも、これらの質問は今のところまだ答えられません。
超知能の未来とアライメント
AIがうまくいくことがどのようなものかをどう考えるべきでしょうか。あなたはAIがどう進化するかを明示してきました。この種の継続学習エージェントを持つことになります。AIは非常に強力でしょう。おそらく多くの異なるAIがあるでしょう。
多くの大陸サイズのコンピュート知能が歩き回ることについてどう考えますか。それはどれほど危険ですか。それをより危険でなくするにはどうすればいいですか。そして、アライメントされていないAIや悪い行為者がいるかもしれない均衡を保護する方法でそれを行うにはどうすればいいですか。
「感覚ある生命を気にかけるAI」が気に入った理由の一つがここにあります。それが良いか悪いかは議論できます。でも、これらの劇的なシステムの最初のN個が人類を気にかけ、愛し、何かをする、感覚ある生命を気にかけるなら、明らかにこれも達成される必要があります。これは達成される必要があります。
だから、もしこれが最初のN個のシステムで達成されたら、少なくともかなりの期間、うまくいくのが見えます。それから長期的に何が起こるかという問題があります。長期的な均衡をどう達成するか。そこにも答えがあると思います。
私はこの答えが好きではありませんが、考慮される必要があります。長期的には、「よし、強力なAIが存在する世界があるなら、短期的には、普遍的な高所得があると言えます。普遍的な高所得があり、私たちは皆うまくやっています」と言えるかもしれません。
でも仏教徒は何と言いますか。「変化が唯一の定数です。」物事は変化します。何らかの政府、政治構造のようなものがあり、それは変化します。なぜなら、これらのものには賞味期限があるからです。何らかの新しい政府のようなものが現れて、それは機能しますが、しばらくすると機能しなくなります。それは私たちが常に起こるのを見ているものです。
だから長期的な均衡について、一つのアプローチは、おそらくすべての人が彼らの命令を実行するAIを持ち、それは良いと言えるかもしれません。もしそれが無期限に維持できるなら、それは本当です。でもそのマイナス面は、AIが人のためにお金を稼ぎ、政治領域で彼らのニーズを主張し、おそらくそれから「さて、これが私がしたこと、これが状況です」という小さなレポートを書き、人は「素晴らしい、続けて」と言います。
でも人はもはや参加者ではありません。それから、それは不安定な場所にいると言えます。私はこの解決策が好きではないと前置きしますが、それは解決策です。
解決策は、人々が何らかのNeuralink++でAIの一部になることです。なぜなら、結果として起こることは、今やAIが何かを理解し、私たちもそれを理解するからです。なぜなら、今や理解が丸ごと伝達されるからです。
だから今、AIが何らかの状況にあるなら、あなたはその状況に完全に自分自身で関与しています。これが均衡への答えだと思います。
何百万年、多くの場合何十億年も前に全く異なる環境で発達した感情が、今でも私たちの行動を非常に強く導いているという事実が、アライメント成功の例かどうか疑問に思います。
私が何を意味するかを説明すると、価値関数と呼ぶのが正確か報酬関数と呼ぶのが正確か分かりませんが、脳幹には「より成功した人と交配せよ」と言う指令があります。大脳皮質は、現代の文脈で成功が何を意味するかを理解する部分です。
でも脳幹は大脳皮質をアライメントし、「成功が何であるかをどう認識するかわからないけれど、それが何であれ、あなたはこの指令を追求するだろう」と言うことができます。
より一般的なポイントがあると思います。進化が高レベルの欲求をどのようにエンコードするかは本当に謎だと思います。進化が私たちに良い匂いのする食べ物への欲求を与える方法を理解するのはかなり簡単です。なぜなら、匂いは化学物質だから、その化学物質を追求するだけです。進化がそのことをするのは非常に想像しやすいです。
でも進化はまた、私たちにこれらすべての社会的欲求を与えました。私たちは社会から肯定的に見られることを本当に気にかけます。良い立場にいることを気にかけます。私たちが持つこれらすべての社会的直感、私はそれらが組み込まれていると強く感じます。
進化がそれをどうやって行ったのか分かりません。なぜなら、それは脳で表現される高レベルの概念だからです。何らかの社会的なことを気にかけるとしましょう。それは匂いのような低レベルの信号ではありません。それはセンサーが存在するものではありません。
脳は、社会的に何が起こっているかを理解するために、多くの情報を組み立てるために多くの処理を行う必要があります。どういうわけか進化は「それがあなたが気にかけるべきことだ」と言いました。どうやってそれを行ったのでしょうか。それは早くもやりました。
私たちが気にかける、これらすべての洗練された社会的なことは、かなり最近進化したと思います。進化はこの高レベルの欲求をハードコードするのに簡単な時間を過ごしました。
どうやってそれが行われたのかについての良い仮説を私は知りません。私がいじっていたいくつかのアイデアがありましたが、どれも満足のいくものではありません。
特に印象的なのは、それが生涯で学んだ欲求だったことです。脳が知的だから理にかなっています。知的な欲求を学ぶことができる理由が理にかなっています。
おそらくこれはあなたのポイントではありませんが、一つの理解の仕方は、欲求がゲノムに組み込まれていて、ゲノムは知的ではないということです。でもどういうわけかこの特徴を記述できます。その特徴をどう定義するかさえ明確ではありません。そしてそれを遺伝子に組み込むことができます。
本質的に、あるいは別の言い方をするかもしれません。ゲノムが利用できるツールについて考えると、「さて、これが脳を構築するレシピです」と言います。「ここに、ドーパミンニューロンを匂いセンサーに接続するレシピです」と言えるかもしれません。
そして、もし匂いが特定の種類の良い匂いなら、それを食べたいと思うでしょう。ゲノムがそれを行うことは想像できます。より想像するのが難しいと主張しています。ゲノムが、あなたの脳全体、脳の大きな塊が行う、複雑な計算を気にかけるべきだと言うことを想像するのが難しいです。それだけを主張しています。
どうやってそれができるかの推測をお話しできます。推測をさせてください。そして、推測がおそらく偽である理由を説明します。脳には脳領域があります。私たちには大脳皮質があります。それにはこれらすべての脳領域があります。
大脳皮質は均一ですが、脳領域と皮質のニューロンはほとんど近隣と話します。それが脳領域を得る理由を説明します。なぜなら、何らかの音声処理をしたいなら、音声を行うすべてのニューロンが互いに話す必要があるからです。
そして、ニューロンは大部分、近くの隣人としか話せないので、それは領域でなければなりません。すべての領域は、ほとんど人から人へ同じ場所に位置しています。
だから、おそらく進化は文字通り脳上の位置をハードコードしたのかもしれません。だから、「ああ、脳のGPS座標がこれこれのとき、それが発火したとき、それがあなたが気にかけるべきことだ」と言います。おそらくそれが進化がしたことです。なぜなら、それは進化のツールキットの範囲内だからです。
ええ、しかし、例えば、生まれつき目が見えない人が、皮質のその領域を別の感覚によって採用されるという例があります。コンテキストウィンドウに内容が存在する別の感覚に、皮質のさまざまな領域が流用されている人々について、視覚信号を必要とする欲求や報酬関数がもはや機能しないとしたら、私は驚きます。
例えば、もしもはや視覚を持たない場合、周りの人々に好かれたいという感覚をまだ感じることができますか、そのためには通常視覚的な手がかりもあります。それには完全に同意します。この理論に対するさらに強力な反論があると思います。
幼少期に脳の半分を除去された人々がいて、それでも彼らはすべての脳領域を持っています。でもそれらはすべて、どういうわけかただ一つの半球に移動するのです。それは、脳領域、その位置が固定されていないことを示唆しています。だから、その理論は真実ではありません。
もし真実だったら素晴らしかったでしょうが、そうではありません。だからそれは謎だと思います。でも興味深い謎です。事実は、どういうわけか進化が私たちに社会的なことを気にかけるように非常に、非常に確実に与えることができたということです。
あらゆる種類の奇妙な精神状態や欠陥や感情的問題を持つ人々でさえ、これも気にかける傾向があります。
SSIは何か違うことをする計画ですか。おそらくあなたの計画は、この時が来たときにフロンティア企業の一つになることです。おそらくあなたがSSIを始めたのは、「他の企業が持たない方法で、これを安全に行う方法があると思う」というようなことでしょう。その違いは何ですか。
私がそれを説明する方法は、有望だと思ういくつかのアイデアがあり、それらが実際に有望かどうかを調査したいということです。本当にそれだけシンプルです。それは試みです。
もしアイデアが正しいことが判明したら、私たちが議論した汎化を理解することに関するこれらのアイデアが、私たちには価値のあるものがあると思います。それらは正しいことが判明するでしょうか。私たちは研究をしています。私たちは完全に「研究の時代」の企業です。
私たちは進歩を遂げています。過去一年間でかなり良い進歩を実際に遂げましたが、もっと進歩を続ける必要があります、もっと研究が必要です。それが私の見方です。声と参加者になる試みとして見ています。
あなたの共同創設者であり前CEOは、最近Metaに行きました。人々は「まあ、多くのブレークスルーがあったなら、それは起こりそうにないことのように思える」と尋ねてきました。どう答えますか。
これについては、忘れられているかもしれないいくつかの事実を単に思い出させます。文脈を提供するこれらの事実が状況を説明していると思います。文脈は、私たちが320億ドルの評価額で資金調達をしていて、それからMetaが来て私たちを買収することを申し出たということでした。そして私は断りました。
でも私の元共同創設者はある意味でイエスと言いました。その結果、彼は多くの短期的な流動性を享受することもできましたし、SSIからMetaに加わったのは彼だけでした。
SSIの計画は、超人的知能を持つこの人類史上非常に重要な時期にフロンティアにいる企業になることのように聞こえます。超人的知能をうまくいかせる方法についてのアイデアがあります。
でも他の企業も独自のアイデアを試すでしょう。超知能をうまくいかせることにおいて、SSIのアプローチを区別するものは何ですか。
SSIを区別する主なものは、その技術的アプローチです。私たちには価値があると思う異なる技術的アプローチがあり、私たちはそれを追求しています。
最終的には戦略の収束があるだろうと主張します。ある時点で、AIがより強力になるにつれて、戦略が何であるべきかが誰にとっても多かれ少なかれ明確になってくると思います。
それは、互いに話す何らかの方法を見つける必要があり、最初の本当の実際の超知能的AIがアライメントされ、どういうわけか感覚ある生命を気にかけ、人々を気にかけ、民主的であり、これらの一つであり、それらの何らかの組み合わせである必要があるというようなものであるべきです。
それがすべての人が目指すべき条件だと思います。それがSSIが目指していることです。すでにでないとしても、この時、他のすべての企業も、彼らが同じことを目指していることに気づくだろうと思います。見てみましょう。
AIがより強力になるにつれて世界は本当に変わると思います。物事は本当に異なり、人々は本当に異なる行動をするでしょう。
予測といえば、あなたが説明しているこのシステム、人間と同じくらい学習でき、その結果として超人的になることができるシステムについての予測は何ですか。
5年から20年だと思います。5年から20年ですか。うん。
あなたが世界がどう来るかを見ているかをほどきたいと思います。それは、これらの他の企業が現在のアプローチを続けていて、それが頭打ちになるというあと数年があるようなものです。
ここで「頭打ち」とは、数千億ドル以下の収益しか稼がないことを意味しますか。頭打ちが何を意味するかについてどう考えますか。
頭打ちは次のようなものに見えると思います。すべての異なる企業の間でそれはすべて非常に似て見えるでしょう。こんな感じかもしれません。頭打ちでさえ、これらの企業は途方もない収益を上げることができると思います。よく分からないのは、頭打ちでさえです。
おそらく利益ではありません。なぜなら、互いから自分たちを差別化するために一生懸命働く必要があるからです。でも収益は確かです。でもあなたのモデルの何かは、正しい解決策が現れたときに、すべての企業の間に収束があることを示唆しています。なぜそうだと思うのか興味があります。
私はアライメント戦略の収束についてもっと話していました。技術的アプローチの最終的な収束もおそらく起こるだろうと思いますが、アライメント戦略への収束を暗示していました。正確に何をすべきか。
未来がどう展開するかについてより良く理解したいだけです。現在、これらの異なる企業があり、彼らのアプローチが収益を生み続けるがこの人間のような学習者には到達しないと予想しています。だから今、これらの企業の異なるフォークがあります。
あなたがいて、Thinking Machinesがいて、他にも多くのラボがあります。おそらく彼らの一つが正しいアプローチを見つけます。でも、彼らの製品のリリースが他の人々にこのことをどうやるかを明確にします。
それをどうやるかは明確にならないと思いますが、何か違うことが可能であることは明確になるでしょう。そしてそれは情報です。人々はそれからそれがどう機能するかを見つけようとするでしょう。
ただ、ここで扱われていない、議論されていないことの一つは、AIの能力が増加するたびに、何らかの変化があると思いますが、正確にどれかは分かりません、物事が行われる方法において。それは重要になると思いますが、それが正確に何なのかを詳述できません。
デフォルトでは、そのモデルを持っている企業がこれらすべての利益を得ていると予想するでしょう。なぜなら、彼らには世界で構築しているスキルと知識を持つモデルがあるからです。その利益が広く分配され、この継続学習ループを最初に動かしたモデル企業だけに行き着かないと考える理由は何ですか。
私が起こると思うことはこうです。一つ目、これまでどのように物事が進んできたかを見てみましょう。過去のAIと共に。一つの企業が進歩を生み出し、他の企業がスクランブルをかけて、ある程度の時間の後に似たようなものを生み出し、彼らは市場で競争し始め、価格を押し下げました。
だから、市場の観点からは、そこでも同様のことが起こると思います。ちなみに、私たちは良い世界について話しています。良い世界とは何ですか。それは、アライメントされたこれらの強力な人間のような学習者を持つ場所です。
ちなみに、おそらく、私たちが議論していない超知能的AIのスペック上の別のことがあって、考慮する価値があると思います。それは、狭くすることです。それは有用で、同時に狭くすることができます。多くの狭い超知能的AIを持つことができます。
でも、多くを持っていて、それからそれから多くの利益を生み出している会社があるとします。それから別の会社が入ってきて競争し始めます。競争が機能する方法は専門化を通してです。競争は専門化が大好きです。市場でそれを見ます、進化でもそれを見ます。
多くの異なるニッチがあり、異なるニッチを占める多くの異なる企業があるでしょう。この世界では、一つのAI企業が本当に複雑な経済活動のある領域でかなり優れていて、別の企業が別の領域で優れていると言えるかもしれません。
そして三番目の会社は訴訟に本当に優れています。これは人間のような学習が示唆することと矛盾していませんか。それは学習できる…できますが、蓄積された学習があります。大きな投資があります。
本当に、本当に優れた、このことで本当に驚異的になるために、膨大なコンピュートを費やしました。他の誰かは膨大な量のコンピュートと膨大な量の経験を費やして、他の何かで本当に優れるようになりました。
そこに到達するために多くの人間の学習を適用しますが、今、あなたは、他の誰かが「見て、あなたが学んだことを学び始めたくない」と言うこの高い点にいます。
それには、人間のような継続学習エージェントで多くの異なる企業が同時に始まる必要があると思います。そうすれば、彼らは異なる枝で異なるツリー検索を始めることができます。でも、一つの企業が最初にそのエージェントを、またはその学習者を最初に手に入れたら、実際にそうなるように思えます…
まあ、経済におけるすべての仕事を考えると、それぞれを学習するインスタンスを持つことは、企業にとって実行可能に思えます。
それは有効な議論です。私の強い直感は、それがそうは進まないということです。議論はそれがこのように進むと言いますが、私の強い直感は、それがこのように進まないということです。
理論的には、理論と実践の間に違いはありません。実践的には、違いがあります。それはそれらの一つになるだろうと思います。
多くの人々の再帰的自己改善のモデルは文字通り、明示的に、サーバーに異なるアイデアを思いついている100万人のイリヤがいて、これが非常に速く超知能が現れることにつながるだろうと述べています。
あなたが行っていることがどれだけ並列化可能かについて、何らかの直感がありますか。イリヤのコピーを作ることからの利益は何ですか。
分かりません。確かに収穫逓減があると思います。なぜなら、同じように考える人よりも、違う考え方をする人が欲しいからです。もし私の文字通りのコピーがあったら、どれだけ追加の価値が得られるかはよく分かりません。違う考え方をする人々、それが欲しいものです。
なぜ異なるモデルを見ると、潜在的に重複しないデータセットで訓練された全く異なる企業によってリリースされたとしても、LLMが互いにどれほど似ているかは実際にクレイジーです。
おそらくデータセットは見た目ほど重複していないわけではありません。でも、個々の人間が将来のAIよりも生産性が低いかもしれないとしても、人間のチームがAIのチームが持つかもしれないよりも多様性を持っているという事実に何かがあるかもしれないという感覚があります。
AI エージェント間で意味のある多様性をどう引き出すか。温度を上げるだけでは、ただのナンセンスになります。異なる科学者が異なる偏見や異なるアイデアを持っているようなものが欲しいです。AI エージェント間でそのような多様性をどう得るか。
多様性がなかった理由は、事前学習のためだと思います。すべての事前訓練されたモデルは、同じデータで事前訓練するため、ほぼ同じです。
今、RLとポストトレーニングは、いくらかの差別化が現れ始める場所です。なぜなら、異なる人々が異なるRL訓練を思いつくからです。
過去に、LLMでこの種のことがうまくいくという公開提案がない理由について、データを取得するため、または同等の知能の他のエージェントにエージェントをマッチさせて学習を開始するための方法として、自己対戦についてあなたが暗示しているのを聞いたことがあります。どう考えるべきでしょうか。
二つのことを言います。私が自己対戦が興味深いと思った理由は、データなしで、コンピュートだけを使ってモデルを作成する方法を提供したからです。データが究極のボトルネックだと考えるなら、コンピュートだけを使うことは非常に興味深いです。
それが面白くさせるものです。問題は、少なくとも過去に行われてきた方法の自己対戦、何らかの形で互いに競争するエージェントを持つときは、特定のスキルセットを開発するのにのみ優れているということです。それはあまりにも狭いです。
それは交渉、紛争、特定の社会的スキル、戦略立案、そのような種類のものにのみ優れています。これらのスキルを気にかけるなら、自己対戦は有用でしょう。
実際、自己対戦は居場所を見つけたと思いますが、ただ異なる形でです。だから、討論、証明者検証者のようなものは、何らかの種類のLLM-as-a-Judgeがあり、それもあなたの仕事の間違いを見つけるようインセンティブを与えられています。
これは正確に自己対戦ではないと言えますが、これは人々がやっていると思われる関連する敵対的セットアップです。本当に自己対戦は、エージェント間のより一般的な競争の特殊なケースです。
競争への自然な反応は、違おうとすることです。だから、もし複数のエージェントを一緒にして、「あなたたち全員が何らかの問題に取り組む必要があり、あなたはエージェントで、他のみんなが何に取り組んでいるかを調べています」と言ったら、彼らは「まあ、彼らがすでにこのアプローチを取っているなら、私がそれを追求すべきかは明確ではない。差別化された何かを追求すべきだ」と言うでしょう。
だから、このようなものもアプローチの多様性へのインセンティブを作り出すことができると思います。
最後の質問。研究の趣味とは何ですか。あなたは明らかに、AIにおける研究を行う上で最高の趣味を持っていると考えられている世界の人物です。あなたはAlexNetからGPT-3など、深層学習の歴史で起こった最大のことの共著者でした。
それは何ですか、これらのアイデアをどう思いつくかをどう特徴づけますか。自分自身についてコメントできます。異なる人々が異なる方法でそれを行うと思います。
個人的に私を導いているものの一つは、AIがどうあるべきかの美学です。人々がどうあるかを考えることによって、しかし正しく考えることです。人々がどうあるかを正しくなく考えるのは非常に簡単ですが、人々について正しく考えるとはどういう意味でしょうか。いくつか例を挙げます。
人工ニューロンのアイデアは、脳から直接インスピレーションを受けており、素晴らしいアイデアです。なぜか。なぜなら、脳にはこれらすべての異なる器官があり、折り目がありますが、折り目はおそらく重要ではないと言うからです。
ニューロンが重要だと思うのはなぜか。なぜなら、それらが多くあるからです。何となく正しいと感じるので、ニューロンが欲しいです。ニューロンの間の接続を変える何らかの局所的な学習規則が欲しいです。
脳がそれを行っているように思えます。分散表現のアイデア。脳が経験に反応するというアイデア、したがって私たちのニューラルネットは経験から学ぶべきです。脳は経験から学び、ニューラルネットは経験から学ぶべきです。
何かが根本的か根本的でないかを自分に尋ねます。物事はどうあるべきか。それが私をかなり導いてきたと思います。複数の角度から考え、ほとんど美、美とシンプルさを探すことです。
醜さ、醜さの余地はありません。美、シンプルさ、優雅さ、脳からの正しいインスピレーション。これらすべてのものが同時に存在する必要があります。それらがより存在するほど、トップダウンの信念により自信を持つことができます。
トップダウンの信念は、実験があなたに反対するときにあなたを支えるものです。なぜなら、もしいつもデータを信頼するなら、まあ、時には正しいことをしているかもしれないのにバグがあります。でもバグがあることを知りません。
バグがあるかどうかをどう見分けられますか。デバッグを続けるべきか、それとも間違った方向だと結論づけるべきかをどう知りますか。それがトップダウンです。物事はこうあるべきだと言えます。
このようなものはうまくいかなければならない、したがって続けなければならない。それがトップダウンで、この多面的な美と脳からのインスピレーションに基づいています。
さて、そこで終わりにしましょう。本当にありがとうございました。イリヤ、本当にありがとうございました。いいでしょう。感謝します。素晴らしかったです。ええ、楽しみました。はい、私もです。
コメント