AnthropicのCEOであるDario Amodeiが、AGI(汎用人工知能)の実現時期について驚くべき確信を持って語った。彼は10年以内にデータセンター内に「天才の国」が実現する確率を90%と見積もり、1〜2年以内の実現も十分にあり得ると主張する。特筆すべきは、継続学習が完全に解決されなくても、既存のスケーリングとコンテキスト学習だけで経済的に莫大な価値を生み出すAIが実現可能だという見解である。ロボティクス革命についても、AGI実現後1〜2年以内に到来すると予測している。しかし最も重要な指摘は、歴史的に見て革命的変化は起きてから初めて「必然だった」と認識されるという点であり、現在進行中の指数関数的進化を一般の人々がまったく理解していない現状への警鐘である。
AGI実現までのタイムライン
実際に起こったことは何であれ、振り返ってみれば必然的に見えるものです。私たちの中には内心、これが起こる確率を高く見積もっている者もいますが、でも外の世界はそれに基づいて行動していないんです。それに全く基づいて行動していない。もし私たちがそれが起こるまであと1年か2年という地点にいるとしたら、一般の人々は全く分かっていません。
これはAnthropicのCEOであるDario Amodeiの発言です。彼は最近、Dwarkesh Patelのポッドキャストに再び出演しました。そしてDwarkeshは彼のタイムラインについて本当に厳しく質問を浴びせたんです。そして私が注目したのは、彼がどれほど近いと考えているかということだけではありませんでした。Darioが非常に短いタイムラインを持っていることはすでによく知られていますからね。私が注目したのは、彼の予測に対する自信と確信、そしてAIに対する一般の認識を取り巻く彼の正直さでした。
ですから、この会話は非常に洞察に満ちていると思いましたし、皆さんといくつかの最良で最も重要な瞬間を共有したいと思います。それでは見ていきましょう。
なぜ1〜2年なのか、10年ではないのか
さて、エピソードの冒頭に向けたこの最初のクリップで、Dwarkeshは単刀直入にDarioに尋ねます。なぜ彼が考える強力なAIやAGI、あるいは彼がよく言及するデータセンター内の天才の国が、10年ではなく1〜2年以内に来ると考えるのか。
Darioは基本的に、保証されているわけではないが、彼が見ているものに基づけば、それが最も可能性の高いシナリオだと答えています。これをご覧ください。
あなたが示しているフレームワークは明らかに理にかなっていると思います。私たちはAGIに向けて進歩を遂げているということですね。核心は、この時点で今世紀中にAGIを達成するということに誰も異論がないということだと思います。
そして核心は、あなたは指数関数の終わりに達していると言い、他の誰かはこれを見て「ああ、そうだね、私たちは進歩している。2012年から進歩してきて、2035年には人間のようなエージェントを持つことになる」と言うんです。だから私は理解したいんです。あなたが見ているものは何なのか、それがあなたに、明らかに私たちは進化がしたようなこと、あるいは人間が生涯学習で行うようなことをこれらのモデルで見ていて、なぜそれが10年先ではなく1年先だと考えるのか。
実際、私はこれを2つのケースがあるようなものだと考えています。あるいは2つの主張ができるような。そのうちの1つは強く、もう1つは弱いものです。弱い主張から始めると、2019年頃に初めてスケーリングを見たとき、確信が持てませんでした。これは五分五分のことだったんです。私は何かを見たと思いました。そして私の主張は、これは誰もが思っているよりもはるかに可能性が高いというものでした。これはすごいことだ。他の誰もこれを考えさえしないだろう。もしかしたら50%の確率でこれが起こるかもしれない。
あなたが言ったように、10年以内にデータセンター内の天才の国と私が呼ぶものに到達するという基本的な仮説について、私は90%の確率だと見ています。そして90%よりもはるかに高くするのは難しいんです。なぜなら世界は非常に予測不可能だからです。還元不可能な不確実性は、もし95%だったら、複数の企業が内部混乱を抱えて何も起こらず、そして台湾が侵略されて、すべての製造施設がミサイルで吹き飛ばされるような事態に至るかもしれません。そういうシナリオを構築できるわけです。5%の確率でそれが遅れる世界、10年間遅れる5%の世界を構築できます。それが5%くらいでしょう。
もう5%は、私が検証可能なタスクについて非常に確信しているということです。コーディングについては、その還元不可能な不確実性を除けば、1〜2年以内にそこに到達します。10年以内にそこに到達しないはずがありません。エンドツーエンドのコーディングができるようになるという点で。
唯一の不確実性、長期的なスケールでも根本的な不確実性があるとすれば、検証できないタスクについてです。火星へのミッションを計画するようなこと、何か基本的な科学的発見をするようなこと、CRISPRのようなもの、小説を書くようなこと、これらのタスクを検証するのは難しい。
私はほぼ確実に、そこに到達するための確実な道筋があると思っています。でも少しの不確実性があるとすれば、そこです。だから10年については、90%くらいです。これは確信できる限界に近いです。2035年までにこれが起こらないと言うのは狂気だと思います。まともな世界では、それは主流から外れているでしょう。
現代という時代の異常性
そうですね。つまり、私たちが今住んでいる時代はどれほど驚くべきものでしょうか。世界のトップAI研究所の1つのCEOが、10年以内にデータセンター内に天才の国ができると思わないなら頭がおかしいと皆に言っているんです。ほんの数年前にそれを誰かに言ったら、本気で狂っていると思われたでしょう。
今日誰かにそれを言っても、AIをどれだけ密接にフォローしているかによっては、やはり狂っていると思われるかもしれません。さて、彼は言及していますが、これを混乱させる可能性のある地政学的要因があること、そしてAIモデルの汎化、つまり未知の問題を解決する能力がまだ完全には解決されていないということです。
多くの人は、AIが真にAGIになるためには、しばしば継続学習と呼ばれる、その場で学習する能力が必要だと言うでしょう。理論的には、継続学習を解決すれば、AIは十分な時間があれば何でも学習できるからです。人間のように。しかし、私の意見ではさらに驚くべきことは、Darioが、この強力なAIのレベルに到達し、それが経済的に大いに有用になるためには、継続学習さえ必要ないかもしれないと言っていることです。
彼は、必要なのはスケールだけかもしれないと言っています。見てください。
スケーリングだけで十分かもしれない
ここには2つのことがあると思います。まず現在の技術の状態です。再び2つの段階があります。事前学習と強化学習の段階があり、そこでは大量のデータとタスクをモデルに投入して、それらが汎化します。
だからそれは学習のようなものですが、より多くのデータからの学習であって、1人の人間や1つのモデルの生涯にわたる学習ではありません。これは進化と人間の学習の間に位置しています。しかし、一度それらのスキルを学習すれば、それを持っているんです。そして事前学習と同じように、モデルがより多くを知っているように、事前学習されたモデルを見ると、日本の侍の歴史について私よりも多く知っています。野球について私よりも多く知っています。ローパスフィルターや電子工学について、これらすべてのことについて知っています。その知識は私のものよりもはるかに広いんです。
ですから、既存のセットアップのスケーリングだけでも、モデルがすべてにおいてより優れた状態に到達できるかもしれないと思います。そして、私が人間の職場での学習のようなものだが少し弱くて少し短期的だと表現するコンテキスト内学習もあります。コンテキスト内学習を見ると、モデルに多くの例を与えると、コンテキスト内で本当の学習が起こります。100万トークンは多いです。それは人間の学習の数日分になり得ます。モデルが100万語を読むことを考えると、私が100万語を読むのにどれくらいかかるか、少なくとも数日か数週間はかかるでしょう。
だから、これら2つのことがあり、既存のパラダイム内のこれら2つのことだけで、データセンター内の天才の国に到達するのに十分かもしれません。確実ではありませんが、その大部分に到達できると思います。ギャップはあるかもしれませんが、現状のままで、これだけで何兆ドルもの収益を生み出すのに十分だと私は信じています。これが1つ目です。
2つ目は継続学習のアイデアです。単一のモデルが職場で学習するというアイデア。私たちもそれに取り組んでいると思います。そして、今後1〜2年以内にそれも解決できる可能性が高いと思います。それなしでもほとんどの道のりは行けると思います。年間何兆ドルもの市場、私が「技術の青年期」で書いたすべての国家安全保障上の影響と安全性の影響、それらはそれなしでも起こり得ると思います。しかし、私たちや他の人々もそれに取り組んでいると思いますし、今後1〜2年以内にそこに到達できる可能性が高いと思います。
たくさんのアイデアがあります。すべてを詳しく述べることはしませんが、1つはコンテキストを長くすることです。より長いコンテキストが機能しない理由は何もありません。より長いコンテキストでトレーニングし、推論時にそれらを提供できるように学習する必要があるだけです。そしてこれら両方は、私たちが取り組んでいるエンジニアリングの問題であり、他の人々も取り組んでいると想定しています。
継続学習なしでも経済的価値は実現できる
正直なところ、私はこれに同意します。AIが信じられないほど経済的に価値があり、労働市場を大いに混乱させるために、継続学習が絶対に必要だとは思いません。コンテキスト内学習と事前学習、そして一般的な強化学習をスケールアップするだけで、AIは単純にはるかに多くを知り、したがってはるかに多くのことができるようになると思います。
例えば、新しい仕事を始めるとき、実際に最高の能力を発揮し始めるまでに時間がかかる理由は、すべてがまだ新しいからであり、すべてを学び、全員と話すのに時間がかかるからです。しかしAIの場合、すべてを収容でき、実際に効率的に使用できると仮定すれば、最初からそのすべてのコンテキストをプリロードできるんです。
これがコンテキストの長さが非常に重要な理由です。とはいえ、方程式にはまだ何かが欠けていると思います。それが継続学習であれ、特に現実世界に真に汎化する能力であれ、単にさらにスケールアップするだけでは済まないと私は信じています。しかし、また、歴史はそうではないことを示唆しています。
ロボティクス革命のタイムライン
そして現実世界への汎化といえば、ヒューマノイドロボットです。次のクリップで、DwarkeshはDarioにロボティクス革命のタイムラインについて尋ねます。そして驚くことではありませんが、非常に短いものです。これをご覧ください。
データセンター内にこの天才の国ができたら、ロボティクスはその後すぐに解決されると思いますか。ロボティクスの大きな問題は、人間は現在のハードウェアを遠隔操作することを学べるが、現在のAIモデルはできないということのようです。少なくとも非常に生産的な方法ではできない。だから、もし人間のように学習する能力があれば、ロボティクスもすぐに解決されるべきではないでしょうか。
人間のように学習することに依存しているとは思いません。異なる方法で起こり得ます。繰り返しますが、モデルを多くの異なるビデオゲーム、つまりロボット制御のようなもの、または多くの異なるシミュレートされたロボティクス環境でトレーニングできたかもしれません。あるいは単にコンピューター画面を制御するようにトレーニングして、汎化を学習するかもしれません。
だから、それは起こるでしょう。人間のような学習に必ずしも依存していません。人間のような学習はそれが起こり得る1つの方法です。モデルが「ああ、ロボットを拾った。使い方がわからない。それを学習する」ということが起こり得ます。それは継続学習を発見したために起こり得ます。モデルを多くの環境でトレーニングしてから汎化したために起こり得ます。あるいはモデルがコンテキストの長さの中でそれを学習するために起こり得ます。
実際にどの方法かは重要ではありません。1時間ほど前に行った議論に戻ると、そのようなことはいくつかの異なる方法で起こり得ます。しかし、何らかの理由でモデルがそれらのスキルを持っているとき、ロボティクスは革命を起こすでしょう。ロボットの設計においても、モデルが人間よりもはるかに優れているでしょうし、ロボットを制御する能力においても。
だから、物理的なハードウェア、物理的なロボットの構築においてより良くなり、それを制御することにおいてもより良くなるでしょう。では、それはロボティクス産業も何兆ドルもの収益を生み出すことを意味するのか。私の答えはイエスですが、同じ非常に速いが無限に速くはない普及があるでしょう。
だからロボティクスは革命を起こされるでしょうか。ええ、おそらくさらに1〜2年を追加してください。
それが私のこれらの考え方です。
歴史家は振り返って何を見落とすか
そうです、振り返ってみれば、これは明白でしょう。データセンター内にその天才の国があって、彼らが真に天才であれば、ロボットの体を操作するのに問題はないと思います。
そしてここで、彼らは今この瞬間について話し始めますが、歴史的な視点から、ほとんど未来から見ているかのようにです。Dwarkeshは、歴史家がこの時代をどのように振り返ると思うかをDarioに尋ねます。そして彼の答えは正直言って目を開かせるものです。
いつか誰かがこの時代について「原爆の製造」に相当するものを書くとき、歴史的記録から理解するのが最も難しいこと、彼らが見落としやすいことは何でしょうか。
いくつかのことがあると思います。1つは、この指数関数のあらゆる瞬間において、それを外から見る世界がそれを理解していなかった程度です。これは歴史においてしばしば存在するバイアスで、実際に起こったことは振り返ってみれば必然的に見えるというものです。だから、人々が振り返ったとき、必然的ではなかったこのことが起こるという賭けを実際にしていた人々の立場に自分を置くのは難しいでしょう。スケーリングや継続学習が解決されるという私が行うような議論です。
私たちの中には内心、これが起こる確率を高く見積もっている者もいますが、私たちの外にはそれに基づいて行動していない世界があります。それに全く基づいて行動していないんです。そして、その奇妙さ、残念ながらその孤独さです。もし私たちがそれが起こるまであと1年か2年という地点にいるとしたら、一般の人々は全く分かっていません。そして、それが私がメモや政策立案者との対話で変えようとしていることの1つです。でも、それはただただ狂ったことだと思います。
最後に言いたいのは、そしてこれはおそらくほとんどすべての歴史的危機の瞬間に当てはまりますが、それがどれほど絶対的に速く起こっていたか、すべてが一度に起こっていたかということです。
必然性のバイアス
それが本当に私の心に残った部分です。実際に起こることは何であれ、後から見れば必然的に感じられますが、その瞬間にはただ別の会話のように感じられるか、狂ったようなSF的予測を吐き出す別のCEOとのポッドキャストエピソードのように感じられるだけです。ほとんどの人は、それがすでに起こってしまうまで、何が起こっているのか気づかないでしょう。
そして、一度それが起こると、彼らはまるで最初から来ることがわかっていたかのように振る舞うでしょう。それが人間の仕組みです。私たちは信じられないほど速く物事を正常化します。最初は不可能で、次に議論を呼び、次に明白になり、最終的には退屈になります。次のことへ。現在、私たちが指数関数上にいると言うことは、おそらく議論を呼ぶものです。
Darioのような人は明白だと言うでしょうが、AI否定論者を除いて、不可能だと主張している人はいないと思います。でも、そのスペクトルのどこにあなたがいるか、コメントで教えてください。そして、この分析が役に立ったなら、ぜひいいねを押して、チャンネル登録ボタンを押してください。そしていつものように、次の動画でお会いしましょう。
コメント