イリヤ・サツケヴァーは、ディープラーニングの黎明期からAI革命を牽引してきた研究者の一人である。OpenAIの共同創業者として、GPT-3やGPT-4の開発を主導した後、現在はSafe Super Intelligenceという新興企業で超知能の安全な開発に取り組んでいる。本インタビューでは、彼が「スケーリングの時代」の終焉を宣言し、これからはより多くの計算資源ではなく、より多くの研究とアイデアが必要だと主張する。彼の考えるAGIとは、あらゆる仕事をこなせる完成品ではなく、人間のように学習し汎化する能力そのものである。そのようなシステムが経済全体に展開されれば、急速な経済成長と前例のない人間行動の変化が起こると予測する。長期的な均衡を保つためには、人間自身がニューラルリンクなどによってAIと融合する必要があるかもしれないという大胆な見解も示している。彼は真のAGIの到来を今後5年から20年以内と予測しており、その衝撃に備える必要性を訴えている。
イリヤ・サツケヴァーが予測する未来
私が予測していることがあります。AIがより強力になるにつれて、人々は自分たちの行動を変えるでしょう。そして私たちは、今は起きていない、あらゆる種類の前例のない出来事を目撃することになるでしょう。
さて、イリヤ・サツケヴァーをご存じない方のために説明すると、彼は基本的にディープラーニングの設計者の一人です。彼は主にAlexNetでの初期の仕事で知られています。AlexNetは、現代のAI革命全体を事実上キックスタートさせた画期的なニューラルネットワークです。そしてもちろん、彼が共同創業したOpenAIでの時間も有名です。そこで彼はチーフAI科学者として、GPT-3とGPT-4の構築を支援しました。
しかし彼はそこを離れ、今はSafe Super Intelligenceという秘密めいた新興企業を運営しています。彼らの使命は、その名前が示す通りです。超知能を構築し、それを何とかして安全に保つこと。そしてこのドワレシュ・パテルとの最新インタビューで、イリヤは実際に、彼らが取り組んでいることについて稀な洞察を私たちに与えてくれます。
彼はまた、スケーリングの終焉、真の汎化に欠けているピース、AGIが人間の行動をどう変える可能性があるか、そして超知能が実際にいつ到来するかについても語っています。はい、これはかなり重大な内容になりそうです。では始めましょう。
スケーリングの時代の終焉
さて、イリヤがこのインタビューで最初に宣言することの一つは、スケーリングの時代が基本的に部屋の空気を全て吸い尽くしてしまったということです。誰もがただより大きなモデルをスケーリングしているだけです。なぜなら、それが確実に機能すると分かっている唯一のことだからです。
しかし、実際には誰も新しいアイデアを持っていません。彼によれば、私たちが今必要としているのは、より多くの計算資源ではなく、より多くの研究なのです。これをご覧ください。
スケーリングの時代の一つの結果は、スケーリングが部屋の空気を全て吸い尽くしてしまったということです。そう、スケーリングが部屋の空気を全て吸い尽くしたので、誰もが同じことをするようになりました。私たちは、アイデアよりも企業の方が多い世界にいる状況に到達しました。それもかなり多いです。
実際、これに関連して、シリコンバレーには「アイデアは安い、実行が全てだ」という格言があります。そして人々はそれをよく言います。そこには真実があります。しかし、私はTwitterで誰かが言っているのを見ました。「もしアイデアがそんなに安いなら、なぜ誰もアイデアを持っていないのか?」と。それもまた真実だと思います。
研究の進歩をボトルネックの観点から考えると、いくつかのボトルネックがあります。その一つはアイデアで、もう一つはそれを実現する能力です。それは計算資源かもしれませんが、エンジニアリングでもあります。
そう、ボトルネックはもはやGPUではありません。ボトルネックは想像力なのです。
彼はこの直後にAlexNetについても触れ、それがたった2つのGPUを使用して作成されたこと、そして最初のTransformerでさえ数十のGPUでしか構築されなかったことについて話しています。今日、私たちは根本的により強力で効率的な数百万のGPUを持っています。それでも誰もが同じLLMと同じワールドモデルを構築しているのです。
これがイリヤが独自の道を歩むことにした理由の一部です。そして、Safe Super Intelligenceで彼が本当に追求しているものを理解するためには、まず実際のAGIとは何かを理解する必要があります。少なくともイリヤがどう定義しているかを。なぜなら、それはSSIが何に取り組んでいるかについての手がかりを与えてくれるだけでなく、現在のシステムをスケーリングするだけではそこに到達できない理由も説明してくれるからです。
AGIの真の意味
AGIという用語は、なぜこの用語が存在するのでしょうか?これは非常に特別な用語です。なぜ存在するのか?理由があります。私の意見では、AGIという用語が存在する理由は、それが知能のある終点状態を表す非常に重要で本質的な記述子だからというわけではなく、それが存在していた別の用語に対する反応だからです。その用語とは狭いAIです。
もしゲームプレイAI、チェッカーAI、チェスAI、コンピュータゲームAIの古代史に遡ると、誰もが「この狭い知能を見てください。確かに、チェスAIはカスパロフを倒すことができますが、他のことは何もできません。それはとても狭いのです。人工的な狭い知能です」と言っていました。
だから、これへの反応として、一部の人々は「これは良くない。それはとても狭い。私たちが必要としているのは汎用AIだ」と言いました。汎用AI、あらゆることができるAI。そしてその用語が大きな注目を集めました。
2つ目に大きな注目を集めたのは事前学習です。具体的には、事前学習のレシピです。現在人々がRLを行っている方法は、おそらく事前学習の概念的な刷り込みを元に戻しているのかもしれません。
しかし、事前学習には特性がありました。より多くの事前学習を行うと、モデルはあらゆることで多かれ少なかれ均一に良くなります。汎用AI、事前学習がAGIを与えます。しかし、AGIと事前学習で起こったことは、ある意味でそれらが目標をオーバーシュートしてしまったということです。
なぜなら、AGIという用語について考え、特に事前学習の文脈で考えると、人間はAGIではないことに気づくでしょう。確かに、スキルの基盤はあります。しかし人間には膨大な量の知識が欠けています。その代わり、私たちは継続学習に頼っています。私たちは継続学習に頼っているのです。
だから、成功を達成し、ある種の安全な超知能を生み出したとしましょう。問題は、しかしどうやってそれを定義するのか?継続学習の曲線のどこにそれは位置するのか?
超知能を持つ15歳を生み出すとして、その子はとても熱心で、彼らは多くを知りません。優秀な学生で、とても熱心です。「さあ、プログラマーになりなさい、医者になりなさい、行って学びなさい」と言います。だから、展開自体がある種の学習と試行錯誤の期間を含むことを想像できます。それは完成品をただ投下するのではなく、プロセスなのです。
これは考える完璧な方法だと思います。AGIは、すぐに全ての仕事ができる魔法のような完成品ではありません。AGIは学習能力そのものです。人間がするように真に汎化する能力。それが欠けているピースであり、彼が解決しようとしているものです。
では、そのようなシステムを手に入れたら、人間のように何でも学習できるシステムを、しかし明らかにもっと速く、シリコンだから、そして並列的に、瞬時に。それは何を意味するのでしょうか?何が起こるのでしょうか?
知能爆発の可能性
ドワレシュは実際に2つの潜在的なシナリオを提示します。一つは再帰的自己改善を含むもの、もう一つは知能爆発です。そしてイリヤは実際に、両方が起こりそうだと同意し、このようなシステムが世界にどのような影響を与えるかについて、彼自身の予測を共有しています。かなり凄いです。見てみましょう。
それは人間の労働者が組織に加わるのと同じように世界に展開されます。そして、これら2つのうちどちらかが起こりそうです。もしかしたらどちらも起こらないかもしれません。
一つは、この超効率的な学習アルゴリズムが超人的になり、あなたと同じくらい良くなり、潜在的にはML研究のタスクにおいてさらに良くなる可能性があります。その結果、アルゴリズム自体がますます超人的になります。
もう一つは、それが起こらなくても、単一のモデルがあれば、これは明確にあなたのビジョンですが、単一のモデル、または経済全体に展開されたモデルのインスタンスがあり、異なる仕事をし、それらの仕事のやり方を学び、仕事をしながら継続的に学習し、人間が習得できる全てのスキルを習得しますが、実際にはそれらを全て同時に習得し、その学習を統合します。
基本的に、ソフトウェアでの再帰的自己改善の類なしに、機能的に超知能になるモデルを持つことになります。なぜなら、今や経済の全ての仕事ができる単一のモデルがあり、人間は同じように私たちの心を融合できないからです。だから、広範な展開から何らかの知能爆発を期待しますか?
急速な経済成長が起こる可能性は高いと思います。広範な展開について、対立する2つの議論ができます。一つは、確かに、実際に物事を素早く学習できるAIを手に入れ、それらがたくさんあれば、それらを経済に展開する強い力が働くでしょう。それを止める何らかの規制がない限り。ちなみに、それはあるかもしれません。
しかし、ある期間の非常に急速な経済成長という考えは、広範な展開から非常に可能だと思います。もう一つの質問は、それがどれくらい急速になるかです。これは知るのが難しいです。なぜなら、一方では、この非常に効率的な労働者がいます。
他方で、世界は本当に大きく、たくさんのものがあり、そのものは異なる速度で動きます。しかし、一方で、今やAIができるので。だから、非常に急速な経済成長は可能だと思います。そして私たちは、異なる国が異なるルールを持つような、あらゆる種類のことを目にするでしょう。より友好的なルールを持つ国では、経済成長がより速くなるでしょう。
真のAGIシステム、基本的に人間ができることを何でも学習できるシステムの広範な展開から、急速な経済成長が生じるかもしれないとあなたに言うのに天才は必要ないと思います。しかし、そのシステムを最初に構築するには天才が必要です。
そしてイリヤは、今AGIに取り組んでいる研究者でさえ、自分たちが作り出しているものを完全には理解していないと主張します。彼は、私たちが急速な成長を見るだけでなく、完全に前例のない人間行動の劇的な変化を見ると考えています。
彼はそれが実際にどのようなものかについて、いくつかの例を挙げ、政府や企業がどう反応するか、そして後には、私たちがいつこれを見始めるかについてのタイムラインさえ提供しています。
前例のない変化の予測
そして私は主張します。AIに取り組んでいるほとんどの人々も想像できないと思います。なぜなら、それは人々が日常的に目にするものとあまりにも違うからです。
私が予測していることがあります。それは予測です。私が主張するのは、AIがより強力になるにつれて、人々は自分たちの行動を変え、私たちは今起きていない、あらゆる種類の前例のない出来事を目にするだろうということです。いくつか例を挙げましょう。
良くも悪くも、フロンティア企業は起こることにおいて非常に重要な役割を果たすと思います。政府もそうです。私たちが目にすると思う種類のことは、その始まりを見ているものですが、激しい競争相手である企業がAIの安全性について協力し始めることです。
OpenAIとAnthropicが最初の小さなステップを踏んだのを見たかもしれませんが、それは存在しませんでした。これは実際に私が約3年前の講演の一つで予測したことです。そのようなことが起こると。
また私は、AIが力を持ち続け、より目に見えて強力になるにつれて、政府や国民から何かをしたいという欲求もあるだろうと主張します。そして、これはAIを示すという非常に重要な力だと思います。それが第一です。
第二に、では、AIが構築されているとして、何をする必要があるのか。私が主張する起こることの一つは、今AIに取り組んでいる人々は、AIがその間違いのために強力に感じられないということです。
ある時点で、AIは実際に強力に感じられ始めると思います。そしてそれが起こったとき、全てのAI企業が安全性にアプローチする方法に大きな変化が見られるでしょう。彼らははるかに用心深くなるでしょう。
これは起こると見られる予測として言っています。私が正しいかどうか見てみましょう。しかし、これは起こると思うことです。なぜなら、彼らはAIがより強力になるのを見るからです。
今起こっていることは全て、人々が今日のAIを見て、未来のAIを想像するのが難しいからだと私は主張します。そして起こる必要がある3つ目のことがあります。これについて、SSIの視点からだけでなく、より広い意味で話しています。なぜなら、あなたは私たちの会社について尋ねたからですが、問題は、では企業は何を構築することを目指すべきかということです。
企業は何を構築することを目指すべきでしょうか?そして一つの大きなアイデアがありました。実際に誰もがロックされてきたアイデアがあります。それは自己改善するAIです。なぜそれが起こったのか?企業よりもアイデアが少ないからです。
しかし私は、構築するのにより良いものがあると主張します。そして、実際に誰もがそれを望むだろうと思います。それは、感覚ある生命について気にかけるように、堅固に整合されたAIです。特に。
特に、人間の生命だけについて気にかけるAIよりも、感覚ある生命について気にかけるAIを構築する方が簡単だという主張があると思います。なぜなら、AI自体が感覚を持つようになるからです。
ミラーニューロンや動物に対する人間の共感について考えてみてください。それは十分に大きくないと主張するかもしれませんが、存在しています。私は、それが私たち自身をモデル化するために使用するのと同じ回路で他者をモデル化するという事実から生じる創発的特性だと思います。なぜなら、それが最も効率的なことだからです。
だから、はい、物事は急速に変化するでしょう。そしてイリヤは、まだ未解決のままである整合性の問題に簡単に触れ、AIに感覚ある生命、特に人間の生命ではなく、ただ感覚ある生命について気にかけることを教えるという潜在的な解決策を提案しました。
しかし彼は、これはおそらく最善の解決策ではなく、長期的には問題になる可能性があることを認めています。最終的に、彼は、人類がこれから来るものを生き残り、この世界で主体性を保持できる唯一の方法は、AIと融合することだと信じています。これを見てください。
人間とAIの融合
感覚ある生命について気にかけるAIが好きな理由の一つは、それが良いか悪いかについて議論できますが、もしこれらの劇的なシステムの最初のNが実際に人類を愛するように気にかけるなら、感覚ある生命について気にかけるなら。明らかに、これも達成される必要があります。これは達成される必要があります。
だから、もしこれがそれらのシステムの最初のNによって達成されるなら、少なくともかなりの期間はうまくいくと思います。そして長期的に何が起こるかという問題があります。長期的にどのように均衡を達成するか。
そして、答えもあると思います。この答えは好きではありませんが、考慮される必要があります。長期的には、強力なAIが存在する世界があるとしましょう。短期的には、ユニバーサルハイインカムがあると言えます。ユニバーサルハイインカムがあり、私たちは皆うまくやっています。
しかし、仏教徒が何と言うか知っています。変化だけが唯一の定数です。だから物事は変化し、ある種の政府の政治構造があり、それは変化します。なぜなら、これらのものには賞味期限があるからです。
新しい政府のものが現れ、機能し、そしてしばらくすると機能しなくなります。それは常に起こっているのを見ることです。だから、長期的な均衡のために、一つのアプローチは、全ての人が自分の命令を実行するAIを持つようにすることだと言えます。それは良いことで、それが無期限に維持できるなら真実です。
しかし、それの欠点は、そうすると、AIが行って、お金を稼ぎ、その人のために稼ぎ、政治的な領域で彼らのニーズを主張し、そして小さなレポートを書いて「これが私がしたことです。これが状況です」と言い、その人は「素晴らしい、続けてください」と言いますが、その人はもはや参加者ではありません。
そして、それは不安定な場所にいることだと言えます。だから、これは好きではない解決策だと前置きしますが、それは解決策です。そして解決策は、もし人々がある種のニューラルリンク++で部分的にAIになるならです。
なぜなら、その結果として何が起こるかというと、今やAIが何かを理解し、私たちもそれを理解するようになるからです。なぜなら、今や理解が丸ごと伝達されるからです。だから今、AIがある状況にいるなら、それはあなた自身が完全にその状況に関与しているようなものです。これが均衡への答えだと思います。
そう、これは不安でもあり、ある意味エキサイティングでもあります。つまり、脳インプラントを得ることへの誰もの最初の反応は、絶対にやらない、です。しかし、もしAGIが経済に展開され、何でも学習でき、24時間365日働き、睡眠も給料も必要としないシステムがあるなら、追いつく唯一の方法は実際にシステムの一部になることかもしれません。
基本的に、もし彼らに勝てないなら、彼らに加わるのです。そして、実際にいつこれについて心配する必要があるか知りたいなら、イリヤの個人的なタイムラインがここにあります。
超知能到来のタイムライン
予測といえば、人間と同様に学習でき、その結果として超人的になる、あなたが説明しているこのシステムへの予測は何ですか?
5年から20年だと思います。5年から20年。
はい。だから、これがインタビューの本質です。イリヤは、スケーリングの時代は終わり、研究の時代が戻ってきたと信じています。彼にとって真のAGIは、すでに全ての仕事のやり方を知っているものではありません。それは人間のように、しかしはるかに速く、あらゆる仕事を学習できるものです。
それが彼がSSIで構築しようとしているものであり、彼はそれが非常に変革的であることを知っています。私たちが関連性を保つ唯一の方法は、それと融合することかもしれません。
では、皆さんはこれ全てについてどう思いますか?私はコミュニティからこのインタビューへの複雑な反応を見ました。彼が何も具体的なことを明らかにしなかったことに苛立っている人もいましたが、もし本当に注意を払えば、彼は基本的に彼らが取り組んでいることを正確に概説しています。
そして、このブレークダウンでそれを明確に捉えられたことを願っています。ご視聴ありがとうございました。何か得るものがあったことを願っています。ぜひいいねを押して、チャンネル登録ボタンを押してください。そして、いつものように、次の動画でお会いしましょう。
コメント