45,494 文字
これらのモデルが持つ知識の膨大な規模について考えてみてください。実に驚くべきことに、AIから生まれる革新的なものが何もないのです。推論モデルが人間の数学者にとって少しでも面白いと思われるような数学概念を生み出したことがあるでしょうか？私はそれを見たことがありません。知性はボトルネックではないのです。現実世界との接触や実験、実装からデータを大量に得ることが劇的な影響を与えます。現実世界には膨大な豊かさと細部があり、単に推論するだけではわからないのです。見る必要があります。
今日は、以前Epoch AIを運営し、現在はすべての仕事を自動化することに特化した会社「Mechanize」を立ち上げているタメイ・ベシログルとエゲイ・エリドとお話しています。タメイ、あなたが最近指摘した興味深いポイントの一つに、知能爆発という考え全体が間違っているか誤解を招くというものがありました。その点について説明してくれますか？
そうですね、それはあまり有用な概念ではないと思います。それは産業革命を「馬力爆発」と呼ぶようなものです。確かに産業革命の間に物理的なパワーが劇的に加速したのは事実ですが、成長や技術変化の加速を説明する上で同様に重要かもしれない他の多くの要素があります。
産業革命について「馬力」の視点では見落としてしまう広範な要素を特徴づける方法は何でしょうか？
産業革命の場合、経済のさまざまな部門に対する一連の補完的な変化がありました。農業、交通、法律と金融、都市化と農村部から都市への移住などがありました。同時に起こった多くの異なる革新が、私たちの社会を経済的に組織する方法の変化をもたらしました。馬力が増えただけではなく、それは一部でしたが、産業革命を考える上で中心的に焦点を当てるべきものではありません。
同様に、AIの発展においても、非常に賢いAIシステムがたくさん登場するでしょうが、それは移行や成長の加速、技術的変化の理由を説明する多くの異なる要素の一つに過ぎないでしょう。
その広範な変革についてあなたがどう考えているかをもっと理解したいと思います。もう一つ興味深いのは、あなたのAGI（汎用人工知能）の到達時期に関する見解です。AIについて考えるサンフランシスコの人々の多くよりも長期的な時間軸を持っていますね。リモートワーカーの代替が急速に進む時期はいつ頃だと予想していますか？
私の場合は2045年頃だと思います。
ええ、待ってください。私はもう少し楽観的です。ただ、「リモートワーカーの代替」が「文字通りリモートで行えるすべてのことができる」のか、あるいは「ほとんどのことができる」のかによって異なります。
文字通りすべてのことができるようになる時期については、予測を5年または20％ほど調整すると良いでしょう。
なぜなら、この数年間でも非常に多くの進歩を見てきました。わずか2年前のChatGPTから、今や文字通り推論できるモデルがあり、私よりもコーディングが上手です。私は大学でソフトウェア工学を学びましたが、今はポッドキャスターになっています。世界最高のコーダーとは言いませんが、ここ2年でこれだけの進歩があったのに、リモートワークの完全自動化までにさらに30年もかかるとは考えにくいのではないでしょうか。
そうですね、多くの人がAIの進歩は非常に速いという直感を持っています。彼らはトレンドラインを見て、単純に外挿して「2027年か2030年頃に実現するのは明らかだ」と考えています。しかし、それは文字的に行えることではありません。完全自動化に到達する時期を直接外挿できるようなトレンドはないのです。AIによって実際に自動化されている経済の割合を見ると、それは非常に小さいものです。
そのトレンドを外挿すると、ロビン・ハンセンが好んで行うように、完全自動化までに何世紀もかかると言うことになります。私たちはその見解には同意しませんが、これを考える一つの方法として、AIシステムが非常に広範な経済的影響（成長率が10倍など）を持つために必要な核となる能力やコンポーネントはいくつあるのか、そして過去10年、15年の間にどれだけのことを達成したのかを考えることができます。
また、私たちは計算中心的な見方をしています。イーゲイが言及しているのは、過去10年間のAI進歩を見ると、約9〜10桁の計算能力を通過してきたことで、様々な能力が解き放たれたということです。初期の時期、2015年から2020年頃には、特定のゲームや非常に複雑なゲームでのプレイを解決し、碁やチェス、Dotaなどを攻略していました。それから、大規模言語モデルによって洗練された言語能力が解き放たれ、おそらく高度な抽象的推論やコーディング、数学などの能力も解き放たれました。
これらの大きな能力が過去10年間で解き放たれましたが、それは約3年ごと、あるいは計算能力のスケーリングの3桁ごとに1回程度起こっていました。そこで、人間の能力と全面的に一致するAIシステム、特にリモートワークタスクにマッチするシステムを実現するために、さらにどのような能力を解き放つ必要があるか考えてみると、おそらく長期的な一貫性、エージェンシーと自律性、あるいは人間のような完全なマルチモーダル理解などが必要かもしれません。
それがどれくらいの時間がかかるかを考えると、以前の能力解放は約3年ごとに1つ得られていました。しかし、その期間は計算量の急速なスケールアップと一致していました。アレクサネット以来、今日の最大モデルと比較して約9〜10桁の計算量を通過しました。今や計算能力をスケールアップすることがますます困難になっています。
私たちはエネルギーやGPU生産などの制約を分析しましたが、それによると残されたスケーリングは3〜4桁程度で、そうなるとデータセンターやエネルギーインフラ、製造設備の構築に世界の産出量のかなりの部分を費やすことになります。
これは既にGDPの2％を占めていますね？
現在はそれ以下です。また、現在のほとんどはAIチップに向けられているわけではなく、TSMCの能力のほとんどはモバイルフォンチップなどに向けられています。最先端技術でさえ、かなり小規模です。
これは、追加の能力を解き放つためにはもっと多くの計算スケーリングが必要かもしれないことを示唆しています。そして、経済としてそのスケーリングを持続できるかという疑問があります。
しかし、あなたはモデルを使用すると、それがほぼ完成しているような印象を受けるという直感を持っているようですね。AIと話していることを忘れてしまうほどだと。
何が「ほぼ完成している」というのですか？例えば、私はClaudeに「このカップを取って向こうに置いて」とは頼めません。
リモートワークですよ。
リモートワークでさえ、現在のコンピュータ使用システムは飛行機のチケットさえ適切に予約できません。
2026年末までにそれができるようになったら、どれくらいの更新になりますか？
私は今年の終わりまでにそれができるようになると思いますが、それは非常に小さなことです。誰も飛行機のチケットを予約するだけの仕事で給料をもらっていません。
これは重要なポイントです。多くの人は経済の仕事を見て「その人の仕事はXをするだけだ」と考えますが、それは真実ではありません。それは仕事の一部かもしれませんが、実際に仕事の時間のうちそれに費やす割合はとても小さいものです。
旅行代理店を例にすると、彼らはホテルや飛行機の予約をするだけだと思われていますが、実際にはそれが仕事のほとんどではありません。そのためそれを自動化しても仕事全体を自動化することにはならず、経済に大きな影響を与えることもないでしょう。
これは実際に、より楽観的な人々と私たちを分ける重要な世界観の違いです。彼らは経済における仕事がある意味でもっと単純だと考えており、完全に自動化するには必要な能力がはるかに少ないと思っています。
私たちの友人レオポルドは「アンホブリング（制約の解除）」という見方をしています。彼らは基本的に「赤ちゃんAGI」のようなもので、テキストだけでトレーニングしたり、SlackやGmail環境を理解するために必要なトレーニングデータを与えなかったりするなど、私たちが人為的に課す制約によるものだと考えています。
あるいは、推論時間のスケーリングの前に、彼らが言うことについて熟考する機会を与えなかったり、プロンプトの文脈が数分程度の情報しか与えていないなど、実際の仕事に関わる文脈についての情報を与えなかったりするなど。
こうした制約が、小さな知能がより生産的になる可能性を阻んでいるというわけです。これは、完全に新しい知性の能力よりも「アンホブリング」の方が解決しやすいことを示唆していますが、このフレームワークについてどう思いますか？
5年前にも同様のポイントを指摘できたでしょう。AlphaZeroを見て、ここにミニAGIがあるとし、テキストでトレーニングしたり、すべての文脈を与えたりすることで「アンホブル」すれば良いと言えたかもしれませんが、それは実際にはうまくいかなかったでしょう。これらのモデルの能力を獲得するためには、トレーニング方法を根本的に考え直す必要があります。
ここ数年の驚くべき点は、インターネットの事前トレーニングされたコーパスから始めて、実際に容易であるということです。ChatGPTはこの「アンホブリング」の例で、チャットボットのように会話するよう後処理に費やした計算の1％でその能力をかなり高めることができました。それなら、なぜエージェンシーも同様だと考えないのでしょうか。
推論も同様の例で、現在のモデルでRLに費やされる計算量は全体の計算量のごく一部です。推論は複雑に見えますが、計算の1％を費やすだけでそれが得られます。なぜコンピュータの使用や長期的なエージェンシーも同様のことだと考えないのでしょうか？
推論が簡単で、それほど多くの計算量を必要としなかったと言うとき、それは今日の私たちの立場からは確かにそうかもしれません。しかし、2015年に推論モデルを構築することを誰かに頼んだら、それは乗り越えられないように見えたでしょう。何万台ものGPUでモデルをトレーニングする必要があり、彼らがいた場所から各桁のスケーリングごとに解決すべき新しい課題がありました。
実際に推論モデルとしてトレーニングできる知識を持つモデルを訓練するには、インターネットスケールまたは何兆もトークンのデータを生成する必要がありました。モデルをより効率的に推論し、蒸留する必要もあるかもしれません。というのも、それが非常に遅いと、推論モデルはあまり役に立たないからです。
ある意味、過去5年間で構築してきた技術の大きなスタックの上に立つ私たちの視点からは簡単に見えますが、当時は非常に難しかったでしょう。エージェンシーの部分も同様の意味で簡単かもしれないと私は考えています。5年後や3年後には、何がエージェンシーを解き放ったのかを振り返り、それは比較的単純に見えるかもしれません。
しかし、モデルがコンペタントなエージェントになることを学ぶことを可能にする補完的な革新の量は、非常に困難で、年単位の革新とハードウェア、スケーリング、その他の様々な改善を要したかもしれません。
2015年と現在の違いについて、2015年に推論を解決しようとしていた場合、出発点となるベースがなく、おそらく形式的証明手法のようなものを試していたかもしれませんが、立脚する土台がありませんでした。今は実際にそれを持っています。事前トレーニングされたベースモデルと、足場、ポストトレーニング、RLなどの技術があります。
これらが今、より広い知性の基礎として、AlphaGoが今の私たちにとってそうであるように、将来から見られることに懐疑的なようですが、なぜでしょうか？言語モデルが現在のように、私たちが大きな欠けている部分を手に入れたと考えて、今は単にその上に物事を積み重ねているだけだと考えない理由は何ですか？
それを信じる理由は何でしょうか？AlphaGoやAlphaZeroを見ることができました。当時それらは非常に印象的に見えましたが、ゼロから人間の知識なしでゲームをプレイすることを学んでいました。当時、多くの人を感心させましたが、それを数学に応用しようとしたり、他の領域に応用しようとしたりしても、うまくいきませんでした。数学に関して能力の高いエージェントを得ることができませんでした。
現在の形のモデルでも同じことが起こる可能性があります。推論のために人々が行ったのと同じことをエージェンシーのために試みようとしても、うまくいかない可能性があります。2026年末までにエージェント的なコンピュータ使用が可能になるとしていましたが、これは飛行機の予約ができることと、人間のような完全なエージェント的コンピュータ使用は非常に異なります。
コンピュータで行うその他のことは、飛行機の予約のようなことで構成されていると言えますが、これらは切り離された課題ではありません。それは「あなたが世界で行うすべてのことは、あなたが体の一部を動かし、舌を動かし、頭を回すだけだ」と言うようなものです。個々にはそれらは単純かもしれませんが、それらをどのように組み合わせるのかが重要です。
二つの非常に異なる証拠があります。一つは、私たちが非公式に話していたMeter Evalで、特定の種類のタスクにおけるタスクの長さが、人間が10分や1時間、4時間かかるようなことをAIが行う能力を示しています。対応する人間のタスクの時間の長さで見ると、これらのモデルは7ヶ月ごとにタスク長を倍増させているようです。
この曲線を外挿すると、2030年頃には人間が1ヶ月や1年かかるタスクを実行できるようになり、タスクの長期的な一貫性と実行は根本的に知能が何であるかというものです。この曲線はそこに近づいていることを示唆しています。
もう一つの証拠は、私自身の心がこのように機能しているように感じることです。私は簡単に気が散り、長期的な計画を頭の中に保つのは少し難しいです。私はこれらのモデルよりも少しだけ優れていますが、それほど違いがないように見えます。
私は推論が本当に複雑なことだと推測していましたが、MCTSの「待って、これを別の方法で考えてみましょう」といった10トークン分を学ぶようなものだけで思考の連鎖だけでこのブーストが得られるようです。知性が私たちが思っていたよりも単純である可能性があり、エージェンシーもこのように単純かもしれません。
推論は人々が思っていたほど難しくないという期待があった理由があると思います。なぜなら、AIが非常に早い段階で解決したタスクの多くは、様々な種類の複雑な推論のタスクだったからです。それは人間が数学の問題を解くときの推論の種類ではなかったかもしれませんが、1950年以来のAIの主要なマイルストーンを見ると、その多くは複雑な推論に関するものです。
チェスは複雑な推論タスクと言えますし、囲碁も複雑な推論タスクと言えます。長期的なエージェンシーの例もあります。スタークラフトで勝つことは、意味のある期間にわたってエージェント的であることの例です。
その場合の問題は、それが非常に特定の狭い環境だということです。囲碁やチェスをプレイすることも一定量のエージェンシーを必要とすると言えますが、それは非常に狭いタスクです。それは、特定の非常に特定の種類の画像や特定のビデオフィードなどに反応できるソフトウェアシステムを構築した場合、一般的な感覚運動スキルの自動化に近づいていると言うようなものです。
しかし、一般的なスキルは非常に異なるものです。私たちはまだAIモデルが今年リリースされたSteamの一般的なゲームを取り、そのプレイ方法を知らずに、ただプレイするというところから非常に遠いようです。実際、ほとんどのゲームは人間にとってそれほど難しくありません。
Claude-basedのポケモンはどうですか？ポケモンでトレーニングされていないと思います。
それは興味深い例です。確かに明示的にポケモンレッドをプレイするためのRLはされていませんでしたが、モデルはポケモンレッドをどうプレイするかを明らかに知っています。インターネット上にはポケモンレッドに関する膨大な資料があるからです。
実際、ポケモンレッドをプレイしていて、何をすべきかわからなくなった場合、Claudeに「マウントムーンで行き詰まっています。何をすべきですか？」と尋ねることができ、おそらくかなり適切な答えを提供できるでしょう。しかし、それでも48時間もマウントムーンで立ち往生してしまうことがあるのです。
明示的な知識を持っていても、実際にゲームをプレイするとき、その知識を反映した行動をしないという非常に興味深いことです。必要なのは明示的な知識を実際の行動に結びつけることだけです。
それは簡単なことでしょうか？事前トレーニングからゲームに関する知識を活用して、ある程度有能になることができるならば、それは証拠になると思います。同じ活用で、彼らは能力の同様のレパートリーを持つことになるでしょう。人間が今まで見たことのあるスキルについて、すべて読んだことがあるなら…
人間が持っているスキルの多くは、私たちが非常に良いトレーニングデータを持っていないものです。
そうですね、その通りです。
次の数年間で、「いや、私は間違っていた。これは最後の解放だったのであり、今は単に細部を磨き上げるだけの問題で、あえて言えば知能爆発を引き起こすものが得られる」と思わせるものは何でしょうか？
非常に長いコンテキストのこと、マルチモーダル能力を意味のある方法で使用し、それを推論やその他のタイプのシステムと統合する能力、そして長い地平線にわたって行動を起こし、人間が完了するのに非常に長い時間がかかるタスクを達成する能力を示すものが、ソフトウェア環境だけでなく、非常に広く見られることです。
例えば、Steamから任意のゲームをダウンロードするような、以前見たことがなく、トレーニングデータもあまりないもの、おそらくトレーニングカットオフ後にリリースされたものであり、チュートリアルや以前のバージョンのゲームについてインターネット上で議論されていないようなものであっても、そのゲームを達成し、実際にそのゲームを最後までプレイし、人間にとって挑戦的なさまざまなマイルストーンを達成することは、大きな更新になるでしょう。
他にも更新される可能性のあるものがいくつかあります。例えば、OpenAIが現在よりもはるかに多くの収益を上げること、少なくとも1000億ドルの収益を上げることは、彼らの契約によればAGIとしてマークするのに十分です。それが起こったとしても、私にとってはそれほど大きな更新ではありません。本当の更新は5000億ドルの収益があった場合でしょう。その場合は確かにかなり更新されるでしょう。しかし1000億ドルは私にとっては結構ありそうです。終わりまでに40％くらいの確率を割り当てるかもしれません。
しかし、これは何なのでしょうか？生産者余剰の観点から1000億ドルの価値があるシステムがあり、これとアルファゼロとの違いは、アルファゼロは市場で1000億ドルを稼ぐことは決してないということですよね？
知能とは何でしょうか？それは目標を有用に達成できる何かであり、人々がそれに1000億ドルを支払う意思があるならば、それはいくつかの目標を達成しているという非常に良い証拠ではないでしょうか？
人々はあらゆる種類のものに1000億ドルを支払いますよね？それ自体は、それが変革的になるという非常に強い証拠ではありません。人々は石油に何兆ドルも支払いますが、石油は変革的なものではありません。これは非常に基本的なポイントのように思われますが、誰かがあなたに何かのために多くのお金を支払うという事実は、それがアンホブルされさえすれば世界経済を変革するということを意味するものではありません。それは非常に異なる主張です。
多くのB2Bソフトウェア企業は、最初に自己サービスの消費者グレードの製品を構築することから始めます。それは最初は問題ありませんが、最終的には企業向けにする必要があります。過去10年間で最も成功し持続可能なソフトウェア企業はすべてこの移行を行いました。しかし、企業向けに準備するには、シングルサインオン、ロールベースのアクセス制御、包括的な監査ログなどが必要ですが、これらは実際にはかなり複雑で退屈な構築作業であり、バグや厄介なエッジケースが発生しやすいです。これらの機能には多くのエンジニアリング時間と資本がかかり、本来はコア製品に費やすべきものです。例えば、Slackのプロダクトマネージャーの一人は、これらの機能の構築に3000万ドルを費やしたが、まだ半分しか完成していなかったと述べています。
ここでWork OSの出番です。Work OSはVerscell、Plaid、Vanta、OpenAIなどの何百もの企業が企業向けになるのを支援しました。すべてのこれらの一般的な機能を統合するためのAPIを提供しています。詳細を知りたい場合は、workos.comにアクセスして、私が送ったと伝えてください。
さて、これで知能爆発の話に戻りましょう。
人々が言うのは、リモートワークを自動化するために必要なもの、あるいは人間の労働全般を自動化するために必要なすべてを自動化する必要はないということです。必要なのは、より賢い知能を作るために必要なR&Dサイクルを完全に閉じるために必要なものを自動化することだけです。そして、これを行えば、非常に急速な知能爆発が得られ、その爆発の最終製品はAGIだけでなく、潜在的には超人的な何かになります。
これらはコーディングに非常に優れており、推論などのようなことにも優れています。AIラボでのR&Dを自動化するために必要と思われるような種類のことに優れています。この論理をどう思いますか？
彼らの能力プロファイルを見ると、経済の中のランダムな仕事と比較すると、R&Dに関わるようなコーディングタスクをより上手く行うことができますが、絶対的な意味では、それほど優れているとは思いません。
人間のコーダーについて私たちが感銘を受けるような部分では優れているかもしれません。本当に印象的なコーダーとは何かを見るとき、競技プログラミングのパフォーマンスを見るかもしれません。実際、企業は比較的若い人材の場合、このような問題のパフォーマンスに基づいて採用することがよくあります。しかし、それは人間の分布の中で印象的なだけです。研究者であるプロセスを自動化するために実際に必要なスキルを絶対的な観点から見ると、AIシステムが実際にこれらのスキルをどれだけ持っているかというと、コーディングでさえも、多くのコーディングは非常に大きなコードベースを扱い、指示は非常に曖昧で、明確な評価指標がある評価のために必要なものはすべて比較的コンパクトで閉じられたものでなければならないMeter Evalのようなものとは違います。
例えば「このモデルを取り、このデータセットでの損失をできるだけ低くしてください」や「このモデルの埋め込み行列がスクランブルされているので、元のパフォーマンスの大部分を回復するように修正してください」などです。これらはR&Dで実際に取り組む問題ではなく、非常に人工的な問題です。
もし人間がこれらの問題を解決するのが上手ければ、その人間が実際に良い研究者である可能性が高いと論理的に推測できますが、AIがそれらをできるとしても、AIは人間が持つであろう多くの他の能力を欠いています。それは研究者だけでなく、普通の人間でさえも、研究のプロセスで考慮しないような能力です。
私たちの見解は、研究の自動化は人々が考えるよりも困難であり、現在のモデルが表示しているよりもはるかに多くのスキルが必要だということです。その上、研究プロセスを自動化したとしても、多くのソフトウェアの進歩は認知的努力だけでなく、計算能力のスケーリングによって推進されてきたと考えています。
より多くのGPUを持ち、より多くの実験ができ、より多くのものを書くことができ、実験をより大きなスケールで行うことができる、これが非常に重要な推進力です。10年前や15年前に、10〜15年後に重要になるソフトウェアの革新を予測しようとしたとしても、非常に困難だったでしょう。おそらく、はるかに豊富な計算能力とその時点までに人々が学んだであろうすべてのことから見て、正しい種類の革新を考えることさえできなかったでしょう。
これが私たちの見解の2つの要素です。研究は人々が考えるよりも難しく、計算能力に大きく依存しています。
AIのR&Dに関連する、分類器のトレーニングやデバッグとは非常に異なる種類のタスクの例を挙げていただけますか？
例えば、将来の革新のために非常に有用な新しい革新を導入することかもしれません。問題について考える新しい方法や新しい概念を導入することかもしれません。
数学の例として、現在の推論モデルは数学の問題を解決することに非常に優れています。短期的なホライズンでは非常に優れているわけではありませんが、私や多くの大学生よりも確かに優れています。そのようなことはよくできますが、数学の進歩を作るのに役立つ新しい概念的スキームを考え出すことはあまり得意ではありません。
非常に乱雑なコンテキストから整然と切り出せる問題を解決し、そこで多くの進歩を遂げることはできますが、はるかに乱雑なコンテキスト内では、後で大きな革新を可能にする増分的な進歩を構築するために特に有用な方向性を見つけ出すことはあまり得意ではありません。
このより大きなコンテキストと、より長期的なホライズン、はるかに曖昧な最適化対象について考えることは、そのような種類のことに対してはるかに劣っています。
興味深いのは、これらの推論モデルを見ると、特に大きなモデルはある意味で人間よりも文字通りに多くのことを知っています。その知識の上に推論能力を解き放ち、それがこれらの問題の多くを解決できるようにしていると思います。
しかし、実際に彼らが問題にアプローチする方法を見ると、私たちが彼らの行うことに感銘を受ける理由は、私たちの知識が非常に限られており、モデルは人間とは根本的に異なる方法で問題にアプローチしているからです。人間はもっと限られた知識を持ち、その知識の欠如のためにより創造的である必要があります。
一方、モデルは非常に多くのことを知っています。例えば、1850年からの特定の定理を知る必要があるような難解な数学の質問をすると、それが大きなモデルであれば、その知識を持っています。そのため、問題へのアプローチの難しさのプロファイルが非常に異なります。
推論モデルのアプローチを見ると、通常は創造的ではありません。彼らは彼らが持つ知識を非常に効果的に活用することができ、それは極めて膨大であり、それがさまざまな面で非常に効果的にするのですが、推論モデルが人間の数学者にとって少しでも興味深いと思われるような数学概念を考え出したことがあるのかと問うかもしれません。私はそれを見たことがありません。
彼らが存在しているのはわずか6ヶ月ですが、それは長い時間です。多くの人がそれを使ってきました。一人の数学者がその時間でできた作業量と比べると、彼らが数学に関して生成したトークンの数は何桁も少ないですね。
そうですね、そうです。そしてここで強調したいのは、これらのモデルが持つ知識の膨大な規模について考えてみてください。人間の視点から見ると、それは膨大なものです。ですから、実際には興味深い再結合や「この分野のこの事柄はこの他の分野のこの事柄に似ている」というような興味深いことが何も生まれてこないのは非常に注目に値します。
大きな数学概念である必要はなく、昔の人々が持っていた数学に関する日曜雑誌に追加できるような小さなことでもよいのですが、そのような例さえもありません。
私たちの考え方の非常に重要なフレームワークを説明することが役立つでしょう。それは、人間にとって非常に難しく見えることにAIシステムが非常に速い進歩を遂げる一方で、私たちにとって比較的簡単に見えることにAIシステムが完全に苦戦し、しばしば全く能力がないというモロフェックスのパラドックスという考え方です。
この抽象的推論、チェスをする、囲碁をする、ジェパディをする、高度な数学をする、数学の問題を解くことなど、さらに強い例として、100桁の数字を頭の中で掛け算する（これは他のほとんどの問題よりも先に解決されたもの）や、非常に複雑な象徴的論理的議論や演繹的議論をたどることなどがあります。人々は実際にそれに非常に苦労しますが、前提がどのように論理的に結論に従うかということについて、形式的証明システムにとっては非常に簡単です。
関連する洞察は、人間が苦戦し、AIシステムがより速い進歩を遂げるようなタスクは、進化の時間的に比較的最近現れたものだということです。高度な言語使用は人間に約10万年前に現れ、チェスや囲碁などのプレイはさらに最近の革新です。
進化はそれらを最適化する時間があまりなく、また、それらが現れたとき、適応度の利益は比較的小さかったため、進化はこれらのことを強く最適化しませんでした。ですから、他の人間ができると印象的だと人間が感じるこれらの特定のタスクで、AIシステムが非常に速い進歩を遂げることは驚くべきことではありません。
人間において、これらのことは他の能力、例えば目標を達成する能力や良いコーダーであることなどと強く相関していることがありますが、AIシステムではその相関関係はそれほど強くありません。
AIシステム内でさえ、競技プログラミングで最も強いシステムが実際にコードを書くのに最も役立つわけではありません。例えば、O3 Miniは競争的コーディング問題を解決するのに最も優れているかもしれませんが、実際にコードを書くのを手伝うのに最も優れているわけではなく、Herserなどからのエンタープライズのほとんどの収益を得ているわけでもありません。Claudeなどが優れています。
ここでの重要な洞察は、人間ができると印象的だと感じることで、AIシステムがより多くの進歩を遂げることを期待すべきですが、それが一般的な能力について強く更新すべきではないということです。これは経済的に価値のあるエージェントになるために人間が行う関連タスクの非常に狭いサブセットであることを認識すべきです。
まず、計算の視点を真剣に受け止めているAI組織があることに本当に感謝します。スケーリング法則やデータなどについて経験的に考えようとする他の人々もいますが、その視点を真剣に受け止めると「2027年にAGI」と言われることが多いのは驚くべきことです。
それが正しいかもしれませんが、同じ議論、同じ論文、同じ数字を見て、全く異なる結論に達していることは興味深いことです。
2年前にダリオに同じ質問をしたとき、それは話題になりました。彼はAGIが2年後に来ると言いましたか？ダリオはいつも短期間のタイムラインを持っていました。彼は2年と言ったでしょうか？3年かもしれません。あと1年ですね、頑張らないと。
彼は特に良く調整されていなかったと思います。2018年には、今はAnthropicにいる非常に上級の人と2017年に話し、PHDをすべきではないと言いました。彼らが完了する頃には、すべてが自動化されているだろうと。
彼に同じ質問をしました。モデルが知っていることを人間が知っていれば、彼らは様々な接続を見つけるでしょう。これについてスコット・アレクサンダーに尋ねたとき、彼は人間もこのような論理的な全知を持っていないと言いました。
私たちは全知ではありませんが、人間がこのような接続を見つける例はあります。これは珍しいことではありません。彼の反応は、これらのことは接続を見つけるようにトレーニングされていないが、次トークン予測はこれを奨励していないが、これを行うRLはそれほど多くの追加計算を必要としないという見解でした。
Google DeepMindは、LLMによって新しい発見がなされたと主張しています。モロフェックスのパラドックスに関しては、AI進化を考える上で非常に興味深い方法ですが、動物と人間を比較すると、長期的な知的計画という面で、動物は飛行機の予約を手伝うことはできませんし、リモートワークもできません。
人間を他の動物から区別するのは、長期的な計画を立てそれを実行できることです。他の動物は本能や進化的知識のある環境内で行動する傾向がありますが、人間はサバンナや砂漠やツンドラに置かれても、ツールを使用することを学ぶことができます。
私は人間と動物の間には生存能力の点で大きな不連続性があると思います。知識に基づいてさまざまな環境で生存する能力は最近最適化されたものであり、AIもそれを速く最適化するでしょう。
人間と動物を比較する場合、それは少し違います。動物の能力をAIシステムに入れることができれば、それだけでAGIに近づくかもしれません。動物と人間の間に大きな不連続性がある理由は、動物が完全に自然界のデータだけに頼ってトレーニングしなければならないからです。
人間として、誰も話しかけず、何も読まず、経験だけから学ばなければならないとしたら、それは非常に非効率的でしょう。実際に起こっていることは、進化が脳内のソフトウェア効率を改善する外部最適化装置として機能し、遺伝的知識を継承しています。そして生涯学習がありますが、実際にはそれほど多くのデータを見ません。
人間と他の動物との違いは、文化と言語を持つことができるようになったことで、動物と比較してはるかに効率的なトレーニングデータのモダリティを持つようになったことです。また、人間は他の人間を模倣し、彼らのスキルから学ぶ傾向が強く、これも知識が伝えられることを可能にします。
基本的に、人間としてはるかに効率的なデータでトレーニングされており、それがさらなる洞察を生み出し、そこから学ぶ効率を高め、これが選択圧がより激しくなるフィードバックループを作り出します。人間に起こったのはおそらくそのようなことですが、人間経済で良い労働者になるために必要な能力の多くは動物にすでにあります。
彼らは非常に洗練された感覚運動スキルを持っています。動物は長期的な目標を追求することができますが、それは進化によって植え付けられたものです。ライオンがガゼルを見つけることは複雑なことであり、追跡などを必要としますが、進化によって植え付けられたとき、ゲノムにそれほど多くの情報はありません。
ライオンをサハラに置いて「トカゲを見つけに行け」と言ったらどうでしょうか？彼らは少し良くなるかもしれませんが、それほど良くなることはありません。
あなたは実際に非常に興味深い微妙なポイントを指摘しています。それには興味深い含意があります。人々はしばしば、ASIは動物から人間への移行において巨大な不連続性があるため、巨大な不連続性になると指摘します。
前人類の霊長類と人間の間の遺伝的変化はそれほど大きくないですが、能力に巨大な変化をもたらしました。同様のことが人間レベルの知能と超人間知能の間で起こるのではないかという問いに対して、あなたが指摘しているのは、実際には生物学的制約のために信じられないほどの知能を獲得しただけではなく、動物は他のコピーや他の知識源と通信できないという非常に奇妙な方法で人為的に阻害されてきたということです。
AIシステムはこのように人為的に阻害されていないため、その阻害を取り除くことで爆発的に成長するということはないでしょう。
実際、その含意に私は同意しません。AIコーポレーションに関するブログ記事で議論したように、将来のAIには知能ではなく、他のAIとの帯域幅とコミュニケーション、コラボレーションにおいて、非人間動物から人間への変化と同様の拘束の解除があるでしょう。
彼らは知識を正確にコピーして、マージして、蒸留して、スケールする能力があるため、社会的コラボレーションにおいて同様の規模の変化があるでしょう。
ここで非常に重要なポイントは、この非人間霊長類から人間への移行からの議論についての不一致の根底にあるものは、知性と推論に対するこの焦点、そしてそれによって可能になるR&Dが非常に重要であるという考えです。
脳のサイズにおける比較的小さなスケーリングから非常に重要な違いが生じると考えられています。そのため、現在の人間の脳が使用するトレーニング計算量、おそらく10^24 FLOPを超えたAIがあれば、非人間霊長類と比較して人間がはるかに洗練された知性を持つのと同じように、非常に洗練された知性を解き放つことができると考えるかもしれません。
私たちの不一致の一部は、知性はある程度重要ですが、より多くの知性と推論、優れた推論を持つことだけでは技術変化と経済成長を大幅に加速させるものではないということです。今日の世界は、十分な良い推論がないことによって完全にボトルネックになっているわけではありません。
この加速がどのように起こるかについて私たちは異なる見解を持っています。単に優れた推論者の集まりが技術を生み出し、それが物事を大幅に加速させるわけではありません。他の産業における補完的な革新や、経済全体の成長と様々な技術の開発のサポート、様々なサプライチェーンのアップグレード、構築される様々な製品に対する需要などが必要です。
私たちの見解では、単に非常に優れた推論者と非常に優れた推論トークンを持つだけでなく、技術と経済の非常に広範なアップグレードが重要だと考えています。
これで知能爆発に戻りましょう。知能爆発に対する議論は以下の通りです：
特定の種類のことはより長い時間がかかるかもしれないという点は正しいですが、ソフトウェアR&Dのこのコアループが必要であり、より一般的な知能を作るためにどのような種類の進歩が必要かを見ると、それには実験的な計算が必要かもしれませんが、あなた方が文書化したように、私たちは毎年次の数年間でより多くの計算能力を手に入れています。
2027年には現在の10倍の計算能力がAI向けにあるような知能の未来を想像できます。ソフトウェアR&Dを行うAIが、それらの実行コピーをより効率的にする方法を見つけることで、2つの効果があります。
一つは、この研究を行うAIの人口を増やすことで、並行してより多くの最適化を見つけることができるということです。もう一つの微妙なポイントは、AIにおけるソフトウェアR&Dは、新しいトランスフォーマーのようなアーキテクチャを考え出すだけではなく、最低レベルのライブラリからカーネル、RLの環境の作成、最適なオプティマイザーの発見など、多くのことを行う必要があるということです。
2つの効果があり、一つは元のGPT-4と現在のGPT-4oを比較すると、実行は100倍安くなっています。同じ能力でより安く多くのコピーを実行する方法を見つけているので、彼らの人口は増加しており、より多くの研究者がいることでより多くの効率性を見つけるのに役立っています。
より多くの研究者だけでなく、補完的な入力が実験的な計算である場合、より効率的にコピーを実行または開発できれば、より多くの並行実験を実行できます。2023年や2024年よりもずっと安くGPT-4スケールのトレーニング実行を行うことができます。
そのため、このソフトウェアのみの特異点では、より多くの研究者コピーが安く実験を実行でき、彼らは最初は特定の方法でハンディキャップを持つかもしれませんが、このプロセスを通じて急速により有能になっています。この論理の何が間違っているのでしょうか？
その論理は問題ないように思えます。これは問題を考える良い方法だと思いますが、経済学者がR&Dへのリターンや、研究者の数を10倍にしたときにイノベーションやイノベーションの率に何が起こるかを研究するために行った多くの作業を取り入れることが役立つと思います。
彼らは2つの効果を指摘しています。より多くのイノベーションを行うと、巨人の肩の上に立ち、過去の発見から利益を得て、科学者としてより生産的になりますが、低いところの果実が摘み取られ、進歩を作ることがより困難になるという逓減リターンもあります。
これらの推定を総括すると、研究努力へのリターンと考えることができます。ソフトウェア、特に線形整数ソルバーやSATソルバーなどの伝統的なソフトウェア、またAIではコンピュータビジョンやRL、言語モデリングなどの研究努力へのリターンを調査してきました。
このモデルが正しく、必要なのは認知的努力だけだとすると、これが加速をもたらすのか、単に指数関数的成長をもたらすのかについては、推定値はやや曖昧です。
また、イノベーションを起こすためにスケールアップする必要があるのは研究努力だけではなく、補完的な入力があるかもしれないことも考慮する必要があります。あなたが言及したように、実験はボトルネックになるかもしれず、そのハードウェアをスケールアップすることは、アルゴリズムやアーキテクチャの進歩を得るために非常に重要です。
AIではこれは事実であり、ソフトウェア全般でも、ソフトウェアの進歩はハードウェアの進歩率と非常に密接に一致しています。伝統的なソフトウェアでは年間約30％の向上が見られ、これはMooreの法則とほぼ一致しています。AIでも同じことが起こり、ディープラーニングの時代に加速が見られ、これは計算のスケーリングの加速と一致しており、計算のスケーリングが非常に重要であったという手がかりを与えています。
それ以外の証拠としては、アルゴリズムやアーキテクチャのイノベーションがGPUラボに集中しており、GPUの少ない部分、アカデミアや小規模な研究所には集中していないという事実があります。これは多くのハードウェアを持つことが非常に重要であることを示唆しています。
過去5年間の重要なイノベーションの多くは、スケーリングやハードウェア関連の動機を持っています。トランスフォーマー自体は、より多くの並列計算を利用する方法に関するものでした。フラッシュアテンションは、アテンションメカニズムをより効率的に実装する方法に関するものでした。チンチラスケーリング法則など、これらの大きなイノベーションの多くは、計算をより効果的に活用する方法に関するものでした。これもまた、計算のスケーリングが非常に重要であることを示唆しています。
これらの補完性の絵を指摘する多くの証拠があります。実験が特に重要でないと仮定しても、AIと他のソフトウェアの推定に基づいて、AIシステム全体のアルゴリズム効率においてこの種の超指数関数的な、指数関数より速い超成長は得られないかもしれません。
私は、これら2つのこと、計算能力とAI進歩が同時に上昇しているという理由で、これが因果関係であるという議論を必ずしも買いません。業界全体が全体的により多くの計算能力を得ており、その結果より多くの進歩を遂げていますが、トッププレーヤーの間では、はるかに少ない計算能力しかないが、より一貫したビジョン、より集中した研究努力を持つ企業が、はるかに多くの計算能力を持つ既存企業を打ち負かした例がいくつかあります。
最初にOpenAIがGoogle DeepMindを打ち負かし、イーロンとサムの間でリリースされたメールがあり、「彼らは計算能力でボトルネックを持っていて、Google DeepMindがどれだけ多くの計算能力を持っているか見てください」という内容でした。それでもOpenAIは多くの進歩を遂げました。同様に、今ではOpenAIとAnthropicなどの間でも同じことが起こっています。
一般的に、あなたの議論はマクロ経済的な視点から見すぎであり、AIの研究者に尋ねれば良いのではないでしょうか。AI研究者は、認知的努力や研究がこれらのイノベーションを推進する上で重要である程度を過大評価することがよくあります。なぜなら、それが便利または有用だからです。彼らは洞察が統計力学についての素晴らしいアイデアや物理学の素晴らしい方程式から導き出されたと言うでしょうが、それはレビュアーに少し魅力的にするための後付けの話であることがよくあります。
ダニエル・コタロが行った調査では、AI研究者に「30分の1の計算能力があれば、進歩はどれくらい遅くなるか」と尋ねたところ、「通常の3分の1の進歩しかできない」という回答でした。これは計算能力が3分の1になっても、進歩は3分の1しか減少しないという、かなり良い代替効果です。
最近、AIの研究者と話をしていましたが、彼は何千万ドルも稼いでいる「クラック」と呼ばれる人の一人で、「現在のAIモデルは既に馴染みのある領域で、どれくらい助けになるか」と尋ねたところ、「オートコンプリートに近い領域では、週に4〜8時間節約できる」と答えました。
また、「あまり馴染みのない領域では、新しい接続を引き出したり、これらの異なる部分がどのように関連しているかを理解する必要がある場合には、週に24〜36時間近く節約できる」とも言いました。これは現在のモデルについての話であり、彼はより多くの計算能力を得たわけではないのに、はるかに多くの時間を節約しているのです。これを将来に向けて考えると、それはすごい意味を持ちます。
私は、R&Dのプロセスがそれほど加速したというこれらの主張に懐疑的です。これらの主張は実際のデータによって裏付けられているとは思えないので、どの程度信頼すべきかわかりません。
認知的努力だけでAIの進歩が得られるという一般的な直感については、研究室が行う重要なことの一つは、スケーリング法則のような「ディープラーニングの科学」です。それは最終的には実験に基づいていますが、その実験は認知的努力によって動機づけられています。
補完性について言うとき、AとBが補完的であると言うのは、単にAなしでは多くの進歩が得られないように、Bなしでも同様だということです。だから、計算能力と実験とデータが必要だと言うとき、それは認知的努力も必要だということです。そのため、最も計算能力を持つ研究室が勝つということにはなりません。
どちらかがボトルネックとなる可能性があります。文化が非常に機能不全で計算能力を優先できず、無駄にする場合には、多くの進歩を遂げることはできません。それは、より良いビジョンとより良いチーム、より良い優先順位付けを持つ誰かが、計算能力をより良く活用できるという図と矛盾するものではありません。
ここでの問題は、これらの自動化されたAI研究者を獲得し、このソフトウェアの特異点を開始すると、ソフトウェアの効率は多くの桁向上しますが、計算能力の蓄積は少なくとも短期的には比較的固定されたままです。方程式の第二部分によってボトルネックが発生する前に、どれくらいの改善を得ることができるでしょうか？
それを考慮に入れると、どれくらいの進歩を期待すべきでしょうか？これは人々が良い直感を持つことが難しい質問だと思います。なぜなら、人々は通常この実験を実行しないからです。会社レベルや業界レベルで、業界全体が30倍少ない計算能力を持っていたら何が起こっていたかを見ることができません。個人として、3倍少ない計算能力だったらどうなるかはより良いアイデアを持っているかもしれませんが、それは非常にローカルな実験であり、実際により多くの計算能力を持つ他の人からのスピルオーバーから多くの利益を得ている可能性があります。
この実験が行われたことがないため、補完性の強さについての直接的な証拠を得ることは難しいです。
2027年にAGIが実現する世界では、ソフトウェアのみの特異点があるという確率はどのくらいですか？
かなり高いです。なぜなら、計算能力がそれほど大きくない条件で、多くのソフトウェアの進歩があるはずだからです。この世界では、アルゴリズムの進歩からかなりのレバレッジがあるということです。
一部の研究所には複数の事前トレーニングチームがあり、人々に異なる量のリソースと認知的努力を与えていますが、それらの結果はまだ公開されていません。それらの実験の結果を見てみたいです。
それでもこれらの入力要素の非常に不均衡なスケールアップをすることは非常に非効率的であり、これらの補完性がどれほど強いかを推定するためには、非常に不均衡なスケールアップを観察する必要があります。それはほとんど起こらないので、これに関するデータは本当に乏しく、人々の直感もこの非常に不均衡なスケーリングが行われた場合に何が起こるかについて明確に関連しているとは思えません。
私が持っている質問の一つは、戦争やその他の供給ショックのために、生産をスケールアップしたり、人々が本当に気にするような重要な出力をスケールアップしたりする必要があったが、何らかの奇妙な歴史的理由でスケールアップできない重要な入力がある一方で、一つの重要な入力をスケールアップできたという歴史上のポイントがあるかもしれないということです。非常に抽象的な用語で話していますが、何を言っているかわかりますよね。
例えば、より多くの爆撃機を作る必要があるが、アルミニウムが不足してしまい、他に何かを考え出す必要があるような場合です。このような努力がどれほど成功したか、あるいはボトルネックに阻まれ続けたかということです。
物質について話す場合、それは正しい方法ではないと思います。なぜなら、異なる物質は互いに代替可能な場合が多いからです。例えば、アルミニウムは軽量で丈夫なため航空機を作るのに優れた金属ですが、より悪い金属で航空機を作ると、より多くの燃料が必要になり、飛行効率が悪くなると想像できます。そういう意味で補償することができ、ただコストがかかります。
労働と資本の補完性や、リモートワークと対面作業の補完性、スキルのある労働とスキルのない労働の補完性などについて話す場合、はるかに難しくなります。または例えば、軍隊の指導力の質とその兵士の数の間の補完性を見る場合、そこには何らかの効果がありますが、優れたリーダーシップを持ちながら軍隊が100人しかいない場合、あまり遠くまで行くことはできません。
テルモピライのレオニダス王のように、彼らは負けましたよね。ソフトウェアの特異点のモデルを構築していて、テルモピライで正確に何が起こったかを考慮するのは面白いですね。
ところで、私の最も人気のあるゲストはサラ・ペインです。彼女は私の最も人気のある4つのエピソードの主役でもあります。これらのエピソードすべてが視聴者分単位で調整した場合、私はサラ・ペインポッドキャストを主催しており、時々AIについて話しています。
3部構成の講義シリーズを行い、その中で一つはインドとパキスタンの戦争の歴史、もう一つは第二次世界大戦前の日本文化、三つ目は中国内戦についてでした。それらすべてで私の歴史家のチューターはエゲイでした。彼がなぜ20世紀の紛争についてこれほど多くを知っているのか不思議です。彼は私がサラに尋ねる良い質問をいくつか提案しました。
私にはそれに対する良い質問はありません。私は多くのものを読みましたが、それは退屈な答えです。トップAI研究者に「どうしてそんなに優れているのですか？」と尋ねると、彼らはおそらく退屈な答えを出すでしょう。このような質問がしばしば退屈な答えを引き出すのは興味深いことで、それはスキルの性質について何かを教えてくれます。
私たちはメタキュラス（予測プラットフォーム）のDiscordでつながりました。私はケンブリッジ大学の大学院生で、経済学の研究をしていました。そこで同僚と会話をしていましたが、時々エゲイとも会話をしていました。彼は経済学についてずっと多くのことを知っていると気づきました。当時彼はアンカラでコンピュータサイエンスの学部生でしたが、経済学や経済成長と経済史の大きなトレンドについて、大学のほとんどの同僚よりも多くのことを知っていました。
それで頻繁にコラボレーションを始め、最終的にエゲイをエポックに雇いました。これらの種類の質問に取り組むのは明らかに彼に合っていました。
エポックでは、インターネット上の型破りな人々や変わり者のグループを集めたようですね。これをどのように達成したのですか？
私はMITでさらに研究をしていましたが、そこの官僚制に不満を持っていました。プロジェクトをスケールアップし、人々を雇うのが非常に難しかったのです。また、私のPIが興奮していなかったいくつかの作業に興奮していました。それは発表が難しかったり、同じ威信を与えなかったりするからです。
セビリアという共同創設者の一人と話し、プロジェクトで協力し、自分たちの組織を始めるべきだと考えました。そうすれば人々を雇い、興奮しているプロジェクトに取り組むことができます。そして、洞察力のある型破りな人々を雇いました。
しかし、その論文は「活用されていないインターネット上の型破りな人々がたくさんいるので、これが成功する」というものだったのでしょうか？それとも組織を始めて、それから「これらの人々のことを知っているので雇おう」というものだったのでしょうか？
より後者だと思います。アカデミアや産業界が重要な質問をたくさん落としているので、進歩を多くすることができると考えました。アカデミアは興味深い論文を発表することができず、産業界は有用な洞察を生み出すことに本当に焦点を当てていませんでした。それを私たちがやるのは非常に良いことに思えました。
また、タイミングも非常に良かったです。ChatGPTの直前に始め、AIの未来についてより地に足の着いた議論をしたいと思っていました。インターネット上でのAIの未来に関する議論の質に不満を持っていました。ある程度まで、いや非常に大きな程度まで、今でも不満を持っています。AIがどこに向かうかについての悪い思考と議論に対する不満が、私をこれをやる動機づけの大部分になっています。
私の仕事で最も楽しくない部分は後処理です。エピソードを何度も見直し、多くの難しい判断をする必要があります。私はLLMスクリプトでこのすべての作業を自動化しようとしてきましたが、Google Gemini 2.5 Proはこれらのツールに試したモデルの中で最も優れていることがわかりました。
後処理の多くは、テキストのみの転写からは得られない発言、コンテキスト、その他の要素を理解する必要があります。テストした他のモデルとは異なり、Geminiにはマルチモーダル機能があるため、4時間の未編集の音声ファイルをそのまま入れることができ、非常に高品質の書き起こしを生成し、クリップ用の優れたスニペットを特定するなど、さらに多くのことができます。
これらのツールをすべて含むリポジトリを作成し、以下の説明でGitHubへのリンクを示しました。実際にはこれらのスクリプトを書くためにもGemini 2.5 Proを使用しています。要求やタスクのリストをどのように考慮するかの推論プロセスを読むのは非常に興味深いことです。
Gemini 2.5 Proは現在、より高いレート制限でプレビューで利用可能です。studio.google.comで試すことができます。このエピソードのスポンサーであるGoogleに感謝します。さて、エゲイとタムに戻りましょう。
これについてお聞きしたいと思います。爆発的な経済成長と30％を超える経済成長率の可能性について話し合います。私は二つの観点からあなた方に突っ込みたいと思います。一つは、これが十分に積極的ではない可能性を示唆する観点からで、もう一つは、より一般的な観点から「これはクレイジーだ」と思う人の立場からです。
大きな質問は、この広範な自動化について、産業革命については理解しましたが、今回の場合、この知能を獲得し、次に砂漠に行き、より多くのロボット工場を建設し、それらがより多くのロボット工場を建設し、実験が必要な場合はバイオラボを建設し、化学実験室を建設し、砂漠に他のどんな研究所でも建設するという議論ができるでしょう。
これはソフトウェアのみの特異点よりもはるかに説得力がありますが、あなたの言い方を聞くと、マクドナルドやホームデポなども年間30％成長しているように聞こえます。経済のエイリアンレベルの見方は、砂漠でロボット経済が年間10,000％成長し、他のすべては同じ古いものなのか、それとも全体として年間30％成長するのでしょうか？
可能なこと、物理的に可能なこと、そして実際に効率的なことの間には疑問があります。ソフトウェア部分とハードウェア部分の両方をスケールアップすると、このフィードバックループの事例はさらに強くなります。データ収集も同様に重要です。
しかし、砂漠にシンセンを建設するのはかなり難しいことです。これまで私たちは半導体サプライチェーン全体に依存してきました。その業界は多くの入力材料に依存しており、おそらく世界中の多くのランダムな場所から得ています。そのインフラ全体を倍増または3倍にすることは非常に困難です。おそらくシンセンエディタがあってもできないでしょう。さらに費用がかかります。
さらに、これまで私たちはインターネット上の過去30年で構築された膨大なデータのストックに頼ってきました。最先端のモデルをトレーニングしようとしても、トレーニングするのが1000億トークンしかなければ、それは非常に困難でしょう。
ある意味で、私たちの経済全体がインターネット上のこの膨大な量のデータを生産し、それを今モデルのトレーニングに使用しています。将来、これらのシステムに新しい能力を追加する必要がある場合、最も効率的な方法は同様の種類のデータのモダリティを活用しようとすることでしょう。それもまた、システムを広く展開することを必要とするでしょう。それはより多くのデータを与えるからです。
それなしでも目的地に到達できるかもしれませんが、多くのデータを収集することに比べて効率が悪いでしょう。これは実際にラボがLLMを広く展開したい動機の一つです。時々ChatGPTと話すと、2つの応答を与え、「どちらが良かったですか？」と尋ねたり、1つの応答を与え、「これは良かったですか？」と尋ねたりします。彼らはなぜそれをするのでしょうか？それは彼らがユーザーデータを得る方法です。広範な展開を通じて。
この効率的なことが将来も継続し、増加すると想像すべきだと思います。それは意味があるからです。それから、それをまったく行わず、このポジティブフィードバックループを得るのに十分な最も基本的な、最も狭い可能なインフラの構築と展開を想像する別の質問があります。
そのループは原則として世界全体よりもはるかに小さくなる可能性があることに同意します。おそらくシンセンエディタほど小さくはできないでしょうが、世界全体よりもはるかに小さくなる可能性があります。しかし、それを実際に行うかどうか、それが効率的かどうかという別の質問があります。
一部の人々は、この広範な展開を行うことについて非常に強い制約、おそらく規制上の制約、おそらく社会的・政治的な制約があるという直感を持っています。彼らはそれが非常に難しくなると考えています。だから彼らはより狭いシナリオを想像し、それがより簡単だと考えています。
しかし、私はそれは過大評価されていると思います。人々が持つこの種の展開がどれほど難しいかという直感は、技術の展開がそれほど価値がないケースから来ている場合があります。それは住宅からかもしれません。私たちは住宅に関する多くの規制を持っています。原子力発電から来ているかもしれません。超音速飛行から来ているかもしれません。
それらはすべて、規制が少なければ役立つであろう技術ですが、経済的生産を2倍にするものではありません。ここでの核心は、AI自動化と展開の価値は非常に大きいということです。労働者にとっても、少なくとも一部の変位があり、仕事を見つけるための移行が必要かもしれませんが、賃金は長い間非常に高いままでしょう。
それに加えて、資本を所有することからの利益は非常に大きくなる可能性があり、実際、米国人口の大部分は住宅や401kを所有することから利益を得るでしょう。これは広範なAI自動化と展開のプロセスがあるとき、これらは非常に良い結果を生むでしょう。だから私は、これが労働市場の性質と需要のあるスキルと職業を完全に変えるときでも、これに対する非常に深いサポートがある可能性があると思います。
複雑だと思います。これが実際に起こり始めたときの政治的反応がどうなるかについては、それが大きな問題になり、おそらく議論を呼ぶだろうというのは簡単なことですが、異なる国での実際の反応の性質はどのようなものか、それは予測するのが難しいと思います。
デフォルトの見方は、人々が失業するのでそれは非常に不人気になるだろうというものですが、それは明らかではないと思います。
私は異なる国がどのように反応するかについての異質性を期待し、一部の国はこれについてより自由主義的で、より広範な展開を許可するでしょう。それらの国はおそらくより良い結果を得るでしょう。産業革命の間、一部の国は他の国よりも先行していました。最終的にはほぼ全世界が産業革命の規範、文化、価値を様々な形で採用しました。
あなたは、それについてより自由主義的かもしれないと言いましたが、実際には多くの点でより自由主義的ではないかもしれません。実際、広範なAI展開を持つこの世界ではより機能的かもしれません。例えばUAEのような、AI展開に非常に良い環境を作ることにより焦点を当てた場所で開発される価値観や規範を採用し始めるかもしれません。
私たちはそのような規範を模倣し採用し始めるかもしれません。それらは古典的自由主義の規範ではなく、AIが機能的であり多くの価値を生み出すことに役立つ規範かもしれません。これは強い予測ではなく、単なる例示であり、経済においてAIを展開し、大規模な物理的なものを構築する自由が将来より重要になるかもしれません。他に重要なこともあるかもしれませんが、違いが生じ、一部の国が他の国よりも良い結果を得るという一般的な予測は、特定の国がより良い結果を得るかという予測よりも予測しやすいと思います。または、その国が採用する規範についても同様です。
私が混乱していることの一つは、今日の世界と1750年の世界を比較すると、大きな違いは彼らが持っていなかったクレイジーな技術を私たちが持っていることです。これらのカメラ、これらの画面、ロケットなどがあります。これは技術的成長、R&D、そして資本蓄積の結果のように見えます。
それを説明してください。なぜなら、あなたはこのインフラの構築などについて話していますが、人間が2020年までに発明した種類のものをAIが発明しないのはなぜですか？
このものを生産するには多くのインフラの構築が必要です。技術を作れば、そのインフラは構築されます。
私はそれが正しいとは思いません。まず発明を行い、その後に資本の構築と革新の間にこの相互作用があります。学習曲線はこれに関するものです。過去20〜30年間の太陽光パネルの効率の増加を推進したのは何でしょうか？それは単に人々が2025年の太陽光パネルのアイデアを持っていたからではありません。20年前に誰も2025年の太陽光パネルのスケッチを持っていませんでした。
それはアイデアを持ち、構築し、学び、生産し、他の補完的な入力も同時により効率的になるという相互作用です。より良い材料を得るかもしれません。例えば、19世紀末に製錬プロセスが大幅に改善され、金属の扱いが容易になったことが、後に航空機技術がより普及した重要な理由かもしれません。
翼があり、多くの推力を持つ何かを使用すれば飛ぶかもしれないというアイデアは、それほど難しいものではありません。しかし、それを実際に実現可能なものにするにはどうすればよいのでしょうか。それははるかに困難です。
二匹のビーバーがフーバーダムを見ている漫画を見たことがありますか？一匹が「私はそれを建設したわけではないが、それは私のアイデアに基づいている」と言っています。
あなたが指摘しているのは、技術史におけるこの発明に焦点を当てた見方が、特定の革新を実用的にし、広く展開するために必要な作業を過小評価しているということです。それは単に難しいのです。
例えば、電球がどのように開発されたかの歴史を書きたいとしたら、特定のことが特定の時間に起こった理由を理解するためには、おそらくその時代の経済状況についてとても多くのことを理解する必要があります。例えば、エジソンは電球に使用する様々なフィラメントで多くの時間を実験しました。
基本的なアイデアは非常にシンプルで、何かを熱くすると光ります。しかし、実際には、製品中でうまく機能するフィラメントは何か、耐久性があり、光出力と熱の比率が最も高いものは何か、無駄が少なく効率的なものは何かを考える必要があります。製品ができた後でも、1880年頃の米国の家庭には電気がなかったという問題に直面しました。
そのため、誰もそれを使用できませんでした。そこで発電所を建設し、家庭に電線を引く必要がありました。そして彼はそれを行いました。しかし、人々はそれをあたかもアイデアが出てきたかのように紹介します。電球のアイデアが出てきたという感じです。
人間が人間世界に展開する場合、技術がどのように進歩するかについてはおそらく正しいでしょうが、カウントしていないのは、これらのAI経済があるということです。彼らはこの種の革新と実践による学習を行う必要があるかもしれません。
彼らは「より多くのロボットが欲しい」「より多くのロボット工場を建設しよう」「学び、より良いロボットを作ろう」と考えるかもしれませんが、それは地理的に世界の小さな部分で起こっていることであり、そしてそれはルナーソサエティポッドキャストLLCとビジネス取引を行うというようなものではありません。
世界の総面積を見ると、この非常に速い成長を最初に経験する場所は世界の表面積のほんの一部かもしれません。しかし、産業革命でも同様でした。産業革命は異なるものではありませんでした。
しかし、この爆発的な成長は具体的にどのように見えるのでしょうか？地球上の成長率の熱マップを見たら、一箇所が目を見張るほど熱く、それは砂漠の工場や実験がすべて行われている場所になるのでしょうか？
私たちの考えでは、それはもっと広範囲に及ぶでしょうが、おそらく初めはそうではないでしょう。最終的には世界のほとんどを占めるでしょうが、前に述べたように、国ごとの異質性のために、一部の国は他の国よりも採用が速いでしょう。また、一部の都市は他の都市よりも採用が速いかもしれません。
これは格差を意味し、一部の国は他の国よりもはるかに速い成長をするかもしれません。しかし、法律管轄区域のレベルでは、より同質的になると予想します。例えば、主要な障害は規制などから来ると予想するので、それは規制管轄区域の境界によって区分されると想像します。
インフラの構築や資本の深化などが技術を実用的にするために必要であり、特定のことを発見するためにスケールアップや学習曲線などによって発見する側面があるかもしれないと正しいかもしれません。また、より豊かになれば、その増えた富をR&Dなどに投資し、特許局からアインシュタインを出すことができます。
それにはある程度のリソースが必要であり、経済が一定の規模である必要があります。また、構築している製品に対する需要も必要です。アイデアを持っていても、経済があまりにも小さく、十分な需要がない場合、半導体を生産することに特化する意味がありません。
経済がはるかに大きな規模であることは、補完的な革新や偶然の発見が起こること、すべての実験と発明の固定費用を回収するために実際に十分な料金を支払う消費者がいることなど、多くの面で有用です。半導体を作るために成長させる必要があるゲルマニウム結晶を届けるサプライチェーンが存在する必要があります。すべての実験を助けるために大規模な労働力も必要です。
あなたが説明しているポイントは、第一原理の推論から「ビッグバン」を理解できたかもしれないということですが、実際に起こったのは第二次世界大戦で、戦争中に効果的に通信するために無線通信を発見し、その技術が無線望遠鏡の構築を助け、それによって宇宙マイクロ波背景放射を発見し、それを説明するためにビッグバンを発見したということです。第二次世界大戦の結果としてビッグバンを発見したのです。
人々は、すべての関連する資本とすべての関連するサプライチェーン、技術のこの種の構築に費やされる巨大な努力を過小評価しています。あなたは推論モデルについても同様のコメントをしていました。後見性では比較的単純に見えますが、それに先立つ5〜10年間に起こった技術スタックの巨大なアップグレードを無視しています。
人々は、技術やサプライチェーン、様々なセクターの全体的なアップグレードからの支援を過小評価し、アインシュタインがこの天才的な洞察を持ったり、ニュートンが微積分を発見するのに非常に重要だったという特定の個人に焦点を当てます。しかし、レンズを生産し、望遠鏡を生産し、正しいデータを得て、動力学について質問を持つようになった他のすべての要因を考慮せず、それらも科学的・技術的革新には非常に重要です。
征服の法則の一つに、「トピックについて理解すればするほど、そのトピックについてより保守的になる」というものがあります。似たような法則がここにあるかもしれません。産業について理解すればするほど、より保守的になるということです。私は明らかに単なる解説者やポッドキャスターですが、他のどの産業よりもAIをよく理解しています。
あなたのような人々と話すと、今日のAIに到達するまでにどれだけのことが行われたかということを理解します。ジャーナリストとAIについて話すと、彼らは「誰に取材すべきか？」「ジェフリー・ヒントンに連絡すべきか？」「イリヤに連絡すべきか？」と尋ねます。あなたは絵を見逃していると思います。
そして同じ態度を他の産業に対しても持つべきです。それはずっと複雑なのです。ロビン・ハンセンは近接モードと遠方モードで物事を見るという抽象化を持っています。トピックについてあまり知らない場合、それを遠方モードで見て単純化します。よく知っているトピックについては、より多くの詳細を見ます。
一般的に言えば、抽象的推論だけ、演繹的推論だけ、あるいはベイズ推論だけでは、多くの人が考えるほど力強くないと思う理由は、現実世界にはとてつもなく豊かで詳細なものがあり、それについて単に推論することはできないからです。見る必要があります。
これはAIが信じられないほど変革的であることの障害ではありません。なぜなら、先ほど言ったように、データ収集をスケールアップし、実験をスケールアップし、AI産業自体だけでなく、より広く経済でも行うことができるからです。より多くの発見をします。より多くの経済活動があるということは、より多くの発見をするためのより多くの露出表面積があるということです。
これらはすべて私たちの過去に起こったことなので、それらが加速できない理由はありません。経済成長が今日よりもはるかに速くなることができない根本的な理由はありません。おそらく人間がそのような重要なボトルネックであるため、今はストレスがかかっています。彼らは労働を供給し、様々な種類の生産性成長の発見のプロセスで重要な役割を果たします。
ある程度資本と強い補完性があり、人間を機械などで非常に良く代替することはできません。そのため、経済の成長と生産性の成長は、最終的には人間の人口の成長によってボトルネックになります。
公開されているデータが不足しているため、Meta、Google DeepMind、OpenAIなどの主要なAIラボは、Scaleのデータファウンドリーを通じて可能性の限界を押し広げるためにパートナーシップを結んでいます。主要なラボは、高品質なデータにアクセスして、高度な推論能力などの事後トレーニングを行うことができます。
AIリサーチが前進するにつれて、人間の主権を強化する必要もあります。Scaleのリサーチチームであるシール（SEAL）は、実用的なAI安全フレームワークを提供し、公開リーダーボードを通じてフロンティアAIシステムの安全性を評価し、高度なAIを社会に統合するための基盤を作ります。
最近、AIセーフティセンターとの共同で、「Humanity’s Last Exam」と呼ばれる画期的な新しいAIベンチマークを発表しました。これは広範な分野にわたる専門家レベルの推論と知識能力を評価するものです。
AIリサーチャーやエンジニアで、Scaleのデータファウンドリーとリサーチラボがどのようにしてあなたが現在の能力のフロンティアを超えるのを助けるかについてもっと知りたい場合は、scale.com/doeshにアクセスしてください。
中国で過去50年間に起こったことについて、どう思いますか？これを、AIからの爆発的成長と原則的に同じ種類と考えますか？資本の限界生産物が非常に高くなるような多くの労働があり、10％以上の経済成長率が可能になるということでしょうか？
ある意味では似ていますが、ある意味では違います。おそらく最も重要な違いは、中国では資本蓄積の相対的な大量、新技術の採用のかなりの量、そしておそらく人的資本の蓄積も見られますが、労働力の大規模なスケールアップは見られないということです。
AIでは、人間の労働力ではなくAIの労働力のスケールアップも期待されるべきです。ここでのポイントは、これらの両方の同時スケーリングです。ですから、AIで起こることの半分は中国における資本蓄積のようなものかもしれないと問うかもしれませんが、実際にはそうではありません。
両方をスケールすると、はるかに速い成長と非常に異なる絵が得られます。同時に、年間30％の成長がどれほど変革的であるかを直感的に理解したいなら、中国を見ることは悪い例ではありません。特に2000年代か1990年代後半を見ると、良い感覚が得られるでしょう。それは私たちが予測しているよりも遅いですが。産業革命を見るのも良いでしょう。
産業革命は非常に遅かったですね。また、産業革命の間に起こった進歩のタイプという観点からは良いでしょう。産業革命の間に起こらなかったのは、産業革命以前に人々が生産していたものを単純により多く生産するということではありませんでした。より多くの作物を生産したり、農場での産業革命前のスタイルの家をより多く生産したりするだけではありませんでした。
その代わりに、経済のほぼすべての主要セクターにおいて、以前に消費されていたものとは全く異なる多くの異なる製品を得ました。交通、食品、ヘルスケアは非常に大きな進歩でした。抗生物質などです。
別の質問です。明示的なR&Dと実践による学習をどのように定義しているのかよくわかりません。企業が言うところのR&Dと、直感的なR&Dの理解の間には違いがあります。
AIがTFP（全要素生産性）をどのように高めるかを考えると、例えばTSMCのプロセスエンジニアをAIで置き換えて、プロセスを改善し、効率を向上させ、歩留まりを改善するなどの異なる方法を見つけるような場合、私はそれをR&Dと呼ぶでしょう。一方で、あなたはよりよい管理や実践による学習などのTFPの他の部分を強調します。
実践による学習は、ダイソン球に到達するほど良い管理でどこまで行けるのでしょうか？それは議論ではありません。重要なのは、それらの中には他のものよりも補完的なものがあるということです。重要なことは、労働と資本をスケールするだけでダイソン球に到達することができないように、TFPをスケールするだけでも到達することはできないということです。
食料を生産することは必要ですが、もちろん食料を生産することだけではダイソン球に到達しません。R&Dは必要ですが、それだけでは十分ではなく、経済全体をスケールアップすることも必要です。そしてこれだけでは十分ではありません。
それから、各々の相対的重要性を問うことができます。私たちの見解は、金融サービスからこの爆発的成長がすべて来ると期待しているわけではなく、産業技術と産業能力のベースから始まると期待しているということです。
大きなプロジェクトを非常に迅速にスケールするには金融サービスが重要ですが、データセンターへの投資やこれらのことに資金を調達するためには重要です。しかし、あなたの意見を正しく理解したなら、まさに「ロボット工場の構築方法を知っている」というノウハウが、あなたの見解では技術成長と一般的な経済成長に非常に重要であり、シンセンが地元にあることは非常に重要なように思えます。
どのような出発点と比較して重要なのか、というのが重要です。人々はすでに中国が非常に重要であることを理解していると思います。中国がリードしている領域もあるが、米国がリードしている領域も多くあります。米国とその同盟国、AIに関連する入力を生産している国々は、米国がアクセスできるがうたに。
米国は多くの側面でリードしており、中国がリードしているか、少なくとも非常に近い側面もあります。だから中国がより大きな存在であることを強く更新すべきだとは思いません。少なくとも、あなたがどこから始めるかによります。人々はすでに中国が大きな存在だと考えています。
最も賢いAIのIQに焦点を当てることよりも、経済全体の加速を考えることの方が重要だという議論はわかりますが、同時に、超人的知能という考えを信じていますか？それは一貫した概念ですか？つまり、人間レベルの囲碁プレイを超えて、ELOスコアで遠くまで行くということですか。
より広範な人間の能力に関して、そのようなシステムが登場すると思いますか？それは彼らが神になるという意味ではないかもしれませんが、他のAIが世界にあるからですが、超人的能力を持つシステムがあるということですか？
私はそれを期待しています。問題は、この概念がこの進歩したAIへの移行について考える上でどれほど有用または役立つかということです。一見有用に思える概念を導入することがありますが、実際には非常に曖昧でどう解釈すべきか不明確なものです。
AGIという概念があり、それは非常に一般的であり、平均して人間ができることすべてを行うことができるという意味で狭いAIと区別されています。AIシステムは非常にギザギザの能力プロファイルを持っているので、何らかの平均的な能力の概念を取る必要があり、それが正確に何を意味するのかは本当に不明確です。
そして、ASIという概念があり、それは非常に一般的であるという意味でAGIですが、あらゆるタスクにおいて人間よりも優れています。これは意味のある概念でしょうか？それは一貫していると思いますが、これは超有用な概念ではありません。
私は実際に世界で何が起こるかについて考えることを好みます。人間ができることすべてをより良くできるAIシステムを持たなくても、劇的な加速を得ることができます。また、ASIを持っていても、それが非常に高価であったり、非常に遅いことが理由で加速がない可能性もあります。
私はそれを特に意味のあるものや有用なものとは考えていません。私は世界への全体的な影響やAIシステムがどのような種類の影響を生み出すことができるかについて考えることを好みます。
一つの直感的なポンプとして、標準分布からのジョン・フォン・ノイマンと人間を比較してみてください。100万人のジョン・フォン・ノイマンを世界に追加した場合、通常の分布から100万人を追加するのに比べて、成長にどのような影響があるでしょうか？
それははるかに大きいでしょう。しかし、モロフェックスのパラドックスの議論に基づくと、進化は必ずしもジョン・フォン・ノイマンが平均的な人間と区別されるスペクトラムに沿って最適化していないかもしれません。
このわずかな偏差の中でもこのような大きな経済的影響があるのなら、なぜ進化がそれほど強く最適化していないこのことに焦点を当て、さらに最適化することに焦点を当てないのですか？
私たちはそれに焦点を当てるべきではないとは思いません。例えば、囲碁をするAIの能力について考えると、超人的な囲碁AIという概念は意味のある概念かもしれませんが、AIを開発する上ではあまり有用な概念ではありません。
スケーリング曲線を見ると、それは単に上昇していき、どこかに人間レベルがありますが、人間レベルは特に特権的ではありません。問題は、それが考えるべき有用なことであるかどうかであり、答えはおそらくノーです。あなたが何を気にするかによります。
私たちはシステムを人間よりも賢くしようとすることに焦点を当てるべきではないとは言っていません。それは焦点を当てるべき良いことだと思います。
2100年のAIとの関係で私たちが立つ位置は、人間が他の霊長類に対して立つ位置と同じようなものなのでしょうか？それが正しい心的モデルなのでしょうか？それとも彼らの認知的地平線にもっと親しみやすさがあるのでしょうか？
AIシステムは非常に多様になるので、この非常に多様な範囲のシステムと私たちの関係について何かを尋ねることはあまり意味がありません。
認知的に彼らが考慮できる考慮事項にアクセスできるでしょうか？例えば、チンパンジーは他の人間が理解できるような方法でこの議論を理解することはないでしょう。
将来の世界における人間の場所について考えようとすると、それは関連する概念です。経済が大きく成長し、より多くの労働があるということだけなのか、それとも超知能という重要な点で存在があるのかということです。
私たちが単に理解できない多くのことがあるでしょう。ある程度、今日の世界でも人々が世界がどのように機能するか、特定のものがどのように作られるかについて理解していないことがたくさんあります。
どれほど重要なことなのでしょうか？個々の人間が何らかの結果を生み出すすべての関連する考慮事項にアクセスできることや、原則的にアクセスできることは、特に重要ではないように思えます。それはオーバーキルのように思えます。なぜそれが起こる必要があるのでしょうか？
ある意味では素晴らしいことですが、非常に洗練された世界を持ち、非常に進歩した技術を持つ場合、それらのことはあなたにとってアクセス可能ではないでしょう。そこには、アクセシビリティと世界がどれほど進歩しているかのトレードオフがあります。
私の観点からは、非常に進歩した技術を持ち、私の生活を向上させることができる多くの製品や発明を持つ世界に住むことを望みます。それが私が理解していないことを意味するなら、それは私が喜んで行うとても簡単なトレードです。
爆発的成長への反論に戻りましょう。いくつかすでに議論しましたが、ここにもう一つあります。これはむしろ質問です：この追加の出力はどこに行くのでしょうか？経済が10年ほどで100倍大きくなった場合、誰がそれを消費するのでしょうか？何のためにでしょうか？
まず、今日持っている製品をより多く持つ、いわゆる集約的マージンの観点から見ると、それに対する欲求は非常に多いと思います。おそらく100倍ほどではないかもしれませんが、それは収穫逓減に当たり始めるかもしれません。
現在、世界の平均GDP per capitaは年間1万ドル程度ですが、何百万ドルも楽しんでいる人々がいます。人々が楽しむものと、限界効用の点であまり減少していないように見えるものの間には大きなギャップがあります。だから、今日消費しているものをより多く消費するという単純な集約的マージンだけでもかなりの余地があります。
そして、おそらくより重要な次元は、消費しているものの範囲を拡大するという広範的マージンです。産業革命のようなものを見ると、それは私たちが消費を増やした主な次元であったように思えます。あなたが気にするどんな分野でも、交通、医療、エンターテイメント、食品など、技術、新しい貿易ルート、物事を生産する新しい方法によって可能になった消費できるものの種類の大規模な拡大があります。
これが、この種の拡大に伴って見られるであろう主なものだと思います。タイラーが指摘する別のポイントは、最も遅く成長するものによるボトルネックがあり、最も生産性の高いものが自分の出力の割合を減らすという、ボーモルのコスト病のようなミックスがあるでしょう。
そうですね、それに完全に同意します。それは単なる質的な考慮であり、それ自体ではこれらのボーモル効果があるかないかによって許容される成長率について予測をするのに十分ではありません。それは単なる質的な考慮事項です。そして量的な予測をするためには追加の仮定を行う必要があるでしょう。
この議論のコミシング版は、ソフトウェアの特異点の議論で先ほど行ったのと同じようなもので、進歩をボトルネックにする可能性のある複数の要素があるという本質的に同じ反論を指摘しています。
誰かが明示的なものを指摘した場合、例えば「ヘルスケアは非常に重要なものであり、なぜAIがそれをより良くすると期待すべきなのか？それはAIのために良くなるようには思えないので、ヘルスケアが経済の大部分になり、それがボトルネックになるかもしれない」と言われれば、より説得力があるでしょう。
しかし、一つだけあるなら、それが経済の小さな部分であれば、それでも多くの成長を得ることができます。他のすべてを自動化し、それは多くの成長を生み出すでしょう。だから、それは量的に計算される必要があり、この反論が何であるべきかについて量的に具体的である必要があります。
まず、これらのタスクが何であるか、経済的生産における現在の割合は何かについて具体的である必要があります。第二に、補完性がどれほど悪いと思うかについて具体的である必要があります。
数値的な観点から、経済学者は代替の弾力性という概念を使用して、いくつかの次元で出力がはるかに多いが他の次元ではそれほど多くない場合、全体的な経済的生産量がどれくらい増加するかを定量化します。
そして第三の質問があります。経済の多くを自動化し、多くの人間がそれらの仕事に従事していた場合、彼らは自動化されていない仕事に移行することができます。
例えば、先ほど例を挙げたように、リモートワークタスクが最初に自動化され、感覚運動スキルが遅れる世界を想像できます。そうすると、ソフトウェアエンジニアが物理的な労働者になる世界があり得ます。もちろん、その世界では物理的な労働者の賃金は今日のよりもはるかに高くなるでしょう。
この再配分もボトルネックが最大限に強力であっても、つまり経済のすべてのタスクを見て、生産性成長が最も悪いものを文字通り見ても、この再配分のためにかなりの出力の増加が得られるでしょう。
経済学者と話した経験では、彼らはこれらのより質的な考慮事項を持ち出しますが、私たちの論点は成長率について具体的な定量的予測をするものです。
例えば、経済がどれくらいの速さで倍増するかを尋ねることができます。H100は約1秒あたり人間の脳が行うと推定される計算量である約10^15 FLOPを行います。H100は人間の脳のソフトウェアをペイバックするのにどれくらいかかるかを尋ねることができます。
人間の脳のソフトウェアを実行すれば、経済に展開してアメリカで年間5〜10万ドル程度の人間の賃金を稼ぐことができます。それはペイバックすることができます。H100あたりのコストは約3万ドルなので、おそらく1年程度の倍増時間が得られます。
これは倍増時間について非常に定量的に具体的な予測です。そして反応は「ボーモル効果がある」というものですが、それは2年ごとに倍増するのか、5年ごとに倍増するのか、何を予測するのか？これを一貫した反論にするためにはより多くの仮定が必要です。
少し混乱するのは、確かにボトルネックは重要だという質的な反論があり、それはソフトウェアの特異点の物語に懐疑的である理由の一部ですが、この爆発的成長を阻止するには十分ではないということです。
私がよく聞く別の反論は、経済の多くがOリング型の活動で構成されているという考えです。これはチャレンジャー宇宙船爆発を指しており、一つのコンポーネントに問題があったため、全体が崩壊したというものです。
実は面白いことに、Oリングモデルは多くの入力の積であり、全体的な出力は非常に多くのものの積です。しかし、これは実際にはより少ないボトルネックがあるという観点からはかなり楽観的です。
ソフトウェアの特異点について前に指摘したように、それは実験のための計算と研究の積ですが、もしそれらの積の一つが、人間のためにスケールしないなら、これはボトルネックを限定しません。
スケーリングの効率は他の方法よりも低くなるかもしれませんが、Oリングの世界では依然として無制限のスケーリングを得ることができます。
実際には、タイラーが彼のボトルネック観をもっと真剣に受け止めるべきだという点で彼に同意せず、彼の結論には同意しないと思います。
AIが柔軟に代替できるようになれば、爆発的成長が得られると思います。AIが考案した全く新しい組織があるでしょう。AIファームと呼ばれるブログ記事を書きました。
現在のAI世界の組織で生産的な労働者や貢献者かもしれませんが、多くの人間はゼロか、あるいはマイナスですらあるかもしれません。
同意します。しかし、なぜそこで人間がループにいるのでしょうか？人間が出力に負の貢献をしていると言っていますが、彼らをループに入れるべきだとも言っています。それは矛盾しているように思えます。
主な反論は規制であり、異なる点で暗黙のうちに取り組んできましたが、明示的に取り組みましょう。なぜ規制はこれを止めないのでしょうか？
私たちは爆発的成長に対するすべての議論を検討した論文を持っています。規制は最も強力に見えるものです。なぜそれが強力に見えるかというと、国際競争や管轄区域間の政策の違い、この技術を採用する強いインセンティブ（経済的、国家安全保障上の理由の両方）について前に議論しましたが、それらは一緒に考えると非常に説得力がありますが、それでも世界はある種の技術の追求を調整することについて驚くべき能力を持っています。
人間のクローニングのような例がありますよね。AIについてはそうならない可能性が高いと思います。なぜなら、人間のクローニングは他のタブーに触れるものだからです。また、価値も低く、国家安全保障にとっても即時的な意味では重要性も低いです。
しかし、同時に、これを排除するのは難しいです。誰かが「10％、15％、あるいは20％ほどの確率で、何らかの世界的な連携があり、規制が非常に効果的になり、おそらく制裁などを通じて脱退する国に対して強制され、それによってAIの展開が妨げられるわけではないかもしれないが、成長を十分に遅らせて爆発的成長に至らない可能性がある」と言ったとしても、それは不合理な見解だとは思いません。10％程度の確率かもしれません。
他に私が説明すべきことはありますか？
経済学者からよく聞く議論としては、爆発的成長に関する私たちの議論（年間3％ではなく30％の成長率になるという成長レベルに関する議論）に対して、レベルに関する反論で応じることがあります。彼らは「散髪やフライトを取ることやレストランに行くことをどれだけ効率的に、どれだけ価値あるものにできるのか」と尋ねます。
しかし、これは根本的に間違った種類の反論です。私たちは変化の率について話しており、あなたは生産性の絶対的なレベルについての議論をして反論しています。これは経済学者自身も、より遅い成長率が長い期間続くというケースでは支持しないような議論です。
特別な弁明のようなもののように思えます。しかし、なぜAIについてあなたが述べたのと同じように、世界に展開し、人々が何を有用と感じるかを見て、既存のサプライチェーンに統合するなどという、AIの製品やサービスでも同様のことが起こらないのでしょうか？ChatGPTはその例でしたよね。
時間はかかりますが、それは往々にして非常に速いです。実際、ChatGPTは非常に速く成長しました。しかし、それは純粋にデジタルサービスでした。
重要なことは、AIが文字通りリモートワーカーやどこかで働く労働者を代替する場合、企業はすでに人間をオンボーディングする経験を持っています。人間のオンボーディングはそれほど長い時間がかかりません。特に困難な仕事でも、新しい労働者が生産的になるまで6ヶ月程度かかるかもしれません。
それはそれほど長くないので、AIの労働者をオンボーディングできないという理由にはならないと思います。彼らを活用するための多くの新しい補完的なイノベーションを発見する必要がないと仮定すればの話ですが。
現在のAIシステムが抑制され、成長が期待よりも遅いと見られる理由の一つは、企業が経済でこの新しい技術と働く方法に慣れていないからだと思います。それを活用するために、彼らは働き方を再配置する必要があります。
しかし、AIシステムが文字通り人間の労働者を代替できる場合、補完的なイノベーションはそれほど必要ではないかもしれません。
これは最後のトピックに移るいい機会です。AIファームについてです。これは完全に自動化された企業がどのようなものになるかについてあなた方が一緒に書いたブログ記事です。
重要な点は、人々は個々のコピーがどれほど賢くなるかという観点からAIを考える傾向があるということです。彼らが超人的である方法を理解したい場合、生物学的な制約のために排除されている集合的な利点に焦点を当てるべきです。
それらは、彼らの暗黙の知識をすべてコピーできるということです。ジェフ・ディーンやIASなどの関連する人物、あるいはイーロン・マスクをコピーして、SpaceXのリグのすべてのエンジニアになることができます。
それがイーロン・マスクを持つ効率的な方法でない場合や、関連するチームなどをコピーする場合もあるでしょう。
人間の企業では、非常に効果的なチームやグループがあっても、時間とともにその文化が薄れたり、人々が去ったり死んだり年をとったりする問題があります。これは、デジタル企業で解決できる多くの問題の一つです。
企業は現在、進化に関連する3つの基準のうち2つを持っています。それは選択と変異です。しかし、高い忠実度での複製はありません。AIファームができれば、企業の進化の中で、より速くより強烈なシーケンスが想像できます。
これは、オンボーディングの問題に関連しています。現在、彼らはスマートでなく、完全な労働者としてオンボードできないだけです。しかし、一度できるようになれば、私が雇いたいようなスキルについて考えると、それはとても大きなロックになるでしょう。
給料は完全に二次的なものになります。私が必要なスキルまたはスキルのセットを持つ労働者を持ち、需要の弾力性が高いものに対して1000人の労働者を並行して持つことができるということは、おそらく変革的AIとともに、将来のAI社会がどのようになるかについて理解する必要がある最も過小評価されたタンジブルなことの一つだと思います。
マクロ経済的な絵についての最初のポイントがあります。すべての関連する入力の大量のスケーリングを期待することです。これが私は第一に重要なことだと思いますが、それから「この世界は実際にどのように見えるのか、単に多くの人々や多くの資本、多くのものを持つ世界とどのように違うのか」というようなより微視的な質問があります。
そこで、これらの考慮事項が重要になってきます。もう一つ重要なことは、AIを私たちが労働者の嗜好をコントロールできないのとは違って、AIの嗜好をコントロールできるということです。
あなたの労働者に対しては、選択するだけで他に選択肢はありませんが、AIについては、微調整することができ、あなたが望む種類の嗜好を持つAIシステムを構築することができます。これにより、プリンシパル・エージェント問題のような人間の企業の構造を決定する基本的な問題が劇的に変わる可能性があります。
あなたが労働者として、マネージャーや企業全体、あるいは企業の株主の嗜好とは異なるインセンティブを持つという問題です。
実際には、インセンティブは大きなパズルの小さな部分だと思います。これは帯域幅と情報共有に関するものだと思います。大きな組織では、一つの一貫したビジョンを持つことが非常に難しいことがよくあります。
私たちが今日見る最も成功した企業は、創設者が異常に長い時間、彼らのビジョンを組織に植え付けることができたところです。SpaceXやTeslaはその例です。人々はNvidiaについてもそのように話します。
しかし、将来のバージョンを想像してみてください。1年間に1000億ドルを推論に費やしているハイパー・メガ・ジェンセンがいて、彼のコピーが絶えずすべてのプレスリリースを書き、すべてのプルリクエストをレビューし、すべてのカスタマーサービスのリクエストに答え、組織全体を監視して、それが一貫したビジョンに沿って進んでいることを確認し、そしてハイパー・ジェンセンやメガ・ジェンセンに戻してマージされるというものです。
同時に、人間の企業で一貫したビジョンや文化を持つことが重要な理由の一部は、そうでなければインセンティブの問題が存在するということでもあることを指摘したいと思います。それを排除するわけではありませんが、マクロ経済全体の視点を除けば、コピーできることが最も大きな違いだと思います。
そうですね、それも複製できることにより、規模の経済の追加の源泉があります。GPUの数が2倍あれば、古いモデルのコピーを2倍だけでなく、より良いモデルをトレーニングすることもできます。トレーニング計算と推論計算を2倍にすると、以前持っていた労働者の数が2倍になるだけでなく、彼らもより賢くなるので、それ以上のものが得られます。トレーニング計算をより多く使ったからです。
それは規模の経済の追加の源泉であり、そこには人間にとっては、すべての人間が一からすべてを学ばなければならないという利点があります。彼らは生まれ、一定量の生涯学習をしなければなりません。人間の学習には大量の重複があります。
一方、AIシステムでは、一度だけ学ぶことができ、一つの巨大なトレーニング実行を持つことができ、それをどこでも展開することができます。これはAIが人間に対して持つもう一つの大きな利点です。
最後にこの一つの議論で締めくくりたいと思います。これはしばしプライベートで議論してきたものですが、この規模の経済で中央計画は機能するでしょうか？
私が言いたいのは、最適であるかどうかではなく、機能するかどうかです。おそらく最適ではないと思いますが、誰もこの質問について深く考えていないと思います。
このAIの世界で中央計画が少し良くなると期待する理由について考えてみましょう。一つの考慮事項は、通信帯域幅が今日よりもはるかに大きくなる可能性があるということです。
現在の世界では、情報収集と情報処理は共に配置されています。人間は観察し、また観察したことを処理します。AIの世界では、それを分離することができます。
それは実に興味深いポイントです。センサーを持ち、あまり処理せず、単に収集して中央で処理することができます。中央で処理することはいくつかの理由で意味があるかもしれず、より多くのGPUがより良いモデルを生成し、見ているものについてより深く考えることができるという規模の経済を得ることができます。
一部のものはすでにこのように機能していることに注目する価値があります。例えば、Tesla FSDは、数百万マイルの運転から周辺で収集されたデータから恩恵を受け、その結果としての改善は中央から指示されます。このHQから「更新をプッシュします」というようなものです。
この中央集権化のより多くを得ることができ、Teslaがやっているであろうただの勾配平均化よりももっと洗練されたものになる可能性があります。これはより意図的で知的な更新になる可能性があります。
もう一つの理由は、現在のリーダーやCEOは労働者よりも大きな脳を持っていないということです。少しあるかもしれませんが、大きな桁ではありません。計画を行うモデルのサイズを、行動を行う人々やエージェントや労働者に比べてオーダー違いに大きくすることができるかもしれません。
第三の理由は、インセンティブの問題です。市場を持つ理由の一部は、それが人々に適切なインセンティブを与えるからですが、AIを使用している場合、それほど必要ではないかもしれません。
もし中央銀行がなぜ機能しないのかについての伝統的な議論をリストアップすると、それらは弱くなる可能性があると思います。ただし、この種の分析を行う際には、一部の要因だけを考慮し、他のことを考慮しないという部分均衡分析に陥る危険性があります。
例えば、より複雑になり、経済がはるかに大きくなると考慮します。一方で、情報を収集し処理する能力は向上しますが、物事がより複雑になるにつれて、それを行う必要性も高まります。
これを示す方法の一つは、Appleの組織が今日のすべての計算能力を持ち、ヨリックの経済を管理するよう任された場合を想像することです。実際、それは中央計画ができ、経済はより良く機能するかもしれません。しかし、Appleは今日存在する世界経済を管理することはできません。
これが最後の質問になります。AIを研究することに関連していない人間の知識のドメインはないというのが、AIをとても魅力的にしている要因の一つです。
私たちは基本的に未来の社会がどのようになるかを理解しようとしています。明らかにコンピュータサイエンスは関連していますが、経済学や歴史、そして歴史を理解する方法など、他の多くの分野も関連しています。
特にあなた方がタイムラインが長いと考え、意味のあるキャリアを追求するのに十分な時間がある場合、誰かにどのようなアドバイスをしますか？あなた方はまだ若いですが、特にあなた（エゲイ）はそうですね。
これはクリスタル化された知能を必要とする種類のことだと思うかもしれませんが、両方とも若いです。あなた方のようなキャリアに興味がある人へのアドバイスは何ですか？
それは難しい質問です。この種の暗黙的な戦略を意図的に追求することは難しいと思います。おそらく自発的で、好奇心や興味によってより推進される方が良いでしょう。「AIの議論に貢献するために様々なことを学びましょう」という意図的な選択をするよりも、その戦略はあまり効果的ではないでしょう。
その戦略を意図的に使用して成功した人を見たことがありません。私はこの談話に直接貢献していないかもしれませんが、他の人が貢献するのを促進してきました。私の場合、それは意図的な戦略ではありませんでしたが、ポッドキャストをするという意図的な戦略がありました。それが不注意にも様々な分野について学ぶ機会を与えてくれました。
もしあなたがすでに興味を持ち、好奇心を持ち、様々なことを読み、様々なことを研究し、これらのトピックについて考えているなら、もっと生産的になるためにできることはたくさんあります。
人々と話し、あなたの考えを書き留め、特に役立つ人々と話し合い、コラボレーションすることです。同様の見解を持ち、非常に高い帯域幅の会話をできる人々を探し、これらのトピックで進歩を遂げることが非常に役立つと思います。
しかし、彼らはどうやってあなたにDMを送るのですか？
信号チャットを友達と設定するなど、私はそれをたくさん行ってきて、それからどれだけ得たかは驚くべきことです。
一般的に人々に、特にAIについて考えていない人々にも与えるアドバイスの一つは、もっと積極的に連絡を取るべきだということです。もし非常に重要に見える人に連絡すると、彼らは反応しないと思うかもしれませんが、あなたが送るものが興味深く高品質であれば、彼らは反応する可能性が非常に高いです。
より積極的で、愚かに見えることを恥じないという点でもっと攻めることができます。もし生産的になりたいなら、補完性があるので、あるコミュニティや組織の一部になる必要があります。
これは推論だけでは非常に役立たないという点に戻ります。他の人々は長い時間考え、有用なアイデアにランダムに遭遇し、あなたはそれを活用することができます。
だから、より大きな何かの一部になるような状況に自分を置くべきです。それはより効果的に貢献する方法です。そのためには、人々にそれを知らせる必要があります。
ベイエリアに来ることは、特にAIに興味がある場合には良いことです。また、物事を書いて投稿すれば、人々はそれを見ることができます。興味深いコメントで人々に積極的に連絡を取ります。あなたの考えが興味深い限り、多くの場合、彼らはあなたの考えに興味を持ってくれるでしょう。
私の考えはまだ興味深くないかもしれませんが、人々は私の冷たいメールを我慢し、それでも私とコラボレーションしてくれます。
もう一つ気づいたことがあります。あなたやカールのような人は、一般的に知的好奇心がある人や広く読む人に比べて、古典を読んだり一般的に読んだりするよりも、主要な文献に重点を置く傾向があります。
RoRペーパーのようなものによりもっと信頼を置くようなものです。普通の知的好奇心がある人は主要な文献を読まないかもしれません。
時間が非常に限られていることを意識する必要があります。AIモデルでさえないので、読むことに費やす時間を積極的に優先順位付けする必要があります。
AIモデルでさえ、それほど優先順位付けしていません。彼らはRedditなどを読むことが多いです。
少なくともあなた方の間では、一般的には最も生産的なことではないかもしれませんが、主要な経験的文献を読むことは役立つと思います。Twitterを読むことも役立つと思います。
人々はよく、Twitterを読む時間が多すぎて、もっとarXivを読む時間を費やしたいと言いますが、実際には単位時間あたりにTwitterから得る情報量の方が多いことが多く、彼らにとってはそれを読む方がずっと生産的です。
重要な文献があり、それは重要です。AIにおけるキーペーパー、例えば推論のスケーリング法則に関するアンディ・ジョーンズのペーパーのような、あるいは経済学ではRoRペーパーや長期的な人口を説明するクレーマーやデイビッド・ラドマンのペーパーなどです。
もしこのことについて非常に良く考えている人々があるペーパーを提案し、強く推薦するなら、それを真剣に受け止め、それらのペーパーを実際に読むべきだと思います。
私にとって特に役立ったのは、多くのものをざっと読むのではなく、重要な文献について本当に立ち止まることです。例えば、トランスフォーマーを理解するために、当然カーパシーの講義がありますが、本当に役立ったリソースの一つはAnthropicのオリジナルのトランスフォーマー回路論文です。
ただその論文に一日を費やし、ざっと読むのではなく、多くの間隔反復カードを作るなどしたことは、AIについて広く一般的に読むよりもはるかに役立ちました。
物事を正しく優先順位付けするためには、コミュニティの一部になるか、コミュニティからの入力を得ること、あるいは多くのことについて考え、多くの経験を持つ人々から何が重要で何が重要でないかについての情報を得ることがはるかに重要です。
これは学術分野でも同様です。数学研究をしたいが、大学院プログラムの一部ではなく、数学研究を毎日何年もしている人がたくさんいる大学にいない場合、取り組むべき未解決の問題さえわからないでしょう。何が合理的に取り組むことができ、何が取り組むことができないのか、この分野で重要な論文は何か、重要な技術が含まれているのは何かすら分からないでしょう。だから、その情報のフィードに何らかの形でつながることが非常に重要です。
しかし、どうやってアンカラにいるとき、誰とも話していないのに、これらすべてを知っていたのですか？
必ずしも人々と話す必要はありません。インターネットはこの点で非常に役立ちます。常に一貫して最も興味深い人々が誰かを特定する必要があります。
おそらく一人の人を見つけ、その人はおそらく他の興味深い人々を知っているでしょう。そして社会的ネットワークをたどり始めることができます。
例えば、ダニエル・エルスバーグについて知っていて、彼が出演したポッドキャストを探し、80,000時間ポッドキャストに出演したことに気づきます。そして、80,000時間ポッドキャストには他のゲストもいることに気づきます。
例えば、ブライアン・カプランもポッドキャストに出演し、ロビン・ハンセンも出演しています。そして、それらの他の人々が知っている人々がいるかもしれません。このような社会的ネットワークをたどり、誰の話を聞くべきかを理解することができます。
あなたのセレクションはしばしん非常に良いと思います。それによって、様々なトピックについて最も興味深い考えをしている人々を追跡することがはるかに容易になります。
これで私を褒めてくれたところで終わりにしましょう。冗談です。
再度、人々がエポックをフォローすることを強く推奨します。毎週発行される素晴らしいニュースレター「Gradient Updates」があります。これが毎週出てくるものだとは信じられません。
そして今、新しいポッドキャストがありますが、競合としてそれを宣伝することはしません。スタジオを貸してくれてありがとう。非常に寛大です。
ありがとう。
コメント