エコノミストのノア・スミスと私が、経済学のレンズを通して、ニュース、テクノロジー、ビジネス、そしてそれ以上のことを理解しようとするエコン102へようこそ。早速始めましょう。ゲストはどこですか。今来ています。今入ってもらおうとしています。こんにちは。やあ、ダリオ。やあ、ダリオ。
ダリオ: やあ、調子はどうですか。
ノア: まあまあです。久しぶりですね。またお会いできてうれしいです。確か何年も前に会ったことがありますよね。パンデミック前に数回会ったと思います。それ以来お会いしていませんから。
ダリオ: そうですね。驚くほど何年も前のことですね。あなたの声があまりはっきり聞こえないのですが。
ノア: これでどうですか。少しよくなりましたか。
ダリオ: はい、ずっと良くなりました。何をしたのですか。
ノア: マイクを自分の近くに寄せただけです。というのも、いつもの設定を諦めなければならなかったんです。オフィスのその部屋でインターネット信号が不安定だったので。中継器を設置する必要があるのですが、それまではソファからポッドキャストをしているんです。
ダリオ: 実は私たちAnthropicには、以前働いていた会社からの継続的な冗談があるんです。それは、ほぼすべてのポッドキャストで使わなければならなかったもので、「AGIを解決する前にビデオ会議を解決するだろう」というものです。実際、文字通り本当になると思います。冗談ではありません。
ノア: そうですね。AGIがビデオ会議の解決方法を教えてくれるかもしれません。
ダリオ: はい、でもAGIが先に来るでしょう。
エリック: ダリオ、私たちはまだ直接会ったことがないのですが、Sparkのヤスミンとは親友で、彼女が何年も前からあなたの素晴らしさを賞賛していて、Anthropicがどれほど大きくなるかを教えてくれました。あなたのことを知ることができて本当に良かったです。
ダリオ: はい、ヤスミンは素晴らしいですね。彼女は非常に支持的な投資家です。始めるのが楽しみです。私の姉妹で共同創設者が、あなたのポッドキャストで私を招待したいと言っているのを聞いたそうです。だから、あなたが私の名前を呼んで、私を召喚したようなものですね。
エリック: はい、私たちはあなたを存在に呼び出しました。そして、そこから始めましょう、ダリオ。あなたには興味深い知的進化がありますね。あなたの知的進化について簡単に説明していただけますか。そして、なぜあなたが経済学のポッドキャストに出ているのか、そしてなぜそれが適切なのかについても。
ダリオ: はい、そうですね。最初から始めるとすれば…AIに関わる前は、何が最も興味深く影響力のある仕事になるかを考えていました。学部では物理学を専攻しました。ノアも同じだと思います。その後、いくつかのことを考えました。実際、経済学の大学院に行くことも考えましたが、そうしませんでした。代わりに計算論的神経科学と生物物理学の大学院に進みました。AIも考えましたが、当時はAIがそれほど面白いとは思えませんでしたし、知能に関する重要な問題にあまり進展がなかったと思いました。
そこで、私たちが知っている唯一の時々知的な対象である人間の脳を研究することにしました。生物学的ニューロンのネットワークに取り組み、その中で何が起こっているのかを理解しようとしました。これは非常に難しい課題でした。生物学的なアクセスと物理的な測定だけでも非常に難しく、分析に至るまでには時間がかかりました。人間の脳の内部で実際に何が起こっているのかを理解しようとして、ほんの少しずつ進歩を積み重ねました。
その後、スタンフォードでポスドクとしてプロテオミクスに取り組みました。2014年頃、ディープラーニング革命が始まりました。AlexNetやQuoNetの研究を見て、この分野に関わることにしました。アンドリューと1年間Baidu(百度)で働き、その後1年間Googleにいました。その後、OpenAIが設立されてすぐに加わり、約5年間そこにいました。スケーリング則に関する多くのアイデアを開発し、いくつかのGPTの構築を手伝い、他の人々と共に人間からのフィードバックによる強化学習（RL from Human feedback）の方法を発明しました。これは後に商用チャットボットの製作に使用されることになります。
2020年末頃にOpenAIを離れ、Anthropicを設立しました。それ以来、Anthropicを運営しています。
エリック: 一般的な質問ですが、これは経済学のポッドキャストなので、純粋な技術面よりも経済面について少し話したいと思います。GoogleはAI時代のベル研究所なのでしょうか？彼らは現代のディープラーニングやトランスフォーマーなどにつながる研究を行いましたが、ベル研究所のようにそれをうまく商業化できませんでした。彼らはベル研究所のように独占的な利益からそれを資金提供し、あなたのような面白い人々が働いて、後にFairchildの人々がベル研究所からしたように、会社を立ち上げました。これは適切な類推だと思いますか？
ダリオ: はい、完璧な類推は決してありませんが、確かにそこには何かがあると思います。私がGoogleにいたとき、多くの人にとってそれは学術キャリアの延長のようなものでした。これはベル研究所と同じです。産業環境ではありますが、学術環境と多くの共通点がありました。ただし、物事を実現するためのリソースがより多くありました。
人々は多くのことに取り組んでいました。トランスフォーマーは、この分野を推進した重要な発明の1つです。しかし、それは取り組まれていた100のことの中の1つに過ぎませんでした。組織の上層部に行けば行くほど、それと他の99の発明を区別する合理的な能力はありませんでした。それは「千の花を咲かせよう」のようなものでした。
その時期に、スケーリング仮説のようなアイデアを持ち始めました。これらのイノベーションの一部を本当にスケールアップし、それらを組み合わせる必要があるということです。理論的には、Googleがそれを行うのに最適な場所でした。彼らは世界最大のクラスターを持ち、多くの才能あるエンジニアリングスタッフを抱えていました。すべての要素を持っていたのです。
しかし、Googleのマシンは特定の方式で組織されていました。検索を行うように組織されていて、これらのすべての部分を組み合わせて、以前に行われたこととは根本的に異なるものをスケールアップするようには必ずしも組織されていませんでした。ベル研究所がコンピュータを発明し、全ての人にコンピュータを与えるようには設定されていなかったのと同じように、Googleは電話会社のようなものでした。
明らかに今では、これらの素晴らしいものを発明することに加えて、フロンティアモデルを持つ4つの会社の1つです。彼らは私たちのパートナーでもあり競合でもあります。そこには非常に賢い人々がたくさんいます。しかし、もし彼らが正しい方法で要素を組み合わせることができていたら、彼らが唯一のプレイヤーになれた時期があったと思います。何らかの理由で、そうはならなかったのです。
エリック: それは、私たちが考えていた別のことにつながりますね。実際、あなたと話をするというアイデアは、別のポッドキャストから来ました。そこで私は主にインターネットビジネスの経済学について話していて、そしてエリックがAIビジネスについていくつかの悲観的な見方を示しました。AIの事業の防御力(モート)について疑問を投げかけていました。これは明らかにAnthropicにとって非常に関連性がありますね。そして他の、私たちがスタートアップと呼んでいますが、すでにかなり大きくなっている会社にとっても。AIの企業の事業の防御力についてどのように考えていますか？
ダリオ: はい、これを2つの部分に分けて考えたいと思います。スケーリング仮説に関するいくつかのアイデアと質問を、ビジネスの質問から分離するのは少し難しいです。まず、スケーリング仮説が非常に強い形で真である場合を考えてみましょう。次に、それがある程度真である場合、または全く真でない場合を考えます。
スケーリング仮説が非常に強い形で真である場合、おそらく他の場所で公に説明したことがあると思いますが、これは1億のモデルを訓練すると、優秀な大学の1年生くらいの能力になり、10億のモデルを訓練すると、上級の学部生くらいになり、100億ドルのモデルを訓練すると、トップの大学院生くらいになり、1000億ドルのモデルを訓練すると、ノーベル賞受賞者くらいになるというバージョンです。
そして、そのモデルを基本的に全ての人のために働かせます。あなたの同僚になり、個人的なアシスタントになり、国家安全保障を助け、生物学を助けます。この世界では、そのシステムとそのシステムの上に構築された製品が、経済の非常に大きな部分を占めることになります。
まだ、リターンがどこに行くかという質問があります。NVIDIAに行くのか、AI企業に行くのか、それともダウンストリームのアプリケーションに行くのか。パイが非常に大きいので、私の答えは、一次近似ではそれらすべての場所に行くということです。
しかし、太陽光発電について考えてみてください。太陽光発電は明らかに絶対的に…そして、私たちがより多くのエネルギーを必要とすればするほど、より多くの太陽光発電があるでしょう。にもかかわらず、私には多くの利益を上げている太陽光発電会社の名前を挙げるのは難しいです。それは非常にコモディティ化された製品であり、多くのイノベーションが含まれているにもかかわらず、ブランディングもネットワーク効果もロックインもありません。
太陽光発電会社が、今まさに私たちの目の前で世界を根本的に変えているこの技術で利益を上げるのは非常に難しいのです。だから、すべてが太陽光発電のように急成長している事実が、必ずしも企業が利益を捕捉することにつながるとは限らないと100%確信しているわけではありません。しかし、そうなる可能性も十分にあると思います。ただ、AIが太陽光発電と異なる結果になる源は何だと思いますか？
エリック: そうですね、ここで2つのポイントがあると思います。そして、あなたが言っていることに触れたいと思います。それは重要な質問だと思うからです。
多くの世界では、もしかしたら私はただ単に、スケーリング仮説が正しければ、これは本当に、本当に大きなものになるだろうという点を指摓しているだけかもしれません。供給チェーンのこの部分やあの部分に利益の10%しか行かなくても、それでも本当に、本当に大きいのです。パイを十分に大きくすれば、それが最も興味深い質問になります。
もちろん、ドル紙幣がどのように分配されるかを決定する人々にとっては、1兆ドルがここに行き、10兆ドルがあそこに行くのか、それとも10兆ドルがここに行き、1兆ドルがあそこに行くのかは本当に重要でしょう。しかし、あなたの質問に戻りましょう。私はそれがすべての世界で重要だと思うからです。ただ、分配しているパイの大きさの問題だけです。
まず、モデル側について、これもスケーリング仮説に依存しますが、100億または1000億ドルのモデルを構築する場合、おそらく4つか5つ以上の事業体、そしておそらく数個の国営のプレイヤーも参入するかもしれません。これは、完全に独占的または完全にコモディティ化されたものよりも、おそらく寡占的に見えるでしょう。
100億ドルまたは1000億ドルのオープンソースモデルをリリースする人がいるかどうかという疑問があるかもしれません。私はそこまでの確信を持ってそれを行う人がいるとは少し懐疑的です。実際、そのようなモデルがリリースされたとしても、1つ注意すべき点があります。オープンソースソフトウェアとの類推で言えば、これらの大規模モデルは実際、推論を実行するのに非常にコストがかかります。コストの大部分はモデルのトレーニングではなく、推論にあります。
推論をより効率的に行う方法が10%、20%、30%でもあれば、それによってオープンソースの効果を打ち消すことができます。経済学は少し奇妙です。確かに、償却しなければならない巨大な固定費用がありますが、推論の単位あたりのコストもあり、その小さな違いが、モデルが十分に広く展開されれば、実際に大きな違いを生み出す可能性があります。それがどのように展開されるかはまだわかりません。
これは実際に重工業の経済学に似ています。製鋼のようなものですね。
エリック: はい、少し似ていますね。興味深いです。
ダリオ: 他に言いたいことは、これらの少数のモデルの中でも、すでに見え始めていることですが、モデルには異なる個性があるということです。コモディティ化は1つの可能性であり、寡占の中でさえ、モデルを展開する特定の方法がコモディティ化される可能性があると思います。ただし、確信は持てません。
しかし、それに反対する力の1つは、「コーディングが得意なモデルを作る」、「クリエイティブな文章が得意なモデルを作る」、「魅力的で楽しいモデルを作る」といった選択をすることです。これらの選択をし始めると、その周りにインフラを構築し始めます。そのため、私にはある程度の差別化の前提条件を作り出すように見えます。
差別化につながる可能性のあるもう1つの点は、その上に構築された製品です。理論的には、モデルレイヤーと製品レイヤーを分離できますが、実際にはそれらはある程度リンクしており、組織間で協力するのは少し挑戦的な場合があります。
モデルには、「単一のパス」とは言いたくありませんが、モデルを構築するための論理があります。多くの企業が同じ方向に進んでいます。マルチモダリティを追加し、モデルをよりスマートにし、推論をより速くしています。ある意味で1つの方向があります。
しかし、製品は非常に異なります。例えば、私たちが作成した「アーティファクト」というものを見てください。これはモデルが書くコードをリアルタイムで可視化する方法です。私たちはそれを行い、OpenAIは彼ら独自のものを行い、Googleは彼ら独自のものを行います。これも企業間の差別化の源だと思います。
また、モデルの上に構築されたアプリを販売することの経済性は、比較的薄いアプリであっても（そしてそれらはどんどん厚くなっています）、単にAPIを介してモデルを引き渡して「さあ、蛇口を開けました。買ってください」と言うのとはかなり異なることがわかっています。
エリック: スケーリング則が成立し、私たちが考えているほど大きくなった場合、これらの企業はある時点で国有化されると予想しますか？それが別のモートを提示する可能性がありますか？または、どのように予想しますか？
ダリオ: はい、それは人々が通常モートについて話すときに言及することではありません。それは国家安全保障に関するこれらのことにつながります。
再び、私たちは世界を2つに分けます。スケーリング則が正しい世界と、スケーリング則が間違っていて事態が停滞する世界です。もし事態が停滞すれば、これは単なるインターネットや太陽光発電のような技術です。おそらくほとんどのものよりも大きいでしょうが、これまでのところに基づいて前例のないものではありません。そしてその場合、国有化されることはないでしょう。誰が価値を得るかという多くの質問が絶対に中心になるでしょう。
もしスケーリング則が正しく、ノーベル賞を受賞した生物学者や業界トップのコーダー、あるいはそれ以上のモデルを構築しているのであれば、国家間の競争や誤用に関する質問、そしてモデルの自律性に関する質問が前面に出てくると思います。
他の場所で言ったように、文字通りの国有化については確信がありませんが、政府が大きな役割を果たす必要があると思います。これらのモデルが、アメリカと同盟国が持つ最も価値のある、おそらく最も価値のある国防資産の1つになる可能性があります。敵対者に盗まれないこと、敵対者が追いつけるかどうか、敵対者と同じくらい速くそれらを展開できるかどうかについて非常に気にするでしょう。
アメリカやその同盟国が受け取るすべての情報を統合したり、すべての軍事やロジスティクス操作を調整したりするモデルを想像してみてください。それは本当に非常に強力に聞こえます。
エリック: レオポルドの中国対アメリカの議論について、彼はそれをかなりうまく説明したと思いませんか？
ダリオ: はい、レオポルドのエッセイは非常に興味深かったです。私が同意する部分が多くあります。それは私が必ずしも行くような国有化や国家安全保障の観点よりもさらに進んでいるかもしれませんが、私の見解はそれほど遠くないと言えるでしょう。
技術が十分に強力になったとき、4つか5つの会社が自主的に運営し、好きなことをするというアイデアは、良い結果につながらないと確実に思います。そして、これは会社の1つを率いる者として言っています。
国家安全保障上の理由で政府が産業に関与するモデルは多くあります。SpaceXモデルのような公的契約があり、官民パートナーシップがあり、国立研究所のようなものがあり、文字通りの国有化もあります。どこかにはそれらの中に意味のあるモデルがあるはずです。私にはまだそれが何なのか、いつが適切な時期なのかわかりません。正しい時期は今年のような今すぐではないと思います。しかし、スケーリング則が正しければ、物事は本当に速く変わる可能性があります。
エリック: それは、私が長年インターネット企業について書いてきた、結局は政府とパートナーシップを組むだろうということと非常に近いですね。
質問があります。私には大きな仮説があります。電気の話を知っていますか？最初、電気を手に入れた製造業者は、蒸気機関を引き抜いて電気発電機に置き換えようとしました。もちろん、それはずっと損失が大きかったので、彼らの電力生産は減少しました。工場の形態を同じに保ったからです。そして、それは彼らにとって損失でした。
しかし、誰かが電気を複数のワークステーションに並行して供給できることに気づきました。そして、製造の方法を変えました。1つの大きな組立ラインから、人々が物を異なる小さなワークステーションに持っていって作業する方法に変わりました。これにより、数十年にわたって持続的な生産性の大幅な向上につながりました。
私はいつもAIも同様だと疑っています。実際、インターネットも同様だと思いますが、AIも同様だと思います。最初、みんなAIを人間のように考えているようです。実際に人々は、AIの数を人間の従業員の数に関連付けて話していますが、これは私には意味がありません。なぜなら、それは個人に分割できるものではないからです。エージェントベースのものを作って、そのように動作させることはできますが、なぜそうするのでしょうか。
私の仮説は、これは最初の段階に過ぎないということです。電気が直接蒸気ボイラーを置き換えるのはそれほど良いアイデアではなかったのと同じように、私は人々がAIを人間の直接的な置き換えとして考えることで少し失望するだろうと予測しています。カスタマーサービスなど、いくつかの明確に定義された分野では実際に機能するかもしれませんが、人間の直接的な置き換えが実際に機能するケースは少ないと思います。
そして、私たちはガートナーのハイプサイクルのような「崩壊」を経験するでしょう。人々は「まあ、それはうまく機能しない。AIは大きな失敗だ。誰がそれを必要とするんだ」と言うでしょう。そして、創造的な起業家たちが「実際、AIを単に人間の代替として使うのではなく、創造的な方法で使うことができる」と言うでしょう。もちろん、私にはその方法が何なのか言えません。そうでなければ、私は億万長者になれるでしょう。
しかし、人々はAIを創造的に使う方法を見つけ出すでしょう。人間の従業員が決して使われなかった方法で、一部の人間のタスクを引き継ぎ、他の人間のタスクを補完し、全く新しいビジネスモデルを作り出す方法です。そして、私たちはこの復活のブームを見ることになるでしょう。これが私の予測、私のガートナー風の予測です。私は狂っていますか？
ダリオ: そうですね、これは私が同意する部分と、おそらく同意しない部分、あるいはこれは真実だが他のことも真実であり、それらは大きな緊張関係にあるように見える部分が混ざっているように思います。
まず、現在のモデルの品質をそのままにしておくとすれば、あなたが言っていることにほぼ同意します。実際、私たちの商業活動でも、かなり似たようなことを観察しています。私たちは単に話しかけることができるClaudeを提供していますが、APIを通じてモデルを多くの人々に販売もしています。人々はモデルを使用する最良の方法を見つけ出すのにかなり時間がかかっていることは確かです。
チャットボットにするのか、モデルの信頼性に関する質問が山積みしているのか、これらがあなたが言っている懸念の一部を引き起こしていると思います。例えば、財務情報を提供したり法的契約を分析したりするモデルがあるとして、95%の時間で正しい答えを出すとします。それは人間が正しい答えを出す頻度よりも高いかもしれません。しかし、エンドユーザーや企業自体が、5%の時間で正しくない答えを出す場合にどうすればいいのかわからないのです。
人間が間違った答えを出す方法とは必ずしも同じではありません。どのようにそれらのケースを検出し、エラー処理をし、実践でそれを扱うのでしょうか。理論的に有用なものと実践的に有用なものは非常に異なります。
前に述べたアーティファクト機能を例に挙げましょう。初期のClaudeでは、コードを書かせて、そのコードをコンパイラやインタープリタに貼り付けると、JavaScriptのビデオゲームなどを作ることができました。そして、いくつかの間違いがあり、モデルに戻って「これをどのように修正できますか」と尋ねました。そのループを閉じることは大きな違いを生みました。
また、大きなモデルが小さなモデルを調整する様子も見てきました。これは、モデルを1人の人間として考えるのとは非常に異なりますが、おそらくそこにも人間の類推があるかもしれません。より大きく強力なモデルと、より速く安価だがあまり賢くないモデルがあります。
いくつかの顧客で見られるパターンは、大規模なモデルが何か大きなタスクを念頭に置き、小規模なモデルの100個のコピーのようなものを分散させ、それらが作業を行い、大規模なモデルに報告するというものです。このように、1人の人間ではなく、タスクを行うスウォームのようなものがあり、非常に人間らしくない方法で作業を行います。蜂の群れがタスクを実行するのに似ています。
これは全て、モデルを使用する最良の方法をまだ見つけ出そうとしており、モデルを使用する方法が多くあることを示しています。しかし、モデルがよりスマートになるにつれて、これらの問題をより効果的に解決できるようになると思います。モデルがよりスマートになれば、それらをエージェントに変換するのがより上手くなり、タスクをエンドツーエンドで実行するのがより上手くなります。人間の要素の量、人間が行わなければならないことの量は減少していくでしょう。
そして、再び全てはスケーリング則が続くかどうかに帰結します。もし続けば、あなたが説明しているようなプロセスの連続になります。もし停止すれば、イノベーションは止まり、研究のイノベーションは止まり、あなたが説明しているプロセスが展開されます。
エリック: 基本的に、スケーリングによって私が考える「愚かな使用事例」が戻ってくるということですね。
ダリオ: そうですね。現在、ChatGPTで最も愚かなことは、「ノア・スミスの以前の記事のスタイルで〇〇についての記事を書いてください」と言うことです。そして、完璧なものが出てきます。現在はそれを行うことはできませんし、それに近づくこともできません。しかし、アイデアとしては、もしスケールすれば、最終的には「ノア・スミスのスタイルでこれについての記事を書いて」と言うだけで、世界を支配できるポイントに達するということです。なぜなら、無限の高品質なノア・スミスの思考をスパムできるからです。あるいは、自然な品質以上のものを。そして基本的に、私とAIがあなたの思考圏を支配することになるでしょう。
エリック: 私はすでにあなたの記事を読むのにかなりの時間を費やしていることを認めなければなりません。無限の数のあなたの記事があれば、それはかなり強力でしょうね。（邪悪な笑い）
ダリオ: （邪悪な笑い）はい、そうですね。
エリック: そのアイデアはわかりました。基本的に、技術革新が最終的にビジネスモデルのイノベーションをあまり重要でなくするということですね。なぜなら、ボタンを押すだけで何でもできるようになるからです。
ダリオ: そうです。インターフェースとビジネスプロセスのイノベーションは、モデルの知能の代替物のようなものです。一方が多ければ多いほど、他方は少なくて済むのです。これは興味深い力学を生み出します。重なり合う革命があり、それぞれが前のものよりも少し市場に出るのが早いのですが、いつか音楽が止まるかもしれません。私たちにはわかりません。
スケーリング則について私がいつも言うのは、それらが続くという何らかの基本的な物理法則があると信じるべきではないということです。これは経験的な観察であり、いつでも停止する可能性があります。私は10年間それらを観察してきました。私の継続しないだろうという推測は、これまで観察してきた時間の長さに基づいています。しかし、それは60対40、あるいは70対30の命題に過ぎません。
エリック: 「トレンドは友達、でも最後の曲がり角まで」というように。
ダリオ: その言葉は聞いたことがありませんが、確かにその通りです。
エリック: あなたの認識を変えるものは何でしょうか？あなたの確率を変えるものは何ですか？
ダリオ: そうですね、まず、もし私たちがモデルを訓練し、次のスケールのモデルを訓練して、それが本当に悪かったら、そしてそれをブロック解除しようといくつか試みても依然としてうまくいかなかったら、「ああ、トレンドが止まっているのかもしれない」と思うでしょう。
もしデータ不足の問題があり、プロセスを継続するのに十分な合成データを生成できないなら、ある時点で「これは実際に難しそうだ」と言うでしょう。少なくともトレンドは一時停止するでしょう。完全に停止するかどうかはわかりませんが、そういうことが起こるかもしれません。
それらのことが起こらないだろうというのが私の推測ですが、これは非常に重要な問題です。
エリック: 労働への影響について少し話を変えましょう。これは明らかにAIに関して誰もが話したがるもう一つのことです。エリック・ベンイェルソンには次のような仮説があります。私もほぼ同意しているのですが、生成AIは少なくとも今のところ、スキルの差を縮小させます。
GitHub Copilotやコールセンター、大学のエッセイ作成など、AIが適用された最初の標準的なタスクで、私たちはそれを見ています。下手な人はずっと良くなり、上手な人は少し良くなり、非常に優秀な人は良くなりません。結果として、トップの人々のスキルの価値が低下します。なぜなら、下位の人々がトップの人々とより競争できるようになるからです。
私にとって、これは希望的な発見でした。なぜなら、それは工場労働者が職人と競争できるようになった時代、つまり産業革命初期の衣服製造の時代のように、少しだけ…今では北イングランドの村の平凡な人が、最高の職人と同じくらい良い、あるいは少なくとも10分の1の価格で90%くらい良い布を作ることができるようになったからです。
そこで、スキルリターンの分布が圧縮され、そしておそらく不平等と戦うことができるかもしれません。この仮説についてどう思いますか？
ダリオ: はい、再び、私はこれを時代に分けて考えます。現在私たちが見ているものに関しては、私の見方は絶対的にそれと一致します。例えば、コーディングモデルが改善されるにつれて、私が以前働いていた多くの非常にスキルの高いプログラマーたちが「これは私にはあまり役立たない。これはあまり有用ではない」と言っていたのを見るのは興味深いことです。
今ようやく、おそらくClaude 3.5 Sonnetや他の会社から来る将来のモデルでも同様でしょうが、時々モデルの使用をより多く見つけ始めています。しかし、確かにGitHub Copilotのようなものを見れば、それは平準化をもたらしました。また、それは良いことだと思います。
インターネットの時代を見ると、それは…あなたがたの方が私よりも詳しいでしょうが、この集約効果がありました。すべてがグローバルになり、ニュース、音楽、作家などが…そして、スーパースターに非常に大きなリターンがもたらされます。それが成長を促進しますが、同時に多くの不平等も引き起こします。
だから、この平準化効果は良いことだと思います。残念ながら、再びスケーリング則が続くにつれて、それは1つの時代に過ぎない可能性があります。AIモデルが誰もができることを始める別の時代があるかもしれません。そしてそれらもまた一種の平準化をもたらすかもしれません。
実際、ノアが最近言ったことに同意します。比較優位はまだ本当に重要になるでしょう。AIが人間よりもコーディングやバイオロジーでずっと優れていたとしても、驚くべきことに、タスクのほんの一部でも人間が行い続けるなら…人間と経済がタスクのまだ人間ができる部分に再適応する能力は本当に驚くべきものです。
AIがコードの90%を書いたとしても、人間は残りの10%に非常に長けるようになるでしょう。そして、100%書いたとしても、あなたはまだ設計を指定し、他のすべてとそれを接続し、製品を書いています。驚くほど多くのことがあります。
だから、比較優位は人々が考えるよりも長く続くと思います。これらのクレイジーなスケーリングの世界でも、永遠に続くとは思いません。十分に長く続けば、そして一部の補完的なものが構築されれば、それが重要な要因として存続する理由はありません。しかし、人々が考えるよりもずっと長く続くと思います。
エリック: 私は恐らく、比較優位に関する投稿でもう少し明確にできたかもしれません。その投稿は多くの注目を集めましたが、AIの上流の制約が人間の上流の制約と同じである世界では、我々は比較優位があってもなくても問題に陥るということを、もっと明確にできたかもしれません。
なぜなら、両者がエネルギーを争っているからです。簡単な説明をすると、もしデータセンターが食料生産からエネルギーを奪い、食料がより高価になれば、人々は怒り、それは人間にとって悪いことです。
しかし、上流の制約が異なる世界では…ほとんどの人は下流の能力、補完性と代替性について考えますが、私は生産要素の補完性と代替性について話していました。例えば、AIを作る上で最大のボトルネックがエネルギーではなく、十分な計算能力を製造する能力であれば、私たちは大丈夫だと思います。
なぜなら、それは基本的に…私の例えでは、マーク・アンドリーセンが1人いて、マーク・アンドリーセンのエグゼクティブアシスタントが1人いるようなものです。それぞれ1人ずつしかいません。これら2つの生産要素には異なる特異的な制約があります。
同様に、AIのリソースのボトルネックがエネルギーよりも計算能力に関するものであれば、比較優位は私たちにとってより良いものになる可能性が高いと思います。私はこの点についてもう少し明確にすべきでしたが、基本的にこれに同意しますか？これについてどう思いますか？
ダリオ: はい、それは理にかなっていると思います。あなたは基本的に、AIがサイロンで、それを作り育てるプロセスが人間のものと非常に似ている場合、私たちは問題に陥るが、それが全く異なる入力を持つどこかのサーバーファームである場合、私たちは大丈夫だと言っているのですね。
深く考えたことはありませんが、少なくとも一見したところ、それはかなりもっともらしく聞こえます。再び、AIが世界を再形成し、経済の設計全体を変えるような世界にいる場合…それはスケーリングカーブの終わりにあるようなものですが…私たちは何か異なるものについて話している可能性があります。
しかし、経済の通常のルールが適用される限り…そしてしばらくはそうなると思いますが…これは非常に賢明に聞こえます。
エリック: なるほど。また、私たちが話している超スキリングの世界について…これらのモデルを書いた論文を見せることができます。基本的に、私たちの直感は、物事の単純なモデルを書いたときに得られるものとかなり密接に一致しています。そして、はい、これらのモデルにはスケーリング能力の世界が存在し、あなたが考えるようにそれは機能します。
私のもう一つの質問は、AIが非常に優れているために、驚くべき生物学、驚くべき製造、そして驚くべきあらゆるものを私たちに与え、私たちが欲しいものすべてが10倍、100倍、何倍でも良くなる信じられないほどの豊かさの世界を想像することは理にかなっているでしょうか？そして、それにもかかわらず、人間自身が貧しくなる。人間が完全に貧しくなる中で、根本的な豊かさの世界を心配しなければならないケースは何ですか？
ダリオ: その2つの部分を1つずつ取り上げましょう。根本的な豊かさの世界、それは私たちが望んでいることです。私はリスクについてよく話します。自律性とミスユース、国家安全保障の両方について。そして時々、人々はそこから「ああ、彼は悲観主義者で、悪いことが起こると思っている」という印象を受けます。しかし、私の見方はむしろ、デフォルトでは本当に素晴らしいことが起こると思っていて、悪いことに執着しているのは、それらが素晴らしいことが起こるのを妨げる唯一のものだからです。それらは進路を逸らせる唯一のものなのです。だから、私はブロッカーを見つけて破壊することに完全に執着しているのです。
まず、根本的な豊かさの世界ですが、私は生物学についてよく考えます。以前生物学者だったからです。私たちは可能なことを本当に過小評価していると思います。AIと生物学を見ている人々、確かに10年前に私がこの分野にいたときは、態度は「生物学から得られるデータの質は疑わしく、得られる量も限られている。実験にはしばしば交絡因子がある。より多くのデータ分析とビッグデータとAIを持つのは素晴らしいが、せいぜい補助的な役割しか果たさない」というものでした。AlphaFoldでそれは少し変わったかもしれませんが。
しかし、もちろん私の描像は、そしてこれはあなたが置換の落とし穴と考えるものに少し近づくかもしれませんが、AIモデルが生物学者または共同生物学者の役割を果たすというものです。本当に先進的な生物学について考えると、それは本当に不釣り合いに少数の技術がすべてを支えているのです。
例えばゲノムシーケンシング、ゲノムを読む能力は、現代生物学のほとんどの基礎となっています。最近ではCRISPR、ゲノムを編集する能力が、動物実験で介入したい多くの実験の基礎となっています。製薬や病気の治療にも重要になり始めていますが、まだ道のりは長く、より信頼性が必要です。他にも多くの技術が必要です。
AIを正しく使えば、これらの発見を発明する速度を10倍、場合によっては100倍に増やせると思います。CRISPRを見てみると、それは基本的にバクテリアの免疫システムから来ています。これは30年間知られていましたが、それを遺伝子編集に使えるというアイデアとの接続、どのようにそれを行うか、他の要素を追加する必要があることなど、30年前にできなかった理由はありませんでした。発明するのに30年かかったのです。
これらの発見が起こる速度を大幅に増加させることができれば、病気を治療する速度も大幅に増加すると思います。私の考え方は、21世紀を圧縮できないかということです。AIを使用して、21世紀中に生物学で行うはずだった全ての進歩を、10倍速くすることで5年か10年に圧縮できないでしょうか。20世紀に生物学で行った全ての進歩を考え、それを5年か10年に圧縮すると考えてみてください。私にとって、それが可能性です。文字通り可能かもしれません。
何千年も私たちと共にあった病気を治療できるかもしれません。もちろん、それは生産性に大きな影響を与え、パイのサイズを大きくし、人間の寿命を延ばすでしょう。それが私が望んでいることです。希望的に、私たちみんなが望んでいることです。
人間が貧困に陥るについては…最も簡単な悪いシナリオは、この巨大な富が作られ、先進国で二桁のGDP成長を得たとしても、そのリターンが不釣り合いに、それを開発している企業、その企業の従業員、生産される必要のある補完的資産に行き、平均的な人がそれを共有できない状況に陥るというものでしょう。
そして、おそらくより現実的な心配は、発展途上国の人々がそこから取り残されるということです。成長する経済から人々が取り残されることを考えると、それは国内よりも国家間でより多く起こっていますが、国内でも起こっています。
国内では、国々には再分配の歴史がありますが、サハラ以南のアフリカへの再分配などは、アメリカ国内での再分配ほど上手くいっていません。なぜなら、そのような再分配を行う管轄権を持つ政府機関がないからです。これは、人々があまり考えない問題の一面です。他の国への影響ですが、おそらくそれは話題を逸らしすぎるかもしれません。
エリック: もっと質問はありますか？私には1つ質問があります。それはリスクのコインの両面についてです。ある人々は、私たちが人間の脳がどのように機能するかを本当に理解できないため、会話の始めに戻りますが、AIが意識や主体性を発達させることを心配すべきだと言います。私たち自身のプログラミングさえ理解できないのに、AIをプログラムしたり理解したりすることができるでしょうか。これが安全性の懸念の一方の面です。
そして、もう一方の面は、AI支援の監視国家です。私は、そこでのリスクについてもっと推測できるか知りたいです。それは反対のリスク・プロファイルのように見えます。そして、おそらく質問として、AIが中国やロシア、イランでどのように発展すると思うかを尋ねたいと思います。
ダリオ: はい、安全性の側面では、再び、いくつかの異なることがあります。人間の脳がどのように機能するかを理解していないという事実は、それだけでAIシステムについてそれほど安心させるべきではないと思います。かなり悪い人間もいますよね。2歳の子供を見て、これが次のガンジーになるのか、次のヒトラーになるのか、それともその中間になるのか、私たちには本当に予測する方法がありません。何か推測はできるかもしれませんが、本当に難しいのです。
AIシステムについても同じことが言えると思います。一方で、それはシステムが必ずしもコントロール不可能であることを意味するわけではありません。人間を教育する方法があり、彼らの間にパワーバランスを作る方法があります。完全に安心させるメッセージではありませんが、完全に恐ろしいメッセージでもありません。もし何かを示唆するとすれば、人間同士の連携に関する古い問題と同じ状況にAIでも直面する可能性があるということです。コインの両面です。
しかし、内部で何が起こっているかを理解できれば、状況は大幅に改善すると思います。Anthropicには、モデルの内部を覗き、なぜそれが行動するのかを理解しようとする解釈可能性に取り組むチームが最初からありました。経験から言えば、人間の脳でそれを行うのは難しいですが、ソフトウェアでは遥かに簡単です。まだアルゴリズムの計算複雑性はありますが、生物を殺さずに脳の中に手を伸ばす方法を心配することなく、その複雑さに直面することができます。
私たちはできる限りそれを行うべきで、理想的には、それを本当にうまく行えば、人間の連携や人間を予測する能力よりも状況が良くなる可能性があります。一方で、人間については多くのことを知っていますが、AIについてはあまり知りません。予測するとすれば、そしてすでにAIシステムを展開したときに見ているのですが、それらはエイリアンのようです。時々理解しがたい間違いを犯し、人間なら正しく理解できないことを正しく理解することもありますが、時々人間なら絶対に犯さないような間違いを犯します。これは安全性の観点から心配する理由だと思います。
私とAnthropicはよく、物事についてこのようなバランスの取れた見方をしています。これが安全性に対する私たちの見方です。
ロシアと中国で何が起こるかについては、輸出規制に戻ります。私たちには、そこで何が起こるかをコントロールするための利用可能なハードガバナンスメカニズムがありません。ここで安全性の問題について多くの議論をしていますが、中国にも同じ問題について考えている人々がいるのを見るのは嬉しいです。しかし、彼らがそれを正しく行うことを確実にする機構はありません。民主的な説明責任のメカニズムはありません。
権威主義政府は民主主義政府よりも無謀である歴史があります。だから、彼らが先行していることは、多くの理由から、多くの異なる視点から見て、一般的に悪いニュースだと思います。ある程度、私たちは彼らに追いつくためのスピードアップと安全性について考えるという緊張関係に直面していますが、両方の観点から良いことがいくつかあります。私たちはそのようなことをもっと見つけ出し、実行すべきだと思います。
エリック: あと2分ほどお時間をいただけますが、SB 1047について何か簡単な考えはありますか？イーロンがそれを支持したばかりです。一部の人々は、それが規制についての考え方に道筋を作る可能性があることを懸念しています。簡単な考えを聞かせてください。
ダリオ: はい、Anthropicはこれについて2つの手紙を書きました。最初は元の法案に対するもので、少し厳しすぎるという懸念がありました。法案スポンサーは実際に、それらの懸念の多く（すべてではありませんが）に対処しました。おそらく60%ほどでしょうか。
変更後、私たちはかなりポジティブになりました。私たちは分析の観点から見解を述べました。安全性プロセスを実行し、安全性のためにモデルをテストする多くの経験があるので、側を選んで他の側を攻撃するような政治的連合が行うようなことをするよりも、情報を提供し、教育することでエコシステムにより有用なアクターになれると感じました。
しかし、変更後は法案に対してよりポジティブになったと思います。私たちの最善の判断能力では、現在の形では全体的に好ましいと考えています。元の法案版に対する懸念は、「事前執行」と呼ばれるものでした。
法案の仕組みは、私たちやOpenAI、Google、その他が開発した自主的なメカニズムである責任あるスケーリング計画（RSP）と非常に似ています。これは、新しいより強力なモデルを作るたびに、自律的な不正行為、生物兵器の誤用、サイバー攻撃、核情報などに対するこれらのテストを実行しなければならないというものです。
それを法律に変える方法は2つあります。1つは政府部門を設置し、その部門が「これらのテストを実行しなければならない、これらの安全策を講じなければならない」と規定し、モデルがテストを通過するのに十分スマートであれば、これらすべてを書く行政国家があるというものです。
私たちの懸念は、これらのテストの多くが非常に新しく、これらの大惨事のほとんどがまだ起こっていないということでした。懸念を示す人々と同じ線で、「これは本当にうまくいかない可能性がある。これらのテストが愚かになる可能性があるのか、より邪悪な方法で政治的に再利用される可能性があるのか」と言いました。
もう1つの方法は、私たちがより優雅で、これらのリスクがすぐに来ると考えている、急速に発展するこの分野にとってより良いスタート方法かもしれないと考えたものです。それらは速く私たちに向かって来ていますが、まだ起こっていません。私たちが「抑止力」と呼ぶものです。
これは、全員が自分の安全とセキュリティ計画を書き出し、全員が自分でテストをどのように実行するかを決めるというものです。しかし、何か悪いことが起こった場合（これはAIが世界を乗っ取るだけでなく、普通のサイバー攻撃かもしれません）、裁判所がその計画を見て、「これは良い計画だったか、合理的な人がこの大惨事を防ぐためにあなたが取れたすべての措置を講じたと信じられるか」と判断します。
そして、希望は、企業が大惨事を防ぐために競い、大惨事が起こったときに責任を負わされる最も遅いシマウマにならないように、上向きのレースが起こることです。
意見は分かれています。明らかに、多くの人々は新しい法案にまだ反対しています。彼らの立場も理解できます。これは新しい技術で、これらの大惨事はまだ見ていませんし、これまで規制されていませんでした。しかし、私たちはそれが適切なバランスを取っていると感じました。時間が経てば分かるでしょう。法案が可決されるかどうかにかかわらず、おそらくこのような規制のアイデアを見る最後ではないでしょう。
これは私たちが対話に最もよく貢献できると考えた別の理由でもあります。「これらが良い点で、これらが悪い点です。修正後は、良い点が悪い点を上回ると考えています」と言うことで。これは継続的な対話です。
エリック: この種の法案によって、カリフォルニア州から事業を移転させることはありませんか？
ダリオ: それが最も不可解だったことです。カリフォルニア州から事業を移転させると話していた企業がいくつかありました。実際、法案はカリフォルニア州で事業を行うこと、またはカリフォルニア州でモデルを展開することに適用されます。企業の本社を移転しても、法案に対する立場は変わりません。
正直なところ、反対者が「これは怖いです。どこにでも適用されるから」と言わなかったことに驚いています。それは私たちがコストを上回ると感じる理由の1つでしたが、「本社をカリフォルニア州から移転します。これによって移転せざるを得なくなります」というのは単なる演劇です。交渉のレバレッジに過ぎません。法案の実際の内容とは何の関係もありません。
エリック: なるほど。実際、もう1つ質問してもいいですか？時間はありますか？
ダリオ: はい、喜んで話し続けます。ある時点でサシャが中断して止めるように言うでしょうが、それまでは喜んで話し続けます。
エリック: もう1つ質問があります。アライメントに関して、ほとんどの人は人間にとって良い、人間にとって物事が良いAIベースの世界をどのように作るかを考えています。私はウサギにとって良いAIベースの世界をどのように作るかをよく考えています。
なぜなら、私はバニーが大好きで、彼らは宇宙から厳しい扱いを受けているからです。野生のウサギは平均1.5年しか生きませんが、飼育下のウサギは快適に10〜14年生きます。
Anthropicの公式動物としてウサギを採用すること以外に（これは絶対にすべきだと思います。キプリーは私と協力してくれるでしょう）、超AIの世界でウサギにとって良い世界を作るにはどうすればよいでしょうか？
ダリオ: はい、私も似たようなことを考えたことがあります。私は馬を飼っていますが、馬の描写方法は、彼らが行動において巨大なウサギのようだということです。彼らは獲物動物ですが、本当に保護したくなります。彼らは本当に保護本能を引き起こします。彼らが良い生活を送れるようにしたいと思います。
私の考え方は、AIを正しく考えれば、「より弱い存在に親切であるべき」という一般的な原則を作り出すことができるということです。つまり、人間はウサギや馬に親切であるべきで、AIは人間に親切であるべきで、希望的にはAI自体もウサギや馬に親切であるべきです。これはその一般化です。
AI、あるいは結合したAIと人間のイデオロジーや世界観が、これらの生き物の一種の保護に基づいているべきだと思います。私は、もし私たちが慈悲深い強力なAIを構築したら、彼らは私たちをウサギや馬を見るように見るかもしれないと思います。私たちは少し無力で、かわいくて、保護される必要があるのです。
エリック: そうですね。ウサギのアライメント問題にもっと注意を払う必要があると確かに思います。実際、私が書いた唯一のSFショートストーリーは、AIがただウサギと他の小さくてふわふわした動物を保護することを決めた未来についてでした。時々、潜在的に彼らを脅かすかもしれない人間を攻撃することもありました。
ダリオ: はい、「ウサギに近づきすぎています。これが最後の警告です。宇宙レーザーがあなたを狙っています」というようなことが起こりましたね。
エリック: そうです、実際にそういうことが起こりました。
ダリオ: また会えて良かったです。
エリック: はい、本当に良かったです。あなたのエッセイ、特に国際情勢と国家安全保障の状況についてのものを本当に楽しく読ませていただきました。基本的に同じ見解を持っています。実際、スケーリング則について私が正しければ、これらの問題はさらに重要になると思います。
巨大な技術的破壊的革命が、同時に起こっているからです。第二次世界大戦中に原子爆弾が作られたようなものです。おそらくそれは過度に劇的な類推かもしれませんが、これらの問題をさらに浮き彫りにし、私たちが乗り越えなければならないいくつかの緊張関係を生み出していると思います。私はそれについて非常に懸念しており、あなたの分析は問題を考える上で役立っています。
ダリオ: そう言っていただき、ありがとうございます。
エコン102は、Moment of Zen、In the Arena、The Cognitive Revolution、その他のポッドキャストを手がけるTurpentineのネットワークによるポッドキャストです。気に入っていただけたら、App Storeで購読してレビューを残してください。ショーで取り上げたトピックについての文章による分析は、Noah-opinion.substack.comとEric-torenberg.substack.comの両方のSubstackで確認できます。ご視聴ありがとうございました。
コメント