AI業界で最も著名な投資家アンジ・ミドハがAnthropicへの初期投資から現在のAI infrastructure構築まで、その軌跡を語る。彼はAnthropicのシード投資家であり、Black Forest Labs、Mistralなどへの投資を主導し、現在はAMPを設立してコンピュートリソースとキャピタルを提供している。インタビューでは、AIのボトルネック(コンテキストフィードバック、コンピュート、キャピタル、カルチャー)、中国のAI戦略への懸念、フロンティアモデル推論に対する協調的な「アイアンドーム」の必要性、そしてコンピュート標準化の欠如がもたらすインフラ浪費の危機について論じている。
- AI進化のボトルネックとは
- フロンティアAIの4つのボトルネック
- 垂直統合型ファウンデーションモデル企業の時代
- 何がClaudifiedされるのか
- Mistral投資の核心的論拠
- Anthropicの初期の日々
- 公益法人としてのAMP
- コンピュート供給の確保
- コンピュート割り当てとベンチャーファンド
- ベンチャーキャピタルの2つのモデルは共存できるか
- 産業革命との類似性
- ヨーロッパのフロンティアAIに必要な資本
- 株式と債務の調達
- データセンターへの投資不足とGPU浪費
- フロンティアモデルとチップの進化速度のミスマッチ
- コンピュート標準化はブームアンドバストサイクルを除去するか
- 中国のAI戦略への懸念
- 推論のためのアイアンドーム
- 推論需要の組み合わせ的成長
- 完全競争と独占の間:最適競争
- VCの補助金と推論市場
- まだ構築されていない1000億ドル以上の価値があるファウンデーションモデル層企業
- 5年後のVCの変化
- 公衆との富の共有
- クイックファイアラウンド
- ダリオの素晴らしさ
- 過去12ヶ月で考えを変えたこと
- お金のトレッドミルからの脱却
- アンの遺産
AI進化のボトルネックとは
今日のゲストは、エコシステムで最も著名なAI投資家、アンジ・ミドハです。なぜ彼が最も著名なのか。3つの理由があります。第一に、彼はAnthropicの創業投資家の一人です。第二に、彼はアンドリーセン・ホロウィッツでAI投資を主導し、Black Forest Labs、Mistral、Sesameなどに投資しました。そして第三に、現在彼はAMPの創業者として、コンピュートを提供し、世界最高のAI企業に投資しています。
もし我々がフロンティアモデルの推論、つまり私が最先端推論と呼ぶものを協調的なアイアンドームの背後で守らなければ、今後10年間フロンティアに留まり続けるための持続可能なチャンスはないと思います。超伝導体の発見には全く飽和がありません。
準備はいいですか。本当に楽しみにしていたんだ。この3、4日間、あなたのことを徹底的に調べ上げたよ。ビング・ゴードンとも話したんだ。この前にビングと話す機会があってね。彼と話せて良かったよ。今日は参加してくれて本当にありがとう。
こちらこそありがとう。長かったね。何年だっけ、8年?9年?忘れちゃったけど。
前回やったときは12歳だったよ。ああ、スタートアップの世界での12年は25年に相当するからね。
混乱してるんだ。助けてくれ。この間DeepMindのデミスを番組に呼んだんだけど、彼は「スケーリング則が見えているかどうかは分からないけど、スケールするにつれて確実にリターンやパフォーマンスがやや減少している」って言っていた。つまり、増加したコンピュートがもはや性能向上につながらない段階に来ている可能性があるってこと?
いや、絶対にそんなことはない。それは全く真実ではないよ。コーディングのような十分に探索されたドメインでは確かに、飽和した評価指標で段階的な改善を得るために増大するコンピュートが必要になっている。でも材料科学についてはどうかと聞かれたら、今私はPeriodic Labsのオフィスに座っているんだけど、これは私の最新のインキュベーションでね。Periodic Labsで週3日働いているんだ。メンローパークに30,000平方フィートの施設があって、そこではLLMが新しい材料、新しい超伝導体を予測する。それからロボットがそれらの新材料を合成して、X線回折装置のような物理的な機械でそれらの材料がLLMによって予測された特性を持っているか検証する。そしてその検証データをトレーニングランにフィードバックするんだ。
あと何回それを繰り返す必要があるか分かるかい?今、問題により多くのコンピュートを投入することは、反復ごとにおそらく超指数関数的な利益をもたらしているよ。だからどのドメインについて話しているか、どのモダリティについて話しているかによるんだ。例えば超伝導体の発見には全く飽和がない。ビターレッスンは健在だよ。
フロンティアAIの4つのボトルネック
完全に理解できる。今日のパフォーマンスと進歩に関するボトルネックを見たとき、最も顕著に持続しているボトルネックは何?アルゴリズム?データ?コンピュート?何が最も遅れているのか教えてくれる?
4つか5つあるね。コンテキストフィードバック、これについては喜んで話すよ。コンピュート。キャピタル、これはコンピュートとコンテキストフィードバックループを継続的に展開するために必要なもの。そしてカルチャー。実際、カルチャーが最も重要なボトルネックかもしれない。でもそれが4つだね。
アルゴリズムのイノベーションは基本的にカルチャーの関数だと思う。なぜなら、適切なカルチャーがあれば最高の研究者を引き付けることができるから。最高の研究者、最高の研究人材はフロンティアを押し進める仕事をしたがる。そしてアルゴリズムのイノベーションは、どんなアーキテクチャを使いたいかについて非常に柔軟な本当に良いチームを持つことから自然に生まれてくる。
適切なカルチャーがあれば、アルゴリズムのイノベーションのボトルネックは自ずと解決される。なぜなら研究者たちは特定のアーキテクチャに縛られたり集中したりしないからだ。彼らはLLMやTransformerに全力投球するとかDiffusionモデルとかそういうことを言わない。最高の科学者や研究者はただ問題、ミッションを解決したいだけなんだ。
もしミッション主導のカルチャーがあって、彼らがコーディングのフロンティアや材料科学のフロンティアを動かしたいと考えているなら、アルゴリズムの問題は自ずと解決される。だから私の見解では、それはもうボトルネックではないんだ。2、3年前はそれが大きなボトルネックで、どのアルゴリズムがスケールするのか、Transformerアーキテクチャ対Diffusionモデルに限界があるのかを把握しようとしていた。
でも私が理解したのは、カルチャーの問題を解決すれば研究とアルゴリズムの問題を解決できるということ。そうするとコンテキストフィードバックのボトルネック、つまりフロンティア研究を繰り返し続けるために必要なデータは何かというのがステップ1だ。なぜなら実際、そこが最もビジネスと商業的優位性を持っている場所だと思うからだ。
プレトレーニング、ミッドトレーニングなどにも多くのアルファと価値があると思う。でもモデルやエージェントを新しいドメインに展開して、リアルタイムでそのパフォーマンスに関するフィードバックを収集する、そのラストワンマイル。ここPeriodic Labsでやっているように材料科学の物理的検証を行うところ、今日欠けているユニークなコンテキストフィードバックループがあるところ、そこがおそらく能力に関する最大のボトルネックを持っている。だからフロンティアを前進させようとしているなら、これらのモデルはダメだと考えるべきなんだ。
例えば約1年前、モデルが物理学や化学、科学のためのAIが得意だという話がたくさんあった。私はスタンフォードの応用物理学部門の客員研究員だったんだけど、これらのモデル、Claude、Geminiなどのベンチマークを始めたんだ。驚くことに、それらはひどかった。本当にひどかった。
AI for scienceのマーケティングの誇大宣伝と、少なくとも当時、これらのモデルが科学分析において恐ろしく性能が悪かったという現実との間に断絶があったんだ。コードでは良くなり始めていたけど、科学分析では恐ろしかった。結論はかなりシンプルだった。
物理世界について推論するために必要な物理学と化学のデータが大量に欠けていたんだ。でもそれを行うには、インターネット上に十分なデータがない。なぜならインターネットは主にブログとかコーディングについてのプレトレーニングデータだから。でも物理学と科学が必要なら、それは本当のボトルネックだ。なぜならそのデータは国立研究所や学術研究所に閉じ込められているから。
半導体製造工場に閉じ込められている。どうやってそのデータを取り込むのか?それが私が気付いたボトルネックで、これらのモデルに物理学と科学のフロンティアについて推論させる上での重要な部分だった。そしてPeriodic Labsでそれを解決した方法は、ロボットが全てを行う物理的な研究所を設立することだった。
進歩をもっともっと見たいドメインに同じレシピを適用できる。それから、そのRLループや物理的検証ループをより大きなスケールでスケーリングし続けるために、どれだけのコンピュートとインフラストラクチャが必要かを問う。そしてこれら全てに資金を提供するキャピタルが必要だ。
株式、債務、様々な構造化金融手段が必要で、土地、電力、建物を取得する。それがコンピュートのボトルネックだ。そして最後がカルチャー。なぜならこれら3つ全てを持っていても、適切なチームと適切なミッション主導のカルチャーがなければ、全てが崩壊するから。
だから私の考えでは、これらが私が毎日目覚めて最高のチームのためにどうやってブロックを解除するかを考えている4つのボトルネックなんだ。
垂直統合型ファウンデーションモデル企業の時代
コンテキストフィードバック、データ側について見ると、Periodic Labsのような垂直統合型ファウンデーションモデル企業の世代を様々な分野で見ることになる?
ああ、そうだね。私が機械学習の大学院に行ったとき、スタンフォードでバイオインフォマティクスに行ったんだけど、それは医療に応用された機械学習だった。当時は今日ほどマーケティングが上手くなかった。スーパーインテリジェンス、いいね。でも結局のところ、何について話しているんだろう?あるドメイン内で非常に強力なモデルについて話しているんだ。そして分布内では非常に非常に強力な能力を見ていて、それらを超人的と呼ぶことができる。なぜなら例えば個人の科学者としての私には、AIモデルなしでここの研究所から出てくる大量の大量のデータを分析する方法がないからだ。可能性が全くない。
だから物理的な研究所からのトレーニングデータ全てを取って、それをたくさんのAIモデルに投げて物事を分析するよう頼めるという事実は、超人的な能力なんだ。以前は持っていなかった。オーケー、それをスーパーインテリジェンスと呼ぼう。コーディング内、材料科学内、これらのドメイン分布のそれぞれ内で、超人的な能力を見ている。以前は持っていなかった。
そして実際、それらのタスクの自動化、特にコーディングが関わるところが、やや再帰的になり始めていると言える。良いコーディングモデルがあれば、データ分析を自動化しよう、データクリーニングを自動化しようと言えるからね。一部の人々はそれを再帰的自己改善と呼ぶだろう。完全に起こっている。でもそれはコーディングモデルに「メンローパークに物理的R&D研究所をブートストラップして、全ての許可を取って、資金調達先を見つけて、物理的インフラストラクチャを設立して、このデータ全てをブートストラップしてください」とは言えないんだ。
それは全く異なる種類のフロンティアであり、実行であり、問題なんだ。
何がClaudifiedされるのか
質問なんだけど、その垂直モデル企業の構築において、Claudifiedされないものをどうやって判断すればいい?Cursorを見て、彼らは独自の垂直モデルをエンドツーエンドで構築したけど、率直に言えばClaudifiedされたと言える。Periodic Labsは研究所で生成される物理的データのおかげでそうならないだろう。そのモデルで何がClaudifiedされるか、されないかをどうやって知ればいい?
良い質問だね。一般的に多くのドメインにわたってフロンティアの進歩をアンロックしたいなら、ボトルネックはどこにあって、価値はどこに蓄積するのか?コンテキストは必ずしもモートではない。
まだそうは言わないね。ベンチャーキャピタリストはモートを分析するのに非常に素早いけど、ユニークで差別化されたアクセスを持つコンテキストフィードバックループがあるところが、進歩が最も明確になるところだと言えるね。そしてそのコンテキストにアクセスできない他のチームがあれば、それはまた優れたビジネスモデルを持つ場所でもある。
ここで例を挙げよう。クラスで教えているんだけど、ソブリンデータ。クラウド法って知ってる?
ああ。
米国のクラウド法は、もしアメリカ企業が管理するインフラストラクチャ上でミッションクリティカルなデータワークロードやクラウドワークロードが実行されている場合、米国政府はそのデータにアクセスできなければならないと言っている。もしヨーロッパで軍事防衛ミッションクリティカルなワークロードを、アメリカ企業が管理するAIインフラストラクチャ上で実行しているなら、そのコンテキストは超重要だけど国境を越えて送ることができない。
それは局所的に実行される必要があるユニークで機密性の高いコンテキストの例だ。だからもしあなたがASML、物流を大規模に行っているCMACGMで、その物流の一部がミッションクリティカルな供給品だったら、クラウド法の対象となるサーバー上で実行されているAIボットによってサプライチェーンデータが処理されることは許されない。
どうするか?ローカルのインフラストラクチャパートナーを探す。ヨーロッパでAIのための大規模なミッションクリティカルインフラストラクチャを実際に扱える、信頼できるAIインフラストラクチャプロバイダーは誰かを探し始める。実際のところ、そんなに多くないことが分かる。だからアーサー・メンシュという人に電話する。彼はDeepMindから起業家に転身したフランスの科学者で、Mistralというラボを立ち上げて大規模なワークロードを実行している。そして「アーサー、ローカルで安全に保護できるインフラストラクチャを実際に構築してくれないか」と言う。
それが突然、2024年7月にパリのVivatéでマクロン大統領とジェンスンが33歳の科学者アーサーの隣の舞台に立って、パリでギガワットAIインフラストラクチャ施設を発表した理由なんだ。
なぜか?それらのワークロードのミッションクリティカルなコンテキストがローカルで実行されることが非常に重要で、Amazon AWS、GCP、Azureでは実行できないからだ。そしてハイパースケーラーの支配がスタートアップにとって争奪可能になったのは15年ぶりのことなんだ。
Mistral投資の核心的論拠
失礼だけど、それがあなたにとってのMistralの核心的投資論拠?
私にとってはそうだね。ヨーロッパにおけるAIインフラストラクチャスタック全体のあらゆる部分での大規模な独立性、それがソブリンで、ローカルな土地、電力、建物、ローカルなコンピュートインフラストラクチャ。そしてローカルでトレーニングされたモデル、ちなみに完全にオープンだから、必要な場所でグローバルに展開してカスタマイズできる。でも確実にヨーロッパでは、完全に独立したスタックが賭けなんだ。
AnthropicとOpenAIはそれを受け入れて諦めるの?理解できないんだけど、政府は彼らの努力とワークロードの大部分を占めていて、両方とも話したときに「絶対にヨーロッパに来る」って言ってたんだ。どうやってそれを回避するの?
OpenAIについてはあまり語れないけど、直接関わっていないから。でもAnthropicについては、ミッションとビジョンは常に非常にアメリカとアラインしていたと言える。彼らは常に「アメリカはイノベーションにおける世界の至宝だ。ここに拠点を置いている」と言ってきた。Anthropicはシリコンバレーにあるんだ。
そして企業は本当にアメリカ政府とアメリカ的な生活様式、つまり民主主義と自由にとって最善のことをしたいと考えている。世界最大のエンタープライズ顧客は政府とFortune 500企業だということが分かった。そして海外のそれらの多くは、これらのワークロードがローカルで実行される必要があるんだ。
Anthropicの初期の日々
Anthropicの初期の頃から関わっているって言ってたけど、興味深いよ。人々は彼らの初期の頃をほとんど忘れているような気がする。人々はSBFが早期に投資したことについて話して、彼がなんて先見の明があったんだろうって言うよね。Anthropicとダリオは初期の頃どんな感じだった?
トムとはずっと知り合いだったんだ。トムはGPT-3の主要著者の一人だった。長年友人だったんだ。トムが電話してきて「アン、様々な理由で、僕たちは辞めてAnthropicという新しいラボを立ち上げたいんだ。たくさんの資本が必要になる。コンピュートが必要になる」と言った。
その時点で私はすでにUbiquity 6を売却していた。だから創業者の旅を経験していたんだ。そしてダリオ、トムと私は2021年初めに毎週セッションを始めて、本当に研究仮説、つまりスケーリングレシピをビジネス仮説に変える方法を考え出そうとした。
実際には12から24ヶ月かかったと言えるね。彼らはこれをどうやって本当に運用化するか、AIペアプログラマーのアイデア、つまりプログラミングのローカルリポジトリ、ファイル、ディレクトリのコンテキストフィードバックループを取って、非常に体系的な方法でソフトウェアエンジニアリングの能力について予測可能な進歩を遂げるというハードワークをたくさんやった。
私の最大の欠点は、投資家として、創業者として、物事に早すぎることだと思う。それがUbiquity 6での教訓だった。私はコンピュータビジョン全体に早かったんだけど、それは今では明らかにマルチモーダル生成モデリング空間で爆発している。
それ以来、タイミングを正しく掴む方法について戦略をアップデートしたと思う。でも当時のレシピはかなりシンプルだった。お金を集めて、コンピュートを買って、プログラミングに関する少しのコンテキストデータを取得して、モデルの基本バージョンを出して、コーディングをしている信頼できるチームに展開して、そのフィードバックループをトレーニングランに繰り返しパイプで戻す。
推論でそれをやると、推論は2つのものを与えてくれる。より多くのコンピュートを買うための収益と、能力曲線を改善し続けるためのコンテキストフィードバック。「素晴らしい、完全に理にかなっているよ、みんな。資金調達に行こう」って言った。当時は貧乏な創業者だったから人生の貯金を投資したんだけど、大したものじゃなかった。純資産のほとんどがDiscordの株に縛られていて、友人のメールを振り返ると時々辛いんだけどね。
サンドヒルロードの上から下まで22人の友人に彼らを紹介したんだけど、投資家もいたよ。そして21のノーをもらったんだ。「みんな何考えてるの?」って言った。彼らは「アン、このレシピは理論上は良さそうだけど、証拠はどこ?」って言った。「証拠?これはGPT-3を発明した人たちだよ。これ以上どんな証拠が欲しいの?」って言った。
「GPT-3って何?」って言われた。「なんてこった」って思った。機械学習コミュニティで起こっているテクノロジーやブレークスルーを理解していない人をどうやって教育すればいいんだ?私はラッキーだったんだ。大学院でそのトレーニングを受けていたから。コンピュータビジョン企業を立ち上げていた。だから私にとって超明確だったことが、全く別の世界だったんだ。
そしてピッチしていた投資家たちにとって、覚えていてほしいんだけど、最初は5億ドル調達しようとして、それから1億ドルのシードラウンドだけを調達することに再アンカーしなければならなかった。当時は多いと感じたけど、もちろんOpenAIが調達した額と比べれば小さかった。なぜならその時点でOpenAIは10億ドル調達していたと思うから。
だからベンチャーキャピタル1ドルあたり6分の1のコストで知能のユニットを生産できるというコンピュート倍率の全体的なアイデアを、VCは理解しなかった。それが次の24ヶ月にわたって、それを理解した人々がSBFのようなML community と効果的利他主義コミュニティとの重なりを持つ人々か、Amazonだった理由なんだ。これはAmazonにとって非常に明確だった。なぜなら彼らはAzureとOpenAIで何が起こっているかを見ていて、「もし君たちがAmazon上でホストされる最先端モデルをたくさん作れるなら、それはAWSビジネスに非常に付加価値がある」と考えたから。
それが当初40億ドルだったAmazonとの深いコンピュートと株式のための資本パートナーシップにつながった理由なんだ。これの多くは今では公開されているけど、当時は本当に厳しい旅だった。ダリオ、トム、他の共同創業者たち、ダニエラ、ジャック、サム・マッキャンドリッシュ、ジャレッド、ジャレッド・カプランに敬意を表したい。この会社を立ち上げるのは本当に残酷な時期だったんだ。
今知っていることを全て知っていたとして、彼らに違うアドバイスをしたことはある?
分からないね。なぜなら世界は今日とは非常に異なる場所だから。そして当時は本当に信頼できる人が誰もいないように感じられた。
ある規模に達したら議会の前に引き出されないことは不可能じゃない?GoogleであろうとFacebookであろうとAnthropicであろうと、国防総省と戦っていても、その規模に達すると必ずその対立が起こるんだ。
絶対にそうだ。何言ってるの?私はAMPを公益法人として立ち上げたんだけど、それは実際に非常にアラインしたモデルだと思う。REIって聞いたことある?REIは公益法人だ。数十億ドルの収益と利益を上げている。彼らは議会の前に引き出されたことがある?ない。Ben & Jerry’s、公益法人。議会の前に引き出された?ない。
それは彼らが適切な時期に自己調整して、「これが我々のミッションだけど、ビジネスを構築しなければならない」と言ったからだ。そして長期的にこれら2つのことが矛盾していない限り、人生であなたの目標が安定した信頼できる方法で長期的に人類を前進させることなら、ミッションと利益動機との間に常に緊張がある。
そしてその2つの間で調整できなければならない。公益ガバナンスはそれを可能にすると思う。シリコンバレーとテクノロジーにもっと公益憲章が必要だと思う。そして私たちはそこに到達すると思う。
公益法人としてのAMP
インフラストラクチャビジネスの軌跡を見ると、実際に共通の友人と話したんだけど、名前は明かさないでくれって言われた。
彼らは投資家としてAnthropicに投資してる?
してない。
じゃあ史上最速で成長しているビジネスの投資家になりたい時に電話してって伝えて。それから公益ガバナンスと市場シェア採用について講義してくれればいいよ。公益ガバナンスはリーダーシップに、時には株主にとって最善ではないと明確でない決定をする能力を与えるんだ。
どんな決定?AMPでミッションとアラインしているけど利益動機のインセンティブを第一に置かない決定を何か予見できる?
スタック全体に多くあるよ。なぜなら私たちは最高のフロンティアテクノロジーチームへのフルスタックのスケーリングパートナーと見なしているし、AIのための独立した標準を提案し、それらの標準の採用を利益を生み出すビジネスを通じて evangelizeする機関としての役割も少し見ているから。
ベンチャーキャピタルビジネスもあるし、インフラストラクチャビジネスもある。今の良い例は、実際にコンピュートのほとんどを原価で提供しているんだ。もし株主なら「待って、数十億ドルのコンピュートインフラストラクチャを原価で提供してるの?」って言うだろう。そう、なぜならそれが人類にとって正しいことだと思うし、健全な独立したエコシステムのために長期的に正しい方法だと思うから。それが私たちのミッションなんだ。
AMPは公益ホールディングス会社だ。私たちのビジョンは健全な独立したフロンティアテクノロジーエコシステムを確保することだ。ミッションは世界のフロンティア出力を最大化することだ。長期的にそれを行うには、コーディングのように本当にイノベーションをしている、本当にフロンティアを押し進めているチームには、科学と工学のアクセスとコンピュートが必要で、今日それらのチームの多くはコンピュートインフラストラクチャの並外れた価格を支払う余裕がない。だから喜んでミッションアラインした方法でアクセスを提供するよ。
コンピュート供給の確保
アン、どうやってコンピュート供給を確保しているの?知っているべきかもしれないけど、今日最も不足している資源だよ。他の誰も確保できないように見えるリソースをどうやって確保してるの?
ステップ1は、人々がそれがどれだけ価値があるかに気付く前にそこに到達することだ。そして運だね。4年間これについてドラムビートを叩き続けてきたんだ。アンドリーセン・ホロウィッツでジェネラルパートナーになったとき、最初にしたことはマークとベンのところに座って「もっとコンピュートが必要だ。これからやるインキュベーションのためにコンピュートアクセスが必要だ」と言った。
「問題ない、アン。プログラムを立ち上げよう。何が必要?」って言ってくれた。だから私たちのバランスシートを使ってOxygenプログラムを通じてコンピュートの調達を始めたんだ。それが業界とかなり深い関係を構築し、コンピュートパートナーと信頼を築く能力を与えてくれた。今では私たちはたくさんの関係を持っていて、それをスケーリングしている。もしその時間と柔軟性がなかったら、そのインフラストラクチャを正しく理解するのは非常に難しかっただろう。
私たちが何を構築しているかについて少し公に話してきたんだけど、AMPグリッドと呼んでいる。基本的に電力網が電力のためにやったことを、私たちはコンピュートインフラストラクチャのためにやろうとしている。私たちは自分たちをグリッドの独立系統運用者と見なしている。
クラウドプロバイダーじゃない。自分たちのデータセンターを所有していない。従来のベンチャーキャピタル会社でもない。独立系統運用者と見なしている。つまり私たちの仕事は、最高のチーム、最高の独立したチームがピークではなくベースロードのためにプロビジョニングできるように、エコシステム全体で容量を調整することなんだ。
だから過剰にプロビジョニングする必要はないけど、トレーニングランや推論ニーズのためにスパイクアップダウンしたい時に、容量が存在すると安心できる。私たちは今、1885年の産業革命期のイギリスのような状況にいる。フロンティアラボは蒸気機関が発見された工場のようなもので、蒸気を使ってあらゆる種類の新製品を生産できる。そして彼らの多くは裏庭で自分たちの発電機を半分の容量で動かしている。
「これは意味がない。発電機をプールしよう。靴工場が日中にスパイクアップできて、鉄鋼工場が夜にスパイクアップできて、利用率を最大化し、最終的に出力を最大化できるように」って言っているんだ。
コンピュート割り当てとベンチャーファンド
割り当てについて考えるとき、コンピュートとコンピュートのコストをベンチャーファンドビジネスのロスリーダーとして使っているんじゃない?そして「オーケー、あなたの素晴らしいビジネス、Anthropicだろうと、MLだろうと、Black Forest Labsだろうと、どれでも名前を挙げて。原価でコンピュートを手に入れられるけど、そのためには3億ドル投資する必要がある」って言う。それが勝つ方法なんじゃない?
それは全く取引の仕方じゃないよ。取引はそうじゃない。
取引は、私が一度に1つずつ新しい企業をインキュベートするってことなんだ。Periodic Labsのように一度に1つしかできない。なぜなら分野の最前線にいる科学者やエンジニアとチームを組むのが好きだから。これらの新しい企業をゼロから作るには多くの作業がかかるんだ。
ある意味、私たちがベンチャーキャピタルの未来への回帰時代に入っていることに気付く特権があったんだ。現代産業の誕生について考えると、半導体、遺伝子編集、バイオテック産業、自動運転車など、私がこれらのフロンティア産業と呼ぶものの初期のシリコンバレーの創設時代ね。
最も象徴的な企業を立ち上げる方法は、ゼロ金利時代の過去10年間に企業が資金調達された方法とは非常に異なるんだ。例えばIntelは、科学者のカップルとアーサー・ロックという創業投資家との非常に緊密なパートナーシップだった。彼は毎日オフィスにいたんだ。アーサーは文字通りストックインセンティブプランを書いた。毎週会社でall handsを運営していたんだ。
Kleinnerの地下でインキュベートされたGenentechを見ると、ボブ、共同創業者はUCSFの教授ハーブ・ボイヤーとKleinerのアソシエイトだったボブ・スワンソンだった。私はそのベンチャーキャピタルのモードで見習うことができたんだ。なぜならKleinerに行ったとき、スタンフォード医学大学院を終えようとしていたんだけど、夜と週末にKleinerの投資チームで働いていて、KPCBの「B」だったブルック・バイヤーズが私の隣にオフィスがあって、彼は時間があったから、彼のところに行って「ブルック、やり方を教えて」って言ったんだ。
そしたら彼はGenentechがどうやって創設されたかの話を全部してくれた。「待って、つまりボブはKleinerの地下でGenentechを共同創設したってこと?」って言った。「ああ、それがパートナーであることの意味だったんだ」って。
「でももうここではそういうことは起こらないよ。たくさんのSaaS企業に小切手を書いて、それから彼らは行って何かやるんだ」って言った。そしたら「時代が違うんだ」って。
ベンチャーキャピタルの2つのモデルは共存できるか
それらは相互排他的?つまり、過去10年間やってきたように、たくさんの人がたくさんの小切手を書くベンチャーエコシステムを持つことができて、あなたが言うように次世代、または未来への回帰時代のベンチャーキャピタルを持つことができて、そこではビジネスを並んで共同創設する。それらは並行して走れる?それとも実際に未来への回帰時代に入っていて、価値の蓄積は共同創設とインキュベーション側にあるのか?
1人の人間の中で共存するのは非常に難しいと思う。そして時には1つの会社の中でさえ共存するのは非常に難しい。なぜなら私がPeriodic Labsにここに座っている理由があるから。週3日ここで働いているんだ。毎日午前8時から8時30分まで、過去1年間、リアム・ドーと私は毎朝スタンドアップをしていて、会社の優先事項を確認して、優先順位を付けて、実行に移す。
AMPのコンピュートチームが上の階に座って、Periodic Labsの人たちのためにコンピュートを調達している。私のロールモデルはずっとアーサー・ロックやボブ・スワンソン、マイク・マークラだった。パーソナルコンピューティングでは、Appleの最初の1年間の最初のCEOは実質的にマイク・マークラだった。彼はエンジェル投資家で、全てのcapex、サプライチェーン、資本などをやっていて、それがスティーブとジョブズとウォズが製品とエンジニアリングに集中できるようにした。
そしてそういう深いパートナーシップが私を本当にワクワクさせるんだ。
産業革命との類似性
以前言っていたことに戻りたいんだけど、産業革命の段階にいるって。オーケー、それを理解させて。産業革命の段階にいるなら、それは今後どこに向かっているかについて何を意味するのか、今日投資家としてどう行動すべきかについて?
矛盾しているように見えるかもしれない2つのことを同時に持たなければならない。これはマークとベンから学んだ最も重要なことなんだけど、未来は決まっていないんだ。だから確実に未来を予測できると言う人は、健全な懐疑の念を持って受け止めるべきだ。
代わりに私は科学者のように物事にアプローチしようとしている。最大のボトルネックは何か?これらのボトルネックがどう解決されるかについての仮説を立てよう。並行して複数の実験を実行しよう。そしてどれかが現れたら、真実を追求する姿勢を持って、間違っていたと言う意欲を持たなければならない。
投資家としてのあなたの仕事は、未来がどこにあるかについての仮説を立てて、ミッションとアラインした複数の異なる実験を並行して実行する意欲を持ち、それらのいくつかが間違っている可能性があることをLPに正直に伝えることだと思う。
BrianSequoiaのBrian Singermanは、未来を予測するほど賢くないけど、それができる創業者を選ぶのが仕事だといつも言っていた。それについてどう思う?
未来を予測する最も安全な方法はそれを発明することだと思う。だからハードワークをやるんだ。視点を持ってきて。もし産業革命期のイギリスにいるなら、1885年以降の次の50年間に何が起こったのか、そしてその時代に価値を持つようになったビジネスや機関の新興特性は何だったのかを見て、その世界のどの部分、その時代のどの歴史上の人物を最も尊敬するかを考えて、彼らの人生と経営したビジネス、若い頃に犯した間違いから生じた緊張について読んで、彼らの間違いから学ぼうとして、それから実行するんだ。
1885年以降のスタイル時間枠からの並行特性の方向性で、次の時代に展開すると思うものは何?
明らかにインフラストラクチャの世界では、コンピュートインフラストラクチャのためのグリッドのようなものが必要だと思う。それが私が日々のほとんどを費やしていることで、石炭と電力がこれらの資源が蓄えられているものから、最高のエンジニアリングチーム、最高の工場がアクセスできる安定した信頼できる商品に移行することを可能にした調整メカニズムだ。それが私が多く考えていることなんだ。
あなたがメディアとストーリーテリングにとても才能があって、ミッションがヨーロッパ大陸を前進させることなので、もし私があなたなら考えようとすると思うのは、来るべき時代について、ヨーロッパの主要な資本配分者やインフラストラクチャ配分者をどうやって教育するか、メディアを通じてであれ教育プログラムを通じてであれ、ヨーロッパの最高の科学者やエンジニアのためのボトルネックをアンロックする上での彼らの役割について理解させるかだ。
多くの場合、率直に言って年金基金改革の欠如なんだけど。
じゃあ年金基金改革に時間を費やすべきだ。
ヨーロッパのフロンティアAIに必要な資本
フロンティアAIが私たちが思うようなものになるために、ヨーロッパにはどれだけ必要?2倍?10倍?
良い質問だね。トップダウンアプローチとボトムアップのサイジングアプローチから取り組もうとすると思う。AMPでグリッドを見ると、私たちが構築しているのは類推による推論の一種なんだけど、約1.3ギガワットのコンピュートインフラストラクチャの確保を始めていて、それは今後4年間で約400億ドルのクラウド支出で、約20%の株式で資金調達されている。残りは債務だから、20%、それは約100億ドルの株式資本で、残りは全て債務資本だ。
これらの株式と債務パッケージをまとめて企業のためのコンピュートインフラストラクチャを確保するのを助けてくれるたくさんのパートナーがいる。ヨーロッパでは、アーサーと話して、向こうの独立エコシステムにどれだけ必要だと思うか聞くべきだと思う。でもギガワットの倍数で、もし原子単位の数学をギガワットでやっているなら、トップダウンの観点から、Googleは内部および外部展開ニーズのために約12から15ギガワットだと思う。
彼らには巨大な土地、電力、建物パイプラインが来ているけど、もしヨーロッパがGoogleレベルのインフラストラクチャにアクセスできないなら、あなたたち何やってるのって感じだよね?今後4年間でAlphabetホールディングスプール内にあるのと少なくとも同じくらいのインフラストラクチャを大陸がローカルに持つことが完全な主権のために必要なんだ。
株式と債務の調達
株式調達と債務調達、どちらが簡単?
正しくアラインした金融構造を両方にわたって見つけることが最大の課題だったと言えるね。大規模な資本配分者にとって明確な方法でね。全ての要素を正しく揃えるのに約1年かかった。でも非常に大きな株式プールがあるんだ。
こう言わせて。世界には多くのバランスシート、長期的ミッションアラインしたバランスシートがあって、フロンティアの科学者、研究者、大学のラボが欲しいコンピュートへのアクセスを助けたいと思っているけど、オペレックスがない。コンピュートに費やす現金がないんだ。
だから株式、債務、バランスシートをリスク分散された方法でアラインする方法を見つけられれば、資金調達は問題じゃない。実際にはシステムデザインの問題で、私には約1年かかったけど、おそらく正しく理解するのに4年かかったけど、今それを理解したので問題じゃなくなった。
データセンターへの投資不足とGPU浪費
今日でもデータセンターへの投資は不足していると思う?
安全なコンピュート、セキュアなコンピュートへの投資は深刻に不足している。こう言わせて。AIクライシスにはいない。AIバブルには確実にいない。それは確かだ。でも受け取り続ける質問なんだ。確実にGPU浪費バブルにいる。数十億ドルの利用されていないコンピュートの孤立したポケットがあって、もしそれらを独立エコシステム全体でグリッド上にプールできれば…
なぜ利用されていないの?ごめん。
いくつかの異なる理由があるんだ。1つはコンピュートが代替可能じゃないこと。メガワットがメガワットである電力とは違って、標準化のプロセスを経なければならなかった。AC/DCとかね。コンピュートは今日代替可能じゃないんだ。
だからNvidiaとAMDのような異なるメーカー間でのコンピュートの代替可能性は忘れてくれ。メーカー内、Nvidiaチップ内でも、H100、GB200、GB300、これらは全て完全に異なるチップタイプなんだ。だからH100でトレーニングランをやっている1つのクラスタがあって、それからそのポストトレーニングの継続をやりたい、またはそのトレーニングワークロードの分散トレーニングランをGB200でやりたいと思っても、機能しない。
だからコンピュートの孤立したプールがあるだけなんだ。なぜならflopsが計算の原子単位だから。flopsが代替可能であってほしいけど、全てのflopsが今日等しく生まれているわけじゃない。だから2、3年前にH100でクラスタをプロビジョニングして、今それらのワークロードのいくつかを新世代モデルのために実行したいと思っても、H100チップによってメモリバウンドで、新しいクラスタを買わずにBlackwellチップの利点をアンロックできないんだ。
そうすると突然、このH100クラスタが、もうトレーニングに使いたくない状態になる。なぜなら古い学校だから。チップにフロンティアモデルをトレーニングするための正しいメモリプロパティがない。そして個々の企業がこれら全てを見ることは非常に難しいけど、私のように7つか8つの取締役会にいて、15年これをやっていて、パターンが現れるのを見始めると、「待って、なぜこの利用されていないコンピュートがあちこちに座っているんだ」って思うんだ。
フロンティアモデルとチップの進化速度のミスマッチ
あなたが言ったように、H100で新しくて新しいモデルがあって、それらを古くて古いチップでトレーニングしているという意味で、フロンティアモデルがチップのペースより速く動いている?それが無料だから?ロックステップで動いていない?それが我々が明確にしている問題?
いや、いや、いや。我々が明確にしている問題は、コンピュートが代替可能じゃないということ。コンピュートの代替可能性のための標準がないし、標準化を十分に強制する機関がないんだ。だから今日、コンピュートのプレ標準化時代にいるんだ。それは1885年の電力のプレ標準化時代だった。
そして次に、自己規制、自己標準化、標準化の自己強制ができることを願っている。そうすれば電力で次の50年間に起こったブームアンドバストサイクルをスキップできる。
これはプレ標準化時代の全てのインフラストラクチャサイクルで起こるんだ。1885年の電力で起こった。鉄鋼で起こった。鉄道で起こった。そして毎回このブームアンドバストサイクルがあると、戦争が戦われる。企業が互いに裏切る。超痛い。イライラする。そして私の見解では、コンピュートが代替可能じゃないことが、AIバブルについてのこの全ての話につながっているんだ。
でも人々が忘れているのは、AI能力バブルはないということ。能力はあらゆるドメインで並外れている。インフラストラクチャ浪費危機があるんだ。今。そしてそれはオープンスタンダードがないからだ。あるデータセンターからのflopsが異なるチップタイプ間で、セキュアな境界を越えて、それを必要とする他の誰かに流れるための方法についてのオープンプロトコルがない。そしてそれがエコシステムに多くの痛みをもたらしているんだ。
コンピュート標準化はブームアンドバストサイクルを除去するか
あなたが言ったようなコンピュート標準化があれば、ブームアンドバストサイクルを除去できる?それともそれは一部だけ?
それはそれを防ぐのに大いに役立つと思うし、代わりにこれを許すだけだと思う。
質問してごめん。あなたはスタンフォードの教授のようで、私がこのインタビューで時間を無駄にしているみたいだ。それは正当な発言だけど。イギリスのアクセントは大いに役立つけどね。
達成したいコンピュート標準化への最大のボトルネックや障壁は何?
全てアラインメント、人間のアラインメントに戻るんだ。スタック全体にわたるミスアラインされたインセンティブだ。
シリコンバレーとDCがどうして同じアラインメントにないの?
まず、AIを従来の良き古いソフトウェアとして規制、扱い、調達すべきか、それとも新しい種類のシステムのようにすべきかについて標準化していないと思う。私は機械学習の大学院に行ったんだけど、機械学習101で学ぶのは、モデルは統計的だということ。決定論的じゃない。
だから統計的システムがあるとき、スプレッドシートとは異なるんだ。スプレッドシートは決定論的ソフトウェアで、今日の統計モデルはそうじゃない。だからスプレッドシートの調達がIT観点から統計モデルと同じであるべきか?オープンな議論だ。それが核心的な議論なんだ。それが問題だ。
AI alignmentは、誤解しないで、難しいけど最も難しい問題じゃない。人間のミスアラインメント、人間のアラインメントが今世界で本当に問題なんだ。
決定論的ソフトウェアと統計的システムの違いを理解している技術者が、これがどう機能すべきかについての一連の標準を提案する必要がある。そしてDCの標準の人々が必要だ。NISTというものがある。政府内に様々な機関があって、彼らが集まって「この標準を提案してくれてありがとう。これは意味がある。これはそうじゃない」と言うべきなんだ。
これはRFCプロセスと呼ばれる。そしてこの調達の定義について標準化するつもりだ。これはインターネットでTCP/IPで起こったことだ。電力でAC/DCで起こった。モデル時代のためにまだやっていないんだ。
不幸なことに、これらはオープンスタンダードと呼ばれる。標準化プロセスがマーケティングと混同されているんだ。今、トランプ大統領は実際に、私が見る限り、少なくともアメリカにこれらの標準が私たちのラボで発見されることさえできるだけの十分な自由をイノベーションに与えようとして最善を尽くしていると思う。なぜなら最初に誰かが実際に標準がどのように見えるべきかをパイオニアして理解する必要があるから。
ただたくさんのノイズがあると思う。
中国のAI戦略への懸念
基本的にCCPがアメリカ企業によって使われている中国モデルの世代に補助金を出していて、それによってフロンティアモデルがモデル能力がどこにあるかを設定して、オープンソースの中国モデルをできるだけそれらのベンチマークに近づける本当の努力をしている、はるかに安く。それを心配してる?
今、中国でのスタック全体にわたるエンジニアリング実行は極端だ。起こっていることはこうだ。彼らが気付いたのは、AIスケーリング競争はチップ競争じゃないということ。フルスタックシステムコード競争なんだ。もしチップで当面正面から競争できないなら、どうするか?システムデザインで競争するんだ。
「オーケー、まだここで最先端のチップを持っていない。だからシステムで競争しよう」って言う。持っているチップ、それはHuaweiかもしれないけど、それをコンピュートインフラストラクチャと、トレーニングランと共同設計する。そしてスタックの全ての層でパフォーマンス改善をたくさん持つように設計する。
それから何をするか?西洋のモデルを取って、様々な異なるエンドポイントから最先端を蒸留して、そのデータでできるだけ多くのパフォーマンス向上を得ようとする。それからそれをオープンモデルとして世界にリリースし直す。そして人々が何に反応するかを見て、フィードバックを得て、次のラン、次のランをやって、追いつく。
追いついた時点で「待って、フロンティアにいるんだ。なぜもうオープンソースにする必要があるの?これはローカルの国内ニーズには十分良い」って言う。美しいんだ。実際、そしてそれは実際にイノベーションをもたらした。サイクルの全てのステップ部分でイノベーションしているんだ。だからHuaweiチップが今日中国で、スタック全体に統合されたときにここの最高のチップと競合する能力改善を生み出すことができるんだ。
ある意味、Googleの戦略だよね?Googleは土地、電力、建物、TPU、Borg、Xborg、GQM、Geminiを統合している。それから展開。つまりシステムコード設計は上から下まで、最終的に巨大なパフォーマンス向上を与える効率をもたらすんだ。中国はキャッチアップするためのブートストラッピングメカニズムとしてオープンソースを使ってその戦略を再現した。
並外れているよ。
それは心配?
冗談だろ?絶対に。だから西洋グリッドが必要だと思うんだ。全ての推論、フロンティア推論がアイアンドームを通じて提供されるようなね。もし私たちのチームの誰かに敵対的蒸留攻撃があれば、一緒に調整するんだ。
7つの取締役会にいるから、グループチャットにいて、ある創業者から「アン、今日この地域から蒸留の大きなスパイクがあることに気付いている人はいる?」ってテキストが来て、それからグループチャットに入れて調整するんだ。今は非常にインフォーマルだけど、必要なのは…
以前、フロンティアAIラボに対する国家支援の攻撃が悪化していると言っていたよね。私たちが知らないべきことで知るべきことは何?
インサイダー脅威があることを知るべきだ。米国とヨーロッパ全体で、私たち全員が団結していないことを利用している蒸留が起こっていることを知るべきだ。私たちのミッションクリティカルなインフラストラクチャ、特に企業が使用しているワークロードを提供しているデータセンターが非常に脆弱であることを。
ビジネスの観点から、もしフロンティアモデル推論、つまり私が最先端推論と呼ぶものを協調的なアイアンドームの背後で守らなければ、次の10年間フロンティアに留まるための持続可能なチャンスはないと思う。
推論のためのアイアンドーム
ごめん、それは何を意味する?推論を持続させるという観点でのアイアンドーム。
それは、どの企業が提供しているかに関わらず、全ての推論が共有プロキシを通じて提供され、フロンティアの一部で攻撃が起こっているときに互いに伝えることができるということだ。
西部戦線全体にわたるアイアンドームのようなものとして考えてくれ。あなたがここにいて、1つの企業にいるからといって、この他の企業を通じて提供されているあなたのモデルが蒸留されているのが見えないわけじゃない。だから展開調整プロトコルなんだ。基本的に私が様々な創業者たちと持っているグループチャットだけど、スケールされたもので、人々が「今日この攻撃を見ている」って言って、他の人も「私たちもだ。防御的対応について調整しよう」って言うんだ。
推論需要の組み合わせ的成長
質問の一貫性のなさについてごめん。本当に罪悪感を感じる。あなたがこのインタビューを終えて「8年間で良くなってない、悪くなった」って思うのは責めないけど、Base 10の誰かとの推論に関するこのインタビューを見ていて、彼らは推論の需要が線形ではなく組み合わせ的に成長していて、それが今後3から5年間にわたってどう進行するかを見ることになると言っていた。それに同意する?
能力をスケーリングし続ければ、確実にそれは起こる。問題は、能力のスケーリングには非常に実存的なボトルネックがいくつかあることだ。その1つについて話したのは、能力の進歩に関する4つの核心的なボトルネック。コンテキスト、コンピュート、キャピタル、カルチャーだ。
キャピタルアロケーション、巨大な問題。なぜこれが並外れた能力であるか、これは史上最大の金融的大当たりであることについて人々を教育しなければならない。もしどこにアロケートすべきか知っていればね。私がシードラウンドでAnthropicに投資して、今あなたが指摘したように、過去4年間にやった仕事のボディのリターンが最高レベルでLPを引き付けている理由があるんだ。
でもまだ始まったばかりなんだ。だからAnthropicの商業的進歩の旅の非常に初期の部分にいると思う。そしてあなたが見る予測のいくつかは正しいと思う。
途中でボトルネックをアンロックすれば。代替可能で、標準化された、セキュアなコンピュートインフラストラクチャで。それが最大のボトルネックだ。もしOpenAI、Anthropic、Geminiなどが今後数年間で収益目標を達成しない理由があるとすれば、十分なコンピュートへのアクセスがないからだと思う。
関連するボトルネックがあると言える。何年も前にスタンフォードにいた子供の頃、ピーターが教えたこのクラスを取ったんだけど、『ゼロ・トゥ・ワン』という本になったと思う。これはピーター・ティールだ。私はスタンフォード・レビューの編集者だったんだけど、彼には引用があって「競争は負け犬のためのもの」っていう。
15年これをやって、ビジネスについての理論をアップデートしたと思う。彼は間違っていなかったけど、十分に正確じゃなかったと思う。完全競争は負け犬のためのものだと思う。独占主義的なことも思う。
完全競争と独占の間:最適競争
それはどういう意味?完全競争は…
つまり10の異なる、50の企業が全てLLMトレーニングやコーディングモデルをやっているなら、それは負ける命題だ。レストランのようなものだ。防御可能性がない。だからレストランは常に倒産する。彼らが差別化するのは非常に難しいんだ。
一方、独占主義的な独占はマフィアだ。スタックの一部で独占を持ったら、イノベーションを止めて、代わりにバランスシートを使って上か下に行こうとする。買収によって。リソースを蓄え始める。「これをくれたら、基本的に自分に従属することを強制する」と言い始める。そしてスタック全体にわたってそういう種類の行動を見ているんだ。
マフィアはイノベーションには良くない。我々は最適競争の時代にいると思う。必要なのは最適競争だ。最適競争のセットアップは、あらゆるフロンティアで並外れた進歩をしている3つか4つのチームがあることだ。だから彼らに投資すれば並外れたリターンを得るけど、イノベーションを止められるような独占ほど快適ではない。
それは重要だ。なぜなら彼らがイノベーションを止めたら、人類として我々は終わりだから。だからフロンティアテクノロジーにおける最適競争に移行する必要があると信じている。そしてリーダー、スチュワード、ベンチャーキャピタリスト、政治家、教育者が世界に、我々はすでにこのブームアンドバストの時代などを生きてきたことを思い出させる必要があると思う。
だからこれらの企業は、あなたが言ったように、アン、推論、これら全ての企業には並外れた成長曲線が待っている。でもそれは、互いに底への競争で競い合っている50の推論企業があったら並外れた成長曲線にはならない。今起こっているようなことだけど。
50の推論企業が必要だとは明確じゃない。VCが、4つか5つの本当に良い推論信頼できるプロバイダーを持つことが正味良いことであるカテゴリーに数億ドルを燃やしているだけだということに気付くほど賢いかどうかも明確じゃない。
VCの補助金と推論市場
でもVCが50、20、50、60、70、何社でもいいけど補助金を出すことが、良い企業、4つか5つがそのサイクルを通じて進歩することを不可能にしないか。
ちょっと自己破壊的なメカニズムなんだ。なぜなら50の異なる企業が全て希少なコンピュートリソースを競い合っていたら、実際にイノベーションしている人々がそれを得ることができない。だから次のラウンドの製品イノベーションができないんだ。それが50のような問題なんだ。
でもそれが今いる場所?
それが今いる場所だ。最高の推論チームが私に電話してくる。実際、全ての推論チームが私に電話して「アン、コンピュートある?」って言ってくる。なぜなら彼らの製品はコンピュートを再販することだから。でもそれは蓄えられているんだ。イノベーションしていないけどコンピュートに座っている人々によって蓄えられている。そして私がアンドリーセン・ホロウィッツを去って、独立エコシステムの公益法人になって、今私には非常に明白なのは、このカテゴリーにおけるイノベーションへの実存的脅威はコンピュートの欠如だということだ。
だからAMPが独立エコシステムのためにコンピュートを調達し始めた理由なんだ。だから私たちは、これらのチームがイノベーションし続けるために必要な十分なコンピュートを得る方法を見つけようとしている。でも…
勝つ4つか5つの推論企業と、勝たない他の企業を決定するのは何?
供給へのアクセス。供給へのアクセス。
それだけシンプル?
そう。コンピュート供給。もしコンピュートがなかったら、どうやって推論をやるんだ?売る製品が必要だ。蒸気機関を作っているなら、石炭が必要なんだ。
あなたの元パートナーの1人が昨夜ツイートしたんだけど、モデルクリエイターだけが最も強力なモデルにアクセスできる時代に入ろうとしていて、それが明らかに彼らが提供するサービスとアプリケーション層やアプリに力を与えると。Claudeの可能性とかね。あなたはそれが存在する世界になると信じる?モデルプロバイダーが本質的に最高のモデルを自分たちのアプリのプロビジョニングのために保護する?完全にそうはならないと?
マーティンが示唆しているのは、競争するケースでは、最新モデルを提供して、それが彼らに優位性を与えるということだ。
例えば、巨大な量のアプリケーション層企業にサービスを提供している11 Labsは、最高のカスタマーサポートを提供できるように最新モデルを留保して、それからSierraやDecagonに古いモデルを売って、彼らがより悪い品質のモデルを持つようにして、自分たちのために最高のものを保持する。
そこの埋め込まれた仮定は、テクノロジーの歴史を通じて経験的に学んできたことなんだけど、iPhoneのような万人のために機能する汎用製品を持っているなら、自然なインセンティブは、この製品開発コストを最大数のユーザーに償却することなんだ。だから万人にとって良い一般モデルを持っているなら、それは万人に利用可能になる。
特定の人々にとって良い専門モデルを持っているなら、価格、製品セグメンテーションがある。そして私が思うに、これが私たちに伝えているのは、多くのカスタムモデルがあれば、それらのいくつかはアクセス可能で、他のものはそうではないということだ。
だからもしかしたら、我々はフロンティアモデルラボが「これは我々が持っている新しいモデルだ。一部の大企業だけがこれにアクセスするのが理にかなっている」と言っている事実を、様々なタイプの異なるモデルのエコシステムがあることの証明として見るべきだと思う。
1つの大きな神モデルはない。そしてもしあったら、私は首相、大統領、学生が全員同じiPhoneを使うという市場の欲求があると思う。なぜなら本質的に最もお金を集めて、汎用製品のために最も製品予算ドルを投資して、そのコストを万人に償却できるから。
でも専門モデルを持っているなら、ああ、それらは万人にアクセス可能になるとは思わない。そしてそうである必要もないんだ。このオープンとクローズドアクセスのことはやや誇張されていると思う。システムの観点から、テクノロジーの歴史を見ると、経験的に、汎用製品を持っていればそれらは大衆に配布される。
カスタム製品を持っていれば、企業セグメンテーションがある。いくつかは企業にアクセス可能で、他のものはそうではない。
まだ構築されていない1000億ドル以上の価値があるファウンデーションモデル層企業
まだ構築されていない、1000億ドル以上の価値があるファウンデーションモデル層企業はある?
たくさんある。Periodic Labsが1つだ。私は今1つに座っている。でも彼らはファウンデーションモデル会社じゃない。フロンティアシステム会社と呼びたい。これが問題なんだ。4年前に人々を教育しようとし続けたときはいつも、「アン、でもAnthropicはファウンデーションモデル会社で、Mistralはファウンデーションモデル会社だ」って言われた。
違う、それは彼らがやることのほんの一部だ。たぶん彼らはそこから始めている。なぜならそれが核心的能力だから。でもAnthropicにもClaude Codeというものがあって、Mistralにもmistral computeというものがあって、MicrosoftはクラウドでもあってCo-pilotビジネスも持っている理由があるんだ。
これらのファウンデーションモデルというラベルやカテゴリーは、今よりも疑念を持って見られる必要があると思う。重要なのはフルの、システムコード設計、システム、フルスタックのフロンティア研究ループで、顧客と実行する必要があるものなんだ。
それから後で、「なんてこった、Anthropicは今、彼らはモデル会社だったのに、今Claude Codeという製品を立ち上げている」って言ったとき、「何を意味してるの?それは最初から計画の一部だったんだ。もちろんモデルのためのペアプログラマーインターフェースが必要だ。なぜそうでないと思ったの?」って言った。
ああ、注意を払っていなかっただけで、アソシエイトが作った綺麗なマーケットマップを持っていて、それが真実だと思ったから。これらの商業コミュニティはビジネスの構築方法を忘れていて、第一原理とマーケティングの違いを忘れたんだ。それが問題だ。それが他のミスアラインメント問題の1つだ。
これらのビジネスの基本的真実、機械学習システムビジネス、それらは常にフロンティアシステムビジネスだった。決してファウンデーションモデルビジネスだけじゃなかった。もしそれをパッケージ化してLPに伝えなければならなかったなら、それが彼らに明確だったから、責められないと思う。
でも私が一緒に働くLPには非常に率直だ。「これらのカテゴリーは大きな再発明を経験している。私とパートナーになれば、フルスタックのパートナーを得られる」って言う。
そして何が起こっているかの第一原理を伝える。これらの第一原理の洞察は時間と共に変わる。でも巨大なcapex支出に快適でなければならない。カテゴリー全体で勝つことになるビジネスでね。それがフロンティアテクノロジーなんだ。だからファウンデーションモデルは深くミスされてきたと思う。これが4年前にクラスを始めた理由の一部なんだ。
大規模なセキュリティが大きな再発明を経験していると思っただけで、それから昨年クラスを大規模なインフラストラクチャに再発明して、今年はフロンティアシステムだ。なぜなら十分な人々が、能力のフロンティアを動かし続けるには、これらのプロジェクト、これらの企業をフロンティアシステムプロジェクトとして考える必要があることに気付いていないから。ファウンデーションモデルプロジェクトとしてじゃない。
理にかなってる?
理にかなってる。でも必要なcapexについて聞くと、敬意を持って聞くんだけど、十分なお金を持ってる?13億ドルは…
どれだけお金が必要?アン。
1.3ギガワットのギガワットについては、資本が問題じゃないという概念実証の一種だったね。問題はそれを超えてスケールしたいなら、
ああ、西部戦線全体にわたって米国と米国の同盟国で展開されるはるかに多くの資本が必要だ。
どれくらいのお金が必要だと思う?
能力のフロンティアが動き続けて、健全な独立したエコシステムが欲しい限り、より多くの資本を調達し続けるだけだ。それに終わりはない。機械学習が人類により多くの能力を与える体系的な方法として機能しなくなる日、その時「十分だよ、ハリー」って言うけど、それは非常に遠くて、それについてどう推論すればいいかさえ分からない。
5年後のVCの変化
一日中話せるけど、クイックファイアをやる前に、5年後VCは今日とどう根本的に異なると思う?
また歴史に戻るよね。アーサー・ロックやボブ・スワンソン、マイク・マークラのような、彼らの実践を機関に変える数人の人々がいると思う。それから変えない人たちもいる。そして彼らがこの時代の起業家が必要とするものに自分たちを進化させなければ、ベンチャーキャピタルビジネスから出るべきだと思う。なぜなら銀行家はもっと必要ないから。
友人のVlad、Robin Hoodを経営しているんだけど、最近Robin Hood上でベンチャーファンドのようなことをやったんだ。
Robin Hood Venturesだと思う。
でもベンチャーキャピタル会社の多くの調整役割を果たせるソフトウェアがあるとき、マルクス主義を借りると、純粋にLPのラッパーである人が必要な理由は?資本エコシステムで最も心配していることはね。
フロンティアで起こっている富の創造機会が公衆と十分に共有されていないんだ。そしてそれは誰にとっても良くない。なぜならもしこのテクノロジーを自分たちの生活に受け入れることになっている人々、つまり最終的に公衆と、この富の創造機会を共有しなければ、彼らは何をすると思う?「このデータは欲しくない」って言うんだ。
公衆との富の共有
最大限の敬意を持って、ベンチャーキャピタルファンドの多くのお金は寄付基金、年金基金、教師基金からのもので、だからその富の分配は最終的にトリクルダウンするはずだと信じているなら。
でも何社のベンチャーキャピタル会社がAnthropicのシードラウンドにいた?
ああ、ゼロだ。
それがあなたへの答えだ。そしてそれは何度も何度も起こっている。公衆の資本がフロンティアAIで十分な価値を捕捉していないベンチャーマネージャーへの巨大なミスアロケーションがあるんだ。
代わりに、存在しないものに投資していて、公衆は怒ることになる。
Anthropicに一度に3億ドル入れたの?
seed roundから最近のものまで何度ものラウンドにわたって何億ドルもAnthropicに投資する特権があった。だからそれを幸運だと考えている。
その多くを公益目的、公益教育プログラムに寄付するつもりだ。そして私たちはAnthropicの商業的進歩の旅の非常に初期の部分にいると思う。
クイックファイアラウンド
クイックファイアラウンドをやるよ。そうじゃないと一日中かかるから。VCファンドに投資するLPにアドバイスできる。1つだけ、
何をアドバイスする?
自分自身を教育して。クラスを取って。全ての課題をやって。課題をやって。ハードワークをスキップしないで。あまりにも多くのLPが、資本配分者として彼らがやるべき仕事、つまり実際に何が起こっているかを理解して、それからボトルネックについてユニークで防御可能な優位性を持っていると思うベンチャーマネージャーや配分者を決めるという仕事を外注している。
基本的にボトルネックに投資すべきだ。
あまりにも多くのGPがハードワークをしていないんだ。AIで何も構築したことがないGPの数は驚くべきものだ。
完全に同意する。笑われるかもしれないけど、あらゆる異なるバイブコードプロバイダーで構築したことがある。メディア会社をAIファーストのメディア会社に変えようとしている。あなたがやることと比べれば悲惨だけど、少なくとも試している。構築することで学ぶんだ。
もし最初にそれをやっていなければ、投資すべきじゃないと思う。
完全に同意する。昨年末に主権国家が私のところに来て、「26人の大臣をあなたの家に連れて行って、1年間のプログラムをやって、講義などからAIで何が起こっているかを学び、それから各大臣が実際にAIエージェントを構築する展開プロジェクトをやりたい」って言った。
「スタンフォードCS153を取ったら、この主権ファンドとパートナーした国とやっているこのコースの縮図だ」って言った。そしてそれが働く方法なんだ。文献を読む仕事をして、研究で何が起こっているかを理解して、それから自分で展開して、ツールを構築するんだ。
Stanford CS153のクラスプロジェクトは一人フロンティアラボだ。なぜなら私は本当に信じているんだ。4年前に50人が必要だったことが、今では正しいAIツールを使えば一人でできる。そしてリーダーとして、これらのツールで遊んで、自分で展開して、自分のエージェントを構築していなければ、何が起こっているか理解していないと思う。
私と一緒にこのクラスを取っている大臣たちに、エージェントを構築して展開するまで卒業させないって言った。卒業証明書をもらえないって伝えたんだ。
奥さんに26人の大臣が家に来ることを伝えた?
彼女は数週間前にSFの家で共同ホストさせてくれた。Vivには恵まれているよ。Vivにふさわしくないと言える。でも彼女は非常にミッションアラインしていて、大規模な教育が私たちの時間でできる最善のことだと信じている。
ダリオの素晴らしさ
外から見えないダリオの何がそんなに素晴らしいの?
1つは純粋な科学的才能、彼のドメインにおける本当に世界クラスの技術的能力。真実追求への強迫的な欲求で、推論、推論、推論を続けて、確信できるまで実験を続けることだ。彼は心の中では物理学者なんだ。ダリオは実際にはコンピュータ科学者じゃないと思う。
物理学者、世界クラスの物理学者は、データを見て経験的実験を実行することで現実の一般法則を導出しようとする。彼は応用物理学者だ。彼は経験主義者で、良い経験主義者でありたいという強迫的な欲求を持っている。そして3つ目はミッションアラインメントカルチャー。
「これが焦点だ。これがミッションだ。ドリフトなし。ショートカットを取らない。このミッションを達成するために巨大なトレードオフをする意欲がある」って言う。そしてそれが最高の人材、素晴らしい人材を引き付けるんだ。
「あなたは傭兵だ、利益のためだけにやっている」という批判に直面して。実際には、ミッションに集中し続けるための冷酷な欲求があることが判明する。そしてそれは難しいトレードオフと優先順位付けをもたらす。そしてもしそのミッションにアラインしていなければ、彼がクレイジーだとか、邪悪だとか、何でも思うだろう。
彼に対するアドホミネム攻撃をどれだけ見てきたかがクレイジーだ。でも彼にはそのミッションの明確さがある。
過去12ヶ月で考えを変えたこと
過去12ヶ月で何について考えを変えた?
最大のものは健康だ。家族メンバーと自分自身の両方で健康経験があって、地球上でどれだけ時間があるか誰も分からないことに気付かされたんだ。
そしてそれがどれだけ時間があるかを当然と思わないようになった。だから時間をもっと真剣に取るようになった。でもこれが私の、スタンフォードでやる全ての講義で、スケーリング則や技術的なことについてたくさん話すけど、子供たちにアンの人生のスケーリング則レッスンも与えるんだ。
リチャード・ファインマンに非常に触発されているんだ。ファインマンの講義は常に技術教育と彼らへのちょっとした人生コーチングを組み合わせている。そして学生たちへの私の第1のスケーリング則は、人生を真剣に取れ、でも人生を価値あるものにするもの、つまり友人と楽しむこと、愛する人々と興味深いプロジェクトに取り組むこと、を忘れるほど真剣に取るなってことだった。
人間関係を当然と思わないで。世界を動かすのは人間なんだ。そしてもし次のファンドや次の資金調達や何でもに集中しすぎていたら、私たち全員がどれだけ持っているか分からない唯一のもの、つまり互いとの時間を当然と思うだけなんだ。だから時間、人々との関係をもっと大切にし始めたんだ。
たくさんの人々。つまり両親、インドに両親を残して大学のためにスタンフォードに来たんだけど、彼らに電話したりテキストしたりせずに人生の数週間を過ごしたことがあって、今彼らは60代で…
もし直接会っていたらハグしてあげるのに。
くそっ、ごめん。
心配しないで。大丈夫だ。ああ、クソ。
ショーから稼いだ最初のお金は、母がMSを持っていて治療費が払えなかったから稼いだんだ。そして支払える唯一の方法は、ショーに広告を入れることだった。そしてそれが我々がやった方法だ。
今でもそれで支払っている。母のMSの支払いをしてくれたVantに感謝だ。
クリスティーナに感謝だ。ああ。企業スポンサーに感謝だ。トレードオフ、犠牲は…
両親は素晴らしい。
両親は狂気だ。
お金のトレッドミルからの脱却
お金のトレッドミルからどうやって脱却する?育つときにお金がなくて、「x額のお金を手に入れたら幸せになる」って感じだった。
そのお金のトレッドミルから脱却するアドバイスは?
政府奨学金でシンガポールに行けてとても幸運だった。リー・クアンユー、シンガポールの建国の父は、リー・クアンユー主義者だと気付いた。建国国家として彼らには多くの資源がなかった。お金がなかった。基本的に彼ら自身と場所、戦略的な場所以外何もなかった。彼は人材プログラムを構築する必要があることに気付いた。この国を会社のように経営する必要があると。
アジア全体から最高の人材を募集する。10年生の公開試験でインドでトップ10か何かだったから、シンガポールで学者になるように選ばれた。政府奨学生になったんだ。実際には両親が支払うことができたから幸運だったんだけど。
家族がテレコムでビジネスをしていたけど、両親から独立することが私にとって非常に重要だったんだ。なぜならインド文化や、経済的独立がなければ常に他の誰かに義務を負っている多くの文化で、インドのようなコミュニティ文化の場合、彼らの価値観などに従うという多くのプレッシャーがあるから。
潜在意識的に非常に幸運だと思うのは、実際にロンドンに住んでいる姉がいて、彼女が私のために戦ってくれたんだ。彼女は7歳年上で、反逆者だったんだ。彼女はファッションスクールに行きたがっていたけど、彼らは望んでいなかった。だから彼女は法科大学院に行かなければならなかった。彼らが支払っていたから。そして彼女は実際に私のいくつかの戦いを戦ってくれて、より独立しているほど、より自由があることに気付かせてくれたと思う。
自由は私にとって非常に重要だ。だからいつも独立によって経済的目標を定義してきたんだ。独立が私にとって常に重要だった。そして独立を保つために大きなトレードオフをする意欲がある。そして独立が脅かされていると感じるときはいつも、「分かった。変化が必要だ」って言うんだ。
だから何よりも重要なことを見つける必要があると思う。ミッションは何か。それが基本的にどこに時間を費やすかを明確にするから、あらゆる種類のお金や仕事の機会を断る意欲がある。
アンの遺産
ちょっと不吉だけど、何のために記憶されたい?アンの遺産は何であってほしい?
Vivが3年前にパーティーで聞いたんだ。私たちの記念日か何かだったと思う。10人の最も親しい友人たちと一緒にいて、Anthropicの共同創業者何人かも含まれていた。だからこれらの人々全員、これはサンフランシスコの典型的なディナーパーティーのようなものだったんだけど、彼女が私をその場に立たせて、彼女が聞いたのは墓石に何を書いてほしいかだったと思う。
そして私はただ口にしたんだ。「彼は正しかった」って。
そして部屋は静まり返った。そして彼らは「その通り」って言った。それは未来がどこに向かっているかを学ぼうとして、それから皆にそれについて伝えようとするという強迫的な欲求とニーズがあるからだ。そして皆が私が蛇油販売人か何かだと思う。そして今は変わった。なぜなら今、私がとても正しかったことが判明したから。
LPにたくさんお金を稼がせたから、今皆が「アン、あなたは未来について一つや二つ知っているかもしれない。見解を聞かせて」って言っている。スタンフォードでこのクラスを教えるように招待されたんだ。
インドのリシバレーという寄宿学校に行ったんだけど…
7年間テクノロジーなし。
7年間。テクノロジーなし。
ああ。どうりで。どうりであなたは幸せで適応した人なんだ。
ここに到達するのに時間がかかった。でもああ。
自分の子供たちにソーシャルメディアを持たせる?
はい。ソーシャルメディアへのアクセスを持たせないのはクレイジーだと思うけど、節度を持ってやらなければならないと思う。ほとんどの親は子供たちとそれを節度を持ってやるのが本当に難しい。そして節度を持ってやるのが本当に難しい。
リシバレーでは週に1回コンピュータにアクセスできて、そういう構造化された環境内で当然と思わないようにする何かを強制する必要があって、それから良い習慣とプロトコルと実践を開発して、それに依存しないけど、高レバレッジの戦略的資産として使うんだ。
それが私がテクノロジーをどう見るべきかと考える方法だ。当然と思うべきじゃない。問題は、「シンギュラリティが来る」って言い続けている人々だ。10年間これをやっているって気付いてる?
あなたたちの半分はすでに脳と思考をこのデバイスに外注してしまった。とにかく。
ああ、これをやるのは本当に楽しかった。我慢してくれて本当にありがとう。素晴らしかったよ。
問題ないよ。この一貫性を保ち続けてくれてありがとう。つまりあなたは今や機関だよね?難しいのは、信じられない。
これを一緒にやってきたんだよね?あなたがこれをやっているとき、あなたが言ったように、子供だった。私はもっと若かった。
Pat Gradyだよ。Pat Gradyはベンチャーで会った最初の人の一人で、彼はアソシエイトで、私は17歳で、Patと笑ったんだ。この間彼に言ったんだ。「Pat、あなたはアソシエイトからSequoiaのヘッドになって、私はポッドキャスターからポッドキャスターになった」って。
コメント