SemiAnalysis CEOのDylan Patelが、AIコンピュート拡張における最大のボトルネックについて包括的に解説する。2026年のビッグテック4社の合計CapExは6000億ドルに達するが、実際の展開タイムラインは複雑である。短期的にはメモリとロジックウェハーが制約となり、2028年以降はASMLのEUVツール生産能力が根本的なボトルネックとなる。AnthropicとOpenAIは急速な収益成長に対応するため年内に5ギガワット以上のコンピュートを必要とするが、保守的な契約姿勢が競争上の不利を生んでいる。電力供給は多様な技術により解決可能だが、半導体製造能力の拡張には2-3年のリードタイムが必要であり、最終的にはEUVツールという10億ドル規模の装置が1000億ドル規模のAI経済を支える構造となっている。
AIインフラ投資の実態とタイムライン
さて、これは私のルームメイトが半導体について教えてくれるエピソードですね。そして、この現在のセットの送別回でもあります。あなたが使った後は、もう二度と使えないので、ここから出なければならないと思いました。
Dwarkeshにお下がりはないということですね。DylanはSemiAnalysisのCEOです。Dylan、あなたに聞きたい重要な質問があります。
ビッグ4、つまりAmazon、Meta、Google、Microsoftを合計すると、あなたが最近公表した今年の予測CapExは6000億ドルになります。そのコンピュートを年間でレンタルする価格を考えると、50ギガワット近くになるでしょう。
明らかに、今年50ギガワットを投入しているわけではありません。つまり、今後数年間でオンラインになるコンピュートに対して支払っているということですよね。そのCapExがいつオンラインになるかのタイムラインについて、どう考えるべきでしょうか。同様の質問をラボについても。OpenAIは1100億ドルの資金調達を発表し、Anthropicは300億ドルの資金調達を発表しました。
今年オンラインになるコンピュートを見ると、教えていただきたいのですが、合計で約4ギガワットのオーダーでしょうか。OpenAIとAnthropicが今年持つコンピュートを維持するためのレンタルコストは、1ギガワットあたり100億ドルから130億ドルです。
これらの個別の資金調達だけで、年間のコンピュート支出をカバーするのに十分です。そして、これは今年稼ぐ収益すら含んでいません。
では、理解を助けてください。第一に、ビッグテックのCapExが実際にオンラインになるタイムスケールは何でしょうか。第二に、1ギガワットのデータセンターの年間価格が130億ドルなら、ラボは何のためにこれだけの資金を調達しているのでしょうか。
これらのハイパースケーラーのCapExが6000億ドルのオーダーであるという話をするとき、サプライチェーン全体を見渡すと、1兆ドルのオーダーに達します。この一部は、今年オンラインになるコンピュートのために即座に使われます。つまり、チップと今年支払われるCapExの他の部分です。しかし、セットアップCapExも多くあります。
今年アメリカで追加される20ギガワットの増分容量について話すとき、この一部は今年支出されるわけではありません。そのCapExの一部は実際には前年に支出されたものです。Googleが1800億ドルを持っているとき、その大きな塊は28年と29年のタービン預金に費やされています。
その塊の一部は27年のデータセンター建設に費やされています。その塊の一部は電力購入契約、頭金、そして将来さらに先を見据えたこの超高速スケーリングを設定できるように行っている他のすべてのものに費やされています。
これはすべてのハイパースケーラーとサプライチェーンの他の人々にも当てはまります。今年展開される約20ギガワットでは、大きな塊はハイパースケーラーで、塊の一部はそうではありません。
これらすべての企業にとって、最大の顧客はAnthropicとOpenAIです。AnthropicとOpenAIは現在約2から2.5ギガワットで、もっと大きくスケールしようとしています。
Anthropicがこの数ヶ月間で何をしてきたかを見ると、40億ドルまたは60億ドルの収益が追加されましたが、直線を引いて、毎月さらに60億ドルの収益を追加すると言えます。人々はそれが弱気だと主張し、もっと速く進むべきだと言うでしょう。
それが意味するのは、次の10ヶ月間で600億ドルの収益を追加するということです。Anthropicが最後にメディアで報道された現在の粗利益率では、その600億ドルの収益に対して、約400億ドルのコンピュート支出を意味します。
その400億ドルのコンピュートは、1ギガワットあたり約100億ドルのレンタルコストで、収益を成長させるためだけに4ギガワットの推論容量を追加する必要があることを意味します。
AnthropicとOpenAIのコンピュート戦略の違い
これは研究開発のトレーニングフリートが横ばいであると仮定しています。ある意味で、Anthropicは今年末までに5ギガワットをはるかに超える必要があります。
そこに到達するのは本当に大変でしょうが、可能ではあります。それについて質問してもいいですか。もしAnthropicが今年末までに5ギガワットを持つ軌道に乗っていないが、予想以上にクレイジーになった収益と、来年のモデルが十分に良いことを確認するための研究とトレーニングの両方に対応するためにそれが必要な場合、その容量はどこから来るのでしょうか。
Darioがあなたのポッドキャストに出演したとき、彼は非常に保守的でした。彼は言いました。「収益が異なる率で、異なる時点で変曲する場合に備えて、コンピュートに夢中になるつもりはありません。破産したくありません。このスケーリングには責任を持ちたいのです。」
しかし実際には、彼はOpenAIに比べて失敗しました。OpenAIのアプローチは「これらのクレイジーな契約に署名しよう」というものでした。OpenAIは年末までにAnthropicよりもはるかに多くのコンピュートへのアクセスを得ています。
Anthropicがコンピュートを得るために何をしなければならないでしょうか。彼らは以前には行かなかったであろう低品質のプロバイダーに行かなければなりません。
Anthropicは歴史的に、GoogleやAmazonのような世界最大の企業という最高品質のプロバイダーを持っていました。現在、Microsoftはサプライチェーン全体に拡大しており、彼らは他の新しいプレーヤーに行っています。
OpenAIは多くのプレーヤーに行くことについてもう少し積極的でした。はい、彼らはMicrosoft、Google、Amazonから大量の容量を持っていますが、CoreWeaveやOracleとも大量に持っています。
彼らはSoftBank Energyのようなランダムな企業、あるいはランダムだと思われる企業に行きました。SoftBank Energyは人生で一度もデータセンターを建設したことがありませんでしたが、今はOpenAIのためにデータセンターを建設しています。
彼らはNScaleのような多くの他の企業に容量を得るために行きました。Anthropicにとってのジレンマがあります。なぜなら、彼らはコンピュートについて非常に保守的だったからです。なぜなら、クレイジーになりたくなかったからです。
ある意味で、昨年後半の金融パニックの多くは、「OpenAIはこれらすべての契約に署名したが、それらを支払うお金がなかった」というものでした。Oracleの株価は暴落し、CoreWeaveの株価は暴落します。
これらすべての企業の株価は暴落し、信用市場はクレイジーになりました。なぜなら、人々は最終購入者がこれを支払えないと思ったからです。今は「ああ、待って、彼らは大量の資金を調達した。オーケー、彼らは支払える」という感じです。
Anthropicははるかに保守的でした。彼らは「契約に署名しますが、原則的になります。潜在的に破産したくないので、できると思うことを意図的に控えめにして保守的になります」と言っていました。
私が理解したいのは、急いでコンピュートを取得しなければならないとはどういうことかです。ネオクラウドに行かなければならないということですか。彼らはより悪いコンピュートを持っているのですか。どのように悪いのですか。
最後の瞬間に来るクラウドプロバイダーに粗利益を支払わなければならなかったのですか。そうでなければ支払わなくてすんだでしょうに。誰がAnthropicとOpenAIが最後の瞬間に得られるように予備容量を構築したのですか。
2027年までに同様のコンピュート数になった場合、OpenAIが得た具体的な利点は何でしょうか。彼らは今年末に異なるギガワットで終わるだけでしょうか。
もしそうなら、AnthropicとOpenAIは今年末までに何ギガワット持つことになるでしょうか。余剰コンピュートを取得するには、はい、ハイパースケーラーに容量があります。
コンピュートのすべての契約が長期5年契約というわけではありません。2023年や2024年、または2025年のH100からのコンピュートで、より短い期間で署名されたものがあります。
OpenAIのコンピュートの大部分は5年契約で署名されていますが、1年、2年、3年、または6ヶ月の契約、オンデマンドを持っていた他の多くの顧客がいました。これらの契約が終了すると、市場で価格を支払う意思のある参加者は誰でしょうか。
この意味で、H100の価格は大きく変曲し、上昇しました。人々は2ドル以上の長期契約に署名する意思があります。
GPU価格とマージンの動態
私は、特定のAIラボ、ここでは理由があって少し曖昧にしていますが、H100に対して2年から3年で2.40ドルもの高値で署名した契約を見てきました。マージンを考えると、Hopperを構築するのに5年間で1.40ドルかかります。
今、2年目で、2から3年で2.40ドルの契約に署名しています。それらのマージンははるかに高いです。今、これらすべての他のサプライヤーを追い出すことができます。Amazonがこれらを持っていたか、CoreWeave、Together AI、Nebius、または誰であれ。
これらのネオクラウドは、より積極的だったので、一般的にHopperのより高い割合を持っていた企業です。彼らはまた、CoreWeaveではなく他の企業ですが、より短期の契約に署名する傾向がありました。
だから、Hopperが欲しいなら、そこにいくらかの容量があります。また、OracleやCoreWeaveでの容量のほとんどはBlackwellに関しては長期契約で署名されていますが、今四半期にオンラインになるものはすべてすでに売れています。
場合によっては、約束した数字すべてに到達することすらできていません。なぜなら、その2社だけでなく、Nebius、Microsoft、Amazon、Googleにもいくつかのデータセンターの遅延があるからです。
しかし、まだ売っていない構築中の容量を持っているネオクラウドとハイパースケーラーの一部がたくさんあります。あるいは、必ずしも超AGIに焦点を当てていない内部使用に割り当てようとしていた容量を、今は転換して販売するかもしれません。
あるいはAnthropicの場合、すべてのコンピュートを直接持つ必要はありません。Amazonがコンピュートを持ってBedrockを提供できます。あるいはGoogleがコンピュートを持ってVertexを提供できます。あるいはMicrosoftがコンピュートを持ってFoundryを提供し、Anthropicと収益シェアを行うか、その逆ができます。
基本的に、あなたが言っているのは、Anthropicは収益シェアの意味で50%のマークアップを支払うか、あるいは早期にコンピュートを購入していれば支払わなくてすんだであろう土壇場のスポットコンピュートの意味で支払わなければならないということですね。
そうですね、そこにはトレードオフがあります。しかし同時に、しっかり4ヶ月間、皆がOpenAIに言っていたのは「あなたと契約を結ぶつもりはない」ということでした。
それはクレイジーに聞こえますが、「お金がないから」というものでした。今、皆が「OpenAI、ずっとあなたを信じていました。すべてのお金を調達したので、どんな契約でも署名できます」と言っています。
Anthropicはその意味で制約されています。Anthropicが収益が急上昇する能力階層に最初に到達したので、まだそれほど多くのコンピュートの増分購入者はいません。
それは興味深いですね。そうでなければ、最高のモデルを持つことは非常に減価する資産だと思うかもしれません。なぜなら、3ヶ月後には最高のモデルを持っていないからです。
しかし、それが重要な理由は、これらの契約に署名し、事前にコンピュートをロックし、より良い価格を得ることができるからです。これは明らかなポイントかもしれません。
しかし、少なくとも最近まで、人々はGPUの減価償却サイクルについて大きなポイントを作っていました。弱気派、Michael Burryや誰であれ、「見てください、人々はこれらのGPUに4年または5年と言っています。
技術が非常に速く改善しているせいかもしれませんが、実際にはこれらのGPUに2年の減価償却サイクルを持つことが理にかなっています」と言いました。これは特定の年の報告された償却CapExを増加させ、これらすべてのクラウドを構築することを財務的にそれほど有利でなくします。
しかし実際には、減価償却サイクルは5年よりもさらに長いかもしれないということを指摘しています。もし私たちがHopperを使っているなら、特にAIが本当に離陸して2030年に「7ナノメートルのファブを稼働させなければならない、A100を再び起動しなければならない」と言っているなら、減価償却サイクルは実際には信じられないほど長いです。
それはあなたが言っていることの興味深い財務的含意だと思います。
データセンター容量の現実的な予測
いくつかの文字列があります。一つは、GPUの減価償却に何が起こるかです。前の質問に答えていなかったと思いますが、Anthropicは自分たち自身だけでなく、Bedrock、Vertex、またはFoundryを通じて提供される製品を通じて、年末までに5ギガワットくらい、おそらくもう少し多くに到達できると思います。
彼らは当初の計画をはるかに上回る5から6ギガワットに到達できると思います。OpenAIは私たちの数字に基づくと、ほぼ同じで、実際にはもう少し高いでしょう。
とにかく、GPUの減価償却サイクルについて。Michael Burryは3年以下だと言っています。それが彼の主張の一種です。
これを見る2つのレンズがあります。機械的には、GPUの総所有コストモデルがあります。そこでGPUの価格を予測し、クラスターの総コストを積み上げます。
多くのコストがあります。データセンターのコスト、ネットワーキングのコスト、データセンターで物を交換するスマートハンドと人々。
予備部品、実際のチップコスト、サーバーコストがあります。これらすべてのさまざまなコストがまとめられます。それにいくつかの減価償却サイクルがあり、特定の信用コストがかかります。
「H100は、減価償却が5年なら、5年間でボリュームで展開するのに1時間あたり1.40ドルかかる」というものを構築します。これらの5年間で2ドル/時の契約に署名すれば、粗利益は約35%です。
少し上回ります。1.90ドルで署名すれば、約35%です。そして、その5年目にGPUがバスから落ちて死ぬと仮定します。
場合によっては、人々が主張しているのは、長期契約に署名しなかった場合、2年ごとにNVIDIAがパフォーマンスを3倍または4倍にし、価格を2倍または50%しか上げていないからです。そうするとH100の価格は…確かに市場での価値は2024年には35%の粗利益で2ドルだったかもしれませんが、2026年には、Blackwellが超大量で展開され、年間数百万を展開しているとき、実際には今は1ドル/時の価値しかありません。
そして、27年のRubinが超大量で、今年出荷を始めますが、来年は超大量で、年間数百万のチップを展開してクラウドに入れると、パフォーマンスがさらに3倍になり、価格がさらに50%または2倍になれば、Hopperは0.70ドル/時の価値しかありません。
だからGPUの価格は下がり続けるでしょう。それが1つのレンズです。もう1つのレンズは、チップから得られる効用は何かです。
無限のRubinまたは無限の最新チップを構築できるなら、はい、まさにそれが起こるでしょう。新しいチップが出てくるにつれて、パフォーマンスあたりの価格が上がるにつれて、Hopperの価格はスポットまたは短期契約レートで下がるでしょう。
しかし、半導体と展開タイムラインに非常に制限があるので、これらのチップを実際に価格設定するのは、今日購入できる比較的なものではなく、今日このチップから引き出せる価値です。その意味で、GPT-5.4を取り上げましょう。
モデルの進化とGPU価値の変化
GPT-5.4は、GPT-4を実行するよりもはるかに安価で、アクティブパラメータが少ないです。アクティブパラメータの意味ではるかに小さいです。なぜなら、GPT-4がよりコースなMoEであるのに対し、よりスパースなMoEだからです。
GPT-5.4をGPT-4よりもはるかに優れたものにしたトレーニング、RL、モデルアーキテクチャ、データ品質における非常に多くの他の進歩もありました。そして、それは提供するのがより安価です。H100を見ると、それはGPT-4を実行した場合よりも5.4の多くのトークンを提供できます。
だから、それはより高品質のモデルのより多くのトークンを生産しています。GPT-4トークンの最大TAMは何でしょうか。おそらく数十億ドルだったかもしれません。おそらく数百億ドルだったかもしれません。
採用には時間がかかります。GPT-5.4の場合、その数字はおそらく1000億を超えています。しかし、採用ラグがあり、競争があり、他のすべての人が持っている継続的な改善があります。
改善がここで止まったら、H100の価値は、GPT-4がそれから得ることができる価値の代わりに、GPT-5.4がそれから得ることができる価値に基づいています。
これらのラボは競争環境にあるので、マージンは無限大にはなれません。H100が今日3年前よりも価値があるという非常に興味深いダイナミクスがあります。
それはクレイジーです。それを前進させる観点からも興味深いです。実際のAGIモデルが開発された場合、サーバー上に本物の人間がいた場合…脳ができるフロップスについては非常に手を振るような数字です。
しかし、フロップスベースでは、H100は1e15を行うと推定されており、これは一部の人が人間の脳がフロップスで行うと推定する量です。
明らかに、メモリの観点からは、人間の脳ははるかに多くを持っています。H100は80ギガバイトで、脳はペタバイトかもしれません。
ああ、ペタバイトを持っているの?ペタバイトの1と0を挙げてみて、兄弟。文字列を挙げて。まあ、これが実際のポイントです。
いや、私たちは史上最高のスパースアテンション技術を持っているだけです。本当にそうです。圧縮されている情報の量では、ペタバイトかもしれません。
脳は非常にスパースなMoEです。とにかく、人間の知識労働者が年間6桁の価値を生み出せると想像してください。
H100がそれに近いものを生産できるなら、実際にサーバー上に人間がいた場合、H100の価値は数ヶ月で自分自身を返済できるほどです。
だから私がDarioにインタビューしたとき、私が言おうとしていたポイントは、シンギュラリティが2年先だと思っているからDarioが必死にもっとコンピュートを買う必要があるということではありません。収益は確かにもっとコンピュートを買う必要があるところにありますが。
私が言おうとしていたポイントは、Darioが言っているように見えることを考えると、天才のデータセンターまで2年で、確実に5年以上はかからないという彼の発言を考えると、そして天才のデータセンターは何兆もの何兆ものドルの収益を稼ぐべきです、彼がコンピュートについてより保守的であるか、あなたのポイントに、OpenAIよりもコンピュートについてより積極的でないことについてこれらの発言を続けることは全く意味がありません。
そのポイントは失われたと思います。なぜなら、人々は私を焼いて、「ああ、このポッドキャスターは、この数千億ドル企業のCEOにYOLOしろと説得しようとしている」と言っていたからです。
私はただ、内部的に、彼の発言は矛盾していると言おうとしていただけです。
とにかく、それを明確にするのは良いことです。モデルが非常に強力な場合、GPUあたりの価値は時間とともに上がるという以前の見解に戻ると、現在、その視点を持っているのはOpenAIとAnthropicだけです。
しかし、さらに先に進むにつれて、誰もがそのGPUあたりの価値が急上昇するのを見ることができるでしょう。だから、その意味で、今コンピュートにコミットすべきです。
興味深いことに、Anthropic流に、彼らにはコミットメント問題があり、ある種のポリアモラスだというミームがあります。
Darioではありませんが、これはちょっとしたミームです。すべてを説明します。ところで、Alchian-Allenと呼ばれる興味深い経済効果があります。これは、異なる商品の固定費を増やすというアイデアです。一つは高品質で、一つは低品質です。それがマージンで人々に高品質の商品を選ばせるでしょう。
具体的な例を挙げると、よりおいしいリンゴは2ドルで、よりまずいリンゴは1ドルだとします。今、それらに輸入関税をかけるとします。
今は素晴らしいリンゴに対して3ドル対中程度のリンゴに対して2ドルです。それは両方が1ドル増加したからですか、それとも50%の増加であるべきですか。
いいえ、両方が1ドル増加したからです。全体的な効果は、両方に適用される固定費がある場合です。そうすると、それらの間の価格差、比率が変わります。
以前は、より高価なものは2倍高価でした。今は1.5倍高価なだけです。だから、AIに適用した場合、GPUがより高価になるなら、コンピュートの価格に固定費の増加があるだろうかと思います。
その結果、わずかに良いモデルに対してより高いマージンを支払う意思が人々を押し上げるでしょう。なぜなら、計算は、とにかくコンピュートに対してこれだけのお金を支払うことになるからです。
わずかに悪いモデルではなく、最高のモデルであることを確認するためにわずかに多く支払うほうがいいでしょう。だから、Hopperは2ドルから3ドルになりました。
Hopperが100万トークンのOpusを作ることができ、200万トークンのSonnetを作ることができる場合、GPUの価格が2ドルから3ドルに1ドル上がったので、OpusとSonnetの間の価格差は減少しました。
興味深い。それは非常に理にかなっていると思います。すべてのボリュームが今日最高のモデルにあり、すべての収益が今日最高のモデルにあることがわかります。
コンピュート制限の世界では、2つのことが起こります。1つは、コミットメント問題がなく、コンピュートに対してこれらの5年契約を持っている企業は、巨大なマージンの優位性を固定しています。
彼らは2年、3年、または5年前に取引された価格で5年間コンピュートを固定しています。一方、その5年契約の3年目で、誰か他の人の2年または3年の契約が終了し、今彼らは現代の価格でそれを買おうとしているとき、それがモデルの価値に価格設定されているとき、価格ははるかに高くなります。
だから、早くコミットした人は一般的により良いマージンを持っています。長期契約にある市場の割合は、最後の瞬間に追加できるこのフレックス容量である短期契約にある市場の割合よりもはるかに大きいです。
同時に、マージンはどこに行くのでしょうか。モデルがより価値があるようになるにつれて、クラウドプレーヤーは価格をどれだけ調整できるでしょうか。
CoreWeaveを見ると、彼らの平均期間は現在3年以上です。98%以上のコンピュートに対して、3年以上です。
彼らは実際に価格を調整できないというジレンマに陥ります。しかし、毎年彼らは以前に持っていたよりも増分的にはるかに多くの容量を追加しています。
今年だけで、Metaは2022年にWhatsApp、Instagram、Facebookを提供し、AIを行うためのすべての目的のためのコンピュートとデータセンターの全フリートに持っていたのと同じくらいの容量を追加しています。
彼らは今年それだけを追加しています。同じ意味で、Metaがそれを行うことについて話すと、CoreWeave、Google、Amazon、これらすべての企業は年々狂ったような量のコンピュートを追加しています。
その新しいコンピュートは新しい価格で取引されます。ある意味で、はい、離陸している限りロックインしました。「OpenAIは昨年600メガワットから2ギガワットに行き、今年は2ギガワットから6プラスに、来年は6から12に。」
増分的に追加されるコンピュートがすべてのコストがある場所であり、以前の長期契約ではありません。そうすると、誰がカードを持っているかは、マージンを請求するためのインフラプロバイダーです。
今、クラウドプレーヤー、ネオクラウド、またはハイパースケーラーはマージンを請求できます。ある程度はできますが、メモリとロジック容量へのアクセスを持っているのは誰かに上流に行くと、それはほとんどの場合Nvidiaです。
彼らは多くの長期契約に署名しました。彼らは今日900億ドルの長期契約を持っており、メモリベンダーと今日3年契約を交渉しています。
Broadcomを通じてAmazonとGoogle、Amazonが直接、そしてAMDがいます。これらの企業がすべてのカードを持っています。なぜなら、彼らが容量を確保したからです。
TSMCは価格を上げていませんが、メモリベンダーはある程度、多くの価格を上げています。彼らは価格を再び2倍または3倍にするつもりですが、これらの長期契約にも署名しています。
半導体サプライチェーンの構造的制約
すべてのマージンドルを増やすことができるのは、潜在的にクラウド、潜在的にチップベンダー、そしてメモリベンダーです。TSMCまたはASMLが抜け出して「いいえ、もっとたくさん請求するつもりです」と言うまで。
しかし同時に、モデルベンダーはクレイジーなマージンを請求できるでしょうか。少なくとも今年、モデルベンダーのマージンが大幅に上がるのが見えます。
彼らは非常に容量制約があるので、需要を破壊しなければなりません。Anthropicが需要を破壊せずに現在のペースで続けることは不可能です。
ロジックとメモリに入りましょう。Nvidiaはどのようにして両方の非常に多くをロックアップすることができたのでしょうか。あなたの数字によれば、27年までに、NvidiaはN3ウェハー容量の70%以上、またはその辺りを持つことになると思います。
SK HynixとSamsungなどでのメモリの数字が何だったか忘れました。ネオクラウドビジネスがどのように機能するか、Nvidiaがそれとどのように機能するか、またはRL環境ビジネスがどのように機能し、Anthropicがそれとどのように機能するかを考えてください。
これらの両方のケースで、Nvidiaは意図的に相補的な産業を断片化して、できるだけ多くのレバレッジを持つことを確認しようとしています。
彼らはランダムなネオクラウドに割り当てを与えて、すべてのコンピュートを持つ1人がいないことを確認しています。同様に、AnthropicまたはOpenAIがデータプロバイダーと協力するとき、彼らは「いいえ、これらのものの巨大な産業を種まきして、データ環境のために1つのサプライヤーにロックされないようにします」と言います。
そして、3nmプロセスで、それはTrainium 3になります、それはTPU v7になります、他のアクセラレータが潜在的に、なぜTSMCはNvidiaにすべてを諦めるのではなく、市場を断片化しようとするのでしょうか。
ここにはいくつかのポイントがあります。3 nmについて、昨年に戻ると、3 nmの大部分はAppleでした。Appleは2 nmに移動されています。
メモリ価格が上がっているので、Appleのボリュームは下がるかもしれません。メモリ価格が上がるにつれて、マージンを削減するか、移動します。
長期契約があるのでいくらかのタイムラグがありますが、Appleはおそらく需要を減らすか、2 nmにより速く移動します。2 nmは現在モバイルチップのみが可能です。
将来、AIチップはそこに移動します。だから、Appleはそれを持っています。Appleはまた、TSMCから少し締め出されているので、サードパーティベンダーと話しています。
TSMCの高性能コンピューティング、HPC、AIチップなどのマージンは、モバイルよりも高いです。なぜなら、彼らはHPCでモバイルよりも大きな優位性を持っているからです。
TSMCのここでの実行計算を見ると、彼らは実際にCPUを行っている企業に本当に良い割り当てを提供しています。AmazonがTrainiumとGravitonを持っていることを考えると、これらの両方が3 nmにあります。Gravitonが彼らのCPU、TrainiumがAIチップです。
TSMCは、CPUビジネスをより安定した長期的な成長と見なしているので、Trainiumよりも実際にGravitonに割り当てを与えることにはるかに興奮しています。
サイクルの成長にあまり乗りたくない保守的な企業として、実際には、速い成長率市場にすべての増分容量を割り当てる前に、より低い成長率でより安定している市場に最初に割り当てたいのです。これは一般的にそうです。
AMDも同様です。彼らがCPUで得る割り当て、TSMCはGPUよりもそれらについてはるかに興奮しています。同様にAmazonについても。Nvidiaは少しユニークです。なぜなら、はい、彼らはCPUを持っています、彼らはスイッチを作ります、彼らはネットワーキング、NVLink、InfiniBand、Ethernet、NICsを作ります。
大まかに言って、これらのもののほとんどは、Rubinの発売とそのファミリーのすべてのチップで、今年末までに3 nmになります。GPUが最も重要なものです。
それでもNvidiaは供給の大部分を得ています。これの一部は、市場を見て、TSMCや他の人が多くの方法で市場需要を予測するからですが、市場シグナルでもあります。
市場は「来年これだけの容量が必要です。これだけ必要です。キャンセル不可、返品不可で署名します。預金を支払うかもしれません」とシグナルしました。NvidiaはGoogleやAmazonよりもはるかに早くそれを行いました。
場合によっては、GoogleとAmazonにはつまずきがありました。チップの1つが数四半期わずかに遅れました。Trainiumとこれらすべての種類のことが起こりました。
その場合、「まあ、これらの人たちは遅れているが、Nvidiaはもっと、もっと、もっと、もっと欲しがっている。そして私たちはサプライチェーンの残りの部分をチェックしています、十分な容量がありますか?」という巨大なものがありました。
彼らはすべてのPCBベンダーに行って、「十分なPCBがありますか?」と言っています。Victory GiantはNvidiaへのPCBの最大サプライヤーの1つで、彼らは中国企業です。
すべてのPCBは中国から来ます、またはその多くが。彼らは「十分なPCB容量がありますか?素晴らしい。
ねえ、メモリベンダー、誰がすべてのメモリ容量を持っていますか?オーケー、Nvidiaが持っています。素晴らしい。」誰がAGIピルを十分に飲んで、AGIピルを飲んでいない人には馬鹿げているように見えるレベルで長いタイムラインでコンピュートを買うかを見ると、それでも彼らはかなり良いマージンを支払って今署名する意思があります。なぜなら、将来その比率が台無しになっていると見ているからです、半導体のサプライチェーンでも同じことが起こります。
NvidiaがかなりAGIピルだとは思いません。Jensenはソフトウェアが完全に自動化されるとは信じていません。アクセラレーテッド・コンピューティング、AIチップではありません、そうでしょう?
AIチップです。しかし、それが彼がそれを呼ぶものですよね。そうです。それはより広い用語だと思います、AIはその中にありますが、物理モデリングやシミュレーションもあります。
しかし、彼は主なユースケースを受け入れていないようです。受け入れていると思いますが、DarioやSamほどAGIピルだとは思いません。
しかし、彼は昨年Q3のGoogleや、昨年Q3のAmazonよりもはるかに、はるかにAGIピルであり、はるかに多くの需要を見ました。理由は非常にシンプルです。
すべてのデータセンター建設を見ることができます。彼は「オーケー、この市場シェアが欲しい」という感じです。私たちはすべてのデータセンターを追跡しており、どちらか一方である可能性のあるデータセンターがたくさんあります。
ある程度、GoogleとAmazon、特にGoogleは、TPUが展開するのに彼らにとって単により良いだけであっても、TPUが十分にないのでデータセンターを埋めることができないので、大量のGPUを展開しなければなりません。それらをファブすることができません。
それについて質問があります。Googleは100万、v7sでしたか?はい。
Ironwoodsを、Anthropicに売りました。そして、あなたが言っているのは、現在、今年または来年、今後ずっと続くと思いますが、大きなボトルネックはロジックとメモリ、これらのチップを構築するのにかかるものになるということです。Googleには、第3の著名なAIラボであるDeepMindがあります。
これが大きなボトルネックなら、なぜDeepMindに渡すのではなく売るのでしょうか。これは再び…の問題です。DeepMindの人々は「これは狂気だ。なぜこれをしたのか?」という感じでした。しかし、Google Cloudの人々とGoogleの幹部は異なる思考プロセスを見ました。
あなたと私はAnthropicのコンピュートチームを知っています。主な2人の人々はGoogleから来ました。彼らはこの転位を見て、取引を交渉し、Googleが気づく前にこのコンピュートへのアクセスを得ることができました。
少なくとも私たちが見つけたデータからの一連の出来事は、Q3の初めに、6週間の間に、TPUの容量が大幅に上がったのを見ました。それらの6週間で複数回上がりました。複数のリクエストがありました。
Googleは、非常に突然だったので、なぜこの容量の増加が必要なのかをTSMCに説明しなければなりませんでした。その容量増加の多くはAnthropicへの販売のためでした。
なぜなら、AnthropicはGoogleの前にそれを見たからです。そして、GoogleにはNano BananaとGemini 3があり、それが彼らのユーザーメトリクスを急上昇させました。そして、Googleのリーダーシップは「ああ」という感じでした。
そして、彼らは6ヶ月ごとにコンピュートを倍にしなければならないという声明を出し始めました、正確な数字が何であれ。彼らは本当にもっと目覚めました、そして彼らはTSMCに行って「もっと欲しい。もっと欲しい。」と言いました。TSMCは「申し訳ありません、売り切れです。
2026年にはおそらく5-10%多く得られるかもしれませんが、本当に2027年に取り組みます。」と答えました。私の心の中では、ラボの間に情報の非対称性がありました。正確にはわかりません。
それは、ウェハーオーダーのサプライチェーンで何が起こっているか、AnthropicとFluidstackが署名したデータセンターで何が起こっているかについてのすべてのデータを見ることから、自分自身を紡いだ物語です。
Googleが失敗したことは私にはかなり明確です。GoogleのGemini ARRからそれを見ることができます。彼らはQ1からQ3までほとんど何もありませんでした、Q3で少し彼らが変曲し始めると。
しかし、Q4では、ARRベースで50億ドルの収益に達しました。Googleが最初に収益が急上昇するのを見なかったことは明らかです。
ある意味で、AnthropicはARRが爆発する前に少しコミットメント問題を抱えていました、パイプを下ってくるものを見たはるかに多くの情報非対称性を持っていたにもかかわらず。
Googleは Anthropicよりも保守的になるでしょうし、GoogleはさらにARRが少なかった。だから、彼らはそれをする意思がなかっただけで、それから彼らはそれをすべきだと気づきました。
それ以来、Googleは彼らがしていることに関して不条理にAGIピルになりました。彼らはエネルギー会社を買いました。彼らはタービンの預金を置いています。
彼らは動力のある土地の馬鹿げた割合を買っています。彼らは公益事業に行き、長期契約を交渉しています。
彼らはデータセンターと電力側でこれを非常に積極的に行っています。Googleは昨年末に目覚めたと思いますが、時間がかかりました。
Googleが来年末までに何ギガワット持つと思いますか。私のデータを買ってください。そういう情報に対しては課金しているんですね。
はい、はい。毎年、AIコンピュートのスケーリングを妨げているボトルネックが変わり続けているような気がします。数年前はCoWoSでした。昨年は電力でした。今年のボトルネックは何か教えてください。
しかし、5年後、シンギュラリティの展開を制約しているものは何になるでしょうか。最大のボトルネックはコンピュートです。
そのために、最も長いリードタイムのサプライチェーンは電力やデータセンターではありません。実際には半導体サプライチェーン自体です。
チップサプライチェーンには、多くの異なるボトルネックがあります。TSMCからのメモリ、ロジックウェハー、そしてファブ自体があります。
ファブの建設には2から3年かかりますが、データセンターは1年未満です。Amazonがデータセンターを最速8ヶ月で建設したのを見てきました。
実際にチップを作るファブを構築することの複雑さのため、リードタイムに大きな違いがあります。ツールも非常に長いリードタイムがあります。
スケールアップしてきたボトルネックは、サプライチェーンが現在できないものに基づいて移行してきました。CoWoS、電力、データセンターでしたが、これらはすべてより短いリードタイム項目でした。
CoWoSはチップを一緒にパッケージングするはるかにシンプルなプロセスです。電力とデータセンターは、最終的にチップの実際の製造よりもはるかにシンプルです。
モバイルやPCからデータセンターチップへの容量のスライドがあり、それはある程度互換性がありました。一方、CoWoS、電力、データセンターはサプライチェーンとして新たに始めなければなりませんでした。
しかし今、モバイルとPC産業、かつては半導体産業の大部分だったものがAIにシフトする容量はもうありません。
NvidiaはTSMCとSK Hynixで最大の顧客になりました、SK Hynixは最大のメモリメーカーです。一般の人々のPCとスマートフォンから離れたリソースのスライドがAIチップに向けてこれ以上シフトすることは不可能です。
だから今の質問は、AIチップ生産をどのようにスケールするかです。それが2030年に向けての最大のボトルネックです。
2030年まで基づいて投影できる絶対的なギガワット上限があるかどうかは非常に興味深いでしょう、「これ以上のEUVマシンを生産できない」というだけに基づいて。コンピュートをさらにスケールするには、今年と来年には異なるボトルネックがありますが、最終的には2028年または2029年までに、ボトルネックはサプライチェーンの最下層、つまりASMLに落ちます。
ASMLのEUVツールが決定的制約に
ASMLは世界で最も複雑な機械を作ります。EUVツールです。それらの販売価格は3億から4億ドルです。現在、彼らは約70を作ることができます。
来年、彼らは80になります。非常に積極的なサプライチェーン拡大の下でも、彼らは10年の終わりまでに100をわずかに超えるだけになります。それは何を意味しますか。彼らは10年の終わりまでにこれらのツールを100作ることができ、現在70です。
それは実際にAIコンピュートにどう変換されるのでしょうか。サム・アルトマンや、サプライチェーン全体の多くの他の人からこれらすべての数字を見ます。ギガワット、ギガワット、ギガワット。
いくつのギガワットを追加しているのでしょうか。Elonは宇宙で100ギガワットと言っています。年間。年間。
これらの数字のいずれか、またはこれらの数字への挑戦の問題は、実際には電力やデータセンターではありません。それに飛び込むことができますが、それはチップの製造です。
NvidiaのRubinチップの1ギガワットを取ります。Rubinは、このポッドキャストが公開される週にGTCで発表されます、と信じています。
今年末にリリースされる彼らの最新チップの1ギガワット相当のデータセンター容量を作るには、いくつかの異なるウェハー技術が必要です。約55,000枚の3 nmウェハーが必要です。
約6,000枚の5 nmウェハーが必要で、次に約170,000枚のDRAMメモリウェハーが必要です。これら3つの異なるバケツ全体で、それぞれ異なる量のEUVを必要とします。
ウェハーを製造するとき、材料を堆積して除去する何千もの何千ものプロセスステップがあります。しかし、少なくとも先端ロジックではチップのコストの30%を占める重要な重要ステップは、実際にはウェハーに何も載せないものです。
ウェハーを取り、フォトレジストを堆積します。これは光にさらされると化学的に変化する化学物質です。次に、それをEUVツールに入れ、それに一定の方法で光を当てます。それをパターニングします。設計のためのステンシルである、いわゆるマスクがあります。
最先端の3 nmウェハーを見ると、約70のマスク、70層のリソグラフィがありますが、そのうち20が最も高度なEUVです。
1ギガワットに55,000枚のウェハーが必要で、ウェハーあたり20回のEUVパスを行うなら、計算ができます。それは単一のギガワットに対して110万回のEUVパスです。かなりシンプルです。残りのものを追加すると、200万になります。5 nmとすべてのメモリ全体で。
単一のギガワットに対して約200万回のEUVパスになります。これらのツールは非常に複雑です。ウェハー全体で何をしているかを考えると、ウェハーを取ってスキャンし、ステップします。
ウェハー全体を何十回もそれを行います。EUVパスの数について話すとき、それは一定のレートで露光されている全ウェハーです。
EUVツールは1時間あたり約75枚のウェハーを処理でき、ツールは約90%の時間稼働しています。最終的に、ギガワットの200万回のEUVウェハーパスを行うには、約3.5個のEUVツールが必要です。
だから3.5個のEUVツールが1ギガワットを満たします。数字について考えるのは面白いです。1ギガワットのコストはどれくらいですか。約500億ドルかかります。一方、3.5個のEUVツールのコストはどれくらいですか。
それは12億ドルです。実際にはかなり低い数字で、考えるのが面白いです。データセンターで500億ドルの経済的CapEx、そしてトークンで構築されるものの上に構築されるのはさらに大きいです。
それはサプライチェーンへの1000億ドル相当のAI価値かもしれません、単に迅速に拡大できないサプライチェーンの12億ドル相当のツーリングによって支えられています。
実際、中間層でさえここでショッキングです。ASML自体をボトルネックしている光学サプライヤーであるCarl Zeissを、今朝その時価総額をチェックしました。それは何かわかりますか。25億ドルです。
おい、それをLBOしよう。それをLBOしよう。あなたは最近、過去3年間でTSMCは1000億ドルのCapExを行ったと述べる記事を書きました。だから300億ドル/300億ドル/400億ドルです。
その小さな割合が、3 nm、または以前の4 nmのためにNvidiaによって使用されています。それはチップに使用しています。先四半期の収益は何でしたか。400億ドルでした。だから400億ドル×4で1600億ドルです。
Nvidia単独で、多くの年にわたって償却され、この1年だけでなく、1000億ドルのCapExのいくつかの小さな割合を、単一の年で1600億ドルに変えています。
ASMLに行くとさらに激しくなります。ASMLは1ギガワットを生産するために10億ドル相当の機械を取っています。もちろん、それらの機械は1年以上続くので、それ以上のことをしています。
今、理解したいのは、2030年までにそのような機械が何台あるかです、その年に販売されたものだけでなく、前の年にわたって集積されてきたものも含めて?それは何を意味しますか。Sam Altmanは2030年に週に1ギガワットをやりたいと言っています。
これらの数字を合計すると、それと互換性がありますか。それは完全に互換性があります、考えてみれば。
TSMCと全エコシステムはすでに250から300のEUVツールを持っています。次に、今年70、来年80、2030年までに100に成長するものを積み上げます。
2030年の終わりまでに700のEUVツールになります。700のEUVツール、ギガワットあたり3.5ツールで、すべてがAIに割り当てられると仮定すると、そうではありませんが、AIチップをデータセンターに展開するための200ギガワットになります。
Samは年間52ギガワットを望んでいます。彼はそうすると25%のシェアを取るだけです。明らかに、消費財をまだ持つことが許されていて、それらから価格で追い出されていないと仮定すると、モバイルとPCに与えられるいくつかのシェアがあります。
しかし、大まかに、彼はファブされた総チップの25%市場シェアを言っています。今年だけで、彼は展開されるBlackwell GPUの25%にアクセスできると思います、それはそれほどクレイジーではありません。
ASMLがEUVツールの出荷を開始したのはいつですか、7 nmが始まったときですか。それが正確にいつだったかわかりません。
あなたは2030年に、最初に2020年に出荷された機械を使うと言っています。だから10年間、この世界で最も技術的に高度な産業で同じ最も重要な機械を使っているのですか?それは驚きです。
ASMLは今約10年間EUVツールを出荷していますが、2020年頃に大量生産に入っただけです。ツールは同じではありません。
当時、ツールはさらに低いスループットでした。それらに関するオーバーレイと呼ばれるさまざまな仕様があります。層を互いの上に積み重ねていると言及していました。
いくつかのEUVを行い、多くの異なるプロセスステップを行います、物を堆積し、物をエッチングし、ウェハーをクリーニングし、別のEUV層を行う前にそれらのステップの何十もを行います。
オーバーレイと呼ばれる仕様があります。これは、すべてのこの作業を行い、ウェハーに線を描き、今これらの点を描きたいというものです。
これらの線を穴に接続するためにこれらの点を描きたいとしましょう、そして次の層は互いに垂直に行く別の線のセットです、だから今あなたは互いに垂直に行くワイヤーを接続しています。
それらを互いの上に着地させることができなければなりません。それがオーバーレイと呼ばれます。オーバーレイはASMLによって急速に改善されている仕様です。
ウェハースループットはASMLによって急速に改善されています。ツールの価格は上がっていますが、ツールの能力ほどではありません。
最初、EUVツールは1億5000万ドルでした。時間とともに、2028年を見ると現在4億ドルです。しかし、ツールの能力も2倍以上になりました、特にスループットとオーバーレイの精度で、これはその間に何トンものステップを行うにもかかわらず、互いの上に後続のパスを正確に整列する能力です。ASMLは超急速に改善しています。
ASMLはおそらく世界で最も寛大な企業の1つであると言及する価値があります。彼らはこのリンチピンを持っています。誰も何も競争力のあるものを持っていません。おそらく中国は10年の終わりまでにいくつかのEUVを持つでしょうが、他の誰もEUVに近いものを持っていません、それでも彼らは価格とマージンをクレイジーに上げていません。
私たちがいつも話している他の人々、Leopoldのような人に聞くと、彼らは「価格を上げよう」という感じです。なぜなら、できるからです。マージンはそこにあります。
Nvidiaはマージンを取ります。メモリプレーヤーはマージンを取っています。しかし、ASMLはツールの能力を増やした以上に価格を上げたことはありません。
ある意味で、彼らは常に顧客に正味の利益を提供してきました。ツールが停滞しているわけではありません、これらのツールが古いというだけです。
はい、いくつかアップグレードできますし、新しいツールが来ています。単純さのために、このポッドキャストのためにオーバーレイやツールあたりのスループットの進歩を無視しています。
あなたは今年これらの機械を60生産していて、その後の年に70、80と言っています。ASMLが単にCapExを2倍または3倍にすることに決めたら何が起こるでしょうか。
2030年に100以上を生産することを妨げているものは何ですか。5年後でも、彼らの生産が何になるかについて比較的確信を持てるのはなぜですか。
ここにはいくつかの要因があると思います。ASMLは、できるだけ速く容量を拡大しようというYOLOをすることに決めていません。
一般的に、半導体サプライチェーンはしていません。ブームとバストを生き抜いてきました、それについてもう少し話すことができます。
基本的に、いくつかのプレーヤーは最近目覚めましたが、一般的に誰も本当に年間200ギガワットのAIチップや、半導体サプライチェーンでの年間何兆ドルもの支出の需要を見ていません。彼らはAIピルではありません。彼らはAGIピルではありません。
今年は1兆ドルに到達するつもりです。そうですね、でも、誰もサプライチェーンでこれを本当に理解していないと言っているんです。
常に、私たちの数字は高すぎると言われ、そして彼らが正しいと、「ああ、そうだね、でも来年の数字はまだ高すぎる」という感じです。
ASMLのツールには4つの主要なコンポーネントがあります。サンディエゴのCymerによって作られるソースがあります。ウィルミントン、コネチカットで作られるレチクルステージがあります。ウェハーステージがあります。光学系、レンズなどがあります。
最後の2つはヨーロッパで作られます。これら4つのそれぞれを見ると、(A)彼らは大規模に拡大しようとしていない、(B)拡大しようとするとき、タイムラグはかなり長い、非常に複雑なサプライチェーンです。
繰り返しますが、これは人間が作る最も複雑な機械です、どんなボリュームでも。ソースについて具体的に話しましょう。ソースは何をするのでしょうか。これらのスズの滴を落とします。
レーザーで完璧に3回連続して当てます。最初のものがこのスズの滴に当たり、それが広がります。
それをもう一度当てると、この完璧な形に広がります、そしてそれを超高出力で爆破します。スズの滴はEUV光、13.5ナノメートルを放出するのに十分興奮し、そしてそれはすべての光を集めてレンズスタックに向けるこのもの
の中にあります。
次にレンズスタックがあります、これはCarl Zeissです、あなたが言及したように、そしていくつかの他の人々ですが、Zeissがその最も重要な部分です。
彼らはまた、見ていないので生産能力を拡大しようとしていません…彼らは「AIのおかげで多く成長しています。60から100に成長しています。」という感じです。「いや、いや、いや。数百に行く必要がありますが、まあいいです。」
これらのツールのそれぞれには、思い出しが正しければ、18のこれらのレンズがあります、効果的に。それらはマルチレイヤーミラーです、モリブデンとルテニウムの完璧な層、正しく思い出せば、多くの層で互いの上に積み重ねられ、そして光がそれから完璧に跳ね返ります。
レンズについて考えるとき、それは形状の中にあり、光を集中させます。これは鏡でもありレンズでもあるので、かなり複雑です。
これらの超薄く堆積されたスタックの任意の欠陥はそれを台無しにします。任意の曲率の問題はそれを台無しにします。
生産のスケーリングには多くの課題があります。この意味で非常に職人的です、年間何万ものこれらを作っているのではなく、数百を作っています、数千を作っています。
年間60ツール、ツールあたり18のこれら、まだ数百にいます、ツールの、またはこれらのレンズと投影光学系のために千の数字に大体います。
次にレチクルステージに進みます、これもまた本当にクレイジーなものです。このものは、言いたいのですが、9Gで動きます。
9Gでシフトします、なぜなら、ウェハーを横切ってステップするとき、ツールが行くからです…ウェハーステージは相補的です。それがウェハー部分です。これら2つのものを並べます。
レンズを通してすべての光を取り、それが集中されています、そしてここにレチクルがあります、ここにウェハーがあります。レチクルは一方向に動いています、ウェハーはウェハーの26×33ミリメートルのセクションをスキャンするとき、反対方向に動いています、そしてそれから停止します。
それはウェハーの別の部分にシフトして、それをもう一度行います。それはほんの数秒でそれを行います。それぞれが反対方向に9Gで動いています。
これらのもののそれぞれは化学、製造、機械工学、光学工学の驚異と驚嘆です、なぜなら、これらすべてのものを整列させてそれらが完璧であることを確認しなければならないからです。
これらすべてのものにはクレイジーな量のメトロロジーがあります、なぜなら、すべてを完璧にテストしなければならないからです。何かが台無しにされていれば、歩留まりはゼロに行きます、なぜなら、これは非常に微調整されたシステムだからです。
ところで、それは非常に大きいので、オランダのアイントホーフェンの工場でそれを構築し、分解して多くの飛行機で顧客サイトに出荷し、そしてそこで再組み立てしてそれを再度テストしています。そのプロセスは何ヶ月も何ヶ月もかかります。
サプライチェーンには非常に多くのステップがあります、ZeissがレンズとプロジェクションOptics を作るか、Cymer、これはASML所有の会社ですが、EUVソースを作るかどうか。
これらのそれぞれには、独自の複雑なサプライチェーンがあります。ASMLは、彼らのサプライチェーンには1万人以上の人々がいるとコメントしています。
個々のサプライヤーのようなものですか。はい。直接ではないかもしれません。Zeissが非常に多くのサプライヤーを持ち、XYZ会社が非常に多くのサプライヤーを持つことを通じてかもしれません。
それについて考えるだけで、ウェハーのサイズの2つの物理的に動くオブジェクトについて話していて、それは単一桁のナノメートルレベルに正確でなければなりません、あるいはそれよりもさらに小さくさえあります、なぜなら、全システム、オーバーレイ、層から層へのオーバーレイの変動が3ナノメートルのオーダーでなければならないからです。
オーバーレイが3 nmsの場合、それは各個々の部分、その物理的な動きの精度がそれよりもさらに少なくなければならないことを意味します。ほとんどの場合、サブ1ナノメートルでなければなりません、なぜなら、これらのもののエラーが積み重なるからです。
単に指を鳴らして生産を増やす方法はありません。電力のように単純なもの。米国がゼロパーセントの電力成長から2パーセントの電力成長に行くことは、中国がすでに30にいるにもかかわらず、アメリカがするのに非常に困難でした。
そして、それは難しいことをする非常に少数の人々がいる本当にシンプルなサプライチェーンです。おそらく100,000人の電気技師と米国の電力サプライチェーンで働く人々がいますか、またはそれ以上?
ASMLを見ると、彼らは非常に少数の人々を雇用しています。Carl Zeissはおそらくこれに取り組んでいる1000人未満の人々を雇用しています、そしてそれらの人々のすべてが超、超専門化されています。
指をパチンと鳴らしてランダムな人々をこれのために訓練することはできません。サプライチェーン全体を活気づかせることはできません。
Nvidiaは、今年作るつもりの容量を提供するためにサプライチェーン全体を得るために多くのことをしなければなりませんでした。
Anthropicに話に行くと、彼らは「TPUが不足しています、トレーニングが不足しています、GPUが不足しています」という感じです。OpenAIに話に行くと、彼らは「これらのものが不足しています」という感じです。
OpenAIとAnthropicは彼らがXを必要とすることを知っています。Nvidiaはかなりそれほどには AGIピルではありません。彼らはX – 1を構築しています。
サプライチェーンを下っていくと、みんながX – 1をしています。場合によっては、彼らはX ÷ 2をしています、なぜなら、彼らはAGIピルではないからです。
鞭が反応するのにこのタイムラグになります。AIピル性と生産を増やしたいという欲求が非常に長くかかります。彼らが最終的に生産を急速に増やす必要があることを理解すると…
彼らは理解していると思っています。彼らはAIが60から100に行かなければならないことを意味し、ツールがより良く速くなり、ソースが500ワットから1,000へとより高い出力を得ること、そしてサプライチェーンのこれらすべての他の側面が技術的に進歩し生産を増やすことに加えて。
彼らは実際に生産を多く増やしていると思っています。しかし、数字を流すと…Elonは何を望んでいますか。
彼は2028年または2029年までに宇宙で年間100ギガワットを望んでいます。Sam Altmanは10年の終わりまでに年間52ギガワットを望んでいます。
Anthropicはおそらく同じものを必要とし、Googleはそれを必要とします。サプライチェーンを横切ると、待ってください、いいえ、サプライチェーンはコンピュートの側でみんなが望むものを得るのに十分な容量を構築できる可能性がありません。
代替アプローチの可能性と限界
ここ数年のデータセンターサプライチェーンで、人々が「この特定のものによってボトルネックになっている、したがってAIコンピュートはX以上にスケールできない」というような議論をしてきたような気がします。
しかし、あなたが書いてきたように、グリッドがボトルネックなら、オンサイトでメーターの後ろをやるだけで、ガスタービンなどをします。それがうまくいかなければ、人々が頼る他のすべてのこれらの代替があります。
半導体サプライチェーンでも同様のことが起こることを想像できるかどうか聞きたいです。EUVがボトルネックになったら、7 nmに戻って中国が現在やっていることをするだけではどうでしょうか、DUVマシンでマルチパターニングで7 nmチップを生産する?
A100のような7 nmチップを見ると、A100からB100またはB200への明らかに多くの進歩がありました。その進歩のどれくらいがただの数値計算ですか。
A100からB100へのFP16を一定に保つだけなら。B100は少し1ペタフロップ以上で、A100は300テラフロップスのようなものです。そうです、312です。
数値計算を一定に保つと、A100からB100への3倍の改善があります。その一部はプロセスの改善で、一部はアクセラレータの設計が改善しているだけで、将来再び複製できます。
プロセスが7nmから4 nmへの改善からの実際には非常に小さな効果があるように思えます。すぐに数字はわかりませんが、3 nmに対して月に150kウェハーがあり、最終的には2 nmに対して同様の量があるとしましょう。
しかし、7 nmに対しても同様の量があります。もしそれらすべての古いウェハーがあり、ウェハー面積あたりのビットが50%少ないので50%のヘアカットがあるかもしれませんが、それはそれほど悪くないように思えません、もしそれが別の50または100ギガワットを与えるなら、7 nmウェハーを持ってくるだけです。なぜそれが naive だと教えてください。
十分にクレイジーになって、これが起こる可能性はあります、なぜなら増分的なコンピュートが必要で、コンピュートがこれらのチップのより高いコストと電力よりも価値があるからです。
しかし、これらは公平な比較ではないので、大部分ありそうもないです。例えば、312テラフロップスのA100から、1,000または2,000 FP16のBlackwellへ、そしてRubinは約5,000 FP16です。これらのチップは非常に異なる設計目標を持っているので、公平な比較ではありません。
A100では、NvidiaはFP16とBF16の数値計算に最適化しました。Hopperを見ると、彼らはそれほど気にしませんでした。彼らはFP8を気にしました。
Rubinを見ると、彼らはFP16とBF16をそれほど気にしません。彼らは主にFP4とFP6を気にします。数値計算は彼らがチップを設計したものです。
7 nmで、現代の数値計算に最適化された新しいチップ設計を作るとしましょう。パフォーマンスの差は、あなたが言及したFLOPS差よりもまだはるかに大きくなります。
FLOPSワットあたりまたはFLOPSドルあたりに物事を煮詰めるのは簡単ですが、それは公平な比較ではありません。Kimi K2.5とDeepSeekを見ましょう。
これら2つのモデルとHopper対Blackwellでの非常に最適化されたソフトウェア上でのパフォーマンスを見ると、非常に異なるパフォーマンスを得ます。
これのほとんどはFLOPSや数値計算に起因するものではありません、なぜなら、それらのモデルは実際には8ビットだからです。だから、BlackwellsとHopperは両方とも8ビットに最適化されていて、Blackwellはそこで4ビットの利点を本当に活用していません。
パフォーマンスの差は実際にはるかに大きいです。確かに、プロセス技術を縮小してトランジスタを小さくするのは1つのことなので、各チップがX数のFLOPSを持ちます、しかし大きな制約要因を忘れています。
これらのモデルは単一のチップ上で実行されません。彼らは一度に数百のチップ上で実行されます。DeepSeekの本番展開を見ると、それは十分に1年以上前のものですが、彼らは160 GPU上で実行していました。
それが彼らが本番トラフィックを提供するものです。彼らは160 GPU全体にモデルを分割します。
1つのチップから別のチップへの障壁を越えるたびに、効率損失があります。レイテンシコストと電力コストをもたらす高速電気SerDesを介して送信する必要があります。
これらすべてのダイナミクスが傷つけます。プロセスノードを縮小して縮小するにつれて、単一のチップ内のコンピュート量を増やしました。
今、チップ内のデータの移動は少なくとも毎秒数十テラバイトです、数百テラバイトではないにしても。一方、チップ間では、毎秒約テラバイトのオーダーにいます。
そして、物理的に互いに非常に近いチップ間のこのデータの移動があります。互いに物理的に近い場所にそれだけ多くのチップを置くことしかできません、だから異なるラックにチップを置かなければなりません。
ラック間のデータの移動は毎秒数百ギガビットのオーダーです、400ギグまたは毎秒800ギグ、だから大体毎秒100ギガバイトです。だから、この巨大なラダーがあります。チップ上の通信は超高速で、ラック内は桁違いに遅く、ラック外はそれよりも桁違いに低いです。
チップの境界を破ると、パフォーマンス損失になります。これを説明する理由は、HopperとBlackwellを見ると、たとえ両方ともラック相当のチップを使用していても、Hopperは大幅に遅いからです。
これらの処理要素間の毎秒数十テラバイトの通信対これらの処理要素間の毎秒テラバイトという各ドメイン内でタスクに活用しているパフォーマンスの量は、はるかに、はるかに高く、したがってパフォーマンスははるかに高いです。
DeepSeekとKimi K2.5の毎秒100トークンでの推論を見ると、HopperとBlackwell間のパフォーマンス差は約20倍のオーダーです。FLOPS パフォーマンス差が示す2倍または3倍ではありません、たとえそれらが同じプロセスノード上にあっても。
ネットワーキング技術と彼らが取り組んできたものの違いだけです。これらのいくつかを戻すことができますが、3 nmでRubinで行っていることを見ると、それらのものの一部は、新しいチップを7 nmに作ったとしても、すべてA100に戻すことは単に不可能です。
移植できる特定のアーキテクチャの改善といくつかできないものがあります。パフォーマンスの差はFLOPSの差だけではありません。
チップあたりのFLOPS、チップ間のネットワーク速度、チップ対システムにあるFLOPSの数、そして単一のチップ対システム全体のメモリ帯域幅の差である意味で累積的です。これらすべてのものが複合します。
非常にnaive な質問をしてもいいですか。B200には今単一のチップに2つのダイがあるので、NVLinkやInfiniBandを通過する必要なくその帯域幅を得ることができます。
来年、Rubin Ultraには1つのチップに4つのダイがあります。ただ古いもので行うことを妨げているものは何ですか…単一のチップにいくつのダイを持ち、それでもこれらの毎秒数十テラバイトを得ることができますか。
Blackwell内でさえ、チップ上で通信するときとチップを横切って通信するときでパフォーマンスに違いがあります。それらの境界は、チップ全体から出るときよりも明らかにはるかに小さいです。
チップの数をスケールアップすると、いくらかのパフォーマンス損失があります。それは完璧ではありませんが、異なるパッケージ全体よりもはるかに優れています。
先端パッケージングはどれだけ大きくスケールできますか。Nvidiaがそれをやっている方法はCoWoSです。
Google、Broadcom、MediaTek、そしてAmazonのTrainiumはすべてCoWoSを行っています。しかし実際には、Teslaがdojoで何をしたかを振り返ることができます、彼らはキャンセルして再開しました。
dojoはウェハー全体のサイズのチップでした。彼らはその上に25チップを持っていました。いくつかのトレードオフがありました。彼らはその上にHBMを置くことができませんでした。
しかしポジティブな側面は、彼らはその上に25チップを持っていたということです。今日まで、それはおそらく畳み込みニューラルネットワークを実行するための最高のチップです。
トランスフォーマーには素晴らしくありません、なぜなら、チップの形状、メモリ、算術、そしてこれらすべてのさまざまな仕様がトランスフォーマーに適していないからです。
彼らはCNNに適しています。dojoチップはそれを中心に最適化され、彼らはより大きなパッケージを作りました。しかし、パッケージをより大きく、より大きくするにつれて、他の制約があります。ネットワーク速度、メモリ帯域幅、冷却能力。
これらすべてのものが頭をもたげ始めます。単純ではありません。しかし、はい、パッケージ上のより多くのチップのトレンドラインが見えます、そして、はい、7 nmでそれをすることができます。
実際、それがHuaweiが彼らのAscend 910CまたはDで行ったことです。彼らは最初に1つを置き、それから2つを行いました。
彼らは、彼らが縮小できないプロセス技術よりも速く進歩できる領域なので、パッケージングをスケールアップすることに焦点を当てています。
しかし、結局のところ、それは最先端のチップでも行えることです。7 nmで行うことは何でも、おそらくパッケージングの点で3 nmでも行えます。
もし2030年にこの世界になったら、西側が最も高度なプロセス技術を持っているが、それほどランプアップしていない一方で、中国が…2030年までにEUVと2 nmかどうかを持っていると思うかわかりません。
しかし、彼らは半導体ピルであり、大量に生産しています。基本的に、私たちのプロセス技術における優位性が十分に薄れ、彼らのスケールにおける優位性が十分に増大した年はいつかと疑問に思っています。
また、ドイツやオランダにランダムなサプライヤーを持つのではなく、サプライチェーン全体が土着化された1つの国を持つことにおける彼らの優位性が、中国が大量フロップスを生産する能力で先行することを意味するかどうか。
今日まで、中国はまだ完全に土着化された半導体サプライチェーンを持っていません。しかし、2030年までに持っているでしょうか。
2030年までに、彼らが持っている可能性はあります。しかし今日まで、中国の7 nmと14 nmの容量はすべてASML DUVツールを使用しています。
彼らがASMLから輸入できる量は大きいです。しかし、ASMLの収益の大部分、特にEUVのすべては、中国以外です。
スケールの優位性はまだ西側プラス台湾、日本、韓国などの有利です。しかし、彼らは自分自身のDUVとEUVツールを作ろうとしていますよね。
彼らはこれらすべてのことをやろうとしています。問題は、彼らがどれだけ速く進歩し、生産と品質をスケールアップできるかです。
今日まで、それを見ていません。今、私は彼らが次の5から10年でこれらのことをできるようになることについてかなり強気です。
彼らは本当に生産をスケールアップし、高いギアに蹴り込みます。彼らはそれに取り組んでいるより多くのエンジニアを持ち、問題に資本を投げるより多くの欲求を持っています。
だから2030年までに、彼らは完全に土着化されたDUVを持つでしょうか。確実だと思います。DUVはそうです。
そして2030年までに完全に土着化されたEUVですか。彼らは働くツールを持つと思います。まだたくさん製造できるとは思いません。
それを動作させることと、生産地獄があります。ASMLは2010年代初頭にEUVをある程度の容量で動作させていました。
ツールは十分に正確ではありませんでした。彼らは大量生産や十分に信頼できるためにスケールされていませんでした。彼らは生産をランプアップしなければならず、それはすべて時間がかかりました。生産地獄は時間がかかります。それがEUVをラボで動作させるだけではなく、ファブで大量生産に入れるのにさらに5から7年かかった理由です。
2030年に彼らがどれだけのDUVツールを製造できると思いますか。ASML?いいえ、中国。
それは素晴らしい質問です。このサプライチェーンを見るのは特に少し挑戦です。私たちは本当に一生懸命試みます。いくつかの例では、彼らは日本のベンダーから物を買っています。
もし彼らが完全に土着化されたサプライチェーンを望むなら、これらのレンズ、プロジェクションOptics 、または日本のベンダーからのステージを買わない必要があります。彼らは内部でそれを構築する必要があります。
彼らがどこに到達できるかを言うのは本当に難しいです。正直に言うと、それは暗闇での shot だと思います。しかし、彼らが年間100 DUVツールのオーダーをできるようになることはありそうにないわけではありません、一方ASMLは現在年間数百のDUVツールをやっています。
どの会社も月に100万ウェハーを作るプロセスノードを持っていません。Elonはそれをやりたいと言っていますし、中国は明らかにそれをやるつもりです。TSMCはそれをやろうとしています。
メモリメーカーも月に100万ウェハーに到達するかもしれませんが、単一のファブではありません。そのスケールを考えるのは心を驚かせるし、そのためにサプライチェーンを活気づかせるのを見るのは挑戦的です。
中国のスケールする能力を疑いたくありません。これは興味深い質問だと思います。ある時点でSemiAnalysisがこれについて深い掘り下げをすると思います。
土着化された中国の生産が西側の残りの合計よりも大きくなるのはいつまでにか。そして、彼らがいつDUVマシンとEUVマシンを規模で持つかというモデルのインプットを入れますか。
なぜなら、もしあなたがAIで長いタイムライン、長いというのは2035年を意味し、それは壮大なスキームではそれほど長くありませんが、を持つなら、中国が半導体で支配している世界を期待すべきかという質問があるからです。
私たちがサンフランシスコにいる場合、週単位のタイムスケールで考えているので、十分に聞かれません。サンフランシスコの外にいる場合、AGIについて全く考えていません。もしAGIがあったらどうなりますか?もし何十または何百兆ドルもの経済成長とトークン出力を指揮しているこの変革的なものを持っているが、それが2035年に起こったらどうでしょうか。
それは西側対中国にとって何を意味しますか。SemiAnalysisは、これについての決定的なモデルを書かなければなりません。
そこまでタイムスケールを移動するとき、本当に挑戦的です。私たちが焦点を当てる傾向があるのは、すべてのデータセンター、すべてのファブ、そしてすべてのツールを追跡することです。
私たちはそれらがどこに行くかを追跡しますが、これらのもののタイムラグは比較的短いです。土地購入、許可、タービン購入に基づいて、データセンター容量について合理的に正確な見積もりを作ることができます。
私たちはこれらすべてのものがどこに行くかを知っています、それが私たちが販売するデータです。2035年まで行くと、物事は非常に根本的に異なります。エラーバーが非常に大きくなるので、見積もりを作るのが難しいです。
しかし、結局のところ、テイクオフまたはタイムラインが十分に遅い場合、中国がなぜ劇的に追いつくことができないのか見えません。ある意味で、この谷があります、3から6ヶ月前、またはおそらく今でも、中国のモデルはこれまでで競争力があります。
Opus 4.6とGPT 5.4が本当に引き離して差をもう少し大きくしたと思いますが、確実にいくつかの新しい中国モデルが出てくると思います。
彼らが全推論チェーンを提供するトークンの販売から、自動化されたホワイトカラー労働、自動化されたソフトウェアエンジニア、リクエストを送り、結果を返してもらい、彼らが見せないバックエンドで考える束がある、の販売に移動するにつれて、アメリカのモデルから中国のモデルに蒸留する能力は難しくなります。
第二に、ラボが持つコンピュートのスケールを見てください。OpenAIは昨年約2ギガワットで年を終了しました。
Anthropicは今年2プラスギガワットに到達します。来年末までに、彼らは両方とも10ギガワットの容量にいます。
中国は彼らのAIラボコンピュートをそれほど速くスケールしていません。ある時点で、これらのラボからの学習を中国のモデルに蒸留できないときと、OpenAI、Anthropic、Google、そしてMetaがすべて競争しているこのコンピュート競争で、彼らはモデルのパフォーマンスがもっと分岐し始めるべき点に到達します。
次に、データセンターに費やされているこのすべてのCapExを見てください。Amazonは2000億ドルを費やしています、Googleは1800億ドル。
これらすべての企業は数千億ドルをCapExに費やしています。今年アメリカのデータセンターに投資されているCapExは大体約1兆ドルあります。
ここでの投資資本利益率は何ですか。あなたと私は、データセンターCapExの投資資本利益率が非常に高いと思います。
Anthropicの収益を見ると、1月に40億ドル追加しました。2月は短い月でしたが、60億ドル追加しました。
コンピュート制約が彼らの成長をボトルネックしていることを考えると、3月と4月に何ができるか見ます。Claudeの信頼性はかなり低いです、なぜなら彼らは非常にコンピュート制約だからです。
しかし、これが続くなら、これらのデータセンターのROICは超高いです。ある時点で、米国経済はこのすべてのCapEx、これらのモデルが生成しているすべての収益、そして下流のサプライチェーンのために、今年と来年にわたってより速く、より速く成長し始めます。
中国はまだそれを持っていません。彼らはモデルに投資し、能力に到達し、そしてこれらのモデルをそのようなスケールで展開するインフラのスケールを構築していません。
Anthropicを見ると、彼らは200億ドルARRにいます。マージンは50パーセント未満です、少なくとも最後にThe Informationによって報告されたように。
だから、それはレンタルコスト面で実行されている130億ドルまたは140億ドルのコンピュートで、それは実際には誰かがAnthropicが現在の収益を生成するために展開した500億ドル相当のCapExです。
中国はこれをやっていません。そして、Anthropicが収益を再び10倍にするなら、私たちの答えはいつであって、もしでないと思います、中国はそのスケールで展開するコンピュートを持っていません。
だから、高速なテイクオフにいるという感覚があります。X日までにダイソン球について話しているわけではありません、収益が経済成長に影響を与える率で複利になっているようなものです。
これらのラボが集めているリソースは非常に速く成長しています。中国はまだそれをしていないので、その場合、米国と西側は実際に分岐しています。
裏側は、これらのインフラ投資が中間的なリターンを持つということです。おそらく彼らは期待ほど良くありません。
おそらくGoogleはフリーキャッシュフローをゼロにして来年3000億ドルをCapExに費やすことを望むのは間違っています。おそらく彼らは間違っているだけで、ウォール街の弱気で、AIを理解していない人々が正しいです。
その場合、米国はこのすべての容量を構築していますが、素晴らしいリターンを得ません。一方、中国は完全に垂直な、土着化されたサプライチェーンを構築できます、米国/日本/韓国/台湾/東南アジア/ヨーロッパの国々が一緒に構築しているこの垂直でないサプライチェーンの代わりに。
ある意味で、ある時点で中国は、AIが特定の能力レベルに到達するのに、このポッドキャストのゲストの大多数が信じているよりも長くかかる場合、私たちを超えてスケールすることができます。
高速なタイムラインなら、米国が勝ちます。長いタイムラインなら、中国が勝ちます。そうですが、高速なタイムラインが何を意味するかわかりません。
米国が勝つタイムラインを持つためにAGIを信じる必要はないと思いません。メモリに戻りましょう。ウォール街の人々や業界の人々はこれがどれだけ大きいかを理解していると思いますが、おそらく一般的に人々はこれがどれだけ大きな取引かを理解していません。
だから私たちはこのメモリクランチを持っています、あなたが話していたように。そして以前私はああ、7ナノメートルに戻ることでEUVツール不足を解決できるかと聞いていました。
だから、メモリについて同様の質問をさせてください。HBMはDRAMから作られますが、それが作られているDRAMよりもウェハー面積あたり3から4倍少ないビットを持っています。
将来のアクセラレータは単にコモディティDRAMを使用でき、HBMを使わない、だから私たちが持っているDRAMからはるかに多くの容量を得られる可能性はありますか。これが可能だと思う理由は、もし私たちがただ仕事をしに行くエージェントを持つつもりで、それが同期チャットボットアプリケーションではないなら、非常に高速なレイテンシが必ずしも必要ではないからです。
おそらくより低い帯域幅を持つことができます、なぜなら、DRAMをHBMに積み重ねる理由はより高い帯域幅のためだからです。
HBMアクセラレータに行って、基本的にClaude Code Fastの反対を持つことは可能ですか、Claude Slowのようなものを持つことは?
結局のところ、トークンに対して最高の価格を支払う意思のある増分的な購入者も、価格にそれほど敏感でない人になります。
コンピュートは、最高の価値を持つ商品に向けて割り当てられるべきです、資本主義社会では、そしてプライベート市場は支払いの意欲によってこれを決定します。
ある程度、Anthropicは実際にスローモードをリリースできます。彼らはClaude Slow Modeをリリースし、ドルあたりのトークンを大幅に増やすことができます。
彼らはおそらくOpus 4.6の価格を4-5倍減らし、速度を2倍だけ減らすことができます。HBMだけでの推論スループット対速度の曲線はすでにそこにあります。
それでも彼らはそうしません、なぜなら、誰も実際には遅いモデルを使いたくないからです。さらに、これらのエージェント的なタスクでは、モデルが時間の地平線の時間で実行できるのは素晴らしいです。
しかし、モデルがより遅く実行されていたなら、それらの時間は1日になります。逆に、モデルがより速く実行されているなら、それらの時間は1時間になります。
誰も本当に1日間の待機期間に移動したくありません、なぜなら、最高価値のタスクもそれらにいくつかの時間感度があるからです。
私は…見るのに苦労します。はい、通常のDRAMを使用できます。これにはいくつかの挑戦があります。
チップのコア制約の1つは、チップが特定のサイズであり、すべてのI/Oが端で逃げることです。多くの場合、チップの左と右はHBMです、だからチップからHBMへのI/Oは側面にあります、そして上と下は他のチップへのI/Oです。
もしHBMからDDRに変更したら、この端のI/Oが大幅に少ない帯域幅を持つことになりますが、チップあたり大幅に多くの容量を持ちます。しかし、実際に気にする指標はウェハーあたりの帯域幅であり、ウェハーあたりのビットではありません。
FLOPSを制約しているのは、次のマトリックスを出し入れすることだけで、そのためにはより多くの帯域幅が必要なだけだからです。そうです、重みを出し入れし、KVキャッシュを出し入れします。
多くの場合、これらのGPUは完全なメモリ容量で実行されていません。それは明らかにシステム設計のものです。モデル、ハードウェア、ソフトウェアの共設計。
どれだけのKVキャッシュが必要か、どれだけをチップに保持するか、どれだけを他のチップにオフロードしてツール呼び出しに必要なときに呼び出すか、そしていくつのチップにこれを並列化するかを把握しなければなりません。
明らかに、これの検索空間は非常に広いです、それが私たちがInferenceXを持っている理由です、さまざまな異なるチップとモデルでの推論のためのすべての最適点を検索するオープンソースモデルです。
ポイントは、必ずしもメモリ容量によって常に制約されているわけではないということです。FLOPS、ネットワーク帯域幅、メモリ帯域幅、またはメモリ容量によって制約される可能性があります。
本当に単純化すると、4つの制約があり、これらのそれぞれがさらに分解できます。DDRに切り替えた場合、はい、DRAMウェハーあたり4倍のビットを生産しますが、すべての突然制約が大きくシフトし、システム設計がシフトします。遅くなります。
市場は小さくなりますか。おそらく。しかし、また、これらすべてのFLOPSが浪費されています、なぜなら、それらはメモリを待っているだけだからです。
バッチサイズを本当に増やすことはできません、なぜなら、そうするとKVキャッシュを読むのにさらに長くかかるからです。理にかなっています。
HBMと通常のDRAMの間の帯域幅の差は何ですか。HBM4スタック、Rubinにあるものについて話しましょう、なぜなら、それは私たちが指標にしてきたものだからです、は2048ビット幅で、約13ミリメートル幅のエリアで接続されています。
それは約毎秒10ギガ転送でメモリを転送します。だから、HBM4のスタックは約11から13ミリメートル幅のエリアで2048ビットです。
それがチップで取っている海岸線です。その海岸線では、毎秒10ギガ転送で転送している2048ビットを持っています。
それらを一緒に掛けて8で割ります、ビットからバイトへ、そしてHBMスタックあたり約毎秒2.5テラバイトです。
DDRを見ると、同じエリアで、おそらく64または128ビット幅です。そのDDR5は6.4から8,000ギガ転送毎秒のどこかで転送しています。
だから、あなたの帯域幅は大幅に低くなります。64×8,000÷8で、毎秒64ギガバイトになります。
128×8ギガ転送の寛大な解釈を取ったとしても、同じ海岸線に対して毎秒128ギガバイトになります、毎秒2.5テラバイトに対して。
エッジエリアあたりの帯域幅には桁違いの差があります。もしあなたのチップが正方形、または26×33ミリメートル、これは個々のダイの最大サイズです、あなたはそれだけのエッジエリアしか持っていません。
そのチップの内側に、すべてのコンピュートを置きます。それを変更しようとするためにできることがあります、より多くのSRAMやより多くのキャッシングのようなものです。
しかし、結局のところ、帯域幅によって非常に制約されています。次に、AIを解放するのに十分に需要を破壊できる場所の質問があります。
特に悪い絵だと思います、なぜなら、あなたが言っているように、もしHBMのために同じバイトを得るためにウェハー面積が4倍多くかかるなら、ラップトップと電話への消費者需要を4倍多く破壊しなければならないからです、AIのための1バイトを解放するために。
これは次の1年または2年に何を意味しますか。長々とした質問で申し訳ありませんが、あなたのニュースレターで2026年のビッグテックのCapExの30%がメモリに向かうと言いました。
はい。それは狂気ですよね。6000億ドルかそれくらいのうち、30%がメモリだけに行きます。
はい。明らかに、Nvidiaが行うマージンのスタッキングのいくつかのレベルがあるので、それを分離してメモリとロジックに彼らのマージンを適用しなければなりません。
しかし、結局のところ、彼らのCapExの3分の1がメモリに行きます。それはクレイジーです。このメモリクランチが襲うにつれて、次の1年または2年にわたって何を期待すべきですか。
メモリクランチは難しくなり続け、価格は上がり続けます。これは市場の異なる部分に異なる影響を与えます。
人々はAIをますます嫌うようになりますか。はい、なぜなら、スマートフォンとPCは年々増分的に良くならないからです。
実際、彼らは増分的に悪化するつもりです。iPhoneの部品表を見ると、メモリはそれの何分の一ですか。
メモリが2倍高価な場合、iPhoneはどれだけ高価になりますか。iPhoneには12ギガバイトのメモリがあると信じています。
各ギグは以前約3-4ドルかかっていたので、それは50ドルです。しかし今、メモリの価格は3倍になっています。DDRのために1ギグあたり12ドルとしましょう。
今、50ドル対150ドルについて話しています。それはAppleにとって100ドルのコスト増です。Appleはいくらかのマージンを持っています、彼らはマージンを食べるつもりはありません。
NANDも同じ市場力学を持っているので、実際には、おそらくiPhoneで150ドルの増加です。だから今、それは100ドルのコスト増です、それはDRAMだけです。
NANDも同じような市場を持っています。だから、実際にはiPhoneでおそらく150ドルの増加です。Appleは消費者にそれを渡すか、それを食べるかのどちらかです。
Appleがマージンをあまり減らすとは思いません、おそらく彼らは少し食べます。しかし、結局のところ、それは最終消費者がiPhoneに対して250ドル多く支払うことを意味します。
今、それは去年の価格対今日の価格だけです。Appleが熱を感じる前にいくらかのラグがあります、なぜなら、彼らは3ヶ月から1年続くメモリの長期契約を持つ傾向があるからです。
しかし、結局のところ、Appleはこれにかなり打たれます。彼らは次のiPhoneリリースまで本当に調整しません。
しかし、それは市場のハイエンドで、年間数億台の電話だけです。Appleは年間2、3億台の電話を販売します。
市場の大部分はミッドレンジとローエンドです。年間14億台のスマートフォンが販売されていました。
今、私たちは約11億にいます。私たちの予測は、今年8億に落ち、来年5億または6億に下がるかもしれないというものです。
アジアの私たちのアナリスト、シンガポール、香港、台湾からのいくつかのデータポイントを見ています。彼らはこれを追跡してきました、そして彼らはXiaomiとOppoがローエンドとミッドレンジのスマートフォンボリュームを半分にカットしているのを見ています。
はい、Appleがいくらかのより大きなマージンを持っている1,000ドルのiPhoneで150ドルのBOM増加だけです。しかし、より小さな電話の場合、メモリとストレージに行くBOMの割合ははるかに大きいです。
そして、マージンは低いので、マージンを食べる能力さえ少ないです。そして、彼らは一般的にメモリに対する長期契約を行わない傾向もありました。
なぜこれが大きな取引かというと、もしスマートフォンボリュームが半分になったら、その下落はローエンドとミッドレンジで起こり、ハイエンドではありません。だから、ビットがリリースされるのが半分になるわけではありません。
現在、消費者デバイスはメモリ需要の半分以上を占めています。スマートフォンボリュームを半分にしたとしても、半分の形のために、ローエンドが半分以上にカットされ、ハイエンドが半分未満にカットされます、なぜなら、あなたと私は1,000ドル以上かかるハイエンドの電話をまだ買うからです。
少し高価になっても、それらを買います。そして、Appleのボリュームは、ローエンドのスマートフォンプロバイダーほど下がりません。
PCにも同じことが当てはまります。これが市場に対して行うことは非常に劇的です。DRAMが解放されてAIチップに行き、より長期の契約を行い、より高いマージンを支払う意思があります、なぜなら、結局のところ、彼らが最終ユーザーから抽出するマージンははるかに大きいからです。
これはおそらく人々がAIをさらに嫌うことにつながります。今日、PCサブレディットとゲーミングPC Twitterですべてのミームをすでに見ています。
それは、猫がダンスしているビデオで、「これがメモリ価格が倍になり、新しいゲーミングGPUやデスクトップを得られない理由です」と言っています。メモリ価格が再び倍になるときはさらに悪化します、特にDRAMです。
もう1つの興味深いダイナミクスは、DRAMだけでなく、NANDでもあるということです。NANDも価格が上がっています。
これらの両方の市場は、過去数年間で容量を非常にゆっくりと拡大してきました、NANDはほぼゼロです。電話やPCに行くNANDの割合は、電話やPCに行くDRAMの割合よりも大きいです。
主にDRAM目的のために需要を破壊するにつれて、他の市場に行って割り当てられる可能性のあるより多くのNANDを解放します。DRAMの価格上昇はNANDのそれよりも大きくなります、なぜなら、消費者からより多くをリリースし、実際に、AIのためにより多くのメモリを生産したからです。
申し訳ありませんが、おそらくちょうど説明したところを見逃しました。それは、SSDがデータセンターのために大量に使用されているからですか。彼らはそうですが、DRAMほどの大量ではありません。
オーケー、だから彼らはいくつかの量を使用しているので増加しますが、HBMの必要性ほどではないので、それほどではありません。理にかなっています。
ニュースレターを読むまで理解していなかったことの1つは、次の数年間でロジックのスケーリングを妨げている同じ制約が、より多くのメモリウェハーを生産することを妨げているものと非常に似ているということです。
実際、文字通り同じ正確な機械、このEUVツール、がメモリに必要です。だから、誰かが今尋ねる可能性のある質問は、なぜもっとメモリを作れないのかです。
制約は、私が以前言及していたように、今日または来年必ずしもEUVツールではありません。彼らは10年の後半になるにつれてそれになります。
現在、制約はもっと彼らが物理的にファブを構築していないというものです。過去3から4年間、これらのベンダーはメモリ価格が本当に低かったので新しいファブを構築していませんでした。
彼らのマージンは低く、実際に、彼らは2023年にメモリで損失を出していました。だから、彼らは新しいファブを構築していないと決めました。
市場は時間とともにゆっくりと回復しましたが、昨年まで本当に素晴らしくなることはありませんでした。2024年に、私たちは推論が長いコンテキストを意味するドラムを叩いていました、それは大きなKVキャッシュを意味し、それは多くのメモリ需要が必要であることを意味します。
私たちはそれについて1年半、2年話してきました。AIを理解する人々は、その時メモリに本当に長く行きました。だから、そのダイナミクスを見てきましたが、今、それは最終的に価格に表れました。
明らかだったものが実現するのに非常に長くかかりました。長いコンテキストはKVキャッシュが大きくなることを意味し、より多くのメモリが必要です。アクセラレータのコストの半分はメモリです。
もちろん、彼らはそれにクレイジーになるつもりです。それがメモリ価格に実際に反映されるのに1年かかりました。
メモリ価格がそれを反映すると、メモリベンダーがファブを構築し始めるのにさらに3から6ヶ月かかりました。それらのファブは構築に2年かかります。
だから、これらのツールを入れるための本当に意味のあるファブは2027年後半または2028年まで持ちません。代わりに、容量を得るためにいくつかの本当にクレイジーなものを見てきました。
Micronは、台湾でレガシーエッジチップを作る企業からファブを買いました。HynixとSamsungは、既存のファブで容量を拡大するためにいくつかの非常にクレイジーなことをやっています、それはまた経済に大きなノックオン効果を持っています。
だから、なぜもっと容量を構築できないのか。ツールを置く場所がありません。EUVだけではありません。DRAMとロジックに関わる他のツールがあります。
ロジックでは、N3の場合、最終ウェハーのコストの約28%がEUVです。DRAMを見ると、それは10代です。
それは上がっていますが、コストのはるかに小さな割合です。これらの他のツールもボトルネックですが、そのサプライチェーンはASMLほど複雑ではありません。
Applied Materials、Lam Research、そしてこれらすべての他の企業も容量を多く拡大しているのを見ます。しかし、ツールを置く場所がありません、なぜなら、人々が作る最も複雑な建物はファブで、ファブは構築に2年かかるからです。
宇宙データセンターとその他の考察
最近Elonにインタビューしました、そして彼の全計画は、彼らはこのTeraFabを構築し、クリーンルームを構築するつもりだということです。ダーティルームのことについては聞きませんが、クリーンルームを構築するとしましょう。
いくつか質問があります。1つは、これはElon Co.が従来の人々が構築するよりもはるかに速く構築できる種類のものだと思いますか。これは最終ツールの構築についてではありません。
これは施設自体の構築についてだけです。クリーンルームを非常に速く構築することはどれだけ複雑ですか。これは、Elonの「速く動け」アプローチで、それがこの年または来年にボトルネックになっているものなら、はるかに速くできるものですか。
2つ、それは、2年後に、あなたの見解では、私たちがクリーンルームスペースではなく、ツーリングでボトルネックになっている場合、それでも重要ですか。
任意の複雑なサプライチェーンと同様に、時間がかかります、そして制約は時間とともに移行します。何かがもはや制約でない場合でも、その市場がもはやマージンを持たないという意味ではありません。
例えば、エネルギーは数年後には大きなボトルネックにはなりませんが、エネルギーが超速く成長していてそこにマージンがないという意味ではありません。それはただの主要なボトルネックではありません。
ファブのスペースで、クリーンルームは今年と来年最大のボトルネックです。2028、2029、2030に到達するにつれて、そこにもまだ制約があります。
Elonについてのことは、彼は物理的なリソースと本当にスマートな人々を集めて物を構築する驚異的な能力を持っているということです。彼がスマートな人々を募集する方法は、最もクレイジーなものを構築しようとすることです。
AIの場合、それはうまくいきませんでした、なぜなら、誰もがAGIを構築しようとしているからです。誰もが非常に野心的です。しかし、火星に行く、自分自身を着陸させるロケットを作る、完全に自律的な電気自動車、またはヒューマノイドロボットの場合、これらは世界で最も重要な問題だと思う人々を募集する方法です、それに取り組むために、なぜなら、彼は唯一本当に一生懸命試みているからです。
半導体の場合、彼は月に100万ウェハーのファブを作りたいと述べました。誰もそれほど大きなファブを持っていません。
彼が本当に素晴らしい多くの人々を集めてこのクレイジーなタスク、月に100万ウェハーを構築することに彼らを乗せることができる可能性があります。ステップ1はクリーンルームを構築することで、それは彼がおそらくできると思います。
物を削除することに関する彼の考え方、それは汚れている可能性がある、それは大丈夫だ、はおそらく正しくありません。実際、100%正しくないと思います。
ファブは非常にクリーンである必要があります。ファブ内のすべての空気は3秒ごとに交換されます、それはそれほど速いです。
非常に少数の粒子がなければなりません。しかし、私は彼がクリーンルームを構築できると思います。それは1年または2年かかります。
最初は、それは超速くはありません、しかし、時間とともに、彼はそれでより速くなります。本当に複雑な部分は、実際にプロセス技術を開発してウェハーを構築することです。
それは彼が迅速に開発できるとは思いません。それは多くの蓄積された知識を持っています。
非常に高価なツールとサプライチェーンの最も複雑な統合はTSMC、Intel、またはSamsungによって行われます。これら他の2つの企業はそれほど優れてさえいません、そして彼らは途方もなく複雑です。
2030年にEUVを使用していないだけで起こる完全な破壊があった場合、どれだけ驚きますか。はるかに良い効果があり、生産がはるかにシンプルで、はるかに大きな量で生産できるものを使用している場合はどうでしょうか。
確かに業界のインサイダーとして、それは完全にnaiveな質問のように聞こえますが、私が尋ねていることがわかりますか。何かが完全に左フィールドから来てこれすべてを無関係にする可能性にどの程度の確率を置きますか。
非常にシンプルで簡単にスケールするもの、私は非常に、非常に低い確率を割り当てます。EUVのような13.5ナノメートル、またはX線のような7ナノメートルのようなさらに狭い波長の光を生成する粒子加速器またはシンクロトロンに効果的に取り組んでいる多くの企業があります、そしてリソグラフィツールで使用します。
しかし、それらのものは大規模な粒子加速器でこの光を生成しています。それは構築するのに非常に複雑なものです。
いくつかの企業があり、それはEUVを超える産業への大きな破壊である可能性があると思います。しかし、ダイレクトライトで超シンプルなもの、そして巨大なボリュームで製造できるもの、を魔法のように構築するつもりだとは思いません、このようなことをしようとする試みがありますが。
私が尋ねるのは、過去にElonの企業について考えると、ロケット工学はこのものだったと考えられていました、そして信じられないほど複雑です。見てください、私はElonに比べて単なるnaive yapperです。
私は何を構築しましたか。だから、おそらく可能です。将来もっとメモリを構築するために、3D NANDを行うように3D DRAMを構築し、DUVに戻ることができますか。
それは現在の希望です。3D DRAMへの誰もがのロードマップは、タイトなオーバーレイが欲しいのでまだEUVを使用するというものです。これらの後続の処理ステップを行っているとき、すべてが垂直に積み重ねられており、互いの上により多くの層があります。
ピッチをより締めたいです。だから、一般的に、人々はまだEUVでそれをやろうとしています。しかし、3Dが行うことは、単一のEUVパスがいくつのビットを作ることができるかの計算を変えることです。
3D DRAMに行けば、その数字は劇的に上がります。それは希望です。今、誰ものロードマップは、現在の6F細胞から、4F細胞へ、そして最終的に10年の終わりまたは次の10年の初めまでに3D DRAMに行きます。
まだ多くのR&D、製造、統合が行われる必要があります。それがカードの外であるとは言いません。それは起こる可能性が非常に高いと思います。
それはまた、ファブの巨大な再ツール化を必要とします。ファブ内のツールの内訳は非常に異なります。
リソグラフィツールは実際にはそれほど異なるものではありません。しかし、化学気相成長、原子層堆積、ドライエッチ、または異なる化学を持つ異なる種類のエッチチャンバーの異なるタイプに対するそれらの数…
異なるプロセスノードに対して異なる化学を持つこれらすべての異なるツールがあります。ロジックファブをDRAMファブに変換することはできません、またはその逆、またはNANDファブをDRAMファブに、短時間で。
同じように、既存のDRAMファブは、1-alphaから1-betaから1-gammaプロセスノードに行くだけで多くの再ツール化を必要とします、なぜなら、堆積とエッチの化学スタックを変更するためにEUVを使用しているときにDUVを追加しなければならないからです。
そして、EUVツールがそこになければなりません。さらに、3D DRAMに変更するとき、さらに大きなシフトがあります、だから、これらのファブの多くの再ツール化が起こる必要があります。
それは大きな破壊でしょう。それはEUV需要を一般的に低くするでしょう。しかし、時間を通じて見てきたように、ウェハーコストのパーセンテージとしてのリソグラフィ需要は上昇傾向にあります。
2014年頃、それはウェハーコストの17%でしたが、過去15年間で30%に行きました。DRAMの場合、それは低から中10代でしたが、今、高10代に向かって傾向しています。
3D DRAMに到達する前に、おそらく20%の範囲を超えます。しかし、3D DRAMに到達したら、ウェハーコストのパーセンテージとしてのEUVの合計終了は再びタンクします。
コストのパーセントではなく、生産をどれだけボトルネックにするかについてもっと気にしていると思います。そうですね、しかし、コストのパーセンテージは、プロキシですよね。
もしあなたがJensenまたはSam Altmanであるか、またはAIコンピュートのスケールアップから大きく得る立場にある誰かであるなら、TSMCに行って「なぜYとZにアクセスできないのか」と言うこれらの話があります。
しかし、私が言っているポイントは、ある意味で、TSMCが行うことは実際には重要ではないということです。実際、IntelとSamsungがより多くのファウンドリーを構築したとしても、長期的には、ASML and other tool and material makersによってボトルネックになります。
第一に、それは正しい解釈ですか。第二に、シリコンバレーの人々は今オランダに行って、ASMLに2030年に彼らがより多くのAIコンピュートを持てるようにより多くのツールを作るように売り込むべきですか。
2023、2024、2025年にエネルギーのボトルネックを他の人より先に見た人々が非対称的にSiemens、Mitsubishi、そしてもちろんGE Vernovaに行き、タービン容量を買い占めたという面白いダイナミクスを見ました。
今、彼らはエネルギーのためにこれらのタービンを場所に展開することで余分な量を請求できます、なぜなら。同じ意味で、これはEUVに対して行うことができます、ASMLが購入したいランダムなbozo を信頼するだけではありません。
これらのタービンははるかに安く、EUVツールよりも、そしてそれらのはるかに多くが生産されます。特に産業用ガスタービンに行くと、複合サイクルだけでなく、より安く、より小さく、より効率的でないもの、人々はこれらの預金を置きました。
誰かがこれを行うことができます。誰かがオランダに行って「10億ドルを支払います。今から2年後に10個のEUVツールを購入する権利をくれ、そして私が最初に並んでいる。」と言うべきです。
それから、それらの2年間で、皆が気づくのを待ちます、「ああ、くそ、十分なEUVツールがない」、そしてあなたのオプションをいくらかのプレミアムで売ろうとします。
あなたが効果的にやっているすべては、「ASML、あなたは馬鹿です。あなたはこれらに十分なマージンを作っていませんでした。私はマージンを作るつもりです。」と言っています。
問題は、ASMLがこれに同意するかどうかです。そうは思いません。彼らが少なくともそれから需要シグナルを生産を増やすために得る世界があります。
潜在的に。同意します。しかし、サプライチェーンを考えると、彼らは望んだとしても生産を増やすことすらできないように聞こえます。
そうです。しかし、それはまさに市場です…もし彼らが生産を増やすことができないなら、TSMCが生産をそれほど速く増やすことができず、それでも需要がmooning しているのと同じように、それから明らかな解決策はこれを裁定することです。
あなたと私は、需要が彼らが予測している能力よりもはるかに高いことを知っています。容量を固定し、後日他の人々がすべてがfucked で十分な容量がないことに気づいたときにそれを売ろうとする先渡契約を行うことによってこれを裁定します。
それから、ASMLとTSMCが請求すべきだったこの狂気のマージンを持ちます。しかし、ことは、ASMLとTSMCがこれに同意するかどうかわかりません。
今、電力について聞かせてください。電力が任意にスケールできると思っているように聞こえます。任意ではありませんが、はい。
しかし、これらの数字を超えて。正しく覚えていれば、AIラボが電力をどのように増やしているかについてのブログ投稿は、GE Vernova、Mitsubishi、Siemensがガスタービンで年間60ギガワットを生産できることを示唆しています。
次に、これらの他のソースがありますが、それらはタービンほど重要ではありません。それのほんの一部がAIに行くと仮定します。
もし2030年にロジックとメモリを持って年間200ギガワットを行うのに十分なものを持っていたら、これらのものが年間200ギガワット以上にランプアップする道にあるとただ思っているだけですか、それとも何を見ますか。
今、私たちは20または30にいます。これは、ところで、重要なIT容量です、言及することが重要です。これらのギガワットについて話すとき、重要なIT容量について話しています。
サーバーが接続され、それがどれだけの電力を引くかです。しかし、チェーンに沿って損失があります。送信、変換、冷却などに損失があります。
だから、このファクターを今年の20ギガワットから、または10年の終わりまでに200ギガワットから、20-30%高いいくつかの数字に総括すべきです。それから、容量ファクターがあります。タービンは100パーセントで稼働しません。
PJMを見ると、それは米国で最大のグリッドだと思います、中西部と北東のいくつかの地域をカバーしています、彼らのモデルでは、約20パーセントの余分な容量を持ちたいと思っています。
その20パーセントの余分な容量内で、彼らは信頼性、メンテナンスなどのためにいくつかderetedているので、すべてのタービンを90%で稼働させています。
実際には、エネルギーの銘板容量は、これらすべての要因のために実際の終了重要なIT容量よりも常にはるかに高いです。しかし、タービンだけではありません。
ただタービンから電力を作っているだけなら、それはシンプルで、退屈で、簡単です。人間と資本主義ははるかに効果的です。
そのブログ全体のポイントは、はい、複合サイクルガスタービンを作っている3人しかいませんが、私たちができることははるかに多くあるということでした。空気派生を行うことができます。飛行機エンジンを取ってタービンに変えることができます。
市場に新しい参加者さえいます、Boom SupersonicがそれをやろうとしてCrusoeと協力しているように。また、市場にすでに存在する他のすべての人たちもいます。
中速往復エンジンもあります。円で回転するエンジン、ディーゼルエンジンのようなものです。この方法でエンジンを作る10人がいます。
私はジョージア出身で、人々は「ああ、お前のRAMトラックにCumminsエンジンが入っている」という感じでした。自動車製造は下がっているので、これらの企業はすべて容量を持ち、データセンター電力のためにスケールアップして変換することができます。
これらすべての往復エンジンを入れます。複合サイクルほどクリーンではありませんが、望むならディーゼルからガスに変換できるかもしれません。
船のエンジンはどうですか。大規模な貨物船のためのこれらすべてのエンジンは素晴らしいです。Nebiusはニュージャージーのマイクロソフトデータセンターのためにそれをやっています。
彼らは電力を生成するために船のエンジンを稼働させています。Bloom Energyは燃料電池を行っています。
彼らが生産を増やすような能力を持っているので、私たちは1年半彼らについて非常にポジティブでした。生産増加の彼らの回収期間は非常に速いです、たとえコストが複合サイクルよりも少し高くても、それは効率とコストのために最高です。
次に、ソーラープラスバッテリーがあり、それらのコストカーブが下がり続けるにつれてオンラインになることができます。風があり、物事が振動するので最大電力の15パーセントしか期待しないかもしれませんが、バッテリーを追加します。
これらすべてのものがあります。もう1つは、グリッドは夏の最も暑い日にピーク使用で電力を切断しないようにスケールされているということです。
しかし実際には、それは平均よりも10-20%高い負荷スパイクです。十分なユーティリティスケールのバッテリー、または年のごく一部しか稼働しないピーカープラントを置くだけなら、それらはガス、産業用ガスタービン、複合サイクル、バッテリー、または私が言及した他のソースのいずれかである可能性があります、すべての突然、米国グリッドの20%をデータセンターのために解放しました。
そのほとんどの時間、その容量はアイドルで座っています。それは本当にその年のほんの数時間、数日のためのそのピークのためだけにあります。
そのピーク負荷を吸収するのに十分な容量を持っているなら、すべての突然、それをすべて転送しました。今日、データセンターは米国グリッドの電力のわずか3-4%ですが、2028年までに10%になります。
しかし、この方法で米国グリッドの20%を解放できるなら、それはそれほどクレイジーではありません。米国グリッドはテラワットレベルです、数百ギガワットレベルではありません。
だから、はるかに多くのエネルギーを追加できます。それが簡単だとは言っていません。これらのものは難しくなります。
人々が取らなければならない多くのハードエンジニアリング、リスク、そして使用しなければならない新しい技術があります。しかし、Elonはこのメーターの後ろのガスを行う最初の人でした、そしてそれ以来、人々が電力を得るために行っているさまざまなものの爆発を見てきました。
彼らは簡単ではありませんが、人々はそれらをできるようになります。サプライチェーンはチップよりもはるかにシンプルです。
興味深い。彼はインタビュー中に、彼が見ていた特定のタービンのための特定のブレードのために、リードタイムが2030年を超えて行くと指摘しました。あなたのポイントは、それは素晴らしい、エネルギーを作る他の多くの方法があります。
ただ非効率的であれ。それは大丈夫です。今、複合サイクルガスタービンは、キロワットあたり1,500ドルのCapExを持っています。
キロワットあたりそれよりもはるかに高価な技術を持つか、他のものが競争力を持たせるのに十分に安くなることが理にかなっていると言っていますか。正確に。キロワットあたり3,500ドルもの高さである可能性があります。
それは複合サイクルのコストの2倍であり、そしてTCOベースでGPUの総コストは1時間あたりほんの数セント上がっただけです。Hopper価格について話してきたので、1.40ドル、電力価格が倍になるとしましょう。
コストが1.40ドルだったHopperは今、コストが1.50ドルです。気にしません、なぜなら、モデルが非常に速く改善しているので、それらの限界効用はエネルギーのその10セント増加よりもはるかに価値があるからです。
だから、あなたはグリッドの20パーセント、グリッドは約1テラワットです、ユーティリティスケールのバッテリーを増やすことから、グリッドに置くことに快適なものを増やすことから、単にオンラインになることができると言っています。そこでの規制メカニズムは簡単ではありません、ところで。
しかし、それは200ギガワットです、それが仮に起こるなら。あなたが言及した異なるガス生成のソース、異なる種類のエンジンとタービンだけから、合わせて、10年の終わりまでにいくつのギガワットを解放できますか。
私たちはこれを私たちのデータで追跡しています。ガスだけから電力生成するものの16以上の異なるメーカーがあります。
はい、複合サイクルのタービンメーカーは3つしかありませんが、16の異なるベンダーを追跡しており、すべての彼らのオーダーがあります。さまざまなデータセンターへの数百ギガワットのオーダーがあることがわかります。
10年の終わりに到達するにつれて、追加されている容量の約半分がメーターの後ろになると思います。メーターの後ろはほとんど常にグリッド接続よりも高価ですが、グリッド接続を得ることには多くの問題があります。許可と相互接続キューとこのようなすべてのもの。
たとえそれがより高価であっても、人々はメーターの後ろをやっています。彼らがメーターの後ろで行っていることは広く及びます。
往復エンジン、船のエンジン、または空気派生である可能性があります。複合サイクルである可能性がありますが、複合サイクルはメーターの後ろにはそれほど素晴らしくありません。
Bloom Energy燃料電池、またはソーラープラスバッテリーである可能性があります。これらのもののいずれかである可能性があります。
そして、あなたはこれらのいずれかが個別に数十ギガワットを行うことができると言っていますか。これらのいずれかが個別に数十ギガワットを行い、全体として、彼らは数百ギガワットを行います。
オーケー。だから、それだけでより多くにすべきです、電気技師の賃金はおそらく再び倍または3倍になります。その分野に入る多くの新しい人々がいます、そしてお金を稼ぐ多くの人々がいますが、それを主要なボトルネックとして見ません。
今、Abileneで、Crusoeが OpenAIのために構築している1.2ギガワットのデータセンターで、彼らは5,000人がそこで働いていると思います、またはピーク時にしました。それを100ギガワットに変えるなら、そして確かに物事は時間とともにより効率的になると思いますが、100ギガワットを構築するのに400,000人かかるでしょう。
米国労働力について考えると、そしていくつの電気技師がいてどれだけの建設労働者がいるか…800,000人の電気技師がいると思います。彼らがすべてこの方法で代替可能かどうかわかりません。
数百万の建設労働者がいます。しかし、もし私たちが年間200ギガワットを追加している世界にいるなら、最終的に労働に限られることになりますか、それともそれが実際には本当の制約ではないと思いますか。
労働は大きな制約です。これではとてつもない制約です。
人々は訓練されなければなりません。同様に、おそらく最高技能労働を輸入し始めます。電力プラントを破壊するために取り組んでいたヨーロッパの本当に高技能の電気技師が今アメリカに来てデータセンターを横切って高電圧電気を移動する構築をしていることは理にかなっています。
ヒューマノイドロボットまたは少なくともロボティクスが助け始めるかもしれませんが、人数を減らすための主要な要因は、物をモジュール化してアジアの工場でそれらを作ることになります。
残念ながらアメリカにとって、韓国、東南アジア、そして多くの方法で中国もそうですが、のような場所は、データセンターの構築されたセクションをますます出荷するつもりです、そしてそれらは出荷されます。
今日、サーバーまたはラックを出荷しています、そしてそれから異なる場所から出荷している異なる部分にそれを差し込みます。しかし今、工場に出荷して全体を統合します。
おそらくこれは2メガワットブロックで、このブロックは高電圧AC電力からラックに配信するDC電圧に行きます、またはそのようなもの。または冷却で、配管工もここで大きな制約なので、すでに一緒に置かれている多くの冷却サブシステムを持っている完全に統合されたユニットを出荷します。
さらに、人がすべてのこれらのラックを電気で配線している単一のラックだけではなく、工場から直接出荷されるサーバーの全行を持つスキッドを取ります。今日、単一のラックは120または140キロワットかもしれませんが、次世代Nvidia Kyberやそのようなものに到達するにつれて、ほぼメガワットです。
さらに、全行を行うなら、ラック、ネットワーキング、冷却、そして電力がすべて一緒に統合されています。今、入ってくるとき、ケーブルがはるかに少ないです。
ネットワーキングファイバーが少なく、電力接続が少なく、配管のものが少ないです。これはデータセンターで働く人々の数を劇的に減らすことができます、だから私たちがそれらを構築する能力ははるかに大きくなります。
途中で、一部の人々は新しいものにより速く移動し、一部の人々はより遅く移動します。CrusoeとGoogleは、MetaやMany othersのような企業と同様に、このモジュール化について多く話してきました。
新しいものにより速く移動する人々は遅延に直面するかもしれませんが、より遅い人々は労働問題に直面します。市場には常に転位があります、なぜなら、これは非常に複雑なサプライチェーンだからです。
結局のところ、必要なタイムスケールで資本主義と人間の創意工夫を通してそれを解決することができるのに十分にシンプルです。解決すべき大きな問題といえば、Elon Muskは宇宙GPUに非常に強気です。
もし電力が地球上の制約でないとあなたが正しいなら…彼らが理にかなっている他の理由は、たとえ地球上に十分なガスタービンまたは何でもあるとしても、Elonの次の議論は、地球上に数百ギガワットを構築する許可を得ることができないというものだと思います。
その議論を買いますか。土地面で、アメリカは大きいです。データセンターは実際にはそれほど多くのスペースを取りませんので、それを解決できます。
許可面で、大気汚染許可は挑戦ですが、トランプ政権ははるかに簡単にしました。テキサスに行けば、この赤いテープの多くをスキップできます。
Elonはメンフィスでこの複雑なものの多くに対処しなければならず、それからColossus 1と2のために境界を越えて発電所を構築しました。しかし、結局のところ、テキサスの真ん中ではるかに多くを逃れることができます。
Elonはテキサスに住んでいることを考えると、なぜ彼はただテキサスに行かなかったのですか。部分的には、彼らが一時的な期間グリッド電力に過度に指標した可能性があると思います。
それは彼らがより必要だと思ったものでした。彼らがそこにグリッドに接続されたアルミニウム精製所を持っていたから。
それは実際にはアイドルされた電化製品工場でした。しかし、彼らはグリッド電力、水アクセス、ガスアクセスにもっと指標したかもしれないと思います。
彼らはガスラインがすぐそこにあり、それをタップするつもりであることを知ってそれを買ったと思います。水も同じです。さまざまな制約の全ホストでした。
おそらくそれは電気技師を見つけやすいエリアでした。結局のところ、彼らがそのサイトを選んだ理由は正確にはわかりません。
もし戻れるなら、彼が直面した規制の挑戦のためにElonはテキサスのどこかを選んだだろうと賭けます。最終的に、許可は挑戦ですが、アメリカは50州を持つ大きな場所で、物事は成し遂げられます。
一時的な期間の3から12ヶ月間、必要なすべての労働者を輸送できる小さな管轄区がたくさんあります、請負業者によって異なります。彼らを一時的な住宅に入れて尻を支払うことができます、なぜなら、労働はGPUとネットワーキング、そしてそれが生産するトークンの最終的な価値に比べて非常に安いからです。
だから、これらすべてのものに支払う余地がたくさんあります。また、人々は今、多様化しています。
オーストラリア、マレーシア、インドネシア、インドは、すべてデータセンターがはるかに速いペースで上がっている場所です。しかし、現在、AIデータセンターの70%以上がまだアメリカにあり、それは傾向を続けています。
人々はこれらのものを構築する方法を見つけ出しています。最終的に、nowhere Texas、Wyoming、またはNew Mexicoの真ん中で許可と赤いテープに対処することは、おそらく宇宙にものを送るよりもはるかに簡単です。
エネルギーがデータセンターの総所有コストの小さな割合であることを考えると経済的議論がより少ない意味をなす以外に、懐疑的である他の理由は何ですか。明らかに、電力は宇宙で基本的に無料です。
それがそれを行う理由です。そうです、それがそれを行う理由です。しかし、すべての他の反論があります。
地球上で電力コストが倍になったとしても、それはまだGPUの総コストのほんの一部です。主要な挑戦は…ClusterMAXを持っています、すべてのネオクラウドを評価します。
ハイパースケーラーとネオクラウドを含む40以上のクラウド企業をテストします。ソフトウェアの外側で、これらのクラウドを最も差別化するのは、展開と障害管理の能力です。
GPUはひどく信頼できません。今日でさえ、展開されるBlackwellの約15%をRMA する必要があります。それらを取り出す必要があります。
時々、ただそれらを戻して差し込むだけですが、時々それらを取り出してNvidiaまたはRMAを行うパートナーに戻して出荷する必要があります。初期段階の後、実際にはそれほど失敗しないというElonの議論について何を思いますか。
確かに、しかし今、これをやって、それらすべてをテストし、分解し、宇宙船に載せ、宇宙に打ち上げ、そしてそれらを再びオンラインにしました。それは何ヶ月もかかります。
もしあなたの議論がGPUが5年の有用な寿命を持っているということで、これがさらに6ヶ月かかるなら、それはクラスターの有用な寿命の10%です。私たちは非常に容量制約があるので、そのコンピュートは理論的には最初の6ヶ月で最も価値があります。
今よりも将来はより制約が少ないです。そのコンピュートは将来より良いモデルに貢献できます、または今日収益を生成してより多くの資金を調達するために使用できます。
これらすべてのものが今を最も重要な瞬間にしますが、潜在的にコンピュート展開を6ヶ月遅らせました。これらのクラウドプロバイダーを分けるのは…地球上でここでGPUを展開するのに6ヶ月かかるクラウドを見ます。
6ヶ月よりもはるかに少ないクラウドを見ます。だから質問は、宇宙はそこでどこに入るかです。
地球上でそれらすべてをテストし、分解し、宇宙に出荷して、それらをテストした施設にそれらを残すよりも大幅に長くかからない方法を見ません。私が聞きたかった質問は、宇宙通信のトポロジーについてです。
今、Starlink衛星は毎秒100ギガビットで互いに話します。これのために最適化された光学衛星間レーザーリンクではるかに高くすることができるかもしれません。
それは実際にはInfiniBand帯域幅、毎秒400ギガバイトにかなり近くなります。しかし、それはGPUあたりであり、ラックあたりではありません。だから、それを72で掛けます。
また、それはHopperでした。BlackwellとRubinに行くと、それは2倍と再び2倍になります。しかし、推論中に、異なるスケールアップがまだ一緒に働いているか、または推論は単一のスケールアップ内でバッチとして起こっているだけですか。
多くのモデルが1つのスケールアップドメイン内に収まりますが、多くの場合、それらを複数のスケールアップドメインに分割します。モデルがますますスパースになるにつれて、それは一般的な傾向ですが、GPUあたりほんの数個のエキスパートをpingしたいです。
今日の主要なモデルが数百、1000ではないにしても、エキスパートを持っているなら、数百または数千のチップを横切ってこれを実行したいでしょう、将来に進むにつれても。
だから、通信のためにもこれらすべての衛星を一緒に接続する必要があるという問題になります。それは難しいでしょう。
単一のスケールアップで1つのバッチに対して推論を行うことができる世界があるなら、おそらくもっともっともらしいです。しかしそうでなければ、それは異なる話です。
これらのチップを一緒にネットワーク化することは問題で、衛星を無限に大きくすることはできません。衛星を本当に大きくすることにはたくさんの物理的挑戦があります。
それが衛星間のこれらの相互接続が必要な理由です。それらの相互接続はより高価です。クラスターでは、コストの15-20%がネットワーキングです。
すべての突然、プラガブルトランシーバーで数百万のボリュームで製造されるシンプルなレーザーの代わりに宇宙レーザーを使用しています。そして、それらのものもより信頼できません、ところで、GPUよりも信頼できません。
クラスターの寿命を通じて、それらすべてをプラグを抜いてクリーンにしなければなりません。ランダムな理由でそれらをプラグを抜いて再度差し込まなければなりません。
これらのものは単にそれほど信頼できません。だから、その問題も持っています。
それはすべて合わせて、宇宙データセンターに何を意味しますか。宇宙データセンターは効果的に彼らのエネルギー優位性によって制限されません。
彼らは同じ争われたリソースによって制限されます。10年の終わりまでに年間200ギガワットのチップしか作ることができません。
その容量を得るために何をするつもりですか。それが陸上にあるか宇宙にあるかは問題ではありません。
本当に重要ではありません、なぜなら、その電力を構築できるからです。人間の能力と容量は、年間テラワットをグローバルに追加している期間に到達できます。
ある時点で、宇宙データセンターが理にかなうシャズムを越えますが、それはこの10年ではありません。エネルギー制約が実際に大きなボトルネックになり、経済のより多くを包摂するにつれて土地許可がはるかに大きなボトルネックになるとき、はるかに先です。
そして、重要なことに、チップがもはやボトルネックでないとき。今、チップは最大のボトルネックです。
製造された瞬間にAIに取り組んでいて働いているようにそれらを展開したいです。その速度をより速く、より速く増やすために人々が行っている多くのものがあります。
彼らはデータセンターをモジュール化しています、またはデータセンターでチップを入れるだけのラックをモジュール化していますが、チップだけで他のすべてはすでに配線されて準備ができています。宇宙ではできないこのようなことを人々はやってその時間を減らしています。
結局のところ、チップ制約された世界で重要なすべては、これらのチップをできるだけ早くトークンを生産させることです。おそらく2035年までに、半導体産業、ASML、Zeiss、そしてLam ResearchやApplied Materialsのようなサプライヤーやファブメーカーは、振り子が振れて十分なチップを作ることができるようになったときに追いつきます。
それから、すべてのダイヤルを最適化して、エネルギーコストの10-15%を最適化することが理にかなっています。ASICに潜在的に移動し、Nvidiaのマージンが+70%でない場合、おそらくそのエネルギーコストがクラスターの30%になります。
これらが最適化すべきものです。しかし、Elonは20%のゲインを行うことで勝ちません。
彼は決してその方法で勝ちません。Elonは柵のために振り回して10Xのゲインを行うときに勝ちます。
それがSpaceXについてです。それがTeslaについてです。彼の成功のすべてはそれについてでした、20%を追いかけることではありません。
宇宙データセンターは最終的に10Xのゲインになると思います、地球のリソースがますます争われるようになるにつれて、しかし、それはこの10年ではありません。地球上にどれだけの土地があるかについてのいくつかの直感を駆動するために…
明らかに、チップ自体のために、特にメガワットを持つラックの世界に移動するなら、それはもう1つのことです。製造が制約である場合、現在、AIチップに対して平方ミリメートルあたり約1ワットです。
それを改善する1つの簡単な方法は、それを平方ミリメートルあたり2ワットにポンプすることです。2倍のパフォーマンスを得られないかもしれません、20%多くのパフォーマンスしか得られないかもしれません、そしてそれははるかにエキゾチックな冷却を必要とします。
それはより複雑なコールドプレートと複雑な液体冷却、またはおそらく浸漬冷却
Continue
6:50
Resumed translation seamlessly from immersion cooling topic
Resumed translation seamlessly from immersion cooling topic
のようなものさえ必要とします。
宇宙では、より高いワット/ミリメートルは非常に難しいです。一方、地球上では、これらは解決された問題です。
これらのもののうちの1つは、おそらく製造されたウェハーあたり20%多くのトークン、多くのトークンを得ることを可能にします、そしてそれは巨大な勝利です。平方ミリメートル、ダイエリアの平方ミリメートルを意味しますか?
はい、ダイエリアの。宇宙の方が良いでしょう、なぜなら、ミリメートルあたりより多くのワットはチップがより熱く動作することを意味するからです。
これはコンピュータチップエンジニアリングの質問だと思いますが、Stefan-Boltzmannの法則により4乗で冷却します。非常に熱いチップを稼働できるなら、それは多くを可能にします、いいえ、より熱く稼働することはできません。
よりdenseに稼働できるだけです。問題は、そのdenseなエリアから熱を取り出すことが、標準的な空気と液体冷却からより高い電力密度に到達するためにより exotic な液体冷却の形態、またはさえ浸漬に移動しなければならないことを意味するということです。
それは地球上よりも宇宙でより困難です。この時点でスケールアップが正確に何であるか、そしてNvidia対Trainium対TPUでどのように見えるかを説明する価値があるかもしれません。
以前、チップ内の通信が超高速であると言及していました。同じラック内にあるチップ間の通信は高速ですが、それほど高速ではありません。
それはテラバイトのオーダーにあります。非常に遠く離れている通信は数百ギガバイトのオーダーです。
国を横切るような距離に到達すると、桁はギガバイトのオーダーです。スケールアップドメインは、チップが毎秒テラバイトのオーダーで通信しているこのタイトなドメインです。
Nvidiaの場合、以前これはH100サーバーが8つのGPUを持っていたことを意味し、それらの8つのGPUは毎秒テラバイトで互いに話すことができました。Blackwell NVL72では、彼らはラックスケールのスケールアップを実装しました。
それはラック内のすべての72のGPUが毎秒テラバイトで互いに接続できることを意味しました。速度は世代ごとに倍になりましたが、最も重要なイノベーションは8から72へのドメインの移動でした。
Googleを見ると、彼らのスケールアップドメインは完全に異なります。それは常に数千のオーダーでした。
TPU v4では、彼らは4000チップのサイズのポッドを持っていました。v8またはv7では、彼らは8000または9000の範囲のポッドを持っています。
ここで関連するのは、それがNvidiaと同じではないということです。それは同じではありません。
Googleにはトーラスであるトポロジーがあります。すべてのチップは6つの隣接者に接続します。
Nvidiaの72 GPUはall-to-allに接続します。彼らはそのスケールアップのポッド内の任意の他の任意のチップに毎秒テラバイトを送信できます。
一方、Googleでは、チップを通じてバウンスしなければなりません。TPU 1がTPU 76と話す必要がある場合、さまざまなチップを通じてバウンスしなければなりません、そしてそれを行うときリソースの blocking が常にいくらかあります、なぜなら、その1つのTPUは他の6つのTPUにのみ接続されているからです。
だから、トポロジーと帯域幅に違いがあり、両方にトレードオフと利点があります。Googleは大規模なスケールアップドメインを得ることができますが、1つから別のものに行くためにチップを横切ってバウンスするトレードオフを持っています。
6つの直接の隣接者としか話すことができません。Amazonは彼らのスケールアップドメインを変異させました。
彼らはNvidiaとGoogleの間のどこかにいます。彼らはNvidiaがすることのようにスイッチである程度all-to-allをやろうとしていますが、ある程度Googleのようにトーラストポロジーも使用します。
次世代に前進するにつれて、彼ら3人全員がより dragonfly トポロジーに向かって移動しています。それは、完全に接続されたいくつかの要素と完全に接続されていないいくつかの要素があることを意味します。
スケールアップを数百または数千のチップにすることができますが、チップを通じてバウンスするときにリソースに対して競合しないようにすることもできます。関連する質問です。
パラメータのスケーリングが遅かった理由について誰かが主張するのを聞きました、そして今だけOpenAIとAnthropicからより大きなモデルを得ています、その理由は…元のGPT-4は1兆パラメータ以上で、今だけモデルが再びそれに近づき始めています。
FP8で実行されている5Tモデルがあるとしましょう、だから、それは5兆ギガバイトです。そして、KVキャッシュがあります、それは、同じサイズだとしましょう。
オーケー、1つのバッチに対して同じサイズだとしましょう。だから、実行できるように10テラバイトが必要です…
単一のforward passです、はい。そして、GB200とNVL72でのみ20テラバイトを持つNvidiaスケールアップを持ち、その前に彼らははるかに小さかった。
一方、Googleは、all-to-allではない巨大なTPUポッドを持っていますが、それでも単一のスケールアップに数百テラバイトの容量を持っています。それがパラメータのスケーリングが遅かった理由を説明しますか。
部分的には容量と帯域幅だと思いますが、より大きなモデルを構築するにつれて、それを展開する能力は遅くなります。エンドユーザーの推論速度の観点からは、それは一種の無関係です。
本当に関連するのはRLです。これらのモデルとラボでのコンピュートの割り当てで見てきたもの…コンピュートを割り当てることができるいくつかの主要な方法があります。
推論、すなわち収益に割り当てることができます。開発、すなわち次のモデルを作ることに割り当てることができます。
研究に割り当てることができます。特に開発では、事前トレーニングとRLの間で分割します。
何が起こっているかを考えると、研究から得るコンピュート効率の利益は非常に大きいので、実際にはほとんどのコンピュートが開発ではなく研究に行くことを望みます。これらすべての研究者が新しいアイデアを生成し、それらを試し、テストし、スケーリング法則のPareto最適曲線をますます押し続けています。
経験的に見てきたのは、モデルコストが毎年10倍安くなる、またはそれ以上であるということです。同じスケールでそれは10倍安くなり、新しいフロンティアに到達するにはそれは同じ量またはそれ以上のコストがかかります。
だから、事前トレーニングとRLにあまりにも多くのリソースを割り当てたくありません。実際には、ほとんどのリソースを研究に割り当てたいです。
真ん中にこの開発期間があります。5兆パラメータモデルを事前トレーニングする場合、RLでいくつのrolloutを行わなければなりませんか。
5兆パラメータモデルのrolloutsは1兆パラメータモデルの5倍大きいです。できるだけ多くのrolloutsを行いたい場合、おそらくより大きなモデルは2倍よりサンプル効率的です、今、RLでモデルをよりスマートにするのに2.5倍多くの時間が必要です。
または、より小さなモデルをRLすることもできます、2倍の時間で。大きなモデルではまだ25%の違いがあります、それは2倍よりサンプル効率的でX数のrolloutsを行います。
しかし、1兆パラメータであるより小さなモデルは、サンプル効率的ではありませんが、2倍多くのrolloutsを行っていてまだより速く完了します。モデルをより早く得ます、より多くのRLを行いました、そしてそのモデルを次のモデルを構築するのを助け、エンジニアがトレーニングするのを助け、これらすべての研究アイデアを行うために取ることができます。
このフィードバックループは実際にはすべてのケースでより小さなモデルに重みがあります、あなたのハードウェアが何であっても。Googleを見ると、彼らはどの主要なラボのGemini Proでも最大の本番モデルを展開します。
それはGPT-5.4よりも大きなモデルです。それはOpusよりも大きなモデルです。
Googleはこれを行います、なぜなら、彼らは単極のコンピュートのセットを持っているからです。それはほとんどすべてTPUです。一方、AnthropicはH100、H200、Blackwell、Trainium、そしてさまざまな世代のTPUを扱っています。
OpenAIは今主にNvidiaを扱っていますが、AMDとTrainiumも持つ方向に行っています。Googleのようなコンピュートのフリートは、より大きなモデルを中心に最適化できます。
彼らは、このフィードバックループが速くなるようにRLタイムスピードをはるかに速くするためにスケールアップドメインで1000チップを活用できます。しかし、結局のところ、単独で、ほとんど常により小さなモデルに行きたいです、それはより速くRLされ、研究と開発により早く展開されます。
次のものを構築でき、より多くの効率の勝利を得ることができます。より速く、より速く研究をできることのこの複合効果を持ちます。
私はトレーニングにより少ないコンピュートを費やしました、なぜなら、研究により多くのコンピュートを割り当てることができたからです。より速く、より速く研究をできることのこの複合効果は、潜在的により速いテイクオフです。
それがこれらすべての企業が望むすべてです。可能な限り速いテイクオフ。
オーケー、spicyな質問です。SemiAnalysisがこれらのスプレッドシートを販売していると説明しました。
6ヶ月前または1年前に、メモリクランチについて人々に警告し続けていることをいつも指摘しています。今、クリーンルームクランチについて人々に伝えています、そして将来、ツールクランチについて。
なぜLeopoldが不条理な金を稼ぐためにあなたのスプレッドシートを使っている唯一の人なのですか。他のみんなは何をしているのですか。
多くの方法でお金を稼いでいる多くの人がいると思います。Leopoldは私に私たちの数字が低すぎると言う私の唯一のクライアントであることを冗談を言います。
他のみんなは私に私たちの数字が高すぎると言います、ad nauseamほとんど。ハイパースケーラーが「ねえ、その他のハイパースケーラー、彼らの数字は高すぎる」と言っているかどうか、そして私たちは「いや、それがそれです」という感じです。
彼らは「いいえ、いいえ、いいえ、それは不可能です」とか、なんとか。ハイパースケーラーまたはAIラボと協力しているとき、事実とデータを通じて最終的に彼らを納得させなければなりません、実際、いいえ、その数字は高すぎません、それは正しいです。
最終的に、時々彼らが理解するのに6ヶ月かかります、または1年後。他のクライアントは、トレーディング側でも、私たちのデータを使用します。
私のビジネスの約60%は産業です。だから、AIラボ、データセンター会社、ハイパースケーラー、半導体会社、AIインフラ全体のサプライチェーン全体。
しかし、私たちの収益の40%はヘッジファンドです。私たちの顧客が誰であるかについてコメントするつもりはありませんが、多くの人がデータを使用します。
それはどのようにそれを解釈するか、そしてそれを超えて何を見るかです。Leopoldは私に私の数字が低すぎると言う唯一の人です、常にほとんど。
時々彼は高すぎます、時々私は低すぎます。しかし一般的に、他の人がそれを行っていると思います。
ヘッジファンド全体でスペースを見ることができ、彼らの13Fを見てください、そして彼らが所有しているのを見てください、おそらくLeopoldが正確に行うものではありません、なぜなら、それは常に最も制約されているものは何かという質問だからです。期待の外側に最も出るであろうものは何ですか。
それがあなたが本当に exploit しようとしているものです。市場の非効率性。ある意味で、私たちのデータは、何が起こっているかのベースデータをより正確にすることによって市場をより効率的にしています。
多くのファンドがそこにある情報について取引します…Leopoldが唯一の人だとは思いません。AGIのテイクオフについて最も確信を持っていると思います、ただし。
そうですね、しかし、賭けは2035年に何が起こるかについてではありません。あなたが行っている賭け、それは少なくともLeopoldのものを含む異なるファンドのために見ることができる公開リターンによって例示されている、は過去1年に何が起こったかについてです。
過去1年のものはあなたのスプレッドシートを使って予測できました。それは来年のスプレッドシートを買うことについてです。
それらはただのスプレッドシートではありません。レポートがあります。データへのAPIアクセスがあります。
多くのデータがあります。しかし、私が言っていることがわかりますか。
それはいくつかのクレイジーなシンギュラリティのことについてではありません。それは、メモリクランチを買うかどうかについてです。
AIが巨大な方法でテイクオフすることを信じる場合にのみ、メモリクランチを買います。メモリクランチ、その多くは…少なくともインフラについて考えるベイエリアの人々にとって、それは明らかです。
コンテキストの長さが長くなるにつれて、KVキャッシュが爆発します、だから、より多くのメモリが必要です。次に、数学を行います。
また、どのファブが構築されているか、どのデータセンターが構築されているか、いくつのチップか、そしてこれらすべてのもののサプライチェーンの理解を多く持っている必要があります。私たちはこれらすべての異なるデータセットを非常に厳しく追跡しますが、結局のところ、これが起こることを完全に信じるために誰かを取ります。
1年前、メモリ価格が4倍になり、スマートフォンボリュームがその後の1年または2年で40%下がることを誰かに伝えたら、人々は「あなたはクレイジーです。それは決して起こりません。」という感じでした。いくつかの人が本当にそれを信じることを除いて、そしてそれらの人々はメモリを取引しました。
そして、人々は行いました。Leopoldがメモリ会社を買っている唯一の人だったとは思いません。彼はもちろん、いくつかよりも、おそらくほとんどよりも、より良い方法でサイズと位置を決め、そしてものを行いました。
誰のリターンが何であるかについてコメントしたくありませんが、彼は確かにうまくやりました。他の人も本当にうまくやりました。
すごい、あなたは私を今まで初めて外交的にしました。いいえ、いいえ、あなたは大丈夫です。
これは hilarious だと思います。私は外交官になっています、一方、通常私はspicyです。
オーケー、締めくくるためにいくつかのrapidfire。メモリ、ロジックなどで言っているなら、N3はほとんどAIアクセラレータになりますが、次にN2があり、それは今主にAppleです…
将来、AIもN2に行きたいと思うでしょう。TSMCは、NvidiaとAmazonとGoogleが「ねえ、私たちはN2容量に対して多くのお金を支払う意思がある」と言った場合、Appleを追い出すことができますか。
これの挑戦は、チップ設計のタイムラインが非常に長くかかることです、だから、それは1年以上先です、そして2ナノメートルにある設計は1年以上先です。本当に起こるであろうことは、Nvidiaとこれらすべての他の人が「ねえ、容量を前払いし、あなたはそれを私たちのために拡大するつもりです」という感じです。
おそらくTSMCは少しのマージンを取りますが、トンではありません。彼らはAppleを完全に追い出すつもりはありません。
彼らが行うことは、AppleがXをオーダーしたとき、「ねえ、あなたはX – 1しか必要ないと予測します、だから、それが私たちがあなたに与えるつもりのものです、X – 1。」と言うかもしれません。次に、そのフレックス容量、Appleはその上で少し台無しにされます。
伝統的に、Appleは常に10%過剰にオーダーし、年の間に10%カットバックしてきました。いくつかの年、彼らは全10%を当てます。
ボリュームは季節とマクロに基づいて変動します。TSMCがAppleを追い出すとは思いません。
AppleはTSMCの収益のより小さく、より小さい割合になり、したがってTSMCが彼らの要求に応えるためにより少ない関連性になると思います。特定の数字に入る価値がありますか。
私は手元に何も持っていません。Appleが coming yearsでN2に対して何パーセント持っているか対AIは?
今年、AppleはN2のほとんどを製造されるつもりのものです。AMDから少しあります。
彼らはいくつかのAIチップとCPUチップを早く作ろうとしています。少しありますが、ほとんどの場合、それはAppleです。
その後の年に前進するにつれて、他の人がランプを開始するにつれて、Appleはまだその半分に近くを得ます、しかし、それから劇的に落ちます、N3のように、彼らは半分でした。N2と言うとき、それはN2の変種であるA16を含みます。
時間とともに、それらのノードが大部分になります。また興味深いのは、伝統的に、Appleがプロセスノードに最初だったということです。
2 nmは実際に彼らがそうでない最初です。まあ、それはHuawei以外です。
Huawei、2020年とその前に戻ると、Appleと最初でしたが、彼らは両方ともスマートフォンを作っていました。今、2 nmでは、AMDがCPUとGPUチップレットを作ろうとしており、それらはAppleと同じタイムフレームで高度なパッケージングを使って一緒にパッケージします。
これは新しいプロセス技術なので、AMDにとって大きなリスクです、潜在的な遅延を引き起こします。それは難しいです。
しかし、結局のところ、これは彼らがNvidiaよりも速くスケールして彼らを打とうとするために行いたい賭けです。前進するにつれて、A16ノードに移動するとき、そこでの最初の顧客さえAppleではありません。
それはAIです。前進するにつれて、それはますます一般的になります。
Appleがノードに最初でないだけでなく、彼らはまた新しいノードへのボリュームの大部分でもありません。彼らは次にただの古い顧客のようになります。
TSMCのCapExのスケールは風船を続けますが、Appleのビジネスは同じペースで成長していないので、彼らはますます、ますます関連性の低い顧客になります。彼らはまた、サプライチェーンのものが彼らを追い出しているので、彼らのオーダーをカットします、パッケージングまたは材料またはDRAMまたはNANDであれ。
これらのものはコストが増加しています。消費者がそれほど強くないので、彼らはおそらくすべてのコストを顧客に渡すことができません。
彼らが歴史的にそうであったように、TSMCの最高の友だちではない状況に陥ります。HuaweiがもしTSMCへのアクセスを持っていたら、3 nmへのアクセスを持っていたら、Rubinよりも良いアクセラレータを持っていたと思いますか。
潜在的に、はい。Huaweiも7 nm AIチップで最初でした。
彼らは5 nmモバイルチップで最初でしたが、彼らは7 nm AIチップで最初でした。Huawei AscendはTPUの2ヶ月前でした、そしてNvidiaのA100の4ヶ月前だったと思います。
それはただプロセスノードに移動することです。それはソフトウェアまたはハードウェア設計またはこれらすべての他のものを意味しません。
しかし、Huaweiは世界で唯一すべての脚を持っている企業であると論じることができます。Huaweiはクラックしたソフトウェアエンジニアを持っています。
Huaweiはクラックしたネットワーキング技術を持っています。それは実際に歴史的に彼らの最大のビジネスです。
彼らはクラックしたAI才能を持っています。さらに、Nvidiaを超えて、彼らは実際により良いAI研究者を持っています。
Nvidiaを超えて、彼らは自分自身のファブを持っています。そして、Nvidiaを超えて、彼らはトークンを売ることやそのようなものの自分自身のエンドマーケットを持っています。
Huaweiはトップ、トップ才能を得ることができます。Nvidiaもそうですが、それほどの集中ではありません、そしてHuaweiは中国でより大きなプールを持っています。
もし彼らがTSMCを持っていたら、HuaweiがNvidiaよりも優れているであろうことは非常に論じられます。Nvidiaが簡単にアクセスできない領域で中国が優位性を持っている領域があります。
スケールだけでなく、特定の光学技術、中国は実際に本当に得意です。2019年にHuaweiがTSMCの使用を禁止されていなかった場合、Huaweiはすでに最大のTSMC顧客としてAppleを超えていたであろうことは非常に合理的だと思います。
Huaweiはネットワーキング、コンピュート、CPU、そしてこれらすべてのものに巨大なシェアを持っています。彼らはシェアを得続け、おそらくTSMCの最大の顧客だったでしょう。
すごい。それはクレイジーです。あなたにランダムな最後の質問があります。
Elonインタビューの他の部分はロボットでした。もしヒューマノイドが人々が期待するよりも速くテイクオフしたら、もし2030年までにそれぞれがローカルコンピュートを必要とする何百万ものヒューマノイドが走り回っていたら、それが何を意味するかについての考えは?
それには何が必要でしょうか。人々がロボットに展開しているVLMとVLAには多くの困難があります。
しかし、ある程度、ロボット内にすべてのインテリジェンスを持つ必要はありません。そうしない方がはるかに効率的でしょう。
なぜなら、クラウドでは、バッチ処理やこれらすべてのものができるからです。やりたいかもしれないのは、計画と長期地平線タスクの多くをクラウドではるかに有能なモデルによって決定させ、非常に高いバッチサイズで実行させることです。
次に、それらの方向をロボットにプッシュし、ロボットは各後続のアクション間で補間します。または、「ねえ、そのカップを拾って」のようなコマンドが与えられ、次にロボット上のモデルがカップを拾うことができます。
それが拾っているにつれて、重量と力のようなものはロボット上のモデルによって決定されなければならないかもしれませんが、すべてがそうである必要はありません。それは「ねえ、それはヘッドホンです」と言うことができ、クラウド内のスーパーモデルは「私はこれらのヘッドホンがSony XM6sであることを知っています」と言うことができます、これはDwarkeshの広告スポットではありませんが…
私は、なぜこの人がこのものをそんなに一生懸命pluggingしているのかという感じです。それはテーブルの上です。
私たちが一緒にSatyaにインタビューしているとき、それは彼の首にあります。彼はSonyから支払われていますか。
残念ながらそうではありません。しかしとにかく、それは「ねえ、ヘッドバンドは柔らかく、これはその重量です」と言うかもしれません、そしてこれらすべてのもの。
次に、ロボット上のモデルはよりインテリジェントでなく、これらのインプットを取り、アクションを行うことができます。クラウド内のモデルによって毎秒、またはアクションのhertzに応じて毎秒10回、伝えられるかもしれません。
しかし、その多くはクラウドにオフロードできます。そうでなければ、すべての処理をデバイス上で行う場合、バッチできないのでより高価になると信じています。
2つ目、バッチできないので、クラウド内と同じくらいのインテリジェンスを持つことができません、なぜなら、モデルはクラウド内でより大きくなるだけだからです。3つ目、半導体不足の世界にいます、そして展開するロボットは先端チップを必要とします、なぜなら、ロボットの電力は本当に悪いからです。
低電力で効率的である必要があり、すべての突然、AIデータセンターのためだった電力とチップを取り、ロボットに入れています。だから、今、数百万のヒューマノイドを展開している場合、その200ギガワットは低くなります。
これは非常に興味深いと思います、なぜなら、人々が未来について理解しないかもしれないことは、物理的な意味で、インテリジェンスがどれだけ中央集権化されるかということです。今、80億人の人間がいて、彼らのコンピュートは頭の中にあり、人に付いています。
未来には、物理的に世界にいるロボットでさえ、明らかに、知識労働はデータセンターから数十万または数百万のインスタンスで中央集権化された方法で行われます、あなたが示唆している未来は、世界中の数百万のロボットを駆動するより中央集権化された思考と中央集権化された計算があるものです。
それは未来についての興味深い事実で、人々が理解しないかもしれないと思います。Elonはこれを認識していると思います、それが彼が彼のチップのために異なる場所に行っている理由です。
彼はTSMCやそれほど制約されていない別のサプライチェーンを持っていることを意味するので、Samsungと大規模な取引に署名してTexasで彼のロボットチップを作らせました、なぜなら、個人的に彼は台湾リスクが巨大であると思うと思うからです。そのため、台湾でのリソースの中央集権化のために、Texasで彼のロボットチップを持つことは、それほど制約されていない別のサプライチェーンを持つことを意味します。
Nvidiaが発表した新しいLPU以外に、本当に誰もSamsungでAIチップを作っていません。彼らは来週それを発表しています、しかし、私たちはその前の週にこれを録音しています。
このエピソードは金曜日に出ます。ああ、このエピソードはその前に出ます。
いいね。彼らは来週、Samsungで構築されたこの新しいAIチップを発表しますが、それはNvidiaからの最近の開発です。
それがSamsungでの唯一の他のAI需要ですが、TSMCでは、すべてが競争しています。彼は地政学的多様化と彼のロボットのためのサプライチェーン多様性の両方を得ます、そして彼はデータセンターの天才に対する無限の支払い意欲と競争していません。
最後の質問、台湾について。もしツールが最終的なボトルネックであると信じるなら、単にTSMCのすべてのプロセスエンジニアを、彼らが封鎖されたり何かされたりしたときに空輸する計画を持つことによって、AIの半導体サプライチェーンにおける台湾の場所をどれだけ de-riskできますか。
またはまだツールあたり複数の飛行機の荷重になるであろうEUVツールを出荷する必要があり、それは実用的ではありませんか。もしすべてのプロセスエンジニアを出荷し、ファブを破壊するほど熱いと仮定すれば、今台湾のすべてのファブを持っている人はいません、それは大きなリスクです。
これらのツールは実際に台湾で製造されている多くの半導体を使用します。それは自分自身の尾を食べるヘビのミームです、なぜなら、台湾からのチップなしでツールを作ることができないからですが、それはツールなしで使用できません、台湾で。
明らかに、そこにいくつかの多様化があります。彼らはリソグラフィツールで超高度なチップを使用しません、しかし、結局のところ、いくつかのドラゴンが自分自身の尾を食べることがあります。
ただすべてのエンジニアを出荷してファブを爆破することは、中国が台湾を除去した今、世界の残りよりも強い半導体サプライチェーンを持っていることを意味します。すべてのノウハウを持っていますが、それをTSMCのためにArizonaまたはどこかで複製しなければなりません。
TSMCが何年もかけて構築してきたすべての容量を構築するのに長い時間がかかります。そして、だから米国とグローバルGDPを劇的に減速させました。
成長だけでなく、GDPを大規模に縮小しました、そしてはるかに大きな問題を持っています。増分的にコンピュートを追加する能力はほぼゼロになります。
10年の終わりまでに年間数百ギガワットの代わりに、台湾に何かが起こったとしましょう、今あなたはIntelとSamsungを横切って10ギガワットかもしれません、または20ギガワットです。それは何もありません。
今、すべての突然、あなたは本当にAIにいくつかのクレイジーなダイナミクスを引き起こしました。もちろん、すべての既存の容量を持っていますが、その既存の容量は拡大されている容量に比べて見劣りします。
オーケー。Dylan、それは素晴らしかった。ポッドキャストに来てくれて本当にありがとうございます。
持ってくれてありがとう。そして、今夜会いましょう。
コメント