Anthropicがなんと…ちょっと待って、何だって

イーロンマスク・テスラ・xAI
この記事は約35分で読めます。

AnthropicとSpaceX（xAI）の予期せぬ提携について解説する動画である。Anthropicが直面していたコンピュートリソースの不足と、xAIが持つ膨大なGPUリソース、そしてCursorが持つ高品質なプログラミング学習データの関係性を紐解き、AI業界における各社の思惑や競争の構図を分析している。

Anthropic just…wait what
Anthropic's been struggling to get compute lately, but it seems like they've finally solved it by buying compute from xA...
www.youtube.com

Theoの予想的中とAnthropicのコンピュート不足

Theoの最新動画での指摘は的を射ていたようです。やはりボトルネックはコンピュートでした。先日の動画でも間違いなくこの点に触れていたと思います。つまりTheoは正しかったのです。まだ価格決定力ではなく、キャパシティの問題だったというわけです。この調子が続くといいですね。法外な価格設定の本当の理由はコンピュートだったのです。自分の予想が当たるというのは気分の良いものです。

真面目な話、なぜこれまで誰もこのことに気づかなかったのか不思議でなりません。Anthropicの最大の問題が、彼らが目の当たりにしている需要に追いつくための十分なコンピュートを持っていなかったことなのは、かなり明白でした。そして、その需要は狂気じみています。完全に前例のないレベルです。

AnthropicとSpaceXの歴史と皮肉な提携

これについては少し後で話しますが、まずは今日のニュースについて話さなければなりません。AnthropicとSpaceX、あるいはイーロン・マスクが今その会社を何と呼んでいるにせよ、その会社との間の新しい提携についてです。これらの企業の歴史を知っているとちょっと狂っているように思えますが、これは現実の話です。1月のAnthropicがxAIによるAnthropicモデルの使用を禁止したという投稿からもその一端が見て取れます。ええ、Claudeの利用上限の引き上げやSpaceXとのコンピュート契約という今日の発表とは、間違いなく関係ないでしょうね。

はい、これは予想されていたことではありません。この両者の間には歴史的な確執がたくさんあり、このような形で手を組むのを見ると、コンピュート危機がいかに深刻であるかがわかります。AnthropicはSpaceXを好んでいません。AnthropicはxAIを好んでいません。しかし、Anthropicにはコンピュートが必要なのです。ありがたいことに、イーロン・マスクはAnthropicの大ファンであり、喜んでこの提携を結ぼうとしています。

ああ、お前のAIは白人とアジア人を憎んでいる、特に中国人の異性愛者と男性をだ、これは人間嫌いであり邪悪だ、修正しろ。率直に言って、Anthropicが人間嫌いになってしまうという避けられない皮肉から逃れるためにできることは何もないと私は思います。これは彼がよく口にするジョークです。Twitterでイーロン・マスクの人間嫌いに関する投稿を検索するだけで、何十件も見つかります。

しかし、どうやらそれも変わったようです。背景を説明すると、興味のある方のために言っておきますが、私は先週、Claudeが人類にとって有益であることを保証するために彼らが何をしているのかを理解するため、Anthropicのチームのシニアメンバーたちと多くの時間を過ごし、感銘を受けました。私がお会いした人は皆、非常に有能で、正しいことを行うことに大きな関心を寄せていました。私の悪人探知機を反応させるような人は一人もいませんでした。彼らが批判的な自己反省に従事している限り、Claudeはおそらく良いものになるでしょう。その後、SpaceXはすでにトレーニングをColossus 2に移行していたため、AnthropicにColossus 1をリースすることに同意しました。この一文には非常に多くの情報が含まれており、それを分析するのがとても楽しみです。

スポンサーメッセージ

しかし、イーロン・マスクやAnthropicとは異なり、私は数十億ドル相当のGPUを持っていません。私は数枚の5090しか持っていないので、もっと手に入れたいなら、今日のスポンサーのために少し休憩を挟まなければなりません。

もし同じような経験があれば止めてください。エージェントを使ってコードを書いていて、エージェントが吐き出すコードを一行一行チェックしなければならないと感じたことはありませんか。エージェントがこの単純な間違いを何度も繰り返すからです。もしかしたら、GitHubにコードがプッシュされた後にレビューしてくれるPRボットを導入しているかもしれません。しかし、エージェントの中で実行されているときにそれが何の役に立つでしょうか。ただ座って見つめ、エージェントが何を間違えたのかを伝えて修正させるしかありません。エージェントがミスをしたときに、自分が何を間違えているのかを理解してくれて、あなたがずっと監視していなくても済むようになれば素晴らしいと思いませんか。

さて、今日のスポンサーはCode Rabbitです。GitHubで動作するコードレビューツールだと思われるかもしれませんが、実際その点において非常に優れています。私も、Code Rabbitからのフィードバックが欲しいというだけの理由で、まだ準備ができていないコードのPRをプッシュしたことが何度もあります。そして今回、エージェンティックなループをさらに良くする、本当に素晴らしい追加機能が登場しました。それがCLIです。

コードのレビューにCLIなんて必要なのかと思われるかもしれません。コードをプッシュするだけならGitHub CLIを使えばいいじゃないかと。実はそこが素晴らしいところなのです。もちろん、GitHubにプッシュする前にコマンドを実行してコードをレビューすることもできますが、エージェントに実行させることもできるのです。エージェントに対して、作業が完了したと報告する前にCLIを実行してレビューするように指示することさえできます。そうすれば、ただ機能してくれます。CLIを実行し、現在作業中のプロジェクトだけでなく、組織が持つ他のリポジトリについてもすべてを知っているという狂気的なコンテキストを活用して、ある場所の一つの変更が別の場所の何かをどう壊す可能性があるかを見つけ出します。単なるGitHub上のツールではなく、真のエンタープライズ対応のAIコードレビュアーだと感じられます。スタックの他のすべての場所にも存在しているのです。ちなみに、今はSlackでも使えます。PRを作成することさえできます。本当にすごいツールです。これについては、近いうちにもっと詳しくお話しすると約束します。始めるのは無料で、オープンソースプロジェクトなら無料で使用できます。何をためらっているのですか。sidv.link/code rabbitでより良いレビューを体験してください。

この前代未聞の提携とxAIの動向

これはとんでもない提携であり、その中で話し合うべきことがたくさんあります。明らかな疑問は、これが私たち、特にClaudeを使っているコードユーザーにどのような影響を与えるかということです。Anthropicのコンピュート問題とは一体何なのかという疑問があります。なぜ彼らはそこまでしてこの提携を結ぼうとしているのでしょうか。お互いに憎み合っている相手と提携するほど、状況は本当に悪いのでしょうか。狂っているように見えますよね。

しかし最も重要なのは、xAIで一体何が起きているのかということです。正直なところ、これがすべての出来事の中で最も興味深い部分だと思います。xAIの財務状況と方向性は魅力的です。思い返してみてください、彼らはつい最近、Cursorに対して本当に奇妙な買収提案を出したばかりです。ですから、xAIとイーロン・マスクに何が起きているのかについて、これから多くの推測を交えて話します。

私はこれまで、xAIには追いついてフロンティアラボになる本当のチャンスがまだあると言い続けてきましたが、その理由は歴史的にコンピュートでした。そして信じてください、私たちは間違いなくそのことについて話すことになります。ですから、この先の一文がこのすべての情報の中で最も重要な部分になる可能性が高いので、ぜひ最後まで見てください。

Anthropicが直面していたコンピュート不足の背景

少し順番を変えて、Anthropicのコンピュート問題とは何かから始めましょう。多くの人は、Anthropicが最近行っている変更は、エンドユーザーからより多くのお金を稼ぐためのものだと考えているようです。お金を稼ぐことは間違いなく彼らの計画の一部であり、彼らがやろうとしていることではありますが、それがこれらの変更が起きている理由ではありません。Claude Codeをプロプランから外そうとする試みを見て、ああ、彼らはもっとお金を請求して100ドルの階層に多くの人を移行させようとしているんだと思ったなら、あなたは何が起きているのか全く理解していません。

彼らはそれらの階層のいずれも、これ以上売りたいとは思っていません。彼らの目標は明らかにコンピュートを解放することでした。なぜなら、彼らは単に十分なGPUを購入していなかったからです。これらの発表はすべて、私がなぜか招待されなかったCode with Claudeのカンファレンスで本日行われました。理由はわかりません。招待状が郵便事故で紛失したに違いありません。私がClaudeとClaude Codeの大ファンであることは誰もが知っていますからね。だから招待されなかったのは驚きです。

Anthropicは、今年どれだけのコンピュートが必要になるかを予測できませんでした。そしてその失敗が、顧客にサービスを提供する上で状況を非常に困難にしていました。通常、彼らはこういった詳細をぼかして話すものですが、このカンファレンスでのダリオ・アモデイの率直さには驚かされました。彼が語った内容をここで共有したいと思います。

Claudeが行っている作業により需要が急増しており、外部から見てもそれは明らかです。というのも、実際今年は指数関数的成長よりも早く成長した最初の年だからです。私たちは年間10倍の成長という世界に向けてしっかりと計画を立てようとしました。しかし今年の第1四半期に、年率換算すると収益と利用量の両方で年間80倍の成長を目の当たりにしました。

80倍というのはどう考えても異常な数字です。誰も適切に計画できるわけがありません。その点については彼らに同情できます。しかし、OpenAIはある程度これを計画していたことも特筆すべきです。OpenAIは可能な限り多くのコンピュートを購入しました。ダリオ・アモデイは明らかに、コンピュートの購入と割り当てにおいて非常に保守的でした。彼は様子を見たかったし、買いすぎたり購入を約束しすぎたりして、どうしていいかわからないほどのコンピュートを抱えて苦境に陥ることを避けたかったのです。

現時点での最大の勝者は、膨大なコンピュートが必要であることにいち早く気づき、可能な限り買い集めた人たちのようです。ただ一社を除いては。なぜならコンピュートは、それを使ってくれる人がいて初めて役立つものだからです。推論を利用しようとするこれらすべての企業で80倍の成長が起きているとき、コンピュートは絶対に必要になります。しかし、そうでない場合は重要性が低くなり、実際にはかなり高くつくことになります。この事実は覚えておいてください。後でまたこの話に戻りますから。

Anthropicのインフラとユーザーへの影響

しかし、まずはこれがユーザーである私たちにとって何を意味するのかについて詳しく話したいと思います。Anthropicには必要なコンピュートがなく、さらに完全に異なる複数のプロバイダーにコンピュートを分割しなければなりません。例えば、彼らはAmazonで5ギガワットのコンピュートを実行していますが、これはTrainium上で行われることになり、当然ながらNvidiaではなくCUDAでもないアーキテクチャです。また、GoogleやBroadcomとも契約を結んでいます。このGoogleとBroadcomとの契約はGoogleのTPUであり、これらもやはりNvidiaではありません。これとは別に、MicrosoftやNvidiaとの間で、Azureでの300億ドル相当のキャパシティを含む提携を結んでおり、Fluid StackによるアメリカのAIインフラストラクチャへの投資も支援しています。

しかし、ここにある3つは完全に異なるタイプのハードウェアであり、彼らはそれらの上で実行しなければなりません。彼らはここで、ClaudeをTrainium、Google TPU、Nvidia GPUといった様々なAIハードウェアでトレーニングし、実行しているとさえ言っています。研究者たちは最初の2つを使いたくないというのが私の個人的な考えです。皮肉なことに、研究者たちは皆CUDAで作業したがるため、トレーニングはTrainiumでは行われていません。何から何までCUDAを使いたがらないAI研究者に私はまだ出会ったことがありません。

ですから私の長年の仮説は、彼らは推論用のコンピュートをできるだけTrainiumとGoogle TPUに移し、Nvidiaの割り当てを解放して研究者たちが使えるようにしようとしているというものです。しかしそれでも不十分で、彼らはもっと多くを必要としていました。大量のNvidiaコンピュートを持っているのは誰かわかりますか。SpaceXです。その話にはすぐに戻りますが、私たち全員にとって素晴らしいニュースは、コンピュートの制約がようやく緩和されたため、彼らが利用上限を引き上げているということです。

覚えておいてください、私は何度も言ってきました。これらのサブスクリプションの仕組みは、ある金額で売りたいものがあって、ユーザーをその階層に引き上げようとしているわけではありません。実はその逆なのです。彼らは人々をプラットフォームに呼び込むためにこれらのサブスクリプションを作っていますが、コストの測定はそう単純ではありません。コンピュータを直接販売するのとは違い、1000台のノートパソコンを作り、そのうち800台を販売した場合、残りの200台が売れなかったからといってお金を失うわけではありません。手元に置いておき、最終的に利益が出るまで少しずつ売ればいいだけです。

しかし、コンピュートが実行されていない1分1秒ごとに、お金を失っているのです。ですから、例えばユーザーにサービスを提供できるサーバーが1万台あったとして、ピーク時にはその1万台に達しますが、ピーク時以外にはそのうち6000台しか使っていません。そうすると、どう測定するにせよ4000のコンピュートユニットが何もせずにただそこに置かれている状態になります。それは潜在的に失っているお金です。しかし、サービスを提供できるコンピュート以上のリクエストが来たら、もうお手上げです。

そして、従来のサブスクリプションでClaude Codeのユーザーとして私たちが経験してきた変更の多くは、彼らが私たちに売るコンピュータがなくなったからではなく、特定の時間帯に利用可能なコンピュートがなかったからなのです。それが、ピーク時の利用制限を導入した理由です。仕事時間中は、ピーク外の時間よりも推論の量が減らされました。繰り返しますが、彼らはただ利用可能なコンピュートをやり繰りしようとしていたのです。しかし今、彼らははるかに多くのコンピュートを利用できるようになりました。そのため、ピーク時の利用制限の削減はなくなりました。

レート制限の緩和とその落とし穴

彼らはまた、Claude Codeの5時間ごとのレート制限を2倍にしました。これは素晴らしいことに聞こえますし、多くの点において実際に素晴らしいことです。しかし、罠があります。ClaudeのサブスクリプションでClaude Codeを使用する場合、2種類の利用制限があります。まずは5時間の制限です。これは現在のセッションを指します。メッセージを送信するとスタートし、5時間の枠内で一定量の推論しか行えません。これとは別に、5時間の制限に加えて7日ごとにリセットされる週間の制限があります。

ですから、数時間集中的にコーディングを行い、その後数日間はコードに触れないような、5時間の制限によく引っかかるような使い方をしているなら、これは非常に役立ちます。しかし、これを毎日複数のウィンドウを開いて1日に何度も使用し、週間の制限に引っかかっていたのであれば、状況は以前と全く変わりません。そして、最近彼らが導入し始めている、これらをはるかに長く実行し続けるような派手な新しい並行エージェントや自動レビューツールなどを使っている場合、今回の変更から大きな恩恵を受けることはないでしょう。

短時間で集中的に使用し、常に5時間の制限に達していた人にとっては素晴らしいことであり、良い状況にあります。しかし、私にとって最もエキサイティングなのはAPIのレート制限の引き上げです。これはエンタープライズ顧客向けです。新しいモデルが出るたびに新しいモデル用の毎分トークン数がほんの少ししか割り当てられず、ユーザーがOpusを使おうとしてTier 3のチャットで問題が発生するなど、私たちは本当にひどい目に遭ってきました。これらの制限の中には本当にひどいものもありました。

例えば、Tier 3で毎分16万の出力トークンというのは多いように聞こえるかもしれませんが、私は数百万に達する個別の実行を行ったことがあります。当然それらは数分以上かかりましたが、同時に3人が出力を行えば、この制限に達するのは全く難しいことではありませんでした。しかし、彼らはそれらを大幅に引き上げました。特に入力側が劇的です。

Tier 1では、入力トークンの毎分制限は3万でしたが、これは何もないに等しい数字でした。一つのリクエストで打ち切られるようなもので、実際よくそうなっていました。そして8000の出力トークンも笑止千万でした。つまり、同時に2つ以上のリクエストを実行することはできず、おそらく1つでさえ厳しいということです。そして入力トークン制限には、リクエストを出した瞬間に到達してしまう可能性がありました。ですから、それが引き上げられたのは非常に大きなことです。

Tier 2は45万から200万に、Tier 3は800万から500万に、つまり4倍以上になっています。これは狂気的です。そしてTier 4は200万から1000万へと、入力トークンが5倍になりました。Anthropicを通じてホスティングしようとしている私たちにとっては非常にありがたいことです。

APIホスティングに関する陰謀論

この部分については、掘り下げることのできる楽しい陰謀論がたくさんあります。Opusモデルは複数の異なる場所でホストできます。前述のように、Trainiumで動作し、Google TPUで動作し、そしてもちろんGoogleやAmazonのサーバーだけでなくAzureでもホストできます。これがAnthropicがエンタープライズ分野で非常に成功した理由の一つです。Anthropicは、あらゆるクラウドに存在できるように自らを位置づけました。ですから、あなたの会社がGoogle Cloudを使っていても、Azureを使っていても、あるいは最も可能性の高いAWSを使っていても、既存のセットアップの中でClaudeモデルを使うことができ、それは彼らにとって非常に大きなことでした。

Anthropicがこれほどうまくやり、OpenAIが苦戦した大きな理由の一つがこれです。OpenAIはAzure上でのサービスと自社での推論に限定されていただけでなく、Azureは彼らの推論を適切にホストしていなかったのです。14ヶ月間文句を言い続けて、ついに修正させましたが、それについては後で少し話します。

ここで私がお見せしたいのは、これらの異なるデプロイメントがどのように進行しているかに関して、本当に興味深いと思う点です。私はこういったチャートを眺めるのに時間を費やしすぎています。これは時間経過に伴う出力速度を示しています。異なるプロバイダーでモデルがどれくらい速く動作するかを測定したものです。ここでお気づきになると思いますが、Amazonが群を抜いて最速で、定期的に80 TPSを超え、時には100に達することもあります。一方、Anthropic自身の公式ホスティングは通常50台です。Googleは少し低いですが、それでも50から70の範囲で安定しており、AnthropicやAzureよりは意味のあるレベルで優れています。

しかし、AmazonとGoogleをオフにすると、ここであることに気づくかもしれません。これらの数字は本当に近いのです。不気味なほどに近い。私は、Azureは現在実際にAnthropicのモデルをホストしているわけではないという、私が信じ始めている陰謀論を耳にしています。むしろ、彼らは公式のAnthropic APIにリクエストをパイプで流しているだけだというのです。単に別のNvidiaクラスターが存在し、同じ方法でホストしているため、推論の速度がほぼ同じになっているという可能性もあります。しかし現時点では、Nvidiaをホストしている2つの企業がOpenAIに似たようなパフォーマンスさえ出せていないのを見ているので、私は必ずしもそれを信じていません。

このほぼ完全なミラーリングは、これらのモデルが現在Azure上のAnthropicを経由してパイプされていることを私に示唆しています。将来的にはこれが変わる可能性も十分にありますが、これが異なるデータセンターからのものだとしたら驚くほど、これらが互いにミラーリングし合っているように見えるのは非常に明らかです。完全に間違っている可能性もありますが、本当に興味深いと思ったので話題にしました。特にAmazonとGoogleは、時間経過に伴うパフォーマンスもレイテンシ特性も意味のあるレベルで優れているからです。ただ言及する価値のある面白い事実だと思っただけです。

AmazonとGoogleもAnthropicにパイプしていると言う人もいますが、それは無数の理由から明らかに間違っています。しかし今、このチャートを見れば、ええ、明らかですよね。ですから、すべてがパイプされていると考えているなら、それは違います。Azureがパイプしているかもしれないと考えているなら、その可能性はあります。

xAIとCursorによる世界最高のAI開発

コンピュート問題についてはカバーしました。これが私たちにどう影響するかもカバーしました。いよいよエキサイティングな部分について話す時間です。xAIで一体何が起きているのでしょうか。ほんの数週間前、この投稿がCursorの初期投資家としての私の世界を揺るがしました。再度言いますが、ここにはバイアスが含まれていることを考慮してください。

xAIとCursorは現在、世界最高のコーディングおよびナレッジワーク用AIを作成するために密接に協力しています。Cursorの優れた製品とエキスパートなソフトウェアエンジニアへの流通網、そしてSpaceXが持つ数百万のH100に相当するColossusのトレーニング用スーパーコンピュータを組み合わせることで、私たちは世界で最も役立つモデルを構築できるようになります。Cursorはまた、SpaceXに対し、今年後半にCursorを600億ドルで買収する権利、または両社の協力の対価として100億ドルを支払う権利を与えました。

AI成功のための3要素と良質なデータの難しさ

AI分野で成功するためには3つのものが必要です。研究、具体的にはこれらすべての素晴らしい技術を実現できる科学者や研究者です。データ、これは世界中から収集するデータだけでなく、優れたデータでモデルを訓練するために自ら製造したりプロセスを作成したりするデータも含まれます。そしてもちろん、これらすべてを行うためにはコンピュートが必要です。これらすべてを手に入れるのは困難です。

OpenAIが初期に非常に成功した理由は、研究面で斬新な解決策を見つけたからです。彼らはスクレイピングを行って大量の良質なデータを見つけ出しました。そして特筆すべきはコンピュートで、彼らには資金がなかったため、当初はそれが弱点でした。現在OpenAIとイーロン・マスクの間で起きているいざこざの一部もそれが理由です。彼らが営利目的にならざるを得なかったのは、スケーリング則を信じ始めた時に、必要なコンピュートを獲得する他の方法がなかったからです。

さて、xAIにコンピュートがあることはわかっています。それは確立された事実です。量については後で話しますが、まずはデータの側面について話したいと思います。xAIにはデータがたくさんあると思うかもしれません。Twitterの歴史上すべてのデータを持っているからです。そのデータは存在しますし、彼らは確かに持っていますが、個人的にはTwitterに多くの時間を費やしてきた身として、Twitterを深く理解しているようなものを自分のチームに、ましてや自分のモデルには入れたくありません。

良さそうに見えるデータが問題を引き起こすのは非常に簡単なことです。これは私の好きな逸話の一つです。この情報はReducto AIの研究者が、データをクリーンアップする前後の結果について共有したものです。データのクリーンアップを行うと完全に消えてしまうような損失のスパイクが大量に発生していました。そして、その後に誰かが共有した本当に面白い例がありました。それは、GPT-3のトレーニングで、電子レンジの音のサブレディットからスクレイピングしたために損失スパイクが発生したというものです。トレーニングのバッチは、ただひたすらmという文字が繰り返されるテキストだったのです。

すべての企業がデータをクリーンアップすることの重要性に気づいているわけではないので、この話はさらに面白くなります。例えば、Geminiモデルに電子レンジの音を出すように頼むと、この悪いデータに引っかかり、出力トークンが尽きるまで無限ループに陥る可能性が高いです。私もGeminiでこのような奇妙な経験をたくさんしてきました。今はこれを再現することはできませんでしたが、まあそういうことです。良質で信頼できるデータを入手するのは、皆さんが考える以上に難しいのです。

そして、そのデータはxAIが持っているものではありません。彼らにはTwitterがありますが、私たちがAIモデルにできるようにしてほしい複雑な問題を解決するために、Twitterは望ましい情報源ではありません。xAIは少し遅れて参入したため、すべてのデータをウェブからスクレイピングすることはできませんでした。もはやそれは現実的ではないからです。それに加えて、主要な研究所のほとんどは、スクレイピングしたデータから離れ、自らデータを作成し、購入し、製造し、ラベル付けを行い、これらすべてのことを自社で行う方向にシフトしています。

人間のデータを生成し、ラベル付けし、研究所に販売する企業という完全に特化したサブ産業すら存在します。製品を出荷するつもりなど全くなく、ただ履歴を生成するためだけに完全な製品を構築しているエンジニアを抱える企業もあります。モデルがその履歴を学習できるようにするためです。

コーディングAIを賢くするデータの生成方法

AIチャットでこのような経験をしたことは誰にでもあるはずです。Cursorやその他の似たようなツールを使って、機能の構築を始めるようにお願いし、モデルが一部を構築し、次に何をすべきかを指示し、モデルがそれを実行し、また次のことを指示する、といった具合です。私が頭がおかしいわけではありません。以前はエージェントを使ってコードを書いていたとき、私たちは皆このようなことをしていました。エディタにチャット機能が登場してからは、皆がこういう使い方をしています。

今、私たちにはこの履歴があります。CursorであれClaude Codeであれ、その他のツールであれ、すべての開発者全体で見れば、おそらく何百万もの履歴があるでしょう。何かをお願いし、最初の部分をやってくれて、次の部分をお願いし、それをやってくれて、それを何度も繰り返し、おそらく修正も加えながらスレッド形式で構築していくとします。もしかしたらあなたは、ここでは第二部の何かを見落としているよ、と指摘するかもしれません。そしてモデルは、ああ私のミスでした、これで修正します云々、と返答します。

モデルと一緒にコードを書くというこのような経験は誰にでもあるでしょう。この履歴を取り出してトレーニング中にフィードバックすることはできますが、それによって挙動が良くなるわけではありません。既存の履歴に基づいた挙動を強化しているだけなのです。どうすればこれを改善できるかご存知ですか。小さな変更を一つだけ加えましょう。

まず、この第一部の構築から始めるという部分を独自の独立したメッセージとして切り出します。つまり、この機能を構築したいという部分があります。機能を説明して、それに対して第一部の構築から始めましょうとモデルが答える状況を想像してください。それらを分離します。そして今度は、この履歴にもういくつか変更を加えます。次に何をするかというと、モデルにこの履歴が示すような振る舞いをさせようとしていることを思い出してください。モデルに私たちが望むように振る舞わせるため、強化学習に使うための本当に良い履歴が欲しいのです。

さて、この非常に複雑なトリックの準備はいいですか。最初の要求以降のこれらすべてのユーザーのメッセージを受け取り、それらを左にシフトさせます。おや、これは見覚えがありますね。これは、私たちが現在代わりに行っているワンショットのようなものです。人々が望むものを構築し、それがうまく機能した良い履歴を取り、フォローアップのユーザーメッセージをすべて左にシフトさせ、それを学習させるのです。私たちはモデルとやり取りをすることで、研究所が必要とするデータを生成します。モデルが何を間違えていたのかというデータを研究所に提供し、彼らはそれを使って、私たちのフォローアップを移行し、モデルをより賢くすることができるのです。

今やモデルはこれを使ってトレーニングすることができます。推論の軌跡や、モデルが実際に物事をステップに分解して実行するプロセスを読めば、誰もがこれを見たことがあるはずです。モデルは最初のステップを実行します。何か間違いに気づきます。それをユーザーの介入なしにすべて修正します。これらすべては、強化学習に使われる前に私たちがやっていたことにすぎません。

なぜCursorのデータが圧倒的に価値があるのか

なぜここでこれが重要になるのかお話ししましょう。Twitterが持っているデータは、Twitter上での人間同士のやり取りです。これらのケースにおいてそれは役に立ちません。このために信じられないほど役に立つデータソースが何かわかりますか。ヒントをあげましょう。私はもうあまり開くことはありませんが。

Cursorには想像し得る限り最大のこのデータのコーパスがあります。なぜなら、私たちがCursorで使用したすべての世代のモデルは、チャットでの私たちのすべてのやり取りを取得しているからです。このすべての情報を持っています。このすべてのデータを持っています。より良くトレーニングされるために必要なすべてを持っています。だからこそ、Composer 2はコーディングにおいてKimmyよりもはるかに優れているのです。Kimmyをベースにしているにもかかわらずです。かなり賢いモデルを取り出して、信じられないほど長い間これらのループを回し続けると、このような長期的なタスクにおいてよりはるかに信頼性が高まるからです。

さて、xAIがコンピュートを持っていることは確認できましたが、彼らにはデータがありません。そして、研究者がいるかどうかは定かではありません。彼らが抱えていた人々の多くは去ってしまったので、現時点で確実に言うことは難しいですが、いる可能性も十分にあります。確実に知るのは難しいです。確実に持っていたのはコンピュートだけでした。

ではCursorはどうでしょうか。Cursorには従来のフロンティアラボのような研究部門はありません。つまり現時点では自社でモデルの事前学習を行っているわけではありません。いずれ変わる可能性はありますが。しかし彼らにはデータがあります。私はCursorがどの研究所よりも優れたデータを持っていると主張します。なぜならAnthropicのような他の研究所はClaudeの実行データしか持っていません。OpenAIのような研究所はGPTの実行データしか持っていません。Cursorはあらゆるものの実行データを持っています。

だからCursorは独自の事前学習を行いたがっているのです。彼らは研究にますます多額の投資を行っています。彼らは信じられないほど大量のデータ、本当に途方もないレベルのデータを持っていますが、これまでコンピュートを持っていませんでした。だからこそ、この発表は非常に興味深く、私の意見では大いに理にかなっているのです。

SpaceXとxAIは、コードを書くモデルを訓練するために必要なデータを持っていません。彼らはGitHubをスクレイピングすることはできますが、GitHubをスクレイピングしても、事前学習に投入するような良いコードが見つかるだけです。そのコードを書くためにモデルがどのように振る舞うべきかは教えてくれません。ちなみにGeminiモデルも同じ問題を抱えています。

もしあなたが、なぜ彼らがanti-gravity内でOpusの使用にあそこまで強力な補助金を出していたのか疑問に思っていたなら、それが理由です。彼らは同じデータが欲しかったのです。スレッド内でのモデルの挙動に関するデータは非常に価値があり、SpaceXはコード用のそれを持っていません。Cursorはコード用のそのデータをすべて持っています。私は、ここでの100億ドルの支払いは、単にデータのためのものだと主張します。

SpaceXは今年末にCursorを買収しないことを選択することもできます。もし彼らが買収しないことを選択した場合、彼らは実質的にCursorから得ているデータに対して100億ドルを支払っていることになります。しかし、Cursorでの研究やCursorでの継続的な製品開発がSpaceXにとって価値のあるものであり続けるなら、彼らは600億ドルでCursorを買収するでしょう。

もう一つ注目すべき点は、これらの数字が非常に近いことに対して、SpaceXがなぜ彼らを手放すようなことをするのか私には理解できないということです。これらの条件が締結された理由は、2つのケースがあるからです。Cursorは彼らが持っているデータによってのみ価値があり、SpaceXはそのために100億ドルを支払う用意があるか、またはCursorにはそれ以上の価値があるかです。その場合、SpaceXはデータ以外の価値も含めて会社全体に600億ドルを支払う用意があります。つまり、データを奪うために100億ドルか、すべてを奪うために600億ドルかのどちらかです。これがこの取引の考え方です。

Anthropicの強硬手段と泥沼の駆け引き

しかし、先ほどのxAIスタッフがCursor内部でAnthropicモデルの使用を禁止された件を思い出してください。Anthropicモデルを使ったCursor内での実行データをxAIに渡したくないからです。なぜなら、xAIがCursorを通じてAnthropicを利用できれば、彼らはこのデータの独自のコーパスを構築し始め、それを使ってxAIをより良くしようとすることができるからです。これは、Anthropicモデル上のCursorを使ってデータを生成するだけで、Grokのコード能力をより良くできたかもしれない実際の方法でした。

そしてAnthropicは、競合他社がこのデータを持つことに非常に敏感であり、競合他社がデータを入手するのを防ぐためならどんなことでもします。たとえCursorとの長年の関係に意味のある損害を与えてでもです。彼らは常に非常に親密な関係にありました。その時点でCursorに出向いてxAIの禁止を命じるというのは、前例のない動きです。

これがSpaceXとCursorの発表につながった発端の瞬間だったと私は考えています。これはイーロン・マスクがAnthropicに、おいお前ら、俺たちがデータを入手するのを止めることはできないぞ、Anthropicのモデルを使って人々が残したすべてのチャット履歴をより良い環境で手に入れ、それを利用して君たちと競争するモデルを作ってやる、くそくらえAnthropic、と知らせた出来事だったのです。

しかしこれは長い時間がかかるプロセスであり、現在xAIには山ほどのコンピュートが手元にあります。Cursorが彼らとの協力を喜んだもう一つの理由はそれです。この取引が成立したとき、Anthropicはめちゃくちゃ激怒したと確信しています。Anthropicはこれを受けて、暴力的な行為に及びたいとさえ思ったことでしょう。なぜなら彼らは、自社のモデルで生成されたデータが他の競合他社に渡るのを防ぐためなら、常に可能な限りのことを行うからです。

彼らは過去に非常に多くの汚いことを行ってきました。中国の蒸留攻撃に関するひどい記事を書いたことや、SpaceXをブロックしたこと、OpenAIが買収するかもしれないと考えたときにWindsurfをブロックしたことなどです。これらすべては、競合他社にデータが渡らないという彼らが望む結果を得るためなら、喜んで汚い手を打つAnthropicによる本当に汚い手口でした。

イーロン・マスクは俺のビールを持っとけと言いました。これはほぼ確実に両当事者間でいくつかの激しい議論を引き起こしたでしょうが、ここで成功に必要な3つの要素のチャートに戻ります。xAIはコンピュートを持っています。彼らはデータも取得したばかりです。非常に競争力を持つまでに、あとは数人の優秀な研究者を残すのみです。

Anthropicには研究者がいます。それが彼らの持っているものです。そこが圧倒的に最強の部分です。私はAnthropicの研究チームが信じられないほど才能があり熟練しているという事実以外に、彼らの開発者嫌いについてこれ以上悪く言うつもりはありません。世界最高レベルであり、OpenAIと同等かそれ以上に優れています。Anthropicは世界をリードする研究を行っています。Anthropicのプロダクトはひどい状況にもかかわらず、Claude Codeのようなツールは間違いなく利用可能なより多くのデータを取得しています。そして、Opus 46や47で見られた改善は、単に45からの実行データを少し修正し、強化学習を通じて新しいモデルをより良くするために利用しているだけだと私は確信しています。

しかし、Anthropicに欠けているのは3つ目、つまりコンピュートです。xAIには研究とデータがありませんでしたが、コンピュートは持っていました。Anthropicには研究とデータがありますが、コンピュートがありません。Cursorは一種の研究を持っていますが同じレベルではないので、バツにしておきましょう。彼らは絶対にデータを持っています。コンピュートは持っていません。OpenAIは3つすべてを持っている唯一の企業です。

すべてが突然理にかなって見えませんか。xAIには埋めるべき穴がありました。彼らは研究の穴とデータの穴を埋める必要がありました。Anthropicにも埋めるべき穴がありました。彼らはコンピュートの穴を埋める必要がありました。Cursorはこの次世代をどう生き残るかを考える必要があります。彼ら全員が恐れているのはOpenAIです。そしてAnthropicがかつての敵であるxAIと手を結ぶ用意があるという事実は、彼らがいかに必死にOpenAIが参入してきてすべてを破壊するのを防ごうとしているかを示しています。

OpenAIの脅威と各社の焦り

現在、AnthropicにとってOpenAIをより一層恐ろしい存在にしている2つの要素があります。1つ目は、Codexが爆発的に進化していることです。歴史的にAnthropicが支配してきたコーディングタスクにおいて、OpenAIのモデルを使うことが劇的に良くなっています。しかし、もう一つの大きな要素は、OpenAIが現在AWS上で動作するようになったことです。まだ完全ではありませんが、間もなくOpenAIはAWSをサポートするようになります。

以前はそうではありませんでした。もしあなたがAWSを利用していて、誰もがAWSを利用している状況で、BedrockでAnthropicのモデルは使えてもOpenAIのモデルは使えなかったため、Anthropicは大きなリードを保っていました。それが変わった今、Anthropicの最大の武器は消え去り、コーディング能力における優位性も急速に失われつつあります。ですからAnthropicはここで、xAIによって一時的に解消された現在のコンピュートに対する切羽詰まった状況が、この提携の見え方に潜むリスクに見合うだけの価値があるという、かなり狂った賭けに出ているのです。

Colossusの巨大な計算資源

しかし、私はまだあの最後の一文について話していません。これは再びイーロン・マスクからの言葉です。SpaceX AIはすでにトレーニングをColossus 2に移行していたため、AnthropicにColossus 1をリースすることに同意した。

コンピュートは2つの目的で必要になります。トレーニング用と、ユーザーからのリクエストを処理するための推論用です。ユーザーがあなたの会社のモデルを使っているとき、そのリクエストを処理するためにGPUやTPUなどが必要になります。Colossus 1はかなり大規模なデプロイメントです。Epochによると、Colossus 1は約442メガワットの電力で、約28万基のH100を擁しています。本当に狂気的な数のGPUです。

Colossus 2はまだ生産中であり、準備は完了していません。1.5ギガワット、つまり1500メガワットの電力と、140万基のH100相当を持っています。これは425メガワットから1500メガワットへの3倍の電力増加です。そしてGPUの数も劇的に増加しています。約5倍の150万基です。

しかし、ここで注目すべき非常に具体的な表現があります。SpaceXはすでに推論ではなく、トレーニングをColossus 2に移行したということです。Anthropicの部分を省き、SpaceXがトレーニングをColossus 2に移行したという部分にだけ焦点を当てると、それが意味するのは、彼らはGrokの推論をColossus 1で実行しているということです。つまりGrokに割り当てられているのは442メガワットです。Grokにはそれほどの推論能力が必要だとは思いません。Twitter上で利用する以外でGrokを使っている人を私はあまり知らないからです。現時点では単純に良い選択肢とは言えません。Grok 4が出たときに非常に短期間だけベンチマークでリードしましたが、すぐにそれを失い、誰にとってもデフォルトになるほど使い物になったことはありません。

ですから彼らは442メガワットのコンピュートを持っています。明らかにその一部をCursorに提供しています。私はトレーニング用としてColossus 2の多くを提供すると推測しています。ではColossus 1の442メガワットのうち、彼らはどれくらいをAnthropicに提供したと思いますか。覚えておいてください、彼らは自分たちの推論用にいくらか残しておく必要があります。チャットの皆さんの予想を聞いてみましょうか。何パーセント、あるいはどれくらいの数でしょうか。20パーセント、あるいは40パーセントを手放したと考えているようですね、妥当な予想です。250メガワット、60パーセント、70パーセント。

では公式な数字を見てみましょう。なぜか彼らは親切にもこれを共有してくれたからです。これにより、1ヶ月以内に300メガワットを超える新しいキャパシティ、22万基以上のNvidia GPUへのアクセスが可能になります。これはColossus 1のほぼすべてです。425メガワット中300メガワットであり、28万基中22万基のGPUです。

つまり、xAIは現在Grokの推論に100メガワット程度しか必要としていないということであり、これは非常に面白いことです。彼らは実質的に、Grokを提供するための大量のH100を備えた巨大なデータセンターを持っていましたが、誰もGrokを必要としていないためにそれが使われていなかったのです。そしてイーロン・マスクはすでに、建設に440億ドルかかった次世代データセンターのColossus 2に莫大な投資をしていました。ちなみに、このデータセンターが実質的に使われていないのは、Colossus 2があるからではなく、単に誰もGrokを使っていないために推論を行っていないからだというのが面白いと思いました。

彼らは合意によってColossus 1のすべてのコンピュートキャパシティを使用できるようになるだろうと明記していましたが、記事の中ではそれが1ヶ月以内のすべてのコンピュートであると述べられていました。これが具体的に意味するのは、Grokのためにまだ行っているわずかな推論をすべてColossus 2に移行するということです。Colossus 2は5月13日までに完全に稼働すると主張されています。確実に知るのは難しいです。こういった期限は常に先送りされるものですから。ただ私が面白いと思ったのは、彼らが行っている推論が少なすぎて、こんなことは彼らにとってほとんどどうでもいいことになっている点です。

結論と今後の展望

もしこの動画から何か一つ持ち帰るとしたら、おそらくこのチャートでしょう。これが、なぜこれらの事態が起きているのかを示しています。xAIがCursorを買収したい理由はデータのギャップを埋めるためです。AnthropicがxAIと提携したい理由はコンピュートのギャップを埋めるためです。OpenAIがこれらすべてを無視している理由は、彼らが少しうまく事前計画を立てていたからです。そしてGoogleがこのチャートにいない理由は、これらすべての要素をある程度持っているにもかかわらず、何か有用なものを作るのに十分な時間、自分たちを抑え込むことができないからです。

そして将来、Anthropicがここ数年でコンピュートを大幅に増強し、今年の終わりまでにAmazonで1ギガワットのTrainium、長期的には全体で最大5ギガワットになり、GoogleとBroadcomとのBedrockに関する同様の合意、Azureでの300億ドル、さらにアメリカのAIインフラストラクチャへの多大な投資が行われることで、これらすべてが最終的に彼らがコンピュートでリードすることを示唆しています。

しかし、私たちがこれまで何度も確認してきたように、コンピュートは実現するのに長いリードタイムを要するものです。今すぐこのコンピュートが欲しいと言って手に入るものではありません。2年前に購入した人から手に入れるか、2年以上先のコンピュートの発注を出すしかありません。ですから、イーロン・マスクが早期に購入し、サービスを提供するユーザーがいなかったことで、彼には販売できる余剰のコンピュートがあったということです。Anthropicは購入量が少なすぎ、予想の80倍のユーザーを抱えたため、利用できるコンピュートが全くありませんでした。天国で結ばれたような完璧な組み合わせです。

イーロン・マスクのAnthropicに対する本物の憎しみを無視すればの話ですが。彼は十分な数十億ドルのために、その憎しみをほぼ完全に無視する用意があります。私はこれがすべて異常なことだと思います。コンピュートを手に入れるために、これらすべての人々が自分の道徳を喜んで脇に置くという事実は、彼らが皆、自分たちの投資を価値あるものにするためにいかに必死であるかを示しています。

そして現実を見ましょう。この状況の大部分は、イーロン・マスクがOpenAIを深く憎んでいるという事実に影響を受けています。彼は、OpenAIと同じくらい成功する者を誰でもいいから作り出すために、これらのギャップを埋める目的でAnthropicと喜んで協力するのです。そしてこの両社がOpenAIを嫌悪していることを思い出すと、OpenAIと直接競争するために互いへの憎しみを無視できるというのは、完全に理にかなっています。敵の敵はコンピュートを持っている。だから俺はそれを利用する。

ここで私から言うことはもう何もありません。これらの研究所間で繰り広げられる完全なカオスについてのこの詳細な分析を楽しんでいただけたなら幸いです。一度詳細に踏み込み、どの資金と割り当てがどこに向かっているのかを見るのは本当に楽しいことだと思います。GPUを追跡すると多くのことが理にかなってきます。楽しんでいただけたことを願っています。次回まで、ピース、オタクたち。

コメント

タイトルとURLをコピーしました