オープンウェイトのAIモデルは素晴らしい技術だが、それを消費者向けのハードウェアでローカル稼働させるという考えは非現実的である。高性能なモデルを動かすには莫大なVRAMが必要であり、高額な機材費や電気代、並列処理の制限などを考慮すると、個人環境での運用は理にかなっていない。ローカル環境での実行にこだわるのではなく、クラウドホスティングの競争力を活かしてオープンウェイトモデルを利用することこそが、効率的で現実的なアプローチである。
ローカルモデルの現実について語らせてください
事前に謝っておきますが、少しだけ感情を爆発させる必要があります。これから話す内容を誇りに思っているわけではありませんが、私が言わなければ誰も言わないのではないかと心配なのです。以前他の場所でこの話をしたとき、1日に50件ほどの殺害予告を受け取ったので、今回のコメント欄も大荒れになることはすでに予想がついています。これから話す対象となる人たちは、本当に狂っています。ただ、本題に入る前に、ここで何を話そうとしているのか、この動画の範囲はどこまでなのかを明確にしておきたいと思います。オープンウェイトのモデルは素晴らしいです。私は大好きですし、とてもクールで、エコシステムが発展するために絶対に欠かせないものです。オープンウェイトとオープンソースは実質的にかなり似ているので、オープンウェイトはオープンソースではないと主張する人たちに興味はありません。どうでもいいことです。特に政府が特定のモデルを規制し始めている今、私たちがAIのエコシステムや状況を進化させ続けるために、オープンウェイトのモデルは不可欠です。優れたオープンウェイトモデルが必要なのです。では、私がオープンウェイトに賛成しているのなら、この動画はいったい何についてなのでしょうか。
ちなみに、GLM52は素晴らしいと思っています。皆さんが自分でダウンロードできるオープンウェイトのものとしては、54やOpus 4647に追いつきそうなほど信じられないくらい優れています。それは本当にすごいことです。しかし、ここには落とし穴があります。私は自分でダウンロードできると言っただけで、自分で実行できるとは言っていません。GLM52のようなモデルは、驚異的であるにもかかわらず、完全な適切なバージョンを実行することはほぼ不可能です。52は控えめに見積もっても400GBあります。つまり、それだけのVRAMを持っていなければ、モデルをフルに活用することはできないのです。これはとんでもないデータセンターの環境では見事に動作し、信じられないようなことができるモデルですが、ローカルモデルではありません。そして、もし皆さんが完全な精度のGLM52 BF-16、1.5テラバイトのモデルに興味があるとしても、この動画を見ている人が家にあるようなデバイスでは絶対に動きません。もしこれを家にあるもので動かせる人がいるなら、なぜColossus 1か2の中に住んでいるのかとても気になります。
このようなモデルの量子化されたバージョンや軽量化されたバージョンでさえ、依然として200ギガバイトの範囲にあり、ほとんどの消費者向けハードウェアでは動きません。仮に動いたとしても、ギリギリなんとか動くといったレベルです。そして、これは私がローカルモデルというものが過大評価されており、馬鹿げていると思う理由のほんの始まりにすぎません。ローカルモデルはGLM52ではありません。それはかろうじて機能する量子化されたGemma 4のようなものです。そして、ローカルモデルの世界に存在するすべての問題において、私たちはまだ氷山の一角に触れただけなのです。もし、CodeXやクラウドのコードを自分のGPUで動くもので置き換えられると話している人がいたら、あなたは嘘をつかれています。今日のスポンサーの短い休憩の後に、その理由を説明します。
スポンサーメッセージ：General Translation
もし私が、今日のスポンサーを利用すれば潜在的な顧客基盤を4倍にできると言ったら、あなたはおそらく私のことを頭がおかしい嘘つきだと呼ぶでしょう。私はある意味頭がおかしいですし、ある意味嘘をついているので、それは理にかなっています。General Translationを使えばあらゆる言語で製品をリリースすることが簡単になるため、実際には5倍になるからです。もしあなたが英語だけでリリースしているなら、世界の81%を取り残していることになります。英語を母国語としているのはわずか5%で、全体でも19%しか英語を話しません。そして、その19%の多くも他の言語を好む傾向があります。ですから、すべての言語をサポートすることは非常に重要です。しかし、それには常に膨大な手間がかかっていました。私の言うことを信じてください。私はTwitchでこのためのシステム構築を手伝いましたが、それは悲惨なものでした。
General Translationはそれを簡単にしてくれます。犯罪的だと思えるほどです。彼らのnpx gt at latestコマンドを実行すれば、すぐに始められます。あるいは、私のような昔気質の人なら、自分でコードを見に行くこともできます。使っているフレームワークやツールのプロジェクトにパッケージをインストールし、設定をインポートし、サポートしたい言語を選択して、アプリをプロバイダーでラップします。これ以降、彼らのヘルパーコンポーネントTを使用するため、翻訳を追加するのは非常に簡単になります。すべての文字列をラップする必要はありません。翻訳すべき文字列があるセクションをラップするだけです。そうすれば、彼らのシステムが重要なテキストをすべて抽出し、翻訳を生成して、リリースの準備ができたときにアプリに提供してくれます。
すべてがCIの一部として機能し、これ以上簡単なことはありません。ローカルのセレクターや、フォーマットすべきではない変数コンテンツの処理、場所に依存してフォーマットが大きく変わる数値、さらには手動で正しく設定するのが非常に面倒な日付、時間、通貨など、このような機能に必要な厄介なコンポーネントはすべて提供してくれます。Cursor、Ramp、Click House、Particleなどの企業が翻訳管理にGeneral Translationを利用しているのには理由があります。英語を話す人だけでなく、もっと多くのユーザーを獲得したいからです。soy dev.link/gtで、より多くのユーザーに彼らの言語でサービスを提供しましょう。
実行可能であることと実用レベルであることのギャップ
それでは、なぜ私がローカルモデルの熱狂を馬鹿げていると思うのかについて話しましょう。これには多くの層がありますが、冒頭でほのめかしていた、実行可能であることと優れていることのギャップについてまず締めくくりたいと思います。あなたのノートパソコンで実行できるモデルは、存在すること自体が信じられないほど素晴らしいですが、実際の仕事には役に立ちません。アンティレズのDS4のような例外もいくつかあります。アンティレズはRedisの作成者であり、MacBookでDeepseek V4モデルを使用できるようにするために、Cベースのランタイムをゼロから構築しようとしています。これは、超大容量メモリのマシンでV4 Proを一部サポートしつつ、まずはDeepseek V4 Flashに最適化されたネイティブの推論エンジンです。Flashを使用するためだけでも、これがDeepseek V4の小さいバージョンであることを思い出してほしいのですが、MacまたはNvidia CUDA、もしくはStrix Haloのマシンで少なくとも96ギガのRAMが必要です。
でもセオ、私のゲーミングPCには5080と128ギガのRAMが積んであるよ、と言うかもしれません。5080のRAM容量を知っていますか。実際に重要なのはそこなのです。16ギガです。こんなものには到底収まりません。じゃあ、5090にアップグレードすればいいと言うかもしれません。それのVRAM容量を知っていますか。32ギガです。それでも全く収まらないのです。高級なゲーミングPCにどれだけRAMを積んでも関係ありません。VRAMが飽和した時点から先は、推論において何の恩恵もありません。では、なぜ128ギガのRAMを搭載したMacBookの方が優れているのでしょうか。それは、それがVRAMでもあるからです。ユニファイドメモリなのです。
このような目的に役立つ大容量のユニファイドRAMを手に入れるために、消費者が検討できる現実的な選択肢は基本的に3つあります。選択肢の1つ目は、ここでお話ししたような十分なRAMを搭載したMacBookです。もしRAMを増やすために価格が30から50%上がり、2倍以上になってしまったら本当に残念なことです。現在、ほとんどのMacで128ギガのオプションは3000ドルも追加でかかります。ですから、これは除外されます。もしこれらを最高でも12TPS程度で実行したいのであれば、DGX Sparkを買うのもいいかもしれません。ええ、私はDGX Sparkを持っています。ただそこに置いてあるだけです。売ってしまった方がいいかもしれません。役に立ちません。大容量のVRAMを使ってCUDAのデバッグをしたいだけで、パフォーマンスを気にしないならクールですが、それ以外には役に立ちません。残る選択肢はStrix Haloで、これはいくつかのノートパソコンやFrameworkのデスクトップで手に入ります。Macを使いたくないなら、これが一番良い選択肢でしょう。これらを実行するのに十分なRAMを確保するための、現実的な唯一の消費者向けオプションはそれらだけです。そして、これらはどれも本物のGPU、つまり本物のハイエンドなNvidiaハードウェアではないため、快適に動作することはありません。
ここで私のMacでよく見かける非常に興味深い問題があります。繰り返しますが、私は十分なRAMがあるため、128ギガのRAMを搭載したMacBookでこれらを動かしています。もしこのMacと私の5090の両方に収まるモデルがあれば、5090の方が3倍以上速く動作します。例えばGemma 4を取り上げると、ここではそこそこ動きますが、両方のVRAMに収まるため5090の方がはるかに快適に動きます。しかし、ProではないDeepseek V4 Flashのような大きなモデルに切り替えると、私のMacBookではまあまあ動きますが、デスクトップではGPUがボトルネックになるためVRAMが足りず、まったく使い物になりません。
つまり、選択肢としては、これらのユニファイドボックスのいずれかで十分なRAMを確保して計算能力を大幅に下げるか、RTX 6000と同等レベルの5090のようなハイエンドチップで十分すぎるほどの計算能力を確保するかのどちらかです。これは高価なエンタープライズ向けのA100に匹敵しますが、VRAMの制限があり、Nvidiaは意図的にそうしています。5090はVRAM以外のすべてにおいてA100と同等、あるいはそれ以上に強力です。ですから、パフォーマンスは高いけれどモデルが微妙なものを選ぶか、モデルは少し良いけれどパフォーマンスが微妙なものを選ぶかになります。しかし、実際の開発作業において本当に優れたモデルの話になった途端、どのような形式であれ消費者向けハードウェアでできる範囲をはるかに超えてしまいます。そのとき、この96ギガの制限から200ギガ以上へと跳ね上がるのです。
参考までに、現在5090のGPU単体の再販価格は約4300ドルです。この価格は少し異常です。いや、実際には4000ドル台のようです。正気の沙汰ではありません。ばかげています。私は自分のものにそんな金額は払っていません。しかし、もっと多くのVRAMが必要なら選択肢はあります。RTX 6000 Pro、Pro 6000 Blackwellには96ギガのVRAMがあります。これならDeepseek V4 Flashのような巨大なモデルを収めることができます。そして、この価格を聞く準備はできていますか。1万3000ドルです。パフォーマンスは同じで、ただVRAMが多いだけです。このチップは5090とほぼ同じです。すでに高すぎる5090の3倍の値段なのです。よくありません。
でも心配しないでください。小さなボックスを買えばいいのです。たったの7万5000ドルで、RTX Pro 6000を4つ手に入れることができます。これならGLM52をほぼ動かせるでしょう。たくさんのGPUがあってもVRAMは期待通りにプールされないため、いくつかクレイジーなことをする必要があります。何かを複製し、他のものを分割する方法を見つける必要があります。ええ、頑張ってください。楽しんでください。でも心配しないでください、Redははるかに安いです。たったの1万2000ドルです。そしてこれは、Nvidiaの代わりにAMDのGPUをいくつか使用して動作します。128ギガという驚異的なVRAMを搭載しています。つまり、ここでもFlashが使えて、他にはほとんど何も使えません。
ここまでで、皆さんが目にしているGLM 5.2のような、驚くべきオープンウェイトモデルは、消費者向けハードウェアでは動作しないということがお分かりいただけたかと思います。小さなボックスに7万5000ドルを支払う気があるなら、そこそこの速度で1つのインスタンスを実行できます。私がローカルモデルと聞いたとき、何らかの形で消費者向けハードウェアで実行できるものを思い浮かべます。私の1万ドルのMacBookでさえ、その多くをかろうじて実行できる程度です。しかも、これはほとんどのマシンよりも設備の整った環境です。ですから、最初の問題として、これを完全に理解しておきたいと思います。オープンウェイトだからといって、自宅で実行できるわけではありません。オープンウェイトで驚異的なモデルと、自宅で実行できるモデルは全く別のものです。先ほど確認したもう一つのことは、リストの前に書いておくべきでしたが、ハードウェアのコストが異常だということです。こういったGPUを買うなら、実際に使うために買うよりも、転売目的で買う方がずっと賢明だと思います。
複数のモデルを並行稼働させる際の壁
おっと、コメント欄で言い訳をしている人がいますね。Ornithって一体何ですか。毎日、誰も使っていないような、聞いたこともないローカルでかろうじて動くモデルの新しいファミリーが送られてきます。使っている人よりも、宣伝している人の方がはるかに多いです。そしてどうやらその新しいものはOrnithというらしく、完全に悪用され、妥協されたベンチマークであるSWE-bench verified、あるいはそれが何なのかさえ知りたくないClaw evalにおいて、Opus 47や48と同等の数値を出すことができるそうです。NL2 repoのようなものを見ると、スコアは半分くらいです。あるいは、こうしたものに対して数少ない本当に優れたベンチマークであるDeepSWEを見ると、そこにあるオープンモデルは、Kimmyが30%のスコアを出し、54が52でした。Opusは低い設定で41のスコアを出し、これらのオープンウェイトモデルはとにかくトークンを消費しまくるので、実行コストが安く済みました。それがもう一つの問題で、たとえ高速に実行できたとしても、それらのモデルに存在する非効率性のせいで、めちゃくちゃ遅くなるのです。
すごいですね。Kimmy K27がSonnet 46と同等なんて。素晴らしい。とてもクールです。でも、いいでしょう。話に乗ってみましょう。ローカルモデルが現在のOpusやGPT55から得られるパフォーマンスとほぼ同じレベルに追いつくという仮想世界に入ってみましょう。仮定の話ですが、ほとんどのハイエンドMacBookで実行できる300億パラメータのモデルが、巨大で強力なフロンティアモデルと同等の能力を持つようになったとしましょう。できると仮定します。私はできないと思いますが、できると仮定しましょう。そうなると次の問題にぶつかります。並行処理です。
私が仕事をしているとき、ゼロから1つのエージェントを使うわけではありません。1から40の間をランダムに行き来しています。それぞれが独自の推論を行っています。T3コードやCodeXで2つのスレッドを実行しているかもしれません。プロジェクトのさまざまな部分を探索するために、エージェントをたくさんのサブエージェントに分割しているかもしれません。あるいは単に、ClaudeとCodeXを同時に使いたいだけかもしれません。一度に複数のエージェントを実行する理由はたくさんあります。もしあなたが、GLM52を実際に実行できるような、驚くほど高性能なシステムをセットアップしたとして、それを2回実行できますか。10回実行できますか。私が現在のアージェンティックなワークフローで実行しているサブエージェントと同じ回数だけ実行できますか。
ヒントを出しましょう。答えは絶対にノーです。絶対に無理です。そしてこれは、アイドル状態のときにお金を無駄にしているという別の問題とは切り離された話です。5つのエージェントを並行して実行するのに十分なGPUを購入した場合、5つのエージェントを並行して実行していない瞬間は、単に恩恵を受けていないことになります。アイドル状態になっているそれらのボックスは、ただお金を無駄にしているだけです。しかし、もし6つにスケールアップする必要があり、5つ分のハードウェアしか買っていなかったら、そこで行き詰まってしまいます。ワークロードの1つが終了して、次のためのレーンが空くまで待たなければなりません。
そして、もし2つの異なることを同時に実行したい場合、たとえばあるタスクには大きなモデルを使い、別のタスクには小さなモデルを使いたい場合。もしかしたら、大きなモデルがオーケストレーションを行い、小さなモデルがコードを読み取ってサブタスクを実行するかもしれません。そのワークフローを可能にするためだけでも10倍のVRAMが必要であり、それを動かすためにはるかに多くの計算能力が必要です。私が一度に実行しているモデルの数は大きく変動し、ローカルのハードウェアではまったく対応できません。チャットでvLLMのキャッシュやバッチングなどについて言い訳をしているのをよく見かけますが、いいえ、どれもこの問題を意味のある形で解決するものではありません。もしそう思っているなら、あなたは問題を理解していません。
繰り返しになりますが、これらすべてについて話すとき、私たちはモデルが現在の最先端に追いついていると想定しています。なぜなら、最先端というのは単にこのベンチマークを解くことができるというだけではないからです。それは、さまざまな段階を持つ複雑なワークフローをキューに入れ、他のエージェントがそれらの段階を完了するのを管理し、エンドツーエンドのループ全体を実行できるということです。そのエンドツーエンドのループの一部は、コンピューターの使用であることが多く、GLM52にはビジョンすらありません。信じられないほど素晴らしいコーディングモデルですが、物を見ることはできません。スクリーンショットを渡すことができないのです。それがオープンウェイトの最先端です。狂っています。それでも本当に優れています。GLM52は素晴らしいです。これが存在することにとても感謝しています。しかし、あなたはそれをローカルのハードウェアで実行することはありません。私が毎日行っているようなワークフローで実行することもありません。UIに関してはるかに優れているにもかかわらず、UIのフィードバックを受け取ることができず、自分が作ったものを見ることすらできないため、それでUIのコードを書くことはないでしょう。ただコードを知っているだけなのです。
電気代の現実とモバイルデバイスの限界
最高のモデルがどんどん巨大化しているという現実もあります。Fableのようなものは、1モデルあたり1兆パラメータではありません。2兆から10兆の間です。見当もつきません。しかし、とにかく巨大で巨大で巨大なのです。それを消費者向けのもので実行することは絶対にありません。そして、仮に実行できたとしても、別の問題があります。電気代です。これについて、優れたオープンウェイトモデルに聞いてみましょう。GLM 5.2、RTX 5090をサンフランシスコで24時間365日稼働させた場合、電気代はいくらかかるでしょうか。検索させます。さて、GLM52で少し計算してみましょう。私の5090をサンフランシスコで24時間365日稼働させるためのコストは、電気代だけで1日あたり約5ドルです。電気代だけで年間2000ドルです。わかりますか。安くはありません。ハードウェアを所有しているからといって、これが無料で済むわけではないのです。それはGPU1つだけの話です。これらのより大きなモデルを実行したい場合は、1つでは到底足りません。コストは異常です。
チャットでもう一つ対処しなければならない言い訳があります。誰もが行うすべてのことに対してフロンティアモデルが必要なわけではない、という意見です。反対はしませんが、フロンティアモデルの恩恵を受けないような用途は、今後成長していくユースケースではないと思います。ここでは現実的になる必要があります。月ごと、年ごとのトークン使用量の増加が、そういったタスクのために小型で安価なモデルに集中すると思いますか。小型で安価なモデルで解決できるタスクは、少し前に小型で安価なモデルによってすでに解決されています。フロンティアモデルの開発における素晴らしい点は、モデルを使ってできる作業の幅が広がることです。新しくてより良いモデルが出ると、モデルでできる作業が一気に増えるため、私個人のトークン消費量は飛躍的に増加します。より多くの作業の端から端まで到達できるようになり、LLMが入ってくる前のより早い段階から開始し、LLMが多くの作業を終えた後のずっと後の段階で再び引き継ぐことができます。
そして、ビジョンのような機能や、APIにアクセスしてコードレビューのフィードバックを得てそれに対処するような機能には、より良いモデルが必要です。数百万のトークンを消費するようなこの長いプロセスをこなすには、現在のフロンティアのようなものが必要です。GLM52は実際に一定時間実行できる最初のオープンウェイトモデルであり、それができるというのは本当に印象的です。それはモデルを使用する経済性を根本的なレベルで変えるものであり、純粋にとてもクールでエキサイティングなことです。だから私はオープンウェイトモデルが大好きなのです。しかし、OpenAIが行っている推論の大部分が、信じられないほど長いジョブを処理する最高のエンドモデルを回している少数の開発者や企業ではなく、ChatGPTを使っている消費者にあると思っているなら、それは間違いです。私は1回のプロンプトで1000万トークンを消費することができますが、消費者にそんなことはできません。
では、トークン使用量の1%が理論的にあなたのノートパソコンや携帯電話で動くローカルモデルで行われる可能性があるというのはクールなことでしょうか。ええ、それがバッテリーを消耗させ、デバイスをオーバーヒートさせるという事実を考慮するまでは。ここでモルグが言っているように、Gemma 3Nのようなものが携帯電話の小さなテンサーチップに収まるというのは本当にクールです。なぜなら、クラウドに行かなくてもメッセージの要約や天気の要約ができるからです。これは本当に価値のあるユースケースであり、サーバーに到達した時点で完全に暗号化が解除されてしまうデータを推論のためにサーバーに送る必要がないからです。それは素晴らしいことです。データを他の企業やクラウドに送信することなくモデルを実行する方法は私も望んでいます。だからこそ、そういったものが少しでも良くなることや、Appleが携帯電話でやっているように、サーバーを使わずにローカルのインテリジェンスを少しだけ活用する方法、さらにはよりクールなセキュアコンピューティングといったものに興奮しているのです。
しかし、問題があります。携帯電話の電力には限界があるということです。これは携帯電話で実行しているモデルの能力を制限するだけでなく、携帯電話のバッテリーを本当にひどい形で破壊することになります。ただAPIを叩くだけの方がずっとマシです。でもセオ、コンピューターはどんどんパワフルになっているじゃないか。携帯電話は毎年良くなっている。基本的には何でも動かせるくらい良くなるんじゃないの、と言うかもしれません。ここで質問です。今日の最高峰のAndroidスマートフォンは、3年前と比べてどれくらい速くなっていると思いますか。もっと良い質問をしましょう。200ドルのAndroidスマートフォンは、3年前と比べてどれくらい速くなっていると思いますか。頭の中で大まかな数字を出してみてください。
実際の数字はこちらです。確かにiPhoneは成長を続けていますし、Xiaomiが参入してAndroid側に意味のある改善をもたらしたようですね。それは素晴らしいことです。以前はそうではありませんでした。しかし、ここの安価なデバイスを見ると、パフォーマンスは文字通りまったく向上していません。むしろ、安価なスマートフォンの層ではわずかな退行すら見られます。しかもこれは、RAMや需要、製造に関する様々な問題による価格上昇が起こる前の話です。2026年にはもっとひどいことになっているでしょう。もしデバイスがこれを実行するのに十分なほど強力になることだけを当てにしているなら、あなたが間違っていることを示すチャートがここにあります。そんなことは起こりません。予算重視のデバイスのCPUは2022年以降、意味のある進化を遂げていません。
クラウドホスティングこそがオープンウェイトの真価
私たちはオープンウェイトモデルに反対しているわけではありません。ローカルモデルや、それが未来だと考えている人たちにうんざりしているだけです。フライからのこのメッセージが核心を突いています。オープンソースモデルの主な利点はローカルで実行することではないと思います。それらはプロバイダーやハードウェア側での競争を可能にします。Anthropicとのライセンス契約があるため、余裕があってもOpusをより安い価格で提供できるプロバイダーはありません。しかし、電気代の安い場所で運用し、5.2のより安い推論を提供するプロバイダーは存在します。競争は素晴らしいことです。正解です、その通り。
Open Routerのような場所に行ったとき、これの本当の利点がわかるでしょうか。まずGPT 5.5を見てみましょう。ここには選択肢があります。Azureを使うか、ヨーロッパのAzureを使うか、あるいはOpenAIのモデル、つまりOpenAIのホスティングを使うことができます。これがあなたの選択肢です。これが選択肢のすべてです。そして、どれもほぼ同じ価格に設定されています。パフォーマンスも比較的似ています。おかしいことに、私がAzureでクラッシュするまでは似ていませんでしたが、今はずっと良くなっています。どうやら現在、BedrockでのOpenAIモデルのホスティングは完全に壊れているようです。ですから、Traniumでは機能しないだろうという私の予想は的中しました。私が予言して、誰もが私が間違っていると言いましたが、私は正しかったのです。私はその勝利を受け入れ、誇りに思います。
しかし、ここではクローズドなモデルについて話すつもりはありません。オープンなモデルについて話すためにここにいます。そして、OpenAIと呼ばれているからといって、彼らのモデルがオープンであるとは限りません。残念ながら。では、5.2を見てみましょう。おっと、たくさんの選択肢がありますね。しかも価格が異なります。Waferの115 TPSで10/25のように、はるかに速くてお金がかかるものもあります。あるいはFireworksのように、信頼性に少し問題があっても、6/60で130 TPSというのもあります。素晴らしいですね。Friendlyなんかは、他の多くが提供しているのと同じ4/40で117 TPSを出しています。さらに、Deep Infraのようにさらに安く提供する企業もあります。彼らは30 TPSと少し遅いですが、一部の人にとっては理にかなった妥協であり、より安価な選択をすることができます。もう少しお金を出して、信頼性やスピードを上げることもできます。あなたには選択肢があり、しかもたくさんあるのです。
これこそが、オープンウェイトモデルが本当に輝く場所です。ホスティングスペースでの競争を可能にし、私が先ほど話した問題のほとんどを解決することができるのです。もう一度このリストに戻りましょう。実行可能であることと優れていることのギャップは、クラウドがホストしてくれるのであれば関係ありません。ハードウェアのコストが異常なことも、事実上レンタルしているのだから関係ありません。並行処理も、レンタルしているならまったく問題になりません。電気代は支払うトークンコストに含まれており、彼らは電力が安い場所にこれらのGPUやデータセンターを設置することができます。私がこのローカルモデルに対して抱いている問題のほぼすべては、クラウドホストに放り込むだけで解決するのです。
ただし、最もクールな利点の1つは失われます。それは、自分が何をしているのか他の誰にも見られない、完全に自分だけのものであるということです。そして、将来的にはセキュアコンピューティングによってそれがもう少し現実的になることをとても楽しみにしています。しかし今のところ、これらのオープンウェイトモデルの最も良いところは、さまざまなホストで信じられないようなパフォーマンスを良い価格で手に入れられることです。信じてください、私はそれらをたくさん使っています。完全にオープンウェイトで、ダウンロードして使用し、再トレーニングして好きなようにできるモデル領域における信じられないような進歩を、ただクラウドで実行できるというのは素晴らしいことだと思います。自分の仕事がこの種のモデルでこなせるのであれば、最高です。OpusやSonnetでうまくいく仕事がGLM52でも問題なく機能し、失敗の割合に意味のある違いがないのであれば、おそらくそのワークロードを5.2に移行するべきです。どれだけ速く、安くなるかというのは驚くべきことです。
見かけのトークン単価に隠された非効率性
しかし、もう一つ最後に落とし穴があります。なぜなら、その価格がすべてを物語っているわけではないからです。Deep InfraではGLM52が100万出力あたり3ドルです。一方、たとえばOpus 48は100万出力あたり25ドルです。ですから当然、はるかに安いですよね。3対25、それは大きな割引です。ほぼ10分の1の安さです。もし私が、実際にはそんなに安くないと言ったらどうしますか。現実には、Opusをエキストラハイ設定で使用するとDeepSWEで1回の実行につき約8ドルかかり、52を最大設定で使用すると約4ドルかかります。つまり、たった2倍の差しかないのです。一体どうしてそんな計算になるのでしょうか。トークンあたりの価格は文字通り10分の1ではないのでしょうか。
ここに問題があります。オープンウェイトのモデルは、実行中に消費するトークンの量がかなり多くなる傾向があるのです。Opus 48のハイ設定は52よりも効率的です。GPT55のすべての実行は、たとえエキストラハイ設定であっても、GLM52のハイ設定よりも少ないトークンを使用しました。これが問題なのです。これらのオープンウェイトモデルは、フロンティアモデルほど効率的ではありません。ですから、トークンあたりの価格がはるかに安くても、トークン数の大幅な増加は厳しいものになります。その上、答えを出すために3倍のトークンを生成しなければならないのであれば、スピードも遅くなります。3倍のトークンを生成しなければならないのなら、20%速かったとしても意味がありません。ちなみに、これがGemini 3.5 Flashをダメにしている問題です。消費するトークン数が異常なのです。
なぜチャートが逆なのかと聞いている人へ。右上が良いからです。右上に行きたいはずです。それが人々のチャートの読み方です。この種のチャートのほとんどはその方向に行く傾向があります。このチャートを逆方向にしている数少ないソースの1つがArtificial Analysisです。したがって、左上が良い領域になります。何かに気づきましたか。良い領域には何もありません。3.1 Pro Previewがちょうど角に触れているくらいで、コスト効率が良く、かつインテリジェンス的に賢いものはほとんどありません。ここでチャートを少しきれいにすると、物事がはるかに明確になります。GLM52 Maxは非常に興味深く、Gemini 3.5よりもわずかに安く、わずかに賢いです。それは良いことです。素晴らしいです。だからこそ私たちはオープンウェイトモデルが好きなのです。これはこのチャートの中で本当に競争力のあるポイントです。しかし、GPT55をミディアムかロー、どちらかわかりませんが、オンにしたときに何が起こるか見てみましょう。ほら、55のミディアムもGLM52と互角で、トークンあたりのコストははるかに高いにもかかわらず、全体としては安くなっています。
現実的なアプローチを求めて
私はGLM52をけなすためにこれを言っているわけではありません。これは信じられないほど素晴らしいモデルであり、これが存在することにとても感謝しています。なぜかGPT55よりもUIに関しては優れており、それは驚くべきことです。彼らはこのモデルで素晴らしい仕事をしました。本当にめちゃくちゃ良いです。しかし、ここにある価格だけを見てそれがすべてだと思ったり、ローカルで動かせると聞いて興奮し、試してみて文字通り不可能だと気づいたりする人たちが考えているような、魔法の解決策ではありません。
私がここで言わなければならないことはすべて言ったと思います。これはずっと前から爆発させるべきだった不満です。私はこのことについてずっとイライラしていました。オープンは素晴らしいです。競争力のある市場は必要です。もし優れたオープンウェイトの開発がなければ、機能向上を続けるインセンティブを持つエコシステムは存在しないでしょう。DeepSeek R1のようなリリースは、業界全体を本当に強力な形で前進させました。私は業界として、可能な限り最高のオープンウェイトモデルを作ろうとしない世界など望んでいません。ただ、これらのものを自分のネットワーク上や自分のGPUで実行して、適正なレベルに近いパフォーマンスを得られると信じるのは狂っていると思うだけです。ましてや、フロンティアの研究所から得られるものと比較できるレベルなんてあり得ません。
もしこの動画を切り取って「セオはオープンウェイトやオープンソースが嫌いだ」と枠付ける人がいるなら、誰かがこの部分を切り取ってその人に見せてくれることを心から願っています。なぜなら私はオープンウェイトモデルが大好きだからです。私がT3 Chatを作ったのも、DeepSeekラインのオープンウェイトモデルが大好きだったからです。私はオープンウェイトの大ファンです。ただ、誰もが優れたフロンティアレベルのオープンウェイトモデルを自分自身のハードウェアで実行するだろうと妄想するのは間違っていると思うのです。そして、明らかにそうではないのに、これが現実的な道であるふりをするのはやめてほしいと願っています。
ですから、ローカルモデル派の人たちにお願いです。自分のコンピューターでこれが動くと偽って、オープンソースやオープンウェイトの運動を傷つけるのはやめてください。自分のシステムで動かせると人々を騙すことなく、オープンウェイトモデルがいかに優れているかを語れるようになる必要があります。動かせないのですから。それは愚かで、非現実的です。クラスター内にたくさんのGPUを並べて、こういったもので遊ぶというアイデアが好きでやっているだけなら、それは本当に楽しいでしょうし、素晴らしいことです。とてもクールで楽しいことですし、それについて大いに語るべきです。しかし、AnthropicやOpenAIの支配から抜け出すために誰もがこれをやらなければならないかのように振る舞っているなら、あなたは狂っています。本当にやめてほしいと思います。
[ため息と息を呑む音] 言うべきことはすべて言いました。これは非常に、非常に遅すぎたくらいの不満の爆発でした。コメント欄が全然荒れないことを確信していますよ。皆さんがどう思うか教えてください。それでは次回まで、ピース、オタクたち。
コメント