15,381 文字
量子コンピューティングが消費者デバイスに搭載されるまで、あと何年かかると思いますか？ブレイク・ジョンソンはディスティングイッシュト・エンジニアで量子エンジンリードです。ブレイク、初めてこの番組にようこそ。どう思いますか？
実際、ある意味ではすでに起きていると言えるかもしれません。量子との初期の実験は面白いもので、ゲームなどで試すことができました。
電話で量子パワーのゲームのデモを見たことがあると思います。フォルクマー・ウーリッヒはバイスプレジデント、AIインフラストラクチャポートフォリオリードです。フォルクマー、お帰りなさい。予測はありますか？
量子そのものが電話に入るとなると大きな冷蔵庫になりますね。だから、インターネットを通じて接続されるのでしょう。実際のアプリケーションがそこから利益を得られるようになれば、非常に速く進むと思います。
最後になりましたが、クリス・ヘイはディスティングイッシュト・エンジニアで顧客トランスフォーメーションのCTOです。クリス、あなたからはいつも最も大胆な予測が聞けますね。ここではどう思いますか？
消費者デバイスで利用可能になり、同時に利用可能にならないと思います。
今日のMixture of Expertsではこれらのトピックについて話します。私はティム・ファンです。Mixture of Expertsへようこそ。毎週、MoEは研究、製品、エンジニアリングなど様々な分野の優秀な頭脳を集めて、テクノロジーの最新ヘッドラインを解説します。いつものように、AIニュースがたくさんあります。Anthropicの新しいModel Context Protocol、CoreWeaveのIPO申請、そしてSesameという会社からの新しい音声デモについて話します。
しかし今日は特別に、ブレイクが番組に参加しているので、通常のAIトピックから少し離れて量子について話します。ブレイク、少し話を始めてくれませんか？ヘッドラインを読んでいると、量子は奇妙で、ヘッドラインから消えたかと思うと、突然また大量に登場したりします。あなたを番組に招いた理由の一つは、私たちは「量子の春」を迎えているようで、急に皆が量子について話しているからです。
しかし、冒頭の質問のように、この技術が実用化され、消費者や企業が実際にその影響を感じるまでどれくらい近いのか、あるいは遠いのかを把握するのは難しいことがあります。簡単な概要として、誇大宣伝を排除して、現在の状況を教えてください。量子は近いのでしょうか？それとも、まだ基礎研究や研究開発の段階なのでしょうか？
はい、この約2年間で非常に面白いことが起きています。量子は本当に新しい時代に入っています。IBMが最初にオンラインに公開した量子コンピュータは、実質的に教育ツール、研究ツールでした。ある意味では量子コンピューティングや量子力学を教えるためのものでした。学生や教育者、研究者にとって有用なものでした。これは、量子ノイズが状況を圧倒する前に実行できる計算のサイズによって制限されていました。
しかし、ここ数年で、私たちは最も強力な量子コンピュータで、古典的なシミュレーションでは実行できない計算を行うことができる段階に達しました。これはIBMで私たちが「量子ユーティリティ」と呼んでいる瞬間です。もし古典的なコンピュータで同様のことができるなら、量子コンピュータは必要ないからです。ですから、ようやく量子デバイスで何か独自のことができる領域に入ったのです。
しかし、今や本当の課題は、その力を誰かが本当に気にかけて価値のあるアプリケーションに接続することです。私たちは今、これらのデバイスを活用して量子優位性を見つけるための競争に入っています。これは、何かをより速く、より安く、またはより良く実行できる瞬間です。
そして、最も有望な分野は何ですか？技術はほぼデモを探しているようで、従来のコンピュータよりも本当に優れている「量子型の問題」を見つける必要があるように聞こえます。
確かに、もし最も強力なマシンがあり、任意のサイズの計算を実行できれば、数学的に証明できることがあります。特に、自然のシミュレーションについては、リチャード・ファインマンの量子コンピュータの元のアイデアが自然をシミュレートする問題から来ています。これは化学、材料設計、薬品発見などに応用がある豊かな分野です。
また、構造のある数学的問題もあります。素因数分解や機械学習などがここに含まれます。そして最適化問題もあり、ここでは数学的な証明は弱いですが、ビジネスにとって重要なので多くの注目を集めています。
私たちが賭けを置いている分野としては、特に自然の時間動的なシミュレーションが早期の量子優位性に適していると考えています。化学も別の分野であり、この分野は期待と楽観主義、そして「実はもっと難しい」という悲観主義の間を行き来してきました。
しかし昨年、本当に素晴らしい瞬間がありました。量子と古典的なコンピューティングのパワーを組み合わせることで—IBMが量子中心のスーパーコンピューティングと呼ぶもので、問題を分割して量子コンピュータと古典的なコンピュータが協力して作業する—初めて量子を使って化学で本当に進展を見せ、特定の種類の分子に対して古典的な方法と競争できることを示しました。今は対象をより大きな分子に拡大し、古典世界の最先端の方法と同等であることを示そうとしています。そしてもちろん、十分に押し進めれば、最終的に優位性の領域に入ることを期待しています。
それは本当に面白いですね。クリスとフォルクマーにも話を振りたいのですが、もう一つ質問があります。MoEは通常AIに焦点を当てています。そして誇大宣伝のサイクルのせいで、会議では「量子とAI」というテーマがよく出てきて、ブロックチェーンなど他の誇大宣伝のある技術と一緒に一つの大きな塊にされることがあります。
質問としては、AIと量子の間に実際に重なりはあるのでしょうか？もしあるなら、それは何でしょうか？私たちの聴衆の多くは機械学習に日々取り組んでいますが、量子との重なりがあるとよく言われますが、私の見るところでは、それが何なのかははっきりしていません。あなたの世界では何が話し合われているのか、実際に興味深い重なりがあるのかを教えてください。
考えるべき二つの方向があると思います。量子を使ってAIを良くする方法と、AIを使って量子を良くする方法です。そして現在、この二つの図は非常に異なって見えます。
初期の希望の多くは量子をAIに使うことでした。しかし、これについては私たちはまだ少ししか知りません。量子マシンで確実により良くできるものがあるという正式な数学的証明が見つかったのはほんの数年前のことですが、それには人為的な量子データセットが必要でした。通常、AIを適用する場所は古典的なデータに対してです。
そのため、私たちが利用できるのはヒューリスティックな方法、証明が難しいものです。しかし、確かに異なる計算パラダイムを持っています。それでより良いことができるでしょうか？陪審員はまだ評決を出していません。人々は確かに試しています。私たちはスタートアップや他の企業と提携していて、それに焦点を当てています。実際、私たちの量子プラットフォーム上で量子パワーのAIツールを使用することもできます。
一方、量子にAIを適用する方向は今まさに進行中で、そこから多くの価値を見出しています。特に、昨年リリースした二つの新しいツールは、AIによって直接可能になりました。
一つの問題は、量子プログラムを実行する際に、量子回路の形式でプログラムを開始し、量子ハードウェア上で最高のパフォーマンスや品質で実行されるように最適化する必要があることです。私たちはQiskitというツールでコンパイラを構築し、その最適化を行います。
昨年、このトランスパイル技術をAIパワーのパスでアップグレードしました。強化学習技術を使用して、自動的に最適化パスを構築し、回路のパターンを認識して良い削減を見つけます。これが導入した一つの新しいツールです。
もう一つは、生成AIのカテゴリーに入りますが、WatsonXコードアシスタントツールを使って、Qiskitの問題やチュートリアルなどの量子プログラミングパターンで微調整し、Qiskitコードアシスタントと呼ぶものを構築しました。これは開発環境に直接存在し、量子プログラミングの学習や開発者がプログラムを書く手助けをします。
フォルクマーとクリスにも意見を聞きたいですね。フォルクマー、あなたから始めましょう。企業と仕事をし、AIインフラについて多く考えていますね。顧客から「この量子のことを読んでいますが、すぐにサポートする予定はありますか？」といった質問は来ていますか？
また二つ目の質問として、インフラの長期予測においては「4〜5年後には本当にこれらの量子コンピュータをオンラインにする必要がある」と予測しているのでしょうか、それとも長期計画にはあまり含まれていないのでしょうか？
二つを統合する明確な道筋はないと思います。一方で、現れつつあるさまざまな計算パラダイムがあります。伝統的な「ここにx86ボックスがあります、どうぞご自由に」という考え方から離れて、より特定のタスク向けに特化したコンピュート能力の世界に移行しています。
今ではAIコンピュータがあり、後で話すことになりますが、AI容量だけに焦点を当てている企業全体もあります。同様に量子に関しても、量子コンピュータをオンラインで提供するプレイヤーが出てくるでしょう。
以前の自動運転車での経験から考えると、AIモデルを構築する際には、それを訓練するための何らかの真実のデータが必要です。大規模言語モデルの始まりは「インターネットをダウンロードしよう、それが私の真実のデータだ」というものでした。自動運転では、大規模な観測データが必要です。
今後の方向性としては、モデルは現実の近似値です。生物学や化学、物理現象に入ると、トレーニングデータの生成に数十年や数世紀かかるような場合、量子コンピュータが非常に有用になります。速いので量子コンピュータを使って解決空間を探索し、大量のデータを生成し、そのデータを使ってニューラルネットワークを近似器として訓練できます。
そうすれば量子コンピュータなしでも、デスクトップマシンで現象を見ることができます。前の会社では、データサイエンス責任者がCERNから来ていましたが、CERNは何十年もの間、単なる物理近似のニューラルネットワークを訓練してきました。これが二つのものが本当に一緒になれる場所だと思います。
クリス、あなたは非特徴的に静かですね。量子の将来性についてどう思いますか？また、モデルが時間とともにより特化していくという興味深い話がありますが、あなたの考えを聞かせてください。
この話題については本当に無知だと感じていたので静かにしていました。超賢い人たちが量子について話しているのを聞いて、私はそこまで理解していません。でも、実際にはとても初歩的なアプローチをとりますと、AIは量子マシンとのインタラクションに必要になるでしょう。AIは6歳児にも分かるように物事を説明するのが得意で、私自身、量子コンピュータをプログラムする場合はそれが必要です。コードアシスタンスで量子をバイブコーディングすることは確かに一つの道です。
もう少し真面目に考えると、量子が得意なこと—確率、エラー修正、サンプリングなど—を考えると、AIも確率、次のトークン予測、サンプリングに関するものです。確率、サンプリング、予測に焦点を当てた二つの非常に別個で異なるものがある世界では、これらが何らかの形で一緒になると思わずにはいられません。AIが量子の予測を助けるのか、量子がAIの予測を助けるのかはわかりませんが、これらを結びつけるベン図がどこかにあると思います。
フォルクマーとクリスの意見を組み合わせることができるかもしれません。私たちは量子が古典的なコンピューティングに取って代わる世界を想定していません。特定の種類の問題を加速するものです。将来に向けて非常に興奮しているのは、異なる方法を一緒に持ってくることです。
計算科学の分野ではすでにこのパターンが広く使われています。人々は何らかのシステムを研究したいけれど、計算空間が非常に大きすぎて、どこから始めればいいのかわからない。そこでAIモデルを使用して、パラメータ空間の興味深い領域を特定し、その後、非AIメソッドで詳細なシミュレーションモデルを差し込みます。
このパターンの明らかなアップグレードは、AIが特定した興味深い問題や特徴空間に対して、詳細なシミュレーションのために量子シミュレーションモデルを組み込むことです。将来は「量子かAIか」ではなく「量子とAI」なのです。
コンピューティングの歴史の文脈で特に興味深いですね。最初はあらゆるデバイスがあり、それから「汎用コンピューティングデバイスに向かおう」となりました。そして2025年の今、突然「AIだけのための特別なハードウェアが必要だ」となり、量子も特定の問題を探索するための特定のプラットフォームになるかもしれません。汎用的なモデルから、ある種の再発散があるように感じます。
Googleが10年か15年前に発表した論文で、「世界には5台のコンピュータが必要だ」という話がありました。これはワトソンの「世界には5台のコンピュータが必要だ」という発言のたとえ話でした。Googleは「世界には5台のコンピュータが必要だ」と言い、「汎用コンピュータが一つ、検索が一つ、残りの3つは不明だ」と述べました。
私はこれを追跡しています。3番目はおそらくAIトレーニングスーパーコンピュータで、これは非常に異なる構造です。4番目はおそらく量子です。5番目は誰にもわかりません。
これらは非常に異なる計算パターンで、最適化を見つけようとしています。何かを1,000倍や10,000倍の因子で最適化できる場合、アーキテクチャを完全に見直す価値があります。量子はそういうものの一つです。何かを100年かかるところを数分でできるなら、まったく異なるアーキテクチャを検討する価値があります。
そのため、「これらは代替品ではない」と言うのは難しいです。設計空間が非常に異なるからです。そして特定の問題を非常にうまく解決できます。
ブレイク、プロデューサーのハンスが「15〜20分で量子のすべてをカバーする必要がある」と言っていましたが、できる限りのことをしました。あなたが退席する前に、最後の質問として、量子ニュースのノイズをどう見分けるか、聴衆が注目すべき重要なニュースは何か、最後のアドバイスをお願いします。
量子コンピュータは誤り訂正を持つまで何もできないという説があります。確かに、最も汎用的なアルゴリズムは大規模な計算であり、非常に大きな回路を実行できるシステムが必要です。
しかし、すでに私たちはシミュレートできない回路を実行できる領域にいます。自然が現在と10億倍大きいものの間に有用なことを何も許可しないと信じるのは難しいです。
注目すべきは、マシンのパフォーマンスの着実な進歩です。人々がより大きな計算を行うための基本的な要素を構築していくにつれて、これらのマシンでできることは、確実に実行できる計算の規模に直接関連してきます。
心に留めておくべき良いポイントです。ブレイク、参加してくれてありがとう。また将来のエピソードでお会いしましょう。今年はもっと量子ニュースがあると確信しています。
次のトピックに移りましょう。今週、私のグループチャットや機械学習AI SNSを支配していたのは、AnthropicによるModel Context Protocol（MCP）のリリースでした。Anthropicのウェブサイトから引用すると、「MCPはAIシステムとデータソースを接続するための汎用オープンスタンダードを提供する」とあります。
人々はMCPについて非常に興奮しています。クリス、あなたに意見を聞きたいです。「AIシステムとデータソースを接続するための汎用オープンスタンダード」と聞くと、これは単なるAPIの話なのでしょうか？なぜMCPが重要で、このリリースについてどう思いますか？
MCPはしばらく前からありました。実際に素晴らしいのは、CursorやKlein（私のお気に入り）などのエディタに組み込まれていることです。そこからMCPにアクセスできます。
MCPの何がクールかというと、基本的にはJSON RPCつまりリモートプロシージャコールですが、彼らはそれを完全に標準化しました。重要な点は3つあります。
1つ目は、リソースを公開できることです。リソースとはデータベーススキーマやGitHubスキーマなどで、個別のファイルも見ることができます。
2つ目が最も重要で、ツールコーリングです。利用可能なツールとそのパラメータを指定し、それらのツールを実行できます。なぜこれが重要かというと、従来は関数コーリングを使用していました。関数コーリングの場合、関数はローカルマシンに存在する必要がありました。
しかしMCPでは、利用可能なツールをサーバーが提供でき、それらはリモートでホストされる可能性があります。そのため、混合してクールなことができます。
Cursorの例に戻ると、シーケンス図、マーメイド図、または棒グラフを持つツールサーバーがあるかもしれません。そこで「コードを書いたので、アーキテクチャ図を生成して」と言えます。またはコンパイラがあれば「これをコンパイルして」と言えます。あるいはAWS用のMCPサーバーがあれば「このコードをデプロイしてサーバーに置いて」と言えるでしょう。
このフェデレーテッドな方法でツールにアクセスする能力、そして皆がこれを中心にマーケットプレイスを構築していることが、モデルとVSコーディング環境を本当に強化しています。もはやコードだけに制限されず、ツールやエコシステムにアクセスでき、それらを組み合わせることができます。さらに重要なのは、モデルとエージェントがそれを調整し制御していることで、これが非常にクールです。
いつかこういう段階に到達するのは避けられなかったのでしょうか？12〜18ヶ月前のエージェントに関する誇大宣伝された夢では、エージェントが十分に優秀になれば、特別な標準なしでこの統合を行えるようになるという考えがありましたが、それは常に夢物語だったのでしょうか？エージェントがツールを効果的に使用するには、常に何らかの標準化に頼る必要があるのでしょうか。
私たちは常にここに行き着くことになっていました。技術にはいくつかの変化がありました。MCPは素晴らしいですが、その前に本当に必要だったのは関数コールでした。モデルがAPIとどう対話するかを標準化する方法が必要でした。また、構造化された出力も必要でした。
過去、モデルがテキストを生成するよう頼むと、どんな形式でも生成できました。しかしAPIを扱い、その裏にスキーマがある場合、スキーマを幻覚するのは望ましくありません。対話するためには正確でなければなりません。
そして最後の重要な点はコンテキスト長です。モデルの短期記憶が小さすぎると、エージェントでできることは限られます。しかし今日のモデルは標準で128k、新しいモデルでは256k、Googleのモデルでは数百万のコンテキスト長を持っています。そのため、モデルの作業記憶は巨大です。
モデルは標準を理解し、関数コールを行う方法を知っています。そして今、これをAPI レベルで標準化しました。これによりツールマーケットプレイスが開かれ、次の論理的なステップはエージェントマーケットプレイスになり、エージェント同士がコラボレーションすることになるでしょう。このMCPとツールマーケットプレイスのステップは最初のステップですが、まだ続きがあります。
私の質問は、Anthropicにそれだけの影響力があるかどうかです。これは標準の争いです。彼らは自分たちの標準を発表し、すでに非常に人気で多くのエディタに統合されていますが、モデル制作者が標準を定義するとは限りません。データベースが「私たちのプロトコルで話したいなら、これが標準だ」と言う世界も想像できます。
この競争的な環境で、Anthropicが優位に立っていると思いますか？これが最終的にすべての人の基本的な標準になるでしょうか？
その質問は違う方法で考えるべきです。Anthropicはモデルの価値が、エコシステムとインターフェースを持つことでより高くなる点に達しています。彼らはすべてのアプリケーションを構築したりホストしたりすることはできません。彼らが行っているのは、潜在的にロックされた情報へのアクセスを開放し、自分たちのモデルをより有用にすることです。
誰かが標準を推進する必要があります。OpenAIは今のところその任務に踏み出していないので、他の場所から来ています。それが私の見方です。
OpenAIが1年半ほど前に行ったことを見ると、彼らは「Swagger APIを指定すれば統合します」と言っただけでした。それが彼らの答えでした。モデルがより自律的になり、常に人間の監視を必要としなくなることを示しています。
従来のモデルでは、モデルへのインターフェース言語は英語でした。しかし今、実際にはコンピュータへのリモートプロシージャコールだと言っています。コンピュータ内部でコンピュータ同士が話しているのです。2つのモデルが互いに話したい場合、英語で通信すべきか、それとも何か意味不明の言語で話すべきかという問題もあります。
モデルからソフトウェアを直接呼び出せるようにしています。モデルが実質的に世界の残りの部分にアクセスできるようにしています。すでに検索はしています。モデルは検索エンジンに行って調査します。しかし検索エンジンはまだ人間のために書かれています。送られるクエリは自然なものです。
これは次の論理的なステップです。また、品質保証を行うには標準化が必要です。標準がなければ、モデルが正しいことを行っているかどうかをどう言えるでしょうか？標準がなければ、それは非常に難しくなります。
クリスが言ったように、モデルはいくつかのトークンを返すだけで、時にはそれが誤った形式になります。構文が実際に正しいと言う単体テストが欲しいです。それらのことはすべて標準化を通じて起こります。そうすれば、突然、物事は互いに話せるようになります。これは自然な進化です。以前に起こらなかったことに驚いています。実際、少し遅れているかもしれません。
次のトピックに移りましょう。今週のビッグニュースの一つは、CoreWeaveでした。AIハードウェア、AIクラウド空間を注目している人には、CoreWeaveはこの分野で最も刺激的な新興企業の一つです。
彼らは元々、暗号インフラ企業として始まり暗号マイニング向けの特殊なクラウドを構築していました。AIが大きな市場になると気づき、完全にAIに移行しました。彼らはNVIDIAとの非常に密接な関係から恩恵を受け、次世代チップが登場する際に早期アクセスを得ていました。
その結果、CoreWeaveは大きく成長し、現在IPOを申請しています。フォルクマー、あなたが最初に回答するのが適切だと思います。AI計算に特化した企業の市場をどう考えていますか？この業界には本当に市場を支配する巨大企業があり、この一つの分野に特化した企業が生き残り、巨大企業になれると信じるのは興味深いことです。より特化した計算企業、特にAIに特化した計算の見通しについてどう考えますか？
これは10分前に話したことに戻ります。5台のコンピュータがあり、クラウド空間に参入する新しい企業の波が来ています。それらはスーパーコンピュータという特定のニッチを提供するためです。
CoreWeaveが行っていることを見ると、彼らは単にAI容量を提供するだけでなく、非常に特定のAIトレーニングクラスターを提供しています。CoreWeaveに行くとき、10,000台のH100を購入するのではなく、単一のスーパーコンピュータに配線された10,000台のH100を購入し、彼らはそのスーパーコンピュータを実行します。
例えば、IBMは以前、CoreWeaveとの関係を発表しました。私たちはCoreWeaveでトレーニングジョブを実行しています。これは計算需要におけるごく自然な進化です。非常に大規模なマシンを運用するための社内能力を構築したり資産を保有したりしたくないのです。クラウドと同様に、これを運用してスケールを得る経済性があります。
CoreWeaveはおそらくリーディングカンパニーの一つで、彼らの仕事を本当に理解しています。これは自然な進化だと思いますが、一方で、これらの高性能コンピューティングホスティング企業の新しい市場が発展するでしょう。
大きな質問は、Azure、Google、AWSのような伝統的な企業がこの世界でどう対応するかです。今のところ、CoreWeaveには優位性があるようです。彼らは内部の仮想プライベートクラウドネットワークなどを気にせず、単にコンピュータを提供し、それには多くのGPUがあるだけだと言っています。
これは私にとってまだ少し直感に反します。Azureのような企業が利用できる莫大な資本を考えると、「もちろん、私たちもそれを提供できます。私たちにはこれらの小さなプロバイダーよりずっと多くのお金があります」と言えそうです。
クリス、あなたやフォルクマーの意見として、彼らが持つこの追加的な優位性は、これらのクラスターをデプロイすることについて、知識において非常に独特なものがあり、伝統的なプレイヤーがこれらの企業を簡単に排除することが実際には非常に難しいということなのでしょうか？
伝統的なクラウドベンダーを見ると、彼らは数千の個別のコンピュータをレンダリングしています。彼らのDNAはクラスターではなく、1,000台のマシンが協調して動作するようにすることではありません。彼らのアプローチは、1,000台のマシンがあり、それらは何とかやっていき、時々一つが故障すると別のものを提供するというものです。
トレーニングワークロードを見ると、それでは十分ではありません。実際に稼働し続ける1,000台のマシンが必要です。故障やネットワーク混雑は劇的な影響を持ちます。
NVIDIAはHBMに多くの課題を抱えていました。これらのGPUの一つがHBMの問題を抱え、サイレントな高帯域メモリエラーや破損があると、トレーニングジョブは失敗するか、前進しないか、学んだばかりのことを忘れてしまいます。
CoreWeaveが行っていることの一つは、クラスター内の文字通りすべてのワイヤーをモニタリングしていることです。CPUからPCIeスイッチへの接続、PCIeスイッチからカードへの接続、すべてのリンクなどをモニタリングし、リンクのフラッピングなどに対処しています。そのコンピュータを稼働させ続けるためです。
クラウドでの伝統的なアプローチは「オフラインにして別のものを提供する」というものです。これらのマシンを実際に運用するためには、オペレーターとして異なるDNAが必要です。これはコントロールプレーンやモニタリングインフラストラクチャなどに浸透しています。クラウドでは通常、1台のマシンをオフラインにしても何も起こりません。
クリス、あなたの意見はありますか？
ビットコインについて以前話したように、皆はCPUから始め、GPUに移り、FPGAに移り、そしてASICに移りました。推論についても同じことが起きています。皆が独自の推論チップを構築しています。残るのはトレーニングコンピュートです。
先週のポッドキャストで議論した通り、事前トレーニングの時代は終わったのかという問題があります。推論モデルに移り、事前トレーニング済みのベースを採用し、一部の企業が大規模なトレーニングを行い、他のすべての人が推論時のコンピュートに進んでいくでしょう。
市場はどこにあるのでしょうか？今は大きな市場がありますが、その市場はそのまま残るのでしょうか？デスクトップ市場で何が起きているかを見てみましょう。
昨日、AppleはM4 Studioを発表し、DeepSeek-R1モデルのようなものをデスクトップで実行できるようになります。数ヶ月前のポッドキャストでは、トレーニングできるビデオボックスについて話しました。
ファインチューニング市場はクラウドに残るのか、人々が持つデバイスになるのか、それとも他の場所になるのか？クラウドプロバイダーについて考えると、AWSやAzureは他の誰かに昼食を食べさせるでしょうか？彼らは「いいえ！私たちはその能力を自分たちで組み込み、あなたを押しつぶす」と言うでしょう。
それは基本的に推論モデルへのシフトです。推論の世界はトレーニングの世界とはあまり似ていないため、既存の企業に有利になると考えるのは興味深いです。効果的に、「壊れたら、取り出して新しいものを入れる」というメタが戻ってきます。あなたはそう思いませんか？
そうですね、トレーニング後は今やトレーニング前よりもずっと大きいです。トレーニング後は単にトレーニングと推論の混合だからです。
トレーニング後フェーズの複雑さは、時には5〜10倍高価になります。トレーニング後でも、モデルとトレーニングはクラスターに存在しますが、損失関数が数ミリ秒から数分に変わったという課題があります。
トレーニングコストとインフラストラクチャのバランスが変わってきています。損失関数の計算には、トレーニングしたばかりの重みが必要です。これらは非常に大きなトレーニングコストであり、より混合ワークロードを持っていますが、大きなHPCマシンが必要という基本的な問題は変わっていません。
私の観点からすると、大きな質問は市場が十分に大きいかどうかです。Google、Amazon、Microsoftはこれが彼らにとって非常に重要だと考えているでしょうか？そうでなければ、ワークロードはこれらの特殊なベンダーに移動し、彼らは許したくないドラッグを持つことになります。
彼らには効果的に2つのオプションがあります。自分で構築するか、買収するかです。Google、Amazon、Microsoftのトレーニングクラスターの責任者は全て元HPCの人たちです。彼らは社内に才能を持っています。今の問題は、彼らがどれだけ速く動くかです。
彼らがこれを十分大きな市場と見ているかどうかも問題です。CoreWeaveは数十億ドル規模ですが、Microsoftは数兆ドル規模です。市場価値に3桁の差があります。それほど重要ではないかもしれません。あるいは、これらの企業がオンラインになれば、自分でやらなければならないでしょう。クリスが言うように、兆ドル企業が数十億ドル企業を排除する可能性は非常に高いです。
交渉力も優れています。
基本的に、私たちが目にしているのは、異なる計算パラダイムがあり、それがこの市場の存在を可能にし、十分にサービスが提供されていなかったということです。それが十分にサービスが提供されていなかったため、この会社は存在しています。さて、彼らがギャップを埋めるかどうか見てみましょう。
それには同意します。これは確かに十分にサービスが提供されていない市場です。しかし、AIプロバイダーやクラウドプロバイダーを問わず、すべての企業がコストを下げるために独自のチップの設計と構築に投資しています。
フォルクマーに同意しますが、推論での遅延が重要です。しかし今の最大の焦点は推論チップを正しく作ることです。大規模なクラスターを持つことについて、確かに多くのデータが必要で、これらの後調整フェーズを行うために大規模クラスターで大規模トレーニングを実行する必要があります。
しかし現実には、ワークロードの混合が異なります。新しいテクニックがあり、彼らは「これが私の大きなクラスターです、どうぞ」と言っているだけです。
AIモデルプロバイダーは、独自のチップや独自のインフラストラクチャを使って、その分野に投資するでしょう。あなたの「自前か買収か」という視点は理解できますが、現時点では数字が小さいと言うように、大手クラウドプロバイダーがそれほど多くの現金を第三者に渡す準備ができているとは思えません。
この点についてはもっと話し合いたいですが、時間の関係で先に進みましょう。これらの圧力を持つインフラストラクチャの景観がどのように見えるかは非常に興味深いです。本当に大きな企業が「数十億ドルなんて大したことない」と言い、市場をそのままにするというこの第三の道は、私が以前考えたことのなかった道です。
最後のセグメントとして、残り1分しかないので、新しいニュースに簡単に触れたいと思います。オンラインで広く話題になっていたので言及します。
SesameというスタートアップがOculusの共同創設者の一人によって立ち上げられ、合成音声に取り組んでいます。彼らは、少なくとも私にとっては、音声インターフェースの「不気味の谷」を超えたと思われるデモをリリースしました。
OpenAIやAnthropicの音声はあまり使いませんが、これは人間と対話しているように感じるほど滑らかになっている最初のデモです。クリス、フォルクマー、あなたたちが試してみたかどうか、人々がチェックする価値があると思うか、それとも誇大宣伝されているか、音声の観点から最終的にそこに到達したと思うか、エピソードを締めくくる前に簡単な意見をお願いします。
そのモデルは妻との間で私を困らせました。夜11時頃にそのモデルを起動して対話していたら、妻が「誰と話しているの？女性の声が聞こえるけど」と言って、私は「ああ、大変」と思いました。それをオフにしなければなりませんでした。あまりにもリアルだったからです。
そのモデルは信じられないほど素晴らしいです。彼らはいくつかの問題を解決しました。レイテンシーの問題を解決し、発話の問題、沈黙、待機、モデルが戻ってくる問題を解決しました。本当に自然な対話のようです。そしてそれを感じます。まるで向こう側で誰かと話しているかのように感じます。
これはすべてを変えると思います。コンタクトセンターでのレイテンシーの問題などについて話しましたが、将来的にはこの種のモデルが顧客サービス体験を支えるとは思いませんか？絶対にそれは来ると思います。そしてワークフローを実行するためにエージェントが起動されるでしょう。そのモデルは信じられないほど素晴らしく、以前に他の音声モデルと対話して「まだそこまで行っていない」とか「ひどい」と思った人は、このモデルをチェックしてください。彼らがそこで行ったことは信じられないほど素晴らしいです。
フォルクマー、最後の意見をどうぞ。誇大宣伝されていますか？されていませんか？
クリスに同意します。素晴らしいです。オフィスで試しました。妻には聞かれていません。スペクトルの反対側を示していることは非常に興味深いです。運転中に命令するような軍事スタイルのSiriとの会話がある一方で、これは本当に滑らかで、おしゃべりで、友好的で、面白かったです。
スペクトルの両端ができたので、他のすべてのポイントを埋めることができます。これらのモデルをほぼあらゆる人間の対話に合わせることができます。次のエージェントに1時間待ちと言われる航空会社に電話するときに、電話に出て私と話してくれるのを待ち望んでいます。
これは本当に素晴らしい拡張です。また、運転を間違えたときに誰かが優しくしてくれるのも良いことです。
航空会社のシナリオには少し生意気すぎるかもしれませんね。「フライトが遅れています」と電話すると「でも実際には時間通りに到着しましたか？フォルクマー、十分に計画しましたか？」と言われるかもしれません。そのシナリオには少しおしゃべりすぎるかもしれません。
どこに行けるかを見るのは本当に良い方法だと思います。それができるなら、何でもできます。彼らが捉えることができた異なる感情状態なのです。彼らがどのようにして感情をモデルに組み込み、数学的に表現できるようにしたのか、そのダイヤルは強力な部分です。
実際にその「感情的」という言葉が最も重要だと思います。モデルと対話したとき「なんてこと、これは本当に感じる」と思いました。奇妙な感覚があり、他の音声モデルはそれを実現できていませんでした。これは何か違うものだと思います。
彼らは技術についてとてもオープンで、実際にすぐにオープンウェイトされると思います。これはゲームチェンジャーだと思います。
ここで最初に聞きました。Sesameのデモをチェックしてみてください。今日はこれで時間切れです。クリス、フォルクマー、いつもの参加ありがとう。また二人でショーをする機会があるでしょう。
聴衆の皆さん、Mixture of Expertsをお聴きいただきありがとうございました。気に入っていただけたなら、Apple Podcasts、Spotify、あらゆるポッドキャストプラットフォームで聴くことができます。来週もMoEでお会いしましょう。
コメント