9,537 文字
ブレインストームエピソード80へようこそ。今週も対面で行います。最近、サティア・ナデラとマイクロソフトはAI分野と量子コンピューティング分野の両方で多くの動きがありましたので、そこから話し始めたいと思います。マイアナについて掘り下げて、そしてもちろんGrok 3についても話しましょう。そこでも多くの反響がありました。
ブレット、私たちは量子コンピューティングについて長い間議論してきました。実際、私たちが破壊的なイノベーションについて話すとき、最も頻繁に聞かれる質問の一つが「量子コンピューティングが次の大きなものではないか」というものです。
量子コンピューティングは確かに次の大きなものではありません。それが問題の一部だと思います。10年前でさえ、ジェームズ・ワンは私たちのブレインストームで「量子に完全に集中すべきだ」と言っていました。「量子コンピューティングが利用可能になれば、他のすべてのものは必要なくなる。チップのコスト削減さえも必要なくなる」と。しかし、「量子コンピューティングが利用可能になれば」というのがポイントで、約束の地に至るまでの「絶望の谷」が存在します。
非常に高いレベルで言うと、量子コンピューティングの状況は大きなブレイクスルーの発表で満ちています。それらは時に素晴らしい技術的成果ではありますが、商業的に有用になる時期を意味ある形で前倒しするものではありません。
マイクロソフトは基本的に量子コンピュータを実行するための基本単位である量子ビット（キュービット）を作成する新しい方法を発表しました。これはトポロジカル・キュービットと呼ばれるもので、より安定したキュービットを自然に保持できる表面を製造する複雑な方法を持っています。安定したキュービットが重要な理由は、これらの物理的キュービットを生成し、それからデータを抽出して、間違えることなく複数の計算サイクルを実行する必要があるからです。
マイクロソフトのアーキテクチャでは、計算に実際に役立つ論理キュービット1つに対して物理キュービット100個が必要とされています。マイクロソフトと他のすべての量子コンピューティングの課題は、キュービットの数とともに、計算に使用する論理キュービットの数をスケールアップできるかということです。重要なしきい値の一つは、4,000の論理キュービットに到達すれば、2048 RSA暗号化を破ることができるようになるということです。それが明らかに有用であるとされる理由の一つです。100対1の比率では、そこに到達するには400,000個の新しいマイクロソフトのキュービットが必要になります。
現在、マイクロソフトのチップには物理キュービットが8個あるかもしれません。「かもしれない」が重要なポイントです。なぜなら、それはまだ議論中だからです。彼らは8個を生成する方法のアイデアを示しただけという感じです。他の量子コンピューティングアーキテクチャと比較すると、20年前にイオントラップ型量子コンピュータで8個の物理キュービットがありました。マイクロソフトは今、おそらくそこにたどり着いたところです。
量子コンピューティングにとって興味深いのは、これが技術的なツリーの異なる分岐点だということです。他の人たちよりも速く加速できるかもしれませんが、これらのものを製造してスケールすること、あるいはそれが機能することを証明することさえも非常に困難です。チップ自体が絶対零度よりも0.1度ほど上で保持される必要があります。つまり、動作するためには極めて低温に保たれる必要があるのです。
人々が量子コンピューティングに非常に興味を持っているため、誰かが発表をすると大量の報道があり、そこから引用される内容は誤って伝えられます。サティア・ナデラは「数年以内に商業的な量子コンピューティングの有用性が実現する可能性がある」と言っていますが、私はそれが全く現実的だとは思いません。
将来的に量子コンピューティングが実現すると思いますか？
30年から50年以内には可能性があると思います。テクノロジー予測では「これは25年先のことだ」と言い続け、その期間が常に後退していくという現象がよくあります。
量子コンピューティングで興味深いことの一つは、AIの進歩が量子コンピューティングを使用する可能性があった用途の一部を提供していることです。量子コンピューティングは分子のシミュレーションに非常に適しているはずだと言われています。なぜなら、それらは量子的な存在だからです。キュービットを特定の原子にマッピングし、それを組み合わせれば原子の完璧なモデルが得られます。しかし、AIは分子のモデリングを十分に行うことができるようになっています。AlphaFoldのようなタンパク質構造を提供するものを大規模に生産することができます。
AIがすでに結果を出し、時間とともに改善されているとき、量子コンピューティングシステムを構築する緊急性はどれほどあるでしょうか？資金が投入されれば進展が速くなり、投入されなければ遅くなることは確かですが、この技術が資金を引きつけ、時間とともに合理的なコスト低下を可能にするための段階的な歩みがどのようなものになるかを把握するのは難しいところです。それは多くのリソースを必要とする大きな技術的・工学的な登りかもしれません。
あなたはマイクロソフトの「これは大きなブレイクスルーだ」という発表を信じますか？「商業的応用まであと数年だ」と聞きましたが、あなたはそれを信じていないようですね。
サティア・ナデラの発言の全文脈を見れば、彼が実際にそう言おうとしたのかさえ分かりません。「数年後」というのは、この8キュービットのチップが機能することを証明し、概念的にそれらを積み重ねてより大きなチップを作れると考えていると言っているのだと思います。
量子システムを扱う問題は、それらが非常に壊れやすいことです。「これが少し機能している」から「これが大規模に機能している」に移行するプロセスは、予期しなかった問題を引き起こす傾向があります。彼が言っているのは「このチップを作れることを証明し、スケールできるように設計した」ということだと思いますが、彼らがスケールできるように設計したということを実際に知っているとは現実的に言えないと思います。
チップの構造は、インジウムヒ素を取り、その上にアルミニウムを堆積させ、ナノワイヤー構造を作るというものです。これはシリコンチップ作成とは全く異なる製造プロセスで、新しい道具と工程のセットをスケールアップする必要があります。チップを動作させるためには超冷却する必要があります。この技術の分野で商業的な有用性が数年以内に実現するとは思えません。
以前は、資金を投じて技術的進歩を達成しようとし、ゆっくりと進んでいるキュービットのいくつかの種類がありました。今は第三の種類があり、そこに資金を投入することができ、より良い学習曲線を持つ可能性があります。投資を加速して追いつき、追い越せるかもしれません。
それはAIとある程度似ていませんか？多くの異なる種類があって、そして一つが登場し、人々は「これはスケールする」と言いました。
AIの領域でも、トランスフォーマーのブレイクスルーは「これは言語間の翻訳に適している」というものでしたが、その基礎となるアーキテクチャが全般的に言語を生成するのに適していて、その上でさまざまなことができることが判明しました。そこには明らかな有用性があり、そのために大量のリソースが投入されました。
量子コンピューティングの課題は、これらのチップが機能すると判明しても、数十億ドルのリソースを投入することで合理的なROIが得られると人々が信じるような方法を見つける必要があることです。それが研究室スペースに留まっている限り、それは常にコストセンターです。
業界全般の問題は、実際には本物で意味のある商業的応用ではなく、見込み客によるPR活動や量子コンピューティング製造者による明らかなPR活動を促進することで存続しているように見えることです。実際にこれが顧客にとってどのように有用なのかという質問に対する答えは非常に不明瞭になりがちです。または、非常に狭くニッチなもので、それはROIを得るために意味のある例ではありません。
言語モデルや画像生成（これはそれほど収益をスケールしていませんが）では、これがある一連のアプリケーションにどのように役立ち、人々がこれを使って何かをするかが明確に見えます。
Grokに話を移す前に、一つ明確にしたい点があります。このニュースを読んでいると、「彼らは新しい物質状態を作り出した」と説明している人がいましたが、それは本当ですか？
良い質問です。ここでは専門用語を混乱させるかもしれませんが、はい、彼らが構築した表面内に作り出すことができる、自身が粒子と反粒子の両方であるという推測される粒子があります。私の解釈では、その表面の文脈内では、物質の振る舞いを自身が粒子と反粒子の両方であるとして解釈するのが最も適切であるということですが、実際にその粒子を作り出したのか、それとも単にその表面の文脈内で何が起こったかの数学を行うのに最も便利な方法なのかは分かりません。
それは後でGrokに尋ねる必要がありそうですね。それは仮想的なもので、そのような振る舞いをする物質のポケットを仮想的に作り出したように見えました。ただ、私は進んだ物理学者ではないので、おそらく尋ねるべき相手が間違っています。
Grok 3が世に出ました。エピソード79では他のものと並べて比較しましたが、私たちはProバージョンや追加のProを支払っていませんでした。チャットGPT、OpenAIには無料、プラス、Proがあります。ほとんどの人はプラスを使っていると思います。あなたはProですね。ProとGrok 3の比較について分析を教えてください。
実際に質問があります。現在、質問に答えるために日常的に使っているAIモデルは何ですか？
現在、私はウェブブラウザを一つとOpenAIとPerplexityを開いています。そしてGrok 3には頻繁に質問します。Grok 2にはほとんど質問しませんでした。私にとっては今Perplexityは使用頻度が下がっていて、よりGrokとチャットGPTを使うようになっています。
私は主に検索にはPerplexity、タスクにはチャットGPTを使っています。特に「これをより良く書いてください」というタスクです。でもまだGrokに切り替えていませんね。
少し使っていますが、自然とまだこの二つがデフォルトです。積極的に切り替える選択をするつもりですか？
まだアプリをダウンロードしていないので、それをすれば切り替え始めるかもしれません。これが私より先に持っている最初のアプリかもしれませんね。
Xを通して何ができるかを把握していますが、検索結果はPerplexityからも得られると感じています。タスクベースのプロンプトにはチャットGPTが優れた仕事をしています。
ベンチマークの観点から見ると、Grok 3は事前訓練されたモデルレベルで非常に優れています。GPT-4とAnthropicのモデルの最先端にあります。その上に載せた推論エンジンは少し遅れていますが、数年ではなく数ヶ月遅れているだけです。01ができることと同等で、03 Miniに近いかもしれません。
これらの名前は愚かですが、いずれにせよ、おそらく最先端よりも少し下です。OpenAIが少なくとも内部で持っているもの、そしておそらく彼らがリリースしたものよりも少し下でしょう。しかし彼らの進歩のペースは注目に値し、良いパフォーマンスの事前訓練されたモデルを持つことは、実際に良い推論モデルを開発するための前提条件です。
イーロン・マスクの狂信的な緊急性と速度のために、テネシー州の一つのビルでGPUの数を倍増させ、それを使ってさらに大きなモデルを事前訓練するという彼の方針により、彼らがベンチマークパフォーマンスで追い越し始める合理的な可能性があると思います。
これらのAIシステムは、少なくとも消費者向けおよびプロシューマー向けでは、基盤となるモデルだけでなく、情報をユーザーにどのように提示するかについての一連の選択肢もあります。私はOpenAI、チャットGPTの音声モードを使って、歩いたり運転したりしながら仕事を続けたり何かを学んだりしています。タイピングする場合に使うよりも低いモデルで動作していても、非常に役立つことが分かっています。
ポッドキャストの準備や誰かの経歴を学び、質問を考えるのにも優れたパートナーだと感じています。週末になってようやくGrokは音声モードをリリースしました。これには少しいかがわしい声も含まれています。ここでもう一つの差別化要素があります。APIにプッシュすれば、xAIがこれらのものでできることについて、より寛容になることが明らかです。
X級のAIボットを作りたいなら、Grokが唯一のAPIになるかもしれません。テクノロジーの歴史を見ると、採用を本当に押し進めるのはポルノ側面です。あなたのモデルで世界に浸透したいなら、それを利用可能にすることが実際にはるかに優れた戦略かもしれません。
Grokで起こったことを考えると、彼らは技術的なトレーニング面で何も新しいことを生み出していない、ただ他の誰よりも速くスケールを展開できただけでした。これは誰かがこれを理解した今、守れるものでしょうか？イーロン・マスクが今したのは、必要であれば他のすべての主要プレイヤーに、ペースを大幅に速めることができると伝えたことです。今の疑問は、サム・アルトマンが「これが再び起こることは許せない」と言っているだろうと思いますが、言うは易く行うは難しです。それは技術的なものではなく、ロケットを着陸させることではなく、単に組み合わせることです。
BG2ポッドキャストだったと思いますが、スケールは防御可能ですが、あなたと同じくらい資本力のある人々がいる場合、スケールの速度は防御可能でしょうか？
私の考えでは、スケールについては多くのことが同様に言えます。理論的には誰でもできますが、スケールでそれを行うのは極めて難しいのです。白紙の状態から取り組むことには利点があると思います。マイクロソフトはデータセンターを至る所に持っていて、CDをしているなど、あらゆる種類のことをしています。彼らのアーキテクチャはこの特定の一つの目的のためではないものに最適化されています。
彼らは「実際に新しい場所を切り開いて、このような巨大なクラスターを構築して競争しよう」と言うでしょうか？いいえ、彼らは「私たちがすでに持っているこれらの分散GPUすべてを活用する必要がある」と言うでしょう。そうすると、すべてを一つの場所に構築することは理にかなわないというところがあります。推論するための遅延があり、あらゆる種類のものがあります。そのため、その方法で行うことはリソースの無駄のように見えるでしょう。
しかし、それは彼らが内部的に、バックエンドの機会がその変更を正当化するほど大きくないということに同意している場合だけです。マイクロソフトは間違った例かもしれませんが、むしろグーグルのような企業を考えてみましょう。
マイクロソフトの観点からは、彼らは全員のためにAzureを開発しようとしており、むしろOpenAIから多様化しようとしているので、20万のGPUを一箇所に置くことは理にかなわないと考えるかもしれません。なぜなら、実際には彼らのヨーロッパの顧客がこういったことをしようとする必要があるからです。
今、OpenAI側とStargateは、これに従おうとして、2つのデータセンターに5000億ドルを投入することもできるでしょう。実際にこれが二頭立ての競争であるとすれば、それはある種の競争相手の数の絞り込みになります。
明らかに、イーロン・マスクに自分自身を解き放とうとする人々と、彼を（またはサム・アルトマンを）避けようとする人々の集まりがあるでしょう。私は彼ら両方が論争を呼ぶ人物だと思います。
明らかにみんながここにチップを投入し続けているでしょう。特にイーロン・マスクのxAIの戦略の一部は、「もはや事前訓練にさらなる資金を投入することはできない、なぜならそれは限界的なリターンだから」という考えに対して、「しかしそれは実際にすべてを行うための底層であり、すべてのことが増幅されるので、一見限界的なリターンでも、積み上げられればとても大きな違いを生む可能性がある」と考えていることです。彼は資金を投入し続けるでしょう。
他の人々が言っていたのは、「本当に200億ドルを調達してここのインフラに投入するのか」ということで、Anthropicは「これらのモデルのパフォーマンスを向上させる他の方法がある」と言っています。
興味深いのは、GPT-4よりも大きなモデルを訓練するために使用されるクラスターのサイズがこれになることです。今から長くないうちにイーロン・マスクはもっと大きなものを持ち、これに投入するでしょう。
Grok 3がTwitterのリアルタイムフィードを活用していることは有用でユニークだと思います。一歩下がって考えると、ペースと消費者への注目の欠如について私たちは話しています。03 Mini High、01、Grok 3、これらすべてについて、AIやファイナンスの世界以外で私が話した人々の多くは、それに疲れ果てているか、「まあ、何でもいいや」という感じです。もちろん文章を良くするために使うけれど、誰も私たちや他のAI関係者のようには使っていません。デフォルトでポップアップするものを使っており、何なのかも知らないのです。
彼らの支出はすべてトレーニング、GPU購入、データサイエンティストに向けられ、マーケティングを忘れています。それが現実です。
OpenAIはスーパーボウルのCMを流しました。マーケティングに何かを使いました。Perplexityもスーパーボウルのコンテストを行いました。完全に異なりますが。
私が思うに、明らかに分岐が起きています。年配の人に質問すると「分からない」と言い、「グーグルで調べられる」と言うと「オーケー」と言いますが、今はグーグルで調べるべきではないということが明らかになっています。これを使うべきなのです。以前は良い研究者とは何かと言えば、グーグルを上手く使える人でした。
そう、それはスキルでした。しかし今や研究者たちが取り入れる必要のある新しいスキルセットがあります。OpenAI Proに戻ると、PerplexityのディープサーチツールとGrokのディープサーチツールは、OpenAIのディープリサーチツールと同じものだと言われていますが、コストはほんの一部です。しかし、それらを直接比較すると、そうではないことが明らかです。
PerplexityとGrokは両方とも、基盤となるモデルからの短い回答のセットと非常に一貫性があります。一方、OpenAIは多くの推論時間を消費しており、ソースをどのように解釈し、ソースを埋め込むかを把握するために多くのチェーン・オブ・ソートが行われています。そして、長さが10倍（実際そうです）というだけでなく、適切に引用されたレポートを生成します。
同じプロンプトに対して並べて読むと、OpenAIの出力から積極的に何かを学ぶことができますが、他のものはどちらかというと「ああ、そうですね、それは大体知っていました」という感じです。それはより深く、よりコンテキストを提供します。
もちろん、Grokもそれに取り組まないというわけではありませんが、外部からは必ずしも明らかではないツールを可能にする一連の製品選択があります。それをどう実現するかを考える必要があります。
あなたは未来学者のトップですが、未来学者の助手を雇いますか、それとも200ドルのアシスタントを使い続けますか？
私は研究チーム全体の生産性がこれらのものでアップするべきだと思います。確かに研究時間は半分以下に削減されます。特定の主題について学び、素早く理解する能力は間違いなく加速されています。かなり深いレイヤーまで掘り下げることができ、それをよりはるかに効率的な方法で行うことができます。
研究レベルで操作する必要さえありません。ナイジェリアでの結果を見てください。AIによる個別指導を受けた子供たちと通常の教室での授業を比較すると、10週間で2年分の教育を受けました。特定の分野で何が起こっているかを理解する能力は、これを使用していれば加速されるはずです。
これらの情報ツールがいかに強力であるかについて、故意に無知でいる人々の一群が一定期間存在し、その後「なぜ解雇されたのか」と驚くことになるでしょう。それは競争相手に比べて生産的でなかったからです。
ユーザーインターフェースが違いを生むところだと思います。現在はただの白紙を見つめているようなものですが、多くの人にとってそれは何も意味しません。なぜなら正しい質問の仕方が分からないからです。白紙があって、その背後に全知の存在がいて、何でも聞いてくださいと言われても、10人中9人は白紙を見つめて頭を掻き、何を聞いていいか全く分からないと思うでしょう。
xAIが企業戦略の観点から何をすべきか思いつきました。デバイスを作るべきです。Grokデバイスで、表面には「パニックにならないで」と書かれています。『銀河ヒッチハイクガイド』と呼ぶこともできるでしょう。きっと売れるでしょう。これらの大規模言語モデルの一つを「ディープソート」と名付けた人がいないことに驚いています。
『銀河ヒッチハイクガイド』を観たばかりですが、全知のコンピュータ、全知のコンピュータを構築しているものは「ディープソート」と呼ばれています。スピンオフはありますが、なぜそれをそのまま模倣していないのでしょうか？
誰かがそれをするとしたら、それはxAIでしょう。今予測しますが、彼らは2030年までに、前面に「パニックにならないで」と書かれたハードウェアデバイスをリリースするでしょう。スマートフォンではなく、Starlinkの機能を持っています。なぜそうしないでしょうか？
それはxAIと他のすべての人に対する彼らの位置づけを考える別の方法です。彼らは非常に有用な専用の配信チャネルを持っています。腕の長さですが、非常に軽い配信が本当に役立ちます。
突然、人々が1日1時間運転することから1時間テスラに乗ることに変わったとします。彼らの情報源は何で、後部座席で見るメディアをどうやって見つけるのでしょうか？フロントエンドはおそらくGrokによって駆動されるでしょう。
Xと同じく、Starlinkも同じです。アフリカでインターネットにアクセスする一般の人が最初に手に入る言語モデルは何でしょうか？おそらくxAIでしょう。
これは実りある議論でしたね。あなたはPolymrketで新しい市場を開きました。少しニッチすぎるかもしれませんが、コンプライアンスが気に入るかどうかは分かりません。
また来週お会いしましょう。
コメント