7,438 文字
皆さん、SVICポッドキャストへようこそ。ここでは私たちが誇張なしでテック業界の洞察をお届けします。私の共同ホスト、ジョー・タスキとともに、私ジョーダン・ティビドが最新テクノロジーの分析、誇大宣伝の打破、そして業界のトップゲストを招いた独占インサイトをお届けします。
では反応から始めましょう。まず「AI：底辺への競争」から始めます。この約2分の動画ではモデルリリースの簡単な歴史を見ていきますので、そこから始めましょう。全員が聞こえるか確認しましょう。
GPT-3はコンピューターが任意の入力に基づいてテキストを生成する能力における記念碑的な飛躍を表していました。これは自動補完から実用的なものへの移行でした。そしてこれが起こった時、彼らはモデルを投入しただけでなく、LLMがどのように機能し、なぜこのモデルが価値があるのかを詳細に説明する研究論文も多数発表しました。その結果、他の多くの企業が独自のモデルを構築し追いつこうとする動きが急速に見られるようになりました。
比較的早い段階で競合他社から記念碑的な飛躍が見られました。MOLの登場やLlamaプロジェクトの開始など素晴らしい展開がありました。特に優れているわけではなかったものの、多くのオープンモデルが登場し、GPT-3の発表とともに多くの取り組みが非常に速いペースで始まりました。
しかし品質が近づき始めるとすぐに、3.5がリリースされました。3.5では再び大きな品質の飛躍が見られました。この頃はハイプの盛り上がりがあり、人々はそれに夢中になり、OpenAIはバックグラウンドでの効率化にも熱心に取り組んでいたので、価格を下げることもできました。特にGPT-3の終わり頃には、他のモデルが本当に追いついてきていて、そのギャップが縮まりつつあることが見えていました。
彼らが新しいものをリリースするたびに、そのギャップは再び広がります。私たちはOpenAIがかなり先を行っていることに気付き、それから徐々に追いついていきます。しかし、二つの事が起こりました。追いつくまでの時間が短くなり、またOpenAIが見る進歩の大きさも減少しています。3.5から4への移行は私や多くの人々が期待していたほど大きなものではなく、4から4oへの移行はさらに小さかったと言えるでしょう。価格面では良かったのですが、品質面では特に記念碑的な勝利ではありませんでした。
そのため、この線（競合他社）はますます追いついてきており、追いつくために必要な作業量も毎回減少しています。より早く近づいてきているのです。次にo1とo3が登場して品質を再び向上させましたが、私は品質をこのように考えたいと思います。品質バーはOpenAIによって設定され、業界の残りはOpenAIが任意の時点で到達している水準にできるだけ近づこうと競争しているのです。
私たちは確かにGPT-4oを超えましたが、o1を本当に超えるものはあまり見ていません。ましてやo3 mini on highを超えるものはほとんど見ていません。これらのモデルから得られる品質は驚異的です。Claudeはいくつかの点で優れていますが、全体的に見て意味のある優れたモデルではありません。特に価格を考慮した場合はそうです。しかし、これは品質面だけの話なので、次は価格について見てみましょう。
良い分析でした。過去2年半の歴史を簡潔に説明されていますね。GPT-3からGPT-3.5、または3から4への移行は素晴らしい向上でしたが、4から4oへの移行は「ふーん」という感じで、そして4.5が登場して…つまり、以前のやり方から得られる効果が逓減していくような、各リリースごとの影響が以前ほど大きくないように見えますね。私にとってはそれでも構いません。まだ素晴らしい技術だと思いますし、完全に統合されているわけではありません。
ジョー、彼の視点についてどう思いますか？
たくさん考えがありますが、まず「impactful」という単語を本当に文中で使うつもりですか？
「performant」の方がいいですか？
それもついでに。
はい、できるだけ専門用語を使うようにします。彼が指摘している点、つまり競合他社が追いついてきてOpenAIがより良いモデルをリリースしてリードを維持するという展開については、良い指摘だと思います。
確信はありませんが、この展開が続いている様子から推測すると、OpenAIは既により良いモデルを持っていて、リードを維持するためにいつリリースするかを決定する余裕があるのだと思います。それはかなり重要なことで、彼らは常により良いものを待機させておく必要があり、すぐにリリースしなくても良い立場にいるということです。
他の企業はうまく機能するものを持っていれば、それを利益が出るかどうか、あるいは多額の損失を出すかどうかを心配せずに、すぐにリリースしていると思います。DeepSeekは少し例外かもしれません。彼らのものは最初から非常に収益性が高そうですが、ほとんどの研究所はまだ収益性のないものを出荷することを問題視していないと思います。一方でOpenAIは収益性のないものを保留したり、リードを示すためにデモとしてのみリリースしているようです。
スタートアップと違って、トリックの袋を準備しておくのは良いことです。他のスタートアップは「自分たちが何かをしていることを示すために、出て行って注目を集める必要がある」という状況ですから、解き放ちましょう。
これはHighflyerがR1や他のモデルをリリースした時に人々が批判していたことだと思います。「完全に整合性が取れていない」などと言って、社会を破壊するだろうと。しかし実際は問題なかった。そしてHighflyerは「R2は5月にリリースする予定だったが、もっと早くリリースすることになりそうだ」と発表しています。あなたの言う通り、「これらを出して進めよう」という姿勢です。
OpenAIについての疑問は、彼らが最終的に「事前学習や現在のやり方にGPUを投入することに対して収益逓減が見られている。この方法に集中するのをやめて、推論器にもっと焦点を当てるべきだ」と言うかどうかです。最終的には、彼らはVC資金をこれ以上取り込むことができなくなる前に、このトレーニング費用を正当化できるようにする必要があるでしょう。ジョー、どう思いますか？
最後の部分については分かりませんね。現時点では誰もがVC資金を燃やすことに満足しているようです。確かに。UberとLyftはサービスを人々に利用してもらおうとし、また互いに競争するために膨大な量のVC資金を長い間燃やしてきました。このようなハイプサイクルの初期段階ではよくあることです。
また、特定のアプローチや技術が行き詰まることに人々がどれほど驚いているかにも驚いています。何を試みても最終的には行き詰まると想定すべきではないでしょうか？
スタートレックの人がAGIは1年前に起こると言っていましたが…
それが単純なトレンドとして何かを推測する問題です。経済分析をする人なら、使っているリソースがいずれ不足し、価格が上がり、より多く使うことが高コストになると言うでしょう。チップ製造のような何かが設計の知的作業を活用し、量が増えるほど直線的にコストが下がるというのは経済的には異常なことです。通常、量が増えると何かが不足しているためどこかでコストが上がります。
そうですね、普通は経済学の常識ですね。私はいつも推測で、2歳頃の姪が5インチ成長するのを見て、その成長率が永続すると仮定し、50歳には10フィートの身長になると考えるようなものです。そういうものがどう働くか。
単純な線形でも最終的には問題が発生し、これらの人々は指数関数的な推測をしていますが、それはさらに荒唐無稽です。
その通りです。どのような技術でも、ある時点で収益逓減があると想定するべきです。より多くの投資をしても、より小さな結果、つまりより小さな漸進的な改善しか得られなくなります。
通常、これをS字カーブでモデル化し、本当の問題は指数関数的な改善が線形になるのがいつかということです。それが見えたら、収益の上限に達し、S字カーブの上半分で逓減していくと想定できます。これが技術トレンドを分析する通常の方法です。
次のクリップに進みましょう。これはAPI市場でOpenAIが追い詰められているというものです。彼が説明します。速度が適切か確認しましょう。
この動画を楽しんでいただけていれば幸いです。視聴者の50%が登録していないので、登録ボタンを押し、できればいいねも、そしてコメントもしていただければ素晴らしいです。ありがとうございます。
OpenAIは新しい高価なものをただ投入し続けることができないほど追い詰められています。高価なものはもはやモデルではなく、製品になるでしょう。o3をさらに高い価格で投入する代わりに、彼らは安価なo3 miniを提供し、Deep Researchのような全く異なる世界の新製品を作りました。
この領域で競争することが大変だと気づいたとき、この分野で戦う3つの戦争のうち、彼らが始めた戦争は最悪で、もはやそれを好んでいません。この戦争では、少し速くなりましたが、ここで競争することにもあまり関心を持っていないようです。彼らが勝ちたいのはここです。
OpenAIは現在、モデルよりも製品に焦点を当てているようです。モデル戦争は彼らを悪く見せるほどになっているため、再びこれについて話していますが、彼らのリリースはDeep Researchのようなもの、スケジューリング製品、ブラウザを制御できるオペレータのようなものです。彼らは今、そこで競争したいと思っています。なぜならこれが大きく商品化されたからです。
彼がその話をした時、The Informationのこのグラフを思い出しました。これはOpenAIの収益予測を示しており、2029年までにChat GPTサブスクリプションから年間550億ドルを得ると予測しています。そしてAPIは220億ドルです。彼らはAPIをコアビジネスとして見ていなかったようで、消費者向けに進むのが前進と考えたようです。
私にとっては、最も高いマージンを持つビジネスに見えます。一方でAPIビジネスは非常に競争が激しくなる可能性があります。Google、Anthropic、Microsoftなどがモデルを出してほとんど無料で提供しています。OpenAIは「待てよ、収益逓減の法則に陥らないような、実際に利益マージンを守れるようなものに移る必要がある」と気づいたのでしょう。消費者向けが最も注力すべき場所に見えたのです。
彼はそのポイントを強調しているようですが、彼がAPI側から導き出している結論は正しいと思いますか、ジョー？
彼はおおむね正しい軌道にいると思いますが、競争のいくつかの側面を省略しています。彼は品質と価格について言及しましたが、一貫性や開発者体験など、企業が選択するものに影響を与える他の多くの要素もあります。
企業にとって統合コストは消費者よりもはるかに高くなります。消費者にとってはシンプルなスイッチングコストです。OpenAIのチャットボットの使い方を知っていれば、Claudeに切り替えることもできます。少し違いますが大差ありません。OpenAIのチャットボットに慣れていて、お気に入りにマークしているだけです。つまり、スイッチングコストは主に私の好みに関するものであり、時間の小さなコストかもしれません。
一方、企業の場合はどうでしょう。一度クラウドサービスを統合すると、切り替えるのは非常に困難です。彼らは完全にロックインされています。企業にとってコストの計算方法は非常に異なると言えるでしょう。言語モデルを使用するプロセスを確立し、一貫した結果を得られるようになると、おそらく結果の生のコストよりも一貫性の方が重要です。彼らはそのままでいたいと思い、それがどれほど大変だったかを覚えているでしょう。
誰かが「このクールで安価、または高速な他のモデルに切り替えよう」と言うと、彼らはただ相手を見て「前回のモデルが安定するまで1年かかったことを理解していますか？望む通りに動作させ、すべての評価基準と端のケースを満たし、適切なチームから適切な承認を得るのに。この新しいものがXレベルのパフォーマンス改善と安価な価格を提供することを確信できなければなりません。それ以外は、Twitterに戻ってそちら側に集中してください」と言うでしょう。
あなたに同意します。カルロスが「非レックス・フリーマン方式であなたたち大好きです」とコメントしました。カルロス、私たちも非レックス・フリーマン方式であなたを愛しています。今からブランド化しましょう。「FTA（AGIの恐怖）」と「非レックス・フリーマン方式の愛」がありますね。新しいマグカップにそのスローガンが必要になりそうです。
OpenAIの戦略について次のクリップに行きましょう。
彼らはここでもう多くのお金を稼げないことを知っており、壁に書かれているのを見ています。この戦争は最悪で、この戦争（製品）の方が競争するのが楽しいです。より安価で柔軟で、エンジニアはより楽しいことに取り組んでいます。新しい数学的プロセスを発明する科学者を多数必要とせず、科学者に数百万ドルを支払う必要もありません。それも一つのことです。GPUを20%効率的にするために5%の時間を費やすことも必要ありません。
これが業界にとって何を意味するか興味があります。私の仮説は、ClaudeやOpenAIのような企業が互いに競争するのをやめ、私のような人々、つまりPerplexityのような人々、これらのモデルを活用する製品を構築している人々と競争し始めるということです。モデル戦争はもうそれほど多くのお金を稼げる場所ではなく、この底辺への競争により、たとえ画期的なモデルを作り、10倍安く99%の品質を実現しても、誰かがわずか数週間で11倍安く99.5%の品質のものを作るでしょう。
かなり厳しいですね。彼はうまく言いました。そのため、OpenAIがSearch GPT（Perplexityクローン）を作成し、自社のワードプロセッサであるCanvasを作成し、指定した時間に自動的にプロンプトを実行するような自動化タスクも可能にしていることが分かります。そこには自動化が進んでいるので、それを進めて機能をもっと構築していくのが楽しみです。ジョー、何か考えは？
これは興味深い分離が起きていると思いますが、基盤モデルを作ることは多くの信頼性を与えると言いたいです。Chat GPTを見ていても、GPT-4oを別の誰かが作ったとしたら、それは非常に異なる提案になるでしょう。彼らは基盤モデルも作っているという事実から多くの信頼を得ています。
さらに、単に基盤モデルを構築し、その上に製品を構築するだけではないかもしれません。彼らは自分たちの製品を見て「別の方法で機能させたい」と考え、それが基盤モデルに取り組んでいるチームにフィードバックを与え、変更を加えることになるかもしれません。これはモデルの上にのみ構築している人には持てない大きな能力です。このアナロジーを使うなら「バックプレッシャー」がないのです。
それはおそらくPerplexityを悩ませています。「月に数億のクエリを処理しているが、これらのモデルをトレーニングしていない。そのゲームに参入する必要がある」と。おそらくユーザーの使用パターンに基づいて独自のモデルを作ることで、エンドカスタマーにとってより良いものになるでしょう。
それは程度の問題です。Perplexityはモデルの微調整や他の方法でモデルプロバイダーに影響を与えることができますが、彼らが見ている需要に基づいて完全に自由に新しい種類のモデルを構築できるわけではありません。トレーニングセットでもそれを想像できます。
Chat GPTやDeep Research（OpenAIバージョン）が何をしているか見てください。Chat GPTへの大量のリクエストがそもそもDeep Researchへの関心を促した可能性があり、OpenAIに巨大な初期トレーニングセットを提供しました。Deep Research登場前にユーザーがChat GPTに行ったリクエストがすべてあり、ユーザーがChat GPTの回答にどう反応したかも見ています。フォローアップの質問があったり、何かに満足していなかったり、答えが気に入らなかったりする場合、それらはすべてDeep Researchの開発への入力になります。その意味で、最初の製品があることで、OpenAIがフォローアップ製品を開発するために必要なデータセットを蓄積するのに役立ちました。
素晴らしい指摘です。週に4億人のユーザーがサービスを利用し、ユニークなプロンプトを入力することで、新たな製品改善の可能性を発見し、モデルの向上にも役立てています。Chat GPTの収益チャートは非常に興味深いですね。それはかなりの金額ですが、彼らにとって収益よりも価値があるのは、その製品から得られるデータです。
データは金です。多くの大企業がそのデータセットを得るために犯罪も辞さないでしょう。
素晴らしいですね。また前回のエピソードで話したように、コンピューターの使用方法や繰り返しのタスクを監視し、それらのタスクを自動化できると予測し始め、その後あなたに代わって実行するという段階に達することは、さらに強力になるでしょう。あなたがどのように作業を行うかを理解することで、リクエストを出した時に、あなたが通常どのように作業を行うかについてのバックグラウンド情報をすべて持つことができます。
次の話題に移りましょう。ラリー・ページの新しいAIスタートアップです。ラリー・ページは人工知能で製造業を一変させるために、新会社「ダイアトミクス」を設立しました。サイエントロジーの「ダイヤネティクス」ではなく「ダイアトミクス」です。
コメント