本動画は、AI業界の最前線で活躍する3人の専門家による対談である。アンドレ・カルパシーの最近の発言を起点に、AIエージェントの現状と誇大広告の問題、OpenAIをはじめとする各社の戦略的な動き、データセンター投資の是非、そしてAIアプリケーション層における価値創造の可能性について議論が展開される。AIバブルの可能性、動画生成技術の進化、バイブコーディングの実用性、そして中国のAI技術革新といった多岐にわたるテーマを通じて、AI産業の現在地と今後の展望が浮き彫りにされる。特に「薄いラッパー」という初期の懐疑論が誤りであったこと、そしてアプリケーション層こそが巨大な価値を生み出す場となることが強調されている。
アンドレ・カルパシーの発言とAIバブル論争
私たちは再びUnsupervised Learningに戻ってきました。DatologyのAriとRadicalのRobとの定例シリーズの続編です。今日のAIにおける大きな問題について議論していきます。アンドレ・カルパシーの最近のエージェントに関するコメントと、それらが短期的に誇大広告されすぎているという話、そして今日私たちがバブルの中にいるのかどうかについて話しました。
OpenAIについて、Soraからアプリケーション向けSDK、ブラウザ、その他多くのものまで、彼らが出荷したすべてのものについて話しました。締結されたコンピュート関連の取引や、それらに対する反応、そしてAppleの潜在的な買収対象についても話しました。そして最後に、AIアプリのエコシステムと、投資の観点から興味深いものとそうでないものについて触れました。
AI分野でこれほど賢い2人の良き友人とこれをやれるのは本当に楽しいことです。皆さんも本当に楽しんでいただけると思います。それでは前置きなしに、私たちの会話をお届けします。
皆さん、これは素晴らしいです。また一緒にやれて本当に嬉しいです。再びやりますね。ええ、また一緒にやれてとても楽しみです。しかも今回は対面で。
そう、今回は対面で、これは断然良いですね。そうすれば、特にひどい意見に対して劇的な反応を見せることができますからね。立ち上がって、相手に向かって行くこともできます。私たちの誰かが部屋から飛び出すまでの確率はどれくらいでしょうか?うまくいけば、質問が良ければ、途中で何かひどいことが言われるはずです。
最初に取り上げたいのは、過去数週間、本当に過去数か月間の支配的な質問だと思うんですが、つまり、私たちはバブルの中にいるのか、ということです。そして、人々がそれに反応するために使う新しいデータポイントが常にあるようです。しかし最新のものは、アンドレ・カルパシーによる別のポッドキャスト出演で、彼は本当に興味深いことを言いました。
いくつか印象的だった引用を読み上げます。おそらく彼が言った「全体として、モデルはそこまで到達していない。業界は飛躍しすぎていて、これは素晴らしいと装おうとしているが、そうではない。それはスロップ(低品質なもの)だ」という言葉で最もよく要約されると思います。
彼はまた、AIが従業員やインターンとして雇うような仕事全体を意味のある形で自動化できるようになるまでには、少なくとも10年かかるだろうとも言いました。つまり、明らかに研究所から聞いていたものとはかなり異なる物語です。
お二人に伺いたいのですが、アンドレが言っていたことに対してどう反応されましたか?
まず最初に言いたいのは、アンドレ・カルパシーはまだかなりAIに対して誇大広告的だと思います。AGIが10年で到達し、10年ですべての仕事を完全に自動化できると言うことが、バブルを意味するというのは、ちょっとおかしな話です。もし5年前に、15年後には高い確率ですべての仕事を自動化すると言われていたら、それは史上最大の技術進歩になるでしょう。
つまり、これはおそらく、物事がどれほど馬鹿げて誇大広告されてきたかについてのコメントなのかもしれません。しかし私の一般的な見解は、はい、確実にいくつかの誇大広告が起こっているということです。
2年後には誰もお金を稼げなくなると考えている人々と話をすることがあります。すべてが完全に自動化されるからです。それは明らかに真実ではありません。他に何もなくても、何かが実際に企業全体に浸透するには100万年かかります。大企業や大きな会社は遅いですし、多くのケースで実際の世界への影響を見るには、そのペースのために長い時間がかかります。
私の見解は、確かに誇大広告をしている人々もいますが、ここには非常に非常に現実的な実質があります。もし今日モデルの改善を止めたとしても、これが固定されてこれが私たちにできるすべてだとしても、経済全体で大規模な変革を見ることになるでしょう。
これは本当に誇大広告的なものに冷や水を浴びせていますが、例えばドットコムバブルとは非常に異なる方法で、私たちがいる場所には依然として本物の実質があります。
10年でAGIというのはかなりワクワクする話ですが、明らかに短期的には懸念があります。これらのデータセンターの一部に投入されている資本量で行き過ぎているのではないか、という懸念です。そして今のところ明確でないのは、この最新レベルの報告されたcapex支出を正当化するために、企業エージェントと仕事を置き換える能力が本当に必要なのかどうかです。
私たちはこの信じられないような長期的な道を進んでいる可能性があります。そして、もし短期的にそれらのいくつかが現れなければ、この次の波のcapex投資を正当化するために必要な収益が見られるかどうかは不明確です。
アンドレ・カルパシーのインタビューは素晴らしかったと思います。Ariの指摘の通り、かなり楽観的だったと思います。彼はAIに対して弱気ではなく、AIがバブルだと言っているわけではありません。それは、AIがまだ不足している領域と、まだ満たされる必要がある非常に現実的な課題について、非常に新鮮でバランスの取れた率直な見解だったと思います。
そして、少なくとも現時点では、AGIが6か月後にここにあるという高速離陸シナリオにはいないということです。そして、彼のような地位の人がそれを公然と認めて言うのを聞くことは有益だったと思います。
バブルの中にいるかという質問に関しては、ある意味で過去2、3年間はバブルのように感じられてきました。だから、今起こっているバブルの要素はたくさんあると思いますが、それが必ずしも最も興味深い観察かどうかはわかりません。
本当に変革的な新しいパラダイムシフト技術があるときは常に、バブルは避けられないとまで言えるかもしれません。なぜなら、人々は長期的な可能性を想像することにとても興奮し、夢を見て、自分自身を先取りするからです。
そして、金融サイクルが技術サイクルから切り離され、これが私たちの生涯、そして生涯以前のほぼすべての主要な技術で展開されるのを見てきたと思います。
VCとスタートアップの観点から見ると、ラウンドがどれだけ早く行われているか、クレイジーな評価額などの点で、私たち両方が生き抜いた2020年から2021年のZERP時代の多くの反響があります。それはすべて現実です。
Jacobが触れた最後のポイントですが、認識する価値があると思うのは、システムにますます多くのレバレッジを導入し始めると、潜在的にもう少し深刻になるということです。そして、これがAIデータセンターのこの大規模なcapex構築の文脈で最近起こり始めたと思います。
引き受けられる負債がますます多くなり、なされている資本コミットメントがますます大きくなっています。Ariに聞きたいのですが、研究コミュニティでは、明らかに研究所からの非常に大きな声があり、常に「エージェント、これはエージェントの年だ、すべてうまくいく」と言っています。そして、アンドレは静かな部分を少し大きな声で言っていたように感じましたが、それは正しい特徴づけですか?
ええ、私が話をする多くの人々にとってそれは真実だと思います。また、一般的にソーシャルメディアは極端な意見にインセンティブを与え、一般的な穏健な意見よりも極端な意見を増幅させます。「私たちは1年後だ」と言うのは本当に説得力があります。
これらの特殊なドメインで本当に正確なパフォーマンスを得るために、特にこれらのモデルにはまだやるべきことがたくさんあります。アンドレに完全に同意します。これは起こるでしょう。トレンドラインは信じられないほどポジティブです。しかし、これらの巨大なデータセンター構築に行くとき、正直に言うと少し躊躇します。
一つの理由は、制約がイノベーションを生むと思うからです。そして、無限にコンピュートを投げるという戦略が正しいかどうかはわかりません。一例として、GPT-4.5やLLaMA Behemothのようなモデルを単純に非常に大きなスケールまでスケールアップすることがうまく機能しなかったことがわかっています。
代わりの答えは、多くの点でより効率的なテストタイム推論でした。DeepSeekが、Nvidiaが今生産しているものほど強力ではないGPUでできたことを見ています。そのような制約は実際に重要だと思います。そして、必ずしも5,000億ドルをデータセンターインフラに投資する必要なく、AIをより良くする多くの方法があると思います。
今日のデータセンター構築全体が、本当にうまくいく使用例に賭けているように感じます。ほぼすべての収益は、消費者向けチャットボットまたはコーディングからのものです。
人々がエージェントを誇大広告している理由の一部は、おそらくこの2つには無限に伸びる余地があり、SoraやVibesやその他すべてのものを収益化する素晴らしい方法を見つけるだろうということです。そして、この2つだけでこの大規模なデータセンター構築を正当化できます。
しかし、確かに、この支出レベルを正当化するには、かなり大きな企業エージェントの収益を見る必要があるという感覚があると思います。
OpenAIの製品戦略と収益化の課題
消費者においても、実際に人々にこれらのモデルにお金を払わせるという問題があります。OpenAIの収益をリバースエンジニアリングしようとする興味深い分析があり、実際には支払っているChatGPTの顧客の割合は非常に小さいです。
個人的に私の家族の中で言うと、AI ニュースの風景に住んでいるほど夢中になっていない普通の人々は、常にChatGPTを使っていますが、お金を払っていません。なぜお金を払わないのか聞いたら、「払う必要があるの?」と言います。彼らはシンキングモデルが何なのか理解していません。
私たちがこれらのデータセンターに投入したcapexの量を理解していません。データセンターを正当化するためにお金を払わなければならないことを理解していません。だから、サブスクリプションベースのモデルが人口の特定のサブセットを超えて本当にスケールするかどうかは疑問に思います。
彼らは最近、dev dayで非常に活発でしたね。このアプリケーション向けSDKを導入し、ChatGPTを通じたチェックアウトも導入しています。確かに、これらのいくつかの商取引側を収益化する方法はあります。OpenAIが出荷する速度を見るのは信じられないほど印象的です。本当に印象的です。
アプリケーション向けSDKとブラウザは、その最新の例だと思います。Atlasの立ち上げは、1990年代のブラウザとブラウザ戦争からのバック・トゥ・ザ・フューチャーの瞬間のようなものを見ているのが興味深かったです。20年から25年間、ブラウザは静的で無関係でしたが、突然ブラウザで非常に多くのイノベーションが再び起こっており、調整したり新しいAIネイティブ機能を追加したりする方法がたくさんあります。
明らかにPerplexityには彼らのバージョンのCometがあり、これを中心にイノベーションを起こしている他のスタートアップもあります。私は昨日Atlasをいじっていましたが、素晴らしい製品です。従来のGoogle Chromeブラウザの使用をやめて、AIネイティブブラウザの使用を始めることになると予想しています。
これは別の興味深いアクセスだと思います。基本的に、日常生活のすべてをモデルプロバイダーの1つに関連付けられた何かで行い、実際には回答エンジン自体ではない側面を収益化しやすくします。ブラウザにすると、ショッピングがより意味を持つようになります。
質問は、人々を完全に新しいブラウザに切り替えることが実際にできるかどうかだと思います。Chromeは理由があって非常に粘着性があります。人々を切り替えさせるのは非常に難しいです。だから、実際にそれができるのか、それとも最も多くの配信を持つ人々、つまり主にGoogleとAppleに利益をもたらすだけなのか。
アプリ側でも、これらの他の企業がうまく協力するかどうかという感じです。明らかに、ある程度は存在しなくなってしまいます。Canvaで、Zillowで、あるいは彼らが見せていたものの中で、まだやり取りするわけですが、どのアプリを表示するかを決めて切り替えるのは彼らにとって十分簡単です。
Uberのような会社を例にとると、Uberの強さは、良い価格で車を持つという物流ネットワークだけだと言えるかもしれません。ChatGPTが毎回彼らを選ぶなら、彼らは大丈夫でしょう。同時に、このコンシューマーフロントエンドを持っていることが好きだと思います。
食べ物を取りに行ったり何かを頼んだりしているときに、配達を注文することを考えていなかったかもしれません。基本的にそのフロントエンドの関係を持っていることです。
これが、マーク・ザッカーバーグがAIとAI人材に非常に多くを費やしている理由の一部だと感じています。彼は本当にモバイルでプラットフォームを獲得することを逃しました。そして、それは多くの点でMetaとFacebookを本当に傷つけたと思います。最も顕著なのは、AppleがATTの変更を行い、広告がMetaのプロパティを通じて表示されたためにユーザーがアプリを購入したかどうかの帰属を困難にしたときです。
そして、それはMetaに数百億ドルの損失をもたらしました。ある意味で、これを取り巻くプラットフォームを所有していなければ、ビジネスにとって少し実存的な脅威です。ChatGPTやGeminiやこれらのさまざまなものを通じてすべてのショッピングが起こる場合、それはShopifyにとって非常に恐ろしいことです。
マークがこれほど深く投資する意思がある理由の大部分は、そもそもプラットフォームを所有していなかったことで少しトラウマを抱えているからだと感じています。そして今、彼は確実にしようとしています。Oculusも同じことの多くだったと思います。彼はARとVRのためのプラットフォームを所有したかったのです。
メガネでも同じことをしています。今度はメガネで同じことをやっています。正直に言うと、これが登場してきた今、これがメタバースの支出が常に向かっていた場所だと思います。そして、かなりクールになると思います。
多くの企業にとって、このエコシステムを所有しないことは大きな脅威だと思います。また、大きなモデルプレーヤーが大きな方法で競合し始めると、実際にアクセスを遮断するという脅威もあります。AnthropicとWindsurfについて考えると、これらのモデルの1つに完全に依存しているアプリを構築していて、彼らと競合しているかもしれないという兆候があるとすぐに、アクセスを遮断できるとしたら、それは私にとって恐ろしいことです。
この非常に強い友人か敵かのダイナミクスがあります。OpenAIと一緒に仕事をしたくないわけではありませんが、そうすると脇に追いやられ周辺化されるリスクがあります。それがどのように展開するかを見るのは非常に興味深いでしょう。
エコシステムの誰もが可能な限り多くのプレーヤーがいることにインセンティブを与えられているのは驚くべきことです。明らかに、OpenAIとインフラ取引を見れば、長期的にはNvidiaだけに頼らないようにしようとしています。確かに、Nvidiaは可能な限り多くの異なるモデルプロバイダーがいることを確認することに非常にインセンティブを与えられています。
1つのモデルがはるかに優れているか、1つの消費者フロントエンドが人々が行く場所である世界を誰も望んでいません。差別化はもはやモデル層では起こらないという傾向が見られます。オープンソースモデルは現在、クローズドソースモデルと非常に競争力があります。特に、実際の人々が実際に気にするほとんどの使用例についてはそうです。
ほとんどの人はAIMを解決することを気にしません。それは世界のごく一部の人々以外には関係ありません。したがって、ほとんどのものと同じくらい良いコモディティモデルがあるなら、差別化する唯一の場所はモデル自体の周りに構築するエコシステムです。
その粘着性のある足場、物事の記憶的側面に行くと、非常に粘着性のある側面になると思います。だからこそ、これらすべての人々がこれをキャプチャしようと急いでいるのを見ていると思います。それは実存的だからです。
動画生成技術の進化とSoraの登場
先月のもう一つの大きなニュースは、Soraと動画モデル全般でした。OpenAIは本当に印象的な方法で時代精神の中に居続けています。Googleが最初にこれらの非常に印象的な動画モデルを持っていたような気がしますが、その後OpenAIは楽しい、明らかに素晴らしいモデルだけでなく、非常に楽しい消費者体験と、自分自身をそれに挿入する能力を見つけました。
MetaもVibesで似たような製品をやっていました。過去3〜6か月間の動画モデルの進歩と、これらすべてがどこに向かっているように感じるかについて、お二人の反応を聞きたいです。
正直言って、Sora 2がどれだけ良いか、V3がどれだけ良いかを見るのは素晴らしかったです。改善のペースが本当に驚くべきものであり続けています。動画生成が現実的な外観の点で実質的にパリティに近いか、あるいは到達したという閾値を比較的最近越えたと思います。それは大きな視点で見るとクレイジーです。
あのウィル・スミスのスパゲティを本当に飽和させましたね。ええ、それは起こりました。瞬きの間に起こったような気がします。でも、何年もの間、人々が抱いていた大きな懸念の1つ、あるいはAIの破滅的なシナリオのようなものは、ディープフェイクの概念と、現実とフィクションの境界線が認識を超えて曖昧になることだったと思います。
本物に見えるものを作ることができるのに、それが本物ではなく、何が本物で何がそうでないかを知ることが不可能だからです。政治家が特定のことを言っている動画があり、キャリアを台無しにしたり、あらゆる種類のことが想像できるシナリオを想像できます。
もし意のままに即座にコンテンツを生成できるとしたら。2010年代後半、8年か9年前にディープフェイクについて多くの心配があったことを覚えていますが、技術は全然十分ではありませんでした。そして、ついにその地点に到達したと思います。
社会全体に完全に広がるのをまだ見ていないと思います。明らかに、楽しい初期の実験がSoraでありました。ベストバイからGPUを盗むSam Altmanは素晴らしいものでした。しかし、それは心を揺さぶるものであり、ワクワクすることですが、一時停止する理由でもあります。
どんな動画、どんな画像、どんな音声の断片が本物かどうか、本当に見分けがつかない世界がどのようになるかを考えることです。そして、多くのマイナス面があると思います。明らかに多くのワクワクするプラス面もあります。
OpenAIがCon(カンヌ)で来年デビューする長編映画を制作していることを見たと思います。彼らは通常数年と大きな予算がかかるこれらの映画を、9か月で3,000万ドル未満でやっています。だから多くのワクワクする機会があり、クリエイティブに力を与える方法があります。
しかし、AI生成動画と実生活の動画の間の真の区別不可能性というルビコン川を越えたことは、多くの影響があると思います。
ディープフェイクについて少し触れます。私は、ほぼ他のどの近期的影響よりもディープフェイクについて非常に非常に心配していた人々の1人でした。それがまだ大きな問題になっていないことに、本当に嬉しく驚いています。
ほとんどの人々は既に画像や動画を区別できません。Facebookを見ると、人々がAI生成画像を投稿しているグループがたくさんあり、一般的に年配の人々がこれらのものに完全に騙されています。これを効果的に行うことができる技術段階にしばらく前から到達していました。
確かに国家主体はこれらのモデルにアクセスしており、これを行う方法を知っています。それでも、それが本当に大きな問題になるのを見ていません。それには本当に驚いていますし、おそらく勇気づけられています。もしかしたら私は時期尚早で、1年後にはこれが本当に大きな問題になっているかもしれませんが、既にこれがもっと大きな問題になっていると予想していたでしょう。
奇妙な中間的なケースも出てきています。政治家が実際に言ったことをAI生成動画で見せている人々を見たことがあります。しかし、その動画はなかったので、新聞で引用を出した誰かの動画バージョンを作ります。それは完全に偽物であるべきでしょうか?どこか中間にあります。誰かが言わなかったコメントを誤って帰属させているわけではありません。
これらの動画モデルに関する言説のもう一つの部分は、スロップという言葉が過去数週間の言葉になったように感じます。Metaの立ち上げに対して明らかに否定的な反応があり、これらの多くは無意識の消費のように感じられました。
Sam Altmanが雄弁に述べたように、ある人のスロップは別の人の宝かもしれません。それは変革的なツールを持つことの避けられない結果だと思います。究極的に、AIはこれまでに作ることができた最高のハンマーのようなものです。
ハンマーは素晴らしいです。なぜなら、ハンマーを使って物を作ることができるからです。家を建てることができ、人々のために本当に素晴らしいことができます。人々の頭蓋骨を割るためにもハンマーを使うことができます。
どんなツールでも、どんな新しい技術でも、良いことに使う方法があります。悪いことに使う方法があります。ほとんどの使用は良くも悪くもないが、人々が楽しむだけのものだと思います。AIのスロップのように、人々は本当にそれに夢中になり、非常に粘着性があると思います。
Tik Tokを想像してみてください。実際には、あなたに最も合うものを見つけようとコンテンツのライブラリを調べているのではなく、あなたが好きだと思うものを正確に生成すると言っています。特定の時点に到達すると、おそらくより効果的になるでしょう。
必ずしも時間とエネルギーのすべてがそこに向かうことを私が望んでいるところではありません。おそらく病気の解決や、人類のために良いことをすることを可能にするより良いツールの構築に向かう方がいいでしょう。
しかし、それは新しい技術の避けられない結果だと思います。主に時間の無駄遣いである使い方を見つけることになります。そして、それは世界のほとんどの人々がこのようなものに望んでいることだと思います。
ある人のスロップは別の人の宝だというSamの引用は実際に好きです。画像であれ、動画であれ、書かれたコンテンツであれ、あらゆる種類のコンテンツの生成コストが基本的にゼロになり、時間がゼロになると、それがはるかに多くなることは避けられないと思います。
しかし、生成AI の時代以前でも、TwitterフィードやFacebookフィードにあったものの多くは、人間が生成したスロップとして正しく特徴づけることができると思います。それもそれほど深遠でも意味のあるものでもありません。それはおそらく全体的にソーシャルメディアに対するより多くの批判だと思います。
今やこのすべてのコンテンツ、このすべてのコード、書かれたエッセイ、本、動画などを無限に生成できるようになったので、多くの社会的な再計算が必要になると思います。キュレーションに関する大きな努力が必要になると思います。フィルタリングして、見たいコンテンツを決定することです。
興味深い質問の1つは、Karpathyも話していたことですが、彼がすべての時間を費やしているものです。それは素晴らしいと思います。AIの使用と世界をより良くすることの最もワクワクする領域の1つは、いつでもポケットに無限に忍耐強く、無限に知的な家庭教師がいることだと思います。
特に、これは低所得国の人々にとって非常に影響力があると思います。だから、持っている1つの質問は、AIを通じてエデュテインメント(教育とエンターテインメント)をより面白くすることができるかということです。それは本当にクールなことだと思いますし、社会にとってより生産的な結果に向けてこれを導く方法のいくつかになるかもしれません。
あなたの以前のポイントは、このような技術を持っているとき、それは多くの異なる方法で使われるということで、よく理解されていました。そして、実際にはある意味で、ChatGPTでの最初の現れは、その最良の方法では、心のための自転車のようなもので、物事について学ぶ方法を本当に加速させ、物事へのアクセスを得ることができるものだったと思います。
ランダムなAI生成動画を無限にスクロールする可能性は、最初のより明確に肯定的ではないバージョンのように感じます。そして、これらのクリエイターアプリケーション内でも、Soraアプローチのような、まだ物事を創造していて、あなた自身や自分の生活の人々に関するものなので、ある意味でソーシャルであるという、この戦いのようなものがあると感じます。
ほとんどの消費者アプリは伝統的に、人々は消費者でありたいと思っています。彼らは本当にクリエイターになりたくありません。彼らはただ座って、多くのものを観察したり、多くのものを聞いたりしたいのです。
そして、創造することに非常にインスパイアされている人々がたくさんいて、消費者アプリを構築しようとしています。多くの人々が創造しています。しかし、私は本当に興味があります。人間の本性として、人々にそこにある最高のクリエイティブツールを与えても、ほとんどの人々は短編動画を作りたいのか、それとも、実際にはRobがそれをやるのを見ているだけで十分で、彼はかなり良いものを作るし、規範的な観点から見て、それが本当に重要なのかということです。
非常に興味深い質問です。Jacobさん。そして、その質問は、人々が常に超知的なAIの文脈で取り組む広範な質問の縮図のように感じます。人間よりも優れたことをすべて行うことができるので、人間はもう働く必要がありません。
仕事は生き残るために必要なリソースを生成するためにもはや必要ありません。そして、それが良いことなのか悪いことなのかという質問があります。人々がビーチに行って家族と時間を過ごすことは良いことなのでしょうか?創造したければ創造できます。学びたければ学べます。
あるいは、したくなければ、ビデオゲームをするだけでもいいです。私はどちらかというと後者の陣営にいて、これらのツールを使って創造したくない人々がいても、消費だけで楽しみを得られるなら、それでも大丈夫だと思います。
Metaのものが出たときのこの周辺の対話で最も興味深いと思ったことの1つは、これらの問題に取り組むほど説得力のある研究者のこの小さなサブセットへのほとんど訴えのようなものがあったことです。本当にそれに取り組みたいのですか?どこでも働ける人がいるのに、それはあなたが取り組みたい種類のことですか?
また、正直に言って、それはあまり重要ではないと思います。これらの製品に取り組んでいるトップの研究者が皆、「私はこれらには取り組まない、本当に社会に利益をもたらすことにしか取り組まない」と言っても、おそらく6か月遅らせるだけです。この時点ではすべて避けられないことです。
また、一時停止のような安全性のアイデアの多くについても、私は一般的にそれほど心配していませんが、それも現実的ではないと思います。これらのことを一時停止することはできません。それらは起こっています。非常にわずかに遅らせることはできるかもしれませんが、この時点でこれを行う方法を知っているグループが非常に多くあります。それは何があっても起こります。
データ取得戦略と金融分野への展開
明らかにこのAGIの未来について話していて、それから最近話題になっている見出しを見ると、OpenAIがこれらの銀行員を雇ってモデルをトレーニングするためにお金を払っているというものがあります。少し離れているように感じるんですが、Ariさん、あなたはデータの専門家なので、あなたの考えを聞きたくてとてもワクワクしています。
待ってください、2年後にAGIがあると言っていて、同時に銀行員が来て、Excelモデルに焦点を当てているようです。私のためにそれら2つを結びつけてください。あなたの考えを聞きたいです。まず、あなたの考えでは、そのデータ収集活動は全体的にモデルを改善するために重要なのでしょうか?
それとも、本当に金融タスクでより良くするためだけの方法として考えるべきでしょうか?
そして一般的に、過去数年間既に起こっているトレンドを見てきました。データ取得がより一般目的からはるかに特化したものへと移行しています。そして、実際にデータ取得を行う人々が、特化した人材をターゲットにするのが上手である人々が、一般的な人材を得るのが上手な人々と比較して、より多くのビジネスを得ています。
これは、過去数年間既に起こっているトレンドの一例に過ぎないと思います。より特化したユースケースへの移行です。質問は、今AIの手の届く範囲内にある経済的に価値のある仕事はどこにあるかということです。
明らかに、ソフトウェアベースのアプローチは、物理世界ベースの仕事よりも今のところはるかに近いです。そして、金融は明らかにこれに多くの価値がある場所です。しかし、実際にはパブリックインターネット上にこのデータの多くは存在しません。
パブリックインターネットは、世界のすべてのデータの非常に偏ったサンプルです。私がよく言うことの1つは、世界のデータの大部分は私的なものだということです。パブリックではありません。パブリックインターネット上にはありません。
そして、それは多くの特化したユースケースに関連しています。そして、デフォルトでは、OpenAIはそのデータにアクセスできません。なぜなら、ほとんどの企業はそのデータを誰とも共有することに非常に消極的であり、特にFrontier Labsと共有することには消極的だからです。彼らがそのデータでトレーニングして、他の顧客にサービスを提供したり、コアビジネスを損なったりすることを心配しているからです。
だから、実際にはそれほど印象的ではないと思います。当然彼らはそうしています。当然、彼らは非常に特化したタスクに関するデータを取得しようとしています。
それがより広範にモデルをより良くすることに一般化するかどうかについて。特に数学とコードのいくつかの種類のデータでこれが起こるのを見てきました。それはより一般的に推論を促進するのに本当に良い傾向があります。
だから、これらの種類の金融タスクでそれを見るかもしれません。
モデルを構築するスキルが他のことに一般化するかどうかという昔からの質問に答えられるような気がします。銀行業務は学校を出たばかりの良い最初の仕事なのか。
おそらく近い将来にはそうではないと推測します。そして実際、それはAIに関する私の最大の懸念の1つです。40代後半から50代前半の銀行員がいるとき、彼らは正しいことをすべてしました。素晴らしい学校に行き、一生懸命働き、成功した人生を送り、高給の仕事を得るためにすべきことをすべてしました。
彼ら全員が仕事を失うとは思いませんし、それが1年で起こるとは思いませんが、最終的には多くの人々が仕事を失い、AIに頼るだけで同じ量の仕事ができる人々の集合が狭くなると思います。
そして、AIの上に構築するために使用できる新しい仕事を実際に作り出すと思います。そこではまだ人間が関与することを望んでいます。しかし、それらの仕事は、仕事を失う40代後半から50代前半の銀行員の仕事とは非常に異なるスキルセットを必要とするでしょう。
そして、不満を持つすべての人々がいるとき、それが私にとってAIの最も恐ろしい中期的な意味の1つだと思います。彼らは正しいことをすべてやったのに、とにかく損をしたと感じています。
リスクは実際にははるかにジュニアレベルにあると思います。Excelモデリングを自動化している場合、シニア銀行員はセルC137の詳細にあまり時間を費やしていないと思います。彼らはもっと関係性の側面のことをやっています。
Goldman のCEOでさえ、これらのモデルは今やS-1の95%ができると言っていたと思います。そして、その上の5%の追加部分が本当に重要です。最初に彼らにより多くのレバレッジを与えると思います。
40代、50代の人々についてはそれほど心配していません。伝統的にシニア銀行員がいる場所に到達するために、そのような訓練を必要としていた、または伝統的にそのような訓練を受けていた22歳の人々のようです。
ジュニアの人々についてあまり心配していない理由は、彼らが新しいことを学ぶことにはるかにオープンだからです。私にとって本当に驚きだったことの1つは、一般的に職業再訓練プログラムがうまく機能しないことです。
それらが本当にうまく機能すると思うでしょう。例えば、金融危機後に自動車労働者に新しいスキルを学ばせようとした職業再訓練プログラムの多くの研究を見ると、それはあまりうまく機能しませんでした。
だから、若いとき、30歳未満のとき、これがうまくいっていないことは簡単です。新しいスキルを身につけ、AIをうまく使う方法を学び、新しいことができるようになります。
明らかに、常に新しいことを学びたいと思っている年配の人々もいますが、平均して新しいタスクを学ぶ意欲は年齢とともに低下すると思います。
金融の見出しが共鳴した理由は、Ariさんもおっしゃったように、それほど驚くべきことではないことに同意します。これが昨年行われたすべてのデータ購入の方向性です。しかし、これらの企業エージェントに到達するのに10年かかるプロセスかもしれないという感覚と並置すると、もし我々がそれらすべてを持つ直前にいたら、おそらく各特定の領域に入る必要はないでしょう。
そして、capexの構築のこの質問に戻ると思います。これらの各垂直分野とそれらにモデルを構築するためのプッシュを考えると、全体的な支出を正当化するのでしょうか?
私の考えでは、OpenAIと他の基礎モデル会社の間に、ほぼ必然的にレイヤーがあると思います。金融会社は箱から出してすぐにモデルを本当に使うとは思いません。Rogoやこれらの他のアプリケーション会社を通じて仲介されると思います。
そして、5,000億ドルの評価額に座っているときに、これらのそれぞれに、コーディングはコーディングで、消費者は2つの最高のエンドマーケットのようなものでした。そして、医療、法律、これらの他のものは確かにそうですが、これらの企業がより多くの評価額に成長し続け、capex支出の背後にある仮定にも、針を動かし続けるのに十分なのでしょうか。
これはバブルの議論に戻ると思います。十分なユースケースがあるかどうかです。完全な時間の中では、答えは確かにイエスになると思います。それについてはほとんど疑いがありません。しかし、Jacobさんが指摘しているように、近期的なタイムラインははるかに不確実です。
AIが今後12〜18か月で金融、法律、医療にわたって何十億ドルもの価値を創造できるとは限らないかもしれません。そして、もしそうなら、近期的な証券価格や株価が上下するかもしれません。
すべての知識労働のほんの一部を自動化できるだけでも、正直なところ、この量の価値を創造できます。特に複数年の期間にわたって。そして、これはホワイトカラーの知識デジタルワークに焦点を当てているだけです。
世界GDPの経済のはるかに大きな部分は物理的関連の仕事だと思いますし、ロボティクスは明らかに言語モデルや純粋にデジタルなモデルに遅れています。しかし、最先端のAIのロボティクスへの応用は非常に急速に改善しています。
構築されているこれらのデータセンターの多くは、次世代のロボティクスモデル、そしてその次のものをトレーニングするために使用できますし、使用されるでしょう。そして、正しい時間軸で見れば、それだけでさらに多くの創造が開かれると思います。
ロボティクスモデルが今後数年で到達すれば、自動的にデータセンターを建設不足にしています。つまり、そういうことです。あまり多くのことがうまくいく必要がない、それがすべて正当化される前に。そして、すべてがうまくいく必要はありません。
究極的には、実際の鍵は、これをすべての消費者に効果的に収益化できるかどうかです。それができるだけでも、それは正当化されます。そして、実際にこの高価値の仕事のために企業への浸透を実現できれば、非常に簡単に正当化できると思います。
GoogleとAnthropicの戦略的関係
お二人にぜひ意見を聞きたいことの1つは、実はGoogleとAnthropicの関係についてです。私にとって非常に興味深いからです。前回これについて話しましたが、Googleは調理しています。素晴らしいチームがいます。素晴らしいモデルを構築しています。誰もがGemini 3は本当に良くなると言っています。
明らかに、彼らは過去にAnthropicに多額の投資をしてきましたし、過去数日間で彼らがさらに多く投資する計画があるという報道がありました。お二人はどう思いますか?
私の2セントですが、Ariさんがどう思うか興味があります。GoogleとAnthropicの最近の噂についての私の解釈は、TPUとGoogle Cloudに関するものであり、Anthropicがコンピュートのかなりの部分をTPUに移すための取引を結ぶことに関するものだということです。
Googleは本当にクラウドビジネスを構築し、TPUをNvidiaのGPUの実行可能な代替品にしたいと思っています。そして、Googleは、Ariさんと Jacobさんの意見を聞きたいのですが、Googleは自分たちの自社開発モデルに多くの自信を持っていると思いますし、Anthropicに頼る必要があるかもしれないとは考えていないと思います。ハードウェアに関するものだと思います。
同意する傾向があります。両側でヘッジだけだと思います。Anthropicはすべてをamazonに依存しないように、コンピュートインフラを多様化したいと思っています。GoogleはすでにAnthropicの10%、もう少し多いかもしれませんが、所有していると思います。そして今、Anthropicから多くの上昇を得ています。
また、Googleが行っているように、Geminiは長期的には電話に組み込まれると思います。ローカルモデルです。そこに配信の優位性があります。GmailやG Suite、カレンダーと非常に緊密に統合され、あなたのチーフオブスタッフになり、そのすべてのようなものになります。
それはGoogleとGeminiにとって非常に直接的な視線のように思えます。一方、Anthropicは開発者とコーディングのユースケースにより焦点を当てています。Googleは気にしていると思いますが、彼らはより少なく気にしていると推測します。だから、これにも少し補完的な側面があると思います。
だから正直に言って、これは両側で非常に賢い取引だと思いますし、Robさんに同意します。GoogleはNvidiaの大規模な集中需要を見ています。TPUは本当に良いです。人々は本当にTPUが好きです。
TPUですべてがうまく機能するようにすることには課題がありますが、TPUが本当に得意なことの1つをやっているなら、それらは素晴らしいです。だから、それを販売して実際に製品化することは非常に理にかなっています。
そして正直に言って、Googleが今、まったく新しい収益源について考え始めているのを見るのはクールです。彼らは長い間それをしませんでした。彼らは今それを実現していますよね、Waymoは明らかに本当に強くヒットしています。そして、TPUを販売することが極めて有利になることを想像するのに問題はありません。Googleにとって。
すべての側面で多くのヘッジがあるように感じます。誰もがここで複数のオプションを持つことにインセンティブを与えられています。誰も単一スレッドでありたくありません。
3〜6か月ごとにカードをめくり続けて、次世代のモデル機能、次世代のチップを見ます。そして、持つことができるより多くのオプションを維持できることが、Googleはこの時点でOpenAIとかなり直接的に競争していると思います。
だから、Geminiモデルがうまくいっているようですが、どうなるかわかりません。エコシステムには多くのフレネミーがいるのを見るのは興味深いです。これらが実際に確定しているのか、それともより将来的なオプション性のようなものなのか不明な取引がたくさんあります。真剣なチェスが行われています。
コンピュート関連取引とOpenAIの戦略
明らかに、過去3か月間にこれらの発表がたくさんありました。OpenAIと任意の会社を挿入すると、その株は30%上昇します。発表の直後に。しかし、明らかにAMD、Nvidia、Broadcomのように、インフォプレーヤー、モデルプレーヤー間のこれらすべての発表の中で、皆さんを驚かせたものはありますか?そして、全体についてどう思いますか?
最近数か月のOpenAIとSam Altmanの取引に非常に感銘を受けています。彼らは一連の取引を結びました。Jacobさんがまさに説明したように、オプション性を最大化することについてです。
これらの取引が構築された方法は、OpenAIをほとんど大きすぎる、あるいは失敗するには相互接続されすぎているようにするという素晴らしい仕事をしたと思います。それは彼らによって見事に実行されたと思います。
Broadcomの取引は別の理由で興味深いと思います。それは、投資の循環性やNvidiaがOpenAIにお金を与えてGPUチップに使うといったことについてのものではありません。それはより、カスタマイズされたシリコンがますます関連性を持つようになり、おそらく各新しいモデルのためのカスタマイズされたシリコンさえも、新しいチップを開発してテープアウトしてから使用するウィンドウがより圧縮されるにつれて、という方向を指しているように思えます。
シリコンとモデルを共同作成でき、かなり迅速に新世代のチップを持つことができる世界について考えるのは興味深いです。それがOpenAIが進みたい方向だと思いますし、Broadcomで良いパートナーを見つけたと思います。そして、それは大部分、私たちが話してきたテーマに戻ります。OpenAIはNvidiaに非常に依存していることに不安を感じており、シリコンフロントで自分の運命を所有することを好むでしょう。
だから、それは見るべき本当に興味深いものだと思います。
Robさんのポイント、OpenAIが他の多くの企業と結びつくことで、ある意味で失敗するには大きすぎる存在になっているという点は非常に好きです。そして、それがこれらの取引を非常に意味のあるものにしていると思います。
もう一つのことは、根本的にOpenAIが期限が来たときにこれらの取引を支払うのに十分な資本にアクセスできると賭けているということです。そして、Sam Altmanは資本を見つけるのが非常に得意です。だから、ある程度、Sam Altmanがより多くの資本を調達する能力に賭けているだけなら、彼がそれを続けられるように、これらの取引は意味を持つことができます。
バイブコーディングとアプリケーション層の展望
話題を変えて、アプリケーション環境についてお二人の考えを聞きたいと思います。前回はバイブコーディングについて触れませんでしたが、これは明らかに非常に速く成長しているユースケースの1つのように思えます。
明らかに、多くの人々、LovableやReplit、Boltが本当に速く成長し、その後FigmaがMake製品でこの分野に参入し、Cursorもここでいくつかのことを導入し始めています。
お二人に聞きたいのですが、このバイブコーディングスペースに長期的に何が起こると思いますか?
興味深いことに、Datologyのチームの何人かのICと話をすると、彼らはマネージャーになったように感じると言っています。今やエージェントの群れを管理しているだけで、それが彼らの仕事になりました。
私たちが見てきたことの1つは、これらから良い結果を得るには、まだかなり多くの人間の監視が必要だということです。Andre Karpathyも彼のポッドキャストで同じことを言っていました。彼はオートコンプリートが好きで、実際にモデルとチャットして何かをするよう頼むのはあまり好きではないと。
それは私たちの経験と一致していると思います。それが本当に物事を加速できる場所です。しかし、特に中堅企業で、バイブコーディングから出てくるいくつかの大きなセキュリティ脆弱性を見ることになると期待しています。まだギャップがあります。
しかし、これは明らかに今ほとんどのフロンティア研究所が焦点を当てている場所です。これらをより長い時間軸にどうやって持っていくか。それらはすでに過去1年か2年で劇的に改善されました。
特に、より一般的でないためにハルシネーションが少ないコーディングに本当に優れた、より特化したコーディングモデルにシフトし始めるにつれて、より多くの信頼性を見続けることを期待しています。
バイブコーディングについてのあなたの見解はどうですか、Jacobさん?
ユースケースを2つに分けることができるような気がします。2つのビジョンがあり、そのうちの1つははるかに信じています。それは、プロトタイプやモックアップとしてはるかに効果的だということです。
なぜ何かをモックアップとして置くのか、人々に見せるためだけに90%同じくらい良いバージョンを文字通り得ることができるなら。それは明らかに創造プロセスを始める方法を変えることになり、それは明らかに非常に有利な機会です。
本番環境にアプリを直接バイブコーディングするというアイデア。つまり、セキュリティ側がありますが、ソフトウェアの多くはメンテナンスです。1年か2年後にこれが何らかの方法で壊れたとき、実際にこれを維持する方法を誰が知っているのか。そして、それを作成するのに全く関与していなければ、長期的には実際にそれほど多くのお金や時間を節約しないと確信が持てません。
しかし、わかりません。これらのモデルはより良くなり続けています。
コードをレビューすることをはるかに重要なスキルセットにします。それは常に重要なスキルセットでしたが、コードは書かれるよりもはるかに頻繁に読まれることになるという考えが常にありました。
それはおそらく今、これまで以上に真実です。そして、これらのモデルを監視し、それらがレールから外れる場所とそれに対してどう防御できるかについての直感を構築することに本当に優れている人々を雇うこと。そのスキルセットはますます価値があると思います。
ええ。でも、時間が経つにつれて、私たちが説明しているこれらすべてのことは、最終的にはAIが人間よりも優れたものになるだろうと思います。コードレビューは既に自動化されているものであり、ますます自動化されるでしょう。
コードベースのデバッグとメンテナンスのように、それらすべては最終的にAIによって行うことができます。だから、コーディングはある意味で興味深いです。LLMの明確に素晴らしいキラーアプリである最初の橋頭堡のユースケースのようなものです。
そして、人間がどのように役割を移行し、AIからレバレッジを得て、プラグインする最良の方法を見つけるか、しかし時間の経過とともに徐々にこれらの多くの部分で関連性が低くなり、時代遅れになるというこのプロセスと格闘しています。
だから、その旅は続くと思いますし、コーディングはおそらく最初にそれが展開するのを見るユースケースになるでしょう。しかし、他の分野でも同様のことが起こることを期待しています。
AnthropicとCursorの問題は、皆さんのお気に入りだと思います。価値は最終的にどこに発生するのか。明らかにコーディングには膨大な量の企業価値が創造されそうです。Cognitionもそこに入れることができます。最終的に誰が大部分のスペースに勝つと思いますか?
1つ選ぶとしたら、Anthropicと言います。Cursorのような企業が直面するプラットフォームリスクは非常に大きいと思います。彼らは素晴らしい製品を構築しました。人々は使うのが大好きです。彼らは今、独自のモデルを構築しようとしていることは知っています。
Cursorのモデル構築能力については、Anthropicと比較してあまり楽観的ではありません。そして、Anthropicは明らかにCloud Codeなどでコーディングアプリケーションの構築を大きな優先事項にしています。
だから、Cursorは素晴らしい会社です。成長は信じられません。チームは素晴らしいです。製品は素晴らしいです。しかし、最終的にはAnthropicの基盤となるモデルへのかなり恐ろしい依存があると思います。
その日に最高のコーディングモデルを持っている人が、その日に勝つでしょう。エンジニアはこれらのモデルに忠誠心がないと思います。チームの人々は常に切り替えています。2か月前はチームの全員がCloud Codeを使っていましたが、今はほとんどの人がCodeXを使っています。
そして、Cloudが再びはるかに良くなれば、皆がCloudに戻るでしょう。
粘着性を持たせる方法はありますか?CodeXやCloud Codeを実行しているなら、できることは何かありますか?
コードベースについての記憶や、それとのやり取りが本当に粘着性を持つようになることについて何かを得なければならないと思います。しかし、問題は、モデルがコードベースを分析し検査することがより良くなるにつれて、その記憶の重要性が低くなるということです。
そして、それはCodeXやCloudに固定されているその記憶の側面を取り出して、それをコンテキストの一部として提供することで、モデル間でパイプライン全体を本当に簡単に切り替えることができるかという質問に近づき始めます。
だから、Googleは常に「私たちの競争はクリック一つ先にある」と言うのが好きです。これは特にコーディング環境で真実だと感じます。多くの場所でそうではない方法で。
そして、すでに企業でも、多くのエンジニアが複数のこれらのモデルにアクセスできるのを見ていると思います。だから、長期的には、ここで持続可能な堀と優位性を構築することを想像するのは非常に難しいです。
特にエンジニアは常に新しい技術を試したい人々だからです。彼らは常に行って最善のことをやりたいのです。彼らは「これで十分だ。コミュニティとして一般的にこれに留まりたい」と言うような人々ではありません。
他の多くの分野ではそうです。医療では、転記を行う何かを展開すれば、医師は新しいツールを学びたくないでしょう。エンジニアは学ぶでしょう。だから、長期的な耐久性がどこにあるのか本当にわかりません。これは特にIDEにとって大きなリスクだと思います。Cursor、Bolt、Lovableなどに。
明らかにAnthropicは、それをキャプチャするか、OpenAIがそれをキャプチャしたいと思っています。多くの点で、それはAppleがSpotifyと同じApp StoreにApple Musicを置くようなものです。Appleは30%の手数料を払う必要はありません。
Anthropicは、おそらく実際には30%くらいですが、自分たちのモデルを使用する手数料を払う必要はありません。彼らはコストで支払うことができます。それは、これらの人々に対する巨大で耐久性のある構造的優位性です。
だから、おそらく見ることになるのは、大きなモデルラボがコストに関してIDEをかなり下回ることができるだろうということです。それは意味を持つでしょう。しかし、その後、異なるモデル間、そしてオープンソースモデル、Qwen Coderはすでにかなり良いです。
人々が長い間1つに固執することを想像するのは難しいです。
私にとって、もう一つ興味があることは、私たちは今サンフランシスコにいます。AI64アプリレポートをリリースしようとしていると思います。明日だと思います。最高のアプリケーションのいくつかを見ると、ほぼ半分がここサンフランシスコにあります。
お二人にとって質問ですが、サンフランシスコ以外で素晴らしいAI企業を構築できますか?今日の業界の地理的焦点についてどう考えますか?
できると思います。それについては異なる長所と短所があります。Robさんはいくつか良い洞察を持っていると思います。Radicalは主にトロントを拠点としていますが、RobはBay Areaにいます。
しかし、Bay Areaにいることは、より大きな人材プールにアクセスできることを意味し、それは本当に良いことです。あなたは中心にいて、時代精神の中にいて、話をしたいすべての人々が地元にいます。それは本当に役立ちます。
一方で、Bay Areaの人材ははるかに高価で、多くの競争に直面することになります。スタートアップとして、OpenAI、Anthropic、Meta、Google などから出てくる流動的な報酬オファーと競争するのは現実的には非常に難しいです。
トロントを拠点にしている場合、Bay Areaほど人材はいません。Vector Instituteやトロント大学、あるいはETHがあるチューリッヒのために、まだたくさんありますが。
本当に強力なAIのフィーダー大学がある場所の1つに行けば、そこにいる人材への競争が少し少なくても、人材は少し少ないでしょう。
私のやや冗談めいた答えは、はい、間違いなくSF以外でAI企業を構築できますが、なぜそうするのでしょうか?もちろん、時々人々が特定の場所に根付いている非常に現実的な理由がありますが、SFでは非常に多くのことが起こっており、ここにある資本、ここにある人材、一般的な時代精神と情報フローの点で、AI の世界のすべてのグラウンドゼロです。
Bay Areaでは、他の地域に広がる前に物事を早く学びます。だから、明らかに人材は世界中に分散しています。しかし、どこから来てどこで会社を始めても、成長するにつれてBay Areaに移転する説得力のある理由がかなりあると思います。
Ariさんの指摘のように、労働コストとのトレードオフは間違いなくあります。しかし、世界の他の地域に研究チームを配置し、サンフランシスコに大きな市場進出のプレゼンスを持つという賢い方法を見つけた企業はたくさんあると思います。
もしサンフランシスコに本社を置くつもりがないなら、AIスタートアップとして少なくともプレゼンスとオフィスをここに持つべきだと思います。物事がここではより速く動き、このエコシステムに深く組み込まれることが非常に重要だと思います。
皆と肩を並べているときに起こる浸透は、本当に明確です。この本当にタイトなフィードバックループがあります。CursorチームがXAI本社にUberで行ったという面白い例があったと思います。彼らの新しいモデルがCursorで超うまく機能していなかったときで、30分くらいで解決しました。
しかし、最先端のアプリがモデル会社を多くの異なる方法でプッシュし、あらゆる種類の興味深い評価や失敗の方法を持っていて、モデル会社自身が物事をプッシュしている間の、アイデアの交換は、これらすべての機能の最前線にいるために本当に役立つと思います。
それは両刃の剣でもあると思います。時代精神の中にいることは本当に素晴らしいです。しかし、実際に頭を下げて構築することを難しくすると思います。
このレポートをまとめる別の部分で、Ariさんに聞きたいと思ったのは、皆がスタートアップでの堀について常に尋ねていて、リストを考え出そうとしているということです。私の同僚の1人が「データの堀、それは存在すべきだ」と言いました。
AIスタートアップにとってそれがどの程度存在するのか、私には常に不明確でしたが、あなた以上にこれについて意見を持つのに適した人はいないと思いました。
一般的にはそうではないと言います。究極的にデータの堀とは何ですか?それは、誰もアクセスできないか、非常に限られた人々しかアクセスできないデータセットにアクセスでき、それがターゲットとしているユースケースに特に関連しているということです。
その場合、データは信じられないほど価値があります。そして、これは多くの場合、多くの大企業に非常に当てはまります。彼らは何十年も収集してきた多くの関連データを持っており、その多くは非常に問題固有で、ユースケースに関連しています。
しかし、スタートアップは通常、大企業側でそのような種類のデータを持っていません。私はいつも、効果的にファインチューンやDRLなどを行うのに必要な例がいかに少ないかに驚かされます。
スタートアップが持っている2,000の例に対して、100,000の例を持っている企業は、実際に大きな違いを生むと思いますか?
特化したタスクではそうだと思います。だから、それが本当に重要になる場所だと思います。ほとんどの企業の人々と話をすると、これらのモデルがこれらのミッションクリティカルなユースケースのほとんどに展開されているのを見ていません。
そして、それは99.999である必要がある95ではないからではありません。多くの場合、50くらいです。かなり良くなることからはまだかなり遠いです。
だから、RLが本当に影響力を持ち、大きな影響を与えるのを見る特定のユースケースがあると思います。そして明らかに、このアイデアに向けた大きなプッシュがあります。LLMをジャッジとして使うだけで、今や検証者がいて、何にでも適用できます。
しかし、実際にそれを本当に機能させるのは、それよりもはるかにトリッキーなことが多いです。
Andre Karpathyのインタビューから好きだったことの1つは、LLMのジャッジについて話していたことです。多くの場合、彼らは報酬を与えるべきでないものに報酬を与えるという欠陥があります。数字の長い文字列のような。
そして、それらを完全に排除することは非常に難しいです。1つは排除できますが、それはモグラたたきゲームのようなものです。1つやると、システムが最適化して他の方法を見つけます。
だから、実際にこの関連データを持っていることには大きな利点があると思います。そして、それについて考えると、これのもう一つの大きな側面は、特化したタスクに一般目的モデルを使用すると、1つは一般性の副産物である場合が多いため、より多くハルシネーションするということです。
そして2つは、展開するのが特化したモデルよりもはるかに高価になるということです。だから、これがもっと多く見られると思いますし、ますます多くの企業が、わかった、今実際にこれを始めることができて、精度のこのギャップを埋め始めることができると認識していると思います。
だから、企業には大きなデータの堀があると思います。スタートアップでは、それははるかに難しいと思います。ノウハウやそのようなものでしょう。それは堀として機能することができ、さまざまな方法で堀として困難であることができます。
Karpathyのインタビューから、あなたの考えを聞きたいと思っていたことの1つは、明らかに彼は人間の脳と非常に多くの比較をしていて、あなたは神経物理学者です。完璧に資格があります。
しかし、お気に入りの部分のいくつかは、私たちがRLで推論する方法ではないという話でした。赤ちゃんがほとんどすべてを口に入れて、歩き方を理解する前に多くの異なることを試すのを見るように、物理世界でそうします。そこには効果的な環境があります。
しかし、アニーはある意味でそれは驚くべきことではないと言いました。私たちは人間の脳が発達してきた方法とは非常に異なる方法でこれらのモデルを構築しているからです。
具体的な質問はありませんが、彼が話していたことのいくつかについて、非常に賢い神経物理学者が即興で話すのを聞きたいです。
残念ながら、実際には高レベルの高レベルの考え以外に、脳から学ぶべきことはそれほど多くないと思います。私は本当にこれを信じたかったです。実際、神経科学からMLに分野を変えたとき、考え方は非常に「脳がどう機能するか考える方法を知っている。これはより良いモデルを構築するのに非常に役立つはずだ」というものでした。
現実には、脳は私たちのモデルとは非常に異なる制約のセットを持っています。最も顕著なのは、脳は非常にエネルギー効率的でなければならないということです。だから、約20ワットで動作しなければなりません。
それは、私たちが話しているデータセンターのサイズのいくつかと比較して何もありません。また、非常にクールな論文がありました。システムの時間スケールと使用するエネルギー量の間には難しいトレードオフがあることを示しています。
脳はミリ秒単位の時間スケールで機能しており、それはそれほど速くありません。より速くしたい場合は、指数関数的に多くのエネルギーを使用する必要があります。だから、特定の処理速度に行き着いた進化的な理由があります。
このアナロジーが役立つ場所は、これをはるかに効率的に行うことができるという確かな証拠として見始めることだと思います。人間ができることの多くは、進化を通じて、そしてこの非常にコンパクトなDNAシステムを構築することで組み込まれており、脳という非常に大きな創発的特性システムを構築できます。
それは本当に信じられないことです。そして、本当に明確なアナロジーが見られると思います。事前トレーニングは進化と同じだというアナロジーが好きです。それは実際にかなり水を含んでいると思います。
そして、私たちが見るのは、RLはベースモデルが十分に良い場合にのみ機能するということです。そして、それが本当にやっているのは、ベースモデルの出力を洗練することです。多くの場合、RLなしでこれを行うこともできます。
Anthropicの素晴らしい論文がありました。RLなしでこれを行う方法を示しています。そして、ますます、RLが鍵ではないことを示す論文が増えています。実際には、そこに正しい事前知識を持つことです。
だから、出生時から既にこれらの種類のコンテキストを吸収し始めることができるものを構築できるという証拠として人間の脳を持つこと、そしてそれをはるかに効率的な方法で行うことができることは、これを行うためのはるかに良い方法があることを示しています。
一般的に私は大ファンです。全体的にただそれに多くを投げるのではなく。RLはそれほど効率的ではないので、ただより多くのコンピュートを投げればいい。しかし、実際にこれらのシステムの効率をどう高めるかを考えること。
Grok 4を見ると、彼らはコンピュートの半分がRLに費やされたという大きなことを言いました。しかし、その追加の半分のコンピュートの限界利益はひどいものでした。事前トレーニング側でのドルあたりのパフォーマンスの比率は、RL側でのドルあたりのパフォーマンスの比率よりもはるかに高かったです。
だから、これらの種類のアプローチにもっと投資し始めるにつれて、実際にそれらをより効率的にし、実際により良い信号の伝播を得る方法を見つけること、特に報酬信号を見つけることは、私たちが解決すべき非常に重要な問題です。
振り返りと今後の展望
締めくくる前に、お二人にやや広すぎる、ズームアウトした質問をしたいと思います。まずRobさんから始めます。過去2年間のAI投資、またはAIエコシステムにいることを振り返って、最も驚いたことは何ですか?
良い質問です。AI投資の面では、いくつか言いたいことがあります。1つは、薄いラッパーのミームが振り返ってみてどれだけ間違っていたかということです。振り返ってみれば、アプリケーション層で創造される価値が非常に多いということは明白だったはずです。
2年前を巻き戻すと思います。モデルに非常に多くの固定と執着があったと思います。特定のモデルがどれだけのパラメータを持っているかについて、皆が本当に集中していたフェーズがあったことを覚えています。
モデル層についての非常に多くの執着があり、モデル層の上に構築されたものは何でも「それは薄いラッパーだ、破壊されるだろう」というものでした。実際には、明らかに膨大な量の価値がそこに発生することになります。なぜなら、それが実際に人々の生活に展開される製品の点でゴムが道路に当たる場所だからです。
今では、アプリケーション層の価値のどれだけを、ラボが上流に移動してキャプチャできるか対新しいスタートアップという新しい質問があります。しかし、基礎モデルの上に構築されたアプリケーションを薄いラッパーとして完全に却下することは、VC コミュニティ全体による完全な見逃しだったと思います。
実際、その多くは単一の会社に帰することができると思います。Jasperだと思います。人々は急速な上昇とその後の下落に非常に怖がっていました。Jasperはまだ存在していて、まだいくつかのことをやっていると思いますが、それが他の多くのAIアプリに起こるという懸念がありました。
それ以来、それが起こったものはないと確信しています。そして、それは、すべてがうまくいくわけではありません。しかし、最初に出てきた、多くの宣伝を受けた、多くの人々がアプリ層への早期投資から怖がらせたものの1つだったというのは興味深いことです。
それは本当に良い指摘です。人々はその1つの例で過度に回転し、おそらく振り子が遠くに振れすぎたと思います。
投資の観点からもう一つの点は、AIの根底にある物理的インフラがどれだけ重要かということです。2年前、それについて考えている投資家はほとんどいなかったと思いますが、理論的には2020年のスケーリング則の論文が発表されたときにまで遡ることができたと思います。
スケーリングを論理的な極限まで取れば、これらのモデルをより大きく大きくスケールするために、できるだけ多くの物理的リソース、エネルギー、不動産を投入することにつながることは理にかなっています。
しかし、長い間、私たちはAIの根底にある物理的インプットをただ抽象化していたと思います。そして今、明らかにそれがお金が流れている場所の注目の中心のようなものになっています。
Ariさんはどうですか?
私にとって驚きだったことの1つは、オープンモデルがクローズドモデルとほとんどの場合で収束したことではありません。少なくとも大多数のタスクで一般的に起こると常に期待していました。
しかし特に、中国のモデルの成功は、必ずしも予測していたものではありませんでした。特にこれらのチームが行っているイノベーションの量です。DeepSeekが新しい論文を落とすと、コミュニティ全体にとって必読です。
これは、公共の認識がインサイダーの視点から非常に非常にずれている場所でもあると思います。公共の視点は依然として非常に「中国はアメリカのIPを盗む」というものです。そして、中国がやっていることはすべて、OpenAIとAnthropicの内部にスパイがいるからで、それが彼らがこんなに素晴らしいモデルを生産している方法です。
それは単純に誤りです。スパイがいるかもしれません、わかりません。しかし、素晴らしいモデルを構築するためにそうする必要があるという事実、彼らは多くの点で革新を上回っています。
中国にH20を購入させることを強制することは、長期的には非常に愚かな決定と見なされると思います。なぜなら、それは中国が今、自分たちのAIインフラを構築し、そうでなければするよりも早くNvidiaから離れることを促したからです。
そして、先ほどエピソードで言いましたが、制約がイノベーションを生みます。そして、それを絶対に見てきました。彼らは物事をはるかに劇的に効率的にする方法を見つけ出しました。
そして正直に言って、それは私がアメリカのAIエコシステムで本当に失望していることの1つです。答えはただ問題にお金を投げることだったと思います。それが解決するでしょう。
そして、実質的に無限の資本にアクセスできるなら、おそらくそれは戦略として理にかなっています。おそらくそれがより速いルートです。しかし、それが最良のルートだとは思いません。
これらのシステムのボトルネックがどこにあるかについて本当に深く考えるはるかに良いルートがあると思います。スケーリング則はひどいです。べき乗則は最悪です。データまたはコンピュートを10倍にするたびに、収穫逓減を得ます。それを永遠に続けることはできません。
GPT-4.5のようなものが単純にこれを外挿するだけでは超うまくいかなかったのは驚きではありません。これを行うためのより良い方法がなければなりません。
そして、これらのモデルをより効率的にするというその方向での最もワクワクする仕事は、1つの中国のラボからだけでなく、10の中国のラボから来ていると思います。それを予想していなかったと思います。
なぜそれが、同様にコンピュートの制約がある米国のアカデミアでは起こっていないのでしょうか?
大きなことの1つは、アカデミアのコンピュート制約がはるかに厳しいということです。だから、必要なゴルディロックスゾーンがあります。
そして正直に言って、それは私を非常に心配させることの1つです。1960年の宇宙競争のように感じます。そして、学術インフラへの投資を深める代わりに、学術インフラへの投資を削減しています。
中国は多くの大学に直接資金を提供しています。これらのモデルを構築できるようにコンピュートを提供しています。私たちは多くの大学からコンピュート、リソースを引き出しています。
それは長期的に私にとって恐ろしいことです。本当に投資する必要があると思います。だから、特にNvidiaが、西側でより堅牢なオープンモデルエコシステムを構築するために非常に一生懸命努力しているのを見ると思います。
私が言おうとしていたことは、実際にRobさんが言っていたことと非常に似ています。投資の観点から見て、過去2年間の教訓は、アプリが投資するのに素晴らしい場所だったということです。
そして、皆が今、それらに殺到していると思います。2023年と2024年にもっとやっておけばよかったと気づいて。
薄いラッパーであることへの恐れのいとこは、インカンベントが本当にこれのいくつかを行うのに適した位置にいるというアイデアでもあったと思います。
そして、私は多くのインカンベントの相対的な成功の欠如に驚いています。GitHub Copilotはコーディングをキャプチャするのに本当に良い場所にあり、Salesforceはカスタマーサポートで、他のいくつかのユースケースで。
そして、おそらく今より明確なのは、AI製品の構築は伝統的な製品管理とは全く異なるということです。
これらの企業がエンドカスタマーと持っている関係でさえ、非常に異なると思います。伝統的なソフトウェア会社について考えると、彼らは顧客とロードマップをプレビューします。来四半期にこれをやります、その後の四半期にこれをやります。顧客は物事が非常に信頼できて、全従業員ベースに展開されることを期待しています。
そして、私のAIポートフォリオ会社のいくつかについて考えます。彼らは基本的に30のものを壁に投げています。25はうまくいきません。3つはちょっと興味深いです。2つは本当にヒットします。
しかし、顧客もそれが顧客が期待していることです。彼らはそれが大好きです。彼らの顧客はそれが大好きです。彼らは30種類の半分焼けただけど、うまくいくかもしれないアイデアを取り、それらを投げ捨てています。それは彼らがそのベンダーにやってもらいたいことです。
だから、ある意味、振り返ってみると、これらの新しい企業は、思考と実験のパートナーとして、多くの企業にとってはるかに適した位置にあります。
インカンベントがそれを行う信頼を持っていると思っていたでしょう。しかし、それは製品を構築する非常に異なる方法であり、またエンドカスタマーとの異なる種類の関係でもあります。
ラッパーのことについて1つコメントします。そのストーリーが本来得るべきよりも多くのプレーを得たことは確かに同意します。同時に、そのストーリーはまだ完全には書かれていないと思います。
完全に。特に、今後数年間で、どのラッパー会社が生き残り、どのラッパー会社が生き残らないかという間でかなり大きな分岐が見られると思います。
そして、はるかに垂直特化したラッパー会社は、はるかに一般的なラッパー会社よりもはるかに良いと思います。
Jasperが最初に特にヒットした理由は、それが執筆のためだったからだと思います。それはChatGPTが最初から本当に得意だったことです。
Frontier Labsがそれぞれのロードマップでどこに向かっているかを見ることができます。多くのラッパー会社が、それらのさまざまな製品の直接的な視線の中にあると思います。そして、それらの多くがかなり強くヒットすることを期待しています。
しかし、OpenAIが多くの個別の垂直に行くとは確信していません。だから、ここで到達する必要があるゴルディロックスゾーンがあります。それは興味深く、構築する価値がある十分に大きな市場でなければならないというミニマックス問題のようなものです。
しかし、大きすぎてはいけません。大きすぎると、明らかに主要プレーヤーの1つが追いかけるものになるからです。
そして、それらのいくつかが持っている配信の優位性について考え始めると、それは本当に疑問になり始めます。だから、これが今後数年間でどう進化し続けるかを見るのが楽しみです。しかし、一部のラッパー会社は困難に陥ると思います。
面白いことに、ゴルディロックスゾーンは今や500億ドルから1,000億ドルの機会です。あなたの5,000億ドルの野心的な会社にとっては、おそらく小さすぎます。
また、Robさん、あなたは素晴らしい文章を書いていて、過去に書いたお気に入りの作品の1つは、起こるかもしれないこれらすべての潜在的な買収について推測していたものでした。
明らかに、Appleが何かをする必要があるという背後には、ますます多くの勢いがあるように感じます。そして、彼らは定義された戦略を本当に持っていない最後のプレーヤーです。
ここで推測してもらいたいのですが、彼らは何を買うと思いますか?
課題は、Appleが一般的にあまり買収的ではなく、買収するときも大きなスプラッシュ買収はしないということです。だから、その非常に定着した習慣から抜け出すことをどれだけ望んでいるかを見ることになります。
しかし、概念的に推測するとしたら、AI の野望を大幅に加速させるために何が意味を持つでしょうか?明らかに彼らは非常に動きが遅く、他のハイパースケーラーと比較して遅れをとっています。
いくつかのカテゴリーが想像できると思います。1つは、確かにGoogle、Meta、MicrosoftとOpenAIとの関係のような他のハイパースケーラーと比較して、Appleは最先端AI人材の非常に深いベンチを持っていないということです。
本当に深い、本当にクラックしたAIチームを持っていません。だから、彼らがこのような、ほとんどGoogle DeepMindタイプの買収のようなものをすることは意味があると思います。世界にはまだそれほど多くはいないので、トップAI人材のこのブレーントラストを得るだけです。
どの会社かという点では、ReflectionやMistralのような誰かですが、この時点でそれらの会社の両方の評価額は非常に高いので、価格が高すぎるかもしれませんが、似たような才能の口径で、それほど多くのお金を調達していないようなものです。
そして、独立しているトップノッチのAIチームはそれほど多くありませんが、いくつかはあります。だから、それは想像できる1つのカテゴリーだと思います。
そして、2番目のカテゴリーは、すでに巨大なユーザーベースを持っているiPhoneエコシステムに追加できる本当のキラーアプリケーションのようなものです。だから、ここでの明らかな例はPerplexityだと思います。
そして、過去1年間にAppleがPerplexityの買収についてかなり真剣に考えているという噂がありました。彼らはおそらくそれからも価格が高すぎると思います。Perplexityが調達した評価額を考えると。
しかし、火がついて多くのユーザーの愛とユーザーの忠誠心を持っている別の消費者モバイルアプリケーションがあるなら、そのような買収は意味があると思います。
Appleの方向性について1つコメントします。Appleにはここで巨大な機会があると思います。そして、彼らが実行できれば、これは実際にAppleにとって大きな瞬間になり得ると思います。
Appleにとって非常に多くの意味を持つ物語があると思うからです。それは、完全にプライベートで、あなたを非常によく知るだろうが、プライバシーやクラウドへの送信について心配する必要がない、デバイス上のモデルを持っているということです。それはAppleにとって非常に多くの意味を持ちます。
そして、Appleの過去10年間の大きな課題の1つを考えると、それは各連続したiPhoneサイクルでの改善が減少したということです。新しい電話を購入するインセンティブは比例して減少しました。
そして、人々が今5年以上電話を使っているのを見ます。テクノロジーが大好きな人々でさえ、電話を非常に長い間使っています。
そして、Appleの収益成長が多くのサービスビジネスにシフトしているのを見てきました。Apple MusicやApple TVなどを成長させることに。
さて、Appleの新しい価値提案が、完全にプライベートで、デバイス上で完全にローカルな本当に強力なモデルを持っているということなら、今、新しいiPhoneを購入する大きなインセンティブがあります。なぜなら、各連続したiPhoneはより強力なモデルをサポートできるからです。
ハードウェアの改善が本当に重要になります。だから、ハードウェアの改善が再び非常に重要になります。そして、それはAppleにとって特に巨大な機会です。
だから、これを解決して本当に素晴らしいデバイス上モデルを構築できれば、モデル自体を超えて、より良いハードウェアを成長させる巨大なインセンティブを置くだけで、収益成長に本当にスーパーチャージャーになり得ると思います。
超知的AIの文脈で人々が常に格闘する広範な質問について多くの議論があります。それは人間よりも優れたことをすべて行うことができるので、人間はもう働く必要がありません。
仕事は生き残るために必要なリソースを生成するためにもはや必要ありません。そして、それが良いことなのか悪いことなのかという質問があります。人々がビーチに行って家族と時間を過ごすことは良いことなのでしょうか?創造したければ創造できます。学びたければ学べます。
あるいは、したくなければ、ビデオゲームをするだけでもいいです。私はどちらかというと後者の陣営にいて、これらのツールを使って創造したくない人々がいても、消費だけで楽しみを得られるなら、それでも大丈夫だと思います。
Jacobさんが今したその質問は非常に興味深い質問です。そして、その質問は、人々が常に超知的AIの文脈で取り組む広範な質問の縮図のように感じます。人間よりも優れたことをすべて行うことができるので、人間はもう働く必要がありません。
仕事は生き残るために必要なリソースを生成するためにもはや必要ありません。そして、それが良いことなのか悪いことなのかという質問があります。人々がビーチに行って家族と時間を過ごすことは良いことなのでしょうか?創造したければ創造できます。学びたければ学べます。
あるいは、したくなければ、ビデオゲームをするだけでもいいです。私はどちらかというと後者の陣営にいて、これらのツールを使って創造したくない人々がいても、消費だけで楽しみを得られるなら、それでも大丈夫だと思います。
Metaのものが出たときのこの周辺の対話で最も興味深いと思ったことの1つは、これらの問題に取り組むほど説得力のある研究者のこの小さなサブセットへのほとんど訴えのようなものがあったことです。本当にそれに取り組みたいのですか?どこでも働ける人がいるのに、それはあなたが取り組みたい種類のことですか?
また、正直に言って、それはあまり重要ではないと思います。これらの製品に取り組んでいるトップの研究者が皆、「私はこれらには取り組まない、本当に社会に利益をもたらすことにしか取り組まない」と言っても、おそらく6か月遅らせるだけです。この時点ではすべて避けられないことです。
また、一時停止のような安全性のアイデアの多くについても、私は一般的にそれほど心配していませんが、それも現実的ではないと思います。これらのことを一時停止することはできません。それらは起こっています。非常にわずかに遅らせることはできるかもしれませんが、この時点でこれを行う方法を知っているグループが非常に多くあります。それは何があっても起こります。
コメント