この動画は、AI業界の著名アナリストであるディラン・パテルが、現在のAI業界の最新動向について詳細に解説したインタビューである。GPT-4.5の失敗、Grok 4の可能性、メタの人材獲得戦略、アップルの遅れ、そして人工超知能競争の現状まで、幅広いトピックを網羅している。特に注目すべきは、各AI企業の技術的優位性と課題、GPU市場におけるNvidiaとAMDの競争、そして最終的に人工超知能に最初に到達する企業の予測についての深い洞察である。
人工超知能競争の現状
人工超知能に最初に到達するのは誰になると思いますか。そしてその理由は何でしょうか。OpenAIです。
彼はチップ業界が動きを決める前に読む男です。ディラン・パテルにお会いしましょう。彼はAIにおいて比類のない深さと幅の知識を持つ素早い思考者です。
Scale AIのようなものは、もうちょっと終わっているような感じですね。
そして今日、ディランは厳しい質問に答えています。
GPT-4.5で何が間違ったのか
GPT 4.5で何が間違ったのでしょうか。一般的にそれほど有用ではなく、遅すぎるのです。
振り返ってみると、人工超知能が唯一重要なものだと信じているなら、それを追い求める必要があります。そうでなければ負け組です。お金の問題ではなく、パワーの問題です。
アップルで何が起こっていると思いますか。彼らはNvidiaを嫌っています。おそらく合理的な理由があるでしょう。
モデルは私にデータを与えることについて、本当に弱腰なんです。
反応が返ってくるまでに非常に時間がかかるにも関わらず、日常的にo3を使っているのですね。
私が最もよく使うモデルは、ホワイトカラーの仕事の50%が消える可能性があります。
一般的に人々はこれまで以上に働いていません。50年前の平均労働時間は格段に高かったのです。
そして最終的には、ループの中に人間がいなくなるでしょう。そして最終的には、あなたはそれを信じていますか。
それはある程度アートの形なのです。何を研究する価値があり、何がそうでないかは。
故障したGPUがありました。それはバンプゲートと呼ばれていました。とても興味深い出来事でした。
いえ、私はそうは思いません。
ああ、そうですか。これはとても面白い話ですね。
メタのLlama 4とBehemothについて
ディラン、今日は参加していただきありがとうございます。今日はあなたと話せることをとても楽しみにしています。あなたが多くの講演や多くのインタビューをしているのを見てきました。たくさんのことについて話そうと思います。
まず最初に話したいのはメタについてです。Llama 4から始めましょう。AI界では少し前のことですが、大きな期待がありました。良かったですが、素晴らしくはありませんでした。その瞬間に世界を変えるようなものではありませんでした。そして彼らはBehemothを遅らせました。そこで何が起こっていると思いますか。
そうですね。面白いことに、3つの異なるモデルがあり、それらはすべてかなり異なっています。Behemothは遅れました。実際、彼らは決してリリースしないかもしれないと思います。よくわかりません。訓練方法や彼らが下した決定のいくつかがうまくいかず、多くの問題があります。
そしてMaverickとScoutがありますよね。これらのモデルの1つは実際にまともです。かなり良いです。リリース時点では最高ではありませんでしたが、リリース時点では最高の中国のモデルと比較可能でした。しかし、その後AlibabaとDeepSeekが新しいモデルを出したので、「もう劣っている」という感じでした。
もう1つは客観的に単純に悪かったです。彼らがDeepSeekのアーキテクチャの要素をより多く使おうとして、DeepSeekへの対応として訓練したことを確実に知っていますが、適切に行わなかったのです。急ぎの仕事で、本当にめちゃくちゃになりました。スパーシティに本当に力を入れたからです。
しかし面白いことに、実際にモデルを見てみると、特定のエキスパートにトークンをルーティングしないことがよくあります。つまり、基本的に訓練の無駄のようなものでした。各層の間でルーターは好きなエキスパートにルーティングでき、どのエキスパートにルーティングするかを学習し、各エキスパートは独自の独立したことを学習します。人には観察できないものですが、見ることができるのは、トークンがどのエキスパートにルーティングされるかです。そして単純に、それらの一部はルーティングされませんでした。つまり、何もしない空のエキスパートがたくさんあるということです。明らかに訓練に何か間違いがあります。
組織的な課題について
内部的に専門知識の問題なのでしょうか。つまり、彼らは世界で最高の人材の一部を持っているはずですし、最近の雇用努力についても話そうと思いますが、なぜ彼らは本当にそれを行うことができていないのでしょうか。
それは物事の組み合わせと合流だと思います。確かに彼らは多くの才能を持っています。多くの計算資源を持っています。しかし、人々の組織化は常に最も困難なことです。どのアイデアが実際に最良なのか。誰が最良のアイデアを選択する技術的リーダーなのか。
多くの優秀な研究者がいても、その上にプロダクトマネージャーを置いて、評価して選択する技術的リードがいなければ、多くの問題が生じます。
OpenAIでは、サムは優秀なリーダーで、すべてのリソースを得ますが、技術的リーダーはグレッグ・ブロックマンです。グレッグ・ブロックマンが多くのことを選択しており、マーク・チェンやその他の技術的リーダーたちがいて、実際に技術的にどのルートを取るかを決定しています。
研究者は自分の研究を持ち、自分の研究が最高だと思うでしょう。誰がみんなの研究を評価し、そのアイデアは素晴らしい、使おう、それはダメ、使わない、と決定するのでしょうか。それは本当に困難です。
技術的で選択できるリーダーがいない研究者に行き着くと、正しいアイデアはすべて持っていたということになります。しかしAI研究の一部は、間違ったアイデアもすべて持っていて、それから学び、正しいアイデアを持ってそれらを選択することです。選択が本当に悪く、実際に間違ったアイデアをいくつか選択し、研究のブランチを上がっていったらどうなるでしょうか。
悪いアイデアを選択したとします。これが私たちが行うことです。さらに進んでいきましょう。そして「この悪いアイデアから分岐して、より多くの研究があります。戻って決定を元に戻すつもりはないからです」となります。
つまり、皆「その決定を下した。この状況からどんな研究ができるか見てみよう」となります。そして優秀な研究者が悪い道で時間を無駄にする可能性があるのです。
研究者が話す「テイスト」のようなものがあります。これはとても面白いことです。国際数学オリンピックで勝ったような、それが10代の頃の名声だったような人たちで、19歳でOpenAIやメタなどで働いているようなオタクたちだと思うでしょう。しかし実際にはかなりテイストが関わっているのです。
ある程度アートの形なのです。何を研究する価値があり、何がそうでないかは。そして最良のものを選択することのアートの形でもあります。ここで規模のすべてのアイデアを作り、突然「これらの実験はすべて100個のGPUで行われた。素晴らしい。今度は10万個のGPUでそのアイデアを実行しよう」となります。しかし物事は完璧に翻訳されません。
ここには多くのテイストと直感があります。彼らが良い研究者を持っていないということではありません。誰がテイストを選択しているかが困難なのです。映画評論家のレビューは気にしないが、Rotten Tomatoesの観客スコアは気にするかもしれません。しかし、どの評論家の声を聞いているかということです。
優秀な人材がいても、組織的な問題、適切な人が適切な場所にいない決定者、間違った人が政治的になって自分のアイデアや研究パスをモデルに入れる可能性があるため、実際に良いものが出てくるのは困難です。
メタのScale AI買収について
ザックが先週、1億ドルのオファーを出しているというニュースがたくさんありました。サム・アルトマンが文字通りそう言いました。彼らはAlexander Wangと彼のチームのためにScale AIを買収したようです。彼はファウンダーモードにいます。Scale AIの買収は実際にメタに何をもたらすのでしょうか。まずそこから始めましょう。
私は、Scale AIは会社として今ちょっと終わっていると思います。皆がキャンセルしているからです。
Googleが撤退しています。今年は2億5000万ドル程度を彼らと使うと聞いていますが、撤退しています。明らかに多くのお金を使っています。撤退できないものもありますが、それは大幅に減ることになります。
OpenAIは外部のSlack接続を切ったと言われています。つまり、ScaleとOpenAIの間にSlackがもうないということです。明らかに企業間の最終的な決別です。
これらの企業は「メタに自分たちがカスタムデータで何をしているか知られたくない」ということです。モデルのユニークな側面の1つは、カスタムデータで何をしたいかです。
明らかにScaleは、メタがScaleのためにScaleを買ったのではありません。アレックスと彼の数人の最高の同僚を獲得する目的で彼らを買ったのです。Scaleには他にも本当に素晴らしい人たちが数人います。彼らを連れてくるために買ったのです。
今、問題は、Scaleが持っているデータが良いか、他のすべての企業が行っていたデータラベリングのすべてのパスを知ることが良いかです。確かにそうです。しかし、より重要なのは、人工超知能の取り組みを主導するのを手伝ってくれる人を獲得したいということです。
アレックスは私と同い年です。28歳か29歳くらいです。あらゆる面で途方もなく成功しています。人々は彼を嫌うことができますが、彼は明らかに非常に成功しています。特に、不合理ではない人で非常に賢いマーク・ザッカーバーグに自分の会社を買わせることを説得したときです。彼の会社は約10億ドルの収益を上げており、「人工超知能を追いかけよう」ということです。これは非常に異なることです。
数ヶ月前のザッカーバーグのインタビューを見ても、彼は人工超知能を追いかけていませんでした。AIは良くて素晴らしいが、AGIはすぐに起こることではないと追いかけていました。これは戦略の大きな変化です。「人工超知能がすべてだ。私たちはその道にいる。今、私は信じている。遅れているので追いつくために何ができるか」ということです。
AGIから人工超知能への移行
これらすべての主要企業の物語は、ほんの1ヶ月前はAGIだったのに、今は人工超知能になっているようです。ところで、なぜこの移行が起こったのでしょうか。
AGIという言葉にはもう意味がありません。曖昧です。
Anthropicの研究者の顔を見て「AGIとは何を意味するのか」と聞くことができ、彼らは文字通りそれが自動化されたソフトウェア開発者を意味するだけだと思っています。それは汎用人工知能ではありませんが、それが彼らの考えです。
エコシステム全体の多くの研究者がそうです。イリヤはこれを見ました。イリヤはすべてを最初に見ました。明らかにイリヤ・サツケヴァーです。彼は自分の会社Safe Super Intelligence、SSIを設立しました。私はそれがリブランディングを始めたと思います。
数ヶ月後、ほぼ1年後、9ヶ月から1年後、皆が「人工超知能は現実のものだ」と言っています。イリヤが最初に、少なくとも最初の中で得た、プリトレーニングスケーリングやオリジナルのビジョンネットワーク、プリトレーニングスケーリング推論など、彼が多くの作業をしたり少なくともアイデアを持ったりしたすべてのものです。
イリヤはこれも得ています。これはリブランディングです。おそらく彼はマーケティングも得ているでしょう。
ザックの人材獲得戦略
ザックは少なくとも噂ではSSIを買収しようとし、イリヤに拒否されました。ダニエル・グロスとナット・フリードマンを雇おうとしているという噂もあります。この時点では噂かもしれませんが確認されているようです。この2人はザックに何をもたらすのでしょうか。
ザックはSSIを買おうとしました。また、Thinking Machinesを買おうともしました。これらは噂です。また、Perplexityを買おうともしました。これらはすべてメディアの一部にあります。
特に浮かんでいる噂の一部は、マークがSSIを買おうとしたが、イリヤは明らかに拒否したということです。彼は人工超知能にコミットしており、それをストレートに撃っているからです。製品を心配しているのではなく、おそらくお金にそれほど集中してもいません。主にそれを構築することに集中しています。真の信者です。
明らかに彼はおそらく拒否したでしょう。そこでの株式の構成はわかりませんが、イリヤは拒否するのに十分強い議決権と所有権を持っているでしょう。
ダニエル・グロスについての噂が本当なら、ダニエル・グロスはおそらく買収を望んでいた人でしょう。彼は「これは素晴らしい」と思ったでしょう。
彼は別のファウンダーです。AI研究のバックグラウンドからではありませんが、ある程度技術的です。彼はナットとベンチャーファンドを持っていて、その後イリヤとSSIを設立しました。おそらく買収を望んでいて、「買収を推進していたが実現しなかった。私が行くのなら」ということで、彼が行くかどうかは実際にはわからないと推測しています。
一般的に非常に成功した多くの人々を見ると、お金ではありません。常にお金ですが、パワーの方が重要です。メタに行く人に聞けば、多くの人が明らかにお金のために行くでしょうが、多くの人が今、1兆ドル以上の企業のAIパスをコントロールし、ザックと直接話し、会社全体に対する完全な議決権を持つ一人の人を説得できるからです。
そこには多くの力があります。そして彼らは何十億ものユーザーに実装できます。Facebookのインフラストラクチャ、研究者、製品のエンジンを使って、望むAI技術やAI製品を何でもプッシュできます。
それは、より製品寄りの人々であるアレックス・ワンやマーク・ザッカーバーグ、ナット・フリードマンやダニエル・グロスにとって多くの意味を持つでしょう。GitHub Copilotを行うナットは製品の人です。AI研究者ではありませんが、AI研究について多くを知っています。彼は製品の人です。
アレックスについても同様です。明らかに彼は研究に非常に精通していますが、彼の超スキルセットは製品と人と説得と組織であり、研究ほどではありません。彼らはメタで多くのことを行うすべての力を持っているということです。
研究者への高額報酬について
サム・アルトマンはまた、メタがトップ研究者に1億ドルのボーナスオファーを出していると述べました。どうやらトップ研究者は誰も離れていないようです。最高の人材を獲得するために問題にお金を投げつけるだけで成功する戦略なのか聞きたいです。
文化的要素が欠けているように感じます。OpenAIやサム・アルトマンには好きなだけあげてもいいでしょうが、彼らが行っていることの多くの真の信者がいます。最高の研究者を獲得するのに十分なほど単にお金を投げて、その文化が構築されるでしょうか。
振り返ってみると、人工超知能が唯一重要なものだと信じているなら、それを追い求める必要があります。そうでなければ負け組です。マーク・ザッカーバーグは確実に負け組になりたくないし、彼も人工超知能を構築できると思っています。
では、何をしますか。そこにある最高のチームを買収しようとします。Thinking Machines、これらすべての元OpenAIの人々だけでなく、Character AI、GDM、メタなどからの他の人々もいます。これらすべての優秀な研究者とインフラの人々です。
SSIについても同様です。イリヤと彼が採用した人々です。これらの企業から人々を採用しようとしたり、これらの企業を買おうとしたりします。それはうまくいきませんでした。
今度は、非常につながりがあり、チームを構築するのを手伝ってくれるアレックスのような人を獲得し、今度はチームを獲得しなければなりません。100人未満の従業員、実際にはSSIには50人未満の従業員がいると思いますが、そのSSIを300億ドルで買収することと、研究者ごとに数億ドル、イリヤに100億ドル以上を支払うことの違いは何でしょうか。
それは基本的に同じことをしているようなものです。サムがトップ研究者が行っていないと言っていることについて、それは正確ではないと思います。初期にトップ研究者、最高の研究者、最高の人々は確実に拒否したと思います。
1億ドルと言いましたが、実際にはOpenAIの一人の人に10億ドル以上という数字を聞いたことがあります。とにかく、それは途方もない金額ですが、これらの企業の1つを買うのと同じことです。
Thinking MachinesとSSIには製品がありません。人々のために買っているのです。人工超知能が最終目標だと知っているなら、1億ドル、10億ドルでさえも、現在のメタの時価総額と人工知能の総アドレス可能市場と比較すると、本当にバケツの一滴です。
MicrosoftとOpenAIの関係
MicrosoftとOpenAIの関係について少し話したいと思います。新婚旅行の段階はとっくに過ぎているようです。今は関係の波乱の海にいるようです。
これは今やセラピー番組ですね。
絶対にそうです。
サムとサティアについてのあなたの気持ちを教えてください。
これはセラピーですよね。これは二人の人間で、彼らには関係があり、少し崩れているようです。OpenAIの野心には限界がないようです。
Microsoftは今、取引を再構築したいと考えているのでしょうか。OpenAIはそうですが、Microsoftには実際にそうする理由がありません。今後のこの関係の動向について、どのような動向を考えているでしょうか。
OpenAIはMicrosoftなしでは今の状況にはなかったでしょうし、Microsoftは多大な力を得る取引に署名しました。これは奇妙な取引です。OpenAIは非営利組織になりたがっていて、AGIを気にかけていましたが、同時にお金を得るために多くを諦めなければなりませんでした。
同時に、Microsoftは独占禁止に巻き込まれたくなかったので、この取引を非常に奇妙に構造化しました。収益配分、利益保証、その他さまざまなものがありますが、「会社のx%を所有している」ということはどこにもありません。
20%の収益配分、49％または51%の利益配分が何らかの上限まで、そしてMicrosoftはAGIまでのすべてのOpenAI IPのIP権利を持っています。AGI、そしてこれらのことはすべて地獄のように曖昧です。
利益上限は10倍かもしれないと思います。記憶から言っているので、しばらく見ていませんが、Microsoftが約100億ドルを与え、OpenAIに10倍の利益上限があるなら、それまでOpenAIがすべての利益または利益の半分を彼らに与えなければならず、この20%の収益配分を得て、AGIまでのすべてのOpenAIのIPにアクセスできるなら、Microsoftが今再交渉するインセンティブは何でしょうか。
しかし、AGIの定義とは何でしょうか。理論的には、OpenAIの取締役会がOpenAIがAGIに到達した時を決定できますが、それが起こったらMicrosoftは単に彼らを訴えるでしょう。Microsoftは神よりも多くの弁護士を持っています。
これは狂った取引です。OpenAIにとっていくつかの非常に心配なことがあると思います。彼らが既に除去された主要なことの1つは、Microsoftが独占禁止の側面について本当に怖がっていたからです。それは、OpenAIが計算にMicrosoftを排他的に使用しなければならないということでした。
彼らは昨年それから後退し、今年Stargate取引で発表されました。OpenAIはOracle、SoftBank、Crusoe、中東に行って彼らのStargateクラスター、次世代データセンターを構築することになります。
もちろん、Microsoftからもたくさん得ていますが、主にOracleからも他からも得ています。以前は、OpenAIがMicrosoftに直接行かずにそれを行うことはできませんでした。OpenAIは最初にCoreに行こうとしましたが、MicrosoftがMicrosoftからCoreからOpenAIに関係に自分自身を挿入しました。「いや、あなたは排他的に私たちを使っている」と。多くのGPUがCoreからMicrosoftからOpenAIにレンタルされます。
しかし、この排他性は終了し、現在CoreWeaveはOpenAIと大きな取引を結んでおり、OracleはOpenAIと大きな取引を結んでいます。
この交換でMicrosoftは排他性を放棄する際に何かを得たのでしょうか。報告されたもので何かを得たのでしょうか。通常、「はい、クール、それを放棄します」というだけではありません。
報告されているのは、彼らが排他性を放棄し、その見返りに持っているのは最初の書き込み拒否です。OpenAIが計算の契約を取得しようとするときはいつでも、Microsoftは同じ価格で同じ時間枠で同じ計算を提供できます。
独占禁止からのリスクを軽減するためですか。
独占禁止はそこでの大きな考慮事項の1つですが、もちろん他の考慮事項もあります。独占禁止が大きなものの1つです。OpenAIの排他的計算プロバイダーであることは少し問題があります。
OpenAIの観点からは、Microsoftが必要なよりもはるかに遅いことに本当にイライラしていました。必要なすべての計算を得ることができませんでした。必要なすべてのデータセンター容量などを得ることができませんでした。
CoreWeaveとOracleははるかに速く動いています。しかし、彼らでさえそれほど速くないので、OpenAIは他の人々にも向かっています。そこでの頭の衝突がありますが、現在の本当に困難なことは、MicrosoftがmonorepoとOpenAI IPを持っていて、それらに対する権利を持っていて、それらで何でもできることです。
Microsoftが良い子でそれで物事をしていないか、やや無能でそれを活用できず、主にそれを見ているだけかは、理由が何であれ、Microsoftはアクセスがあるにも関わらずそれほど多くはしていません。しかし、可能性は無限です。
もう1つは、本当にAGIまたは今の人工超知能の薬を飲んでいるなら、SSI人工超知能が達成されるまでのすべてのIPを持っているということです。しかし、それは人工超知能が達成される前日にすべてのIPを持っていて、その後カットオフされることを意味するでしょう。しかし、そこまでのすべてのIPを持っています。つまり、1日の作業かもしれません。難しくて10日の作業かもしれません。
または人工超知能を達成するかもしれませんが、人工超知能を達成したというすべての証拠と協議と合意を得るのに時間がかかるかもしれません。しかし、この日付でそれを主張したが、人工超知能であるモデルはここにある、ここで作ったという感じです。Microsoftはそれにアクセスできます。
つまり、これが人工超知能AGIの薬を飲んだ人々にとっての本当に大きなリスクです。利益配分やこれらすべては非常にクリーンで困難で、OpenAIに投資するときにほとんどの人はそれほど気にしません。
世界のすべての投資家に「あなたの狂った構造、非営利営利、このすべてのもの、Microsoftが長い間あなたの利益のすべてとあなたのすべてのIPに対する権利を持っている」と理解してもらうのは困難です。理論的に、彼らがあなたの最高の研究者の一部を取って、すべてを自分で実装することを決定したら、あなたは価値がないかもしれません。
これらのことは投資家を怖がらせ、サムは自分で言いました。OpenAIは人類の歴史で最も資本集約的なスタートアップになるでしょう。
評価は彼らが構築しているもののために急上昇し続けるでしょう。OpenAIは近いうちに利益を生み出す計画がありません。彼らは長い間存在していて、100億ドルの収益を上げていますが、あと5年間は利益を上げないでしょう。
その時までに、彼らの収益の予測は1000億ドルではないにしても数千億ドルの収益を期待しています。利益を上げる前にです。その間ずっと、彼らはお金を失い、お金を調達し続け、世界のすべての投資家を説得できる必要があります。
これらのことは汚いです。クリーンで理解しやすいものではありません。
GPT-4.5の失敗について
計算容量について少し話しましたが、特にAzureがCoreWeaveやその他の場所に行けることについて、GPT-4.5について具体的に話したいと思います。先週廃止されたと思います。これは非常に大きなモデルでした。
本当に廃止されたのですか。
そうではありませんでした。
ああ、わかりません。チャットでまだ利用可能だと思いました。ただ好奇心で。
ああ、廃止を発表しただけかもしれませんが、差し迫っていました。
いや、まだそこにありますが、彼らは使用量がほとんどないと話しています。それは理にかなっています。
モデルが大きすぎたのでしょうか。実行するのにコストがかかりすぎたのでしょうか。内部的にOrionと呼ばれていたGPT-4.5で何が間違ったのでしょうか、彼らがGPT-5になることを望んでいたものです。
彼らは24年初頭にその賭けをしました。24年初頭に訓練を開始しました。それはフルスケールの賭けでした。フルスケールプリトレーニングです。すべてのデータを取り、この途方もなく大きなモデルを作り、それを訓練します。
完全に明確にするために、それは4.0と4.1よりもはるかに賢いです。私を笑わせた最初のモデルだと言ったことがあります。実際に面白いからです。しかし、一般的にそれほど有用ではなく、遅すぎて、高すぎます。他のモデルと比較して。o3の方が単純に良いです。
彼らは純粋にプリトレーニングスケーリングに行きました。データがスケールしないので、大量のデータを得ることができませんでした。データスケーリングがそれほど速くないので、すべてのこの計算で訓練されたこの本当に本当に大きなモデルがありますが、オーバーパラメータ化と呼ばれる問題があります。
一般的に機械学習では、ニューラルネットワークを構築してデータを与えると、最初に記憶し、その後一般化する傾向があります。つまり、「the quick brown fox jumped over」と言ったら、次のトークンは常に「lazy」だと知っているだけです。
より多くのデータでそれを訓練するまで、それはquick brown foxが何を意味するか、lazy dogが何であるかを学習しません。実際に世界モデルを構築しません。一般化します。
ある程度、GPT 4.5 Orionは非常に大きく、非常にオーバーパラメータ化されていたので、多くを記憶しました。実際に訓練を開始したとき、OpenAIの人々は「すごい、ベンチマークを既にcrushing している。訓練にほとんど入っていないのに」と非常に興奮していました。
チェックポイントのいくつかが最初は非常に良かったからです。しかし、それは単に多くを記憶しただけだからです。しかし、その後改善を停止しました。長い間ただ記憶していて、一般化しませんでした。最終的に一般化しました。
非常に大きく複雑な実行だったので、実際に数ヶ月間バグがありました。訓練中です。訓練は通常数ヶ月またはそれ以下です。通常はそれ以下です。そして彼らは訓練を台無しにしていた非常に小さなバグのために、数ヶ月間訓練コードにバグがありました。
面白いことに、最終的にそれを見つけたとき、それはOpenAIが見つけて修正したPyTorch内のバグでした。彼らはパッチを提出し、GitHubで20人のOpenAIの人がバグ修正リアクションに絵文字で反応しました。
もう1つは、チェックポイントから訓練を何度も再開しなければならなかったことです。非常に大きく複雑で、多くのことが間違って行く可能性があり、インフラストラクチャの観点から、これらの多くのリソースを関連付けてまとめ、訓練させ、安定的に訓練させることは本当に本当に困難でした。
しかし、別の面から、インフラストラクチャとコードとそのようなすべてのものが pristine だったとしても、データの問題がまだあります。データがウォールなのです。
皆が2022年のChinchillaペーパーを指摘します。2022年にGoogleが発表したChinchillaと呼ばれるペーパーです、DeepMindです。それが基本的に言ったのは、モデルにとって、パラメータに対するトークンの最適な比率は何かということです。これは、Chinchillaモデルの正確なアーキテクチャを持つ密なモデルにのみ適用されました。
「x flopsがあるなら、このパラメータ数、このトークン数を持つべきだ」ということです。これはスケーリング法則です。明らかに、それを大きくしてより多くのflopsを適用すると、モデルは良くなりますが、どれだけのデータを追加すべきか、どれだけ多くのパラメータを追加すべきかです。
明らかに時間が経つにつれて、人々のアーキテクチャが変わり、Chinchillaの正確な観察は正確ではありません。つまり、大体、訓練しているデータ対モデルのパラメータに対して、パラメータごとに約20トークンが欲しいということです。実際には曲線があり、すべてはそれよりも複雑ですが、その観察は同一ではありません。
しかし、それは、計算を追加するにつれて、特定の比率でまたは特定の曲線に沿って、より多くのデータとパラメータを追加したいということです。理想的な世界には基本的に公式があります。彼らはそこに行きませんでした。トークン対パラメータのはるかに多くに行かなければなりませんでした。
しかし、これは訓練を開始した24年初頭のことでした。これらすべての試練と苦難を経て、最終的にそこに到達し、4.5をいつリリースしたか覚えていません。去年でしたよね。
プリトレーニングを終了し、RLやその他すべてのことを試みた後、最終的にモデルをリリースしました。しかし、その間に、OpenAIの異なるチームが魔法のようなもの、つまり推論のもの、strawberryを見つけました。
この大規模なモデルを訓練するプロセスにいる間に、彼らは「はるかに低いコストで、推論のためにモデルからはるかに高い効率、はるかに高い品質を得ることができる」と気づいたのですね。
そうです。推論を最初の原理に本当に煮詰めようとすると、モデルにはるかに多くのデータを与えています。このデータをどこから得ているかというと、それを生成しているのです。どのようにデータを生成しているかというと、モデルがデータを生成し、正しい答えに到達しないすべてのデータを捨てる検証可能なドメインを作成しているのです。その数学問題やそのコードやその単体テストが良かったかどうかを検証しないところです。
ある意味で、明らかに当時は直感がありませんでしたが、振り返ってみると、直感は非常に理にかなっています。4.5は十分なデータがなかったために失敗し、また単にスケーリングの観点からインフラストラクチャ的に非常に複雑で困難で、そこには多くの問題と課題がありました。
しかし、また単に十分なデータがなく、現在、異なるチームからのこの画期的な発見がより多くのデータを生成していて、そのデータが良いということです。合成データのもののほとんどは悪いデータですが、strawberryの、推論の魔法は、あなたが生成しているデータが良いということです。
つまり、最初の原理ベースから、データがウォールであることは本当に理にかなっています。より多くのパラメータを追加するだけでは何もしません。
アップルの状況について
アップルについて少し話したいと思います。あなたはそれについていくつかの考えを持っていると確信しています。アップルは明らかに遅れています。パブリックモデル、リーク、彼らが何をしているかを知ることについて、あまり得られていません。
アップルで何が起こっていると思いますか。彼らは単に失敗をしたと思いますか、ゲームに遅れたのでしょうか。なぜ彼らは企業を買収していないのでしょうか。推測しなければならないとしたら、内部で何が起こっているのでしょうか。
アップルは非常に保守的な会社だと思います。彼らは過去に企業を買収したことがありますが、本当に大きな買収はしたことがありません。
最大のものはヘッドフォン会社としてのBeatsでした。
しかし、一般的に彼らの買収は本当に小さく、多くの企業を買います。ただ、本当に本当に小さな企業を買います。早期に、失敗しているスタートアップかもしれない、それが何であれ、プロダクトマーケットフィットを達成しておらず、非常にセクシーではないスタートアップを買います。
アップルに関しては、AI研究者を引き付けることに常に問題がありました。AI研究者はblabするのが好きです。彼らは自分の研究を投稿し、公開するのが好きです。アップルは常に秘密主義の会社でした。
彼らは実際にそのポリシーを変更し、AI研究者が公開することを許可しました。しかし、結局のところ、彼らはまだ秘密主義の会社です。彼らはまだ古い時代遅れの会社です。
メタが多くの研究者と才能を雇うことができたのは、彼らが既に多くのML才能を持っていたからです。彼らは常にAIのリーダーでした。彼らはこのPyTorchチームも持っていました。そして彼らは長い間多くをオープンソース化することにコミットしていました。
それに加えて、AI才能を獲得できたのは誰でしょうか。DeepMindからOpenAIへのシフト、OpenAIがDeepMindのライバルになって、多くの優秀な研究者が一緒になってそれを形成し、その後OpenAIからのAnthropicスプリンターグループ、OpenAIからのThinking Machineスプリンターグループ、OpenAIからのSSIのスプリンターグループです。
実際にAI才能を既に持っていなかった才能を獲得できた企業は何でしょうか。Google DeepMindはゲームで最大の名前で、常にAI研究者とPhDの最高の流入を持っていました。
その後、OpenAIとAnthropicがあります。そしてThinking MachinesとSSIです。すべてOpenAIです。今、Anthropicには人々を獲得できるほど強い文化があります。OpenAIがリーダーです。メタについては、それがどのようにかを話しました。
アップルはこれらの最高の研究者をどのように引き付けるのでしょうか。彼らはそうしません。最高ではない研究者を獲得するでしょう。彼らが競争力を持つのは本当に困難です。
そして、彼らはNvidiaに対して憎悪の汚名があります。おそらく合理的な理由があります。Nvidiaはある時点で彼らにいくつかの特許について訴えると脅しました。Nvidiaは彼らに故障したGPUを販売しました。それはバンプゲートと呼ばれていました。とても興味深いことでした。
それを覚えていません。
覚えていませんか、それとも覚えていますか。
いえ、覚えていません。
ああ、そうですか。これはとても楽しい話です。Nvidiaの1世代のGPU、正確な理由を台無しにするつもりです。しばらく前のことだからです。
これはおそらく2015年またはそれ以前です。
ラップトップ用のNvidiaのGPUの世代があります。チップには底にはんだボールがあり、それらがIOピンをマザーボードに接続し、CPUパワーなどに接続します。
サプライチェーンのどこかで、Dell、HPE、アップル、Lenovoのすべての企業がNvidiaを非難しましたが、Nvidiaは自分たちの責任ではないと言いました。責任を処方するつもりはありませんが、はんだボールが十分ではありませんでした。
温度が上下に振れるとき、熱膨張係数、異なる材料は異なる速度で膨張し収縮します。チップ対はんだボール対PCBは異なる速度で膨張し収縮します。
その異なる膨張速度のために、チップとボードを接続するはんだボールがクラックするということが起こりました。バンプゲートと呼ばれました。現在、接続が切断されています。チップとボードの間の接続が。バンプゲートと呼ばれました。
アップルはNvidiaから補償を求めたと思います。Nvidiaは拒否したと思います。この全体的なことがあります。アップルは本当にNvidiaを嫌っています。そしてNvidiaがモバイルチップに参入しようとしていたときに脅していたためです。彼らは一時期モバイルチップに参入しようとして失敗しました。
しかし、ある時点で彼らはモバイルでのGPU特許について皆を訴えようとしました。これら2つのことの間で、アップルは本当にNvidiaが好きではないので、アップルは多くのNvidiaハードウェアを買いません。彼らはもうそうする必要がありません。
もちろんラップトップでは必要ありませんが、データセンターでも。
研究者として、まず第一に、才能がある場所、文化的にフィットする場所、お金がある場所に行くつもりです。メタのような多くの計算と良い研究者がある場所でも、人々を来させるために狂ったお金を提供しなければなりません。
アップルは、その狂ったお金を提供するつもりがなく、計算もありません。そして推論でユーザーにサービスを提供するために、彼らはデータセンターでMacチップで実行します。それは非常に奇妙です。私はそのすべてのことを扱いたくない、最高のモデルを構築したいと思います。アップルにとっては困難です。
オンデバイスAI対クラウドAI
アップルについて最後に1つ質問したいことがあります。彼らはオンデバイスAIを非常に重視しており、私は実際にそのアプローチが本当に好きです。セキュリティ、レイテンシー。エッジにAIをプッシュすること対クラウドに置くことについてのあなたの見解は何でしょうか。それは中間のどこかでしょうか。どう思いますか。
一般的に私はオンデバイスAIベアです。あまり好きではありません。個人的に、セキュリティは素晴らしいと思います。しかし、人間の心理を知っています。無料は、広告付き無料よりも良く、セキュリティよりも良いです。実際にセキュリティを気にかける人はほとんどいません。彼らはそうすると言いますが、実際にセキュリティに基づいて決定を下す人の数は非常に少ないです。
もちろん、私はプライバシーとセキュリティが欲しいです。
しかし、あなたが言ったのは、それは無料が好きだということですが、それはオンデバイスAIに類似していませんよね。
いや、いや、そうです。メタがクラウドで無料で提供し、OpenAIに無料ティアがあり、Googleに無料ティアがあり、それは自分のデバイスで実行するよりも良くなるでしょう。
そうですね。そして、それが大きな大きな挑戦です。オンデバイスでは、ハードウェアによって制限されます。モデルがどれだけ速く推論できるかは、本当にチップのメモリ帯域幅に基づいています。チップのメモリ帯域幅を増やしたいなら、ハードウェアに50ドル多く使います。その費用を顧客に転嫁します。iPhoneに100ドル多くかかります。
100ドルで、1億トークンを持つことができます。1億トークンを消費していません。または、さらに良いことに、100ドルを節約し、メタがWhatsAppとInstagramでモデルを無料で提供し、OpenAIがChatGPTで無料で提供し、GoogleがGoogleで無料で提供します。本当にその観点から困難です。
最後に、レイテンシーの観点には同意しません。トランスフォーマーがレイテンシーに意味を持つ特定の使用例があると思います。キーボードでの次の単語予測やスペリングなど、非常に小さなものです。
しかし、あなたと私にとって最も価値のあるAIワークロードは、この時間にレストランを検索することです。それを見つけることです。個人的な観点から、または私のGmail、カレンダーへのアクセス、それはとにかくすべてクラウドにあります。
ビジネス内には多くの使用例がありますが、個人のあなたと私にとって、私のデータはとにかくすべてクラウドにあります。A、もしそれがより多くの代理的なワークフローの観点であるなら、「本当にイタリアンの気分で、あなたと私の場所の間でレストランを見つけて、イタリアンのことを考えているけれど、彼はグルテンフリーなのでグルテンフリーのオプションがあることを確認して、今夜7時に予約があるレストランを見つけて」というような、これは深い研究クエリです。
そして応答を得ます。それは分またはかかりました。AIが私たちのためにフライトを予約する未来を想像します。これは「フライトを予約する、OK、予約された」ではありません。「フライトを予約する」、それは研究し、物事を見つけ、戻ってきますが、ウェブを通り、クラウドを通ります。それがデバイス上にある必要性はどこにありますか。
ハードウェアの制約のために、ストリーミングトークンのことであっても、あなたの電話はサーバーでLlama 7Bを実行し、トークンを自分に送信するよりも速くLlama 7Bを実行できません。
誰もLlama 7Bを実行したくありません。GPT 4.5や4.1やo3やClaude Opusなど、良いモデルを使いたいのです。それらのモデルはデバイス上で実行できる可能性がありません。私のデータと統合された使用例にとって本当に困難な場所ですが、とにかくクラウドにあります。
私のデータをメタはどれだけ持っているか、Googleはどれだけ持っているか、Microsoftはどれだけ持っているかです。それらすべてに接続するか、Anthropicがやっている方法で、彼らはこのMCPのことをやっていて、接続しています。あなたのGoogle DriveをAnthropicに接続できます。
私がAnthropicとデータを持っていなくても、権利を与えれば彼らはまだそれに接続できます。オンデバイスAIの真の使用例の観点からの利益はどこにあるのでしょうか。確実にセキュリティの観点からは1つありますが、実際の使用例は。
おそらく両方の議論があり、総ワークロードの観点からクラウドに向かって傾くかもしれませんが、デバイスと相互作用している何かのために、ワークロードの少なくとも一部をデバイス上で行う議論があると思います。先ほど言ったタイプアヘッドのようなもので、それは多くの意味を持ちます。
つまり、AIがデバイス上に進出すると思いますが、費用構造が非常に低い非常に低価値のAIになると思います。人々が電話でAI用にハードウェアを設計すべきだとは思いません。それはより高価になるでしょう。
同じ価格ポイントで電話を維持し、AI機能を追加するなら素晴らしいです。しかし、価格ポイントを上げるなら、消費者はそれをしないと思います。
オンデバイスAIが本当に意味を持つのは、ウェアラブルです。イヤピースやスマートグラスです。そこで、小さな部分をローカルで行います。画像認識、ハンドトラッキングですが、実際の推論と思考はクラウドで起こります。
それは多くのこれらのウェアラブルがプッシュしている見解の種類だと思います。デバイス上でAIがいくらかあると思います。明らかに皆が試すでしょう。SamsungとAppleとこれらすべての企業が手をこまねいているつもりはありません。彼らは試すでしょう。
実際にユーザー採用と収益を促進し、顧客の生活を改善するものは、クラウドにあるものに傾くと思います。それが、Appleがこの戦略を持っている理由です。Appleはいくつかの大規模なデータセンターを構築しています。数十万のMacチップを購入してデータセンターに入れています。
彼らはTPUのラックアーキテクチャのGoogleのヘッド、Andyを雇ってアクセラレータを作りました。彼らはクラウドがAIが行く必要がある場所だと見ています。オンデバイスもプッシュしなければなりませんが、Appleですら、彼らは言わないでしょうが、これの多くをクラウドで実行したいと思っています。
そして彼らもそれを行う優れたチップを持っています。
NvidiaとAMDの競争
チップについて話しましょう。NvidiaとAMDについて話しましょう。最近、semi analysisからいくつかの記事を読みました。この新しいAMDチップが実際に本当に強いと言っているものです。AMDは新しいチップで、CUDAの堀を本当に取り組むのに十分でしょうか、それともNvidiaから市場シェアを取り始めるでしょうか。
それは物事の合流だと思います。AMDは本当に一生懸命試しています。彼らのハードウェアはいくつかの要因で遅れています。特にBlackwellに対してです。しかし、彼らのハードウェアがより良いいくつかの方法があります。
私が思う本当の挑戦は、あなたが言及したソフトウェア、AMDでの開発者体験はそれほど良くないということです。良くなっています。私たちは彼らに多くのことをするように求めました。CIリソース、これらすべての他のものでの特定の修正と変更です。
12月に提供した推奨事項の長いリストがあり、最近再度提供しました。彼らはそれらの多くを実装しました。かなりの数を実装しましたが、ソフトウェアで非常に遅れています。信じられないほどです。
彼らはいくらかのシェアを得るでしょうか。今年もいくらかのシェアを得ると思います。昨年もいくらかのシェアを持っていて、今年もいくらかのシェアを得るでしょう。
NvidiaのBlackwellに対して客観的に悪いという挑戦があります。
チップ単体でしょうか、エコシステムではなく。
チップ単体です。
システムのためです。Nvidiaは彼らのチップをネットワーク化し、一緒に接続できるからです。彼らがチップに置いたネットワーキングハードウェア、NVLinkのためです。
Nvidiaがサーバーを構築できる方法は、72個が本当に密接に連携するのに対し、AMDは現在、8個だけが本当に密接に連携できます。これは推論と訓練にとって本当に重要です。
そしてNvidiaはこのソフトウェアスタックを持っています。CUDAだけではありません。人々はCUDAだけだと話しますが、多くの人はCUDAに触れません。ほとんどの研究者はCUDAに触れません。
彼らが行うのは、PyTorchを呼び出し、PyTorchがCUDAを呼び出し、自動的にハードウェア上で実行されることです。コンパイルモードかeagerモードかが何であれ、一般的にNvidiaハードウェアに本当によくマップされます。AMDの場合、それほどよくありません。
現在、それよりもさらに少なく、多くの人がPyTorchにも触れていません。彼らはVLMやSGLangのような推論ライブラリに行きます。
彼らはHuggingFaceやどこからでもモデルの重みをダウンロードし、GitHubまたはSGLANGまたはVLMのオープンソースリポジトリであるこの推論エンジンにプラグインし、「go」と言います。そして、これらのものがtorch compileを呼び出し、これらのものがCUDAを呼び出し、Tritonを呼び出し、スタックの下にすべてのこれらのライブラリがあります。
本当にエンドユーザーはモデルを使いたいだけです。トークンが欲しいだけです。NvidiaはDynamoと呼ばれるライブラリをここで構築していて、ユーザーにとってこれをはるかに簡単にします。
明らかに、OpenAIやDeepSeek、OpenAI、メタなどのような世界の人々で、すべての道を底まで行く人々もいますが、多くのユーザーはオープンソースライブラリを呼び出し、「これが私のモデルの重み、実行して」「これがハードウェア、実行して」と言いたいだけです。
AMDは本当に一生懸命試していますが、まだ悪いユーザー体験です。機能しないということではありませんが、Nvidiaではフラグが10個なら、AMDではフラグが50個あるということです。これらのフラグにはそれぞれ異なる設定があります。「最高のパフォーマンスは何か、わからない」ということです。
AMDはそこに本当に速く到達していると思います。そして彼らはいくらかのシェアを得るでしょう。もう1つの側面は、Nvidiaが自分自身に有利に働いていないことです。クラウド企業のエコシステムがあります。
もちろん、皆がGoogle、Amazon、Microsoft Azureについて知っています。これらの人たちはAIチップを構築していて、NvidiaはAIチップを明らかに持っています。彼らは常にしばらく競争していました。
応答として、Nvidiaはこれらすべての他のクラウド企業をプロップアップしました。CoreWeaveとOracle、プロップアップというよりも本当に優先しました。Oracleですが、実際には50以上のクラウド企業があります。Nebius、Together、Lambda、リストを下に行くことができます。
Nvidiaが本当に支援しているすべてのこれらの異なるクラウド企業があります。彼らはAmazonとGoogleなどへの割り当てだったものを取り、「君たち、君たちがそれらを買うことができる」と言っています。
それは一種のレベル化をするためでしょうか。より多くの商品にするために？
Amazonを見てください。誰とも話さずにGPUを借りるだけなら、彼らは1時間に6ドルを請求します。これは、NvidiaのGPUを購入してデータセンターに展開するコストのようなもので、1時間に1ドル40セントです。それがコストです。
クラウドにとって合理的な利益額は何でしょうか。おそらく2ドル、おそらく1.75ドルです。それがNvidiaが望んでいることです。Amazonで6ドルをすべて吸い上げられる利益を望んでいません。
明らかにAmazonと交渉してはるかに低くすることができます。しかし、それは本当に厳しいです。Nvidiaはこれらすべての異なるクラウド企業をプロップアップしていて、価格を押し下げています。
しかし、今、彼らは私の意見では大きな大きな失敗をしました。彼らはLeptonと呼ばれる会社を買収しました。彼らは自分でデータセンターを所有していませんが、信頼性のためのすべてのクラウドソフトウェア、簡単に実行するためのstorm Kubernetesのようなスケジューリングのものを構築しました。
これはクラウドが行うもの、大きなクラウドが行うもの、Nvidiaがプロップアップしている新しいクラウド企業、neocloudsが行うものです。しかし、現在NvidiaがこのソフトウェアレイヤーをするLeptonという会社を買いました。
彼らはDGX Leptonと呼ばれることをしています。誰でも余剰リソース、GPUを持つクラウドがあるなら、それらを私たちに与えて、私たちがあなたのためにそれらを借り出し、ベアメタルでソフトウェアなしで私たちに与えて、私たちがその上にすべてのLeptonソフトウェアを追加してユーザーに借り出します。
現在、クラウド企業はこれに本当に怒っています。「あなたは私と直接競争している」からです。実際に、NvidiaもLeptonに自分のGPUの一部を置く可能性があると思います。彼らが自分で設置している。
しかし、「あなたは私たちすべてをプロップアップしたが、今競合するクラウドを作っている」ということです。多くのクラウドが怒っています。彼らはNvidiaに言わないでしょう。NvidiaはGodのようなものだからです。Godと争ってはいけません。ジェンセンが与えるものをジェンセンが取ります。
しかし、彼らは私たちに言うでしょう。クラウドは本当に悪いです。そして、Nvidiaが彼らに怒っているか、Nvidiaが彼らを怒らせているかのこの側面があります。そのため、一部のクラウド企業がAMDに向かっています。AMD paying them、Nvidiaに怒っていることの一部です。
しかし、いくつかのこれらのクラウド企業は現在AMDのGPUを購入していて、AMDが行っている3番目のことがあります。それは、皆がCore Weave Nvidia詐欺のナンセンスを非難したことを行っていることです。収益を前後に送って詐欺です。NvidiaがCore Weaveに支払うからです。「Nvidiaは彼らから1つのクラスターを借りた」と。
クール。ビジネスとしては普通のようです。
彼らは内部的にこれらのGPUを必要としないようです。彼らはソフトウェアを開発しなければならないからです。
少し何かがありますが、とても関係ないようです。
ちょっとした投資のようなもの、小さな金額です。
AMDは実際にこれを行っていて、オーバードライブに持っていっています。彼らはOracle、Amazon、Crusoe、Digital Ocean、TensorWaveでクラスターを獲得し、彼らからGPUを借り戻しています。彼らはGPUを販売し、それらを借り戻しています。
CoreがNvidiaのGPUを購入し、その小さな部分がNvidiaに行くが、大部分がOpenAIのMicrosoftに行くなら1つのことです。
これを会計のトリッキーと呼んでいるわけではありませんよね。
会計のトリッキーではありません。明らかに会計は合法です。誰かに何かを売って、彼らから何かを借りることは明らかにできます。Nvidiaもこれをやったことがあります。
彼らはほぼ投資に資金を提供しています。
その通りです。OracleとAmazonの場合のように、「私たちのGPUを買って、私たちが借り戻す。あなたはそれが素晴らしいと見るでしょうし、実際にいくつかを持つことができる、私たちが借り戻さないいくつかを、いくつかをあなたの顧客に借り出そうとすることができる」ということです。
これは興味を掻き立て、うまくいけばより多く買うことができるという彼らの理論です。またはNeoCloudsにとって、「あなたたちはNvidiaのものだけを買っている。なぜ私たちのものを買わないのか。ここに契約があり、あなたたちを快適にさせ、ここにあなたたちが他の人に借り出すことができる部分がある」ということです。
これはある程度理にかなっていますが、ある程度、販売の多くがAMDが買い戻しているだけです。しかし、これは本当に良い関係を育成します。TensorWaveとCrusoはクラウドで、「AMDが大好きだ」と言います。彼らが私のためにGPUを借りてくれて、私に売ってくれて、私は借り戻して利益を上げ、今、より多くのAMD GPUに再投資するか、他の人に借り出すことができるAMD GPUのチャンクを持っています。
その間、これらのクラウドは「Nvidiaはとにかく私と競争しようとしている。他に何をするつもりか」という感じです。
それは興味深い合流だと思います。AMDはうまくやると思います。市場シェアで急上昇するとは思いませんが、うまくやると思います。数十億ドルのチップを販売すると思います。
しかし、予見可能な将来のためにどのチップセットに投資するかについて企業にアドバイスしているなら、Nvidiaを見ているでしょう。
AMDから得ることができる価格によります。AMDが時々人々に提供するそんな価格があると思います。メタはAMDをかなり使います。多くのNvidiaも使います。AMDをかなり使います。
AMDが実際により良い特定のワークロードのために、ソフトウェア人材を持っていて、AMDが私にとんでもない価格を提供している時、そうすべきです。それがメタがそれをする理由です。しかし、多くのワークロードで、メタはまだNvidiaが最高だからNvidiaに行きます。
xAIとGrok 3.5について
xAIについて話したいと思います。Grok 3.5について話したいと思います。明らかに、少なくとも公的には多くの情報がありません。イーロン・マスクは、それが地球上で最も賢いAIだと言って、第一原理で動作すると言いました。
これはすべて誇張でしょうか。彼らは実際に新しくユニークなものを発見したのでしょうか。特に彼が分裂的だが真の事実を求めたことについて、そこには彼がしている多くのことがあり、彼が何か新しいものを発見したか、純粋な誇張のように見えます。何が起こっているかについてのあなたの見解は何でしょうか。
イーロンは素晴らしいエンジニア、エンジニアリングマネージャーだと思いますが、素晴らしいマーケターでもあると思います。新しいモデルがどのようになるかわかりません。良いと聞いたことがあります。
良いと聞いたことがあります。
皆が良いと聞いているでしょう。私たちは見ることになります。Grok 3が出たとき、私は楽しく驚きました。
絶対に。
少し悪いと期待していましたが、実際に期待していたよりも良かったからです。
日常的にGrok 3を使いますか。
日常的には使いませんが、送る特定のクエリがあります。もしあなたが気にしないなら、何について聞いてもいいですか。
彼らのdeep researchはOpenAIよりもはるかに速いので、時々それを使います。そして時々、モデルが私が欲しいデータを与えることについて本当に弱腰です。
時々、私は人間地理に好奇心があります。地理、政治、歴史、資源が人類の歴史とどのように相互作用するかです。人口統計や類似のことを知ることにも興味があります。興味深いことです。
私が育った町は、聖書地帯にあります。半分が黒人、半分が白人、人口1万人です。しかし、私がそれを人々に説明する方法の1つは、「それは氾濫原があった場所で、海が後退し、非常に肥沃な土地です。ジョージアで白人入植者がいたるところに入植したとき、たまたまより肥沃な地域の1つに起こり、彼らはより良い収穫を得ることができ、奴隷を購入することができ、それが州のほとんどよりも高い黒人の割合である理由です」と言えることです。
それは言うべき狂ったことですが、このような人間地理について推論するのが好きです。Grokはそれをすることを大丈夫に思っています。時々、明らかに奴隷制は悪く、経済史についても知りたいときがあります。
侵攻がヨーロッパへのステップから起こったのは、彼らがただ侵攻したかったからではなく、より乾燥になっていて、彼らが土地から強制的に追い出されたからです。これらのことはクールで興味深いです。または、なぜStandard Oilが独占レベルになる前に他の石油会社に勝ったのかです。
これらのことは学ぶのに興味深いだけです。しかし、他のモデルは、Standard Oilのことのように「それは組合つぶしでした、あれこれ」と始めます。「いや、実際に何が起こったかを教えて」ということです。
Grokは時々それを通ることができると思います。しかし、それは最高のモデルでもありません。私が最も行く日常のモデルは、o3またはClaude 4です。
応答が返ってくるまでに非常に時間がかかるにも関わらず、日常的にo3を使っているのですね。
トピックによりますが、そうです。多くの場合、待つことを大丈夫に思います。多くの場合そうではありません。それがClaude を使う理由です。職場でGeminiを使います。
多くの許可と規制ファイリングをGeminiに通します。長いコンテキストで本当に良いです。ドキュメント分析と検索です。職場の方法で多くのものをGeminiに通しますが、携帯電話を取り出して会話の途中で何かを知りたいときやその他については、異なるモデルです。
Grokに戻ると、Grokは、彼らは多くの計算を持っています。本当に集中しています。多くの優秀な研究者を持っています。既に20万のGPUが稼働しています。メンフィスで新しい工場を購入し、新しいデータセンターを構築し、モバイルジェネレーターでやった狂気があります。
現在、彼らは海外から発電所を購入し、時間内に新しいものを得ることができなかったので、アメリカに輸送しています。計算を得るためにこのすべての狂気をやっています。良い研究者を持っています。明らかにモデルは良く、イーロンがそれらを誇大宣伝しています。
素晴らしいかもしれません。良いかもしれません。OpenAI レベルになるかもしれません。少し遅れているかもしれません。わかりません。
しかし、彼らは根本的に異なることをしているのでしょうか。彼は特に、現在の基盤モデルにあまりにも多くのガベージがあるので、人類の知識のコーパスを書き直すと言いました。つまり、彼は明らかにxデータを持っています。これは狂気ですが、非常に低品質でもあるので、通り抜けるのは困難です。
しかし、同時に、ああ、それはGrokを時々使うもう1つの領域です。時事問題です。
イスラエルとイランとこのすべての戦争で何が起こっているかを要約したり、実際に起こっていることを正確に教えたりします。Grok に聞くことができ、Googleの検索やGeminiクエリ、OpenAIクエリよりもはるかによく、実際に何が起こっているかを教えてくれます。このすべての情報にアクセスできるからです。
彼らは何か違うことをしているのでしょうか。ステップ機能的に違うことをしているとは思いません。私たちは皆、同じことをしていると思います。皆が同じことをしていると思います。大きなトランスフォーマーをプリトレーニングし、その上でRLを行っています。主に検証可能なドメインで、検証不可能なドメインを研究していますが。
コンピューター使用やこれらすべての他のものに入っていますが、モデルが遊ぶ環境を作っていると言われていますが、主にコードと数学です。皆が一般的に同じアプローチを行っていると思います。
SSIでさえ、私はSSIが異なることをやっていると想像しますが、私が言ったこととそれほど違うことをやっているとは思いません。
経済と労働への影響
2つの異なるトピックがあります。選ばせてください。経済、労働について、ホワイトカラーの仕事の50%が消える可能性について読んだことがあると思います。または検証不可能な報酬について、おそらくより最近でより心にあることです。何か好みはありますか。
前者がより、後者がより興味深いかもしれません。あなたの聴衆にとって、私は確実ではありませんが、前者は本当に興味深いです。AI界の皆が大規模な雇用喪失について心配していますが、一方で人口は非常に急速に高齢化していて、一般的に人々はこれまで以上に働いていないということです。
私たちはヨーロッパ人が本当に少なく働くことをからかいますが、50年前の平均労働時間ははるかに高く、100年前はそれよりもさらに高かったのです。余暇の時間ははるかに少なく、皆の家のサイズははるかに大きく、食料安全保障ははるかに良いです。
50年前や100年前よりもあらゆる指標ではるかに良いです。AIは私たちがさらに少なく働くことを可能にするはずです。私自身やおそらくあなた自身のような働きすぎる狂人がいるでしょう。そして、はるかに少なく働く普通の人々がいるでしょう。
明らかに、リソースの分配が挑戦です。それが大きなことだと思います。ロボティクスについても非常に興奮しています。ロボティクスは、自動化するのが簡単な仕事が最も自動化するのが困難で、人々がやりたいのはコンピューターに座って創造的になることですが、実際に最も困難に打撃を受けた市場の1つはフリーランスのグラフィックデザイナーです。
人々がやりたくない市場は果物を摘むことです。それはまだ先のようですが、ロボティクスは狂気の速度で進歩していますが、まだかなり先のようです。
しかし、人間の生産性が狂気のように増加するにつれて、確実にタスクの大きな範囲が自動化されるでしょう。人間は将来AIを管理するのでしょうか、AIの出力をレビューするのでしょうか、その間の何かの混合でしょうか。
現在、私たちはチャットベースでモデルを使用することからより長いホライゾンベースに移行しています。o3を多く使うと言いました。実際に多くのより長いホライゾンタスクがあるからです。
現在、これらのより長いホライゾンタスクは20、30秒で、deep researchは数十分です。時間が経つにつれて、これらのAIとのインタラクションは、明らかに常に話しているAIアシスタントがいるか、私に注目に値しないことを教えてくれるでしょうが、何時間も何日もAIが私のために何かをしてから戻ってきて私がレビューする長いホライゾンタスクもあるでしょう。
そして最終的に、ループの中に人間がいなくなるでしょう。
そして最終的に、あなたはそれを信じますか。そしてどのタイムラインを考えていますか。
タイムラインの質問は馬鹿げていると思います。私は一般的にタイムラインについてより悲観的です。今世紀に仕事の20%が自動化されるとは思いません。今世紀の終わりか来世紀の初めのような気がします。
一方で、2027年にAGIと言っている人々がいますが、彼らの定義は、技術に到達することは、その瞬間に実装が起こるということを意味しないということです。フィールドで実際に展開できるまでに何年もかかるでしょう。
展開は本当に速いと思います。ジュニアソフトウェアエンジニアリング市場が既に打撃を受けているのを見ることができます。仕事を得ることができません。ソフトウェア開発でのAIの使用が急上昇しているのを既に見ることができます。まだ自動化されたソフトウェア開発にもいません。コードアシスタントにいるだけです。
企業はより多くのことをすることを選ぶのでしょうか。より多くの問題に取り組むことを選ぶのでしょうか。
そうです。昨日Aaron Levyと話しましたが、彼は「チームが私たちがどれだけ生産的かを教えてくれる瞬間、私がどこに投資するつもりだと思いますか。私はそのチームに投資し戻すつもりです。私たちはそのチームを成長させるつもりです」と言いました。では、ジュニアエンジニアの場所はどこにあるのでしょうか。
それは良いと思います。私は同意します。私自身の会社は多くのことをやっていますが、AIの使用により、私たちははるかに多くのことができ、それが私たちをより生産的にし、AIを使わない古い会社を out compete することができます。コンサルティングとデータスペースで。
しかし、昨年に会社のサイズを32、現在33に倍増しました。何人のジュニアソフトウェア開発者を雇うつもりでしょうか。それは違います。私が持っているジュニアソフトウェア開発者は、先週50のコミットをしたので、私たちは彼女を応援しました。それは以前はずっと多くの人を要したものです。
私たちが構築するソフトウェアは明らかにたくさんありますが、実際に追加できる人の数は、シニアな人で多くのAIを指揮する人よりも、ジュニアな人を雇いたいでしょうか。
挑戦的です。同時に、新しいAIツールに素早く適応できるため、若い人を雇うことです。バランスを取る行為のようなものです。
ジュニアソフトウェア開発者がどこに行くかわからないと思います。TwitterやLinkedInで常に人々が私に連絡してきて「私のための仕事はありますか」と言います。「いや、本当にない」と言います。しかし、時々あります。しかし、困難で、主要なテック企業がジュニアソフトウェア開発者をそれほど雇っているのを見ません。それは事実です。それが市場が本当に悪い理由です。
だから彼らは自分で自己スキルアップしなければならないのです。より良いスキルを持って来なければなりません。
または自分で何かを構築し、ジュニアソフトウェア開発者ではなく、実際にこれらのツールを使えることを示そうとすることです。
しかし、それは皆のためではありません。
そうではありません。多くの人はただ仕事が必要です。セルフスターターになりたくないし、確実にファウンダーになりたくないのです。ソロビルダーの種類になりたくないとしても、そうです。
それは私にとって問題でした。人を雇い始めたとき、一部の人は多くの指示が必要で、私には与える指示がないということです。私にはセルフスターターが必要です。現在、会社にはそれができる人がいますが、人々に方向性を与えるのは困難です。一部の人は、少なくとも最初は指示とより多くの手助けが必要です。
オープンソース対クローズドソース、そしてなぜアメリカがオープンソースで負けるか、メタが劇的に良くならない限り、彼らが雇っている多くの才能で良くなっていると思います。サムがトップ研究者を得ていないのは間違っていると思います。
サム・アルトマン、彼らが確実に行っている何人かのトップ研究者を知っています。最初に提供した人々、最も高いプロファイルを持つ人たちではないかもしれませんが、まだそこに行くトップ研究者がいます。
中国は遅れているからオープンソースしているだけです。先に出た瞬間、オープンソースを止めるでしょう。そして結局、クローズドソースが勝つでしょう。
残念ながらクローズドソースが勝つでしょう。私の唯一の希望は、人間のGDPを支配するクローズドソースAIが2つか3つだけでないということです。モデルのタイプや企業です。それよりも分散されていることです。しかし、そうではないかもしれません。
メタ、Google、OpenAI、Microsoft、Tesla、他誰でも、人工超知能に最初に到達するのに1つの企業に賭けなければならないとしたら、誰を選びますか、そしてなぜですか。
OpenAIです。彼らはすべての主要な画期的発見の最初です。推論でさえ、彼らが最初の2つでした。推論だけでは次の世代に連れて行かないと思うので、他の何かがあるでしょう。
Anthropicが2番目です。
しかし、彼らはとても保守的です。リリースするもの、公開するもの、焦点を当てるものについて、Anthropicでとても保守的です。とても安全性、つまり弱体化したと思います。彼らは以前よりもはるかに保守的でなくなったと思います。
Claude 4をローンチするプロセスは、私が理解する限り、Claude 3をローンチするプロセスよりもはるかにシンプルで簡単でした。彼らがより多くの普通の人を雇っているか、他の人がとにかくものをリリースするだろうし、彼らも持つべきだと認識しているか、それが何であれ、Anthropicは少し緩くなっていると思います。ただ本当に良い人々を持っていると思います。
そして3番目は、実際にGoogle、xAI、X、メタの間の同点になるでしょう。メタは実際に競争力があるほど十分な良い人々を得ると思います。
ディラン、私とチャットしていただき、本当にありがとうございました。
呼んでいただきありがとうございます。
感謝します。これは素晴らしい人でした。
とても楽しかったです。
何についても話すことができますね。
おそらく、おそらく。
コメント