8,092 文字
OpenAIは実際に危機に陥っているかもしれません。そしてそれは彼らの最新モデルに関連しています。個人的には最近のモデルはかなり良いと思いますが、多くの人はそう思っていません。現在、GPT-4.5はそれほど優れたモデルではないという考えがあり、OpenAIは失敗する運命にあるとされています。さて、OpenAIは危機に瀕しているのか、そして彼らはゆっくりと崖から落ちつつあるのかについて掘り下げていきましょう。
最近Futurismが公開した記事の一つがこちらです。「OpenAIはGPT-4.5で本当に失敗したかもしれない」というもので、熱狂が冷めているとしています。これはGPT-4.5がフロンティアモデルとなるはずだったことを指しています。現在、それはすべてのカテゴリで最高というわけではないという意味ではフロンティアモデルではありませんが、おそらくモデルを取り巻くマーケティングがそれに公正さをもたらさなかったと思います。彼らが実際に行ったことの一つは、GPT-4.5は「これまでで最大かつ最も知識豊富なモデル」であると述べながら、期待値を管理し「フロンティアモデルではない」と注意を促したことです。
以前話したように、マーケティングに問題があったと思います。なぜなら彼らは本質的に両方の良いところを取ろうとしているからです。「最大かつ最も知識豊富なモデル」と呼びながら、「最高のモデルではない」とも述べることはできません。GPT-4.5についての動画を作りましたので、皆さんはそれをチェックしたいかもしれませんが、この記事にも一理あります。
記事では、おそらく同社は公衆の反応が鈍いことを知っていたため、AIの批評家ゲイリー・マーカスがLLMを「何もバーガー」と呼んだことを参照し、匿名の専門家がArs Technicaに「このモデルはレモン（欠陥品）だ」と語ったと述べています。そして、大々的に宣伝されたUnionモデルには、オリジナルのChatGPTやその後継GPT-4を巨大な文化的・財政的な基準点にした種類のジュースが深刻に欠けているように見えるとのことです。
「OpenAIはGPT-4.5で失敗したかもしれない」という記事では、より広い視点から見ると、これはそれほど大きな問題ではないと思います。なぜならOpenAIが何をしようとしているのか理解しているからで、後ほどそれについて話します。しかし、外部からの視点では良く見えないと思います。彼らは新しいモデルを宣伝し、GPT-4.5をリリースしたところ、公衆の反応はかなり悪いですから。
また、GPT-4.5と以前に言われていたことについても見てみる必要があります。Wall Street JournalやBloombergなどの場所からの以前の記事が何を言っていたか覚えていれば、彼らはリークに関する多くの情報を持っていました。彼らはGPT-5と呼ばれ、コードネームOrionのプロジェクトが18ヶ月以上にわたって進行中で、ChatGPTを支える技術の大きな進歩となることを意図していたと語りました。最も近いパートナー投資家であるMicrosoftは、2024年半ばにそのモデルを見ることを期待していました。今から8ヶ月前のことです。
明らかにOpenAIは、膨大な量のデータを何ヶ月もかけて処理して、よりスマートなモデルを作ることを目標とした大規模なトレーニング実行を少なくとも2回行いました。そして毎回新しい問題が発生し、ソフトウェアは研究者が期待していた結果に届かなかったと、プロジェクトに近い人々は言っています。彼らは、「せいぜい、Orionは現在のOpenAIのモデルよりも性能が良いが、新しいモデルを稼働させ続けるための莫大なコストを正当化するほどには進歩していない」と述べています。
これはかなり驚くべきことです。なぜなら、この記事によれば、GPT-4.5は実際にGPT-5と呼ばれる予定だったようです。そして私の推測では、かなり高価だが能力に見合わないモデルについて話していたのであれば、おそらく彼らは実際にGPT-5を作り、それが現在のGPT-4.5なのではないでしょうか。そして、GPT-5がおそらく期待していた結果を得られなかったという点で失望だったため、「性能面では期待していたほどの大きな違いがないため、このモデルをGPT-4.5と呼ぶべき」という判断になったのではないかと思います。
ここで引用されているGPT-5に関するすべてのデータは、現在持っているGPT-4.5に起こったことと全く同じように見えます。実行するのは非常に高価で、Proティア以外の人はアクセスすらできません。それは良いモデルですが、確かに少しの性能向上のために月200ドルの価値があるとは思いません。
ここにChubbyの発言があります。「雰囲気から判断すると、GPT-4.5はOpenAIの最初の大きな失敗だ。コストが高すぎる割に改善が少なく、クリエイティブな回答ではコミュニティテストでGPT-4oよりも劣ることが多い」。この発言は半分は正しく、半分は違うと思います。確かにOpenAIの最初の大きな失敗かもしれませんが、GPT-4oより劣るとは思いません。それについては後ほど説明します。
ゲイリー・マーカスはこれを引用リツイートして、「長い間これについて皆さんに伝えようとしてきた」と述べています。彼は「これはあなたと、私が辛抱強く際限なくこれがまさに起こることだと説明したのに聞く耳を持たなかった他の多くのOpenAIファンにとってのみ大きな驚きだ。私たち残りにとって、これは本質的に避けられなかった」と述べています。
ゲイリー・マーカスはしばらくの間OpenAIに対してかなり批判的でした。彼はOpenAIが彼の見解では間違っていると思うことについて率直に話しており、ここで彼はOpenAIが深刻な危機に陥っていると信じる理由についていくつかの本当に重要な詳細を掘り下げています。
彼は、ブランド名は良いが、GPT-4.5は非常に高価であり、それでも競合他社に対して決定的な優位性を提供していないため、MOE（機会の瞬間）がゼロであると述べています。これはブランドの観点からは実際に真実です。スケーリングによってAGIに到達していないことも事実だと思いますが、同時にAGIは後で来るでしょう。GPT-5プロジェクトは失敗し、DeepSeekの戦いが価格戦争につながったかどうか疑問に思っている人もいます。もちろんこれについても話します。OpenAIはお金を失っています。
彼が実際に話す重要なことの1つは、多くのトップの人材が去ったことであり、これは残念なことだと思います。これらの人々は基本的に複数の百万長者です。なぜならもちろん彼らはOpenAIの株式を持っており、彼らの一部は最も競争の激しいスタートアップの1つで苦労するよりも、AIでクリエイティブなプロジェクトを追求したいのかもしれないと思います。
最近のインタビューでゲイリー・マーカスが語ったことを見ることができます。そこでは彼はOpenAIがうまくいっていないかもしれないという事実について話しています。もちろん常に注意点として、ゲイリー・マーカスはAI業界の有名な批評家です。彼は時に良い指摘をすることもありますが、時に彼の発言は正当な批判の場所から来ているのではなく、どこから来ているのかわからないこともあるということを付け加えたいと思います。
「OpenAIは非常に過大評価されていると思います。昨日か過去数日で、DeepSeekが彼らがお金を請求しようとしていたものを基本的に無料で提供したことで、彼らのビジネスモデルが崩壊したと思います。また、DeepSeekはOpenAIよりもオープンであり、それは才能にとって魅力的でしょう。物事はあまり良く見えません。年間約50億ドルを失っているときに170億ドルの評価は持ちこたえるのが難しいです。」
これが、Chubbyの発言に完全に同意できなかった理由です。半分は同意しましたが、残りの半分にはあまり同意しませんでした。基本的に、その理由は、Karpathyがコミュニティテストを行い、80%の人がGPT-5よりもGPT-4の回答を好んだからです。しかし、これが有効なテストとして意味をなさないと言った唯一の理由は、これが非常に小さなサンプルサイズであるということです。アンドレ・カーパシーが尋ねた5つの質問だけでは、モデルを判断するのに十分な大きなサンプルサイズではありません。
例えば、私がモデルに5つの質問をして、AかBを選んでもらうようなものです。私がその声明を支持する理由は、サンプルサイズが大きいほど、より全体的な見方ができるからです。例えば、これを見てみましょう。これは実際にこの動画を作っている間にリリースされたもので、GPT-4.5がLMsワイアリーナでトップになったことがわかります。
OpenAIがGPT-4.5プレビューで自らを1位にすることができた領域があり、これはかなり驚くべきことです。なぜなら、わずか1週間前にGroq 3がすべてのカテゴリーで1位になったばかりだからです。ここでは3,000の投票があり、これはもちろんユーザーがモデルと対話し、実際の応答の観点からモデルを見るという点でより大きなサンプルサイズです。OpenAIが1位になると言っていたことを考慮すると、これは理にかなっています。
他のカテゴリーを見ると、コーディング、数学、難解な分野で1位であることがわかります。これは他のモデルもかなり優れていることを考えると、実際に驚くべきことです。モデルの「雰囲気」について何かあるのかわかりませんが、その雰囲気は明らかに実在し、アンドレ・カーパシーのような優れた人によるいくつかのユーザーテストにもかかわらず、ここで行える迅速なテストには及びません。
スターコントロールでも、GPT-4.5は他のモデルを大きくリードしています。これはELOレーティングの全体的な大きなジャンプであり、かなり驚くべきことです。
ゲイリー・マーカスが言ったように、DeepSeekの件はOpenAIのローンチを少し混乱させたと思います。特定の業界パートナーはオープンソースモデルを使用できるためにOpenAIを離れています。誰かが言ったことを覚えていませんが、基本的にOpenAIにはMOE（優位性）がないという意味で、誰かが同じ価格かそれより安く基盤モデルを提供できれば、彼らと協力する個人は他の会社と協力するでしょう。
これは最近、ヒューマノイドロボットを製造している会社Figureのインタビューで確認されました。共同CEOは「現在使用しているものはすべてオープンソースです」と述べ、最近OpenAIとの契約を終了しました。なぜなら彼らはブレイクスルーを起こし、AIのある動きでヒューマノイドロボットに知能を与えることに最も優れていると信じているからです。「私たちは基本的に今日オープンソースモデルを使用していますが、社内で独自のモデルや社内のロボットでのデータ収集を行っています。基本的に基盤モデルを自社で構築しており、この1年間ほぼ排他的に自分たちで行ってきました。ロボット工学においてこれを行うことに関して、私たちは世界で最高だと思います。私たちが公開しているよりも優れたAI学習をロボットで実証した人は誰もいないと思います。」
他のことについて話すとしたら、Deep Researchのハルシネーション（幻覚）についても話さなければなりません。この動画はOpenAIを攻撃するものではなく、特定のことに批評を加え、また疑問を投げかけるものです。OpenAIは本当に危機に瀕しているのでしょうか？
基本的に、Deep ResearchはOpenAIの主力ツールで、多くの人がこのツールは本当に良いと言っています。しかし、現在Deep Researchには欠陥があり、それが使用不可能だとは言いたくありませんが、ある側面では、これがケースだとしたら、使用する意味は何なのかと議論したいと思います。
基本的に、この人は「これは最先端のLMから見た中で最悪のハルシネーションだ」と述べています。これはすべてのLMに当てはまることで、OpenAIだけの問題ではなく、すべてのリサーチツールに当てはまることだと思います。
「Deep Researchは、何千もの記事のデータセットをコンパイルし、信頼できるソースから各著者の情報を収集したと主張しながら、統計や分析の束を作り上げた」とのことですが、彼らが調査したところ、これらのことは真実ではありません。
これはもちろん大きな問題です。なぜなら、ハルシネーションを与えるリサーチツールがあるとしたら、それはDeep Researchの全体的な意味をかなり無意味にするからです。全ての情報源を個人的に検証して正確性を確認する必要があり、Redditの誰かが投稿したように、これはおそらく最も適切な表現であると思います。
「あなたのためにリサーチを行うリサーチツールがあるが、それらのソースが正当であることを確認するために自分で確認する必要があるとしたら、その意味は何なのか？自分でリサーチを行った方がよいのではないか？」もちろん、時間を節約できるかもしれませんが、すべてが固定され検証されているようにして、「これはリサーチレポートだから、ざっと目を通すだけで主な詳細がわかる」と言えることが目的ではないでしょうか？
これはすべてのディープリサーチツールに当てはまることであり、ソースを持ち、リンクをクリックしてソースを検証できるAIがあるようなアップデートが見られると良いと思います。例えば、検証されたソースには緑のチェックマークがついたり、特定のソースについてわからない場合は「このソースについては不確かです」などのような表示があると良いでしょう。そうでなければ、これはかなり役に立たないと言わざるを得ず、実際に使用することに少し不安を感じます。AIツールを使ってリサーチを行い、そのリサーチに一部ハルシネーションがあるとしたら、それはもちろん大きな問題です。
以前、これらのモデルが経済の大部分を自動化し始める可能性があり、2025年から2026年に最高のモデルを訓練する企業は、その後のサイクルで誰も追いつけないほど先を行くだろうと述べていたのを覚えていますか？それは単なる誇大宣伝だったのでしょうか？現在、最大のモデルを訓練している人々でさえ、競合他社よりそれほど先を行っているわけではなく、物事は現在彼らの手の中で変化しているように見えます。
イリヤ・サツケヴァーは「私たちが知っている事前訓練は終わるだろう」と述べました。もちろんコンピュータは成長していますが、データは成長していません。この面では新しいイノベーションがあるでしょう。私はここでかなり強気です。これらの大きなモデルがより良い推論を生み出していないという事実は、AIにおける本当の仕事が始まったことを意味すると思います。
以前は単に「より大きくすればよりスマートになる」だったのですが、今では新しいイノベーティブな方法について考えなければならず、それは人々が一つのトンネルだけを見つめるのではなく、複数の解決策を探索しているため、将来的には本当にスマートなシステムを手に入れることができるでしょう。
OpenAIにとって非常に悪い印象を与えたと思うもう一つのことがあります。前述したように、私はOpenAIを批判するためにこれを持ち出しているわけではありませんが、これはOpenAIが危機に瀕していることを意味するのでしょうか？これは私を怒らせたとは言いたくありませんが、確かに驚かせたことでした。全くこれを期待していませんでした。
これはFrontier Mathと呼ばれるもので、基本的にはAIのベンチマークで、彼らはこのベンチマークに多くの時間を費やしました。これは数学のベンチマークであり、「このベンチマークの問題をAIが解決できれば、そのAIは信じられないほど賢い」と彼らは述べました。
基本的に、OpenAIはEpoch AIに300の高度な数学問題を作成させ、AIの評価のためにFrontier Mathベンチマークの核を形成しました。唯一の問題は、OpenAIがこのベンチマークに秘密裡に資金を提供し、O3モデルにリンクしていたことです。OpenAIは基本的にこのベンチマークを作成するために支払い、テストセットの問題と解決策にアクセスしていました。
これは、ベンチマークを作成していた個人が、O3がリリースされるまで開示しなかったことであり、Frontier Mathについて大きな問題がありました。これは基本的にそのベンチマークに染みをつけました。O3が特定のベンチマークでうまく機能している一方で、本当に驚くべきジャンプは2%から25%へのジャンプであり、人々は「一体どうやってそれが起こったのか」と驚いていました。
基本的に、そのベンチマークが無効にされれば、人々は他のベンチマークスコアの整合性に疑問を持ち始めるでしょう。私もある程度同じことをしています。なぜなら今では「OpenAIが嘘をつくインセンティブはないかもしれませんが、彼らのモデルがさらに良く見えるようにベンチマークを少しゲーム化する」可能性があるからです。これらの企業は投資を引き付けようとしており、もちろんそうすることでそれを後押しするでしょう。
ゲイリー・マーカスもこれについて話しています。「O3に関するOpenAIの印象的な結果は、大きな留保を持って受け止めるべきです。彼らは問題の解決策にアクセスしていました。彼らが何をトレーニングしたのか、どのような問題のテーラーバリデーションやデータ拡張技術が組み込まれていたかはわかりません。」
現在の問題は、私たちはまだこれを待っていることです。私は本当にまだこれを待っています。Epoch AIはホールドアウトセットを使用してモデルを独立して評価することができていません。ホールドアウトセットは基本的にモデルにまだ示していない質問の束です。私としては、OpenAIのモデルが以前見たことがないベンチマークで、まだうまく推論できることを見たいと思います。
OpenAIに対して完全に弱気な立場ではないことを言っておきます。私はまだ会社が素晴らしいことをしていると思い、彼らがASI（超知性AI）に焦点を当てているという事実の点では、彼らはうまくいくと思います。それについては別の動画で説明します。しかし、質問は「OpenAIはこのモデルをリリースすることで失敗したのか」「GPT-5は期待に応えなかったのか」ということです。
皆さんの考えや理論を知りたいですが、私の正直な意見は「はい、GPT-4.5またはGPT-5は失敗だったかもしれない」ということです。しかし、このモデルが第一にベースモデルであり、第二に推論モデルではなく、第三に私たちがゆっくりと終わりに向かっている新しいパラダイムが、もちろんテスト時推論またはテスト時計算という新しいパラダイムを生み出したという場合だと思います。そこにはまだ多くの未探索の領域があります。
OpenAIはその分野を先駆け、彼らのつながりとパートナーシップによってまだリードするでしょうが、もちろん今や競争があります。中国のような他の国々が競争という点で非常に非常に厳しい立場にあります。これらの他の企業で何が起こるのかを見るのは興味深いでしょう。
いいねを忘れずに、購読を忘れないでください。また次の動画でお会いしましょう。
コメント