2,615 文字
昨日のGPT-4.5の期待外れのリリースにより、AIブームの命運が風前の灯火となりました。OpenAIは史上最も高価なAIモデルを発表しましたが、このモデルはベンチマークを圧倒することも、賞を獲得することも、革新的な機能を提供することもできませんでした。唯一の実質的なセールスポイントは「バイブス」であり、より自然で人間らしい方法でチャットができるとされています。
誤解しないでください、これは良いモデルですが、AIブームを維持するほど優れてはいません。そして、私たちは技術的な特異点に向かっているのではなく、むしろ「悲しみのシグモイド関数」に向かっている可能性がますます高まっています。サム・アルトマンは新生児を病院に残して製品発表会に現れる労力すら惜しみ、代わりにインターンたちを送り込んでデモをさせました。これは狂気の沙汰です。なぜなら、私たちは「オリオン」について話しているからです。2023年、テクノロジーリーダーたちはこのようなビッグモデルのトレーニングを停止するよう請願書に署名し、アルトマン自身が政府に規制を懇願しました。そして、GPT-4.5より落胆させるのは、エプスタイン・ファイルのリリースだけです。
今日の動画では、生成的事前学習トランスフォーマー（GPT）において事前学習の限界に達したのかどうかを探ります。2025年2月28日、コードレポートをご覧いただいています。
今日もう一つのしょうもないAIビデオを作りたくはありませんでしたが、公式ビデオがこのように酷評されると、バットシグナルが発動され、ビデオを作らざるを得ません。しかし、チャンネル登録を解除する前に、興味深いPostgresビデオが近日公開されることをお知らせします。
GPT-4.5について最初に知っておくべきことは、それが非常に高価だということです。Claudeが100万トークンあたり15ドルと高価だと思っていたなら、GPT-4.5はその5倍の、100万入力トークンあたり75ドルです。いや、訂正します。出力トークンは100万あたり150ドルです。そして現在、このモデルとチャットできるのは月額200ドルのProユーザーだけです。私自身も試してみましたが、確かに「チルなバイブス」を放っているようですが、問題はそれが非常に主観的だということです。しかし、発表ではOpenAIは創造的思考を測定するための新しい「バイブス・ベンチマーク」について言及しました。
モデルを評価する最良の方法は実際に話してみることなので、デモを見てみましょう。インターネット上の多くの人々がこのプレゼンテーションを批判していますが、内向的な私としては、彼らは素晴らしい仕事をしたと思います。さらに、このモデルははるかに低い幻覚率を持つと言われていますが、私が発見したのは、まだ多くの愚かな間違いを犯すということです。自己認識がなく、GPT-4.5が何であるかも分からず、トレーニングのカットオフは2023年10月だと言っています。
しかし、「Strawberry」に「r」が何個あるかを教えてくれたのは大きな進歩と感じましたが、「Laap Paloa」に「l」が何個あるかについて間違った数を答えたときにすぐに失望しました。プログラミングや科学に関しては、すでにO3のような深い思考モデルほど性能が出ないことが分かっているので、試すこともしませんでした。さらに悪いことに、AERポリグロットコーディングベンチマークでは、DeepSeekよりもプログラミングが劣っているだけでなく、何百倍も高価です。
イーロン・マスクのアンチであれば、今すぐコーピウム（慰めの薬）を一服したくなるでしょう。なぜなら現在、xAIのGrokが世界最高のモデルだからです。これは私の意見ではなく、ベッティング市場の意見です。ただし、2025年末までにはOpenAIが最高のモデルを持つ可能性が高いとされていますが、その確率は低下中です。これはOpenAIにとって問題です。なぜなら、営利企業への移行に伴い何十億ドルもの資金を調達しており、莫大な評価額を維持する必要があるからです。
アルトマンは「壁はない」と述べ、これらのモデルをほぼ無限にスケールアップできると信じています。それは、ソフトバンクやサウジアラビアから何兆ドルもの資金を得て、これらのデータセンターを構築することが前提です。無資格なシットポスターとしての私の理論は、パラメータ数と計算リソースをスケールアップしたにもかかわらず、大幅な改善を持つGPT-5のトレーニングに失敗したということです。
GPT-4.5は彼らが今まで作った中で最大のモデルであり、今やGPT-5のハードルを下げています。アルトマンは数週間前にGPT-5について、プロンプトに基づいて最適なモデルを自動選択するルーターのようなものになると説明しました。これは非常に残念です。私は今頃、燃えるゴミ箱の上でラットをバーベキューしながら、戦うロボットと戦う終末的な軍閥指導者になっていると期待していたからです。しかし代わりに、人工超知能が決して訪れず、何も起こらないディストピアに住んでいます。
しかし、コンピュータサイエンスの学生にとって、この停滞は素晴らしいニュースです。AIコーディングツールは素晴らしいですが、それらは何をしているのか分かっている実際の人間のプログラマーにとって最も有用であり、この状況がすぐに変わるとは思えません。
このビデオスポンサーのbrilliantのおかげで、無料でプログラミングの習得を始めることができます。彼らのプラットフォームは、ディープラーニングの複雑さを解明するインタラクティブなハンズオンレッスンを提供しています。毎日数分の努力だけで、この一見魔法のようなテクノロジーの背後にある数学とコンピュータサイエンスを理解することができます。
Pythonから始めて、次に「大規模言語モデルの仕組み」の完全なコースをチェックすることをお勧めします。Chat GPTの内部を詳しく見たい場合は、brilliant.org/fireshipにアクセスするか、画面上のQRコードを使用して、brilliantが提供するすべてのものを30日間無料でお試しください。
これがコードレポートでした。ご視聴ありがとうございます。次回もお会いしましょう。
コメント