3,447 文字
GPT-4.5がついに登場し、OpenAIの最大かつ最も人間らしいモデルとなりました。これは本当に教師なし学習をスケールアップする次のステップです。世界や人間の経験についてより深い理解を持っています。4.5は自然な会話、創造的なタスク、複雑な計画立案に優れており、以前のモデルよりもはるかに幻覚が少なくなっています。しかし、反応はやや控えめなものでした。というのも、GPT-4oと比較した際の顕著な改善は、比較的言えば漸進的なものだからです。とはいえ、このローンチは重要なマイルストーンであり、次世代モデルの基盤となる可能性があります。
では、4.5の特徴と、それがAIの未来について何を示しているのかを解読していきましょう。
GPT-4が2023年初頭にリリースされた後、次に何が来るのかという期待が高まり始めました。しかし、何ヶ月も過ぎ去り、広く期待されていたGPT-5は現れませんでした。2024年を通じて、「Strawberry」や「Orion」という謎の内部プロジェクトに関する噂がインターネット上を飛び交い、テック界全体で膨大な憶測を呼び起こしました。そして最終的に12月、OpenAIはこれらの新しいモデルの最初のものを公開しました。
O1は、複雑な問題を段階的に系統立てて考える、つまり推論する能力を持つモデルで、数学、コーディング、論理的タスクにおいてGPT-4を明らかに凌駕していました。その後、期待は別の噂のOpenAIプロジェクト「Orion」にシフトし、一部の人々はこれがGPT-5ではないかと推測していました。しかし最近、Sam Altmanは「Orion」は実際にはGPT-4.5としてリリースされると確認しました。
そして今、ついに登場しました。4.5はOpenAIの中で圧倒的に最大のモデルで、GPT-4の10倍以上のサイズである可能性があります。そして事前訓練と事後訓練のスケールアップにおける一歩前進を表しています。最終的な結果は、ユーザーが今日対話できるモデルです。しかし、もしこれが最前線の推論モデルでないなら、GPT-4.5は実際には何のためのものなのでしょうか？
OpenAIの研究者によれば、4.5は感情知能で際立っているとのことです。「もっと深い会話ができるようになりました。おそらく、もっと好奇心をそそる事実について。その多くは、O1やO3でさえ本当に知らないものかもしれません。また、人間が望むことをはるかによく理解していると思います。あなたが何かを頼んだときに、本当にあなたの意図を理解するのです。これが、OpenAIの人々や私自身がモデルで作業する際の魔法のような体験でした。」
GPT-4.5は、単一関係の事実関連質問にモデルがどれだけ効果的に答えられるかを評価するSimple QAなどのベンチマークで約61.9%の精度を達成しています。これはGPT-4oの38.4%と比較されます。また、幻覚率も劇的に削減されており、GPT-4oの61.2%から約37%まで下がっています。実際には、これはGPT-4.5がGPT-4oよりも一般的な問い合わせに対してより信頼できることを意味します。
創造的な側面では、GPT-4.5は本当に輝いているようです。メールの下書き、想像力豊かな物語の生成、ジョークを言う、新しいアイデアのブレインストーミングなど、GPT-4.5はGPT-4oよりも明らかに人間らしい文章を生成します。モデルの説得力を評価する2つのベンチマーク「Make Me Pay」と「Make Me Say」では、4.5はGPT-4oやO1などのモデルを簡単に上回ります。
Twitterやその他のソーシャルメディアでの初期の先行テスターたちも、4.5は実際にかなり面白く、他のモデルが理解できないような方法で皮肉を理解しているようだと指摘しています。一般公開前の4.5の独自テストでは、このモデルがこうした柔らかく主観的なタスクにおいて、他のモデルよりもはるかに優れていることがわかりました。
O1やO3のような硬いメトリクスでより測定されるモデルとは異なり、研究者たちはGPT-4.5の出力を測定する際に、部分的に「バイブステスト」に依存していました。「私たちの主要な評価方法の一つは、モデルを試して、『これはGPT-4より良いか、どこが良くて、どこが悪いか』というフィードバックをくれる人間と協力することです。そしてそれは私たちが適応できるもので、これらのトレーナーと呼ばれる人々と協力して、何かが良いとはどういう意味かについて意見を合わせ、そのフィードバックを使って改善していきます。」
もちろん、問題は、文章の質、感情知能、モデルの感触といった主観的な領域の具体的な評価を考え出すのは非常に難しいということです。「良い文章とは何でしょうか？あなたにとっての良い文章、私にとっての良い文章、それは本当に文脈によって異なると思います。それは対象となる読者にも依存します。私たちは確かにこれらのことを評価で捉えようとしていますが、それははるかに主観的なものです。だからこそ、私たちはそれを公開して、人々に試してみてもらい、私たちが経験しているのと同じ経験をしているかどうかを教えてもらいたいのです。」
しかし、GPT-4.5には限界もあります。一つには、現時点では他のどのOpenAIモデルよりもはるかに高価です。入力トークンあたり、4.5はGPT-4oの30倍高価で、出力トークンあたりでは15倍高いです。このような高いコストは、GPT-4.5が大規模にモデルを展開しようとする人々にとって、まだ適切なオプションではない可能性が高いことを意味します。
能力の面では、予想通り、O1のような専門的な推論重視モデルと比較すると、GPT-4.5は複雑なSTEM課題、高度な数学問題、難しいコーディングチャレンジなどの構造化された推論領域で顕著に劣ります。
より大きな視点では、GPT-4.5は、教師なし学習のスケーリングが、精度、感情知能、創造性において価値ある改善をもたらし続けていることを示しています。たとえこれらの利益が、以前に見られたものよりもより漸進的になっているとしても。事前訓練のスケーリングの時代は完全に終わっていないかもしれませんが、現在は推論がコンピュートをスケーリングすることから得られる利益を絞り出すための最も大きな可能性を提供しているように見えます。つまり、訓練よりも推論時により多く投資するということです。
将来を見据えて、Sam Altmanは、GPT-4.5のような教師なし事前訓練モデルとO3のような専門的な推論重視モデルという2つのパラダイムが、GPT-5で見られるかもしれない統一されたアーキテクチャに収束すると示唆しています。「私たちは、推論が将来のモデルの核となる能力になると考えていますが、これら2つのパラダイムは互いに排他的ではなく、実際には互いを非常によく補完しています。ですから、GPT-4.5の知識と直感を持ちながら、推論と組み合わせたモデルが本当に強力なモデルになるということは想像できます。」
GPT-4.5はその未来への重要な橋渡しです。モデルはすぐに、広範な世界知識、創造的な流暢さ、感情的なニュアンス、そして高度な推論をすべて1つのモデルに融合させることができるでしょう。その影響は信じられないほど興奮させるものです。広範な理解と強力な推論の間で選択する時代はすぐに終わるかもしれません。GPT-4.5は、両方のパラダイムの最良の部分を組み合わせたAIシステムという未来への一瞥を提供しています。
皆さんにお知らせがあります。YCは初めてのAIスタートアップスクールを6月16日と17日にサンフランシスコで開催します。Elon Musk、Satya Nadella、Sam Altman、Andrej Karpathy、Andrew Ng、Fei-Fei Liなど、確認済みの講師はほんの一部です。世界のトップAI専門家や創業者が、未来の構築方法を教えてくれます。これはコンピュータサイエンスの大学院生、学部生、AIおよびAI研究の新卒者のための無料のカンファレンスで、サンフランシスコへの旅費まで負担します。しかし、申し込みが必要で、スペースは限られています。申し込みへのリンクは説明欄にあります。
コメント