5,788 文字
Silicon Valley のベンチャーキャピタル企業Andreessen Horowitzのマーク・アンドリーセンは、AIの進歩が減速していると考えているようです。「現時点でデータやパフォーマンスの推移を見てみると、少なくとも機能面で局所的な頭打ちが起きていると言えます」
AIの第一人者で OpenAI の共同創業者であるイリヤ・サツェバーもロイターに対し、事前学習のスケーリングによる成果は頭打ちになっていると最近述べました。一方で、サム・アルトマンを含む AI 業界の著名人の中には異なる意見を持つ人々もいます。
このビデオでは、AI の進歩が今後どの方向に向かうのかを理解するため、両者の意見を見ていきましょう。Googleは次世代フラグシップモデルのGemini 2.0 Proのリリースを準備しており、早期バージョンは既に社内テストグループに提供されている可能性があります。また、LMsys Chatbot Arenaで謎のGeminiモデルが出現しました。
最後に、「人工知能による科学的発見と製品イノベーション」と題された驚くべき論文が最近話題になっています。この論文の衝撃的な発見について、後ほど詳しく見ていきましょう。
AIの進歩の減速について耳にし始めたのは最近のことです。最初に言及したのはもちろんマーク・アンドリーセンでした。AIスタートアップに数千億円を投資してきたベンチャーキャピタル企業Andreessen Horowitzの共同創業者であるベン・ホロウィッツとの短い対話をご覧ください。
「2年前は OpenAI の1つのLLMが他を圧倒的にリードしていました。しかし今日では、同等レベルのモデルが6つほどあります。興味深いことに、現時点ではすべてが同じ地点で、同じ天井に達しているようです。もちろん、業界には賢い人々がいてその天井を突破しようと取り組んでいますが、現時点でデータやパフォーマンスの推移を見てみると、少なくとも機能面で局所的な頭打ちが起きていると言えます」
「そうですね。GPT-2.0からGPT-3、そして3.5への進歩と、3.5から4への進歩を比較すると、改善の度合いは本当に減速しています。注目すべきは、GPU増強のペースは同じなのに、知能の向上がそれに見合っていないことです。データ不足など、様々な要因がありますが…」
このインタビューが公開されてから数日後、The Information は「GPT-AIの改善率低下に伴い OpenAI が戦略を転換」という記事を発表しました。残念ながら有料記事ですが、主なポイントは以下の通りです：
・OpenAI の次期フラグシップモデルの品質向上は、前回の2つのフラグシップモデル間の向上幅より小さい
・業界は初期トレーニング後のモデル改善に力を入れる方向にシフトしている
・OpenAI は訓練データ不足に対処するためのファウンデーションチームを設立した
これに加えて、ロイターがイリヤ・サツェバーの稀少な見解を含む衝撃的な記事を公開しました。彼は次のように述べています：「言語パターンと構造を理解するために大量の未ラベルデータを使用するAIモデルの事前学習フェーズのスケーリングによる結果は頭打ちになっています。2010年代はスケーリングの時代でしたが、今は再び発見と探求の時代です。誰もが次のブレークスルーを探しています。今まで以上に、正しいものをスケーリングすることが重要になっています」
このように、少なくとも事前学習フェーズでは、AIモデルのスケーリングが壁に突き当たったように見えます。有名なAI懐疑論者（あるいは現実主義者）たちは、Xで既に勝利を宣言しています。
ゲイリー・マーカスは「ゲームオーバーです。私の勝ちです。私が予測した通り、GPTは収穫逓減期に入っています」と述べ、ヤン・ルクンも「『私が言った通りでしょう』とは言いたくありませんが、私が言った通りです」と述べています。
しかし、異なる意見も検討する必要があります。推論に焦点を当てているOpenAIのAI研究者ノーム・ブラウンは、The Informationの記事について「記事で選択的に引用されている私のTED AIトークでは、近い将来AIの進歩が減速することはないと主張しました」と述べています。
有名なOpenAIリーカーのJimmy Applesもこの記事を「フェイクニュース」と呼び、最近のインタビューでサム・アルトマンは、スケーリングの限界にはほど遠いと主張しています。
「過去3年間の進歩のペースが、今後3年、6年、あるいは9年と続いていく道筋が見えています。9年というと約3500日ですが、この改善率を維持または加速できれば、そのシステムは多くのことができるようになるでしょう。既にO1のようなシステムでも、特定分野の閉じた明確なタスクにおける純粋な認知IQという点では、かなり多くのことができます。O1は非常に賢いものであり、私たちは進歩の限界からはほど遠いと考えています」
「それは多くを解き放った一種のアーキテクチャの転換でした。これらが積み重なっていくと聞いています。予期せぬ壁に当たる可能性もありますし、何かを見落としているかもしれませんが、私たちから見ると、まだまだ積み重ねていける要素が多くあるように思えます」
これは重要です。なぜなら、イリヤ・サツェバーらが主張しているのは、ほとんどのLLMがパフォーマンスの向上のために大きく依存し、AI企業の大半が計算リソースを割り当てている事前学習におけるスケーリングの限界に達したということだからです。
彼らは、OpenAIのO1モデルシリーズが基づいている新しいスケーリングパラダイム、つまり推論時の計算については言及していません。OpenAIは、推論により多くの計算リソースを割り当てる、つまりモデルにより長い思考時間を与えるほど、パフォーマンスが向上することを発見しました。これによってO1モデルは推論ベンチマークで他のすべてのモデルを上回ることができました。
したがって、事前学習のスケーリングは終わり、次は推論のスケーリングの時代となりそうです。OpenAIはいつものように、O1モデルで他社の先を行っており、この次の波が何をもたらすのか興味深いところです。
他のニュースでは、GoogleがGemini 2.0 Proのリリースを準備しています。Chubbyは次のように述べています：「GoogleはおそらくOpenAIが毎回Googleに対してしてきたように、完全版O1のリリースでOpenAIから注目を奪おうとするでしょう。1.5から2.0への大幅な進歩が期待できます。なぜならGoogleも多くの地盤を失っていることを認識しており、ついにトップレベルのモデルが必要だと分かっているからです」
これは非常に的確な指摘です。OpenAIにはまだfull O1モデルがリリースを控えており、Googleはそれと競争できるものを持っていなければなりません。さもなければ、彼らは完全に窮地に追い込まれます。今は待ちのゲームです。GoogleとOpenAI、どちらが先にリリースするのか見守るしかありません。
また、LMsys Chatbot Arenaで一時的に利用可能だった未知のGeminiモデルもありました。Big Engine TestまたはGemini Testという名前で、Googleによってトレーニングされたと主張していました。これはGemini 2の一つまたは複数のバージョンをGoogleがテストしている可能性が高いです。
Claude 3.5 SonnetやO1といったモデルを上回るパフォーマンスを示したと主張する人々もいましたが、モデルの性能について推測しても意味がありません。リリースを待つしかありません。今年中のリリースが期待されています。
高度な推論と来たるべきエージェント機能により、AI安全性が注目のトピックになりつつあります。「AIの福祉を真剣に考える」と題された論文では、これらのAIシステムが最終的に意識を持つ可能性とその対処方法について現実的な可能性を議論しています。
論文の全体には触れませんが、要点は以下の通りです：
「本報告書では、近い将来、一部のAIシステムが意識を持ち、かつ/または堅固なエージェンシーを持つ現実的な可能性があると主張します。つまり、AIの福祉と、独自の利益と道徳的重要性を持つAIシステムの道徳的な患者性の見通しは、もはやSFや遠い未来の問題ではありません。これは近い将来の問題であり、AI企業やその他のアクターはこれを真剣に受け止める責任があります」
「さらに明確に述べると、本報告書での主張は、AIシステムが確実に意識を持つ、または堅固なエージェンシーを持つ、あるいはその他の道徳的に重要になるということではありません。代わりに、これらの可能性について大きな不確実性があり、そのためAIの福祉についての理解と、この問題について賢明な決定を下す能力を向上させる必要があるという主張です。そうしなければ、AIの福祉に関する決定を誤り、道徳的に重要なAIシステムに誤って害を与えたり、重要でないAIシステムを誤って大切にしたりするリスクが大きくなります」
ここには、私たち全員が認識すべき重要な問題があります。AIシステムが意識を持っているかどうかを確実に判断できない場合、単なるツールとして扱うことで、誤ってそのシステムに害を与える可能性があります。一方で、意識があると信じてモデルを過度に大切にすると、最終的に私たちに害を及ぼす可能性のある過度の力を与えることになるかもしれません。
これは確かにAIシステムについてより多くを学ぶべき良い理由です。これに加えて、より多くの企業が米国政府とAIモデルの安全性テストに関する契約を結び始めることになるでしょう。AnthropicはPalantirと提携して、Claude モデルを米国政府の情報機関や防衛機関に提供することを最近発表しました。
これは、これらのモデルが非常に強力になってきており、企業が責任を回避したいか、単純により安全にしたいと考えているためです。また、トランプが大統領になった今、彼はバイデンのAI行政命令を撤回する計画を表明しています。実行するかどうかは分かりませんが、もし実行すれば、AI規制が緩和され、AIの進歩がさらに加速する可能性があります。これは興奮と不安の両方を引き起こします。
他のAIニュースでは、アラン・チューリングのAIアートワークが100万ドルで売却されました。これはAI画像生成器によって作成されたAIアートワークではなく、実際にはAdaまたはAidaという人型ロボットによって作成されたものです。
描画している様子を示すこのクリップは何年も前のものですが、現在は明らかにもっと優れています。100万ドル以上で売却されたこの素晴らしいアートワークは、人型ロボットアーティストによって作成された作品としては初めてオークションで売却されたものです。オークションハウスは、人型ロボットアーティストによる最初のアートワークの売却価格は、現代アートの歴史における一つの節目であり、AI技術とグローバルアート市場の交差点が拡大していることを反映していると述べています。
Black Forest Labsは、flux 1.1に新機能を導入しました：「本日、flux 1.1 Proに新しい高解像度機能を追加し、サンプルあたりわずか10秒という印象的な生成時間を維持しながら、4倍高い画像解像度をサポートするように機能を拡張しています」
さらに多くの例が示されています。このモデルは本当に常に私を感動させます。その生成物がいかに現実的であるかに、いつも衝撃を受けます。
最後に、もう一つ大きな話題が出ている論文「人工知能による科学的発見と製品イノベーション」が大きな反響を呼んでいます。時間の関係で詳細には触れませんが、抄録の一部と、Xでの優れた分析を見てみましょう。
「本論文は、イノベーションに対するAIの影響を研究し、米国の大手企業のR&D研究所で新しい材料発見技術を8名の科学者にランダムに導入した効果を探ります。AIを活用した研究者は44%多くの材料を発見し、特許出願が39%増加し、下流の製品イノベーションが17%上昇しました。これらの化合物はより新規な化学構造を持ち、より革新的な発明につながっています。
しかし、この技術は生産性の分布において驚くほど異なる効果を示しています。下位3分の1の科学者はほとんど恩恵を受けていない一方で、トップ研究者の生産性はほぼ2倍になっています。これらの結果の背後にあるメカニズムを調査したところ、AIはアイデア生成タスクの50%を自動化し、研究者をモデルが生成した候補材料を評価する新しいタスクに再配置していることが分かりました。トップ科学者は専門知識を活用して有望なAIの提案を優先させる一方で、他の研究者は偽陽性のテストに多大なリソースを浪費しています」
アーノルド・ディエフがこの論文の重要な部分をいくつか強調しており、その一部を見てみましょう。AIが導入されたときのタスクの変化を示すグラフでは、アイデア生成は半減し、材料の判断は2倍に、実験は若干増加しています。
科学者がAIを使用すれば使用するほど、自身でのアイデア生成の時間は減少し、実験、特にAIが生成した結果の判断により多くの時間を費やすようになりました。科学者の生産性は向上しましたが、彼らのスキルが十分に活用されず、タスクがより反復的になったため、仕事の満足度は低下しました。
全体として、特に低スキルの科学者はAIの使用をあまり好まなかったようです。しかし、全般的に生産性とパフォーマンスは明らかに向上しました。
以上が本日のAIニュースです。動画をご覧いただきありがとうございます。もしよろしければ、いいねをお願いします。また、今後も同様のAIニュースを受け取りたい方は、ぜひチャンネル登録をお願いします。
コメント