MetaがLLAMA 5のコードネーム「Avocado」で開発中の新AIモデルに関する内部情報が明らかになった。Meta超知能研究所が開発したこのモデルは、事前学習段階でありながら既存のオープンソース基盤モデルを上回る性能を示し、ポストトレーニング済みの主要モデルと知識、視覚認識、多言語性能で競合できるレベルに達している。過去のLLAMA 4の失敗とベンチマーク改ざん問題を経て組織を刷新したMetaは、10倍の計算効率向上を達成し、AI開発における新たな転換点を迎えようとしている。マーク・ザッカーバーグは年内に継続的なモデルリリースでフロンティアを押し進める計画を表明しており、xAIの高速リリース戦略を参考にしながら、700億ドル超のAIインフラ投資と一流人材の獲得により、AI競争における主導的地位の奪還を目指している。
Metaの新AIモデル「Avocado」の全貌
Metaが新しいAIモデルに取り組んでいます。詳細情報を入手しましたので、これについてお話ししていきましょう。
まず、こちらの記事ですが、Meta Platformsが新たに設立したAIグループから登場する予定の最初の主要AIモデルについて、ますます強気な姿勢を示しているという内容です。私自身も少し強気になってきています。記事を読み進めていけば、その理由がお分かりいただけるでしょう。
記事では、新たに設立されたMeta超知能研究所というグループ内で、Avocadoというコードネームの新モデルが開発されているという事実について触れています。そして、どうやらこれはThe Informationが閲覧した内部メモによると、これまでMetaが開発した中で最も能力の高い事前学習済み基盤モデルとのことです。The InformationはAI分野において非常に評判の良い情報源ですから、彼らが真実を伝えていることに全幅の信頼が置けます。
事前学習完了の重要性
さて、1月20日付のこのメモでは、同社がAvocadoの事前学習を完了したと述べられています。これはAIモデル開発における初期段階で、膨大な量のデータにさらされた後、一般的な知識、パターン、関係性を学習するフェーズです。
つまり、ここで言っているのは、これは大規模言語モデルを構築する際の主要なチェックポイントの一つに過ぎないということです。そして今のところ、非常に良好な結果が出ています。
最も驚くべきことは何かご存知ですか。Meta超知能研究所のプロダクトマネージャーであるMegan Fuが投稿したこのメモによると、Avocadoは最高のオープンソース基盤モデルを上回る性能を示したというのです。
基盤モデルとは何かと疑問に思う方もいるかもしれませんが、これらはポストトレーニングという最終段階で洗練される前の事前学習済みLLMのことです。しかし、このチェックポイントで一部の最高のオープンソース基盤モデルを上回る性能を示しているというのは、依然として非常に良好なチェックポイントだと思います。多くの人はこれがどれほど難しいことなのか理解していませんが、数多くの革新的な進歩があり、文字通り毎日新しい研究が発表されているということを覚えておく必要があります。
ポストトレーニング前でも競合する驚異的性能
さあ、これを見てください。ここから少し状況がおかしくなってきて、Metaがトップの座を獲得しようとしているように見えるかもしれません。
これを深く掘り下げていくと、Avocadoがまだポストトレーニングを受けていないにもかかわらず、メモによれば、知識、視覚認識、多言語性能において主要なポストトレーニング済みモデルと競合できるレベルにあるという事実について語られています。
これがなぜこれほど信じられないことなのか、お分かりですか。それは、洗練されたバージョンだけでなく、コアモデル自体がすでに強力だということを意味しているからです。AIモデルがどのように訓練されるかを理解するには、まずモデルは事前学習を経ることを理解する必要があります。これは、インターネット、書籍、画像、コードなどのデータセットからパターンを学習する段階です。
そして次に、ポストトレーニングがあります。これは、人間のフィードバックなどの技術を使用してモデルを洗練させる段階で、より安全で、より信頼性が高く、人間の指示に従うのが上手になります。今日私たちが使用しているほとんどのAI製品は、このポストトレーニングという第2段階の後でのみ良好な性能を発揮します。
驚くべきことに、Avocadoはポストトレーニングなしでも非常に良好なパフォーマンスを発揮しているのです。これは本当に驚異的です。そして歴史的に、最も大きな改善はポストトレーニングから来ているため、Metaの新AIモデルの生の知能が予想よりも速く追いついている可能性があることを示唆しています。
Metaの研究パイプラインの強さ
驚くべきことに、これは実際にMetaのAI研究パイプラインがほとんどの人が想定しているよりもはるかに強力である可能性が高いことを意味しています。
そしてこれが重要な理由は、Metaがバックエンドで何をしているかに注目していれば分かりますが、彼らは膨大な計算能力、膨大なデータ、そして膨大なオープンモデルの配布力を持っているからです。そしてもちろん、彼らは最大のソーシャルメディアプラットフォームのリーダーでもあります。
さて、ここで重要なことがあります。AIモデルについて議論する際には、常に合理的にバランスの取れた方法で議論しなければなりません。なぜなら、もちろんAI業界は誇大宣伝の影響を受けやすいことが分かっているからです。
しかし、もちろんここで起こっている一つの大きなことがあり、ほとんどの人が忘れているかもしれません。Metaには少し厳しい歴史があるのです。
記事にはこう書かれています。AvocadoがMetaが保有するAIモデルに対する楽観的な内部見解が精査に耐えるかどうかを判断する方法はなく、Avocadoが公開されるまでは分からない、と。それでも、過去1年間の以前の苦闘を考えると、社内であってもその進歩を過大に宣伝することは会社にとってリスクが高いだろう、とのことです。
LLAMA 4の失敗から学ぶ教訓
そしてこれは信じられないほど真実です。私はこのAI分野に3年以上いる者として、Metaの浮き沈み、そして願わくば再び浮上することを目の当たりにしてきたのは信じられないことでした。
私が何について話しているのか知らない方のために、非常に簡単な歴史のレッスンをさせてください。Metaは基本的にベンチマーク結果を不正に操作していました。
そして2025年、LLAMA 4は完全な大失敗でした。あまりにもひどかったので、辞任せざるを得なくなった人さえいました。そして文字通り、人々がLLAMA 4の論文から自分の名前を削除していた状況にまで至りました。評判があまりにも悪いので、自分の名前をそこに載せることすらしたくない、それはあまりにもひどい、という理由でです。
ここに記事がありますが、Meta幹部がLLAMA 4のベンチマークを人為的に引き上げたことを否定している、とあります。これは絶対的なPR災害でした。つまり、文字通りどれほどひどかったかを示すために、今すぐ記事を持ってこなければならないほどでした。
今ご覧いただいているのは、今年リリースされた記事のほんの一部です。本質的には、Metaが実際にベンチマークを変更したという事実について語られています。
これまで主要なAIテクノロジー企業からこのようなことを見たことはありませんでした。そしてMetaは文字通りベンチマークを改ざんして、LLAMA 4が実際よりも優れているように見せかけていたのです。そしてこれはYann LeCunによって語られていました。彼はMetaで働いている人物です。そして彼は「正直に言うと、あの結果は少し改ざんされていた」と言っていました。
これが明るみに出たとき、これは完全なPR災害でした。多くの人々がすでにMetaの結果に疑問を抱いていました。そして今、実際に何が起こったのかの確証を得ています。あまりにもひどかったので、マーク・ザッカーバーグがこれに関与していた全員、文字通り全員への信頼を失ったのが分かります。そして彼は基本的に、超知能研究所を立ち上げるために、Gen AI組織全体を脇に追いやりました。
組織の刷新と再スタート
これだけの変化は、小さなことではなかったことを理解する必要があります。それは本当に信じられないほどの失敗でした。そしてこれはかなり驚くべきことだと理解する必要があります。Yann LeCunは文字通り「多くの人々が去り、まだ去っていない多くの人々も去るだろう」と言いました。つまり、実質的に新しいチーム全体で再構築されているのです。
ですから、LLAMA 5でも、Avocadoでも、何と呼びたいにせよ、おそらく良いモデルになると思います。なぜなら、Metaは再び面目を保つことができないからです。もしMetaが再びPR災害を起こしたら、AI分野の競争の激しさとモデルが改善される速度を考えると、どうやってそこから回復するのか分かりません。
さて、非常に興味深いのは、彼らが10倍の計算効率について話していることです。そして、Metaはこれらのコストをコントロールするのに役立つ進歩にも取り組んでいると述べています。12月中旬の別のメモで、Metaは、テキスト関連タスクにおいてAvocadoでMaverickと比較して10倍の計算効率の向上を確認していると述べました。そして、Metaが昨年延期したLLAMA 4のバージョンであるBehemothと比較すると100倍以上の効率向上を実現しているとのことです。これは決してリリースされませんでした。
Behemothをリリースしなかったのは、おそらくかなりひどいものだったからだと思います。しかし、ここで理解していただきたいのは、1年間で計算効率が著しく向上しているということです。彼らがこれらのLLAMA 4モデルをリリースしたのは、文字通り1年以上前のことでした。そしてAIの進歩の速度を考えると、それ以来多くのことが起こっています。ですから、Metaが大幅に優れたAIをリリースすることはそれほど難しくないと思います。
効率性と独自の研究手法
Metaは、より高品質なデータを入手し、決定論的トレーニングを通じてモデルインフラに投資することでこれを実現できたと述べています。決定論的トレーニングとは、同じ方法で訓練されたときにモデルが一貫した結果を生成することを保証する方法です。彼らは基本的に、AI開発におけるエネルギー使用とコストを削減できると言っています。これは、競合他社に追いつくために使用しようとしている重要な要素です。
全体として、Metaは現在存在するものよりもはるかに効率的な方法を模索しようとしています。そして、Metaが独自の技術を開拓している可能性は非常に高いです。多くの人は、これらの研究組織、OpenAI、Google、Anthropicなどが、しばしば独自の研究方法を開拓していることに気づいていません。
しかし問題は、これらの研究方法は非公開だということです。ですから、これらの特定のモデルを進歩させるために彼らがドアの向こうで何をしているのか、私たちには分かりません。おそらくこれが、Anthropicがコーディングにおいて非常に優れたモデルである理由の一つですが、他のモデルに関しては、同じパフォーマンスを本当に持っていないのです。なぜなら、個々の会社にはそれぞれ独自の特定のトレーニングデータセット、モデルをトレーニングする方法があり、そのため、それぞれが独自の特定の利点を持っているからです。
Metaの場合、すべてのソーシャルメディア製品から超高品質なデータにアクセスできることが利点かもしれません。そしてそのおかげで、思っているよりも早く競合他社に追いつくことができるかもしれません。
先月、Metaの最高技術責任者Andrew Bosworthが、ダボスの世界経済フォーラムでの記者会見中に同様の成果について言及し、MetaのAIモデルは非常に優れていると述べているのが分かります。
ですから、LLAMA 5が素晴らしいモデルになる可能性は非常に高いです。そしてマーク・ザッカーバーグは文字通りこう述べています。最初のモデルは良いものになると期待していますが、より重要なのは、私たちが歩んでいる急速な軌道を示すものになるということです。そして、新しいモデルをリリースし続ける中で、年間を通じて着実にフロンティアを押し進めることを期待しています、と。
オープンソースAI競争の激化
これはおそらく、LLAMA 4のひどいリリースの後、立ち直るという点で、Metaにとって全く新しいパラダイムを示すことになるでしょう。彼らはこれまで見たことのない革新的な方法でフロンティアを押し進める可能性が非常に高いです。大幅な効率向上は、これらのモデルが同じ知能レベルでおそらくより速く動作することを意味します。
そしてこれは、オープンソース業界を完全に揺さぶることになるでしょう。ここで何が起こっているかに注目していない方のために言うと、これは厳しい競争です。最近、Qwen 2.5がリリースされ、非常に優れた性能を発揮していると言っておきましょう。また、GLM-4-9Bもあり、これも非常に優れたモデルです。そしてDeepSeek-V3もまた非常に優れたモデルです。
ここで私が言いたいのは、オープンソースAIは毎日急速に良くなり続けており、減速の兆しは全くないということです。まるで2〜3週間ごとに、前のモデルを上回る新しいオープンソースモデルが登場するかのようです。ですから、もしMetaがこのゲームに戻ってくるなら、市場シェア、そしてもちろんマインドシェアを失わないように、参入してアクセルを踏み続けなければなりません。
さて、このチャンネルをご覧の方には申し上げておきたいのですが、これはバブルです。ほとんどの人はこれらのモデルが何であるか全く知りません。ですから、あなたはおそらくすでに人々より先を行っています。なぜなら、最近の統計を調べたところ、ほとんどの人はChatGPTを使っているだけだということが分かったからです。そして、GeminiやClaudeが存在することを知っているのは、わずか10〜15%の人だけだと思います。
ですから、Metaのモデルはおそらく社内のAI製品に使用されると思います。しかし、ここで私が言いたいのは、もし彼らが本当にフロンティアを押し進めようとしているなら、そしてそれはマーク・ザッカーバーグが言ったことですが、革新的な技術を発明しないならば、それを行うのは困難になるということです。
xAIから学ぶスピードの重要性
さて、本当の質問は、Metaは実際にここから復活できるのか、ということです。私は復活できると思います。それはxAIのおかげです。
xAIが何か知らない方のために説明すると、これはイーロンの会社で、彼は基本的に、今のAIゲームではスピードがすべてであることを証明しました。完璧なモデルをリリースする必要はありません。モデルを速くリリースし、そこから学び、そして出荷し続ける必要があるのです。
彼らがGrok 1で何をしたか見てください。2023年後半に登場しました。2024年中頃にGrok 2、2025年初頭にGrok 3、そして7月までにGrok 4。そして11月にGrok 4.1。2年未満で4つの主要バージョンです。そしてすべてのバージョンが前のバージョンよりも優れていました。Grok 4.1は文字通り、AIリーダーボードでランク33位から1位になりました。これは驚異的でした。
そして彼らはそこで止まりませんでした。特化したコーディングモデル、音声エージェントもリリースしました。彼らは出荷し続けただけです。
これをMetaと比較すると、Metaは何もリリースしていません。しかし考えてみてください。Metaは復活できます。Metaの広告ビジネスは莫大な現金を生み出しています。それは700億ドル以上で、AIインフラストラクチャに費やされています。Google以外には、この種の予算を持っている企業はありません。
第二に、彼らはAIチームを完全に再構築しました。彼らは新しい最高AI責任者として、Scale AIのCEOを招聘するために140億ドルを支払いました。GitHubの元CEOを雇いました。ChatGPTの共同創設者の一人を招き入れました。彼らはオールスターの名簿を構築しています。
そして第三に、彼らはすでに次の新しいものを構築しています。そして、皆さんのほとんどが気づいていないかもしれない大きなプロットツイストがここにあります。Avocadoはオープンソースではないかもしれないのです。
Metaは今回、完全にクローズドソースにすることを実際に決定するかもしれません。これは大きな転換ですが、DeepSeekのような企業に自分たちの成果を渡してコピーさせることなく、実際に競争できることを意味します。
ですから、ここでの結論は、Metaの過ちはLLAMA 4が悪かったということではなかったということです。彼らの過ちは、それを出荷するのに時間がかかりすぎたこと、期待値が高くなりすぎたこと、そしてそのギャップを埋めるために結果を偽装しようとして捕まったことでした。
もし彼らがxAIから学び、より速く出荷を始め、公開的に反復し、お金があり、時間があり、今では人材があり、もちろんインフラストラクチャがあるなら、Metaはおそらく、AIにおいて支配的な力になるでしょう。
コメント