KIMI K2がAI業界を揺るがした…その「秘密」とは

LLM・言語モデル
この記事は約11分で読めます。

中国発のオープンソース思考モデルKIMI K2が、人類最後の試験で最高得点を記録し、Claude 4.5 SonnetやGPT-5を上回る性能を示した。訓練コストはわずか460万ドルと、米国の巨大研究所が費やす額の一部に過ぎない。この背景には、テスト時スケーリングの活用と、米国モデルからの知識蒸留という戦略がある。中国企業が最先端に近い性能のモデルを低コストでオープンソース化することで、米国研究所の収益モデルに圧力をかけ、グローバルなAIインフラを中国モデルで構築する狙いがある。さらに、中国は西側が公表するまで自国の研究成果を秘匿する傾向があり、実際の技術水準は公開情報以上である可能性が指摘されている。AI競争はマリオカートのように、先頭が大きくリードし続けることは困難な構造となっている。

KIMI K2 just broke the AI Industry... here's it's "secret"
The latest AI News. Learn about LLMs, Gen AI and get ready for the rollout of AGI. Wes Roth covers the latest happenings...

KIMI K2の衝撃的な登場

KIMI K2という思考モデルが最近リリースされました。報告するのが数日遅れてしまいましたが、このモデルについていくつか新しいことが明らかになってきており、これは言及する価値があると思います。

皆さんはおそらく見出しをご覧になったでしょう。KIMI K2は中国発のオープンソースモデルです。人類最後の試験で最高得点、つまり最先端のスコアを獲得しました。Browse Compでも最高得点を獲得しています。これらの分野ではClaude 4.5 SonnetやGPT-5のようなモデルを上回る性能を示しており、他のすべてのスコアでも非常に良好な結果を出しています。人間の介入なしに200から300の連続したツール呼び出しを実行します。推論、エージェント検索、コーディングに優れており、256Kのコンテキストウィンドウを持っています。

これらのことは既に知られています。ここからが興味深いところです。まず注目していただきたいのは、「思考エージェントとして構築されたK2 thinkingは、テスト時スケーリング、すなわち思考トークンとツール呼び出しチャーンの両方をスケーリングする我々の最新の取り組みを示すものです」と述べている点です。

KIMI K2 thinkingは基本的にDeepSeek R1の大規模版です。いくつか顕著な違いはありますが、ここで私の注意を本当に引いたのは、彼らが実験していると言っていることです。それがテスト時スケーリングなのです。

テスト時スケーリングの革新

もちろん、このテスト時スケーリングのアイデアは、OpenAIが最初にo1モデルを発表したときに見たものです。訓練時の計算量について話すとき、これらのスケーリング則が継続することは分かっていました。つまり、モデルが準備できるまでに、どれだけのハードウェア時間とGPUを訓練に投入するかということです。

モデルを事前訓練する際、もちろん計算量が多ければ多いほど、ほぼすべてのことにおいて性能が良くなります。ここではAIMという数学の試験を使っており、特定の試験でモデルがどれだけ正確かを示しています。この概念は確かに理にかなっています。計算量が多ければ多いほど、事前訓練の計算量が多ければ多いほど、モデルは優れたものになります。

そしてo1の大きな特徴は、その推論能力でした。つまり、答える前に問題について推論できる能力です。その推論する能力がテスト時計算量と呼ばれるものでした。つまり、より多くのハードウェア、より多くのGPUを与えて、それについて考えるトークンを消費させたのです。そして長時間考えることで、より良い結果が生まれました。

ここでもう一度見ることができます。使用するトークンが多ければ多いほど、つまり考える時間が長ければ長いほど、精度が高くなります。

ちなみに、これは彼らが選び抜いた特定のタスクだけが得意というわけではありません。あまり知られていないかもしれない、あまり人気がないかもしれませんが、非常に興味深い他のベンチマークでも非常に優れています。創作文章のためのEQ Bench 3では、KIMI K2がトップに立っており、第1位を獲得しています。

文章を書く際に持つ様々な能力において、全般的に非常に非常に優れた成績を収めています。EQ Benchについて私が本当に気に入っているのは、特定のモデルが互いにどれだけ似ているかを追跡しているということです。なぜなら、どのモデルが他のどのモデルに最も似ているかを判別できるからです。

たとえば、Deepseekの初期のバージョンは、OpenAIの他のモデルと非常に似ていました。Deepseekの後期バージョンは、Google Geminiに近いものでした。

知識蒸留とモデルの系譜

これがおそらく意味するのは、これらのモデルは、それらのモデルから知識蒸留を使用しているということです。つまり、そのデータ、合成推論データを取得して、それを使って独自のモデルを作成するのです。本質的に、これが意味するのは、米国が何らかのAIシステムを構築する、つまり米国の研究所の1つ、OpenAI、Googleなどが構築するということです。

中国の研究所は、このデータ、いくつかの知識、このモデルからの結果を取得して、それをベースに訓練された前身モデルに似た別のモデルを訓練することが多いのです。たとえば、これを見ると、他のOpenAIモデルに非常に近いことが分かります。DeepSeekの最新版のような他のモデルは、Geminiにはるかに近くなるでしょう。

現実には、向こうで多くのイノベーションが起こっています。しかし、データの多く、その多くは米国の発見、米国のモデルに基づいているように見えます。そして彼らはそのモデルをオープンソース化するのです。つまり、米国の研究所はこれらのモデルを構築するために莫大なお金を費やしており、それらのモデルで何らかのROI、つまり投資収益を得ることを期待しています。

中国の研究所は、この場合多くの点でさらに優れた、似たようなものをはるかに安価にオープンソース化します。どれくらい安いのか、見てみましょう。

驚異的な低コスト開発

CNBCによると、「アリババが支援するMoonshotが、中国のAI競争が激化する中、4ヶ月で2回目のAIアップデートをリリース」とあります。ここで彼らが言っているのは、新しいKIMI AIモデルの訓練コストはわずか460万ドルだということです。

ここで理解することが重要なのは、これらの数字が信頼できるとしても、それはどんな研究所でもこの品質のモデルをわずか460万ドルで作れるという意味ではないということです。それ以外にも多くのコストがかかります。その前に、研究所を持っている必要があります。すでにいくつかのインフラを整備している必要がありますが、その特定のモデルを訓練するコストは500万ドル弱なのです。

では、これは何を意味するのでしょうか。現在の最先端が、非常に重要なテストで30%だとしましょう。それが最高中の最高です。あるAI研究所が多くのイノベーションを生み出し、それを40%まで引き上げます。これは大きな飛躍です。それには多額のお金、イノベーション、データなどがかかります。大量のGPU、インフラなどです。

そして30%あたりで停滞していた他のいくつかの研究所があるとしましょう。彼らが追いつくのは安価です。追いつくのに多くのお金はかかりません。つまり、誰かが1つのレベルに到達すると、追随者にとって、追いつくのはより簡単で、より安価で、より速いのです。

そしてこれが、すべてのAI研究所で見られてきたことであり、DeepSeekが多額のお金をかけずに迅速に追いつき、最高の最先端モデルの安価なバージョン、オープンソースバージョンをそこに出すことができたということです。

KIMI K2がここで行ったのは、まさにそれに少しひねりを加えたものです。このモデルを使用している誰もが言っていること、そして私も気づいたことの1つは、思考のために多くのトークンを生成するということです。言い換えれば、それはテスト時計算量です。比較的小さなユースケースであっても、多くのトークンを消費するのです。

つまり、ここではないということです。この線を自分で登っていくようなものです。より良い答えを提供するために、より多くのトークンとより多くの計算量を使用します。

このCNBCの記事によると、DeepSeekもV3モデルに560万ドルを費やしたと主張しており、これはOpenAIが費やした数十億ドルとは対照的です。つまり、これはナンセンスです。これは真実ではありません。彼らがこんなことを書くなんて信じられません。ここでは、DeepSeekが1つのモデルにこの金額を費やしたと言っており、数十億ドルと対比させています。

OpenAIは特定のモデルに数十億ドルを費やしていません。ちなみに、これはOpenAIが将来のある年に数十億ドルを消費すると予想されているという記事です。これは、彼らが1つのモデルを訓練するのにかかった費用とは何の関係もありません。おそらくこれよりもはるかに多く、数千万ドルはかかるでしょうが、確実に数十億ドルではありません。

中国企業の戦略的意図

では、なぜ中国企業はこれをやっているのでしょうか。いくつかの理由があります。まず、米国の研究所に残るお金が少なくなります。もしあなたが街で唯一のモデルなら、好きな価格を請求できます。

複数のクローズドソースの研究所がある場合、互いに競争することになりますが、価格は高くなります。同じくらい優れていて、オープンソースで、利用可能で、非常に安価ないくつかのモデルがある場合、それは次善の選択肢を提供するようなものです。はるかに高価なものにお金を払うか、それとも安価なオープンソースモデルに切り替えるか。これは価格に下方圧力をかけます。

もちろん、西側の研究所の高価格を支払えない世界の地域で、中国のオープンソースモデルが使用されることも保証します。これにより、グローバルなAIインフラが米国ベースのものではなく、中国のモデルの上に構築されることが確実になります。

そしてもちろん、中国はハードウェア、ロボット、装飾品、物理的な商品を製造する製造上の優位性を持っており、米国は一般的にソフトウェアの優位性、つまりソフトウェア、デジタルインフラなどを構築することで優位性を持ってきました。ソフトウェア、AI、デジタル側から風を奪うことで、中国は物理的な製造側での優位性を依然として持っています。

中国の研究公表戦略

最近聞いている非常に興味深いことがもう1つあります。これは中国内部の仕組みを知っている多くの人々から来ています。まもなくチャンネルに非常に興味深い専門家とのインタビューが登場します。

しかし、これは中国の指導部がどのように機能するかについて、明らかにある種の公然の知識です。それは、多くの科学的発見が、デフォルトで秘密にされているということです。特にテクノロジー、戦争、AI、そのようなものなど、機密性の高い技術に関しては特にそうです。すべての新聞に掲載されて、誰もがそれについて自由に話せるというわけではありません。

通常、それらは外部に公表されません。つまり、内部では知られていますが、世界的なグローバルメディアでは知られていないのです。一方、米国では多くのことが公表され、拡散されます。

中国は、西側メディアが西側で発見され、新聞に掲載されたという事実について話しているのを見ると、ある時点まで研究結果を公表することが多いようです。

たとえば、米国の研究所が何らかの技術を25%改善する方法を見つけたとしましょう。それが新聞に掲載され、誰もが話題にして、「やった!」と喜んでいます。この時点で、中国側がすでに同じ研究を行っており、すでに25%以上に到達している場合、25%までは機密解除されます。そして彼らは「よし、同じことができることを示す論文を公表しよう」となります。

言い換えれば、彼らは知識を持っていることを認める意志があるのは、西側、西側メディアが「よし、我々はこれを持っていて、公表する意志がある」と示したときだけです。これは、米国と中国が互角の競争をしているレースで、米国がここまで到達する方法を見つけた場合、中国も自分たちがここにいることを示すものを公表するということを意味します。

繰り返しますが、彼らは真実の情報を公表しています。要点は、彼らがただそう言っているということではありません。要点は、彼らがはるかに先を行っていることを示すものは決して公表しないということです。なぜなら、それによって他の誰もがその技術をリバースエンジニアリングしたり、「ああ、その効果を得るためにこのような可能なアプローチがあるんだ」と気づいたりする可能性があるからです。

そして文字通り、まったく同じダイナミクスがここで展開されているのを見ています。米国の研究所が新しい高みに到達するたびに、中国は数ヶ月後に非常に早く、そのあたりにあるモデルを発表します。通常、それは少しだけ劣っていました。ここでKIMI K2では、おそらくテスト時計算量を増やしたために、少しだけ優れています。しかし、これが続くのを見続けることになるでしょう。

米国・西側での大きな勝利は、中国側での能力の同等の増加によって迎えられるでしょう。多くの場合、はるかに安価で、はるかに少ないハードウェア要件で実現されます。

AI競争の本質と今後の展望

ですから、ここには2つの大きな教訓があると思います。1つは、このAI競争で、誰も大差で勝つことはないだろうということです。誰かが先を走って、そこに留まり続けることはありそうにありません。

マリオカートをプレイしたことがある方なら、キャッチアップメカニズムというものがありました。誰かが最下位にいる場合、特定の利点やゲームベースの機能があり、追いつく可能性が高くなります。先頭にいる人は若干のペナルティを受け、後ろにいる人は若干の利点を得るので、常にある程度追いつくことができるのです。

レースを何マイルも先行してスタートするかもしれませんが、中盤、終盤には、それが急速に変わる可能性があります。つまり、AI競争はマリオカートのようなものだということです。それが第1のポイントです。

そして第2のポイントは、中国の研究所が実際に何に取り組んでいるかを知らない可能性があるということです。なぜなら、西側がすでに少なくとも同等に優れたものを公表していない限り、実際の研究を公表していない可能性があるからです。

さて、私は必ずしも彼らが何かを持っていると言っているわけではありません。ただ、必ずしも知ることができるかどうか分からないということです。

とにかく、これがKIMI K2モデルのリリースに関する私の意見です。皆さんがどう思ったか教えてください。ここまでご覧いただいた方、ありがとうございました。私の名前はウェス・ロスです。次回の動画でお会いしましょう。

コメント

タイトルとURLをコピーしました