15,986 文字
将来のドキュメンタリーへの先行アクセスと30以上の独占広告なし動画については、説明欄にあるPatreonリンクをチェックしてください。
DeepSeekは起こるはずのないものでした。台詞はよく練習されていました。西側のAIは着実にリードを広げていました。言語モデルは知能が高まるにつれてますます高価になり、研究は競争上の秘密のベールの奥へと撤退していました。
しかし2025年1月20日、これらの台詞を読んでいた人々は口ごもり始めました。考える前に目に見えて考えているように見えるモデルがリリースされていたのです。DeepSeek R1。それは信じられないほど安価で、西側が提供する最高のものと競合し、オープンで、誰でもダウンロードできるようになっていました。
OpenAIでさえそれを認めており、3月にDeepSeekは「我々のリードは広くなく、狭まりつつある」ことを示していると主張しています。OpenAIはさらにDeepSeek R1のようなモデルの禁止を望んでいます。なぜなら彼らは「DeepSeekは中国共産党によって、モデルを操作して害を与えるよう強制される可能性がある。そしてDeepSeekは同時に国家からの補助を受け、国家によって管理され、自由に利用可能であるため、ユーザーのプライバシーとセキュリティを犠牲にする」と言うからです。
さて、4月初めにGoogleのGemini 2.5と新しいChatGPTの画像生成機能が見出しを奪い返しましたが、DeepSeekは4月後半または5月に予定されているDeepSeek R2によって、さらに別のショックをシステムにもたらす準備をしています。
しかし実を言えば、多くの方々はすでにこれら全てを知っているでしょう。しかし皆さんが知らないかもしれないのは、DeepSeekの裏にいる秘密めいた創設者、億万長者の梁文峰の目標と信念です。友人に送ったテキストメッセージによれば、彼は今や自分の故郷でさえ熱狂的なファンの群衆から身を隠さなければならず、さらなる注目を避けるために家族とともに出身省から逃れたとのことです。
また、梁が最初に成功したAI事業や、その後の悩み、そして大ヒットしたDeepSeek R1の背後にある技術革新の美しさについても、知らない方も多いでしょう。あるいは、OpenAIやAnthropicのような西側の研究所がR1リリース後の数日間や数週間でどのように独自の物語で反撃したかも。実際、DeepSeek社とその意味について、多くの人々が知らないことがたくさんあります。
真実は、DeepSeekは互いに矛盾するナラティブの網に捕らわれたクジラのようなものです。では、ナラティブの背後にある真実とその真実が未来について何を語っているのかに、できるだけ近づいてみましょう。もし梁文峰が正しく、汎用人工知能が「10年、5年、あるいは2年後に来る」ならば、この物語は一人の男性、一つの研究所、あるいは一つの国家をはるかに超えたものになります。
ここで、40歳と思われる梁の事業パートナーの一人が彼について語ったことを紹介します。「初めて会ったとき、彼はひどい髪型をした非常にオタクっぽい男でした。自分のAIモデルをトレーニングするために10,000チップのクラスターを構築することについて話していました。私たちは彼を真剣に受け止めませんでした」。
もちろん、ひどい髪型のAIリーダーは多くいます。では梁文峰を際立たせているものは何でしょうか？彼は常に知能を解明してそれを無料にすることに取り組んでいたわけではありません。ご想像の通り、そのようにして億万長者になるのは難しいものです。
起源を探るには、彼自身の一人称の説明に切り替えなければなりません。しかしその前に、少しだけ背景説明をさせてください。梁は崩壊しつつある世界へと大学を卒業しました。もちろん、若い方の中には2008年9月のパニック、米国のサブプライム住宅市場の砂の上に築かれた金融ピラミッドが崩壊した時のことを覚えていない方もいるでしょう。
いずれにせよ、混沌の中のパターンを理解し、次に何が起こるかを予測しようとする梁の動機を理解できるかもしれません。彼が四川省成都の小さなアパートで活動している間、彼を別の方向へ誘惑しようとした人々がいました。私ではありません。私は実際、同じ時期に成都にいて、北京語を学んでいました。違います。世界有数のドローンメーカーになるDJIの創設者が梁を引き抜こうとしましたが、うまくいきませんでした。梁にはもっと大きな野望がありました。
2010年に情報工学の修士号を取得した後、梁は2013年から2016年にかけて立て続けに企業を立ち上げ、2016年2月にはヘッジファンドHighflyierの設立で締めくくりました。彼が立ち上げた各事業体には、金融市場のマイクロ秒あるいはナノ秒単位の動きの背後にあるパターン、つまり人間だけでは検出できないパターンやパラダイムを機械学習で解明するという中核的な目標がありました。AIと呼ばれる前の人工知能と言えるでしょう。
もちろん、2023年5月の時点でも、梁は自分の目標を金融用語で表現していました。「私たちのより広範な研究は、どのようなパラダイムが金融市場全体を完全に説明できるのか、そしてそれをより単純に表現する方法があるかどうかを理解することを目指しています」。
とにかく、それは成功しました。2021年末までに94億ドルの運用資産を集め、株式市場のベンチマークよりも場合によっては20〜50パーセントポイント高いリターンを提供しました。梁は大金を稼ぎました。30代半ばで億万長者になり、世界のトップに立ちました。
Highflyierの全ての市場戦略はAIを使用していました（はい、彼らはそれをAIと呼んでいました）。そして彼らは実際に10,000個のNvidia GPUによって駆動されるスーパーコンピューターを持っていました。彼はこの時点では、1年前の2020年にOpenAIという小さなアメリカのスタートアップがGPT-3で行ったように、言語モデルをスケールアップしていたわけではありませんでした。しかし彼のAIは本当に金融市場の混沌を解決したのでしょうか？彼はそれをしたのでしょうか？いいえ。
ここで物語は面白くなり始めます。100人強のチームで構築された梁のAIシステムには、厄介な性格的な癖がありました。それは率直に言って、リスクを取りすぎていました。自分が正しいと感じると、賭けを倍増させるのです。それだけではありません。
ヘッジファンド自体であるHighflyierも傲慢になっていました。太陽に近づきすぎていたのです。ヘッジファンドとしての成功は、ご想像の通り、より多くの投資を引き付けます。ファンドのサイズを制限しなければ（そして梁はしませんでした）、やがて賢く展開するには多すぎるお金を抱えることになります。あなたの取引はコピーされます。あなたの優位性は鈍くなります。
そのため、急激な引き下げを見た後、Highflyierは公に深い罪悪感を表明し、彼らに投資できる人をさらに制限する措置を取りました。はい、気になる方のために言うと、彼らは教訓を学び、今日でもヘッジファンドとしてある程度の成功を収めています。実際、2018年から2024年初めまで、Highflyierは中国版S&Pインデックスをアウトパフォームしました（その後いくつかの躓きはありましたが）。
そして、ご存知の通り、梁はAIを諦めませんでした。彼は今や裕福になり、金融システムだけでなく一般的な知能の性質を解読することに専念する組織を持つことができました。その取り組みはDeepSeekと呼ばれ、2023年4月に研究機関として最初に設立されました。
しかし、梁の以前のAI経験から残った傷はあるでしょうか？彼らの最初の大規模言語モデルまたはチャットボットに関する論文で、DeepSeekが追加した免責事項に一つの影響が見られるかもしれません。
彼の経験から、梁はAIが気まぐれで必ずしも信頼できるパートナーではないと知っていました。そこでDeepSeekは、2023年11月にリリースされた最初のチャットボットDeepSeek V1に次の免責事項を追加しました：「私たちは汎用人工知能の安全性の重要性を深く認識しています。真に役立つ人工知能モデルを確立するための前提条件は、それが人間と一致する価値観を持ち、人類に対して友好性を示すことです」。
しかし、さらに続ける前に、西側の私たちの多くが今まで述べてきた発展にあまり注目していなかったふりをしないようにしましょう。その頃すでにOpenAIはGPT-4を十分に進めており、それはAGIの火花を示していました。GPT-4は2023年3月に公開されました。それはDeepSeekが同年7月に正式に設立されるよりもずっと前のことです。
しかし少なくとも舞台は整いました。隠遁生活を送る億万長者が、世界を理解するために人工知能を駆使するという十年半に及ぶ探求。お金を稼ぎ、今は彼の言葉で単に「好奇心に駆られている」人物。梁は言いました：「人々はDeepSeekの背後に何か隠された事業論理があると思っていますが、それは主に好奇心によって駆動されています」。
なぜDeepSeek R1は2025年初めに世界の注目を集めたのでしょうか？なぜそれは意見を分け、市場を揺るがしたのでしょうか？それは言語モデルが最終的な答えを出す前の思考プロセスを世界が見ることができたからでしょうか？それともDeepSeekモデルが非常に安価だったからでしょうか？あるいは、モデルとその背後の方法論がオープンでアクセスしやすかったからでしょうか？または、そのようなパフォーマンスの高いモデルが、西側のフロンティアから1年遅れているはずの中国から来たからでしょうか？私たちはこれらの可能性のそれぞれを調査します。
しかし、2023年夏のDeepSeekについて確実なことが一つありました。それは確かに西側のAI研究所に大きく遅れをとっていたのです。その頃までに、GPT-4だけでなく、AnthropicのClaudeの最初のバージョン、GoogleのBard、さらにはMetaのLlama 2もすでに出回っていたことをお忘れなく。
ところで、DeepSeekはLlama 2に特に注目しました。そのモデルはGPT-4ほど主要なベンチマークでスマートではなかったかもしれませんが、いわゆる「オープンウェイト」でした。つまり、ほぼ誰でもモデルをダウンロード、調整、展開できるということです。モデルは当然、そのウェイト、つまり出力を計算するために使用される調整可能な数十億の数値がなければ何の役にも立ちません。
明確にしておくと、オープンウェイトはオープンソースとは全く同じではありません。オープンソースであるためには、モデルのトレーニングに使用されたデータ（いわばソース）を見る必要がありますが、それは私たちが知らず、今でも知らないものです。
Llama 2のようないくつかのモデルがオープンウェイトであるにもかかわらず、西側AI研究所内の主要リーダーたちは、OpenAIがそうしたように、言語モデルトレーニングの背後にある方法論を秘密にする者がますますフロンティアを所有することになると言っていました。
当時OpenAIの主任科学者だったイリヤ・サツケヴァーはこう言っていました：「オープンモデルとプライベートモデルの間には常にギャップがあり、このギャップはさらに拡大しているかもしれない」。
OpenAIのCEO兼共同創設者であるサム・アルトマンはさらに踏み込みました。研究の秘密だけがモートになっているわけではありません。お金もそうです。2023年6月、インドでサム・アルトマンは、わずか1000万ドルのチームがOpenAIと競争できるかどうかという質問に答えました。彼の回答は、真に知的な言語モデルを構築するためにスタートアップが競争に参入できるかどうかについての、より広範なコメントになりました。
「これがどう機能するかというと、我々はあなたに『基盤モデルのトレーニングで我々と競争するのは完全に絶望的だ、試みるべきではない』と言うつもりです。そしてあなたの仕事は『それでも試す』ことです。私はその両方を信じています。私はそれはかなり絶望的だと思いますが…」
しかしだけでなく、その1ヶ月前の5月には、彼はもっと率直に述べていました：「ハイパースケーラーの最高のクローズドソースモデルと、オープンソースコミュニティが作る進歩があり、それは数年遅れるでしょう、何年か遅れるでしょう、多分2年くらい遅れるでしょう」。
数週間前に学んだように、梁はDeepSeekとなるものを立ち上げていました。要するに、2025年1月のDeepSeek R1への秩序だった反応を不思議に思うときに、このコンテキストを覚えておいてください。そうであるはずではなかったのです。
知性はベースモデルのスケールから来るはずでした。そのモデルのパラメータを計算するために使用される数万のNvidia GPUだけでなく、どれだけ多くのデータでトレーニングされたかで測定されます。MicrosoftやGoogleのような数兆ドル規模のハイパースケーラーの支援なしに、誰も競争できないことは理にかなっていました。梁は裕福でしたが、それほどではありません。
梁は、これらの西側の研究所のリーダーたちが彼が試みようとしていることは不可能だと考えていることを知っていたはずですが、それでも彼は試みました。また、彼は$20のサブスクリプションのような迅速な収益化の道に惑わされることもありませんでした。
梁は2023年5月に言いました：「私たちの目標は明確です。垂直ドメインやアプリケーションよりも、研究と探索に焦点を当てることです」。
そこでDeepSeekは、若く、好奇心旺盛で、そして決定的に中国人である人々に採用活動を集中しました。ちなみに、西側からの中国人帰国者でさえ優遇されませんでした。梁は付け加えました：「DeepSeekは資格よりも能力を優先します。中核的な技術職は主に最近の卒業生か、1〜2年出た人々によって占められています」。
これらの知的兵士たちは、OpenAIと競争するためのスケジュールに基づいてリリースする必要性によって妨げられることはありませんでした。それが、Googleに欠陥のあるBardを、そしてMicrosoftに滑稽なほど不器用なBingをリリースさせる結果となったのです。
「私たちの評価基準は、ほとんどの企業とはかなり異なります。私たちはKPI（主要業績評価指標）やいわゆるノルマを持っていません。私たちの経験では、イノベーションは可能な限り介入と管理を少なくし、誰もが探索するスペースと間違いを犯す自由を与えることを必要とします」。
そうは言っても、2023年11月にリリースされたDeepSeekの最初の2つのAIモデルは、その独創性において必ずしも驚くべきものではありませんでした。先ほど示唆したように、彼らのV1大規模言語モデルはMetaのLlama 2 LLMの革新に大きく依存していました。11月にリリースされたDeepSeek KodaとV1のどちらも西側メディアで波紋を呼びませんでした。その時の注目は、サム・アルトマンが誠実さの欠如でOpenAIから一時的に解雇されたことに集中していました。
しかし、Deepseekが彼らの論文の各々で明示的に主張しているように、長期主義に実際に焦点を当てていたことを示すわずかな兆候がありました。例えば、DeepSeekは彼らの独自のトレーニングデータセットから多肢選択問題を除外しました。そうすることで、彼らのモデルが公式テストで過剰に成果を上げるが実践では期待外れになるということを避けようとしたのです。
それは当時も今も、すべてのAI研究所が学んでいない教訓です。DeepSeekは次のように書いています：「ベンチマークへの過剰適合は、モデルにおける真の知性の達成には貢献しないでしょう」。
2024年初めまでに、Deepseekチームは本格的に活動していました。1月に彼らは、より少ないリソースでモデルからより多くの知性を引き出す斬新なアプローチを先駆けました。Llama 2のようなモデルが、ユーザープロンプトに応答するために、全体のウェイトセット（しばしば数百億に達する）を使用していたことを念頭に置いてください。
それは、DeepSeekに全く独創的ではない専門家混合アプローチと対照的でした。専門家混合アプローチでは、ユーザー入力に応じてそれらのウェイトの特殊なサブセットを使用し、それによってモデル内の一つまたは複数の専門家のセットまたはミックスを活用します。
しかし考えてみてください。モデルウェイトのサブセットだけが各リクエストに応答するため、モデル内の各専門家は共通の能力を持っている必要がありました。メッシがゴールキーピングの練習に週に数時間を費やすことを強制するようなものです。そう、サッカーの話をしていますよ、アメリカ人の方々。
DeepSeekは専門家混合アプローチを、その重要な欠点なしに利用できるでしょうか？おそらく私の口調から答えを推測できるでしょうが、はい。彼らの「究極の専門家特化に向けて」という論文では、次のような革新がありました。言語モデル内の特定の専門家サブネットワークは、どのような応答でも常に活性化されるだろう。それらの専門家が一般論者になれるのです。これは、メッシのような残りの専門家が本当に得意なことに集中できることを意味しました。
そして、もし先を考えているならば、これはDeepSeek R1という世界的現象を支えるベースモデルの背後にある多くの秘密の一つでもあります。
しかしDeepSeekはまだウォーミングアップしただけでした。2024年4月、彼らはDeepSeek Mathをリリースしました。小さなモデルでしたが、少なくとも数学においてはGPT-4という巨人のモデルと同等のパフォーマンスを示しました。
では、DeepSeek Mathの秘密は何だったのでしょうか？モデルの成功の背後にある秘密の一つは、地味に名付けられた「グループ相対ポリシー最適化」でした。これは後に、ご想像の通り、有名なDeepSeek R1に組み込まれたトレーニング方法です。
このような訓練革新についての要点は次の通りです。すべての言語モデルは、事前訓練で学ぶ次の単語を予測するだけでなく、もっと多くのことをする必要があります。彼らは事後訓練で、最も確率の高い単語から人間が判断する最も役立つ単語のセットへ、そして最終的には数学的推論やコーディングステップのための最も正確な単語へと移行する必要があります。
このように考えてください。次のツイートを予測することだけをトレーニングしていたら、Twitterよりスマートにはなれません。これには、これらの望ましい出力を生成するモデルのウェイトの慎重な強化が必要です。はい、これは2024年半ばまでには周知のことでした。
しかし、GRPOというDeepSeekの新しい強化学習のフレーバーの背後にある魔法は何だったのでしょうか？DeepSeekは巨人AIと戦うために効率が必要でした。当時の一般的な強化学習アプローチでは、生成中の回答を評価し、どれが成功に向かっているかを予測するために、ごつごつした批評モデルを使用していました。
DeepSeekはこのメモリを多く消費する批評家を削除し、代わりに答えのグループを並行して生成し、最終出力のYes/No精度をチェックし、そして答えのグループの平均精度を上回るまたは下回る各答えの相対スコアを使用して、モデル内の成功したウェイトを強化し、他のものを弱めました。答えのグループ、相対スコア、最も成功したウェイトの強化。グループ相対ポリシー最適化です。
一歩引いて考えると、これらの革新のそれぞれは、ChatGPT、Claude、Geminiの背後にある資源の巨人たちにDeepSeekが追いつくために必死に不可欠でした。
2024年5月までに、梁の研究所はさらに別の効率の奇跡であるマルチヘッド潜在アテンションを備えたDeepSeek V2を出荷しました。これについて深く掘り下げることはありませんが、DeepSeekがどのようにして同様のパフォーマンスレベルに達するためのモデルのサイズを再び削減したかについて、少しだけ言葉を許してください。
マルチヘッド潜在アテンションを、モデルの複数の部分が「注意を払う」際に共通のウェイト（隠れているか潜在的な）を共有できるようにするものと考えてください。そのアテンション機構は、言語モデルが次の単語を予測するために先行するテキストのどの部分が最も関連性が高いかを演繹するプロセスです。
注意を払う際に潜在的または隠れたウェイトを共有することは、このモデルが全体的に少ないウェイトを必要とすることを意味しました。共有されたウェイト、より小さなモデル、より大きな効率性。DeepSeek V2です。
わかりました。おそらくポイントは既に理解されたでしょう。DeepSeek R1は無から創造されたものではありませんでした。それは、ほぼ2年間にわたって蓄積された丹念な革新の上に構築され、世界に開放されたものでした。もちろん、隠遁生活を送る億万長者によって資金提供されていました。
しかし待ってください、なぜ梁はそれほど多くの効率性を必要としたのでしょうか？なぜなら、はい、DeepSeekは確かに2021年にHighflyierの株式取引のために10,000個のNvidia A100 GPUを確保していましたが、米国政府は中国企業がより強力なチップを手に入れることを望んでいませんでした。
バイデン政権によって、中国が欲しいコンピューティングパワーを手に入れるのを止めるための制限が次々と導入されました。Nvidiaはこれらの制限をかわそうと、これらの制限をかろうじて下回る新しいチップを発明しようとしましたが、そのたびに新しい制限が続きました。
2024年夏に梁自身が言ったように：「お金は私たちにとって問題だったことは一度もありません。先進的なチップの出荷禁止が問題なのです」。
それがコンテキストです。より強力なAIへの行進は今や「レース」、さらには「戦争」と表現され、それは必然的に密輸の急増を引き起こしました。中国企業が新しい封鎖を越えてチップを手に入れるための焦点としてシンガポールとマレーシアがあります。
考えてみてください。中国でR1の、例えばラタトゥイユのレシピを計算するために使用されたGPUの一部は、スーツケースで密輸されたと思われます。余分な靴下のための余地はほとんどなかったと推測します。
これで2024年末に近づき、舞台はほぼ整いました。梁文峰は深夜まで何度も論文を読み、コードを書き、グループディスカッションに参加するなど、DeepSeekの他のすべての研究者と同じように浩瀚（こうかん）オフィスで苦労していました。その会社は今やAI業界の内部関係者の視野に入っていましたが、中国以外の一般の人々にはほとんど知られていませんでした。新年が明ける中、表面のすぐ下で上昇しつつあるクジラのようでした。
梁文峰は西洋が物事を発明し、中国がそれらの革新を模倣して収益化することに飽き飽きしていました。さらに驚くべきことに、彼はそのことを公に発言していました。「中国は徐々にフリーライダーではなく貢献者になるべきだ」と彼は最後の知られているメディアインタビューで言いました。
彼は続けて、言語モデルがより多くのパラメータとより高品質のデータでトレーニングするほど予測可能に良くなるという経験的発見であるスケーリング則を直接引用しました。「過去30年以上のIT波において」と梁は中国について言いました。「私たちは基本的に本当の技術革新に参加していませんでした。私たちはムーアの法則が空から降ってくることに慣れています。家に横たわって、より良いハードウェアとソフトウェアが出現するのを18ヶ月待っています。それがスケーリング則の扱われ方です」。
いいえ、梁は他者が学び、適応できる研究を提供するパイオニアになることをDeepSeekに望んでいました。2024年末の数日間に、DeepSeekはDeepSeek V3を生み出しました。それは既に聞いたすべての革新と他のものを一つにまとめ、スケールアップしたものでした。
効率への執着がクラック中毒者レベルに達し、Nvidiaが提供する人気のCUDAライブラリに頼るのではなく、Nvidia GPU自体への命令を最適化するコードを手書きしなければならないような混合精度トレーニングを加えないのはなぜでしょうか？V3によって、DeepSeekのカルピスは効率の小片を見つけることで鈍くなりつつありました。そして時間は遅かったにもかかわらず、西側の研究所はようやくDeepSeekのブレークスルーを研究するためのチームを急いで組織していました。
AnthropicのCEOであるダリオ・アモデイは、「DeepSeekのV3は実際に本当の革新だった」と述べました。「そして、それは1ヶ月前に人々が注目すべきものだったはずです。私たちは確かにそうしました」。
しかしDeepSeekはさらに掘り進めるべきだと知っていました。なぜならOpenAIはすぐ先に金があることを示していたからです。2024年9月、OpenAIはモデルが最終的な答えを提出する前に生成する思考の連鎖を利用する新しいタイプの強化学習を披露していました。
私たちが見てきたように、ウェブ上の人間が次に言うであろうことを予測することを目標とするモデルは、常に能力において制限されるでしょう。OpenAIのOシリーズは、代わりに最初にモデルに声に出して推論させ、次に数学やコーディングなどの領域で検証可能な正しい答えに一致する出力を優先するように残酷な最適化圧力を適用すると、技術的に最も正確な続きを最適化し、探索すべき推論進歩の全く新しい領域を明らかにすることを示しました。
梁文峰のおかげで、DeepSeekはそこに準備万端で待ち構えていました。彼らのV3ベースモデルの上にこの声に出して考える推論革新を追加し、DeepSeek R1 Zeroを生み出しました。はい、Zeroです。しかし、そのモデルの思考は言語やスタイルにおいてやや道からそれる可能性がありました。そこで、さらなる調整と微調整を加え、DeepSeekはDeepSeek R1を公開しました。数十億の人々が語り合うAIです。
多くの技術的ベンチマークにおいて、R1は9月のOpenAIのO1モデルのパフォーマンスを僅かに上回り、他のものでもそれほど遅れていませんでした。彼らの研究をオープンにすることで、DeepSeekは言語モデルが正しい答えを生成するための容赦ない最適化圧力の下でどのように時に引き返し、さらには自己修正することができるかを世界に示しました。それはモデルにとって、そして世界にとって「そうか！」という瞬間でした。秘密めいた中国の研究所がChatGPTのような家庭の名前にどれほど近づいているかを認識するものでした。
誤解しないでください。DeepSeek R1論文には他の革新もありました。例えば、彼らの最大で最もスマートなモデルがいかにして効果的に彼らの能力の多くを小さなモデルに蒸留し、それらのモデルに十分なレベルに達するための多くの作業を節約できるかというものです。
その革新を10歳児に説明するなら、電話やホームコンピュータに適合するモデル、あるいはどこからでも信じられないほど低コストで提供されるモデルが、2025年になって2024年の最もスマートな巨大モデルよりもスマートになるように設定されているということです。
しかしなぜDeepSeek R1の爆発的な人気が起きたのでしょうか？それはDeepSeekチャットでそれらの思考を見ることができるという事実がモデルをそれほど魅力的にしたのでしょうか？それともそれがとても安かったために、Nvidiaの株価が約半兆ドル下落したのでしょうか？ちなみに、梁自身は「価格設定がみんなにとってそんなに敏感だとは思わなかった」と言っていました。
DeepSeekのオープン性がそれほどショッキングだったのでしょうか？DeepSeek R1のリリース後の数日間と数週間で100のナラティブが花開きましたが、それらはすべてが表面通りではありません。
まず、それらの思考の連鎖について対処しましょう。後から振り返れば、モデルの思考に特権的にアクセスできることが混雑した市場で常に目立つことは明らかかもしれません。結局のところ、OpenAIはそのO1モデルの思考の消毒されたサマリーしか提供していませんでした。
しかし待ってください。R1リリースの数時間以内に、GoogleはGemini 2.0フラッシュシンキングを提供しました。思考を見せるモデルです。その市場へのインパクトは、R1の津波に比べれば可愛らしい波紋程度と表現するのが最適でしょう。
では価格に違いないでしょうね？いくつかの指標によれば、R1はOpenAIの競合的に同等のモデルより95％安いのです。しかし待ってください、Gemini 2フラッシュはさらに安いのです。そしてやはり、丁寧な拍手だけです。
では、モデルのトレーニングコストがわずか600万ドルだったという事実かもしれませんね。それはこの状況ではごく僅かな金額です。さて、その点については、西側の研究所のリーダーたちの価格に関する議論を、彼らの動機を疑う理由があるとしても、少なくとも聞いてみましょう。
AnthropicのCEOダリオ・アモデイはまず、同じモデル能力に対するコストが毎年一貫して4倍ずつ下がっていることを説明することで応じました。彼は「DeepSeekのトレーニングコストを額面通りに受け取ったとしても、彼らは良くても傾向に乗っており、おそらくそれさえも達していない」と一部明確にするための完全な記事を書きました。
彼は、彼の言葉で違いは「期待されたコスト削減を最初に実証した企業が中国企業だった」ということを認めました。「DeepSeekのGPU投資だけで5億ドル以上を占めています。輸出規制を考慮しても、彼らの総サーバー資本支出は約16億ドルです。600万ドルのトレーニングランでさえ、どこからともなく現れるわけではありません」。
実際、DeepSeekにとって物事はとても高額になっており、梁の広大なポケットでさえ限界に達しつつあります。2025年2月の報告によると、梁は初めて外部資金を調達することを検討しており、潜在的にはアリババグループと中国の国家関連ファンドからのものです。
なぜそれほど多くのお金が必要なのでしょうか？それはDeepSeekが現在持っている数千万の日常的なアクティブユーザーにサービスを提供するだけではありません。モデルの知能をさらにスケールアップし、私たち自身のものと同じくらい一般的に適用可能な人工知能、AGIまでスケールアップするためです。
アルトマンとアモデイによれば、素晴らしいベースモデルに声に出して考える推論最適化を追加することで、最初は並外れた配当をもたらすことができ、それによってDeepSeekが追いつくことができました。しかし、彼らが主張するように、AGIの近くまでその上向きのカーブに乗るためには、数百億ドル相当のコンピューティングが必要になるでしょう。
アモデイは次のように書きました：「したがって、私たちは興味深い交差点にいます。一時的に複数の企業が良い推論モデルを生産できる状況です。これらのモデルの上にさらにスケーリングしていくにつれて、これは急速に真実ではなくなるでしょう」。
彼は、ほとんどすべての人間がほとんどすべてのことでよりスマートなAIを作ることは、少なくとも数百万のチップ、少なくとも数百億ドルを必要とし、最も可能性が高いのは2026年か2027年だと言いました。
たとえDeepSeekを一瞬忘れたとしても、それはかなりの引用です。もし彼が正しければ（それは大きな仮定ですが）、これらの中国の企業ジェット族は、パジャマの下にいったい何個のGPUを密輸しなければならないのでしょうか？
しかしアモデイはそれについても言及しています：「10億ドルの経済活動は隠せるかもしれませんが、1000億ドルや100億ドルを隠すのは難しいです。100万個のチップを密輸するのも物理的に難しいかもしれません」。
十分なチップがなければ、この議論によれば、DeepSeek R2とR3は遅れを取らざるを得ません。DeepSeekのエンジニアが数十億ドルのレンガで働く人々と同じペースで構築し続けられるかどうか、私たちは単に知りません。
中国について話している間に、私が否定したいもう一つのナラティブがあります。あなたはDeepSeekが一回限りのものであり、中国にはAIにおけるイノベーションを適切に育む環境が欠けていると言われたかもしれません。
しかし、Klingのようなツールによって生み出されたテキストから画像への変換やテキストから動画への変換の驚異を脇に置いたとしても、R1の数時間以内にリリースされたByte Dance（TikTokの制作者）からのDobau 1.5 Proのような新しいモデルで満たされた風景がまだ残っています。
そして、その1週間前には、中国の技術試験で西側のモデルを凌駕し、すでに約1億人に使用されているiFlytekとHuaweiからのSpark Deep Reasoning X1を手に入れました。そして1月20日、R1がリリースされたまさにその日に、中国の研究会社Moonshot AIはマルチモーダルモデルKimmy K1.5を立ち上げ、人気の数学ベンチマークで96.2％を達成しました。はい、それはOpenAIのO1より優れたスコアです。
したがって、R1は中国からかなり長い間聞こえる最後のものだろうと言っている人は、特にR2が差し迫っているようで、かなり神経質になっているかもしれません。
現在と将来の中国の言語モデルについて触れずに、取り上げる必要があるかもしれない別のナラティブがあります。それは、DeepSeek R1論文のオープンな性質がモデル自体のオープン性に反映されているというナラティブです。
多くの方々がご存知のように、そのモデルは繊細な中国のトピックに関する出力を返すことは自由ではありません。しかし、それらについて何も知らないわけではありません。私は単純な質問をしました：「ウイグル族について教えてください」そして、この興味深い一連の思考を得ました。
これは啓発的で深く反省的な最終的な答えにつながらなければなりません。確信していますよね？ そうではありませんでした。
はい、DeepSeekのR1モデルはMITライセンスの下でリリースされました。ですから、もちろん他の人々はモデルを適応して、まあ、真実を語るように迅速に対応しました。
しかし、私はDeepSeekと梁文峰がこれを視聴しているならば、彼らはこのトピックから私が先に進むことを格別に熱望していると確信しています。
では、OpenAIがどのように簡単に独自のカウンターナラティブを確立しようとしたかに目を向けましょう。それは、DeepSeekがOpenAIのO1モデルの思考の連鎖に不正にアクセスし、それらに基づいてトレーニングした可能性があるというものでした。
それをOpenAIによって慎重に培われた知性を効果的に盗んだと考えてください。OpenAIの広報担当者は次のように述べました：「中国のグループが蒸留として知られる方法を含めて、アメリカの先進的なAIモデルを複製しようと積極的に取り組んでいることを我々は知っています。DeepSeekが我々のモデルを不適切に蒸留した可能性があるという兆候を認識し、検討しています。我々は技術を保護するための積極的な事前対応策を講じており、ここで構築されている最も高度なモデルを保護するために米国政府と緊密に協力し続けるでしょう」。
ちなみに、政府との協力について言えば、米国の一部の法律制定者はDeepSeek R1を使用した場合、米国のユーザーが投獄されることを提案しています。
公共の想像力の中でほぼ試みられるとすぐに死んだカウンターナラティブに戻りましょう。一つの明白な理由があります。OpenAI自身が、私のいとこの従姉妹の祖母を含む全ての人から、著作権のある作品を補償なしに意図的にトレーニングしたとして訴えられています。
ですから、もしDeepSeekのような他社がChatGPTから何かを蒸留しても（必要だったとしても、おそらくそうではなかったのですが）、これらの企業に対する同情はほとんどないでしょう。
いずれにせよ、推論は猛烈なペースで自動化されています。DeepSeekの台頭が私にとって信じ難いほどであっても、それは実際にはより大きな物語への指針にすぎません。私たちは実際に自動化された人工知能の時代に入りつつあります。
そしていいえ、モデルは常に電卓のようなツールと表現されるのが最適とは限りません。3年後にAIが私の仕事、あるいはあなたの仕事の95％ができるようになったら、いつの時点で私は送信ボタンをクリックする責任しかないツールになるのでしょうか？もちろん、まだそこには全く到達していません。結局のところ、これはDeepSeek R1なのです。
そしてはい、人間はまだかろうじて運転席にいます。つまり推測するに、絶対に保証されている唯一のことはドラマです。
それがDeepSeekの物語です。我々が知る限りでの。では、梁文峰と彼の魔法使いたちのチームにとって次は何でしょうか？R1論文は、彼らが無限のコンテキストと、すべての有名な言語モデルの背後にある伝説的なトランスフォーマーアーキテクチャの代替品に取り組んでいるとほのめかしています。
しかし、無限のコンテキストだけを考えてみてください。そこでは、あなたがこれまでに聞いたり見たり言ったりしたすべてのものをモデルに提供し、次の答えを与えるときにそのどれでも参照するのを想像できます。
DeepSeekがそれを実現するでしょうか？彼らは最初にAGIに到達するでしょうか？もしそうなら、彼らは本当にそれをオープンソース化するでしょうか？世界はその日が来る前に、あるいはその後に、何が起こっているのかのほんの一部でも把握するでしょうか？まあ、私たちがそれを知るまでに、おそらく長くはかからないでしょう。
コメント