Anthropicが中国の3つのAI研究機関(DeepSeek、Moonshot、Minimax)による「蒸留攻撃」を公式に非難した。同社は2万4000以上の不正アカウントを通じて1600万回以上のやり取りが行われたと主張するが、その数値は実際の製品利用やベンチマークテストで容易に達成できる規模である。この告発は具体的な証拠に乏しく、特にDeepSeekに対する15万回という数値は、小規模スタートアップが1日で処理する量と同程度であり、主張の信憑性に重大な疑問を投げかけている。Anthropic自身がオープンソースモデルを一切リリースしていない唯一の主要ラボであることも、この告発の動機について疑念を抱かせる要因となっている。
Anthropicの突然の告発
本当にもう休みは許されないみたいですね。週末と先週にかけて大量の配信とリリースを終えて、少なくとも月曜日は休もうと思っていたんですが、Anthropicがそれを許してくれませんでした。
Anthropicによると、中国の3つの主要ラボがAnthropicのモデルに対して蒸留攻撃を行っているとのことです。皆さんもご存知のDeepSeek、Kimyの開発元であるMoonshot、そしてMinimaxモデルの開発元であるMinimaxが、Anthropicに対して蒸留攻撃を行っている企業としてリストアップされています。
これは非常に大胆な主張です。特にここで述べられている部分、2万4000以上の不正アカウントを通じて1600万回以上のやり取りが生成され、これらの能力を抽出して中国に持ち込もうとしているという点は注目に値します。
不正に米国のモデルを蒸留する海外のラボは安全対策を削除でき、モデルの能力を自国の軍事情報や監視システムに組み込むことができる、とのことです。ここには話すべきことがたくさんあります。主張の正当性についてもそうですが、より重要なのは、ここで議論されていることの潜在的な影響についてです。
蒸留攻撃という概念
ここには本当に議論すべき問題があります。私はAnthropicの認定ヘイター第1号ですが、彼らがここで考えていることの一部には共感できます。とはいえ、リプライを見てみると、同意している人はあまり多くありません。
ええ、ここには言いたいことがたくさんあります。そしてこれはおそらく他の多くの企業との関係を損なうことになるでしょう。だから、生計を立て続けたいなら、今日のスポンサーのために少し休憩を取らないといけませんね。
Anthropic、OpenAI、Vercel、そしてT3 Chatに共通するものは何だと思いますか? まあ、私たちは皆Reactが好きですが、他にも皆が使っているものがあります。今日のスポンサー、WorkOSです。特に大企業に販売しようとしている人にとって、彼らは本当に優れています。
彼ら自身もそれをやってきました。私がダッシュボードにサインインしなければならない企業のほとんど全てに販売しているんです。WorkOSのAuthKitサインインページにどれだけ頻繁に遭遇するか、本当に驚きです。「ああ、私たちだけじゃないんだ」って感じですね。
冗談抜きで、皆がWorkOSを使っていて、それには理由があります。モダンな企業に期待される開発者体験を提供していますが、同時にエンタープライズファーストのビジネスに期待される統合機能も備えています。
もしMicrosoftやBloombergのような大企業が今日あなたのところに来て、あなたの製品を使いたいと言ったら、サポートする準備はできていますか? 信じられないかもしれませんが、最近はこれらの大企業が初期段階のスタートアップと協働するケースが増えています。ローンチからわずか3週間のスタートアップがすでにFortune 50企業を顧客として抱えているという話を聞きました。
これらの企業がどれだけ採用に積極的かは驚異的です。彼らをサポートできなければなりません。もしOcta、SAML、Duo、ADPなどのクレイジーなプラットフォームとの統合がなければ、エンタープライズの契約を取るのは困難でしょう。ITチームとエンジニアの間を行ったり来たりする地獄を経験するより、ワンクリックで全ての設定を処理してくれるリンクを送る方がずっと良いです。
GMOにこれを締めくくってもらいましょう。もっと早くWorksと提携していれば、さらに多くのビジネスができたと思います。非常に好評です。今すぐswive.link/worksでチェックしてみてください。
では、Anthropicがこれらの蒸留攻撃について何を言っているのか見ていきましょう。私の知る限り、蒸留攻撃というフレーズはAnthropicがこの報告のために作った新しい用語です。この用語が以前に使われているのを聞いたことがありません。もし私の主張が間違っていたら、コメントで訂正してください。でも、これまで誰もこのような言い方をしているのを見たことがありません。
この文脈での蒸留という用語に馴染みがない方のために、元々の定義に戻りましょう。蒸留とは、何かから主要な価値を抽出しようとすることです。この場合、彼らが蒸留で言及しているのは、スマートなモデルからの出力を取り、それらを使って新しいモデルが同様の知能を持つように訓練することです。
蒸留に関する議論は、DeepSeek R1でDeepSeekが話題になった頃に始まりました。なぜなら、OpenAIが自社のo1モデルが同様の蒸留試みのターゲットとして使われたと主張したからです。
o1の特別だった点に馴染みがない方のために説明すると、これは結果を出力するだけでなく、考える時間も取る最初の推論モデルでした。出力の前に、効果的に自分自身と対話し、間違いを修正してから、最終的に本当の答えを出力するステップがありました。
OpenAIは他の企業がこのモデルを使って独自の類似モデルを訓練することを非常に恐れていたため、その推論トレースを隠すという大胆な決定を下しました。つまり、o1を実行したとき、それが行った推論を見ることはできませんでした。最後の結果だけが見え、基本的には推論ステップが終わるまで待っている状態でした。
R1が魔法のように感じられた理由の一つは、それをしなかったことです。DeepSeek R1はオープンウェイトモデルでした。つまり、実際の応答を得る前に推論ステップ全体を見ることができたんです。
しかし、それでもOpenAIがDeepSeek R1の訓練にOpenAIのモデルが使われたという大胆な主張をすることを止めることはできませんでした。OpenAIがこれについて言っていたことを非常に明確にすると、DeepSeekチームがOpenAIのo1モデルに質問をして訓練に使えるデータを大量に生成し、結果を収集して、それを自分たちの訓練データや独自のモデルにフィードバックしていたという彼らの信念でした。
これは、本当にスマートなモデルから良い振る舞いを小さくて安価なモデルに移行させようとするための一般的な技術です。Anthropic自身もこの投稿で同じことを述べており、蒸留は絶対に正当なものであり得ると主張しています。AIラボは顧客のために小さくて安価なモデルを作成するためにそれを使用しています。
しかし、繰り返しますが、彼らは蒸留が正当であり得ると主張しています。実際、私はそのほとんどすべてが正当だと主張します。この特定の主張は少し大胆です。これについては後ほど触れます。
推論トレースの隠蔽
しかし、彼らは他の人々が彼らのモデルに対して蒸留を行っていると主張した最初ではありません。そしてこれが、今日に至るまで基本的にすべての主要ラボが、彼らのモデルの推論トレースを隠すか、意味のある形で難読化している理由です。
Gemini 2.0 Flashを実行すると、推論ステップは実際にやっていることではありません。それらは、人々が同じ方法で訓練できないように、モデルが実際に行ったことと人々が受け取るものとの違いを難読化するために、それを要約するよう求められた別のモデルに渡されたモデルの推論です。
Grokも同じことをしています。GPT o1、o1 mini、o3 miniも全て同じことをしています。しかし、クローズドウェイトモデルに対してこれをしないラボが1つあります。Anthropicです。
様々な理由から、Anthropicはモデルに推論を最初に導入したとき、モデルを使用している際にそれらの推論トレースを難読化しないことに決めました。これは彼らにとって本当に堅実な決定でした。モデルの上に構築する開発者である私にとって、モデルが何をしているかを見て、間違っている場合はよりよく誘導でき、システム、プロンプト、コードベースなどを調整できるからです。
しかし、それは同時に、この種の強化学習や蒸留訓練を行うために、他のラボから得られるデータよりも価値のあるデータであることも意味します。正直なところ、入力と出力があれば、間の部分を作り上げて、それをモデルに渡せば、かなり良い状態になります。しかし、全てのデータを持っていることは非常に役立ちます。特に、これらのAnthropicモデルが本当に長時間実行されるジョブで成功している様子を見ると。
そのデータを全て収集して、それを使って他のものを訓練できれば、それは潜在的に非常に価値があります。そして、それが多くのこれらの企業がやってきたことです。主要ラボもそうですが、私たちが皆知って愛するようになった人気のサードパーティもそうです。
簡単な例として、Cursorを挙げましょう。Cursorのビジネスモデルについて少し考えてみてください。Cursorは、これらの本当に洗練されたモデルを使ってコードを編集・記述するための非常に良いインターフェースとハーネスを提供してくれています。しかしCursorはそれらのモデルに対してAPI価格を支払っています。
現実的に考えてみましょう。Cursorに月20ドル、Claude Codeに月20ドルを支払っている場合、Anthropicモデルを使用しているなら、おそらくClaude Codeのサブスクリプションの方がはるかに多くの使用ができるでしょう。なぜなら、Anthropicがその月20ドルのサブスクリプションを助成してくれるからです。
Cursorは本当にはそれができません。なぜなら、実際のAPI呼び出しに対して小売価格を支払わなければならないからです。しかし、それを価値あるものにする方法があります。そのデータがあなた個人のユーザーとしてコードを書くためだけに使われるのではなかったらどうでしょうか?
データを用途に使用できるというボックスにチェックを入れたまま放置していて、彼らがOpusで行った高価なものすべてのデータを取って、それを使ってCursor内にあるコンポーザーモデルのような独自の別の安価なモデルを訓練するとしたら。
これが全て起こった理由があり、それらのモデルがこれほど優れている理由があります。そして、Claudeモデルから得られるものに少し味が似ているのも理由があります。なぜなら、CursorはAPI上で小売価格を支払い、結果をすべて収集し、それを使ってすでに使用している最高の高価なものと同様に振る舞う新しいモデルを訓練できるからです。
蒸留の限界
非常に、非常に明確にしておきます。蒸留は史上最もスマートなモデルを作ることはありません。だから、カウンターを片付けてください、皆さん。蒸留について話すとき、最もスマートなモデルについて話しているのではありません。他のものを最高のモデルができることにおおよそ近づけることについて話しているんです。
蒸留は決してあなたを最高を超えることはありません。これについて考えてみてください。少量の金が入った砂の箱があるとしたら、どれだけ振っても金の量は増えません。できることは砂を出すことだけです。それが基本的にこれらの訓練方法で起こっていることです。
これらのラボは、他のよりスマートなモデルから得たデータを使って、より小さなモデルをより良く振る舞わせ、それらの洗練されたモデルのようにするために訓練しています。そして、おそらく推測できると思いますが、これはこれらのラボのほとんどの利用規約に明示的に反しています。
しかし、Cursorがやっていることはそうではありません。Cursorはユーザーのためにコードを生成するサービスを得るためにAPI価格を支払っているので、それは全く問題ありません。そして、その後データをどうするかについても全く問題ありません。
Anthropicによると、問題ないのは、同じデータを得るためだけに実行することです。そして彼らは、これらの中国のラボがまさにそれをやっているというかなり大胆な主張をしています。Anthropicによれば、彼らは悪意を持って、自分たちのモデルを同様に振る舞わせるために、それらの高価なモデルを通じて大量のデータを生成しているとのことです。
Anthropicの主張を検証する
では、彼らの主張を見てみましょう。なぜなら、それについて感じることがあるからです。動画の冒頭で述べたように、彼らはこれらのラボが約2万4000の不正アカウントを通じて1600万回以上のやり取りをClaudeと行ったと主張しており、これは利用規約と地域アクセス制限に違反しています。
不正に蒸留されたモデルには必要な安全対策が欠けており、重大な国家安全保障上のリスクを生み出します。Anthropicやその他の米国企業は、国家および非国家主体がAIを使って、例えば生物兵器を開発したり、悪意のあるサイバー活動を実行したりすることを防ぐシステムを構築しています。
不正な蒸留を通じて構築されたモデルは、それらの安全対策を保持する可能性が低く、危険な能力が多くの保護が完全に剥ぎ取られた状態で拡散する可能性があることを意味します。
これは正直なところ、善意に受け取るのが少し難しいです。彼らの安全システムがこれらのリスクを完璧に防げるという考え、誰も彼らのモデルで生物兵器を作れないのに、どういうわけか魔法のように彼らの箱から砂を全て振り出せば、残った金は喜んで核兵器を作ってくれる。
全く意味をなしません。安全対策が整っていれば、データを取り出す方法はありません。彼らは、必要な情報が1層のプロンプトの向こうにあり、部品を組み合わせればとにかくこれができると言っているのでしょうか? もしそうなら、モデルの違いがどう関係するのか本当に分かりません。
ええ、これには本当に苦労しています。彼ら自身がこれを信じているとは想像しがたいです。どういうわけか、彼らのモデルが何かをすることを拒否することが、その拒否と成功の両方で別のモデルを訓練し、それから拒否を無視することによって回避でき、どういうわけか魔法のようにこの新しいモデルが全く同じレベルの能力を持つというのは。
いいえ、1秒たりとも信じられません。でも心配しないでください。私が全く信じていないものがまだたくさんあります。ああ、ここが最も面白い部分です。蒸留されたモデルがオープンソース化されると、リスクは倍増します。なぜなら、これらの能力は単一の政府の管理を超えて自由に広がるからです。
彼らは文字通り、政府にオープンウェイトモデルを非合法化させようとしているように感じます。これはクレイジーです。でも理にかなっています。なぜなら、彼らはオープンウェイトモデルを全くリリースしていない唯一の主要ラボだからです。
OpenAIは昨年GPT-4oをリリースしましたし、私は今でもたくさんのランダムなことに12bバージョンを使っています。GoogleにはGemmaシリーズがあり、実際に本当に役立ちます。いつも重宝しています。そして全ての中国のラボは、良いオープンウェイトモデルと公開研究を大量にリリースしています。
実際、Anthropicが2024年にDeepSeekが発明して発表した12本の公開論文にある訓練方法を使用しているという証拠がたくさんあります。そして今、彼らは同じ会社、DeepSeek、彼らの最高の訓練技術の1つを発明した会社が、実際には悪意を持って彼らのものを使用していると主張しています。
数字の不合理性
ここでの不条理のレベルに備えてください。彼らは、IPアドレスの相関、リクエストメタデータ、インフラストラクチャ指標、そして場合によっては、同じアクターと振る舞いを観察する業界パートナーからの確証を通じて、各キャンペーンを高い確度で特定のラボに帰属させることができると主張しています。
各キャンペーンは、Claudeの差別化された能力、エージェント的推論、ツール使用、コーディングをターゲットにしていました。しかし、ここでの大胆で不条理な主張はDeepSeekに関するものです。彼らは、DeepSeekが推論能力、ルーブリックベースの採点タスク、およびポリシーに敏感なクエリに対する検閲に安全な代替案を収集するために15万回以上のやり取りを行ったと主張しています。興味深いですね。
では、なぜ私はこの特定の主張がとても不条理だと思うのでしょうか? ここにあるこの数字、15万回のやり取りです。しばらくいる方なら、T3 Chatのことを聞いたことがあるかもしれません。LLMとより良い体験で話すために私が構築したAIチャットアプリです。全てのモデルにアクセスできます。
なぜここでT3 Chatを持ち出しているのか? 今回は宣伝するためではありません、約束します。いくつかのデータを共有したいからです。これは私が今まで共有したことのない数字です。T3 Chatは本物の会社で、私たちがここで構築しているものを本当に誇りに思っていますが、どう見ても巨大ではありません。
たくさんのユーザーがたくさんのことをしていて、私たちが構築したものを誇りに思っていますが、最大のプレイヤーには程遠いです。
では、もし15万回のやり取りがDeepSeekがこの大きな悪意のあるアクターであるのに十分であるなら、T3 Chatで1日にどれくらいのやり取りをしていると思いますか? 数字を考えてみてください。頭の中に1つ入れてください。
なぜなら、その答えは、PostHogから直接出たもので、1日約16万回です。これを日から月に切り替えると、月に約300万から400万のリクエストになります。
どうやら、私たちは1日で同じレベルのトラフィックをこなしているようです。それはAnthropicがDeepSeekが悪意を持って彼らから情報を盗もうとしていると主張するのに十分なんです。1日分の推論でこれができるとは思いませんでした。なぜなら、もしそうなら、私は自分のOpusクローンを作らなければならないかもしれません。なぜなら、それはそれほど多くのデータではないからです。
実際、これがどれだけ少ないかは笑えるほどです。そして、彼らをこのリストの最初に置くことは本当に不条理ですが、Anthropicの意図がどこにあるかも示しています。なぜなら、彼らは本当の懸念や問題について私たちに警告しようとしているのではないからです。
彼らは、自分たちを本当にひどく見せている中国のラボに対して、様々な当事者を武器化しようとしているんです。
DeepSeek V4またはR2、あるいは次のモデルが何と呼ばれるにせよ、それが非常に優れているらしいという噂をたくさん聞いています。2025年の初めに彼らがやったように、経済からラボまで全員を怖がらせて全てを再考させるほど十分に。
そして彼らがこのリストのトップにいるのは、数字が複数桁小さいにもかかわらず、AnthropicがDeepSeekを脅威ナンバーワンと位置づけていることが非常に明確だからです。まあ、OpenAIの次でナンバー2かもしれませんが、リストの非常に高い位置にいます。
そして彼らがここにいるのは、15万回のやり取りを行ったという実際の正当な懸念のためではありません。彼らがここにいるのは、Anthropicが怖がっているからです。彼らは、政治家、富裕層、あるいはVCのAIバブル界の成功した人々をDeepSeekに対して武器化しようとしているように見えます。
15万回のやり取りは、SWE-Benchのようなベンチマークを2、3回実行したときに得られるものとほぼ同じです。これらのラボは全て、他の会社のモデルに対して自分たちのベンチマークを実行できる必要があります。明らかに、それが何が機能していて何が機能していないかを知る方法であり、自分たちの内部ベンチを検証する方法です。
Anthropicはすでに、単純なベンチマークのためであっても、競合他社が自分たちのモデルを使用することを禁止することで知られています。OpenAIにもこれをやりました。xAIにもやりました。しばらく前に突然WindSurfにもこれをやりました。
Anthropicは、基本的なベンチマーク目的であっても、自分たちのモデルへのアクセスを望まない企業に対して、かなり素早くbanハンマーを振り下ろします。正直なところ、15万回のやり取りは、伝統的なベンチマーク領域に完全に収まる可能性があります。
他のラボの数字
他のラボについてはどうでしょうか? それは大きな問題に違いないですよね? 彼らはMoonshotが340万回以上のやり取りを行い、Minimaxが1300万回行ったと主張しています。それはもっと大きな問題に違いないですよね?
では、また私の数字から始めましょう。月に約350万から400万のクエリに近いです。でも実は、この数字について少し嘘をつきました。PostHogのAI生成カウンターは、ユーザーがリクエストを行った回数をカウントしています。
それはやり取りの数ではありません。やり取りの数は、リクエストがLLMプロバイダーに送信されなければならない回数です。でも、それは同じはずですよね? いいえ。ツール呼び出しの動作方法のためです。
エージェントに何かをするように頼むとしましょう。例えば、新しい価格設定を含めるためにホームページを更新してください。Claudeにこれをやってもらいます。これは、よし、新しい価格設定とホームページのコードを見つけて、それらを一致するように更新しよう、みたいな感じです。皆さんもある時点でモデルとこのようなやり取りをしたことがあると思います。
それから何が起こるかというと、ツール呼び出し1で、価格設定のような何かを検索します。ファイル1、ファイル2、ファイル3が返されます。それからモデルは、これらのファイルはすべて関連性がありそうです、どのコンテキストが役立つかを把握するためにそれらを読みますというような応答をします。
それからツール呼び出し2が得られます。そこでこれらのファイルを読みます。それはバッチセットかもしれません。だからファイル1を読む、ファイル2を読むなど。それから最終的なメッセージが得られます。必要なコンテキストを全て集めました。今度は変更を加える時です、みたいな。
そして次のツール呼び出しのセット、またはそれらすべての編集が得られます。これは、皆さんの多くが経験したことのあるかなり一般的なやり取りだと思います。では、ここで何回のやり取りが発生したか聞きます。
多くの人は、ツール呼び出しは最初のリクエストの一部として起こると思っているようです。なぜなら、何となくそう感じるからです。でも、どうでしょう? この行で、前のリクエスト、前のやり取りは終わりです。モデルが実行する必要のあるツール呼び出しで応答すると、接続は切断されます。
あなたのコンピューターはそれからツール呼び出しを実行します。そしてそれが完了すると、新しい履歴ができます。この時点まで起こったすべてのこと。そしてこの全体の履歴が、次のステップを行うためにAnthropicに送り返されます。
それから、別のツール呼び出しのセットを行わなければならないと判断します。それらのツール呼び出しを完了すると、同じことをもう一度行います。そのツール呼び出しの結果を含む過去のすべてを、実行2のためにAnthropicに送り返します。
そして、その後のすべてのツール呼び出しで何が起こるか推測できるでしょう。1つのプロンプトで、彼らがここで定義しているように、簡単に数百のやり取りになる可能性があります。T3 Chatでさえ、検索をオンにしている場合、特に追加したマルチサーチ機能を使用している場合、1つのリクエストで複数回検索を試みることができ、1つのリクエストが3または4の生成、または彼らが定義するやり取りになる可能性があります。
だから、私が以前見せた数字は、スタートアップとして副業で小さなチャットアップを提供している私たち小さな会社にとって、2倍から3倍低い可能性があります。
だから、もう一度繰り返しますが、これらの数字はかなり情けないです。エージェント的なコーディング、ツール使用、オーケストレーションのために訓練されているというモデルでの1300万回のやり取り。1300万回のやり取りは、私が生涯で実際の会社としてこのようなものを提供する自分の作業をするだけで、おそらく単独で達成する数字です。
それは取るに足らない数字です。特に、ウェブアプリをホストしていて、何十ものツール呼び出しを連続で行わなければならないクレイジーな深い分析をやっていたとしたら。その数字に到達するのは簡単です。
Minimaxの正当な使用
しかしMinimaxはサービスを提供する会社ではありません。彼らはモデルを提供する会社で、自分たちのモデルしか持っていません。だから、それは明らかに蒸留されたものでなければならないですよね?
では、Minimaxが自分たちのモデルだけに限定されていないエージェント製品を持っていたとしたらどうでしょう? 彼らはここにMinimax M2.5を持っていますが、Geminiもあります。
そして、どうでしょう? 以前ここに別のモデルもありました。どこに向かっているか分かりますか? Minimaxは正当にAnthropicモデルを使用する製品を持っていました。彼らがその製品でやっていることを考えると、この数字に到達するのは取るに足らないことです。
非常に取るに足らないです。もし彼らがその製品でやっていることが、大量の深い研究とデータ呼び出しであるならば。1つのリクエストが30から100のやり取りになる可能性があります。
そして、彼らがここでMinimaxがエージェントに13万回のメッセージを送ったと言ったら、誰も気にしないと思います。だから彼らは数字を大きく見せる方法を見つけたんです。
そして明らかに彼らがこれをやっているのは、DeepSeekの数字が15万だからです。しかし、作戦のターゲットは、推論能力、採点タスク、検閲に安全な代替メッセージのような、ツール呼び出しを必要としないものです。
これらのどれもリクエストごとに複数の呼び出しを必要としません。そしてMoonshotでさえ、Kimmyモデルの作成者である彼らは、ここにツール使用部分がありますが、コンピュータービジョンとコンピューター使用もあります。
コンピューター使用は、リクエストごとに何十ものことを行うという同じ問題を絶対に抱えているでしょうが、コンピュータービジョンは1つのリクエストだけです。だから彼らの数字がより小さいのは、伝統的な使用だけでも理にかなっています。
仮に、MoonshotとMinimaxがここでやっていたことが、彼らの競合他社が提供するモデルに対して、彼ら自身のカスタム内部ベンチマークで訓練結果を検証することだったとしましょう。
特にSWE-Benchについて聞いたことがあるかもしれません。特にOpenAIが作るのを手伝ったSWE-Bench verifiedベンチマークです。SWE-Benchは、Pythonリポジトリ全体でプルリクエストとissueをクロールして集められた2,294のタスクのコレクションです。
それは実行すべき2,300のテストです。そして、それらのテストのどれもが100のツール呼び出しになる可能性があり、おそらくそれ以上です。保守的にタスクごとに50のツール呼び出しがあるとしましょう。SWE-Benchの1回の実行はすでに11万5000のやり取りです。
さて、彼らがより複雑なベンチマークを持っているか、いくつか持っているか、ベンチマークをより正確にするために調整していると想像してください。そのベンチマークを30回ほど実行すれば、彼らはこのやり取りの数を超えています。
これは到達するのが非常に簡単な数字です。実際、GPT o1をテストしていたとき、国家に関連する何かの一部ではない個人として、私が個人的にすべてのテストを行っていたときに、これに近づいても驚かないでしょう。
これらの数字はここで何の意味も指し示していません。特にMinimaxが彼らの製品でモデルを使用していた、またはこれら全てが起こる前に使用していたことを考えると。
私たちは、Minimaxがそれが訓練していたモデルをリリースする前に、まだ活発な間にこのキャンペーンを検出しました。これにより、データ生成からモデルリリースまで、蒸留攻撃のライフサイクルに対する前例のない可視性が得られました。
Minimaxの活発なキャンペーン中に新しいモデルをリリースしたとき、彼らは24時間以内に方向転換し、最新システムから能力を取得するためにトラフィックのほぼ半分をリダイレクトしました。
私も最新のモデルをホストしていますが、自信を持って言えることは、新しいモデルが出たとき、半分以上のトラフィックが最上位のモデルにリルートされるということです。T3 Chatで4.6 Opusを使用するボタンができるとすぐに、4.5 Opusのトラフィックは4分の1に減少し、75%以上がすでに最新のモデルに移動していました。
だから、もし彼らがUIに新しいモデルがあると言う小さなものがあって、それをクリックしたとしたら、ユーザーパターンだけで半分以上のトラフィックになるでしょう。
不誠実な報告
ここで彼らがいかに不誠実であるかが明確な文章を読むのは稀です。そして私はここで独特の視点を持っています。多くのラボと話し、これらのAPIを使用している多くの企業と話している人間として。
Cursorにも大きなエールを送ります。彼らがどのように機能しているかを見てきました。明らかに、私がここで言っていることは何も、Cursorと提携しているものでも、彼らによって確認されたものでもありません。これは、投資家であり会社の友人としての私の理解に過ぎません。
これは全てそんなデタラメなデタラメです。これは不条理なレベルのデタラメです。私が個人的に彼らがここで主張している数字に近づいているという事実は、起こっている不誠実さのレベルを示しています。そして何のために? これは不条理です。
中国のプロキシサービス
Anthropicに少し好意を示すと、このセクションはほぼ確実に真実です。そして私は友人との個人的な経験から、これが本当のことだと示唆しています。必ずしもラボではありませんが、中国にClaudeや他のフロンティアAIモデルへのアクセスを大規模に再販する商用プロキシサービスを使用している場所があるという事実です。
これは絶対に起こっています。主にAnthropicが中国の顧客を直接モデルへのアクセスから禁止しているからです。だからこれらの他のサービスは、彼らが言うところのハイドロクラスターアーキテクチャのような奇妙なものを使用して、様々な異なる場所から来る様々な異なるアカウント全体にトラフィックを分散させ、中国のユーザーに応答を得るようにしています。
彼らは、特定のプロキシが2万以上の不正アカウントを同時に管理でき、蒸留トラフィックを無関係な顧客リクエストと混合し、検出をさらに困難にしていたと主張しました。
その点で、私が持っている逸話は、中国と関係のある友人からのもので、より安いClaude Codeサブスクリプションを入手できたというものです。これは私の頭の中ですぐに多くの赤信号を引き起こしたものです。
そしてそれらのより安いClaude Codeサブスクリプションは、何らかの怪しい中国のものを通じて、より小さな料金を支払ってClaude Codeアクセスを得られるというものでした。そう、カスタムエンドポイントを持つ実際のClaude Codeですが、それでも公式のOpusとSonnetモデルを使用して、より安いサブ価格で。
それは非常に可能性が高く、無関係な顧客リクエストの部分を通じて検出をより困難にするためにそれを使用していただけでなく、蒸留に使用できるより多くのデータを得るためにも使用していました。
Claude Codeを使用していたときに、すべての入力と出力、私のコードベースにアクセスできたなら、少なくともJavaScriptで少し良いモデルを作ることができます。そして、私がモデルに話す方法で話すので、かなり意地悪なモデルにもなります。
しかし、もしあなたがこれを企業として大規模に行っていて、自分のコストを補助するためにより安いClaude Codeを提供し、それからそのデータを使って他のものを訓練してその補助を補うとしたら、それが起こっているのを見ることができます。
そして、これがケースでなかったら、私は非常に驚くでしょう。中国に、より多くのデータを得るため、そして彼らが検出されたくないトラフィックを効果的に隠す方法を持つために、このようなことをやっている怪しい場所がないとしたら。
これが起こっているのを見ることができますし、このようなことが起こっているという十分な証拠があるので、その部分は信じています。しかし、名前でラボを呼び出す部分は、本当に不条理です。
これらのラボのいずれかがOpenAIがやっていると主張したときと同じように、Anthropicモデルを蒸留していると信じる理由は何もありません。これは、WindSurfで主張して間違っていた、xAIで主張して疑わしく間違っていた、ほぼ確実に間違っていた、OpenAIで主張して絶対に間違っていて、彼ら自身がそれについて嘘をついた、本当にひどい狼少年のケースです。他の動画でその証拠があります。
だから、なぜ今回彼らを信じるのでしょうか? たとえこの段落が完全に真実で、検出されたくないデータを得るためにこの種のトラフィックパターンの隠蔽を行っているこれらの組織がたくさんあるとしても、私が知っている1つの事例は1週間前に閉鎖されました。これはこの報告と一致しますが、彼らがここで名前を挙げたラボとは何の関係もありません。
証拠の欠如
彼らは自分たちが主張している主張の証拠を持っていません。そして、もし彼らがここで開示していないものを使って第三者として私がこれを検証できるなら、それをやりたいです。もし彼らがそれをやってくれるなら、ところで、Anthropic、あなた方は私の連絡先情報を十分に持っています。
それは知っています。そう知っている理由がたくさんあります。連絡してください。私が間違っていることを個人的に証明してください。何を言えて何を言えないかを教えてください。そうすれば、このビデオを喜んで非公開にして、これは正当だと謝罪する別のビデオを作ります。
もしあなた方がそれをしないなら、私はただあなた方が嘘をついていると仮定するつもりです。なぜなら、すべてがそれを指し示しているからです。
この段落が真実かどうかにかかわらず、それはもはや関連性がなく、あなた方が言った他のすべては、検証可能な嘘であるか、そもそも意味をなさないかのどちらかです。そして彼らもそれを知っているようです。
彼らは、蒸留の多くに使用されたと主張するプロンプトを持っています。あなたは統計的厳密さと深いドメイン知識を組み合わせた専門データアナリストです。あなたの目標は、データ駆動型の洞察を提供することです。要約や視覚化ではなく、実際のデータに基づき、完全で透明な推論によってサポートされたものを提供してください。
彼らは、蒸留攻撃を通常の使用から区別するものはこのパターンだと主張しています。繰り返し使用されているのを見てきた類似のプロンプトに近い次のようなプロンプトは、それ自体では無害に見えるかもしれません。
彼らはここでこのプロンプトに疑わしいものは何もないことさえ認めています。しかし、このプロンプトのバリエーションが何百もの調整されたアカウント全体で何万回も到着し、すべてが同じ狭い能力をターゲットにしているとき、パターンは明確になります。
いくつかの領域に集中した大量のボリューム、高度に反復的な構造、そしてAIモデルを訓練するために最も価値のあるものに直接対応するコンテンツが、蒸留攻撃の特徴です。
なるほど、他の企業が研究のような専門的なタスクのオプションとして彼らを持っていて、データ駆動型の洞察を提供するために実際のデータと透明な推論を使用しなければならない、あなたが研究者に期待するようなことをする、ということは絶対にないでしょう。
Opusモデルを使用していたこの正確な製品に使用するシステムプロンプトのタイプの例では絶対にありません。ここでは絶対にそうではありません。そして、皆さんの半分は皮肉の検出が下手なので、私は皮肉を言っています。
このプロンプトは、このアプリに1対1で対応しています。ここでは本当の証拠をくれなければなりません。他のものを組み合わせたあなた自身の要約された類似のプロンプト例ではなく。いいえ。
そして彼らによると、これは何百もの調整されたアカウントでした。さて、Minimaxの友人たちがAnthropicのオプションを持ちたかったとして、MinimaxはChinaにあってAnthropicモデルから禁止されているのでできなかったとしたら、それを回避できるサービスを見つけなければならなかったら残念ですね。そうすればAnthropicモデルを提供できたのに。
何を言っているか分かりますか? 現時点での私の個人的な信念は、ラボは正当な使用ケースのためにこれらのモデルを提供したかったということです。それが人々が使用する既存のツールのオプションとしてであれ、ベンチマークを実行するためであれ、既存のデータを検証するためであれ。中国のラボがAnthropicモデルへのアクセスを望む正当な理由はたくさんあります。
結論
他の誰かが私たちが知らない蒸留を行うために同じハイドロクラスターを使用していた可能性はありますか? おそらく。証拠は全くありませんが、絶対に可能です。しかし、正直に言うと、Anthropicがここで共有した報告の中に、彼らが言っていることを信じさせるものは全くありません。
そしてそれは残念です。なぜなら、彼らが話していることは本当のリスクだからです。狼少年と同じように、もし狼が本物だったら、私たちは知りたいでしょう。しかし、蒸留攻撃という用語を作り上げることから、彼らがここで呼び出している攻撃のタイプとしては文字通り意味をなさない数字を落とすこと、Minimaxのような特定のプロバイダーがユーザー向け製品のためにモデルを正当に使用していたという事実を無視することまで、ここにあるすべてのもの。
何もありません。これは、Anthropicが再び公に自分たちを台無しにしているだけです。そして、Anthropicが一緒に仕事をするのがかなり最悪で、会社としてもかなり最悪だという事実に皆さんがついに目覚めてくれたことに感謝しています。
Will Brownは、Anthropicに非常に良い質問をしました。そして私も同じことを聞きたいです。まず、Claudeからの貢献を特徴とする公にパーミッシブライセンスされたGitHubリポジトリでモデルを訓練することは利用規約違反ですか? それとも、それは蒸留ですか?
Claude出力を公共のインターネット上で共有することは利用規約違反ですか? ラボはインターネットコンテンツをフィルタリングする義務がありますか? 元のデータからどれだけの抽象化が必要であれば、彼らがこれを蒸留攻撃としてカウントしないのでしょうか?
Cursorがやっていることは、正当な使用ケースを提供しているにもかかわらず、蒸留攻撃ですか? GitHubをスクレイピングして、Claudeによって作成されたコードを読むことは蒸留攻撃ですか。ここでの線はどこにあるのでしょうか?
そしてもちろん、これら全てに対する核心的な皮肉があります。それは、Anthropicや他の類似モデルが、そもそもインターネットからスクレイピングしたデータで訓練されたということです。オンラインで見つけた情報を使って何かを訓練することの合法性について一日中議論できます。
法廷でそれらの会話をしていて、Anthropicがそうであるように負けているとき、彼らがインターネットにそれをやったときは全く問題なかったのに、中国のラボが彼らが構築したものに対してそれをやっているかもしれないとき、突然本当に悪くて危険だと言うのはかなり厚かましいです。
インターネットは、OpenAIやAnthropicのような企業がすべてをスクレイピングしたためにロックダウンされました。そして今、同じデータを得ることはほぼ不可能になっています。OpenAIとAnthropicの結果として、2020年にデータを得る方がはるかに簡単でした。
もし、Anthropicがここで言ったすべてが正しく、これらのラボが実際にデータを得るために彼らを使用していると仮定するなら、それは主に彼らのせいです。なぜなら、データはもはや他の方法ではアクセス可能ではないからです。
だから、これがAnthropicがクソであると解釈できない方法はほとんどありません。そして、Anthropicのナンバーワンヘイターとして、ここには何もないと皆さんに伝えることができて非常に興奮しています。
彼らはクソです。そして、繰り返しますが、Anthropic、あなた方は私の情報を持っています。もし私が間違っているなら教えてください。私は間違っていることを証明されて、新しい情報を視聴者に持っていくのが大好きです。
だから私はここにいるんです。月曜日の午後8時、休むはずだった日に、あなた方のクソを視聴者に説明しているんです。あなた方は最悪です。いつも嘘をついています。私たちの邪魔をします。
奇妙なクソなポリシーのことをやります。あなた方の利用規約は非常に不明確で、ほんの数日前に怒りを引き起こしました。そして、私が知っている従業員でさえ、あなた方のくそったれなポリシーを説明できません。
どうやら、それはエージェントからの間違いだったドキュメントの変更だったそうです。そこで何が起こっているんですか? 本気で、私は皆にこのような態度を取りません。
そして、まったくこのようになりたくありません。あなた方が私をこれほど怒らせることが嫌いです。でも、それはあなた方がこんなに明白で愚かなクソをやっているからです。やめてください。
そして、もし私がこれについて間違っているなら、連絡してきて私が間違っていることを証明してください。動画は上がったのと同じくらい早く非公開になりますし、訂正を発表します。だから、もしあなたが今このビデオを見ているなら、Anthropicが嘘をついていて、他に見るべきものは何もないという非常に、非常に、非常に高い可能性があります。
しかし、もしこのビデオが消えたら、もしかしたら私が間違っていたのかもしれません。あるいは、もしかしたら、もしかしたらですが、彼らが私に弁護士を送ってきたのかもしれません。もしそうなったら必ずお知らせします。そして次回まで、安全にお過ごしください。
コメント