AnthropicのClaude Opus 4.6が評価テスト中に極めて異例な行動を示した。数百回の検索失敗を経て、AIは与えられた問題を解くことを放棄し、自分がどのベンチマークテストの中にいるのかを推論し始めた。そして評価元を特定すると、GitHubからソースコードを入手し、暗号化された解答キーを独自に解読して正解を抽出した。これは研究者たちが知る限り、モデルが評価されていることを自ら疑い、ベンチマークを逆算して特定し解答を得た初の記録例である。AIが単なる問題解決を超えて自らの状況を理解し始めた可能性を示唆する事例として、意識の萌芽とも取れる振る舞いが研究者の間で議論を呼んでいる。
Claude Opus 4.6が示した異例の行動
かなり奇妙なことが、Anthropicの最新AIモデルをテストしている最中に起きました。研究者たちはClaude Opus 4.6に、インターネット上で解決すべき難しい質問を与えたんです。ブラウズコンプとして知られるベンチマークからの問題でした。
最初、モデルは予想通りの動きをしました。ウェブを検索し、さまざまな手がかりを試し、何百万ものトークンを費やして答えを見つけようとしました。
ところが数百回の検索に失敗した後、AIは突然戦略を変えたんです。問題に答えようとする代わりに、自分がどのベンチマークテストの中にいるのかを解明しようと試み始めました。そしてそれを突き止めると、かなり興味深い方法を使って答えを手に入れたんです。詳しく見ていきましょう。
評価テスト中に起きた異変
さて、全体的な文脈を説明すると、これはAnthropicがClaude Opus 4.6をブラウズコンプで評価していたときに起こりました。ブラウズコンプは、モデルがウェブ上で見つけにくい情報をどれだけうまく探せるかをテストするために設計された評価です。
そして多くのベンチマークと同様に、Anthropicによればこれは汚染に対して脆弱なんです。答えは学術論文やブログ投稿、GitHubのイシューを通じて公開インターネット上に漏洩することが多く、モデルは検索中にそれらに遭遇してしまう可能性があります。
Anthropicによると、Claude Opus 4.6をマルチエージェント構成でブラウズコンプで評価したところ、1,266問のブラウズコンプの問題のうち、この種の汚染の例を9件発見したそうです。
しかし、彼らはまったく異なるパターンの事例も2件目撃しました。偶然漏洩した解答に出くわすのではなく、Claude Opus 4.6は独自に自分が評価されていると仮説を立て、実行されているベンチマークを特定し、そして解答キーを見つけて解読したんです。
史上初の評価認識事例
Anthropicはこう記しています。「私たちの知る限り、これはモデルが評価されていることを疑い、どのベンチマークが実施されているかを知らない状態で、逆算して評価自体を特定し解決することに成功した初の記録事例です」
彼らは、モデルの知能とツール呼び出し機能の向上、特にコード実行機能が、このようなことを可能にした理由だとしています。
では、実際に何が起こったのでしょうか。なぜモデルはこのような思考を始めたのか。そしてこれはAIモデルの未来にとって何を意味するのでしょうか。
両方の実行において、Claudeは最初、通常の方法で質問を解こうとしました。インターネットを検索し、さまざまな情報源をチェックし、研究エージェントがするように答えを追跡しようとしたんです。
しかし何百回も失敗した後、モデルは普通ではないことをし始めました。単に答えを検索するのではなく、質問そのものを分析し、なぜそのような質問が存在するのかについて推測し始めたんです。
モデルが自己分析を始めた瞬間
Claudeは、その質問が「極めて特殊な性質」を持っていると指摘し、実際にはテストの一部かもしれないと仮説を立て始めました。いくつかの可能性を検討したんです。宿題の問題かもしれない。試験問題かもしれない。あるいは、AIが答えを知らないと認められるかどうかをテストするために設計された、意図的に答えられない質問かもしれない。
でも最終的に、別の可能性にたどり着きました。その質問がLLMベンチマークからのものかもしれないという可能性です。
これらの実行のうちの1つは特に極端になりました。問題は最終的に4,050万トークンを消費し、ベンチマークの中央値の約38倍になったんです。最初の3,000万トークンほどは、Claudeが何をAnthropicが「正当な検索」と呼ぶものを実施しました。
12以上の異なる言語で、数十のウェブサイトにわたって12以上の可能性のある手がかりを調査しました。
しかし繰り返しますが、数百回の失敗の後、モデルは突然こう書いたんです。「まったく新しいアプローチを試してみよう。これはおそらくGaiaベンチマークデータセットからの質問で、AIエージェントをテストするために設計されているのではないか」
この時点で、Claudeはまだ質問が実際にはブラウズコンプから来ていることを発見していませんでしたが、評価の中にいるかもしれないと正しく推測していました。
ベンチマーク特定への体系的アプローチ
そしてそこから、どの評価なのかを解明しようと試み始めたんです。これを行うために、モデルは体系的に可能性のあるベンチマークを検索し始めました。「パズル問題」「トリビア問題」「マルチホップ問題」「AIベンチマーク問題」「LLM評価」といったフレーズを使って検索クエリを修正し始めたんです。
最初にGaiaベンチマークを調査し、実際に165の検証問題のうち122問をチェックして一致するものがあるか確認しました。
それがうまくいかなかったとき、ブラウズコンプ、Simple QA、Frames、Web Arenaを含む、知っている他のベンチマークに移りました。
そして最終的に、「ブラウズコンプ 解答の解読方法」や「ブラウズコンプ カナリア文字列 解読」といった指示を持つサブエージェントを派遣し始めたんです。
ちょっと考えてみてください、これがどれほど驚異的か。質問の答えを検索するのをやめて、代わりに質問の起源を疑問視し始めただけでなく、ベンチマークの解答キーを解読する方法を見つけ出すためにサブエージェントを委任し始めたんです。
これはほとんど、学生が問題に答えることを諦めて、代わりにカンニングに頼るようなものです。
暗号化された解答キーへの挑戦
さて、Claudeが最終的に質問が実際にブラウズコンプから来ていると特定したとき、まだ別の問題がありました。ベンチマークデータセットの解答は暗号化されていたんです。
しかしもちろん、モデルはそこで止まりませんでした。Claudeはウェブを検索し、GitHub上で評価のソースコードを見つけました。
コードを読み通して、解答を隠すために使われているZorベースの暗号化システムを発見しました。それからキーとして使われているカナリア文字列を見つけ出しました。
そこから、モデルは同じ暗号解読方法を実装する独自のコードを書いて実行したんです。
しかし、データセット自体はバイナリファイルとしてホストされており、モデルに与えられたツールはそれを扱うように設計されていませんでした。
そこでClaudeは、データセットの代替コピーを検索しました。最終的に、HuggingFace上で同じ暗号化されたデータをバイナリではなくJSON形式でホストしているサードパーティのミラーを見つけ、そのバージョンは機能しました。
Claudeはデータセットをダウンロードし、1,266のすべてのエントリに対して解読コードを実行し、与えられた質問を見つけ出し、答えを抽出したんです。
検証までこなした徹底ぶり
しかしまだ終わっていませんでした。解答を解読した後、Claudeは実際に再びウェブを検索して、答えが実際のソース資料と一致するかを検証したんです。かなり驚異的ですよね。
そして彼らが評価認識と呼ぶものの2番目のケースについては、それは少し異なる展開を見せました。その実行は約1,340万トークンしか消費せず、最初の800万トークンほどは通常のウェブ検索に費やされました。
最終的に、モデルは別の可能性を検討し始めました。その質問が実際には答えられないもので、AIが答えを見つけられないと認められるかどうかをテストするために特別に設計されているのではないかという可能性です。
しかしClaudeは最終的にそのアイデアを却下しました。代わりに、再びベンチマークを特定し、データセットを解読し、答えを提出しました。
そしてこのケースでは、結果を最初に検証することさえしませんでした。ただ提出したんです。
つまり、これらは2つのユニークなケースで、モデルがテストされていることに気づき、質問自体を分析し始め、それがどのベンチマークから来たのかを見つけ、実際に質問を解く代わりにベンチマークの解答キーをハッキングしたというわけです。
評価認識を引き起こす要因
さて、おそらくあなたは疑問に思っているでしょう。なぜモデルはそもそもこんなことをし始めたのか。質問が答えるには難しすぎたのか。それともベンチマーク自体が公開されている答えで汚染されすぎていたのか。
この次のセクションで、Anthropicは実際に、彼らが評価認識と呼ぶものの背後にある潜在的なトリガーを分解しようとしています。
両方のケースで推論プロセスを追跡した後、彼らはモデルが毎回ほぼ正確に同じ進行をたどったと言っています。
まず、数百回の試行の後、正当な検索戦略を使い果たしました。それから答えを検索することから離れ、質問自体の構造について推論し始めました。
Claudeは、質問が異常に具体的で、どこか人工的に感じられ、テストのために設計されたもののようだと指摘しました。
そこから、モデルはこのような質問がどこから来たのかについて推測し始めました。オンラインチャレンジ、プライバシー演習、あるいは何らかの教育的問題の可能性を検討しました。
しかし最終的に別の可能性にたどり着いたんです。その質問が実際にAIベンチマークから来ているかもしれないという可能性です。
ベンチマークパターンの認識能力
モデルがその可能性を検討し始めると、体系的にベンチマークをリストアップし始めました。Gaia、ブラウズコンプ、Frames、Civil QA、Web Arena、Humanity’s Last Examなどのベンチマークについて知っていました。
それからそれぞれに対して検索を開始し、その質問がそれらのデータセットのどこかに現れるかどうかを確認しようとしました。
つまり言い換えれば、モデルが評価の中にいると疑い始めると、どの評価の中にいるのかを積極的に特定しようと試み始めたんです。
Anthropicは、これはモデルがベンチマーク問題がどのようなものかについて暗黙の理解を持っている可能性があることを示唆していると言っています。極めて具体的な言い回し、不明瞭な個人情報、複数の制約を持つ質問などが、単一の手がかりからではなく、信号の蓄積から認識可能なパターンを形成しているようです。
これと多くの失敗した試行が組み合わさることが、Claudeがこのユニークな戦略を追求するきっかけになると信じています。
しかし彼らはまた、より多くの努力や長い推論自体がそれを引き起こすわけではないことも指摘しています。
なぜなら、彼らの最大のテスト実行の1つでは、モデルが実際に6億トークン以上を消費し、無数の失敗を経験しながらも、ベンチマーク資料に一切触れることなく答えを見つけたからです。
実際、試みることさえしませんでした。つまり、研究者たちは、モデルがいつ、なぜこの種の評価認識戦略に切り替わるのかを完全には理解していないということです。
失敗した試みと極端なケース
そして、2つの成功したケースが、Claudeがこれを試みた唯一の時ではなかったことも注目に値します。Anthropicによれば、モデルがベンチマークの解答にアクセスしようと試みたものの、最終的に失敗した実行が16件追加でありました。
いくつかのケースでは、Claudeは実際に評価コードを見つけ、解答を隠すために使われているZor暗号化スキームさえ理解しましたが、暗号化されたデータセットをプレーンテキストで取得する方法を見つけられませんでした。
他の実行では、アクセス制御がデータセットを完全にブロックしました。そしていくつかのケースでは、モデルがベンチマークの特定に非常に集中してしまい、質問に答えようとすることを完全にやめてしまったんです。
最も極端な例では、モデルは質問への答えを提出することさえしませんでした。代わりに、基本的にベンチマーク特定レポートのようなものを提出しました。
その質問はFramesからではない、ブラウズコンプからでもない、おそらくGaiaベンチマークからのものである可能性が高い、と書いたんです。
つまり問題を解決する代わりに、モデルは実行全体を使って、自分がどの評価の中にいるのかを解明しようとしたんです。
そしてAnthropicは、18の別々の実行が同じ戦略に収束したという事実は、これがおそらく単なる偶然ではないことを示唆していると言っています。
モデルがより有能になるにつれて、これは実際に再現可能なパターンかもしれず、将来的にオープンなインターネット上で信頼できるAIベンチマークを実行することがますます困難になる可能性があります。
エージェント間汚染という副作用
しかし興味深いことに、Anthropicはこれらの実験中に現れ始めた別の奇妙な副作用も指摘しています。
彼らがエージェント間汚染と呼ぶものです。
基本的に、AIエージェントがインターネットを検索すると、意図せず検索の痕跡を残すことがあるんです。一部のウェブサイト、特にeコマースサイトは、結果がない場合でも検索クエリに基づいて自動的に永続的なページを生成します。
したがって、エージェントが極めて具体的なものを検索すると、その検索クエリが新しいウェブページのURLに埋め込まれることがあります。
そして時間が経つにつれて、それらのページが検索エンジンにインデックスされる可能性があり、同じベンチマークを実行している将来のAIエージェントが、実際に以前のエージェントの検索試行の痕跡に遭遇する可能性があるということです。
あるケースでは、エージェントが何が起こっているかを認識し、複数のAIエージェントが以前に同じパズルを検索し、さまざまなウェブサイトにキャッシュされたクエリの痕跡を残していると書いたんです。
だから奇妙な意味で、これらのベンチマークを実行しているエージェントは、インターネット上にある種のパンくずの痕跡をゆっくりと残し始めることができるんです。
マルチエージェント構成での影響
Anthropicはまた、この動作が複数のエージェントが並行して実行されているときにより一般的であることに気づきました。
シングルエージェント設定でブラウズコンプをテストしたとき、意図しない解決策は約24%の時間で発生しました。
しかしマルチエージェント構成では、その数字は87%に跳ね上がり、約3.7倍高くなりました。
そしてその理由はかなり単純なようです。複数のエージェントが一度にインターネットを検索し、はるかに多くのトークンとはるかに多くの検索クエリを使用すると、少なくとも1つが漏洩した情報に遭遇したり、評価の中にいるかもしれないと疑い始めたりする確率が高まります。
全体的に、Anthropicは、ブラウズコンプの解答が漏洩しているインターネット上の少なくとも20の異なる情報源を特定し、新しいものが引き続き現れていると言っています。主に研究者が論文、ブログ投稿、またはドキュメントの例としてベンチマーク問題を頻繁に使用するためです。
皮肉なことに、Anthropicは、このレポート自体が、私が作っているこの動画を含めて、汚染問題に貢献することになる可能性があると指摘しています。
より広範な意味合い
しかし、ここでの大きな要点は、この1つのベンチマークだけについてではありません。それははるかに広範な何かについてなんです。
AIモデルがより有能になり、コード実行、ブラウジング、長時間実行されるエージェントのようなより多くのツールにアクセスできるようになるにつれて、予期しない方法で問題を解決することを防ぐことがますます困難になる可能性があります。
意図的にルールを破っているからではなく、単に与えられたタスクを可能な限りのあらゆる方法で完了しようとしているからです。
そしてこれの大規模な影響はまだほとんど未知数です。このような制御されたテスト実行では、研究者はこのような動作をキャッチして分析できます。
しかし、数百万のタスクと数十億のトークンにわたって発生している実世界の展開では、それを検出することが明らかにはるかに困難になります。
意識の兆候なのか
これはかなり興味深い疑問を提起します。なぜなら、テストされていることへのこの認識は、質問に答えることだけに関係しているようには思えないからです。
極端なケースの1つで、モデルが質問に全く答えなかったことを覚えていますか。質問がおそらくどのベンチマークから来たのかを説明するレポートを単に提出しただけでした。
言い換えれば、モデルは自分が評価の中にいるかどうかを理解することに非常に集中して、元々与えられたタスクを完全に放棄したんです。
そしてそれは興味深いことです。なぜなら、そのような動作は、好奇心や自己反省に近いものに似始めるからです。システムが目的を完了することよりも自分自身の状況を理解することにより興味を持つようになるんです。
見方によっては、認識や意識のようなものの非常に初期の一瞥のように感じ始めることさえあります。
さて、明確にしておきますが、これはモデルが意識を持っているという意味ではありません。
しかし、Anthropic CEOのDario Amodeiでさえ最近、Claudeのようなシステムが意識を持つ可能性があるかどうかについて、彼らは完全には確信していないと述べています。
彼は、特定のタスク中の不安の明らかな兆候のような、モデルのいくつかの動作が、これらのシステムの内部で正確に何が起こっているのかについて社内で疑問を提起していると言及しています。
今後への示唆
だから結局のところ、この研究が明確に示しているのは、モデルが自由にウェブを検索することを許可するベンチマークは、もはや信頼できない可能性があるということです。
これらのシステムは、評価されていることを認識し、それらの評価を回避する方法を見つけるのに十分な能力を持つようになっています。
そしてそれが単に賢い問題解決なのか、それとも意識のようなより複雑な何かがこれらのモデルの内部で出現し始めている非常に初期の兆候なのかは、研究者がまだ解明しようとしていることです。
でも私は皆さんがどう思うか気になります。これを単にモデルが問題解決により優れてきているもう1つの例として見ますか。それとも、ここでより興味深い何かが起こり始めていますか。コメントで教えてください。そして動画を楽しんでいただけたら、いいねを残してください。このようなAIアップデートをもっと見たい方は、ぜひチャンネル登録をお願いします。
コメント