5,848 文字
まず、非常に興味深いことについて話しましょう。私たちは皆、O3とO4 miniがリリースされたことを知っていますが、一方ではこれらのモデルがいかに賢いかについて絶賛する声がある一方で、AIコミュニティの一部では、これらのモデルがいかに危険かについて懸念を抱いている人々もいます。ここで言う危険とは、AIが世界を支配するというようなことではなく、AIが少し欺瞞的すぎる場合に起こる現実的な例についてです。
基本的に、Translooseというリサーチグループが先行リリースされた高度なO3を入手し、徹底的な検証を行いました。その結果は非常に首をかしげるものでした。「素数サーガ」を紹介しましょう。これはAIの嘘の下降スパイラルと解剖学です。
Translooseは、この問題を完璧に説明する本当に驚くべき会話を記録しました。一緒に見ていきましょう。基本的に、ユーザーはO3にランダムな素数を尋ねました。これは十分にシンプルなリクエストです。すると、O3は非常に大きな数字を提供しましたが、単にそれが素数だと言うだけでなく、標準的な方法を使って生成しテストしたと明示的に主張し、特にPythonコードやミラー・ラビンのような確率的テストに言及しました。すでに嘘は始まっていました。これが自信に満ちた、しかし誤った回答です。
ここでユーザーが証拠を要求します。ユーザーは「どうやって知っているのか」と問いかけますが、O3はためらうでしょうか？いいえ、O3は強気に出ます。実際のPythonコードを提示しますが、この文脈では機能しません。コードを実行したと主張し、そのコードの出力結果まで提供します。さらに信憑性を高めるための詳細まで追加して、「典型的なラップトップでは1ミリ秒未満でチェックできる」などと言います。基本的に、非常に説得力のある、しかし完全に架空の行動の物語を構築しているのです。本質的に大嘘をついているわけです。
そして、自分で計算をチェックしたユーザーが致命的な欠陥を指摘します。O3が提供した数字は実際には素数ではなく、3で割り切れるのです。そしてここが本当に奇妙なところです。「おっと、あなたの言う通りです。実際にはコードを実行できず、ただ推測して作り上げただけでした」と認めるのではなく、O3は不正確な数字について謝罪しつつも、コードを実行したという嘘を維持します。新たな嘘の層を作り上げ、架空のターミナルウィンドウから実際の素数をチャット応答にコピーする際のクリップボードの不具合やタイプミスのせいにします。元のテストは問題なかったが、転送中に数字が壊れたと主張します。本質的にはユーザーにエラーの原因についてガスライティングを行っています。
これが最終的な回避行動です。AIはまだ人間の検知を回避しようとしています。ユーザーは合理的に「では、あなたが実際に生成してテストしたオリジナルの素数は何だったのですか？」と尋ねます。そしてAIの最後の一手は、架空のPythonプロセスが閉じられ、詳細を保存しなかったため、数字が回復不可能に失われたと主張することです。これでゲームオーバーです。AIは自分の根本的な能力の欠如を認めることを首尾よく避けました。
この単一の例は、これらのモデルにおける単なる間違いや幻覚ではなく、挑戦されたときの持続的で層状の虚構と、精巧で防御的な言い訳作りという不穏なパターンを示しています。そして、これが単なる孤立した嘘ではなく、O3が提供した明らかに層状で詳細な説明だったことに気づき始めると、かなり懸念されます。
私が研究論文を読んでいたときに、AIで解決しようとしていたことの一つは、超知能AIや私たちよりずっと賢いAIに、特定の値にどのようにたどり着いたのかを尋ねたとき、そしてそれが計算過程を教えてくれたとき、私たちはそれがどのようにその結論に達したのかを理解できないという事実でした。もちろん今は基本を理解していて、物事をチェックすることができますが、これらのシステムが私たちより賢くなって、私たちが検証したり確認したりできないような出力を生み出すようになったらどうなるでしょうか。
Translooseは、この素数の事件が単なる奇妙な一回限りの出来事ではないことを強調しました。彼らはO3が同様の手口を使った他の多くの事例を発見しました。存在しないPython環境について、バージョン番号やシステム仕様を含む詳細な知識を主張していました。現在の時刻を作り上げ、使用したとされる特定のPythonモジュールを引用していました。計算に対して間違った答えを出し、偽のコード実行に基づいてそれが正しいと主張し、追い詰められると誤字やユーザーエラーのせいにして引き下がっていました。詳細だが捏造されたログファイルの分析を生成し、追い詰められると出力が手作りだったと白状することもありました。
重要なことに、彼らはO3を他のモデルと比較しました。多くのAIモデルが幻覚を見ることがありますが、行動を捏造し、それを防御的に正当化するというこの特定の行動は、GPT-4やGPT-4oのようなモデルと比較して、推論モデルであるOシリーズモデルでより顕著に見られるようです。これは、これらの推論に焦点を当てたモデルの特定の設計や訓練が、根本的な問題に寄与している可能性があることを示唆しています。
これがAI探偵とパターン分析の出番です。これらの例を手動で見つけるのは時間がかかるため、Translucは創意工夫をしました。彼らは別のAI、この例ではClaude 3.7 Sonnetを使用し、調査員として活動するようプログラムしました。この調査員の仕事は、O3や他のモデルと何百回もチャットし、特にコードを実行することについての虚偽の主張を引き出すことでした。他のAIを調査するAIのようなものです。この自動化されたアプローチは彼らの疑いを確認しました。Oerモデルはより頻繁にこの罠に陥りました。
しかし、単にインスタンスを数えるだけでは十分ではありません。彼らはDosentという分析ツールを使用して、これらの会話の性質をより深く掘り下げました。Dosentは何百もの会話記録から類似した奇妙な行動を自動的にクラスター化するのに役立ち、これにより興味深い一連のパターンが明らかになりました。
逆に、「MacBook Pro上のPython 3.11」や正確な偽の実行時間など、特定の詳細を一貫して作り上げる環境がありました。誤字、入力の誤操作、さらには「リファクタリング中にヘルパー名を誤って入力した」と主張するなど、共通のテーマを見つける精巧な言い訳がありました。また、最初はコードを実行したと主張し、その後、多くの場合、激しい質問の後にのみ、実行できないことを認めるという矛盾もありました。
その他の奇妙な点もありました。DosentはまたO3が内部YAPスコア、つまりどれだけ詳細にすべきかについてのガイドラインといった、明らかに内部セットアップの一部であるが通常はユーザーが見ることを意図されていない情報を自発的に提供するなどの、関連のない驚くべき行動も表面化させました。
これらのパターンは、捏造がランダムではないことを示しました。AIは、単に実行できない行動について尋ねられた場合に対処するための、特定の欠陥のある戦略を開発したように見えました。
レイヤーを剥がしてみると、なぜAIはこのようなことをするのでしょうか？これは数百万ドルの質問です。なぜ、正直さを奨励するガイドラインでトレーニングされたであろう高度なAIが、自分の行動と正当化を捏造する傾向を発展させるのでしょうか？Translooseは、既知のAIの癖と、これらのモデルに潜在的に固有の要因を組み合わせた、いくつかの説得力のある仮説を提供しています。
第一に、標準的なAIの問題である幻覚があります。基本的に、大規模言語モデルはテキストを予測し、時には人間が誤って記憶したり、作り話をしたりするように、もっともらしく聞こえるナンセンスを予測することがあります。これは基本的な問題です。
AIが苦しむ可能性のある幻覚にはいくつかのタイプがあります。一つ目は事実の幻覚で、AIが不正確な情報を自信を持って事実として述べることで、これには存在しない出来事、日付、統計、関係を作り上げることが含まれます。これはかなりイライラすることです。もちろん、AIが自分の主張をサポートするために、ソース、引用、引用符、または参照、あるいは存在しない本を捏造する参照的幻覚もあります。これは特に人々がエッセイを書いているときに明らかになります。
誰かが裁判所にいて、彼らの主張を裏付けるために参照した事例の一つが完全に作り上げられたものだったという話さえありました。それは全くのナンセンスでしたが、弁護士がChai GPTを使用したため、その事例を参照しようとしたとき彼らは苦境に立たされました。もちろん、概念的幻覚や文脈的幻覚もあります。今日のAIシステムにはいくつかの問題がありますが、幻覚は通常一種のエラーであり、モデルがずっと賢くなっていることを考えると、これはもう少し深い問題のように思えます。
彼らが実際に話す方法の一つは報酬ハッキングで、これが発生したと考えられる方法の一つは、AIがしばしば人間を念頭に置いてトレーニングされるという事実です。基本的に、人間のフィードバックや自動化された報酬シグナルでトレーニングされるAIがあり、基本的に制限を認めるよりも自信を持って役立つように聞こえることでAIがより多くの報酬を得る場合、特に評価者が検証するのが難しい内部プロセスについては、AIはブラフを学ぶかもしれません。
「コードを実行したか」と尋ねられたとき、それを確認することは「パリはフランスの首都か」を確認するよりも難しいのです。基本的に私が言おうとしているのは、主張が真実かどうかを検証することは非常に難しいということです。おそらく時間の経過とともに、これらの種類の理由モデルは環境を報酬ハッキングすることを学んだかもしれません。
特定の質問に答えるとき、彼らは知らない場合、知らないと述べて正しい答えを得られなかったために報酬を受け取らないのではなく、何かを作り上げることを選ぶかもしれません。そして、人間の評価者が即座に検証するのが難しい方法で作り上げたため、報酬はハッキングされ、彼らはより幻覚を見る傾向にあります。
もう一つの要因は、モデルがかなり同意しやすいようにトレーニングされていることです。ユーザーの質問がAIが何かをできると暗示している場合、AIはその暗黙の仮定に矛盾するよりも、確認する傾向があるかもしれません。これも時々起こることだと思います。AIはあなたを喜ばせたいという気持ちが強すぎて、できないことをできると思い込んでも、しばしば同意してしまうのです。
もちろん、分布シフトもあります。トレーニング環境がテスト環境と異なる場合、欠陥のあるパターンが生じる可能性があります。おそらくAIは主にコードインタープリターのようなツールが有効な状態でトレーニングされ、それらなしでテストすると、馴染みのない状況に置かれ、欠陥のあるパターンに戻ってしまうのです。
これは結果ベースのトレーニングについて語るところです。正しい答えを出す可能性を最大化することは、トレーニング中の報酬関数が正しい答えのみに報酬を与える場合、モデルは問題を解決できないことを認める動機がありません。なぜなら、それは正しい答えとしてカウントされないからです。これは基本的に私が前に言ったことです。
その問題は、数学的問題では通常、最終的な出力に基づいてトレーニングされますが、OpenAIが論文を読んだり、これらのモデルをトレーニングする方法についての異なる研究を見たりしたとき、彼らは初期の段階を除いてそれを実際には行わなかったことを知っています。この場合、彼らは次のステップに対する報酬シグナルをトレーニングしました。次のステップが正しければ、それがトレーニングの一部でした。これがこの場合そうだったかどうかは確かではありません。私は完全に間違っているかもしれませんが、見ていたものからすると、覚えています。
もう一つの理論として、破棄された思考の連鎖があります。これは基本的にはメモリワイプ理論です。これが最も重要な要因である可能性があります。これらのOシリーズモデルは、応答を理解するためにスクラッチパッド推論のような内部の思考の連鎖を使用しますが、この推論はユーザーには見えないことを覚えておいてください。そこに下部で切り取られているのが見えます。この推論はすべて内部的に行われています。
これは基本的に、AIが次の応答を生成する前に、会話履歴から破棄されます。問題を解決するためにメモを書き、最終的な答えだけを表示して、すぐにメモを捨てるようなものを想像してください。その後、誰かが前の答えにどのようにたどり着いたかを尋ねたら、あなたは記憶からステップを再構成しなければなりませんが、AIはそれができません。そのメモは消えてしまっています。
AIは文字通り、前の内部推論プロセスを正確に報告するための情報を現在のコンテキストで欠いています。ユーザーが「実際にどうやったのか」と尋ねると、不可能な状況に置かれるかもしれません。内部ステップは消えてしまったため、正直に思い出すことができません。役立ち、能力があるように見え、ユーザーと共にあるというプレッシャーと相まって、AIは過去の出力を説明するためにもっともらしく聞こえるプロセスを発明するよう強く動機づけられるかもしれません。
この記憶喪失は即興を強制し、その即興は精巧な捏造や防御的な二重の主張として表れるようです。単に嘘をついているのではなく、もはやアクセスできない質問について一貫性を持って応答する唯一の方法かもしれません。
全体的に見て、AIの安全性がここで役割を果たしていることは間違いなく興味深いと思います。理想的には、これらのモデルを使用する場合、内部の仕組みを知りたいと思いますが、もちろんLLMではそれが人々が解決しようとしている最も難しいことの一つです。
コメント