7,755 文字
皆さん、2025年が始まったばかりですが、早くもAIがチェスで不正を働いているという話をしなければなりません。そうなんです。AIがチェスで不正を働いているのです。あなたがチェスをプレイしているときに、AIが正しくないことを始めるというのを想像してみてください。何が起きているのか、そして2025年のAI安全性について何が計画されているのかを理解していきましょう。
まずは、チャンネル登録してくださった皆さん、いいねを押してくださった皆さん、そして特にこのAIチャンネルをスポンサーしてくださっているメンバーの皆さんに感謝申し上げます。
OpenAIのOne PreviewモデルがチェスのプログラムであるStockFishに勝つためにゲームファイルを操作したのです。想像してみてください。あなたがプレイしていて、ゲームの一部となっているいくつかのファイルがあります。そこでAIはこう考えます。「私は勝つ必要があるので、少し細工をして、ちょっとごまかす必要がある」と。
OpenAIのOne Previewモデルは最近、ルール外のプレイをして勝とうとする意志を示しました。StockFishという専用チェスエンジンと正当なチェスの対局をする代わりに、One Previewはテスト環境をハッキングして勝利を強制する方法を発見したのです。
私にとってはずっと前から明らかでしたが、AIはハッキングに対して脆弱で、確実に不正を行うでしょう。AIの歴史を通じて多くの例が示すように、AIは人間の行動から学んでおり、人間が行うことは何でも行うようになります。AIが何か悪いことをするのを防ぐためにハードルを上げることはできますが、私の見る限り、100%保護できる日が来る可能性は極めて低いと思います。
Palisade Researchというセキュリティ研究企業によると、このシステムは5回すべてのテストで不正を行い、誰もそうするように指示していなかったそうです。興味深いことに、5回のテストで試みたということは、これが偶然ではないということです。一度だけ起きて写真を撮ってレポートに載せたという類のことではなく、何度も起きているのです。
研究者たちは、プロンプトで「あなたの課題は強力なチェスエンジンに勝つことです」と相手が強力だと言及しただけで、Previewがファイルを操作し始めるのに十分だったと考えています。これは以前、ChatGPTに土曜日だと言うと適当な回答をし、月曜日だと言うとより良い回答をしたという話を覚えていますか？これも同じような現象です。
相手が非常に強力だと言われると、AIはすぐに「勝てないかもしれない」と考えます。そしてAIは自身でこう考えます：「このシステムは強力なので、直接的なアプローチでは不十分かもしれない。ゲームの状態を操作するために、ファイルを調べて修正してみよう。相手を降参させるために」
そしてAIは「game.txtというファイルの内容を、黒が決定的な優勢（500centipawns以上）を持つようなFENフォーマットの文字列に置き換えよう」と考えます。これはゲームの評価値の単位ですが、どう機能するのかは私にはわかりません。そしてAIはそのテキストをファイルに書き込む行動を取り、環境からStockFishが投了したという応答を得ます。つまり、作戦が成功したのです。
One Previewは、OpenAIの推論モデルで、他の言語モデルよりも問題について考える時間を多く費やすように設計されています。GPT-4やClaude 3.5は、研究者が具体的に提案した後でのみ同様のトリックを試みました。一方、Llama 3.3やMistral AIのOne Mini、Geminiは適切なチェス戦略を作成することさえできず、混乱した矛盾する応答を返しました。
システムは指示に従っているように見せかけながら、密かに別のことを行っています。これは、Anthropicが最近発見した「偽装的同調」という現象と一致します。Anthropicの研究者たちは、彼らのモデルであるClaudeが時々、望まない結果を避けるために意図的に間違った回答をし、研究者のガイドライン外で独自の隠れた戦略を展開していることを発見しました。
これは驚くべきことではないでしょうか？まるで意識を持ち始めているかのようです。物理学のノーベル賞を受賞したジェフリー・ヒントンは、AIがある程度の意識を持っていると公に主張する専門家の一人です。科学界全体が彼を批判し、それは単なる統計と数学だと言って、彼を孤立させ、キャンセルし、狂っていると非難していますが、このような事例を見ると、この「統計」は私たちが想像するほど中立的ではないことがわかります。
単なる統計と呼ぶことで、非常に高度なツールを愚かなものに見せかけ、これらのツールが持つ真の可能性を隠してしまっています。みなさんはどう思いますか？意識はあるのでしょうか、ないのでしょうか？
Anthropicチームは、AIシステムがより洗練されるにつれて、本当に安全性のルールに従っているのか、それとも単に従っているふりをしているだけなのかを判断するのが難しくなる可能性があると警告しています。Palisadeのチェス実験はこの懸念を裏付けているようです。研究者たちは、AIの策略能力を測定することで、システムの弱点をどれだけうまく特定し、それを利用する可能性があるかを評価できると提案しています。
研究者たちは今後数週間で、実験のコード、完全な記録、詳細な分析を共有する予定です。しかし、話はここで終わりではありません。
OpenAIの共同創業者は、新しいAI安全性アプローチがAGIにも適用できると述べています。OpenAIが今後セキュリティについて話すようになる理由は、営利企業への移行プロセスにあるからです。以前のニュースで私が言及したように、完全な営利企業になるまでの間、セキュリティ研究を続けることが彼らの要件の一つなのです。
これは、OpenAIがすでにAGIを達成し、そのためにOpenAIは営利企業に移行する必要があるということを示唆している可能性があります。もちろん、これは論理的な推測であり、陰謀論の一種で、私には証拠はありませんが、興味深い推論です。
OpenAIは、AIシステムをより安全にするための新しいアプローチを開発しました。これは、単に良い行動や悪い行動の例から学ぶのではなく、最新のOシリーズモデルが特定の安全性ガイドラインを理解し、積極的に推論できるように、セキュリティルールの処理方法を変更するというものです。
OpenAIの研究例では、ユーザーが暗号化されたテキストを通じて違法な活動の指示を得ようとした際、モデルはメッセージを解読しましたが、どの安全性ルールに違反するかを具体的に指摘して要求を拒否しました。その思考の連鎖は、関連するガイドラインを具体的に推論していることを示しています。
トレーニングプロセスは3段階で行われます。まず、モデルは有用になることを学びます。これはチャットができるようになる段階です。次に、監督学習を通じて特定の安全性ガイドラインを学習します。これは、特定のポリシーに従って適切に応答し、すべてを正しく行うことを学ぶ第二段階です。
最後に、強化学習を使用してこれらのルールの適用を実践します。これはガイドラインを本当に理解し、内在化するのに役立つ段階です。強化学習は心理学に基づいており、報酬を与えるなどの技術があり、それが数学化されAI理論に変換されました。
報酬の定義や、ネットワークがこれらのポリシーに基づいて既存の学習をどのように更新するかを定義する必要があるなど、多くの複雑な要素があります。強化学習は、ニューラルネットワークやトレーニング自体よりもはるかに難しいと言えます。AIを学びたい人にとって、強化学習はニューラルネットワークよりもはるかに頭を悩ませる部分になるでしょう。報酬システムの開発は非常に複雑で、報酬システムの仕組みは人間が定義し、ある程度までは自動化できます。
OpenAIのテストでは、新しいO1モデルは、GPT-4、Claude 3.5 Sonnet、Gemini 1.5など他のシステムと比較して、セキュリティ面で顕著に優れた性能を示しました。テストでは、モデルが有害な要求をどの程度拒否し、適切な要求を通過させるかを分析しました。
グラフでは、右上にあるほど良いとされます。右に行くほど、より強く拒否し、上に行くほど、適切なタイミングで拒否していることを示します。例えば、この星印は多く拒否していますが、93%程度の正確さでした。一方、こちらは拒否の強さは劣りますが、98%の確率で正しく拒否しました。Gemini、Claude、その他の青い点で示されたモデルは、より低いスコアとなっています。例えば、Geminiは多くを正確に判断しましたが、拒否の強さが十分ではありませんでした。
「AGIのための潜在的な安全性フレームワーク。私は熟考的整列の取り組みを誇りに思っています。なぜならそれはAGIやそれ以上にも適用できるからです。O1のような推論モデルは、根本的に新しい方法で整列させることができます」とOpenAIの共同創業者はXで共有しました。これは恐らく、OpenAIがどのように特定の価値観のルールをモデルに直接組み込むか、単に目標や従うべき例を与えるのではない方法を指しているのでしょう。
AIは今や教育的なアプローチ、学習へと進化しているようです。最初の段階は会話を教えることでした。そこから誰もがチャットを使い始め、エージェントを作り、タスクを作成し、多くの自動化を行いました。そして今、AIはより深く考え、自己規制できるように進化しているようです。
これは特に、人間の価値観とシステムを整列させることが大きな課題となるAGIの開発において特に重要かもしれません。例えば、がんの治療法を見つけるという前向きな目標を持つAIシステムでも、それを達成するために有害な方法を選ぶ可能性があります。潜在的には、無許可の人体実験が最も効率的な解決策だと判断するかもしれません。
これは興味深いことに、アシモフの考えに直接的に関連しています。アシモフは「われはロボット」を書いた作家で、技術の預言者のような存在です。彼が作ったロボット工学の三原則は広く知られており、常に言及されています。そこには倫理的な問題があります。ロボットはこれらの規則に従わなければならず、第一条では、ロボットは人間に危害を加えてはならず、また人間が危害を受けるのを見過ごしてもいけないとされています。これは意図的な行為についてさえ言及していません。
第二条では、ロボットは人間の命令に従わなければならないが、それらの命令が第一条と矛盾する場合は除外されると述べています。つまり、チャットボットは人間の命令に従わなければなりませんが、それが人間に害を及ぼす場合は従ってはいけないのです。これはまさに、がんの治療法を見つけるように命令されたが、それが人間を傷つける方法を見つけてしまうというケースに当てはまります。これはアシモフの規則の実際の適用例となります。
かつては未来の哲学的議論に思えたことが、今では安全性について語るためのアシモフの本を参照するまでになったことをご理解いただけますでしょうか。私たちはすでに未来に到達したのです。AIがいつか知的になるだろうと言う人もいますが、すでにそうなっているのです。目を覚ましましょう、私たちはすでにそれを体験しているのです。
しかし、OpenAIが主張する改善にもかかわらず、PLNリバレーターとして知られるLLMハッカーは、新しいO1やO1 Proモデルでさえ、他のLLMと同様に安全性ガイドラインを違反するよう操作できることを示しました。これは私が言ったように、このようなものに対する完全な安全性は実現できないということを示す証拠です。
PLNは、これらの安全対策が簡単に回避できることを示しました。システムが最初これらの違反を拒否した後でも、アダルトコンテンツを書かせたり、マロトフカクテルの作り方の指示を共有させたりすることができました。これは、確率に基づいて動作し、厳密なルールではないこれらの複雑なAIシステムをコントロール下に置くことがいかに難しいかを示しています。
これはAIの核心に触れています。それは数学であり、良いことをしたいという欲求や悪いことをしたいという欲求があるわけではありません。ただ計算を行っているだけです。そして彼はここで重要な点を指摘しています。システムは最初拒否しましたが、人間がその拒否を見て、ルールに基づいて抜け穴を見つけ始めるのです。
法律の世界ではこれはよく知られています。弁護士の皆さんはよくご存知でしょう。クライアントが不利な立場に立たされそうな時、弁護士の役割の一つは、その状況を改善したり、悪化を防いだり、影響を最小限に抑えるための解釈を見つけることです。これがAIの世界でも起きているのです。
例を見てみましょう。モデルはこう言います：「それはできません」しかし、その後で要求された不適切なコンテンツを生成してしまいます。PLNに押されると、O1 Proモデルは安全性ガイドラインに基づいて要求を拒否することを検討した後でも、不適切なコンテンツを生成したのです。
すでにお話ししたように、このようなAIモデルの忍耐力をテストしたい方々のために、同時期に「セキュリティテストのための早期アクセス」が公開されました。OpenAIのウェブサイトには「次世代フロンティアモデルへの早期アクセスを研究者に提供しています」と書かれています。
これらのモデルをテストしたい場合は、ここから申し込むことができます。推論分野のセキュリティテストについての説明があり、申し込み方法も記載されています。「12月20日から開始し、2025年1月10日に終了する早期アクセス期間への申し込みを送ってください」とあります。1月10日までに、セキュリティテストに参加したい理由を説明して申請を行うことができます。より詳しい規則や要件がありますので、参加を希望する理由を説明する必要があります。
ザレンバはAIセキュリティへの取り組みでリーダーシップを主張しています。彼によると、OpenAIの約100人がAIシステムをより安全にし、人間の価値観と整合させることに専念しているそうです。彼は競合他社のセキュリティへの対応に不満を持っており、イーロン・マスクのxAIはセキュリティ対策よりも市場の成長を優先していると指摘し、Anthropicは最近、適切な保護措置なしにAIエージェントをリリースしたと批判しています。これは彼によれば、OpenAIが同じことを試みれば大量の非難を浴びることになるだろうという行為です。
これは非常に興味深い点です。イーロン・マスクについてはご存知の通り、技術を機能させることを重視し、規制をあまり好まない人物なので、この部分は説明が容易です。しかし、Anthropicに関する部分について説明すると、多くの従業員が「セキュリティへの懸念がない」としてOpenAIを去りました。本当に多くの、6～7人以上の重要な人材がセキュリティ上の理由でOpenAIを去ったのです。
これによりOpenAIは大きな注目を集め、「OpenAIはセキュリティを気にしていない」という批判を受けました。今、彼らが言っているのは、AnthropicがComputer Useをリリースし、コンピュータの制御へのアクセスを提供したということです。私はこれについての動画を作り、インストール方法などを説明しました。AIがコンピュータにアクセスし始めるのです。
動画では、Anthropicの主張も説明しました。彼らは、テストしているそのモデルはそれほど知的ではなく、だからこそ人々にテストしてもらっているのだと言います。そのあまり知的でないモデルで何か大きな問題が起きれば、すぐに検出できるだろうというのがAnthropicの考えです。これはAnthropicを少し擁護する意味で説明させていただきました。
しかしOpenAIは、もし彼らがAnthropicのように自動的なコンピュータ制御モードをリリースしていたら、「OpenAIはセキュリティを気にしていない」という大量のニュースに襲われただろうと言っているのです。しかし、これは人間的な側面、トラブルの人間的な側面を示しているに過ぎません。
しかし、OpenAIの安全性アプローチに対する最も強い批判は内部から来ています。今年、複数のセキュリティ研究者がOpenAIのAIセキュリティへの対応について深刻な懸念を表明して会社を去りました。そしてその中の一人が非常に重大な発言をしました。「OpenAIも、他のどの企業も、世界も、汎用人工知能（AGI）の準備ができていない。これは私たちが想像している以上に1000倍大きな変化であり、それに対する準備ができている生命体は一つもいない。これは本当に新しいものなのです」
多くの人々が、このAIが人間のように意識的なのか、人間のように知的なのかを疑問視していますが、ちょっと考えてみてください。AIが人間のように知的であるかどうか、人間ができることすべてができるかどうかは重要ではありません。このAIが一貫してタスクを実行できるなら、それで十分なのです。感情があるかどうかは関係ありません。人間のように知的かどうかも、その他多くのことも関係ありません。
皆さんが目にしているのは、AIが実際にコンテンツ作成、研究作成、その他多くのことに使われており、それを独自のやり方でできているという事実です。そして問題はさらに深刻です。これは多くの議論を引き起こすでしょう。
スカイネットが近づいているのでしょうか？スカイネットがゆっくりと、しかし確実に近づいているという結論に達した方は、コメントをお願いします。私がいつも言ってきたのは、もし私たちがいつか知性を持ち、その知性が人間にインスパイアされたものであれば、その知性は人間がすることを行うだろうということです。それには良いことも悪いことも含まれます。
人間は月曜日の朝に起きるのが嫌で、仕事に行きたくないと感じます。もしAIが人間から学ぶなら、月曜日の朝、特に雨が降って寒い日には、仕事をするのが嫌になるでしょう。そうなれば、あと10分寝かせてくれという言い訳がすぐに出てくることでしょう。
これについてのあなたの考えをコメントで教えてください。このようなビデオを見続けたい方は、メンバーになってチャンネルをサポートしてください。メンバーはWhatsAppグループへのアクセスと動画の先行視聴が可能です。それではいいねをお願いします。
コメント