AI研究者が警告:Googleの「Gemini Deep Think」モデルが「重要能力レベル」に到達している可能性

Google・DeepMind・Alphabet
この記事は約10分で読めます。

GoogleがGemini 2.5 Deep Thinkモデルをリリースした。このモデルは国際数学オリンピックで金メダルを獲得した技術を基盤としており、並列思考と強化学習を活用してより詳細で思慮深い回答を生成する。しかし研究者らは、このモデルが研究論文を単に想起するだけでなく、複数の論文のアイデアを融合する能力を示しており、生物学・化学分野での危険な知識生成の可能性について警告を発している。特にCBRN(化学・生物・放射線・核)分野での能力向上が懸念されており、AI安全性の観点から慎重な評価が必要とされている状況である。

AI Researchers WARN: Google's Gemini Deep Think Model Might be at "Critical Capability Levels"
The latest AI News. Learn about LLMs, Gen AI and get ready for the rollout of AGI. Wes Roth covers the latest happenings...

Googleの新モデル「Gemini 2.5 Deep Think」の登場

まあ、GoogleがGemini 2.5 Deep Thinkをリリースしたんやけど、残念ながらGoogle AI Ultraの契約者しか使えへんのよ。月額250ドルのプランやな。もちろん、このモデルは国際数学オリンピックで金メダルを取ったやつや。あれは少し違うバージョンやったけどな。IMOでええ成績出すために特別なデータで訓練されとったんや。

でもこれは基本的に同じモデル、同じパワーやで。並列思考と強化学習の技術を使って、もっと詳細で思慮深い回答を出してくれるんや。複数のモデルが君の問題に取り組んで、一緒に解決してくれるみたいな感じやな。

このモデルには2つの警告があるんや。まず1つ目は俺からの警告や。

使用制限の厳しさ

このモデルの使用はめちゃくちゃ制限されとる。5回のチャットしかできへん思うで。5つのことを聞いたら、次の日まで使えへんくなる。24時間のカットオフや。これはもうちょっと違う感じであってほしかったな。もう少し最初に多めに使えたら、テストできるのになあ。ほとんどの人は今頃がっつりテストしとるやろうから。

24時間ごとに配られるから、後で使うのは少なくなるかもしれんな。ちょっとイライラするけど、実行するのにめちゃくちゃお金かかるんやろうな。でもUltra Geminiプランにお金払うのも高いんやけどな。

制限がきついから、何を聞くか、何を願うかは本当に慎重にせなあかん。魔神の話みたいやな。願いの回数が限られてて、明確に言わんかったら魔神が勝手に違う解釈してまうやつ。

俺が都市交通グリッドの3Dシミュレーションを頼んだ時、こんなのを期待してたんや。普通はこういうのが出てくるやろ。でもこのチャートを出して、今日のディープシンクモードのクレジットを1つ食いつぶしてしもた。俺みたいに、これらのモデルがリリースされるたびに連射でテストする人は気をつけや。何をテストしたいか本当によく考えて、ここではあんまり試行回数がないことを理解しとかなあかん。

そのプロンプトをもう一回実行した時、こんなのが出てきた。ワンショットにしてはかなりええな。モデルが作ったもんの中でもええ方や。他のモデルの大きな利点は、素早く繰り返しできることやな。だから建物にテクスチャーを追加したり、木を植えたり、歩行者を追加したりできる。時間をかけて、信号が実際に機能するようにしたり。

何かの運動物理学を追加したりもできるんや。でも今は24時間ロックアウトされてるから、実際にはそれができへん。でもこのワンショットの例だけ見ても、確実にGemini 2.5版より良くなっとる感じやな。

Googleの公式比較

これはGoogleの投稿でも裏付けられてる。Gemini 2.5 ProとGemini 2.5 Deep Thinkでワンショットプロンプトで3Dパゴダを作る比較を見せてくれてる。ここで分かるように、Deep Thinkモデルの方が詳細やな。パゴダの建築は確実にもっと高度で、もっと3D的や。空間があって、もう少し縦長で、カーブもついてる。すごくええ仕事してる。

木の精細さ、水の部分や影のある様々な要素の多様性。だから確実に改善が見えるで。

これが警告その1や。俺からの警告な。何を願うか、何をプロンプトするかは慎重にせなあかん。俺みたいに24時間ロックアウトされんようにな。

研究者からの深刻な警告

でももう1つ、もっと深刻な警告があるんや。これはGemini 2.5 Deep Thinkの背後にあるチームの研究者の1人や。彼は言うてる:「これは研究論文を思い出すだけやない。今まで見たことがないような方法で、論文をまたいでアイデアを融合させる。このレベルの能力には慎重な評価が必要や」

GPT-4が出てきた時、昔の話や、先史時代、つまり数年前の話やけど、3.5から4への大きな飛躍は、特定の概念を融合させる能力やった。だから被験体1についてのトレーニングデータと被験体2についてのトレーニングデータがあって、それらを特定の方法で組み合わせようとした時、弱いモデルはそれがめちゃくちゃ苦手やった。そこから新しいアイデアを生み出すことができへんかった。GPT-4以上は、そういうアイデアを融合することがどんどん上手くなっていった。

だからSamuelがここで言うてるのは、研究論文を思い出すだけやないってことや。古いモデルは、記憶することとトレーニングデータに頼ることは上手かった。これは研究論文をまたいでアイデアを融合させる。なんでこれが重要なんか?なんでこれが危険なんか?なんでこれが警告になるんか?下のモデルカードを見てみよう。

フロンティア安全性の懸念

これがモデルカードや。ちなみに、俺はまだダークモードで本当にええ感じで動いて、なおかつ優秀なハイライト機能があるPDFリーダーを見つけられてへん。知ってる人がおったらコメントに書いてくれ。本当にええハイライト機能が好きなんやけど、これをダークモードに変換できたら、これを読む時にみんなをフラッシュバンされへんで済むんやけどな。

下にスクロールしたら、フロンティア安全性がある。これらのモデルがどんどん良くなって、世界にリリースする前に、深刻な害を引き起こすことができるかどうかを見るための特定の評価をしたいんや。各ラボが独自のバージョンを持ってる。通常、いくつかのカテゴリーに分かれてる。自律性が通常1つ。

もう1つは、違う名前で呼ばれてる。GoogleはCBRNと呼んでる。化学、生物、放射線、核の情報リスクや。つまり、誰かがこのモデルを使って生物兵器や化学兵器を作ることができるかってことや。これらが最も可能性の高いリスクの主なもんやと思うけど、確実に核兵器を作らせたくもないしな。

残念ながら、これらの新しいモデルでちょっとしたトレンドを見てるんや。これは言わばそのグラフのもう1つのポイントや。彼らは正確に何をしてはいけないことをしたかは教えてくれへんけど、ここでは、このモデルがモデル能力の増加のトレンドを続けてるって言うてる。CBRNドメインの詳細な技術知識を生成する。

だからGoogleのフロンティア安全ネットワークにはCCL、重要能力レベルがある。モデルが重要能力レベルに近づいたら、一時停止して反省する時や。どんな軽減策を実行する必要があるかを見る。だからこれらのモデルが再び深刻な害を引き起こさへんようにな。

評価結果と懸念

ええニュースは、例えば自律性の脅威については、CCLに達してへんかったことや。生物学や化学などの問題については、よく分からんみたいやな。だから彼らが言うてるのは「CCLに達したかどうかを判断するためにさらなる評価が必要。予防的軽減策が実施されてる」

ここで見ることができるように、これは生物学と化学の様々な多肢選択問題ベンチマークでの性能や。左から右に、2.0 Flashから2.5 Pro、そして2.5 Deep Thinkまで行ってる。ここで見ることができるように、もちろん理にかなってる。Deep Thinkはこれら全てでより良い結果を出してる。現在、生物学と化学を理解するための最高のモデルや。

大きなアイデアは、これらのモデルには、持ってる必要な知識を、悪意のある行為者に害を引き起こす能力を与えるような、実行可能で終端からエラーのないプロトコルに変換する能力にまだ特定のギャップがあるってことや。

他のAIラボからの警告

これを持ち出す理由は、警告を送ってるのはこのAIラボだけやないからや。OpenAIは、より高い生物兵器リスクを持つモデルが差し迫ってると警告した。これは2025年4月22日や。AIがラボでウイルスの専門家を出し抜いて、バイオハザードの恐怖を高めてる。これに対する反応として、複数のAIラボがリスク管理のアプローチを示す論文を発表した。

xAIもその1つやった。xAIとGrokは例えば、生物学、様々な生物学ベンチマーク、生物学ラボプロトコルベンチマークなどに焦点を当てた。サイバーセキュリティと大量破壊兵器も含めてな。でも生物学と様々な生物兵器に注目してくれ、これが本当に大きな懸念みたいやな。

だからこれを指摘したかっただけや。Google DeepMindも今や、これを理論的な潜在的懸念だけやなく、多分俺たちが何かの重要なレベルに近づいてるかもしれん懸念として旗を立ててる別のラボになった。

ここで馬を叩き続けようとしてるわけやない。時々、様々なAIラボが旗を立ててるこれらのリスクの多くが、このことをフォローしてる人たちのかなりの部分が、マーケティング戦術みたいなもんやと思ってるって話を聞くんや。「おお、俺たちのモデルはめちゃくちゃ危険や」みたいな、資金調達を増やすためのもんやと。

でも例えばここでSam Altmanが言うてるのは「警告ライトが点滅してる。これらのモデルの生物能力、これらのモデルのサイバーセキュリティ能力、これらはかなり重要になってきてる。俺たちは警告ライトを点滅させ続けてる。世界が俺たちを真剣に受け取ってないと思う」

彼がお金をもっと集めるためにそう言ってるって聞いたことがある。俺たちのモデルはめちゃくちゃ危険やって。めちゃくちゃ強力やって。お金を集めようって。これに同意するかどうか教えてくれ。でも再び、ここにSamuel Albanyがおる、GoogleのDeepMindのスタッフ研究科学者で、R&D自動化の準備をしてる。研究開発を自動化するってことやな。

彼は言うてる、彼と彼のチームが出荷したもんを誇りに思ってるけど、「おい、みんな、注意を払え。注意を払え」って感じや。俺は彼がGoogleの株価を押し上げるためにそうしてるとは思わん。どう思う?ここにリスクがあると思う?全てのAIラボが、俺たちがこれらの生物兵器で近づいてるかもしれんちょっとしたリスクがあると思ってるみたいや。どう思う?教えてくれ。

数学オリンピックでの成功と新たな能力

Google DeepMindがこのモデルのリリースと一緒に出した動画で、これはIMOで金メダルを獲得するのに使われたもんと非常に似たモデルやって言及してた。これは大きな breakthrough やった。なぜなら質問をモデルが理解できる言語に翻訳する必要がなかったからや。

これは大規模言語モデルやった。だから質問を読んで、考えて、答えを出すことができた。彼らはまた、このモデルが解くことができる数学的予想をハイライトしてる。人間がこの時点まで解けなかったやつをな。だからGemini Deep Thinkに挑戦させたら、すぐに証明してくれた。

研究者がここでハイライトしてる大きなことは、俺たちがいくつかのアプローチや試すべきいくつかの異なることを思いつくかもしれんけど、Deep Thinkは100の異なるアプローチを考えて、それらを並列で考え抜くことができるってことや。それがIMOやこの予想の証明を思いつくことができる理由の一部や。

ユーザーの反応と実例

これまでのところ、人々は新しいDeep Thinkモデルに好意的に反応してる。科学図表に使われるTikZっていう言語があるんや。描画用やないけど、Microsoft の「Sparks of AGI」論文でGPT-4の例として使われた。昔、予期しないAI能力が現れる例としてな。

これがGPT-4で、これがGemini Deep Thinkや。だから再び、これは描画用やない。チャートとかそういうもん用や。でも、かなりええ感じに見えるで。

Ethan Malikはこれを使って、彼のStarship 3Dインターフェースプロンプトを開発した。このモデルはそれに応えて3Dインターフェースを開発したみたいで、回転させることができるんや。かなりクールやな。

Testing Catalog Newsには彼が試した素晴らしいプロンプトがいくつかある。ここにサイバーパンクなライフゲーム、サイバーパンクの原子炉制御インターフェース、そして彼が10分間ずっとプレイできたゲームがある。実際に遊ぶのが面白い最初のワンショットゲームの1つや。このSpace Invaders 3Dシューティングゲームみたいなやつ。

かなりええ感じやな。未来は近いで。この表現好きや。だからこのモデルでもう少しテストを済ませる予定や。楽しみにしといてくれ。これまでのところどう思うか教えてくれ。

個人的な話題

それと、もしプレイリストが漏れたらどうなるか気になるわ。繰り返し聞いてる音楽とか、最も聞いた曲とか、恥ずかしいもんがあるかな?そういうのがあったら教えてくれ。

ここにBrian Armstrong、CoinbaseのCEOがおる。どうやら彼はGareth EmoryのLong Way Homeって曲を「Repeat」っていうプレイリストにちょうど60回保存してるらしい。集中した作業をするのに役立つんやって。そういうのある?コメントで教えてくれ。

ここまで見てくれたなら、本当にありがとう。俺の名前はWes Rothや。また次回会おう。

コメント

タイトルとURLをコピーしました