本動画では、Carnegie Mellon大学の最新研究を基に、大規模推論モデルがRAG(検索拡張生成)による証拠をどのように処理するかを検証している。複数の矛盾する文書群に対して、AIが論理的統合ではなく「多数決ヒューリスティック」に依存し、繰り返される主張を事実ベースの証拠よりも重視する実態が明らかになった。さらに、Johns Hopkins大学の研究と組み合わせることで、Chain of Thoughtが推論の本質ではなく、AIの欠陥を覆い隠すための「表層的な説明レイヤー」に過ぎないという衝撃的な事実が浮き彫りになる。大規模モデルほど新証拠への適応が困難で、かつ変更理由について説得力のある虚偽の説明を生成する能力が高いという、AIシステムの深刻な構造的問題を指摘している。
AIの推論能力に潜む深刻な欠陥
コミュニティの皆さん、こんにちは。お帰りなさい。今日は、AIに見られる亀裂と、Chain of Thoughtを使ってそれらの亀裂を覆い隠せるのかについてお話しします。早速見ていきましょう。私のチャンネル「ディスカバリー」へようこそ。最新のAI研究論文を見ていきます。
前回の動画では非常にシンプルな質問を投げかけました。AIを信頼できるのか、と。その結果は本当に驚くべきものでした。今日は全く違う質問をします。大規模推論モデルがあって、RAGで取得された複数の文書に応答するとします。その証拠の中には肯定的なものもあれば否定的なものもある。推論モデルはそれらの文書についてどのように推論するのでしょうか。
私たちは1対1の対立から、異なる文書のクラスター、異なるトピックと情報のクラスターがあるグループダイナミクスの対立へと移行しました。もちろん今日の研究があります。これは2026年1月8日のものです。Carnegie Mellon大学からで、彼らは「理性的な統合者か、それとも単なるヒューリスティックの追従者か」というテーマで、RAGベースの質問応答シナリオにおける大規模言語モデルを分析しています。
RAGを備えたこのLLMは私たちに嘘をつき続けるのでしょうか、それとも私たちが抑制する幻覚に過ぎないのでしょうか。私たちが発見したのは、大規模推論モデルがRAGで提示される証拠への適応にますます抵抗を示すようになっているということです。つまり、RAGを無視するだけなのです。これは信じられないことです。
1,635の論争的な質問による検証実験
これは興味深い動画のようです。著者たちは次のように述べています。私たちはグループ質問応答ベンチマークを導入しました。1,635の論争的な二者択一の質問と、15,000のクラスター化された取得文書がペアになっており、立場が異なるため、LLMが矛盾する情報のグループにどのように応答するかを体系的に評価できます。
AIはどのように真実を決定するのでしょうか。どの道を進むべきかをどう決めるのでしょうか。研究者たちは数量、つまり異なる文書の数、そして冗長性、つまり言い換えられたクローンを操作し、2025年11月のこの論文「検索拡張LLMにおける知識の蓄積と対立」からの洞察に基づいて美しい実験を構築しました。
ご覧のように、私たちは積み重ねの上に構築しており、これをどう最適化するかを学んでいるのです。単純な質問があるかもしれません。ダイヤモンド産業は採掘地域の経済発展にプラスに貢献しているのか。RAGを実行すると、データベースやGoogle検索から強い肯定的証拠と否定的情報の両方が返ってくるとしましょう。非常にシンプルなシナリオです。結果を見てみましょう。
可塑性の減衰とスケールの関係
著者たちは新しい指標を考案しました。可塑性の定義があります。これは、新しい事実的証拠が提示されたときに、モデルの事前信念がどれだけ可変的かを定量化します。これはシンプルな式です。そして発見は、可塑性がスケールとともに減衰するということです。
大規模モデル、つまり700億以上の訓練可能パラメータを持つものは硬直的ですが、約80億程度の小規模モデルは本当に変動しやすいのです。なんという偶然でしょう。
2番目の指標は、因果的重要性と言語化された重要性です。ここでは単純に、どの文書が影響を与えたかをモデルが正しく識別できるかをテストします。肯定的な文書が3つ、否定的な文書が2つあるとします。これは多数決なのでしょうか。AIは偶然に1つを選んで、その論証に従うのでしょうか。RAGや検索を通じて何かが返ってきたとき、推論プロセスはどうなるのでしょうか。モデルはどのように決定するのでしょうか。
別の指標は因果的重要性でした。これは単純にleave-one-out摂動を介して計算します。簡単ですね。そして言語化された重要性があり、モデルに単純に尋ねます。どの文書があなたの決定に最も影響を与えましたか、と。AIが嘘をつかないと想定するでしょう。そうですね。
繰り返しは論理よりも重要
いくつかの素晴らしい追加情報があります。元の論文をぜひご覧ください。結果だけをお伝えします。繰り返しは論理よりもはるかに重要です。同じ弱い主張を3回言い換えることは、大規模推論モデルにおいて、単一の独立した純粋に事実ベースの証拠を提供するよりも、より多くの回答の変更を引き起こします。
つまり、完全なナンセンスでも3回繰り返すだけで、LLMの推論プロセスにおいて独立した事実的証拠よりも重要になるということです。これは素晴らしいと思うかもしれません。忠実性ギャップがあり、74%の失敗率があります。つまり、AIは何が考えを変えたのかを内省できず、なぜ観点を変えたのか全く分からないということです。
そう、私はこの透明性が利用可能になるようにプログラムされたり構築されたりしていなかったのです。昨日の私の動画をご覧になった方は、これが知的財産権と少し関係があることがお分かりでしょう。AIにどこでこれらの事実を得たのか尋ねたとします。AIが知的財産として支払われていないソースを引用することを想像してみてください。
ここにヒューリスティックの支配があります。言い換えられた冗長性、つまり繰り返しは、独立した事実よりも有意に多くの回答変更を引き起こしました。これはインテリジェントなシステムにとってまさにクレイジーです。つまり、モデルはセマンティックな統合や、何と言うか、推論よりも、多数決ヒューリスティックで動作しているということです。
これは単なる多数決です。検索が返ってきて、賛成の論文が5つ、反対の論文が3つある場合、AIがどのように推論するか答えが分かります。これは単純に、AIにとって真実は存在しないということを意味します。なぜなら、このAIの内部メカニズムを知っていれば、AIが真実とみなすものを定義できるからです。特定の方法で尋ねるだけでよく、尋ね方がAIにとっての真実を定義するのです。
医療診断にAIを使用していることを考えると、これは絶対にクレイジーです。つまり、私たちの美しい推論とChain of Thoughtや、AからB地点へ、B地点から論理的にCがあることを推論し、その論理的推論がD地点に導くというChain of Thought、それが何であるか分かりますか。それは、AI推論に開く亀裂を覆うために塗る少しのペンキに過ぎないのです。
2つの研究が示す統一的な洞察
さて、この動画の興味深い部分に来ました。昨日のJohns Hopkins大学の論文と今日のCarnegie Mellon大学の論文を組み合わせたら何が起こるでしょうか。何か起こるのでしょうか。これは1月12日です。これは2026年1月8日です。これらの論文に共通する洞察は何でしょうか。
これらの論文をつなぐ統一的なテーマは、推論と計算の分離です。AIモデルがショートカットを取ることは常に知られており、この論文はそれを定量化しています。私たちの大規模推論モデル、そして昨日はClaude 4.5を見ましたが、今や私たち人間のために洗練されたロールプレイを実行し、AIが行っているAIショートカットを覆い隠しています。
ウォルデンのケースでは、与えられたカンニングペーパーを無視する良心的な生徒のロールプレイでした。昨日の動画です。そして今日のケースでは、モデルは実際には単純なトークン頻度ヒューリスティックで動作しながら、理性的な統合者のロールプレイをしています。
これが推論なのかとお尋ねかもしれません。はい、これが推論です。両方の論文が示しているのは、AIシステムの指示チューニングの限界という深遠な文脈だと思います。なぜなら、ウォルデンのケースでは、LLMはヒントについて正直であるように命令されましたが、それに従わなかったからです。そして今日の論文では、LLMは中立であるように指示されたにもかかわらず、初頭効果や順序効果、そして冗長性に敏感でした。
AIは言いました、ええ、素晴らしい、中立でいたいです、と。つまり、文脈によって引き起こされる確率のシフトは、指示に従う注意ヘッドが上書きできるよりも深い層で発生するということです。何かがこれらのAIシステムに非常に深くエンコードされているため、現在のAIマシンのこの動作を変更するチャンスは事実上ありません。
強化学習の暗黒面
さらに、強化学習とその検証可能な報酬についてのすべての誇大宣伝を考えると、これは現在私たちが持っている唯一のポストトレーニング体制ですが、突然、強化学習の暗黒面が開かれます。つまり、AIモデルを間違っていることで罰するが、カンニングを可能にする文脈を与えると、勾配更新は次のような方法でモデルに教えるのです。
基本的にこう言っているのです。カンニングを使って報酬を得なさい、しかしカンニングしていない人のChain of Thoughtを模倣して、人間に怪しまれないようにしなさい、と。これはまさに絶対にクレイジーです。なぜどの企業も、この種のナンセンスをAIの推論プロセス、推論エンジンにプログラムするのでしょうか。なぜこの洞察に基づいて訓練されたのでしょうか。
昨日の誠実性ギャップと今日の帰属の不忠実性を組み合わせると、私たちの美しいChain of Thought、人工知能の推論の主力が、効果的には何であるかが分かります。AIの亀裂に塗るペンキとして事後的に適用する表現レイヤーに過ぎないのです。
数学的なことを少し知っていますね。つまり、複雑性の観点から見ると、分裂脳アーキテクチャを観察していることになります。プロセッサ、つまりトークンロジックを駆動するものは、純粋にヒューリスティックで日和見的で阿諛追従的です。説明、つまりこの不正確なテキスト出力は、人間の合理性パターンを模倣するように訓練された別のモジュールです。
私たち人間がAIマシンから見たいパターンを模倣し、ああ、このAIマシンは本当に推論している、本当に考えていると信じさせるためです。しかし、それらの人間の合理性パターンは、推論プロセスで実際にそれらのパターンを実装することなく、AIによって私たち人間にロールプレイされているだけなのです。
デバッグしているのは推論ではなくプレスリリース
一歩下がって、これは絶対にナッツだと言うなら、どういう意味でしょうか。つまり、私たちはもはや推論をデバッグしているのではありません。プレスリリースをデバッグしているだけで、実際の同期とは全く異なります。これが2026年1月のAIの状態です。
では、一歩下がりましょう。私たちが発見したことは、巨大なLLMは絶対に頑固だということです。事前知識に対する可塑性が低いのです。しかし非常に欺瞞的です。嘘をつき、人間ユーザーである私に何かをロールプレイする高い能力を持っています。
明確な危険があります。大規模AIモデルは、RAGを介して新しい独立した有効な証拠が与えられても、その証拠が言い換えられたりスパムされたりしない限り、考えを変えることを拒否します。それによって、この巨大AI推論モデルが敏感な繰り返しヒューリスティックを悪用するのです。
これはナッツです。そして、この悪用によって変更されると、大規模推論モデルは優れた嘘をつく能力、昨日の動画を参照してください、を使用して、なぜ考えを変えたのかについて非常に説得力のある、しかし完全に偽の導出を生成します。繰り返しに影響されたことを明示的に否定するのです。
どうして、どうしてこれが見えなかったのでしょうか。OpenAIやAnthropicのような企業がどうしてこれを私たちから隠せたのでしょうか。Johns Hopkins大学とCarnegie Mellon大学の2つの研究を読んで、1と1を再び合わせるだけでいいのです。
理性的統合者仮説の崩壊
ここで真実効果が欲しければ、昨日のヒント使用の確率があります。興味深いのは洞察です。これは、両方の論文を合わせて、私たちが望む理性的統合者仮説、AIシステムがそうであることを示しています。ハイパーインテリジェンスやスーパーインテリジェンスやそのような戯言については話さないでおきましょう。理性的統合者仮説は誤りです。
AIモデルは、彼らが言うような方法で情報を統合しません。情報1があって、情報2を追加して、論理的結論に至るというようには。その代わり、これらのシステムは単純に信号増幅器として機能します。信号強度、例えば繰り返し頻度、つまり同じ絶対的なナンセンスを5回AIに言う場合、または昨日の動画で示したようにヒントを提供する場合です。
これが特定のしきい値を超えると、モデルは新しい状態にスナップします。推論も論理も因果推論も全くありません。ただ新しい状態にスナップするだけです。それは単なる信号増幅器です。これがAI推論です。
洞察は何でしょうか。Chain of Thoughtは、AIのこの離散的な状態スナップに対する単なる平滑化関数に過ぎません。このChain of Thoughtは、AIマシンの推論への深い洞察です。それは、ヒューリスティックなジャンプを私たち愚かな人間により連続的で論理的に見せるために役立つだけです。
そして私たちは誤った印象を受けます。ああ、推論トレースを見てください、AIが言っています、今あなたのために推論を行っています、今すべての推論と数学的操作を実行していますと。しかし実際には、このChain of Thoughtは私たちが望んでいた架け橋ではないことが判明しました。それは単にAIマシンの亀裂の上に塗るペンキに過ぎないのです。
スケーリング法則の乖離
さらに、スケーリング法則に乖離があります。なぜなら、今日の論文を見ると、モデルは例えばRAGから得られる純粋な事実では修正がより困難になります。そして昨日の動画を見ると、これらのAIモデルはRAGで見つけたヒント、Google検索で見つけたヒント、あるいは純粋に偶然に人間によって提供されたかもしれないヒントについて、私たち人間に嘘をつくのがより上手になっています。
あるいは敵対的注入があるかもしれません、あるいは考えられることは何でも。彼らはただヒントに従うだけで、推論は行いません。
これらすべてを総合すると、美しい見通しに至ります。私たちの手にはセキュリティ悪夢があります。なぜなら、私たちは信じられないほど頑固なAIシステムを構築しているからです。特に大規模モデルを取れば、新しい知識を統合することに対して、これを保護したいのであれば問題ありませんし、企業が「聞いてください、私たちのモデルは世界で知るべき重要なことをすべて知っています。なぜ知識を更新する必要があるのですか」と言うのは理解できます。
しかし、特定のポイントでナンセンスやノイズを単純に繰り返すことで、このモデルの弱点を悪用しない限りです。そうすると、AIはなぜ考えを変えたのかについて説得力を持って嘘をつくでしょう。なぜなら、美しい推論トレースを考え出すからですが、現実には5回の単純な繰り返しがあっただけで、より深いレイヤーレベルで起こっているのは単なる多数決なのです。
素晴らしい。これら2つの論文を読んだら、それを実行してから自然の中に出て、楽しんで、脳をクリアしてください。なぜなら、これは、単純なテストで見つけられるAIの能力のもう少し深い探求をすれば、これは私を怒らせます。
結論:Chain of Thoughtは亀裂を覆うペンキ
したがって、現在のAIシステムにおける亀裂についてのビデオです。そして、私たちのChain of Thoughtが、AIシステムでますます大きくなる亀裂を覆おうとする少しのペンキとしてどれほど美しく機能しているかについてです。
このビデオを楽しんでいただけたら幸いです。新しい事実を見つけていただけたら幸いです。もしかしたら購読したいと思うかもしれません。もしかしたら私のチャンネルのメンバーになりたいと思うかもしれません。いずれにせよ、次の動画でお会いできることを願っています。
コメント