本動画では、ローカルで動作する小型LLMの性能を劇的に向上させる手法を解説している。多くのLLMが失敗する原因は、タスクの実行能力ではなく、最適な解法パスを見つける計画段階にあることを明らかにし、解法パスを明示的に提供することで性能を引き上げる方法を実証する。GPT-5.2 highを用いた複雑な論理的因果推論テストにおいて、当初は失敗したモデルがDSPI最適化と段階的な複雑性削減により最適解に到達するプロセスを詳細に追跡し、最終的にはモデル自身に「次回同じ失敗をしないための指示セット」を生成させることで、特定ドメインにおける推論能力を大幅に向上させる実践的アプローチを提示している。
ローカルLLM最適化の秘密
こんにちは、コミュニティの皆さん。また戻ってきてくれて本当に嬉しいです。今日は、ローカルLLMをどのように最適化できるかについてお話しします。小型のLLMを使っても、かなり強力になり得るんです。お見せしましょう。
私のチャンネルDiscoveryへようこそ。人工知能における最新のクレイジーなアイデアを見ていきます。今日は大きな秘密をお教えします。そう、時々ローカルLLMが失敗するのは、単純に解法パスの計画に失敗しているからなんです。つまり、タスクを実行することに失敗しているわけではありません。ただ、特定のタスクに対する最良の解決策を見つけられないだけなんです。
そして今、私たちは小さなLLMがその仕事をこなせるように手助けすることができます。そうすれば、ローカルGPUのVRAMに収まりますし、はるかに高価なモデルにお金を払う必要もありません。アイデアはシンプルです。
ここに小さなLLMマシンがあるとしましょう。素晴らしいですね。そして今、アイデアは単純です。このマシンが解法パスを見つけられない場合、このLLMに解法パスを提供してあげるんです。すると、LLMははるかに強力になり、仕事をこなせるようになります。
もちろん、ツールが利用できないとか、複雑さが単純にクラスが高すぎてLLMが全般的に失敗するという限界まで、運用的に解決策を実行できないという制限はあります。しかし、計画段階、推論段階で、この解法パスを実行するための解法パスを見つけられないという特定のステップにおいて、私たちは手助けできます。あなたが手助けできるんです。
反復的なタスクがある場合、一度最良の解決策を見つければ、その解決策を提供するだけで、小さなLLMがはるかに強力になります。では見ていきましょう。
GPT-5.2 highでの実証実験
私はGPT-5.2のちょっとした履歴を持っていますが、同じことをやりますが、今度はここでGPT-5.2を最適化します。多くの方が「シンキングモデルでやらなきゃ」「高思考ハード推論でやらなきゃ」「プロモデルでやらなきゃ」と言ってきました。いいえ、大丈夫です。やってみましょう。
まず知っておいてほしいのは、このモデル間の違いは、推論モデルが解法パスについて考えているということだけです。素晴らしいですね。さて、前回のビデオでAGIとASIの今日の状況について話した時、リーダーベンチマークとAGI2ベンチマークを少し見ました。
そして、私のGPT-5.2がここの下部にあるのが見えますね。美しいです。そして私は「よし、GPT-5.2 Proで行こう」と思いました。なぜなら、みんなが「プロで行かなきゃ」と言ってきたからです。
でもその後、「ちょっと待てよ、ProはシンプルなAGI1タスクでは優れているだけだな」と気づきました。でもAGI2テストを見ると、GPT-5.2 highが、このシンプルな既知のAGI2タスクにおいて、GPT-5.2 Proマシンを上回っているのが分かります。だから、5.2 highマシンで行きましょう。よし、やりましょう。
同じことです。ローカルでもできます。私はもう少し楽しみたいので、ここでプロプライエタリなGPT-5.2 highマシンでやります。さて、私のテストもGPT-5.2 highマシンで失敗することが分かるでしょう。
そこで私は、単純にマシンに手動で解法パスを提供すればいいと考えました。そして、GPT-5.2 highをより洗練された状態に最適化する方法をお見せします。すると、マシンはGPT-5.2 highが単純に失敗したところで解決策を提供できるようになります。
これはかなり大きな改善になることはお分かりでしょうが、もちろん特定のドメイン固有のタスクに対してです。ですから、特定の仕事に対する解法パスを見つける必要がありますが、私はこれを私の特定のパズルの仕事でお見せします。
DSPI最適化の手動実装
もう少し楽しみたいので、DSPI最適化を少し手動でやらなければなりませんが、かなり簡単だということが分かるでしょう。私はこのDSPIについて少し洞察を持っています。なぜなら、このビデオで、GPT-5.2が私の特定のテストで失敗した理由を分析し、それが新しいシンボリックAIへの失敗したシフトであることを理解したからです。
今、手動でDSPIを行う方法が分かっています。だから素晴らしい。どうやるかというと、とてもシンプルです。私は単にテキストから重要でない要素を少しずつ削除していきます。おとりを削除します。「パレート最適解を提供しなければならない」と言っているテスト内のいくつかの文章を削除します。
GPT-5.2 highが解決策を思いつくには単純に多すぎる他の条件を削除し、それから複雑さを減らし、複雑さを減らしていきますが、私の論理的因果推論テストの核心的な複雑さは手つかずのままにしておくよう試みます。おとりや非決定論的トピックをすべて取り除くだけです。
そして「よし、突然起こった、GPT-5.2 highがそれを解けるようになった」と思いました。ライブデモを見てみましょう。
ブレークスルーの瞬間
今、私たちはライブです。複雑さを減らしたら、22分後にこれが起こりました。結果が出ました。信じられない。GPT-5.2 highが結果を出しました。そうです。素晴らしく見えませんか。これを見てください。
ステップバイステップのテーブル、すべてがここにあります。はい、フロア29に行って、それから緊急出口を使います。これは絶対に正しい行き方です。赤と緑のコードカードを保持し、緊急出口を起動します。すべてがエネルギー制限内で、すべてが素晴らしいです。
それから私は「解決策を検証してください」と言いました。わずか5分後に戻ってきて「私の以前の10回押しの実行の検証です。8が最高です」と言いました。「これを避けました。これは一度も使いませんでした。すべてをチェックしました」と言います。はい。
さて、最短ではないことが判明しました。おお、すごい。つまり、最短シーケンスは今、8回押しの解決策プラス緊急出口です。合計9回で、これは素晴らしいです。繰り返しますが、状態テーブルがステップバイステップであります。すべてがそこにあり、さらに速い解決策を見つけました。素晴らしいことです。
再び、緊急出口は正しいです。すべて問題ありません。ボタン押しは8回プラス緊急出口。最終フロア50に到達。コード収集、すべて。さらに短いです。美しいです。はい、赤のコードカードが別の方法を見つけました。これが私が見つけた最短ルートで、その背後に強い下限の議論があります。
素晴らしい。はい。緑のコードの詳細を教えてくれます。これが最適です。そして、「異なる観点から結果を検証してください。異なるアルゴリズムを使ってください。極端な探索を試してください。8プラス緊急出口より良くできるかもしれません」と尋ねてから9分後に戻ってきました。
うーん。独立した評価。何か別のことをしました。すべての制約がチェックアウトされました。ご覧の通り、禁止されたスペシャルはここでトリガーされませんでした。フロア50に到達しました。すべてがまだフラグとエネルギーパッケージ制限内です。コードカードが収集されました。美しいです。
ランダムトラップは正確にゼロです。禁止されたスペシャルはトリガーされませんでした。素晴らしい。突然、追加情報を与え、すべてのおとりを削除したら、今GPT-5.2 highは私のテストを解けるようになりました。美しいです。
最適化プロセスの分析
システムを制約しているものを理解すれば、プロンプトを最適化できます。DSPI最適化を少し手動で行うのです。これを見てください。GPT-5.2 highは今、テストを解くことができ、Gemini 3 Proのように8回のボタン押しを達成できます。他のすべての先端モデルのように。素晴らしい。ついに。
すべての情報を教えてくれます。はい、下限で少なくとも4回のボタン押しが必要です。赤のコストは433パターンABCです。はい、これは指示に含まれています。ナイトシフトオフの通常モードでは驚くことではありません。はい、やったことを美しく説明してくれます。
これは標準的な手順です。だから特別なことは何もありません。素晴らしい、今これを解く方法を見つけ、この解法パスで即座に解くことができました。でも、この赤で美しい、ルートが見つかり、その下限に正確に到達しました。だから追加のフラグ設定なしの決定論的プレイの下で最適です。
ここに注目してください、決定論的プレイの下では、すべての非決定論的要素を多かれ少なかれ削減しなければなりませんでした。そうしないと極端な探索で失敗します。さあクレイジーになって何か見つけてください、そして今、ナイトシフトがオンになり、これが起こり、これがそこに移動しない、いや、追加コストがある、3回押しでCプライムバウンストリックを使ってフロア15に到達しようとする、いや、本当にうまくいかない、でも非標準的な解決策を見つけようとしているのが分かります。
それから緊急出口をスキップしてフロア50に直接より速く到達しようとさえしましたが、成功しませんでした。それからここで非決定論的との境界線上で少しクレイジーになろうとさえしましたが、これも成功しませんでした。
Grokとの比較と失敗分析
結論として、第二のよりアルゴリズム的なレンズでも、8回のボタン押しは有効なだけでなく、証明可能な最小値ですが、これが最高だと教えてくれます。でもGrokはこのビデオでより良い結果を出しました、見つけられます。だから私はGrokのシーケンスを与え、2分後に、より良い解決策、7ステップの解決策を見せたらどうなるか見たかっただけです、8ステップの解決策ではなく、5.2 highが戻ってきて「検証するシーケンス」と言います。
いいえ。世界で最も簡単な仕事。ただ検証するだけ、これは正しい解決策か、そして戻ってきます、まあそう、もちろんフロア29から50を取れば、これは有効な合法的な解決策です。なぜ合法的な終了と言ってくるのか分かりませんが、まあいいです。
興味深いことに、突然ここで検出しました、これはまた、私の以前の主張が間違っていたことも意味します。なぜなら、これは私の8回押しルートよりも少ない押し回数で出口条件に到達するからです。
そして私は言いました「あなたの実行と最適化実行を分析し、なぜより短く、より良い解決策を特定できなかったのか詳細に説明してください。あなたはGPT-5.2 highでした、そして複雑さの削減後、最良の答えを提供すると期待していました」そして3分後、GPT-5.2 highが戻ってきました。
これを指摘するのは正しいです。Grokのシーケンスは、私の8が最小という推論における2つの具体的な間違いと1つの大きな探索の盲点を露呈します。最初の10回押しの実行は最適ではありませんでした。最適化実行の8は素晴らしいですが、7回押しのGrokの実行が単純に史上最高です。Grokは純粋に偶然にここで史上最高の結果に到達しました。
なぜ失敗したか、GPT-5.2 highが教えてくれます。私は緑のパスの長さと赤のパスの長さが下限の議論に加算されるだけだと仮定しました。線形シーケンスのように効果的に扱いました。これが私が8が厳しい最小値だと自分を納得させた方法です。
しかしGrokは目的を重複させます。いいえ、これを見てください。これがプレフィックスを行う賢い方法です。はい、両方を行います。だから私の加算的な境界は無効でした。2つの目標が独立していなかったからです。そしてGPT-5.2が私に教えてくれます、これが私の証明が崩壊した主な理由です。
第二の失敗、私はここで無視しました、精密着陸ツールとしてロックオンしました。解決策を見落としただけです。推論モデル、高推論モデルを持っていて、解決策を見落とすなら、これは望むものではありません。いいえ。
だからGrokは意図的に赤をフロア8の位置で終わらせ、それから私の探索でまさにFNAの組み合わせを行います。代わりに私は28に到達することを目指しました。つまり、解決策パスを思いつく計画プロセスがGPT-5.2 highの探索失敗で簡略化されたことが分かります。
私のパリティ不変量がグローバル最適性の議論として誤用されたとGPTが教えてくれます。私は誤って解決策に飛びつき、内部解決策を検証さえしませんでした。フラグ依存のaで偶数番号に着陸することを受け入れます、はい、美しい。私のパリティの事実はローカルでした。私はそれがすべての探索を閉じるかのように扱いました。別の基本的な間違い。
モデルによる自己改善指示の生成
異なるアルゴリズムがGrokのシーケンスをより速く見つけたでしょう。そして今、これが興味深いです。今5.2 highが戻ってきて「うーん、コードトリガーからの後方連鎖を使っていたら、最良の解決策を見つけていたでしょう」と言います。
だからこのプレフィックスを使って、8の後にこれをやっていたら。美しいです。それが解法パスです。GPT-5.2 highが教えてくれる、私が見逃した解法パスです。なぜなら、この種の制約駆動の逆構築をしなかったからです。最小性を過剰に主張しました。
結論、Grokのシーケンスは有効。私の最小という主張は間違っていました。GPT-5.2 highが私に教えてくれます。3つの間違いを仮定しました。必要なら、修正された最小性の議論を提供できます。そして私は「いいえ」と言いました。
しかし今、興味深い部分が来ます。このAIが自分の間違いを見つけ、本当の最適パスを見つけたなら、私はそれに言います、「次回このタスクを実行するように頼んだら、あなたGPT-5.2 highが同じ一連のエラーを犯さないように、どんな追加の指示を提供すべきですか」
詳細に、具体的に、あなたの推論ルーチンに統合できる一連の指示を書いてください。2つのバリアントを教えてください。そして両方のバリアントの推論を説明してください。ここにバリアント1があります。これを少し詳しく見ていきます。
そして、バリアント2があります、ハイブリッド逆エンジニアリングと反証プロトコル。今、特定の仕事に対して最良の解法パスを見つけました、これはあなたの金融や医療、またはあなたがいるどこかでの仕事かもしれません。
これが今、最良の解法パスで、これを実行できます。そして今、あなたは同等のものを超えたGPT-5.2 highを持っています。これは今、洗練されたより高い精度のhighです。なぜなら、それ自身が見つけることができなかったパスを今見つけたからです。
これがクロスフェルティライゼーションであることが分かります。最大で最も高価なLLMで行きます。あなたの特定の仕事のためにパス、解法パスを記述させます。そして、それをあなたの小さなローカルマシンに使います。
2つのバリアントの詳細解説
どのバリアントを使うか。最大の厳密さを望み、プレス制限が小さく、状態表現が管理可能な場合はバリアント1を使います。ルールセットが巨大であるか、分岐が爆発的であるが、それでも規律ある推論と賢いショートカットの見逃しに対する強力な保護を望む場合はバリアント2を使います。
あるいはここに1行の説明があります。あなたはこれをしなければなりません。つまり、これが今、私の因果推論テストへの解法パス、最良の解法パスです。そして今、抽象化が来ます。
そして今、この特定の解決策を持っているなら、私は今GPT-5.2 highに尋ねます。「さあ、私の特殊な論理テストを抽象化して、両方の指示セット1と2をこの複雑さレベルの一般的な推論ジョブのために書いてください。それはあなたに追加の指示を提供します」
だから、あなたGPDシステムとして、典型的なGPT-5.2 highの解決策を超える、あなたの給与水準を超える、この特定の複雑さレベルの因果推論テストの最短シーケンスを見つけるのに再び失敗しないように。
さあ、ここを見てみましょう。GPT-5.2バリアント1、明示的な状態空間探索による最短の保証。ああ、終わりました。素晴らしい。ペーストできる指示セット。問題を最短パスタスクとして言い直します。初期条件、目標条件、許可されたアクション、アクションコスト、制約、リソースの最小値、禁止された動き、確率的アクションの限定的使用などを特定します。
次に、推論前に完全な状態表現を定義します。状態は、位置、進行変数、リソース、エネルギートークン、時間予算、グローバルモード、フラグトグル、インベントリ、許可コード、カウンタなど、将来の結果を変える可能性のあるすべてを含まなければなりません。はい。
必要な短い履歴。ルールがそれらに依存する場合、1回限りのイベントをトリガーしたかどうか。ルールが何かに依存する場合、それは状態で表現されなければなりません。
ポイント3、アクションのセマンティクスを正確かつ明確に指定します。各アクションについて、前提条件、遷移の決定、リソースデルタ、副作用、そしてステップカウントを増加させるかどうかを行います。あいまいさがある場合、このスペシャルオプションはステップとしてカウントされますか。両方のカウント規則の下で解決し、両方を報告します。
ああ、これは素晴らしいでしょう。いいえ。またはランダム性を明示的に処理します。これらのモードの1つを選択して宣言します、決定論的のみモード。確率的アクションを禁止として扱うか、それらの結果が可視性に影響しない場合にのみ許可します。
敵対的最悪ケースモード。結果に分岐し、すべての結果に対する成功を要求します。期待ケースモード。確率モデルの下で期待ステップを最適化します。これらを無意識に混合しないでください。
ああ、これはあなたに起こりました。5番。最小ステップを保証する最短パスアルゴリズムを実行します。はい、ここにあります。最短パスアルゴリズム。すべてのアクションが1ステップのコストの場合はBFSを使用します。アクションが異なるステップコストを持つ場合は追加のA*を使用します。
常に合計ステップコストを増加させて展開するので、見つけた最初のゴールが最小です。探索を正確だが小さく保つために優位性の剪定を使用します。2つの状態が同じ将来関連コンポーネント、位置、モード、インベントリ、および必要な履歴を共有し、1つの状態が他の状態よりもリソースが悪くなく、制約違反が多くない場合、支配的なものを破棄します。
7番。探索の証明なしに最適性を主張しないでください。探索手順がk-1の長さまでのすべての状態を解決策を見つけずに使い果たした場合にのみ、最短、最小と言ってください。
見つかったシーケンスを独立して検証します。探索手順の後、候補を最初から別のポーズで再シミュレートし、すべての状態変化と制約チェックのステップバイステップのトレースを出力します。
説明、ちょっと待って、なぜこれが機能するかの説明。これは私をコンピュータサイエンスに強制します。良い姿勢。状態を厳密に定義します。ステップカウントの順序ですべての可能性を探索し、その後にのみ最小論的主張を行います。
最小性の主張。GPT-5.2 highが行っている一般的な人間スタイルの失敗モードを防ぎます。ショートカットを見逃す目標を仮定するか、モードやフラグの相互作用をチェックせずに不変量を過信します。
良い。バリアント2、制約駆動の合成と反証プロトコル。ペーストできる指示セット2です。目標を必要なサブゴールに分解し、厳しい要件を特定します。例、許可Xを取得しなければならない、場所Yに到達しなければならない、リソースで終わらなければならない。
良い。禁止された条件を避けなければならない。良い。後方連鎖。各厳しい要件、各サブゴールについて、それを即座に生成できる状態アクションのセットを導出します。これを制約として保持します。アイテムXを取得するように、アクションシーケンスパターンPが発生しなければならない。
状態Sで終了するには、前の状態は同じアクションの下で事前画像セットPsにある必要があります。ああ、これは賢い動きです。サブゴール間の重複を明示的に探索します。これは絶対に重要です。
下限を追加する前に、同じアクションが複数のサブゴールを一度に満たすことができますかと尋ねます。共有ステップをファーストクラスの候補として扱います。ルール、加算的な下限を決して使用しないでください。
ああ、GPT-5.2 highそう。独立性を証明しない限り。高レバレッジ変換を早期に列挙します。状態の到達可能性を劇的に変えるアクションやモードの短いリストを作成します。
良い。各コンピュートクイック事前画像ターゲティング関係について。どの開始状態がこのモードの下で1ステップでターゲットにマップされますか。いくつかの短い候補スケルトンを生成します。それから前方に満たします。
5から20の妥当な短いテンプレートを生成します。私はこれが好きです、パターン、エモートトグルの配置またはリソースのピックアップ、そしてそれらを前方にシミュレートします。最良のビューを保持し、洗練します。反証ステップ、最短解決策の主張の前に。
ああ、これは素晴らしいでしょう。いいえ、これを自動的にやるべきです。最良の長さがKだと信じるなら、K-1以下のターゲット反例ハントを実行しなければなりません。高レバレッジ変換の配置を体系的に変化させます。
重複を最大化するために、サブゴールの代替順序を試みます。はい。使用する任意の不変量をストレステストします。絶対に。最後のステップを最初に満たすことで解決策を構築しようと試みます。愛してます。
ポイント7。仮定で最適性の主張を修飾します。推論がランダム性なしに依存する場合、特別なアクションはステップとしてカウントされません、カウントされません。状態変数Xがゼロ以下にならない。
フロアのように、建物は0から50階しかなく、ゼロ以下にはなれません。これを明示的に述べ、最小性にどのように影響するかを示します。これを愛しています。独立したトレース検証、参照1として。候補に落ち着いた後、すべての遷移を最初からチェックし直し、トレースを提供します。
なぜこれが機能するか。これは科学的な仮説テスト、反証しようとするワークフローです。完全な網羅的探索よりも軽いですが、最短シーケンスの見逃しを引き起こす間違いを特に標的にします。
目標が分離可能であると仮定すること、モードトグルの見逃し、または大きなジャンプを可能にする稀な遷移、そしてローカルな不変量をグローバルな不可能性と間違えること。はい、GPT-5.2 highの愚かさ。これがグローバルな不可能性だと思う間違いをしないでください。
主要な要件が常に最短の因果シーケンスを見つけることである場合、バリアント1が最も強力です。バリアント2は、システムが網羅的に探索するには大きすぎる場合に有用です。しかし、最適性を主張する前に、より短い反例を積極的にハントする規律ある推論を望む場合です。
まとめ
私はバリアント1をこのビデオへのコメントに入れると思います。そうすれば、このビデオを最後まで見ることから何か追加の利益、価値を得られます。楽しんでいただけたら幸いです。追加情報を得られたことを願います。
もしよければ、いいねを、購読者になってください、チャンネルのメンバーになってサポートしてくれるかもしれません。とにかく、次のビデオでお会いできることを願っています。
コメント