本動画は、MITの最新研究論文に基づき、従来のペアワイズ知識グラフの限界を超えるハイパーグラフ構造の構築方法を解説している。科学的推論においては、複数のエンティティ間の高次相互作用を捉える必要があるが、従来の2次元的なグラフ構造では不十分である。ハイパーグラフは、複数のノードを同時に接続するハイパーエッジを用いることで、化学反応や生物学的プロセスなどの複雑な関係性を正確に表現できる。動画では、1000以上の論文から16万ノード、32万ハイパーエッジを持つグローバルハイパーグラフを構築する実装例と、マルチエージェントシステムによる推論プロセスが紹介されている。さらに、GitHubで公開されているコードを用いて、自身の文書コーパスからハイパーグラフを構築する方法が示されており、従来のベクトル類似度ベースのRAGを超えたトポロジー検索の可能性が提示されている。
ハイパーグラフによる科学的推論の革新
皆さんこんにちは、コミュニティの皆さん。また戻ってきてくれて本当に嬉しいです。そうです、新しいトランスフォーマーがあります。そして、皆さん自身のハイパーグラフ構造を構築する方法をお見せしたいと思います。
私のチャンネルディスカバリーへようこそ。最新のAI研究論文を見ていきますが、約10分後には、なぜ私がRAGを超えろと言っているのか理解していただけるでしょう。ベクトル類似度に基づいてテキストチャンクを検索するのはやめて、何千もの文書のハイパーグラフを構築し始めましょう。トポロジーを検索するのです。では、最初から始めましょう。
LLMとグラフ、これは素晴らしいですよね。今、私たちはグラフベースのオントロジカルな知識表現でLLMを拡張しています。これにより、すべての美しい知識ドメインにわたって構成的推論が促進されます。そして、これは本当にうまく機能しています。
また、構造化された知識グラフのインコンテキスト学習、つまりICLのためのインコンテキストでも使えます。モデルは概念間の相互関係を正確に描写でき、ある種の推論に従事できます。それはおそらく人間の創造的な科学的思考プロセスに似ているかもしれません。
しかし、私たちは気づきました。この従来のペアワイズ知識グラフ構造は、純粋な科学的推論には不適切であるということを。なぜなら、複数のエンティティ周辺の高次相互作用を適切に捉えることができないからです。そして、これは科学において必要なものなのです。
従来のグラフ構造の限界
もしソーシャルメディアで何かやりたいだけなら、これは関係ないかもしれません。しかし、より深い推論構造に入っていくなら、これが本当に重要になります。
シンプルな解決策があります。ペアワイズグラフを高次数学的ネットワークに拡張しましょう。さあ、どうぞ。そして今日、私たちはそれを手に入れました。これが私たちのメイン研究です。2026年1月8日のものです。イザベル・スチュワート、MIT ケンブリッジ、そしてもちろんマーカスも参加しています。
美しい高次知識表現、エージェント的科学的推論のためのものです。そして、何が素晴らしいか知っていますか。この研究だけではありません。この論文だけでなく、GitHubリポジトリもあるのです。これから皆さんにお見せしますが、どこを見ても、生物学的物質知能であっても、今やグラフ理論、カテゴリー理論にまたがる数学的フレームワークがあります。
私たちは物理学や数学に大きく移行しています。なぜなら、次世代の人工知能を構築したいからです。そして、どこでも見つかります。高次知能、ソーシャルネットワークにおけるマルチエンティティ、材料の構造的階層。群れの行動、神経処理、化学構造の構成的階層、生化学にも行けます。どこを見ても、もはやグラフだけでは十分ではありません。
ハイパーグラフという解決策
したがって、さあ、私たちはハイパーグラフをより自然な表現として導入します。なぜなら、複数のエンティティ間の関係を同時に捉えることができるからです。
MITは、ハイパーグラフに適用されたLLMの推論能力をここで分析しました。そして、高次関係表現から情報を検索し推論する効果を評価しました。秘密を教えないつもりはありません。これは素晴らしく機能します。興味深いですね。これを再定式化してみましょう。
したがって、今やマルチエンティティステートメントをネイティブな高次相互作用として表現することによって、それらをペアワイズエッジに崩壊させるのではなく、ハイパーグラフはグローバルコーパス分析をサポートします。これにより、最終的に、文献に直接エンコードされている繰り返し発生する高次モチーフ、密に相互接続されたコミュニティ、創発的なメカニズムパターンの発見が可能になります。
しかし、単純なグラフネットワークへの私たちの単純化は、仕事に対して間違ったツールを選択してしまったのです。
マルチエージェントシステムによる推論
構築されたハイパーグラフ上で推論を実行します。もちろん、今やマルチエージェントにしなければなりません。1つのエージェントだけがハイパーグラフへの直接アクセスを持ち、残りのエージェントは特定のドメイン固有の推論に特化しています。すぐにお見せしますね。
もしこれを楽しんで、基本的なアイデアだけ知りたかったなら、これがレベル1の終わりでした。レベル2へようこそ。ダイアディック還元の失敗です。
彼らは今、グラフトポロジーと情報理論で書かれた論証を行っています。知識グラフの支配的パラダイム、これはリソース記述フレームワーク、RDFトリプルですが、これはより複雑なタスクの高次特定表現には数学的に不十分であると主張しています。
科学的正確性を損なうペアワイズ投影
標準的な知識グラフでは、n項関係があります。4つの反応物、1つの触媒、1つの生成物を含む化学合成は、ペアワイズグラフに投影されます。最も一般的な投影は、クリーク拡張です。そこでは、セット内のすべてのノードが他のすべてのノードに接続されます。
しかし、クリークでは、グラフは反応物Aが触媒Cとは独立して生成物Bと相互作用することを暗示します。さて、これは科学的に正しくありません。これは誤りです。なぜなら、相互作用は既約だからです。AはCの存在下でのみBに関係し、これを通常のグラフ構造にマッピングすることはできません。
今、私たちが持っているのはトポロジカル歪みです。クリーク拡張は、クラスタリング係数と推移性を人為的に膨らませ、突然密なクラスターを作成します。しかし、これらは投影のアーティファクトであり、実世界の基礎となる実際の科学における特徴ではありません。
ハイパーグラフの定義と構造
したがって、解決策があります。ハイパーグラフです。ハイパーグラフHは、ノードのセット、単にノードと、ハイパーエッジのセットEで構成されます。各ハイパーエッジはVのサブセットです。したがって、各ノードは少なくとも1つのハイパーエッジに出現しなければなりません。
通常、ハイパーエッジは重み付けされていません。重複するハイパーエッジは考慮されず、各ハイパーエッジには少なくとも2つのノードが含まれます。少なくとも、です。しかし、もちろんハイパーグラフのハイパーエッジは任意の数のノードに接続できます。ハイパーエッジのサイズは、それが含むノードの数として定義されます。
今、ハイパーグラフには多くの非公式なダイアディック投影があります。ハイパーグラフは、LLMに適しているかもしれない非標準だが解釈可能な形式のネットワーク表現に追加的に投影できます。
これは、トークン使用の効率性のために、LLMが知識トリプレットを抽出するタスクで典型的に観察されることです。明示的に指示されない限り、そうでなければ。3つの形式の非公式ダイアディック投影を知っておくべきだとお伝えしたいと思います。
崩壊型、循環的暗黙型、チェーン暗黙型グラフ表現です。ハイパーグラフに詳しい方は私が何を意味しているか分かるでしょう。そうでなければ、元の論文を見てください。
ネストされたハイパーグラフ
また美しいのは、ネストされたハイパーグラフを構築できることです。複雑性を増加させることができます。ネストされたハイパーグラフは、ハイパーエッジが他のハイパーエッジを含むことを許可することによって、古典的なハイパーグラフの概念を一般化します。
ここで何が起こっているか正確に分かりますね。この構造は、ハイパーエッジ間に階層を導入します。外側のハイパーエッジは1つ以上の内側のハイパーエッジを含むことができ、複数レベルのネストがあります。美しいですね。
さて、これらのネストされたハイパーグラフはどこで見つかると思いますか。自然言語処理で見つかります。何という偶然でしょう。
LLMガイドによるハイパーグラフ構築
皆さんと私は、ハイパーグラフを構築する方法に興味があります。1万の文書があります。これをどうやってやるのでしょうか。まあ、これは簡単です。そう、MITがここで示してくれたからです。
聞いてください。これは増分マージを用いたLLMガイドによるハイパーグラフ構築です。ノード、ハイパーエッジ、文書レベルのサブグラフ、タプル、埋め込み間のコサイン類似度を持つハイパーグラフがあります。
ああそうです、まだ持っています。類似度グラフ、同値クラス、代表ノート、いや、ノードマッピング関数、そしてここに特定のレシピがあります。でも、皆さんに何を差し上げるか知っていますか。このためのコードを差し上げます。だから、詳しく知りたければ、でも、はい、これは実用的です。
MITはこれを生物複合足場に関する1000以上の原稿のコーパスに適用しました。そして彼らは教えてくれます。はい、16万ノードと32万ハイパーエッジのグローバルハイパーグラフを構築し、スケールフリートポロジーを明らかにし、すべてが美しいと。
マルチエージェント推論システムの実例
しかし、私が皆さんにお見せしたいのは、彼らが見つけた最もうまく機能するエージェントの相互作用です。マルチエージェント推論システムがあります。ユーザーがいて、コンセプトXはコンセプトYとどのように関係しているのか、と問います。
最初にグラフエージェントがあります。グラフエージェントはグローバルハイパーグラフ表現でこれらのエンティティを見つけ、次に誘導サブグラフを抽出します。これは、例えば最短関係構造を表現します。または、BFS検索を使用して、それらの間の最短パスサブグラフを抽出します。
グローバルグラフ、パス探索、最初のステップは明確です。次にエンジニアがいて、これは今やインテリジェントです。エンジニアの仕事は、エージェントエンジニアとしてXがYとどのように関係するかに答えることです。ここでサブグラフを使用します。そして、パス探索メカニズムがあります。開始ノードがあり、ここに終了ノードがあります。
ハイパーグラフがあれば、分析するための複数のパスが利用可能であることが分かります。そして最終的に、3番目のエージェントがいます。これが仮説立案者です。エンジニアリングエージェントからの洞察を私に与えてください、と言います。今、テスト関数を仮説化します。
この例をお見せしたいのは、これが何であるかをすぐに感じていただけるからです。
具体的な質問応答の流れ
ユーザーである私は、セリウム酸化物はPCLと機械的に関連できるか、と言います。グラフエージェントはここでキーワードを抽出します。埋め込みでマッチするノートをいくつか見つけ、グラフは言います。質問者に関連する知識の以下の関係を考慮してください。そして応答してください。すべての情報を得られます。
そして今、エンジニアがこれを受け取ります。これがエンジニアの答えです。ご覧のとおり、エンジニアはこれを理解します。そして仮説立案者がいます。
仮説立案者は言います。セリウム酸化物とPCL間の機械的関係をさらに探求するために、セリウム酸化物ナノ粒子がPCLナノファイバー内に埋め込まれた複合材料を合成し特性評価する実験を設計できます。
そして仮説立案者は、ハイパーグラフからの情報を与えられて、これを構築する方法についていくつかのアイデアを持っています。ハイパーグラフからの情報は、今私たちが持っている単一の2次元フラットグラフよりもはるかに密で、はるかに多くの情報があります。
ご覧のとおり、これは科学において必要な高次関係が突然LLMに利用可能になるものです。もちろん、LLMの品質に依存します。
実装コードとリソース
この論文生成器8に入ると、第4章のオントロジカルハイパーグラフコーパス構築と、原稿からハイパーグラフへのアルゴリズムがあります。通常、私たちは今アルゴリズムに飛び込むことはありませんが、知っていますか。彼らは素晴らしいものを持っています。
私はすでにここで経験しました。GitHubです。ここにハイパーグラフ推論があります。すべてのファイル、グラフ推論、ここにセットアップがあります。環境設定があり、Llama CPP Pythonをインストールし、ハイパーグラフ推論パッケージをここにインストールします。
もちろんここで、マークダウンファイルからハイパーグラフとハイパーグラフ埋め込みを生成します。ハイパーグラフエージェントを実行し、すべてが利用可能です。だから、飛び込んで楽しんでください。文書を取って、ハイパーグラフが仕事に必要なものかどうか探ってください。
ハイパーグラフが本当に必要な複雑性レベルはありますか。科学で働いていますか。それなら、このMITリソースを楽しめるかもしれません。Apache 2ライセンスです。
今後の展望と課題
もちろん、すでにクリスマスが過ぎてしまったのは残念ですが、もし願いが叶うとしたら。現在のモデルは静的です。いいえ、ハイパーエッジの時間的進化を考慮していません。
もしアイデアがあれば、博士号を書きたいですか。ねえ、私たちは皆、時間的ハイパーグラフ拡張を探しています。なぜなら、これはここでの堅牢な証明維持に本当に必要だからです。時間次元が含まれていれば、洞察は何でしょうか。これは美しい研究です。遊べるはるかに美しいリポジトリがあります。洞察があります。
そして、ここで私たちは再びいます。RAGを超えて。ベクトル類似度や類似性に基づいてテキストチャンクを検索するのをやめましょう。文書のためのハイパーグラフの構築を始めましょう。
科学で働いているなら、高次接続性があるなら、これは本当に完全に新しいレベルの推論プロセスを開きます。トポロジーを検索してください。トポロジーは本当に重要です。なぜなら、グラフトポロジーを論理の構文チェッカーとして使用すれば、エージェントが有効なハイパーエッジ交差に対応しないステップを提案した場合、それをブロックできるからです。
ハイパーグラフによる幻覚制御
これは、トポロジーがLLMの推論チェーンを検証するということが本当に事実であることを意味します。この特定のハイパー構造で、幻覚制御を持つことができます。
展望として私が望むのは、将来、注意メカニズムがドメインハイパーグラフの接続行列によってマスクされる、グラフネイティブトランスフォーマーアーキテクチャです。
これはおそらく次の、別の次世代AIアーキテクチャの青写真かもしれません。私たちが必要とするものです。なぜなら、ハイパーグラフは接続行列によって定義され、インテリジェントなマスキングができれば、ハイパーグラフネイティブなトランスフォーマーアーキテクチャに向かうことができるからです。それは素晴らしいものになるでしょう。
2026年、AIアーキテクチャをさらに最適化する方法について非常に多くのアイデアがあります。楽しんでいただけたことを願っています。この日曜日に少し楽しんでいただけたことを願っています。
ねえ、なぜ購読しないのですか。私のYouTubeチャンネルのメンバーになってください。とにかく、次の動画でまたお会いできることを願っています。
コメント