この動画は、従来のフラットな知識グラフの限界を克服するために開発された新しいRAGシステム「HiRAG」について解説している。HiRAGは階層的推論を可能にするGraphRAGの発展形であり、複雑性の異なるレベル間を橋渡しする仕組みを持つ。中国香港大学コンピュータサイエンス・エンジニアリング学部の研究により、2025年6月末に発表されたこのシステムは、知識グラフを多層構造化し、ガウス混合モデルによるクラスタリングとライデンアルゴリズムによるコミュニティ検出を組み合わせて、事実に基づく推論パスを構築する革新的なアプローチを採用している。
HiRAGシステムの概要
こんにちはコミュニティの皆さん、新しいRAGシステムがあるんやけど、これがめちゃくちゃ面白いんや。これは知識グラフのRAG構造における階層的推論についてやねん。だから知識グラフを扱うことになるわけや。
もしここにグラフ構造の簡略化があって、より深い推論構造に興味があるなら、すぐに問題が見えてくるで。これが3次元の球体やと想像してみて、天体物理学についてやとする。銀河形成や恒星形成みたいな重い物体は全部ここの一つのセグメントにあって、多分素粒子みたいな軽い粒子に関連するもの全ては、知識グラフの中の遠い領域にあるかもしれへん。
そしたら今度は問題が出てくる。もし深い推論があるなら、天体物理学においてでも接続が必要かもしれへんし、ビッグバン直後のインフレーション期について言うと、宇宙がどう膨張したかを理解するために素粒子物理学を理解せなあかん。だから極端に異なる複雑性レベルが必要で、これは普通フラットな知識グラフでは無理やねん。
階層的アプローチの必要性
今のアイデアは、このグラフを見るフィルターを持つことやけど、フィルターはあんまり役に立たへん。データを新しい形式と知識グラフの他の表現で積極的に操作せなあかんねん。これが階層や。
もしよかったら、高次元数学空間での知識グラフの複雑性の異なるフィルターで、異なるスライスを生成することを考えてみて。
階層的知識を持つ階層検索拡張生成、めっちゃ面白いで。俺は2025年6月末について話してる。これは中国香港大学のコンピュータサイエンス・エンジニアリング学部からや。
俺の前の動画でLean RAGについて話したのを知ってると思うけど、Lean RAGはもっと複雑で、Lean RAGは実際に知識グラフのコード設計やねん。HiRAGは非常に近いけど違うバリエーションや。だからLean RAGを理解してたら、HiRAGは本当にシンプルやで、特に俺の説明では。
システム全体のアーキテクチャ
全体のアーキテクチャを見てみよう。Lean RAGと同じように、見なあかん主要な2つの部分がある。まず文書の山があって、PDFやインターネットやSQLや何でもええから、それから作業に入る。
最初に階層インデックス、階層インデックス構築があって、それから階層検索、データの階層検索があるのが分かるやろ。注意せな、ここで異なるレベルが見えるけど、俺は論文を読んでる時に、これらのレベルが何らかの簡単な方法で接続されてるって間違いを犯したんや。実際は接続されてるけど、簡単な方法ではない。
だから詳しく説明するで。もちろん異なるレイヤーがあって、最初のものから始めよう。一般相対性理論について10本の論文があるとしよう。チャンキングがあって、トークン化と入力準備があって、300個のチャンクで作業せなあかんとする。この特定のデータストリームでエンティティ抽出した後、一般相対性理論について約520個のユニークなエンティティを特定したとしよう。
階層インデックスの構築
この構造でhigh indexランを始めてみよう。レイヤーゼロがあって、これは520個のエンティティがある通常のレイヤーや。前回の動画から、ガウス混合モデルが必要なのを知ってるやろ。
これが楕円形やその他のグラフクラスタリング手法のクラスタリングをしてる。レイヤーゼロの520個のエンティティが、一般相対性理論の論文で約40個のテーマクラスタを作るとしよう。
今度は40個のクラスタからサマリーノードを構築する。各クラスタは次のレベルでサマリーノード自体になるねん。これは深いドメイン知識と深い推論を持つ非常に強力なLLMによって作られる。だからこのLLMは次のレイヤー、レイヤー1を構築できて、それから繰り返しサイクルに入る。
もちろん類似度測定を計算せなあかんから、ノードとエッジの完全な埋め込みをここでするねん。これは標準的な手順やから省略する。メカニズムの核心を説明するで。
ベクター操作が必要で、埋め込みを生成せなあかん。これをASBERTモデルや何でも好きなもので計算する。既製のASBERTは素晴らしいで。そしたらレベル2でより高い複雑性レベルで別のクラスタリングが現れるのが分かる。
この強力なLLM、例えばGPT-5 Proやなんでもが、40個のサマリーノードの特定のサマリーで6個のテーマクラスタを見つけるとしよう。だからレイヤー2を作れる。これは続いて、一般相対性理論が2つ以上のレイヤーを持つかもしれへんけど、簡単なケースでレイヤー2にとどまろう。レイヤー2にはコンパクトオブジェクト宇宙論的解や何でもの6つの高次サマリーがあって、5%の広がりイプシロンがあったら停止条件があるから、ここに2つのレイヤー、レイヤー0とレイヤー1とレイヤー2がある。
通常のエンティティ、それからサマリーエンティティ、それからメタサマリーエンティティがあって、階層的知識レイヤーのインデックス構築をどう構築したかがはっきり分かる。素晴らしい。
コミュニティ検出とクエリ処理
今度は面白い部分が来る。このhigh indexランでコミュニティ検出があって、興味深いことにライデンアルゴリズムを使って、すべての異なるレイヤーを通る。
これを混同したらあかん。これが今ここの核心やねん。これがここにある美しさや。レイヤー0、レイヤー1、レイヤー2を横断するクロスカットが欲しいねん。ライデンアルゴリズムで8個のコミュニティを見つけるとしよう。
コンパクト恒星オブジェクトと重力波シグネチャについての特定のデータ情報があるコミュニティを見つけるとしよう。天体物理学に固執するなら、科学文献では、これが彼らが研究したトピックで、これが我々の小さな惑星の現在の研究トピックやねん。
このhierarchシステムの特定のパターンにデータの利用可能性を再設計した後、クエリが来る。人間のクエリが入ってきて、重力波のリングダウンシグネチャを形成する厳密解はあるかって聞く。天体物理学やから問題ない。
今度は第二部に来る。俺のクエリがここに美しく入ってきて、今何かが起こる。フラット化された知識グラフの上に階層構造が再び必要なのが分かる。
階層的検索の仕組み
だから再び複数の、レベルと呼ばずにハイパープレーンと呼ぼう。まずローカルエンティティがあって、カー計量やシュヴァルツシルト傾斜計量、リングダウン、準正規モード、ブラックホールスピン特徴がある。それからコミュニティがある。用語に慣れてもらうために、用語の詳細を後で説明する。
コミュニティAがある。これは例えば俺が示したようにコンパクトオブジェクトと重力波ダイナミクス、コミュニティBは何でもの純粋数学解やねん。だからグローバル、これはグローバルエンティティがあって、それからコミュニティごとのキーエンティティを特定する。AIがここで計算する。
この拡張知識グラフの情報を考慮して、パラメトリックと準正規モード間の最短パスを計算して、ローカルレベル、詳細レベルとグローバルレベル間にブリッジを構築するねん。
だからブリッジは何やと思う？トリプレットや。カー計量のように想像する通りの要素を含む。ローカルコミュニティの要素が決定して、準正規モードスペクトラムや何でもの要素がある。
美しいのは、これらのブリッジトリプレットが今推論パスを形成することや。RAG推論のチェーンソートのLLM自体のパラメトリック知識に依存してへんけど、この2つのhigh ragシステム、第二部のhigh retrievalでこのステップを経て、構造化データ表現で事前定義されてる。これが推論パスを提供して、すべての幻覚を減らして、数分で結果を見せる。このEIシステム、エージェンシックシステムで利用可能な知識体の中にある事実ベースの推論パスがある。
だからこれは面白くなる。両方の要素の完全なフローを詳しく見てみよう。
詳細なフロー解説
まず文書があって、文書をチャンクして、どこかにストアがある。エンティティ抽出をLLMで行い、古典的知識グラフから知ってる関係抽出があって、関係抽出がベース知識グラフレイヤー、G0と呼ぼうか、を構築して、すべてのノードの計算埋め込みもある。
美しい。そしたらもうhigh indexにいる。最初のhigh indexループを実行する。ガウス混合のクラスタリングアルゴリズムがある。前回話したように、DB scanでもオプションや何でも好きなもので。LLMが今テーマ科学クラスタにサマリーしてる。
サマリーノードを追加して、新しいレイヤーのノードだけやなく、もちろん同じASBERTモデルで埋め込みを計算せなあかんし、絶対閾値、5%の差に達するまで続けて、レイヤーとレイヤーを構築し続ける。それからGKでライデンアルゴリズムを使って、これらのレベルでコミュニティレポートを生成する。また最上位レイヤーノードクエリでベクターインデックスを作成せなあかん。
それからhigh retrieval段階に来る。残念ながらクエリを埋め込まなあかん。階層構造のすべての要素とクエリの類似度を計算せなあかんから。でもまあええ。上位nローカルノードは見つけへん。コミュニティを得る。上位Mキーがある。最短パスを計算して、知識グラフから決定された事実ベースの推論パス、推論トレースを形成するブリッジトリプレットを相関できる。これはLLMの固有パラメトリック知識が推論トレースを定義したり幻覚したりするのとは違う。これらは知識グラフに基づく本当の事実やねん。
最終LLMプロンプトを構成する。もちろんRAGシステムにいるから。提供できるのは、グローバルレポート、推論パスのブリッジトリプレット、ローカルハイパープレーンスニペットからの情報を提供できる。これが完璧な、コンテキストエンジニアリングやプロンプトエンジニアリング、どっちでも好きな方や。high複雑性レベルから中複雑性レベルから低複雑性レベルまで、推論トレースを形成するブリッジトリプレットで、LLMによる回答を生成できるねん。これですべての情報がある。
レイヤーとコミュニティの詳細
サマリーや。high index段階の最初の部分で、これらのレイヤーがあるかもしれへん。階層インデックス構築をするねん。
レイヤーゼロは、シュヴァルツシルト行列やアインシュタイン場方程式みたいな技術用語で、テキストから直接抽出されたベースエンティティや。それからLLMがレイヤー1を構築する。レイヤーゼロから10個のノードみたいに、特定のレイヤーゼロノードをクラスタリングしてサマリーエンティティを作る。
だからサマリーエンティティはアインシュタイン場方程式の厳密解と呼ばれて、レイヤー2はもっと高次のサマリーがあるかもしれへん。レイヤー1クラスタを抽象化してるから、場方程式の厳密解の代わりに、時空の異なる幾何学形式の一般相対性理論解のクラスがあるねん。クラスタの正のCSが5%閾値や何でもシステムに定義するパラメータ以下になったら、これが本質的なパラメータで、もう十分や、もう止められるって言うねん。
レイヤーは垂直抽象軸やと思ってもらいたい。各高次レイヤーは、LLMが実行するサマリー化を通じて下のレイヤーを圧縮または抽象化するねん。
検索の3つのステップ
第二部は検索で、俺が話した通り3つのステップもある。3つのレイヤーがあるとは言ってへん。3つのステップや。
まずローカルエンティティ、下のハイパープレーン、コミュニティ、それからグローバルがある。最初の用語、ローカルエンティティを見てみよう。繰り返すけど、これはレイヤーゼロ特有やなく、階層の最上位レイヤーから選択された非常に類似のエンティティや。
なんで中間レイヤーや最低レイヤーやなく最上位からなん？って思うかもしれへん。考えてみて、これらの集約レポート、LLMが書いた高次抽象レポートがあるねん。だから最上位レイヤーでは、ベースエンティティと他のすべてのサマリーについての知識と情報が含まれるねん。
だから検索が細かい情報ノートとより抽象的なノードの両方をキャッチできるねん。例えば、ブラックホールがどうやって重力波を作るかっていうクエリがあったら、ローカルセットはすべての異なるレイヤーからの情報エプシロンレイヤーを含むかもしれへん。
エンティティレイヤーゼロからはカー計量、レイヤー1からはアインシュタイン方程式の厳密解、レイヤー2、最高複雑性レイヤーからはコンパクトオブジェクトがあるねん。だから高次抽象から低次抽象への接続を失わへん。
コミュニティは、完全な階層知識グラフ表現を構築した後の第二部で、すべてのレイヤーを通してコミュニティ推論のライデンアルゴリズムを実行する。これは重要や、すべてのレイヤーを通してや。
だからコミュニティは関連するテーマノードの水平グループ化で、0、1、2のすべてのレイヤーからすべての異なるノードを混合できるねん。例として、コミュニティは最低レイヤーからの計量、最低レイヤーからのカー計量、レイヤー1からの厳密解、レイヤー2からのコンパクトオブジェクトを含むかもしれへん。
水平グループ化で、各コミュニティも論文でグローバルコンテキストと呼ばれるレポートが書かれてる。だからペースを保ってて、LLMによって確立された推論トレースを持つ階層推論構造がある。だからRAGシステムのこの表現を構築するLLMの事実理解、ドメイン知識、推論能力に依存するねん。
最後のグローバルは、グローバルとローカルエンティティを接続するブリッジで、レイヤーやコミュニティ自体やなく、複雑なサブグラフやと思ってもらいたい。すべてのコミュニティからのキーエンティティをリンクすることで、推論時にクエリで抽出する。これは最短パスで行われる。
アインシュタイン場方程式と時空曲率間の最短パスを見つけたいとしよう。これは重力レンズ効果、場方程式、時空曲率、重力レンズ効果に行く。重力レンズ効果は曲率の効果で、それから他の効果がある。完全に抽象化したら、hierrarchのレイヤーはhigh index方法論で注意深く構造的にオフラインで構築される。
コミュニティは階層知識グラフの重複グループで、ライデンアルゴリズムでオフラインで構築・発見される。それからローカル、グローバル、ブリッジビューは検索段階の検索ビュー自体で、すべてのレイヤーとすべてのコミュニティから非常に特定的に選択することで、今話したhigh retrieval方法論でオンラインで組み立てられる。
これをコードしたら、正しく理解するように注意が必要や。物理学からの別の例が欲しいなら、純粋に偶然やけど。レイヤーは記述のスケールみたいなもんや。レイヤーは微視的レベル、中視的レベル、巨視的レベルや。
コミュニティはサブシステムやアンサンブルみたいなもんや。原子をコミュニティとして、分子構造をコミュニティとして、バルク性質をコミュニティとして持つねん。これはLLMの知性と世界モデルの理解に依存する。どうやってコミュニティを構造化するかやねん。
最後に検索利用で、非常に特定の質問に答える時にローカル、グローバル、ブリッジビューを使って、3つの異なるビューがある。物理学の詳細測定、これがローカルビューと呼ぶもの、全体システム記述がグローバルビュー、ローカルとグローバル構造間の方程式をリンクするのがブリッジビューや。かなりシンプルやけど、この論文では少し複雑な表現になってる。レイヤーは垂直抽象レイヤー、コミュニティはレイヤーを横断、検索はスライスやと思ってもらいたい。それだけや。
結果と性能評価
この方法論の結果はどうかって、ここで何について話してるかと他の方法論との違いを理解するのにこんなに時間がかかった後は。ローカルスニペットとグローバルレポートは本当に異なる抽象レベルに存在すると言える。だからこのブリッジビュー、ブリッジは本当に一貫してる。トリプレットはマルチスケール推論とトレースを強制して、矛盾と幻覚も減らすねん。
すべての異なるミックスと異なるベンチマーク、異なるパラメータの結果がここにある。naive RAG、hierra があって、hierraアンダースコアが最高のパフォーマーなのが分かる。hierraは美しいで、なんて偶然や。
hierraのGitHubリポジトリがある。美しい、アクティブなリポやで。2日前に、特にDeepSeekやGLM用のhigh search、DeepSeek バージョン3とGLM 4.5を使ってる。特に素晴らしい実装で、実装してるモデルも本当に素晴らしいと思うで。
でも大きな質問は、理論物理学や天体物理学みたいな科学的トピックで作業する時、LLMが天体物理学が何かを理解してて、複雑性レベルをどこに配置してどの要素を配置するかを知ってるかやけど、もう少し非科学的で、よりオープンエンドなものに行ったら、これで作業するかどうかは非常に興味深いで。
Hierrekで経験はあるか？どのドメインで作業してて、hierarchがGraphRAGを超える最高のモデルやと思うか、それともhyper GraphRAG実装で行きたいか、他のRAG 3.0ゼロ実装、マルチエージェント実装を選ぶか。実際のアプリケーションでhierreの特定の強みは何か。実験があるなら、フィードバックがあるなら楽しみにしてる。なかったら次回で会おう。
コメント