4,820 文字
コミュニティの皆さん、お帰りなさい。今日は、エージェントによるナレッジグラフの拡充について見ていきましょう。私には実践的な問題があります。AIに関する文献のナレッジグラフを持っているのですが、毎日400から800の新しいAI研究論文が追加されます。これが問題なのです。毎日新しいナレッジグラフを構築したいわけではなく、単純に知識を更新し、拡充し、改良して既存のナレッジグラフに取り込みたいのです。もちろん800すべてを扱うわけではありませんが、これが私が直面している主な問題です。
ここで最新のソリューション、最新のAI研究についてお見せしたいと思います。多くの同僚は、何百何千もの小さなメモやページを作成したり、データベースを構築したりしています。ノートブックLLMを使えば、ポッドキャストなども生成できて素晴らしいのですが、私はナレッジグラフの構築に興味があります。
ナレッジグラフはLLMの推論トレースから動的メモリとして構築され、私が好むのは、ナレッジグラフに特定のサブグラフを持たせ、LLMがロボティクスや複雑な推論のための最適なアクションを計画できるようにすることです。最も単純なケースでは、R1のようなモデルを使用して、私の特定の好みや推論方法、重要と考えることを反映したナレッジグラフを使用して特定のクエリを解決します。
毎日本当に優れた15から20のAI研究論文に絞り込み、ナレッジグラフを更新したいと思います。これは単純な作業だと思われるかもしれません。数学における最高性能の推論モデル、o1、o3、DeepSeek R1、Gemini、Flash、Thinkingを使用して、グラフやテーブルを含む新しいPDFファイルを読み込ませれば、AIは主要な新しいテーマや方法論を理解し、各PDFの主な実装について技術的な要約を生成します。
AIは既存のナレッジグラフノードから新しい技術的要約に類似したものを特定し、確立されたナレッジグラフから推論トレースを抽出して、新しい要約の意味的推論と比較します。新しい要約のすべてのギャップや矛盾するトリプレットを特定し、新しい研究が既存の知識と矛盾する可能性があるため、正しい推論トレースの確率を計算します。
AIはナレッジグラフ内の特定の推論トレースを削除し、すべての依存関係に注意を払いながら、新しい知識トリプレットをこの拡張されたナレッジグラフに挿入します。そして、新しく確立して挿入したサブグラフの意味的整合性とすべての依存関係が満たされていることを検証する必要があります。
これらは他にも技術的なポイントがありますが、驚くべきことに、この性能は十分ではありません。ナレッジグラフを更新するためにAIが実行しなければならない最初の10のポイントだけでも、かなり複雑です。
そこで、もちろんエージェントを構築します。2025年2月ですから、エージェントの時代です。AIエージェントは、単なるルールベースではなく、LLMとメモリ、関数呼び出しなど、必要なすべてを備えています。そして、特殊化されたエージェント、もちろん複数のエージェント、マルチエージェントシステムを構築します。
しかし、新しい科学的出版物でナレッジグラフを更新するという私の特定のタスクには、完璧な数のAIエージェントが必要です。これは単に科学におけるタスクの複雑さだけでなく、新しい未見の研究データ、未見の研究用語、それらの未見のデータ内の新しい関係も扱うため、複雑さがさらに増加します。
以前のビデオでお見せしたTopology DSpinaでは、マルチエージェントが3つのステップで単純な数学的最適化問題を解決し、エージェントの完璧なトポロジーを見つけ出します。エージェントが直線的なチェーンで接続されているか、相互接続されたチェーンであるかを評価して、マルチエージェントシステムの完璧なトポロジーを得ることができます。
そこで新しい中心的なアイデアに移りましょう。完全な複雑さではなく、より低い複雑さのサブタスクに対してエージェントを構築し、より容易で高性能なものにします。まず、通常PDFやHTMLの生のドキュメントをすべて取得し、ナレッジグラフのコンテキストを使用して関連するセグメントにドキュメントを分割し、関連のないコンテキストをフィルタリングします。
エンティティ関係マニフォールドを保持しながらテキストセグメントを要約に凝縮します。エンティティ抽出エージェントは、Few-shot LLMプロンプトを使用してエンティティを識別し、オントロジーガイドの埋め込みアライメントを使用してナレッジグラフの正規形に正規化します。
関係も必要です。マルチラベル分類を使用してエンティティペア間の関係を抽出するエージェントがあり、重複する関係を許容します。スキーマをナレッジグラフスキーマに整合させるため、スキーマアライメントエージェントが新しいエンティティや関係をナレッジグラフスキーマにマッピングするか、完全なオントロジー拡張のためにフラグを立てます。
次の2つのエージェントは特に重要です。新しい研究データが既存の知識と矛盾する可能性があるため、コンフリクト解決エージェントが必要です。LLMを使用して矛盾を解決し、議論やディベートを行います。最後のエージェントは評価者です。これまでの作業はすべて、パイプラインを通じて伝播する前に評価される必要があります。
評価エージェントは、信頼性、関連性、明確性、一貫性などの重み付けされた信号を使用して統合信頼度を計算します。これで完璧なエージェント数が9つになりました。8つしか示していないと思われるかもしれませんが、最も単純なマルチエージェントケースでは中央コントローラーが必要です。
これらの特殊化されたエージェントをどのように構築するのか、北京工業大学の生物医学電子工学部による新しい研究方法論を見てみましょう。彼らは自動化されたナレッジグラフ拡充のための8つの美しいエージェントを定義し、最も単純なケースでは中央コントローラーを使用します。
前回のビデオでは自己学習AIシステムについて話しましたが、残念ながらこれは階層的なシステムです。最も単純なシステムから始めて、後で自己学習をこれらのシステムに統合する方法を見ることができます。
データセットとして、ゲノミクス、プロテオミクス、メタボロミクスのPDFフォーマットの約1,200の科学論文を使用します。まだナレッジグラフが確立されていない場合、これらの1,200の科学論文から38,000の個別エンティティ（技術用語、関係など）を定義できます。
最初の質問は、どの中央インテリジェンスを使用するかです。著者らは単一エージェントと小規模なLLM（GPT-4 Omni）やDeepSeekで多くの実験を行い、DeepSeekがこのタスクに最適であることがわかりました。9つの特殊化されたエージェントを持ち、各エージェントの中心にはDeepSeek version 3 LLMがあり、決定を下し、次のアクションを予測する能力を持っています。
これらの特殊化されたエージェントの構築方法について、最初のエージェントのプロンプトを見てみましょう。タイトル、ルールの説明、システム指示、エラー処理方法、LLMプロンプトテンプレートと例、サンプル入力と出力が含まれています。これはドメイン固有で、手動で一度行うか、DSPやTax-redなどを使用することができます。
次に、VAエージェント、要約エージェント、エンティティ抽出エージェント、関係抽出エージェント、スキーマアライメント、コンフリクト解決エージェント、評価エージェントのプロンプトがあります。各エージェントは、特定のドメインの問題に合わせて改善することができ、0から1の値や「非常に良い」「非常に悪い」などのスコアを提供できます。
通常2、3のエージェントで作業していますが、本当にこれら9つのAIエージェントすべてが必要なのでしょうか。DeepSeek R1はオープンソースで推論能力が非常に強力ですが、著者らも同じ考えを持っていたようです。要約エージェント、コンフリクト解決エージェント、評価エージェントのいずれかを省いた場合のパフォーマンスをテストしました。
ゲノミクス、プロテオミクス、メタボロミクスのデータにおけるLLMベースの正確性パラメータと質問応答の一貫性パラメータを計算し、各エージェントが価値を持っていることがわかりました。0.8から0.7、または0.79への変化が有意か否かは見えますが、効果があります。他のすべてのエージェントでも同様の結果が得られ、最高のパフォーマンスを得るために重要であることがわかりました。
予算に制限がある場合、どのエージェントを統合しなくても良いかの指標がありますが、時には0.77から0.63や0.66への大きな性能低下があるため、最初はすべてのエージェントを使用し、必要に応じて1つのエージェントをオフにしてシステムのパフォーマンスを確認することをお勧めします。
これは非常にシンプルで美しいものでした。ナレッジグラフの次の更新に9つのAIエージェントを使用するとは思っていませんでしたが、2、3で十分だと考えていた私は間違っていました。
要約すると、全体のタスクの複雑さを、より単純なサブタスクに分割し、各サブタスクに対してAIエージェントを採用しました。特殊化されたエージェントとプロンプトを定義し、プロンプトエンジニアリングを使用して、ドメイン固有のエージェントに最適なプロンプトを得ることができます。
エージェント間の対立があるため、エージェントが議論し、コンフリクト解決スキーマを持つことができるソリューションを提供する必要があります。単純なものでも、より複雑なものでも可能ですが、一定のしきい値を超える必要があります。
科学の分野で作業する場合、新しいAI研究論文には新しい技術用語や「Serius」のような特定の名前の方法論があり、語彙が拡張されることがあります。新しい依存関係が発見されるため、新しい関係タイプも得られます。
これらのエージェントは、新しいエンティティ（新しい薬剤クラスなど）や、より複雑なマルチモーダルな関係を処理するために、定期的に再トレーニングすることが推奨されます。システムは成長し、複雑さを増す能力を持つ必要がありますが、高性能な回答を提供できる必要があります。
プロンプトの構造により、これらの更新の統合が容易になります。9つのエージェントのうち1つか2つ、または相互に関連する3つのエージェントを更新するだけで済み、どのエージェントを最初に更新すべきか、依存関係は何かなどを考慮する必要がない完全なシステム更新を行う必要はありません。
展望として、新しい階層的マルチエージェントシステムを発見しましたが、中央インテリジェンス、中央コマンドのボスには、トレーニングデータが必要です。8つのサブエージェントを制御する制御エージェントには、多くの合成トレーニングデータを提供する必要があります。
8つのサブエージェントがある場合の合成データの品質は、まだ満足できるレベルには達していません。理想的には、10から20のアイデアを与え、システムが自己学習アルゴリズムを開発し、少数の例から自己学習方法論を開発できるようにすることです。9つ、そして8つのエージェントで構成されるAIシステムで、8つのDeepSeek R1が同時にコミュニケーションと学習を行い、ナレッジグラフの品質を向上させることを考えると、この考えには本当に魅了されます。
もし理論的にこのような動画に興味があれば、ぜひチャンネル登録をお願いします。
コメント