Googleが提供する無料のRAGサービス「ファイル検索」の実演と、科学研究におけるRAGシステムの重要性を検証した最新研究を紹介する動画である。ダークマターに関する複数のPDFをアップロードし、Googleが自動構築するベクトル空間での意味的検索やクラスタリング分析を実施。宇宙物理学とAI研究における「ダークマター」という用語の比較から、論文の正確な参照リンクの抽出まで、RAGシステムの実用性を検証している。後半では、高温超伝導に関する1,726本の論文を知識ベースとした研究論文を取り上げ、インターネット検索に依存するLLMと専用RAGシステム(Notebook LMなど)の性能比較結果を分析。科学的な深い理解を必要とする分野では、検証済みの知識ベースに基づくRAGシステムが不可欠であり、単にインターネットを検索するだけでは不十分であるという結論を示している。
Googleの無料ファイル検索サービスの実演
こんにちは、コミュニティの皆さん。Googleの新しいファイル検索サービスについてお話しします。私は2つのPDFをアップロードしました。1つはダークマターについて、もう1つは別のトピックです。もしご存じなければ、ファイル検索は無料のRAGシステムなんです。ストレージと埋め込みが無料で提供されます。最初のインデックス作成時に100万トークンあたり15セントを支払うだけです。
シンプルなコード実装で、いつでもモデルを変更できます。では早速やってみましょう。もちろん、これをアプリ開発で実施します。なぜなら、このファイル検索機能を使って独自のアプリを構築できるからです。
覚えておいてください、これはGoogleがあなたのために行うRAGで、Googleがホスティングしています。本当に素晴らしいことです。私は2つのPDFをアップロードして、「ダークマターの現象とこの用語に出会うタイミングを説明してください」と尋ねました。Googleは今、あなたのために完全なベクトルストア、新しい数学的空間を構築します。そして「うーん、ダークマターですね」と答えます。
ここで埋め込みのコサイン類似度を見てみると、主に天体物理学の分野にあることがわかります。でも私は2つ目のPDFをアップロードしていて、そこではAIの分野で初めてダークマターが言及されています。そこで私は「でも私たちはAI科学でもダークマターという用語を使っていますよね」と言いました。
するとGoogleは本当にパラメトリック知識を上書きして、「はい、追加情報があります」と言って実行してくれるんです。「はい、成功しました。ダークマターはAI科学でも使われています。それは科学記録から省かれた知的ダークマターです。でも私たちはそれを持っています」と答えます。これは人間の知識の圧縮マップのために試みられています。ある種のダークマター盲目性を示しています。
情報を取り込んでRAGシステムとして統合し、私が「類似点は何ですか」と尋ねると、今度は私がやりたいのは、このベクトル空間でのテーマ別クラスタリングを直接ここで明示してもらうことで、Googleにこれをシリーズで構築してもらいたいんです。素晴らしいですね。
ベクトル空間での類似性分析
類似性の内訳が示されます。これは素晴らしいです。天体物理学のダークマター、AI研究、知的ダークマター。本当に比較してくれています。トップ1は「目に見えない影響」。とても良いですね。2番目は「構造的サポートと接続」。宇宙論的ダークマターとAIダークマター。これが学際的なリンクでどう接続されているのか。「アクセスと観測の困難さ」。
なんて素晴らしいアイデアでしょう。宇宙のダークマターは観測できません。AIのダークマターもまさに観測できないんです。だから本当にベクトル空間から比較してくれています。元のPDFからのすべてのソーステキストがここにあります。これによって幻覚が少なくなることが期待できます。すべてがソース付きであなたに提供されます。
そして私は「AIにおけるダークマターへの参照を提供できますか」と尋ねました。研究は1つしかないことを知っていて、その研究を2つ目のPDFファイルとしてアップロードしました。では見てみましょう。通常これは期待できません。なぜならこれは単なるベクトル空間だからです。
すると「わかりました。知識におけるダークマターの定義」として、2つ目のPDFから少し背景情報を再び提供してくれます。宇宙論的ダークマターについては知っています。LLMにおけるダークマター盲目性について、2つ目のPDFからもう少し説明してくれます。素晴らしいですね。そして今、ドキュメントもハイライトしてくれます。
ここでは思考に基づく方法論の長い連鎖、知識のダークマターを明らかにする手段としての論理的な思考の連鎖について言及しています。だから参照しているんです。そしてトランズモン量子ビットがこの論文の例として挙げられていますが、私は本当のリンクが欲しいだけで、それはソースのどこかにあります。
そこで私は「あるいはリンクを提供できますか」と尋ねました。これは本当に興味深いです。そこに行けるでしょうか。はい、リンクはあります。でもこれは正しいリンクでしょうか、それとも幻覚で作られたリンクでしょうか。だからどうするか知っていますよね。このリンクをクリックして、「コピー」と言って、そこに行きます。
そして到着しました。これが本当に探しているものか確認しましょう。PDFにアクセス、はい、これは間違いなく正しいarXivの論文です。2025年10月の最新のものです。そして私は「天体物理学で他にどんな特徴がダークマターで識別できないか」と尋ねました。
ご覧のとおり、私は今コサイン類似度の補集合が欲しいんです。天体物理学のダークマターと言語のダークマターという2つのテーマ別クラスターがどこで異なるのかを示してくれます。そして実際にこれら2つのPDFから情報を提供してくれます。本当に素晴らしいです。
AIのダークマターは、記録されていない、あるいは暗黙の推論と接続された足場を指すメタファー的概念です。基礎物理学の分解、とても良いですね。AIのダークマターは抽象的な概念で、観測可能性、天体物理学とAIにおける暗さ、重力相互作用が主な相互作用です。
だから、私たちの新しいベクトル空間、バックグラウンドで構築され、今Googleのどこかのクラウドで無料でホスティングされている新しいRAGシステムから、いわば非適合のベクトル分析も本当に提供してくれます。物理学における役割、素晴らしいです。あなたのために構築されたRAG、サービスとしてのRAGです。
宇宙の膨張率に関する検証
そして私は「宇宙の膨張率に関する最新の洞察は何ですか」と尋ねました。なぜなら今、最初の論文「宇宙は膨張していない」PDFで、いくつかの洞察があるか確認したいからです。少し隠れている隠された知識を本当に見つけられるでしょうか。
すると実際に見つけてくれました。見てください、宇宙は膨張しています、宇宙は膨張しています、十分に確立されています、宇宙は膨張していますが、ここにラムダCDMモデルへの課題があります。そうです。
ここでダークエネルギー分光装置、バリオン音響振動、宇宙マイクロ波背景放射を見ると、減速膨張の証拠がありません。これは、このLLMの事前学習データにあるすべての知識に反する1つの論文です。
だから本当にこの新しい外部知識を取り込んでいます。説明してくれます。「ねえ、私が知っていることとは対照的ですが、ここにPDFの内容を本当に提供しています」と言います。
これは、このLLMのパラメトリック知識やメモリにあるすべての知識に反する1つのPDFだけなのにです。なんて美しい、美しい機能でしょう。これは機能していますが、もちろん何かやってみましょう。コーディングシステムに行きましょう。なぜなら、左側を見ればわかるように、これもGoogleによるファイル検索、RAGを使ってすぐにアプリを構築できるからです。
そこで「ユーザー体験として、ドキュメントのサムネイルとして画像を表示、他のファイルにはファイル名とサイズを表示、汎用アイコンを使用」と言います。だから今アイコンなどを構築できます。そして「背景を黒に変更して、文字色を白にしたい。読みやすくして」と言います。
ご覧のとおり、ここにindex html、ウェルカム画面のチェックポイントを書いています。そして驚くことに、ここに来ました。プレビューモードにいるので、コードモードもあることがわかります。
そして今私は「うーん、宇宙の膨張率とワールドモデルのRAGパフォーマンスを比較して」と言います。なぜなら今、新しいチャットで2つ目の論文をアップロードしたからです。これがまだ利用可能か確認したいんです。いいえ、本当に消えています。
比較できません。宇宙の膨張率については情報がありません。新しいチャットを始めた瞬間、新しいベクトル空間を構築することになり、「LLMワールドの論文については、Notebook LLMとLLMシンセサイジングRAGについてのすべての情報があります。でも宇宙の膨張率はもうそこにありません」と教えてくれます。
しかし今、最初の論文に戻って、1つの論文だけをアップロードして、「なぜRAGシステムはMCPプロトコルでインターネットアクセスできるChatGPTよりも優れたパフォーマンスを提供するのか」と尋ねます。
するとRAGは、インターネットアクセス付きの一般的なLLM、ChatGPTよりも優れていると教えてくれます。なぜなら特定のデータに基づいてグラウンディングされ、コア化されているからです。強化された事実の包括性と証拠のサポートがあります。
より良いドメイン固有の専門知識があり、特定のデータタイプを扱う能力があります。透明性があり検証可能です。RAGシステムはMCPプロトコルよりも優れています。
LLMワールドモデルの評価研究
このライブデモンストレーションの後、主なアイデアに戻りましょう。美しい新しい論文があります。無料サービスとしてのRAGについて話しましょう。私のチャンネル「Discovery」へようこそ。美しい新しいAI研究論文があります。
ここに今日、2025年11月7日に発表された、LLMワールドモデルの評価、実際の科学ケーススタディに関する論文があります。ここにいるすべての人々を見てください。コーネル大学、Google、ハーバード大学、MIT。素晴らしいです。
彼らは今何について話しているのでしょうか。なんという偶然でしょう、わずか1日前の11月6日に、Googleが無料のRAGシステムを導入しました。そこで彼らは「ねえ、RAGを扱うすべての複雑さを、Googleとしてあなたのためにやります。セットアップとホスティング、そして埋め込みモッズまで、すべてを提供します。そして知っていますか、拡張時のストレージと埋め込み生成を無料にしています。ファイルのインデックス作成に一度だけ最小限の金額を支払うだけです」と言っています。
これは100万トークンあたり15セントの固定レートです。だから、ローカルデータベースやどこかにドメイン知識がある場合、どれくらいコストがかかるか明確にわかります。
さて、この新しい研究は非常に似たようなことを言いました。RAGシステムを構築しますが、まず知識を構築する必要があります。いいえ、違います。
では、1つの特定のトピック、高温超伝導HDS用に今すべての年の主要な論文を集めましょう。3,279本の論文を集めて、これでRAGシステムを構築します。そしてそれらの論文のうち、コア知識ベースとして1,726本の実験論文があります。
これはRAGベースではありません。事実的証拠に答えをグラウンディングするようあなたの直接システムに強制しています。2つのアイデアがあります。インターネットに出て行ってワイルドに検索し、FacebookやRedditの投稿から奇妙なアイデアを持って帰ってくるLLMがあります。または、RAGシステムが構築された人間が作成した1,726本の科学論文があります。
では違いを見てみましょう。すべてがここにありますが、美しい理論物理学のトピックすべてから人間が作成したものです。それについては話しません。そして人間は質問を作成しました。「クーパレートの量子臨界点シナリオを支持する証拠は何ですか、説明してください」と言って、AI科学者やNotebook LMによる結果を観察しました。
彼らは特定のビジュアルグラフRAGシステムを構築し、「素晴らしい」と言いました。彼らは人間の代わりに定義もしました。「特定のトピックについて、答えに以下の情報が含まれることを期待します。なぜならこれらが最も重要な情報だからです」。
だから、これが欠けていれば、人間として、AIが良い仕事をしていないとあなたに伝えることができます。AIはどこか別の場所に行っていますが、HDSの本当の理解に焦点を当てていません。では結果は何でしょうか。残念ながら、期待するほど美しくはありません。なぜなら、はい、彼らはビジュアルエンコーダー付きのカスタムRAGシステムも構築したからです。気にしないでください。
ここに結果があります。ご覧のように、ChatGPT、Perplexity、Claude、Gemini、LLMsがあります。最初の4つはインターネットへのAPIコールを持つLLMです。そして2つの専用RAGシステムがあり、それらの1,726本の科学論文HDSが構築され、RAGシステムに統合されました。Googleの商用製品Notebook LMと、彼らが構築した独自のビジュアルグラフシステムがあります。
彼らはこれを評価しました。モデルがコミュニティが合意していない場合に複数の視点を提供するかどうか。だから、まったく新しい新規データがある場合、標準モデルにどれだけ適合するか、そしてNotebook LMが例外的なパフォーマンスを持っていることがわかります。
2番目は、AI科学システムによる応答が完全で、既知の実験的事実を見逃していないかどうかで、人間がこれを検証しました。
これを見てください。Notebook LMは本当に他のすべてのシステムを上回っていました。彼らが「ねえ、比較的簡潔で明確な答えか、つまり簡潔か」と言ったときだけ、深い科学的トピックにおいてNotebook LMはやや冗長で反復的でした。他のLLMは、より良い言語学的訓練と呼べるものを持っているため、ここでNotebook LMを上回りましたが、それ以上のものがありました。
応答が文献で報告された実験的証拠の集合に基づいているかどうか。だから、それが本当にarXivの論文や凝縮形而上学で持っているどんな論文に基づいているか、それが標準的な文献であり、これを見てください。Notebook LMは他のシステムを上回りました。驚くべきことです。
しかし残念ながら、これは少し留保が必要だとお伝えしなければなりません。なぜなら、この美しい人間の協力すべて、コーネル大学、Google、ハーバード、ジョンズ・ホプキンス、CNS、スイス、スタンフォード大学、MIT、マサチューセッツ工科大学、ブロック大学、韓国SEを見てください。
時間がかかりました。本当に時間がかかりました。半年以上かかりました。彼らが開始したときにテストしたシステムは、ChatGPT-4o、Perplexity、Claude 3.5で4世代ではなく、Gemini 1.5で2.5ではありませんでした。そしてこれらのLLMはAPIコール経由でアクセスできました。ChatGPTシステムにはBing検索API、GeminiシステムにはGoogle検索APIがありました。
しかし残念ながら、評価してこの人間の調整を行うのに非常に長い時間がかかったため、これらのデータは現在6か月以上前のものです。さらに、直接システムの2番目のグループがあり、ここに古典的なNotebook LMがありました。これはGoogleの製品で、あなたのためにベクトル空間を構築します。
お見せしたようにPDFをアップロードすると、ベクトル空間、完全なRAGシステムを構築してくれて、アップロードしたドキュメントとチャットできます。さらに、彼らはマルチモーダルRAGを構築しましたが、それほど成功しませんでした。ご覧のとおり、彼らはここに結果を得ました。これも半年前のものですが、私の経験から、ChatGPT-4oとChatGPT-5の違いがわかる気がします。
どれほど大きな違いでしょうか。そしてGemini 1.5から2.5へはどれほど大きな違いでしょうか。2.5は1.5よりもはるかに優れていると主張しますが、4 omniから5へのジャンプはそれほど驚くべきものではありませんでした。だから本当に最新のデータではありませんが、傾向は興味深いです。
これが2024年12月から2025年3月に行われたと考えると、最低でも半年の遅れがあります。
科学研究におけるRAGの必要性
オーダーの結果は何でしょうか。彼らはグラウンディングが王様だと教えてくれます。専門的な科学分野で本当に信頼できる正確なERを持ちたい場合、RAGは本当に高品質の知識ベースの源です。それは選択肢ではありません。絶対に必要なんです。
なぜなら、彼らはここで、オープンウェブからソーシングしていたすべてのLLMを見て、無制限の時間で検索できるどんなAPIコールでも、偏った、時代遅れの、非科学的なソースを持って帰ってきたからです。
高超伝導についてのFacebook投稿やRedditのアイデアを持つのは良いですが、私が信頼する科学的リソースではありません。だから、ここでのレンダリングゴールは、真剣な研究にとってほぼ信頼できないものになります。
著者たちは、LLMは表面的な推論だと教えてくれます。LLMで深い概念的つながりを形成することには重大な弱点があります。なぜなら、彼らは特に量子臨界点を探していましたが、非常に近い論文も探していて、正確な「量子臨界点」というフレーズを使っていないものもあります。
ここでのAPI検索は類似の論文を返すことに失敗しました。彼らは「ねえ、私たちの理解では、半年前のこれらのLLMは、パターンマッチャーであり、私たちが話していることを本当に理解する真の概念的思考者ではありません」と言いました。
そして彼らは「知っていますか、LLMは本当に欠けています」と言いました。これは2025年11月7日にここで公開されています。LLMは、彼らが欠いているものを必要としています。それは世界の深く統合された因果的かつ定量的モデルです。
HTSのような狭い科学的トピックでさえ、LLMは失敗します。なぜなら、彼らがやっていることの科学的理解を持っていないからです。今、これは本当になんという偶然でしょう。Googleのこの新しいファイル検索サービスがほぼ無料で提供され、この研究がほぼ同じ日にここで公開されました。
専用RAGシステムについて、今では非常に重要です。科学をやりたい場合、聞いてください。宿題をしたり、詩を書いたり、科学的でも重要でもない何か他のものを書きたいだけなら、どんなAIシステムでも使えると思います。本当にすべて優秀だと思います。
しかし、本当の科学的作業をしたい場合、検証済みの知識ベース、専門家が検証した知識ベースが必要です。
古典的なRAGシステムで持つことができます。グラフRAGシステムで持つことができます。これを組み合わせることができます、何でも。しかし、最高のGPT-5や最高のGPT-6を持っているだけで、MCPプロトコルとエージェント間プロトコルを持っていて、200、500、1,000のエージェントを並列でインターネットに送り出せるとしても、検証済みの知識ベースを持たなければなりません。
これがAI科学者になることを保証するものではありません。なぜなら、インターネット上のすべてのガラクタを集めてくるだけだからです。だから、なんて美しいコア洞察でしょう。私は彼らに同意します。彼らは「ねえ、本当に深い科学的作業をしたいなら、あなたが作成した知識、あなたの知識ベースを持たなければなりません。知っている大学、知っている研究者、協力してきたすべての機関からの10本の論文、100本の論文、1,000本の論文、本当に信頼するソースが必要です」と言います。
そして、好きなグラウンディングされたRAGシステムを構築します。シンプルな意味的コサイン類似度RAGシステム。グラフRAGシステムを構築します。任意の知識グラフの組み合わせを構築します。
しかし、信頼できるAIの基盤としてこれを持たなければなりません。すべてのBSをスキャンする100のエージェントを持っているだけでは、科学的トピックで前進したい場合の解決策ではありません。
このトークは科学的トピックについてのみでした。一般的なトピック、雑談などについてではありません。楽しんでいただけたら幸いです。
コメント