本動画は、重力波検出におけるAI技術の革新的応用を解説するものである。LIGO検出器が捉える微弱な重力波信号は、地球上のノイズや機器のグリッチによって容易に埋もれてしまうという課題がある。従来の畳み込みニューラルネットワーク(CNN)では、局所的な処理のため50万もの合成データが必要だったが、本研究では重力波信号をトークン化し、大規模言語モデル(LLaMA 3)に入力することで、わずか90の実データのみで97%以上の精度を達成した。重力波データを定Q変換でスペクトログラムに変換し、K平均法でクラスタリングすることで整数トークン列に変換する手法が鍵となる。Transformerの自己注意機構により、信号全体の時間的な相関を捉えることでノイズと真の信号を識別できる。CNNの確率汎関数からTransformerの注意汎関数への切り替えにより、AIモデルの数学的トポロジーを重力波の物理的特性に整合させ、ビッグデータ問題をスモールデータ問題へと転換した画期的な成果である。
重力波検出とAIの融合
皆さん、こんにちは。コミュニティの皆さん、お帰りなさい。今日は重力波と人工知能についてお話しします。重力波をトークン化し、確率汎関数を美しいパフォーマンス向上に置き換えていきます。もちろん、重力波スペクトログラムAIについてお話しします。そして、お望みであれば、LIGO検出器の推論汎関数についても触れていきます。
それでは始めましょう。私のチャンネル「ディスカバリー」へようこそ。人工知能における最新の研究論文をご紹介します。皆さんは「ちょっと待って、つい最近AIスウォーム・マルチエージェントシステムを使ったタンパク質折りたたみの分子AIを見たばかりじゃないか」と思われるかもしれません。そして医療AIシステムと、安全プロトコルの実装が現実世界の病院や環境で本当に何を意味するのかについても見てきました。
そして今度は重力波に移るわけです。なぜかと疑問に思われるでしょう。理由は簡単です。私は実世界のユースケースから最もよく学べるのです。専門家チームが自分の領域で使用するAI技術について、素晴らしい技術的洞察を提供してくれる実世界のユースケースからです。そして宇宙物理学は、私が絶対に魅了されている分野であり、皆さんにもお見せできればと思います。
宇宙物理学から全く新しいアイデアが生まれてきています。ご存知のように、LIGOのような重力波検出器は、時空の波紋を魔法のように捉えます。これは非常に微弱なパターンで、何マイルも離れたところを走る車や、機器内の熱的なポップ音、これはグリッチとして知られているものですが、こういったものが本物の重力波信号を完全に覆い隠してしまうことがあります。
LIGOからLISAへの進化
ですから私たちが必要としているのは、次世代のLIGOのためのパターン検出メカニズムをAIで最適化することです。LISAが次のステップになります。これは宇宙に配置するレーザー干渉計の宇宙アンテナで、おそらく100万キロメートル以上の長さのアームを持つことができます。ですから美しい干渉パターンが得られ、これらの微弱な重力波を検出するために新しいAIアルゴリズムを使用することになります。
そしてここに、まもなくお見せする全く新しい論文があります。2025年12月3日付です。上部に見えるのは重力波イベントです。これが解釈しなければならない実際の信号データです。そして下部に見えるのは純粋なノイズデータです。AIの仕事は、97%以上の確率と精度で「はい、ここで本物の重力イベントを検出しました」と言うことです。
これをどうやって行うか見ていきましょう。これらのデータを分析するには、非ガウス的で非定常的なノイズパターンが支配的です。したがって、どのモデルも2つの要件を満たさなければなりません。局所的な裾の重いノイズに対してロバストであり続けること、そして時間と周波数にわたって広がるコヒーレントなパターンを抽出できることです。通常、畳み込みニューラルネットワークを使用します。
しかし、特徴抽出において本当に問題があることをお見せします。なぜなら、局所的な畳み込みカーネルで動作するため、これは十分ではないからです。ここに数式があります。LIGOやLISAのような干渉型重力波検出器は、高サンプリングレートのひずみ時系列を測定します。もちろん、ここにHで表される天体物理学的信号があり、興味のあるすべてのパラメータを含んでいます。そして単純にノイズ、機器ノイズ、そして他の非常に多くのソースからのノイズがあり、純粋な信号を特定したいだけなのです。
標準的な数学的仮定の限界
さて、これをやってみましょう。標準的な数学では、ノイズは定常的なガウス過程であり、片側パワースペクトル密度関数、PSD関数によって完全に特徴づけられると仮定します。しかし残念ながら、実際の検出器の世界では、これは当てはまりません。これは私たちの仮定をいくつかの重要な点で破ることになります。
支配的な特徴は、グリッチとして知られる短時間の高振幅過渡アーティファクトの存在です。これらのイベントは、時間周波数平面において局所的で狭帯域の構造として現れ、ノイズ分布に重い裾を導入します。これはガウスの考え方とは全く相容れません。したがって、より良い数学的アイデアを考え出さなければなりません。
さらに、すべての重力波ノイズは強く非定常的です。地球上で何が起こるか考えてみてください。環境変動です。地震動があるかもしれません。本当に寒い夜があった場合など、熱的なドリフトがあるかもしれません。そして干渉計制御状態の変化により、美しいPSDが数分から数時間にわたって進化し、どういうわけか制御できません。
これらすべての効果が、単一の定常的なPSDで長いデータセグメントを記述できるという仮定を破ります。これについてもっと読みたい場合は、お勧めがあります。この論文「重力波による物理学、宇宙物理学、宇宙論」は2009年の出版物ですが、本当に優れています。
重力物理学に興味がある方は、マックスプランク重力物理学研究所のこれは本当に素晴らしいものです。ここで期待する信号について明確なアイデアを持つことができます。天体物理学的なコンパクト連星信号は、コヒーレントで予測可能な進化を示します。インスパイラルの瞬間周波数は、特定のパターン、チャープパターンに従い、時間周波数平面において滑らかで単調なチャープトラックを生成します。
CNNの限界とLLMの優位性
私たちは何を探しているかは分かっているのですが、何百万トンものデータがあります。ではどうすればいいのでしょうか。すでにお話ししたように、従来の畳み込みニューラルネットワークがあります。これらには局所的なバイアスがあります。カーネルを使って小さなウィンドウを通してデータを見ます。CNNが大きなグリッチや激しいノイズのバーストを見ると、しばしば強く反応しすぎて「これは重要そうだ、探しているイベントを見つけたかもしれない」と考えます。
しかし残念ながら、これは偽陽性につながります。したがって、これを修正するために、科学者たちはこのCNNを何十万、本当に何十万もの偽信号で訓練しなければなりませんでした。このおバカなCNNに、何を探してはいけないか、信号とノイズパターンを区別することを教えるためです。しかし本当に成功しているわけではありません。
この新しいアイデアは、2つのブラックホールが螺旋状に落ち込んでいくというものです。美しい重力波信号があります。これを検出し、信号の美しいデジタル化を行えます。そして今、これをトークンに変換するだけです。そしてこれらのトークンが、人工知能システムの量子化効果となります。
これをやってみましょう。「ちょっと待って、3次元の重力波波面を線形のトークン列にどうやって変換するの?」と言われるかもしれません。その質問をしてくれて本当に嬉しいです。なぜなら、これがその答えだからです。これがフローチャートです。ここに天体物理学的信号があります。それから特定の変換があります。
トークン化のプロセス
すぐに説明します。美しいスペクトルが得られます。パッチングを行えます。K平均量子化効果を持つことができ、突然トークンが生成されます。このトークンが何をエンコードしているかは、Transformerにとっては重要ではありません。なぜなら、残りの部分でデコードするからです。
しかしLLMは、10万個のトークンでパターンマッチングをどうやって行うか正確に知っています。ですから、信号を処理するためにLLMの力を使っているのです。そして、この研究の著者たちは素晴らしいアイデアを持っていました。古いLLaMA 3、汎用テキストモデルを使いました。ビジョン言語モデルではありません。彼らは純粋に言語的、テキストに留まると言い、特定の重力波スペクトログラムパターンをこのLLMに入力しました。
そして何度か試行錯誤して正しい方法を見つけ出した後、これから説明しますが、結果は驚くべきものでした。CNNが学習するために大規模な合成データセットを必要としたのに対し、LLMでは信じられないことが起こりました。LLMは、わずか90の実世界の例だけを使用して、97%以上の最先端の精度を達成しました。90対50万です。CNNと比較してです。
すぐにお分かりいただけると思いますが、これはまさに私たちが待ち望んでいたものです。ではこの変換をどのように行うのでしょうか。最初のステップは有名なQ変換です。彼らはここで時系列を、古き良き定Q変換を使用して時間周波数表現、私たちがスペクトログラムと呼ぶものに変換します。
これは天体物理学的信号、チャープがどのように現れるかと整合しています。時間とともに周波数が進化します。これが標準的な数式です。これを見たい方、そして実際にこれが初めて使用されたのはいつなのか図書館に行って調べました。1978年のIEEE音響音声信号処理国際会議を見つけました。彼らがこの方法論について最初に話した人たちです。
定Q変換の歴史と応用
彼らは言いました。「短時間フーリエ変換の一般化が提示され、時間領域信号の一定パーセンテージ帯域幅解析を実行する。この変換は周波数依存の時間および周波数分解能を示すことが示される。スペクトル修正がない場合に恒等性である解析合成システムを提供する合成変換も開発される」
「最後に、定Qスペクトル領域と人間の聴覚システムとの類似性が探求される」信じられません。1978年にこの方法論を見つけたのです。それからステップ2、パッチングと量子化です。スペクトログラムは単純に時間間隔、時間パッチにスライスされ、これをテキストのようにするために、これらのパッチの特徴ベクトルにK平均クラスタリング関数を使用します。
各パッチは最も近いクラスター重心に割り当てられます。例えばクラスターIDがトークン番号になります。簡単です。結果は、靴下をしっかり履いてください、連続的な重力波干渉パターンが今や整数の列になり、LLaMA 3は他の人間の文と全く同じように処理してパターンを見つけることができるのです。
素晴らしい。繰り返しますが、畳み込みニューラルネットワークは局所処理で大きな問題を抱えていました。局所的なカーネルしか見ていないからです。Transformerは自己注意を計算します。これは古典的なものです。各トークンXサブiについて、スペクトログラムのパッチですが、他のすべてのパッチXサブjを見ます。
この重力波信号は、私が言ったように滑らかな曲線に従います。このTransformer解析により、パッチXの開始位置は、パッチXの終了まで他のすべてのパッチ位置と強く相関します。なぜなら、同じ物理的進化、同じチャープ、同じ重力文の一部だからです。
ここで注意の数式を思い出してください。ここにあります。クエリ、キー、バリュー項、Q×Kの転置のソフトマックス関数です。このQ×K転置は信号に対して高くなります。そして私たちはノイズに対して正反対が真であることを望んでいます。そして、これが機能しているのです。ノイズに対して、グリッチは今や孤立することができます。なぜなら、グリッチ信号は過去や未来の文脈と相関しないからです。
自己注意機構による信号とノイズの識別
したがって、数学的項Q×K転置は、遠くのトークンに対して低くなります。信号とノイズの識別を正確に見つけたのです。これが私たちが設定した目標でした。このグローバルなソフトマックスは、今やグリッチを効果的に下方重み付けし、純粋な信号を上方重み付けします。なぜなら、それがコヒーレントな文を形成し、LLMによって処理されるからです。
私は本当に驚きました。これを見てください。ここに混同行列があり、彼らはわずか90のイベントでLIGO観測データでLLMをファインチューニングしました。真のラベルと予測されたラベルを比較すると、品質、精度が両方のケースで97.4%であることが示されます。LIGO データでこのLLMをファインチューニングするためにわずか90の実際の観測イベントしかなかったことを考えると、このAIパフォーマンスは驚くべきものです。
これがメインの研究です。ご覧ください。「限定的なノイズデータのためのLLM:重力波識別研究」です。もはやAIの出版物を見ているのではありません。もちろん宇宙物理学でこれを見つけたのですが、宇宙物理学でLLMや大規模言語モデルを見るたびに見てみて、本当に魅力的だと感じました。中国、イタリア、中国、イタリア、フランス、ローマ、中国、中国、イタリアのすべての著者、すべての機関に感謝します。なんと美しい研究でしょう。
トレーニング体制について、どのようにトレーニングしたか興味があるかもしれません。彼らは古いLLaMA 3の8Bインストラクトモデルを使い、LoRAアダプターとして知られる美しい技術を使用しました。LLaMA 3の巨大な密な重みをすべて凍結し、わずか90のイベントでこの低ランクアダプターの低ランク分解行列だけをトレーニングしました。
これを今まで使われてきた古典的なものと比較してください。50万の模擬サンプルによる事前トレーニングがありましたが、パフォーマンスは向上しませんでした。ですから、信号を画像として見る畳み込みニューラルネットワークから、Transformerの動作方法すべてを持つ大規模言語モデルへ移行しなければならないことを本当に理解しています。
LLMによる学習の効率性
LLMは今や、わずか数例の実例から、このチャープ信号、この実際の重力波干渉信号の基本的な形態を学習します。これは宇宙ベースのレーザー実装にも完璧です。繰り返しますが、実際の天体物理学的信号があります。それから定Q変換による変換があります。探しているチャープがある時間周波数スペクトログラムがここにあります。ここで簡単なパッチングを行い、トークンが得られます。古典的なTransformerアーキテクチャは、トークンの実際の内容が何であるかを気にしません。整数を受け取るだけです。ですからK平均量子化が解決策です。
一歩下がって見てみましょう。重力波信号、GW信号があります。これは非常に特定の形状、形、時間依存性を持っています。本当に安全でしょうか。見てみましょう。このGW信号の開始時には、ゆっくりと進化する低周波数があります。ですから、初めのゆっくりとした上昇を追跡するために、CQTの高周波数分解能のようなアルゴリズムが必要です。
しかし最後に、これら2つのブラックホールが一緒に螺旋を描いて合体する時点では、ミリ秒またはそれ以下の間に瞬時に進化する高周波数があります。ですから衝突の正確な瞬間を特定するために、CQTの高時間分解能が必要であり、これらすべてが素晴らしく機能します。本質的に、テキストモデルを騙して物理データ、重力波信号を読み取らせた方法を理解することが本当に重要です。
物理の連続世界と大規模言語モデルの絶対的な離散整数世界の間に翻訳層のステップがあります。どうやったのか。すでにK平均量子化でお話ししました。詳しく見てみましょう。問題は、LLMは浮動小数点数を話さないということです。整数しか話さず、LLaMA は テキストモデルです。
K平均量子化による辞書生成
固定語彙からの整数トークンIDを期待する埋め込みの入力層があります。宇宙の重力波をどのようにトークン化するのでしょうか。解決策は簡単です。辞書生成器としてK平均を使用します。ステップAでは、フレームまたはスラットを抽出します。CQTスペクトログラムを取ります。これは時間周波数であり、垂直に時間ステップにスライスします。これが必要なものです。
各スライスは今やベクトル表現であり、その特定のミリ秒の周波数内容を表します。例えば、50Hzで高エネルギー、100Hzで低エネルギーを持つというベクトルのようなものです。素晴らしい。それからステップBでは、コードブックを構築しなければなりません。新しい辞書を構築する必要があります。もはや単語やサブトークンではありません。今や重力波トークンです。しかし彼らがすることは、トレーニングデータ、実際の信号からすべてのベクトルを取り、山に投げ込みます。
そして、この山に対してK平均アルゴリズムを実行します。なぜなら、これら90の要素が本物であることを知っているからです。K平均は今や信号の一般的な代表的な形状を見つけます。重心1は静寂または平坦なノイズのように見えるかもしれません。重心2は低いうなりのように見えるかもしれません。重心3は高いピッチのスパイクのように見えるかもしれません。私たちは語彙、辞書を構築していることがわかります。例えばK=100または200のクラスターを選択したとします。
彼らは今や200の独自の音の形状の語彙を持っています。そしてその音はブラックホールの重力崩壊の音です。そして量子化です。単なる翻訳です。重力波干渉計の新しい入力信号ごとに、最初の時間スライスを見て、学習したK個の重心と比較します。
最初の時間スライスがK重心と本当に類似した署名形状を持っている場合、AIは考えます「うーん、42という名前の重心とほぼ同じに見える」。そして今、その特定の時間依存スライスを整数42に置き換えます。これで完了です。達成する結果は非常にシンプルです。連続的な重力波が入ってきて、今や整数の列に変換されます。
正規化効果とノイズ除去
この素晴らしいアイデアを思いつくだけでよかったのです。モデルは標準的な形状の限定されたメニューから選択することを強制されています。これには複数の効果があります。まず正規化効果があります。しかし、これは本質的に入力をノイズ除去します。なぜなら、独自のランダムノイズは標準的なクラスターにうまく適合しないからです。
ですから、最も近い一般的なノイズトークンにマッピングされます。一方、重力波の強いコヒーレントな実際の信号は、「これが実際の信号トークン」の特定の列にマッピングされます。ノイズと信号を識別するという、まさに設定した目標を達成しました。著者たちの結論は何でしょうか。結論としています。「我々の発見は、LLMが重力波信号識別のための従来の畳み込みニューラルネットワークに対する実行可能で効率的な代替案を形成することを示している」
「複雑な非ガウス的および非定常的ノイズを処理するLLMの能力は、小規模データセット(わずか90イベント)での強力なパフォーマンスと組み合わさって、LLMが将来の重力宇宙ベース波識別パターンにおいて重要な役割を果たす可能性があることを示唆している」そうです、達成しました。さて、私自身の追加的な洞察があります。
より深い洞察と呼びましょう。CNN汎関数からTransformer汎関数へと汎関数を交換したことに気づきましたか。これが、AIモデルの数学的トポロジーを重力波特性の実世界の物理的トポロジーと整合させ、それによって扱いにくいビッグデータ問題を単純で些細なスモールデータ問題に変換したことに気づきましたか。
AIにおける確率汎関数の交換について話すときは常に、Transformerアーキテクチャ内のデータ処理の基本的なルールを変更することについて本当に話しているのです。畳み込み汎関数はシンプルでした。私のウィンドウ内の局所的な近傍だけを気にすると言いました。波形関数を取ります。
確率汎関数の交換の意義
小さなウィンドウをその上にスライドさせます。このウィンドウ内にあるものだけに基づいて確率を計算します。欠点は、これが極端に近視眼的だということです。ノイズのバースト、グリッチを見て「これは本物の信号かもしれない」と考えます。なぜなら、CNNは特定のウィンドウの外にある2秒前の文脈を見ることができないからです。
全く異なるパフォーマンス、Transformerの注意汎関数で信号を計算する全く異なる方法論です。ルールが変わりました。Transformerは言います「この信号のすべての部分と他のすべての部分との関係、私の文の中、私のチャンクの中、そしてこのチャンクにうまくいけば完全な重力波信号があることを気にする」
波形関数全体を一度に取ります。波の始まりが波の終わりとどれだけ一致するかを測定することによって、確率、自己注意を計算します。達成したことは、グリッチをキャンセルできることです。ノイズを無視します。なぜでしょうか。この変換におけるノイズは孤島だからです。
汎関数の数学的ルールは単純に言います「それが列の残りと接続していない場合、これが実際の信号である確率は低い」。そして、私たちは設定した目標を正確に達成しました。汎関数、注意汎関数、畳み込み汎関数の純粋に数学的なレンズからこれを見る方法があり、AIシステムの正しいアーキテクチャへのはるかに深い洞察を提供することがわかります。
さて、これで終わりです。私たちが達成したことを想像してください。つまり、著者たちが達成したのは、重力波信号のトークン化とAIシステムにおける確率汎関数の交換です。宇宙を横切って何百万年も旅してきた重力波データから始めました。
検出しました。この特定の波データを、LLMへの線形列入力プロンプトであるトークン化された列に変換する方法論を見つけました。しかし、確率汎関数の交換がありました。畳み込みニューラルネットワークを追い出し、古典的なTransformerアーキテクチャを挿入しました。大規模言語モデルを使用して、おそらく2つの衝突するブラックホールの重力波の干渉信号の詳細と複雑さを分析し、純粋な信号波形を出力として識別し再構成できました。
宇宙物理学における何と素晴らしい旅でしょう。私はこの論文の美しさに単純に驚嘆しました。AIをこれほど多くの知的な方法で信号変換に使用できることをお見せしたかったのです。考えもしませんでしたが、なんと美しい研究でしょう。ご自身でご覧ください。ご視聴ありがとうございました。
少しでも楽しんでいただけたら幸いです。興味深いと感じていただけたかもしれません。私のチャンネルに登録したいと思われるかもしれません。私のチャンネルのメンバーになって、このチャンネルをサポートしたいと思われるかもしれません。いずれにせよ、次の動画でお会いできることを願っています。
コメント