この動画は、現在のGPTやClaude等のトランスフォーマーベースの大規模言語モデルを超える次世代AI技術として、ウェーブレット演算子理論を紹介している。従来のAIがベクトル空間での行列演算に依存する限界を指摘し、データを関数として扱うヒルベルト空間での演算子代数による新しいアプローチを解説している。この手法により解像度非依存性、高い解釈性、線形計算複雑度といった利点が得られ、スタートアップ企業によるイノベーションの可能性を示唆している。
現在のAIシステムの限界とウェーブレット理論の可能性
やあコミュニティの皆さん、また戻ってきてくれて嬉しいわ。夏やし、めっちゃ綺麗な季節やからな、今日は演算子ベースの機械知能について話してみよか。みんなは海辺で人生を楽しんどるか、それとも南半球のこの美しい地球におるなら、どっかでスキーして雪の中で楽しんどるやろな。
でもな、話さなあかんことがあるんや。現在の深層学習のパラダイムっちゅうのは、数百万から数兆個の重みパラメータを非線形ニューラルネットワークで最適化して、それを知能、場合によっては超知能って呼んどるんや。
今のAIをちょっと冷静に見てみよか、海辺でも雪の中でもリラックスしながらな。今やっとることが分かってきたで。従来の機械学習と深層学習は、ユークリッド数学空間に住んどるんや。そして、言語から画像、動画、音声まで、持っとるデータのすべて、すべてがベクトルになることを強制されとる。つまり有限の数字のリストってことや。
三次元座標系を考えてみ、x、y、z座標とベースがあるベクトルがあるやろ。でも画像っちゅうのは、そんな絵やない。画像は今や幅と高さとチャンネルを持つベクトルになってしもうて、その値を持っとるんや。例えば224×224のRGB画像は、約15万個の数字を持つ平らなベクトルになってしまうんや。
文章も、古典的なAIシステムでは言語とは何の関係もない。今やトークン化した各単語や単語要素が、768次元の数値で構築された数学的ベクトル空間の非常に特定の点になった埋め込みベクトルの配列になっとる。もう文章やないんや。
ユークリッド空間からヒルベルト空間への移行
今操作しとる幾何学は、ユークリッド空間の世界やな。このユークリッド空間で操作せなあかんのや。距離を測らなあかん。2点がどれだけ離れとるか。異なるノルムがあるし、2つの意味表現の類似性を決定するために角度を測らなあかん。これはドット積、コサイン類似度でやっとるんや。みんな知っとるやろ。
学習プロセスに関する操作について言うとな、古典的なGPT-5（この動画を見る頃にはあるかもしれんが）では、すべてを行列乗算でやっとる。ニューラルネットワークの核心は、海辺のどっかで横になって考えてみたら簡単や。入力があって、出力がある。それだけや。
Y＝非線形活性化関数（重み行列、重みテンソル行列Wが入力に作用して、バイアス項がある）
学習でやっとることは、行列の完璧な表現を見つけるか学習するだけで、それ自体は比較的単純な最適化問題やけど、ベクトル空間でしか操作してへん。
ベクトル表現は根本的にそんなに知的やないことが分かっとる。なぜなら、データ複雑性そのものの固有構造を捨ててしまうからや。単純な画像の異なるピクセルのベクトルがあっても、例えば1つのピクセルが別のピクセルに本当に近いとか、一部のピクセルが反転しとるとか、ローカルな位置情報がないとか、ベクトルのデータ表現に時間情報がエンコードされてへんとかの組み込み知識がないんや。
だからAIモデル、大規模言語モデル、視覚言語モデルなどを構築する時に、空間的局所性の失われた概念を再導入するために、AI初期の畳み込みニューラルネットワークなどの巧妙なアーキテクチャを発明せなあかんかった。つまり、ニューラルネットワークや学習システムのアーキテクチャが、データの基礎構造とデータ自体の任意の関数を再発見するために重い作業をすべてやっとったんや。
これはGPT-5やClaude 5などを考えてみたら、現在のAIシステムは堅実な基盤に基づいてへんっちゅうことや。高度に確率的なシステムで、信頼できる決定論的システムとは全然違う。これを変えることはできるんか？完全に新しい何かはあるんか？
関数としてのデータ処理
夏を楽しんで完全にリラックスして言うたろか。現在のように平らなベクトルとしてデータを見るのは、損失の多い不自然な単純化や。データを真にあるべき姿で扱うべきや。それは関数や。それ自体に固有の複雑性を持っとる。
画像を考えてみ。それはxとy座標から特定の色値に2次元座標をマッピングする関数f(x,y)や。関数そのものが画像なんや。音声クリップも同じや。時間座標tを特定の振幅にマッピングする時間の関数や。
今操作する幾何学は違う。数学の次のステップを踏むんや。数学の初心者クラスから、大学の2学期目の数学に進んで、ヒルベルト空間を見てみるんや。覚えとるか分からんけど、長い時間が経っとるからな。もうベクトルやなくて関数の無限次元空間や。数学空間そのものを構築する複雑性を増加させるんや。
2つの関数間の距離を測るんや。形と角度、もしくは類似性や整列がどれだけ違うかを、既に知っとる内積を使って測るんや。でも今度は演算子自体の関数の内積や。学習プロセス自体の演算子は、新しい数学的公理が与えられたこの新しい数学空間で操作する数学的演算子を通して行われるんや。
演算子による関数変換
演算子、Tと呼ぼか、今や1つの関数fを別の関数gに変換する特定の機械や。古典的なAIシステムで入力と出力があったのを覚えとるやろ。今度は入力関数と出力関数があるんや。演算子には馴染みがあるやろ。俺の動画で微分、フィルタリング、畳み込みについて話したことがある。
これらはすべて、より興味深い数学空間での単なる演算子で、より多くの数学的力、より多くの性能を持っとる。学習はどうや？学習はAIにとって本質的な部分で、未来を予測するためのもんや。
次世代AIでの学習目標は、入力関数とその複雑性を特定の出力関数とその与えられた複雑性にマッピングする最適な演算子を見つけることや。例えば、拡散モデルに行くなら、ノイズ除去演算子を学習するタスクかもしれん。
海辺で完全にリラックスして見てみよか。太陽が輝いて美しいか、深いパウダースノーの中で日光を楽しんどるか。何かユニークなことをしよう。前向きに沈むことを敢えてしよう。
関数は本質的に自分がいる空間を理解しとる。近傍の概念は関数の定義の一部や。だから今、データセットのこの特定の美しさを再発見するために重いアーキテクチャは必要ないし、これによってモデルは解像度に依存しなくなる。画像と動画についてこれが何を意味するか考えてみ。解像度に依存しないモデルを持てるんや。
現在、すべてのベクトルはサイズが固定されてて、動画生成器の性能を大幅に制限しとる。今、任意の解像度4K、8Kでサンプリングできる関数に切り替えられると想像してみ。特定の関数で操作することを学ぶモデルは、100×100ピクセルの画像でも4000×4000ピクセルの画像でも、アーキテクチャを何も変更せずに処理できる。なぜなら、離散的なピクセルグリッドやなくて、すでに連続的な基礎オブジェクトである関数で操作しとるからや。
数学的基礎の活用
これは利点や。息を呑むような話や。実験で関数に移行して、ベクトルと古い古典的なGPT-5の行列乗算を忘れたら、今度は何百年、何百年もの数学、信号処理、工学、理論物理学の知識を借りることができる。今や何千何千もの数学専門家の数学的知識がすべて手に入るんや。
単なる行列乗算の代わりに、最も単純な場合はフーリエ変換を使えるし、ウェーブレット変換を使うこともできる。微分方程式があるし、何十年もチェックされた演算子理論がある。確実に動作することが分かっとる美しい数学的構造がある。確率的データ分布やない。
演算子学習については分からんけど、この動画の最後で見せたるし、偏微分方程式を解くための通常の演算子はすでに動作しとる。これは素晴らしいことや。演算的機能的観点を持っとるんや。
古いニューラルネットワークが画像のノイズを除去することを学ぶ時、ニューラルネットワークの重みと呼ばれる何百万ものテンソル構造を学習して修正せなあかん。何らかの操作をして綺麗な画像を生成するんや。ヒルベルト空間モデルで画像のノイズ除去を学ぶ時は、信号理論でローパスフィルタに対応する演算子を学ぶだけかもしれん。
この数学的オブジェクトが何をしとるか正確に分かっとる。単に信号の高周波を除去しとるだけや。だからモデルは自分自身を処理することを学んだんや。これが追加の利点や。大幅に解釈しやすく、汎用性があり、堅牢で再現可能や。これが次世代AIに求めるもんや。
新旧システムの比較
今まで持っとったもんはこれや。どっかの海岸や山で楽しんどる今まではな。ベクトル代数があった。ユークリッド空間があった。AIは行列乗算に基づいとった。構造は失われて、トランスフォーマーブロックやエンコーダーやデコーダーなどの層を持つ本当に複雑なニューラルネットワークアーキテクチャを構築して、特定のデータの構造を発見せなあかんかった。
でも今日、数年のAI経験を経て、これは簡単や。知られとるからな。今、数学的複雑性を1段階上げて、美しい利点を得る対応する要素を正確に反対側に示したる。
突然、有限の数字のリストやなくて、操作する無限次元オブジェクト、関数を持つことになる。数学空間はユークリッド空間からヒルベルト空間に変わる。単純な行列乗算から、はるかに強力な演算子代数に進む。データで構造は失われとったが、今度は座標や時間などに関する関数定義そのものに固有の構造がある。動画について考えてみ。解像度の独立性と解釈可能な豊富な数学的ツールが操作できるんや。
ウェーブレット変換の導入
用語を紹介しよか。もしかしたら馴染みがあるかもしれん。簡単やって言うかもしれん。すべて知っとるって。そうやなかったら、ちょっと待ってくれ。ウェーブレット。
今度の仕事は、すべてが圧縮された有限ベクトルのこの平坦な土地からAIを取り出して、新しい数学的操作のための関数の豊かな構造化宇宙を開くことや。
ここにウェーブレットがある。可能なウェーブレットの1つや。これは何か？時間と周波数情報をキャプチャする局所化された波形や。すでに知っとることに限定されやなくて、今度は時間次元もあるんや。
AIのウェーブレット、信号理論やなくてAIのウェーブレットに焦点を当てたる。実際にこれをどう適用するかや。多解像度解析、特徴抽出、ノイズ除去、圧縮、ニューラルアーキテクチャのコンポーネントに使われて、時間変動する周波数コンテンツを示す複雑な信号を解析する特定のセットで非常に価値があるんや。
人間の文章があるなら、どうこれを使うべきかって言うやろな。文章は、ちょっと遠くから見たら離散的な記号構造や。文字や単語やトークンの配列やけど、数学的な観点から見た従来の連続的または離散的時間センスでの信号やない。
文章処理への応用
システムをどう変更するか？簡単や。ウェーブレット分解を適用するんや。まず、単語を持つ人間の文章の記号構造を、信号理論やスペクトル理論などのはるかに強力な数学空間で処理できる、はるかにエレガントな数値信号にマッピングする必要がある。
文章は直接ウェーブレット変換できへん。でもトリックがある。ウェーブレット分解がこのデータの多尺度意味論的、構文的、構造的情報を明らかにする信号部分に埋め込むことができるんや。
この変換、すぐに見せたるけど、情報コンテンツのズームインとズームアウトのような、局所化された尺度依存解析を可能にするんや。
5年前からの単語埋め込み、BERTと文章トランスフォーマーを知っとるやろ。GloVeがあって、BERTがあって、Word2Vecがあって、俺の古い動画を見たら独自カスタムモデルもあった。各単語や単語の特定のトークンは、50次元空間のベクトルやった。5つの単語を持つ文章があったら、5×50の空間の行列ができる。
各行が文章内の5つの単語の特定の配列での単語で、列が文章内の単語位置での信号になる。最も簡単な1次元ウェーブレット理論を使うんや。単語ごとの埋め込みがある。
文章が「量子力学は小さな粒子を支配する」やとして、好きなBERTを取って、3次元埋め込みベクトルを得る。これは事前訓練データセットで与えられる。他のオブジェクトとの類似性を与えてくれる。
各埋め込み次元を離散信号として扱うんや。これを見て。埋め込み次元1がある。5つの単語について、最初のやつが0.52、次が0.48、0.10、-0.12、0.0を取る。離散信号の次元ができた。これが長さ5の1次元実値離散時間信号で、文章のためのもんや。これを離散時間信号に変換するのがこんなに簡単やったんが分かるやろ。
もっと複雑な解決方法もあるけど、最も簡単なやつを示したい。何をしとるかの感覚を掴んでもらいたいだけや。それから、それぞれの信号に独立してウェーブレット変換を適用するんや。
ウェーブレット変換の詳細
最も簡単な場合のウェーブレット変換は、文章内の情報が時間、つまりトークン位置と周波数でどう変化するかを分析するんや。言語レベルでの詳細レベルでのコンテンツの複雑さをな。
最も単純な場合、信号解析から知っとる低周波成分と高周波成分がある。低周波成分は意味構造、構文、文章のトピック、話しとる内容をキャプチャする。高周波成分は、より小さなローカルな変動や急激な変化をキャプチャする。
急激な遷移があったら、文章内に突然固有名詞があったり、非常に技術的な単語があったり、感情が幸せから怒りに変わったり、どの次元でも変化しとることがあったら、異なるフィルタシステムを持つことができる。
離散埋め込みから一般的なウェーブレット理論に移行する時、有限次元ベクトルを平方積分可能関数のヒルベルト空間L2の関数で置き換えるんや。美しいことに、完全な内積空間、実数値連続信号のための標準的なヒルベルト空間も持っとる。
この空間から敢えて量子力学を見てみたら、量子機械学習とか量子コンピュータとかやなくて、ちょっとだけ恥ずかしげに見るだけやけど、量子力学の言語で言うなら、物理学者なら知っとるやろうけど、これは状態ベクトルから波動関数への遷移に対応する。この類似は本当に深い類似やけど、物理学の理解が必要や。そうやなかったら気にせんでも、後の動画のための展望や。
Wφiをウェーブレット変換演算子として定義して、変換があって演算子代数があって、ヒルベルト空間の関数を尺度位置表現にマッピングすると言うた。変換のための特定の公式がある。これはヒルベルト空間のための別の公式で、重みフラットフレームまたはベクトルの正規直交基底のようなすべての要素が、ユニタリ演算子を介して母ウェーブレットφiから生成されるんや。
これらの演算子は重要で、すぐに詳細に見せたる。拡大と平行移動の2つのユニタリ演算子があることを伝えておく。次元の1つを単純にシフトする時や。拡大と平行移動演算子の数学にもっと興味があるなら、これらの演算子の定義がある。それらはユニタリなので、類似性のために必要な内積を保持する。ラックシステムにあるようなやつや。それらの組み合わせがウェーブレット変換カーネルを定義する。カーネルという用語を覚えといて。馴染みがなくても気にせん。ウェーブ変換カーネルのようなものがあることに注意して。動画の最後で、深く掘り下げたいなら文献を見せたる。
数学にちょっと詳しいなら、俺よりもずっと数学が得意やと思うけど、これはヒルベルト空間での特定のアフィン群の表現を定義して、C*代数の名門代数に繋がる。ここで本当に数学に入り込むけど、残念ながら氷山型不確実性のこの氷山に深く潜り始めとることを伝えなあかん。将来見ることへの別の一瞥やけど、馴染みがあるなら素晴らしい。
ウェーブレット変換の仕組み
ウェーブレット変換を要約してみよう。特定の母ウェーブレットφDを使って構築した信号を分解する。これはL2空間で操作する小さな波のような局所化関数や。拡張、つまり伸縮と平行移動、つまり情報ストリームでのこの母ウェーブレットのシフトによって、空間と周波数の両方で局所化された基底を作成できる。これが座標系の基底や。x、y、zを覚えとるやろ。
信号理論の観点から見たウェーブレット変換は、この基底ウェーブレットとの内積の集合や。それだけや。もっと単純な数学的場合でベクトルを構築するみたいなもんや。今度は異なる方法で異なる数学空間でやっとるけど、アイデアはほぼ同じや。
ウェーブレット変換は、この基底ウェーブレットとの内積の集合で、多尺度表現を提供して、すべての詳細を圧縮拡張ウェーブレットでキャプチャできる。内積を理解することがどれだけ重要かが分かるやろ。
数学に馴染みがなければ、調べたい信号と知っとる基底ウェーブレットφとの類似度ゲージまたは整列スコアとして考えて。この新しい外来信号fの形状が特定の場所でウェーブレットの形状と非常に似とったら、内積は大きな正の数になる。
逆転しとったら大きな負の数になる。でも完全に異なっとったら、内積はゼロに近くなる。単純なベクトル空間でしかできんかったヘル空間での類似性測定を与える非常に単純な数学的公式があることが分かるやろ。
実用例：株価データ解析
より専門的な形でウェーブレット変換を計算する時、小さな信号に対してすべての可能な場所とすべての可能なスケールでウェーブレットの完全なツールボックスとの類似性を体系的にチェックしとるんや。この類似性チェックの結果が重要なウェーブレット係数や。
例を見せたる。特定の日の株価動態や株価データに興味があって、この新しい技術で解析したいとする。まず最も単純な場合に2種類の質問をする。全体的なトレンド、特定の細粒度データに対する平滑化されたトレンド全体は何か。株価は上がっとるか下がっとるか。これは最初に知りたいことで、低周波情報や。
次に、鋭いスパイク、非常にローカルな極大や極小、世界で何かが起こった時の突然の下落はどこにあるかという質問がある。市場がすぐに反応する。因果関係を見たい。決定に何が入っとるか。これが信号理論で言う高周波情報や。
この離散ウェーブレット変換、この演算子は、単純にローパスフィルタとハイパスフィルタのフィルタを持っとるから、これらの2つの質問に同時に答えるように設計されとる。
係数が理解したい最も重要なものや。最も単純な場合、A1とD1がある。A1は近似や。ローパスフィルタから来る係数や。信号の平滑化された低周波近似を表す。信号の主要な形状、主要なトレンドをキャプチャする。一般的に何か。近似のAや。
ニュースが入ってくるのが分かったけど、ニュースの詳細を知りたい。そしたら信号理論でハイパスフィルタがある。D1またはD係数、詳細や。単純な信号形式と波形で鋭いエッジ、スパイク、ノイズの詳細をキャプチャする。覚えやすい。
1次元の場合の最も単純な場合の係数で、A1とD1がある。A1は全体的な低周波コンテンツ、意味構造をキャプチャする。トピックは何か。「量子力学と粒子」という文章を与えたら、D1は非常に専門的な高周波コンテンツや。画像の鋭い遷移やったら、例えば黒と白の間のエッジや、語彙で絶対に稀な技術用語や。学習のための表現をどう構築し始めるか正確に理解できるやろ。
AIシステムとの対話と数学的枠組み
AIシステムと話したことがある。ここにスクリーンショットがあるけど、数学的枠組みについて少し話したんや。ちょっと復習が必要やったからな。
抽象的な数学的枠組みでは、ウェーブレット変換やヒルベルト空間でのユニタリ演算子について、ヘルベルト空間での平行移動と拡張の群表現を通して作用することについて話した。埋め込みに適用された時、有限次元部分空間でのこれらの演算子の近似として作用する。
AIは、その核心でこのウェーブフラット解析は関数空間での演算子代数であって、ベクトル算術とは全然違うと伝えてくれた。古いAIアイデアをすべて後にした。古いAI業界からすべてを後にした。AIシステムを構築する方法、レイヤーを構築する方法、セルフアテンションを持つ方法、すべてなくなった。古いGPTシステムは時代遅れ、昔ながらの、最後の世代の技術や。この新しいアーキテクチャ、この新しいアイデアで、AIの完全な業界を革新できるんや。
ヒルベルト空間のような関数空間での基底を覚えとるやろ。話しとる任意の関数は、係数と基底関数で特定の形で書き直すことができる。もちろん、これらの基底で直交または完全な基底が欲しい。関数基底は言うたように座標系のようなもんやけど、関数用で、ベクトルの集合や。これは数学的にすべて動作することを本当に証明できるんや。
美しい拡張と平行移動の演算子を見せると言うた。平行移動は、信号の上でシフトする時、簡単なやつや。信号のすべての点で特徴をチェックする必要がある。
平行移動演算子、ここにあるこの小さなやつや、ウェーブレットを信号に沿って単純にスライドさせる。すべての瞬間にここを行く。これを解析するんや。数学的用語では、位置ゼロで関数fとφの内積を計算して、ここでゼロから始めて、φを右に1ステップシフトして、そこで内積を計算する。すべての位置でこれを続ける。これが時間や空間で局所化された情報を得る方法で、素晴らしい。
もっと興味深いのは、ここでの伸縮、拡張や。これが多解像度解析の鍵やからな。拡張演算子は、母ウェーブレットφを伸縮させることで異なるバージョンを作成する。伸ばしたら、2倍の幅のウェーブレットになる。そして、推測してみ。伸ばしたウェーブレットは低周波を持つ。
ゆっくりで滑らかで、ゆっくり動く大規模特徴との信号の類似性の測定や。推測してみ。これが近似係数や。素晴らしい。
ウェーブレットを圧縮したら、元の半分の幅のウェーブレットになって、手にはるかに鋭いメス、はるかに鋭い道具を持つことになる。これは高周波や。速くて鋭くて、速く動く細粒度詳細との信号の類似性を測定するのに使える。
これが高周波詳細D1係数や。この時、自分に聞いた。ちょっと待て、マルチヘッド、セルフアテンション、このレイヤーを持っとった古い古典的なAIから何か残っとるもんはあるんか。覚えとるやろ、ROPE位置エンべディングは全部なくなった。すべて完全になくなったんか。このアーキテクチャは終わったんか。
新しいモデルのアテンションはもう他のトークンに向けられてへん。でもこの類似、心の中でのこの橋を持ちたいなら、このアテンションは今度は信号そのものの構造的性質に向けられとる。信号そのものの上でシフトしたら、学習は最も簡単な単純化でこの動画で与えることができるウェーブレット係数を変調することで起こっとる。
モデル、この新しいAIモデルが高周波係数を増幅することを学んだら、今度は鋭い遷移に注意を払っとる。画像のすべてのエッジを検出しとるか、言語のすべての技術用語を検出しとる。それらを抑制することを学んだら、詳細を無視して全体的な意味に焦点を当てることができる。
これはスペクトルフィルタリングでの美しいメカニズムや。推測してみ、これの表面にいるだけで、発見されるのを待っとる数学の深い深いレベルがあるんや。EIを発見せよ。
トランスフォーマーとの比較
ここに俺のEIが構築したもんがある。この変換、このアイデアが気に入った。これらのことを比較して、並列比較の例を持ちたかった。これがトランスフォーマーセルフアテンションや。これが古いAIや。これがGPT-5で、これが新しいモデルや。これが新しいアイデアや。
覚えとるやろ、トランスフォーマーアーキテクチャでは、シーケンス長nに対して二次複雑度を持っとる。長いシーケンスでは非常に高価になる可能性がある。この新しいシステムの計算複雑度は何か知っとるか。シーケンス長で線形nや。計算複雑度の観点から極めて効率的になるやろう。
でも始めよう。トランスフォーマーアーキテクチャでは、核心原理はトークンAがトークンBにどれだけ関連しとるかや。セルフアテンションアイデアや。構造化信号分解では、最も単純な場合のウェーブレットは、単純にこの場所でこの尺度で与えられた信号にどんなパターンが存在するかや。
レイヤーでのクエリとキーベクトルのすべてのペア、ペアワイズドット積間の類似度スコアの計算について考えたら、今度は変調と投影がある。複数のウェーブレットの基底に信号全体を投影して、次の動画で見せたるけど、結果として得られる係数を増幅するフィルタを学習する。これが学習や。
古いトランスフォーマーセルフアテンションベースでシステムが見るもんは何か。文章内の位置に関係なく、意味的または構文的に関連しとるトークンを学習する。言語で意味的に近いものが数学的ベクトル空間でのイプシロン環境に翻訳されるんや。
信号理論での構造パターンは完全に違う。シーケンスの異なる尺度で滑らかさ、エッジ、振動、トレンドのような特徴を見る。信号や。文章やない。
新システムの利点
削減された複雑度について話した。これは美しい。もうMambaは必要ない。これははるかに良い近似や。どう解釈できるか。これらはブラックボックスシステムや。今度の新しいウェーブレット係数は正確な数学的意味を持っとる。ブラックボックスを開けることができる。
データ効率的や。事前訓練や強化学習のための巨大なデータセットは必要ない。なんて興味深いんや。
中国かアメリカか、ヨーロッパがAIで何かしとるとは思わん。ヨーロッパの研究者に訂正されることを期待しとる。これが話しとる次世代AIシステムや。
トランスフォーマー、ニューラルネットワーク、トランスフォーマーブロックの層などの古典的構造について話した。でも、グラフがある、知識グラフがある、RACKシステムがある、グラフRACKシステムがあると言うかもしれん。構造化データ情報が必要で、またトランスフォーマーがデータ入力構造でデータ複雑性を利用できへんから見えるやろ。
この新しいAIモデルでこれをできるか。この愚かなモデルを構築しなくても、データ構造に固有のものを持てるか。グラフに対して、グラフラプラシアンウェーブレット変換のようなものがある。数学を勉強したら、俺よりも知っとるやろう。俺にとっては長い長い時間前やからな。でもできるんや。
美しいことに新しい文献がある。次回の動画で見せるかもしれん。ウェーブレット論理グラフ信号でシンボリック推論ができる。現在やっとるように、SQL、NoSQLデータベース、グラフ、知識ベースなど、外部データからすべてを統合できる。
これをウェーブレットグラフ信号でできるんや。興味があって、ちょっとしたティーザーが欲しいと言うなら、アイデアはグラフラプラシアンのベクトルをグラフフーリエ基底として使うことや。ウェーブレットはグラフスペクトラムに適用されたバンドパスフィルタとして定義されて、グラフトポロジに従って局所化されたウェーブレットを作成する。
魅力的や。でも海辺にいる。ニュージーランドの山にいるなら、休暇を楽しんどる。これは来週戻ってきた時のことや。
意味的推論の可能性
これを見せたい別の理由がある。スペクトル係数は単なる数字やなくて、意味的構成要素やからや。スペクトル係数で推論と意味論ができる。これは俺らがAIで持っとる別の夢の一種や。サブシンボリック知覚とシンボリック推論の継ぎ目のない統合で、すべてが一緒に適合する1つのフレームワーク。
でも現在トランスフォーマーとすべてのシンボリック構造で持っとる問題は、本当に一緒に適合してへんことや。自然に一貫して互いから進化するフレームワークを持つことを想像してみ。
良い研究をしたいなら、これを推薦する。演算子ベースの機械知能。これが俺がこの動画を生成した理由や。主要なアイデアの断面を示したかった。もちろん、これはUCバークレーからのもんで、はるかに詳細な数学的で、はるかに厳密な導入や。俺の動画を最初に見たら、それが何についてかの感覚を得られると思う。ちょっと興味を持つかもしれん。
スペクトル学習とシンボリック推論のためのヒルベルト空間フレームワークで、数学的深度ははるかに深くなる。2025年7月末に公開された。これは紹介したい論文の1つやけど、次の数日間かもしれん。OpenAIが支配的な市場力やないという感覚を与えるだけや。研究ですでに昨日からの技術を使っとる。
シンボリックや論理推論を直接この新しいAIシステムで係数に直接作用する推論演算子を導入する美しさを考えてみ。美しいことになるかもしれん。
学習について、UCバークレーからのこの研究の1つのスクリーンショットを示す。埋め込み推論のための新しいアーキテクチャがここにあるヒルベルト空間学習アーキテクチャや。何百万もの10進行列乗算を持たないことを想像してみ。何もない。大幅に削減された計算計算を持つやろう。トークン長に対して線形複雑度を持つやろう。
素晴らしい。推論演算子そのものを持つやろう。そして、これらのアイデアがどこで始まったかに興味があった。これを見て。これは続けたいと言う論文で、1942年に書かれた1944年のケンブリッジ哲学協会のシリーズを続けたいと言っとる。
戦時条件のため、最初の論文を書いた時にすべての初期調査を考慮することができんかった。でも不完全ヒルベルト空間、再生カーネルの制限について話した。動画の最初にカーネルを覚えとけと言うたのを覚えとるやろ。今、これについて話した。
戦後の1950年5月に公開されたんか分からん。これらの数学的アイデア、これらの数学的構造、これらの数学的完全性定理をどれだけ前から知っとるか想像できるか。すべてそこにある。使って次世代AIモデルを構築するだけや。気に入った。
実用的応用と将来展望
歴史に本当に興味がないなら、問題ない。2014年8月の出版物がある。コンピュータサイエンスにもっと興味があって、モゴロフ後退方程式と確率的コップマン演算子と呼ばれるものを理解したいなら、この論文を推薦する。動的モード分解を拡張したコップマン演算子のデータ駆動近似。
AIの純粋数学やなくて、より高度な実世界応用のエンジニアリング応用を見たいなら、本当に興味深い論文やと思う。研究が進んどるのが分かる。スタートアップがこの新しいアイデアを取り上げるかどうかにだけ依存しとる。
OpenAIやマイクロソフトのような企業が、この古い技術に多額の投資をしたから、今次世代AIに切り替えるとは思わん。利益を生成せなあかん。次のステップ、次世代をするとは言えん。この革新はスタートアップから来ると思う。
どのスタートアップがこの新しいアイデア、この新しいはるかに効率的な訓練方法論、この新しいはるかに効率的なデータ構造の推論への統合を取り上げるか。推論に基づいて構築し、それをはるかに強力にする演算子代数に基づいて構築し、何十年、もしかしたら1世紀探求してきた高次数学的構造に基づいて構築する。
それが動作することはすでに知られとる。絶対に魅力的で、2014年のこれはプリンストン大学からやった。絶対に魅力的で、海辺に座って、ニュージーランドの山を楽しんで、今日持っとるAIが何であれ、大きなタイムラインでの一瞥に過ぎないというアイデアを与えたかった。
今の瞬間に機能する技術に過ぎんけど、決定的な技術やない。支配的な技術やない。支配的に実装された技術やけど、AI研究はすでに未来への道を2歩先に進んどる。楽しんでもらえたことを願う。チャンネル登録して。次の動画で会おう。
コメント