この動画では、現在のAIシステムが基づく1950-60年代の古典的数学から脱却し、次世代AI開発に必要となる新しい数学的枠組みについて解説している。特にトポス理論と余代数を組み合わせた構造が強化学習環境においてどのように機能するか、また圏論の観点から状態空間と状態遷移をより抽象的かつ一般化された形で扱う方法を示している。さらに、対称性を考慮した余代数や量子群との関連性まで言及し、量子AIシステムへの応用可能性も探っている。
AIのための新しい数学へようこそ
やあ、コミュニティのみなさん。新しいAIについて話そうや。トポス、余代数、そして何か新しい数学の形を導入せなあかんねん。
前回の動画で、現在わしらが使ってるシステムの核心にある部分を説明した時に、この美しい論文を見せたやろ。汎用強化学習と余代数について話してた奴や。それで質問をいくつかもらったんや。せやからこれについて話そうやないか。
わしらはここで数学をもっと美しい新しい数学的アイデアのパターンに分割せなあかんねん。次世代のAI用数学を実装するために、強化学習のトポスをナビゲートする余代数的AIエージェントを構築しようとしてるんや。
圏論の基礎
圏論や。圏っちゅうのは対象、集合、空間、群から成り立ってて、群準同型、連続写像みたいな射があるんや。そして確立されたルールがある。一番シンプルなルールは、すべての対象が恒等射を持つことと、射は合成できて、その合成は結合的やということや。それから関数子がある。
関数子は圏の間の写像や。関数子は単純に対象を対象に、射を射に送って、関数子は恒等性と合成を尊重するんや。一番シンプルに考えると、関数子は二つの世界間の翻訳機械みたいなもんや。そしてもちろん自然変換もある。同じ圏間に二つの関数子があって、自然変換は一つの関数子を他の関数子に変える構造化された方法やねん。
トポスの美しさ
さて、圏論は集合だけについてのもんやないことが分かってるんや。構造保存のパターンについてのもんなんや。見てみよか。圏論では、どの圏も数学的宇宙の一種として扱うことができるんや。集合を選べば、集合と関数の圏があって、大学とか学校で教わった通常の数学の世界におるわけや。
でも位相空間の圏であるTopを選べば、突然位相幾何学という数学の分野におることになる。でも何が美しいか分かるか？自分のニーズに特別に合わせた圏を発明できるんや。そしてトポスを、集合の圏のように振る舞うけどもっと一般的な圏として考えてみい。もっと美しいことができるんや。
なんでこれがわしらにとって重要なんか？集合では論理は古典論理や。すべての陳述は真か偽のどっちかや。わしらのオメガは0か1やねん。つまり真理は二進的やねん。他のトポスでは論理は二値的やないことがあるんや。これがトポス理論を論理、幾何学、代数の橋渡しにしてるんや。
スタンフォード哲学・数学百科事典に美しい定義があるんや。そして最後に、位相空間上の層の圏もトポスやねん。ここで重要なのは、真理は局所的真理やということや。陳述はある開領域でのみ成り立って、大域的には成り立たんかもしれへん。これは次世代のAIシステムを設計したい時に面白いことやねん。
トポスと余代数の組み合わせ
トポスと余代数を組み合わせると、トポスを通じて構造化され、余代数を通じて動的なシステムを研究する美しくて強力な方法が開かれるんや。余代数をトポスの中に置くことで、真理が文脈的で局所的で時間的で資源に敏感やけど、まだ推論できる状態ベースのシステムをモデル化できるんや。
簡単な定義や。最もシンプルなケースでの余代数について説明するで。これは本当に簡略化やけど、次世代のAIでこれが必要になるから用語に慣れて欲しいんや。余代数は最もシンプルなケースでは、代数の双対である本質的な構造やねん。代数が群、環、ベクトル空間みたいなものをどう構築できるかを記述するのに対して、余代数は物事をどう分解できるかを記述するんや。
これはちょうど2分後にわしらにとって本当に重要になるんや。例えば、関数子fに対する余代数は、状態みたいな対象、つまり設計したシステム内の特定の状態が、対象のペアにどう分解されるかを記述するんや。これはオートマトンや力学系みたいなシステムでの状態遷移をモデル化するのに使えるんや。
強化学習との関連
余代数と代数は本当に面白い対象やで。例えば、ここですぐに部分観測マルコフ決定過程とか、わしらが現在強化学習手続きのコードで実装してる古典的数学理解での最新技術について考えるやろ。
でもトポスはどう関わってくるんか？トポスは、対象と射について非常に抽象的やけど非常に一般化された方法で話せる圏論的枠組みを提供してくれるんや。トポス理論と余代数を組み合わせることで、この枠組み内で余代数的構造を豊かにしてるんや。これにはいくつかの利点があるんや。
トポスでは状態空間の概念を一般化できるからや。ロボティクスと視覚言語行動モデルを知ってるなら、状態空間は絶対に魅力的やで。トポスでは、対象は古典的AIで馴染みのある単純な集合よりも抽象的やねん。層やカテゴリーや他の抽象的対象みたいな、より複雑な推論パスのためのより複雑な構造を持つ空間を考えることができるんや。
すべての極限と余極限、そして部分対象分類子を持ってるから、射をより柔軟に定義できるんや。部分対象分類子について調べてみいや。これは余作用と状態遷移を非常に一般的な方法で表現し、操作することを可能にするんや。状態遷移は今日の古典的AIシステムでも極めて重要やからな。
動的システムでの応用
トポスを使って動的システムの内部論理を定義できるし、余代数はシステムが時間とともにどう進化するかを記述するんや。トポスでは余極限と極限を使って、より単純な集合ベースの圏では不可能な方法で、特により複雑な状態空間構造がある時に、対象をつなぎ合わせたり分解したりできるんや。
余代数での余作用は、局所データや特定の構築に基づいて状態がどう分解するかを記述できるんや。せやから余代数と組み合わせて状態不変性を持つシステムを形式化することで、部分観測性を持つ動的システムができるんや。すぐに部分観測マルコフ決定過程について考えるやろ。状態遷移はあるけどシステムは部分的にしか観測されん。トポス枠組みはこの抽象化を完全に新しい方法と形で扱うことを可能にするんや。
これが前回の動画で言ったことなんや。新しい数学が必要やねん。数学はもうあるんや。ただ次世代のAIに適用されてないだけなんや。
強化学習と余代数の接続
AI特化の動画やから、特に強化学習と余代数の間の接続に焦点を当てよう。なんでこれをわしが「これは重要になると思う」って言うかや。
強化学習を思い出してみい。エージェントが時間をかけて環境と相互作用するんや。環境は状態、行動、報酬の形でフィードバックを提供して、エージェントはそれを使って累積報酬を最大化する方策を学習するんや。
強化学習環境の場合、状態空間と状態間の遷移は新しい数学的観点から余代数として見ることができるんや。余代数が環境状態が時間とともにどう分解または進化するか、つまり動力学を捉えるからや。これはエージェントの行動に応答して環境状態がどう変化するかと一致してるんや。
わしらは強化学習に深く入り込んでるんや。余代数と強化学習環境の間の接続、注意深く環境について言うと、強化学習タスクでの状態遷移が自然に余代数的構造としてモデル化できることを見る時により明確になるんや。
環境の数学的モデル化
わしらのロボットやエージェントが環境と相互作用してる強化学習での環境や。この環境は数学的にシステム遷移を捉える関数子に対する余代数として見ることができるんや。余作用はエージェントの行動に基づいて環境がある状態から別の状態にどう分割または進化するかを記述するんや。
余代数と余作用が見えるやろ。まだ状態と遷移を持てるんや。環境の状態は余代数の対象で、余作用または古典的に呼ぶなら遷移関数は、エージェントが取る行動に基づいて状態が時間とともにどう進化するかを記述するんや。
せやから強化学習での環境は、特定のルール、遷移確率、報酬関数、より複雑な報酬関数、そして報酬関数に基づいて進化する状態システムとしてモデル化できるから、余代数のように振る舞うんや。これらの余代数的新構造は、エージェントの特定の行動が与えられた時に、環境が古い状態に基づいて新しい状態をどう生成するかを形式化するのに役立つんや。これは強化学習動力学の核心的側面やねん。でも今はこれに対する完全に新しい数学的枠組みがあるんや。
状態の分解可能性
状態を分解可能な対象として考えることができるんや。状態空間は、もちろん環境遷移関数に基づいて、次の状態や報酬構造みたいなより小さな部分に分割されるんや。2、3分後に物理学からの例を示すで。
余代数を使うことで、環境の進化を抽象的に表現できて、より複雑なレベルでより興味深い、より形式的な方法で長期的振る舞いとすべての状態遷移をモデル化し、分析することが容易になるんや。
これは状態遷移とロボット構造に影響する異なる方策がある場合の最適方策設計みたいなタスクに役立つんや。特に非マルコフ環境に行く場合や。マルコフ決定過程での制限を思い出してみい。余代数は、現在の状態に加えて記憶を持つか過去の状態に依存する実世界の強化学習でしばしば遭遇するより複雑な非マルコフ環境を扱うように拡張できるんや。これがわしらの欲しいもんやねん。
システムでの対称性
わしは理論物理学者やから、システムでの対称性について話さなあかん。それらは美しいもんで、この動的モデルに対称性を統合するんや。強化学習環境や類似の動的システムでの余代数によってモデル化されるようなもんにや。システムの理解と柔軟性を大幅に向上させることができるんや。
数学的用語での対称性は、動的システムの特定の性質を保存する変換操作を指すことが多いんや。これをわしらの利点に使うんや。いろんな対称性を持てるし、例えば粒子物理学から知ってる群対称性みたいなもんや。システムは回転、並進、反射みたいな特定の変換の下で不変性を示すかもしれへん。でも今はAIの対称関数の振る舞いに焦点を当てるんや。
行動不変振る舞いや。動的システムは、その状態や行動に適用される特定の変換に関係なく同じように振る舞うかもしれへん。状態空間自体の対称性、遷移関数に統合できる対称性、そして最も重要やと思うのは報酬関数での対称性について考えてみい。
対称余代数
対称余代数、これが面白くなるとこや。数学で同変余代数を考慮することで、対称性を説明するために余代数を拡張できるんや。それは何か？同変余代数は、構造が理論粒子物理学のような対称群の作用と両立する余代数やねん。つまり、余作用は状態空間での群作用を尊重すべきで、状態の進化が群の変換の下で対称的であることを保証するんや。
もちろん、わしらのシステムの余作用で他の対称群も持てるけど、今のところはちょっと複雑すぎるな。
何を達成できるか？システムの複雑性を大幅に削減できるかもしれへん。システム、つまり環境が特定の対称性を持つ時、これは学習過程自体の複雑性を大幅に削減できるんや。
環境の可能な各構成に対して別々の方策を学習する代わりに、エージェントは最良の場合、すべての対称構成に対して機能する単一の方策を学習できるんや。時間とお金の削減を想像してみい。
数学的枠組みの位置づけ
非常に短い休憩や。これを枠組みにしよう。わしのメイン枠組み演習を始めるかもしれん。わしはどこにおるんか？なんでこの特定の構造をこの特定の方法で見せてるんか？これがわしの考え方やからや。
あんたらに役立つか分からんけど、ただ期待してるし、わしの知識をあんたらと共有してるだけや。高校の代数的位相幾何学に慣れてるやろ。数学で、空間、その性質、そしてそれらの空間を研究するために群みたいな代数的対象をどう使うかを紹介してるんや。
代数的位相幾何学で持ってる中心的道具の一つが層理論で、これは空間の開集合で局所的に定義されたデータを扱うんや。これらの層は位相幾何学での局所から大域への現象を扱うことを可能にするんや。幾何学では、コホモロジーや局所設定での他の大域的性質みたいなものを記述するのに使えるんや。
でもこれは確実にこの小さなYouTube動画には多すぎるやろな。わしらが本当に理解する必要があるのはトポス（複数形）と圏論やねん。トポスは集合論を一般化して、層が純粋に抽象的な方法で扱える圏論的枠組みを提供するんや。
トポスは集合の圏と本当に似たように振る舞うけど、より一般的で次世代のAIで必要なより複雑な構造を扱える圏やねん。
圏論の統一的視点
圏論はトポスと余代数の両方を支えて、これらの構造が定義され研究される抽象的枠組みを提供してるんや。圏論は対象と射に焦点を当ててるんや。見せたやろ、それらの間にはさまざまなルールがあって、この抽象化により、層と余代数みたいな概念をより高い複雑性に行く時に必要なより一般的な設定に拡張することができるんや。
余代数は美しい対象やで。わしらのシステムでの状態遷移をモデル化するのに使われて、強化学習みたいなシステムの進化を関数子や層みたいな圏論的道具を使って扱う圏論的双対性を通じてトポス枠組みに統合できるんや。見せたやろこれを。
余代数が圏論的レンズを通して見られる時、より広いトポス理論の一部になるんや。すべてが一緒になってるのが見えるやろ。非常に短くやけど、これを思い出したいだけや。代数は構築みたいなもんで、余代数は分解の部分をやるんや。
代数と余代数の対比
与えられたエンドファンクターfと、f代数は構造化された入力、ペアや木の層みたいなものを取って、代数はそれをrの要素にどう組み立てるかを教えてくれる写像やねん。代数はデータの構築についてやねん。
余代数は分解や観測のルールを与えてくれるんや。これは全体を取って、それが部分的にどう展開するかを見るということやねん。
大きなステップをしよう。でもこれをわしらが知ってる、ベクトル空間でやってる埋め込みに接続させよう。本当に面白いことを見せたいんや。
余代数は集合だけに結び付けられない汎用パターンやねん。どんな圏でも機能するんや。線形写像を持つベクトル空間について話そう。
ベクトル空間での余代数
ベクトル空間の圏を単純なケースで取るとしよう。そうするとf余代数は単純に線形写像やねん。一般的なケースは余自由余代数で、これはベクトルをテンソル分解に展開する方法を与えてくれるんや。これについては後で詳しく話すけど、例えば線形代数と、今あんたらに見せなあかん量子論では。
次のAIでのモデルは何やと思う？余代数は余乗法写像として現れるんや。これが重要やねん。何をするかというと、ベクトルをテンソル積構造に分解するんや。理論物理学や数学のどこから来てても、これが余代数がホップ代数と、特にもちろん量子群で中心的な理由やねん。状態がどう観測できるかをモデル化するからや。
これは本当に深いとこまで行くもんやねん。理論物理学者やないなら、気にせんでええ。ここでこれに対する感覚を持って欲しいだけや。言葉を見たやろ。「ああ、これが関連性かもしれん」って言うやろ。
最もシンプルなケース
最もシンプルなケースは何か？Transformerを取ってみよう。知ってるやろこれは何をするかを。Transformer。文を取って、Transformerを通して実行して、新しい数学空間、ベクトル空間でベクトル埋め込みを生成するんや。もちろんこれは余代数やない。ただこの百年間やってきた符号化やねん。でも埋め込み空間を特定の方法で余代数的に構造化できるんや。分かるやろ。
何をするかというと、Cを定義するんや。Cは一つの意味的ステップ、コサイン類似度での近傍で到達可能なすべてのベクトルやねん。知ってるやろこれを。そして今、埋め込み空間、この数学的ベクトル空間を観測可能な振る舞いを持つ状態空間として扱ってるんや。この動画で見せた余代数的視点を正確に適用してるんや。
もちろん量子群への飛躍をせなあかんねん。量子群、ホップ代数では、代数のような乗法と余代数のような余乗法の両方があるんや。乗法は状態を行動に結合することを思い出し、余乗法は状態を部分に分割するんや。
粒子物理学でこの双対性が本当に重要なのを思い出してみい。ファインマン図を考えてみ。粒子は合体したり分離したりできるんや。余代数的構造は、物理学者としてわしらがこれを理解するのに必要な数学的道具だけやないねん。量子AIシステムがあるときもそうやねん。これは分離、量子もつれ、量子システム状態の測定に関連するすべてのことを符号化する物理的過程を本当に表してるんや。絶対に魅力的な話題やけど、ここで深く入り込むには複雑すぎるな。
量子群での応用
余乗法は、代数的構造が空間のテンソル積でどう作用するかを定義する方法を提供するんや。システムの構成部分に作用を分配すると直感的に理解できる美しい文やねん。
わしらは古典的量子分野だけやなく、ファインマン図が視覚的または多かれ少なかれ純粋に数学的な略記法、粒子相互作用の表現で、もちろんホップ代数的構造に依存してる量子場理論でもこれを使ってるのを知ってるやろ。これについては後の講義で詳しく話すで。
準三角ホップ代数に深く潜り込みたいなら、これに本当に興味があるなら、この論文を推薦するで。これは数学アーカイブからの準三角ホップ代数の分裂性質についてやねん。気に入ったら見てみい。感覚を掴んでみい。「これはちょっと複雑そう」って言って怯まんといて。読み始めて感覚を掴み、量子群とか量子位相的量子場理論みたいな馴染みのある用語を見つけるかもしれへん。あんたに世界を開いてくれるで。
新しい数学の時代へ
よし、新しいAIシステムの新しい数学への最初の導入はこれで終わりやと思う。わしらが現在のAIシステムで持ってる1950年代、1960年代のアイデアと数学的実装にさよならを言って、わしらが次のAIシステム、もしかしたら次の量子AIシステムで使うもうちょっと複雑な数学体に慣れ始めるのが見えるやろ。
わしは魅力的やと思うで。あんたも興味あるかもしれへんな。購読してみいや、次の動画で会おうやないか。
コメント