この動画は、世界的に著名な神経科学者カール・フリストン博士とVersus AIの創設者ダン・メイプス氏が出演するインタビューである。脳の情報処理メカニズムを説明する自由エネルギー原理と能動推論の概念が、どのように次世代のAIシステム設計に応用されているかを深く探求している。従来のデータ駆動型アプローチとは異なり、自然知能をモデルとした生物学的に妥当なAIアーキテクチャの可能性と、分散型の集合知システムの構築について議論している。
番組紹介
ロン・グリーン：人工知能の背後にある人々と技術を探求するIn Layersへようこそ。私はホストのロン・グリーンです。今日は素晴らしいエピソードをお届けします。世界的に有名な神経科学者のカール・フリストン博士と、自然知能をモデルにしたAIシステムを構築している企業Versus AIの創設者兼社長であるダン・メイプス氏にお越しいただきました。
私たちは神経科学が人工知能の考え方をどのように形作り始めているかについて議論します。脳が不確実性を処理し意思決定を行う方法を説明するために元々開発された自由エネルギー原理や能動推論といった概念が、今やAIの新しいモデルにインスピレーションを与えています。カールとダンは、脳が予測マシンとしてどのように機能するかを説明し、その同じ原理が人間のように学習し、適応し、反応するAIの設計にどのように使用されているかを解説します。これは知的システムの未来について深く先見性のある対話です。
カール・フリストン博士は、脳が情報を処理し行動を導く方法についての基礎モデルである自由エネルギー原理で最もよく知られている世界的に有名な神経科学者兼理論生物学者です。ユニバーシティ・カレッジ・ロンドンの教授であり、ウェルカム・センター・フォー・ヒューマン・ニューロイメージングの科学ディレクターでもある彼は、史上最も引用された科学者の一人でもあります。2022年には、自然知能に基づく生物学的にインスピレーションを受けたAIシステムの開発を支援するため、Versus AIにチーフサイエンティストとして参加しました。
ダン・メイプス氏は、より適応性の高いデジタルエコシステムを動かすために自然知能をモデルにしたAIシステムを構築している企業Versus AIの創設者兼社長です。また、ハイパースペーストランザクションプロトコルを使用して分散型空間インターネットを開発しているSpatial Web Foundationも率いています。彼は『The Spatial Web』のベストセラー作家でもあります。
カール、ダン、今日は本当にありがとうございます。この対話を持てることを大変嬉しく思います。
カール・フリストン：こちらこそ、参加できて素晴らしいです。
ダン・メイプス：参加できて嬉しいです。
自由エネルギー原理の本質
ロン・グリーン：カール、まず初めて聞く方々のために、自由エネルギー原理の概要と、能動推論がそれをどのように発展させて、脳と知的システムの両方を理解するためのモデルとして知覚、行動、学習を統合するかについて説明していただけますか。
カール・フリストン：普通なら高度な説明と簡単な説明のどちらが良いか尋ねるのですが、あなたの技術的専門知識を考慮して高度な説明をさせていただきます。
自由エネルギー原理は、物事がどのように自己組織化するかについての物理学者のアプローチであり、特に世界を理解し、その世界に対して原理的な方法で行動するということの意味を掘り下げています。これは効果的に、あなた自身と宇宙を分離する境界と完全性を維持するためのものです。
結局のところ、宇宙を観察し、それと結合することを効果的に存在として記述でき、それを基本力学、つまり驚くような出会いや環境とのインターフェースや結合を最小化する方法で行動することに基づく一種の推論として記述できます。これは数学的には、世界モデルや生成モデルの証拠を求めることと全く同じです。
つまり、あなたは効果的に何でも、多かれ少なかれ、洗練された方法で記述できます。それは、生きている世界のモデルを構築し、その世界との感覚的相互作用を予測しようとしているということです。しかし重要なのは、あなたが実際に行動と知覚に言及したことです。これは一方通行ではありません。宇宙があなたの感覚器官に印象を与え、あなたがその感覚の原因を理解しようとするだけではなく、実際に世界に結合し返し、世界に対して行動するのです。
具体的には、世界モデルや生成モデルについての不確実性を解決するのに最も情報的になる感覚的結果、つまりデータを選択する方法で行動します。最も単純に言えば、驚きを最小化しようとしているなら（数学的にはこの自由エネルギー境界で、ちなみにこれは機械学習における証拠下限、ELBOと全く同じです）、この世界モデルの証拠の驚きの境界を最適化しようとしているなら、あなたの予測を実現しようとするでしょう。
驚きを最小化する一つの方法は、単に行動し、あなたが予測したものを正確に供給するように世界を変えることです。これは予測符号化への言及も認めます。予測符号化は現在、脳がどのように機能するかについての計算論的説明の最前線の一つです。手元の感覚について予測を行い、それらをマッチさせ、比較して予測誤差を生成します。これがあなたの自由エネルギーの単純な形式です。そして、予測を変更することで予測誤差を解決するために心を変えるか、予測されているものを変更するために世界に対して行動することで、この予測誤差や自由エネルギーを最小化する方法で行動します。これが基本的なストーリーで、行動と知覚の両方を含んでいます。
生物学的妥当性と深層学習の比較
ロン・グリーン：私はそれが大好きです。録画開始前にお話ししましたが、私は人工知能の分野で数十年働いてきました。私の仕事は主に人工ニューラルネットワーク、現在は一般的に深層学習システムと呼ばれるものを中心としています。これらのシステムは元々、脳の構造的な部分、つまりニューロンとシナプスを模倣するように設計されましたが、生物学的に完全に複雑ではありませんでした。
確実に、数十年後に発明された逆伝播のような生物学的に妥当な訓練や学習方法を持っていませんでした。自由エネルギー原理に基づく能動推論は、脳がどのように機能し適応するかについてのはるかに現実的なモデルを提供します。これら二つの概念を結び付けて、今日ほとんどの人が慣れ親しんでいる深層学習システムよりも、生物学的妥当性と私たちの脳システムとの結び付きがなぜそれほど強いのかについて少し詳しく説明していただけますか。
カール・フリストン：素晴らしい質問です。機械学習を擁護して言えば、これらの深層ニューラルネットワークのアーキテクチャには、脳の働き方を実際に受け継ぎ、模倣している美しい側面があります。具体的には、「深層」という言葉が含意する階層的深さについて考えています。そこには階層的深度があり、これは世界をモデル化しようとする適応ニューラルネットワークの真に重要な特徴だと思います。
単純に、宇宙、世界には、時間的なスケールの分離を伴った深い非マルコフ構造があるからです。ですから、深層学習の「深層」部分は絶対に称賛されるべきだと思います。
一方で批判があるとすれば、誤差の伝播という実際の実装は、神経形態的、生体模倣的、自然な方法でこれらのニューロンネットワークやニューラルネットワークを最適化する方法から確かに逸脱しています。二つの興味深い方法で異なると思います。
一つは、強化学習と能動推論の違いについて後で議論の機会を提供するかもしれませんが、目的関数は根本的に異なっていませんが、報酬関数の存在を仮定することは非常に大胆な動きであり、自己組織化システムの観点から慎重に正当化する必要があります。自由エネルギー原理については後で話せますが、それを超えて、逆伝播が含意するのは、ローカルに行っていないということです。
より生体模倣的なアプローチにインスピレーションを受けた予測符号化の定式化の要点は、目的関数をローカルに評価できるということです。つまり、隣人だけに基づいて学習を行うことができます。それができれば、チェーンルールを使用して誤差の逆伝播を行う必要がなく、ブロードキャストする必要もありません。これは単なる自由エネルギー最小化プロセスであるはるかに生体模倣的な学習プロセスにつながります。
これに取り組み始めている人々がいると思います。オックスフォードグループは確実に、機械学習の文脈で予測符号化の概念を提示することで説得力のある進歩を遂げています。現在、動的な文脈、例えばトランスフォーマーアーキテクチャで見られるような文脈でこれを機能させることに関しては、まだ少し残念な作業があります。
しかし確実に、ヨシュア・ベンジオが期待伝播の観点で推進しているような、ローカルメッセージパッシングとローカル最適化の基本的なアイデアは、誤差の伝播とより生体模倣的な方法でその問題を行う方法の間に引くことができる主要な、または明るい線の一つだと思います。
問題は、スケーリングです。予測符号化に、現在の大規模言語モデルが行うような美しいことをすべて実行させることができるでしょうか。
大規模言語モデルの驚異的能力
ロン・グリーン：世界と相互作用し、何かを学習した場合、あなたの脳のあらゆる部分を何らかの方法で更新する可能性があるという考えは非現実的です。これが深層学習システムの働き方ですね。
大規模言語モデルについて少しお話ししたいと思います。量子コンピューティングの研究で知られる理論計算機科学者のスコット・アーロンソンは、大規模言語モデルの大規模な創発的能力は、彼にとって20世紀で最も重要な科学的発見だと述べています。私もそれに同意する傾向があります。
これらのモデルが、訓練されたパラメータ数と訓練データをスケールアップするだけで創発的行動を示すことに完全に驚き、圧倒されました。明示的にプログラムされていないスキルとしての創発的行動を示し始めました。まるで純粋な複雑さから知能が現れ始めたようでした。
大規模言語モデルの能力についてどのように思われますか。また、それらは知能や意識に関するあなたの意見を変えたり、鋭くしたりしましたか。
カール・フリストン：それらは確実に感覚のある機械の見解を支持しており、これらの創発的特性を示すことができる機械やシステムは、今や自然知能やAGIではないにしても、知能のような行動に近づいています。確実にその方向に向かっていると思います。
それらの能力とスケールアップ時に現れる美しい行動を説明する潜在的な説明として、二つのテーマがあると思います。
最初のものは、使用されている目的関数は何かを問うことです。一般的な深層強化学習とは対照的に、コスト関数や報酬関数の観点から良い行動の仕方だと思うものを書き下した場合、大規模言語モデルは、オートエンコーダー、特に変分オートエンコーダーの精神で、オートエンコーディングの側面があると思います。内容を予測しているという意味で、目的は予測することです。
大規模言語モデルの訓練方法を見ると、ループ内に人間の強化はありますが、結局のところ、私たちが話しているのは予測マシンです。おそらく一歩先の予測という意味で限定されたものですが、目的が予測であることを認識することは、なぜそれらが素晴らしく機能するかを理解する上で重要だと思います。
二つ目は、もちろん言語の領域でそれを行っているということです。だから私たちは理解し、賞賛し、関与し、創発を評価することができます。これら二つのテーマが、大規模言語モデルに対するすべての興奮と効力を説明していると思います。
ロン・グリーン：私のお気に入りの思考実験の一つは、イリヤ・サツケヴァーが行ったインタビューです。彼は、大規模言語モデルを訓練し、それにミステリー小説を与えて、殺人者が明かされる最後の文以外のすべてを与えた場合、これらのモデルは誰が犯人かを予測できるだけの十分に強い世界観を理解していなければならないと言っていました。
理論を現実世界のシステムへと応用
ロン・グリーン：ダン、今度はあなたにお尋ねしたいと思います。カールが開発したこの非常に重要な研究を取り入れて、現実世界に持ち込もうとすること、これらのはるかに生物学的に妥当な理論に基づく知的システムを構築しようとすることはどのような感じでしょうか。
ダン・メイプス：ライアン、根本的に、インターネット自体は人類がこれまでに取り組んだ最大のエンジニアリングプロジェクトです。すべてのサーバー、光ファイバーケーブル、衛星センサーを考えてみてください。現在400億のコンピューティングデバイスが接続されており、おそらく2000億のIoTデバイスが接続されています。このシステムは、そこに座っているフレームワークです。
それが機能する方法は、プロトコルを作成し、世界中のどこでも誰でもウェブサイトを構築できるようにする分散開発モデルです。そして、プロトコルがそれらのウェブサイトが互いに相互作用し、最終的にGoogle検索などで発見されることを可能にします。こうして私たちは、どの一社も決して作ることができなかったであろう情報の世界的なウェブを手に入れます。現在50億のウェブサイトがあります。MicrosoftやGoogleが決してそれらすべてを構築することはできなかったでしょう。
カールと私たちがVersusで行っていることは、自由エネルギー原理をソフトウェア開発者キットにラップして、ITU-Eとのパートナーシップでスペーシャルウェブプロトコルを作成したことです。これにより、世界中のどこでも誰でも、10兆パラメータの基盤モデルを構築し、世界中の誰もがそのモデルにクエリを送ってプロンプトでマイニングするのではなく、ドメイン固有のモデルが欲しいのです。
心臓専門医が医学のために心臓学モデルを高度にキュレーションすることを望みます。そして、自由エネルギー原理がその正確なモデルで動作しています。それはすでにキュレーションされています。一方、大規模言語モデルでは、基本的にインターネット全体をスクレイピングして投げ込み、これまでに書かれたすべての本を投げ込んで、最善を尽くして幻覚を起こします。実際にそうなのです。
カールが先行と呼ぶであろうもので始めることによって、正確なドメイン固有のモデルで先行を始め、それらを超ローカルにすることで、ケニアの人々はケニアの農業のためのAIを構築していますが、日本の人々は日本の農業のためのAIを構築しており、これは非常に異なります。
私たちがやっていることは、この新しいAIが世界中の開発者によって取り上げられるためのグローバルな分散フレームワークのようなものを作成することです。彼らは独自のローカルで高度にキュレーションされたドメイン固有のモデルを構築し、プロトコルがそれらすべてのモデルの相互作用を可能にします。
そして、カールが集合知と呼んでいるものを手に入れます。彼にそれについて少し話してもらいたいと思いますが、GoogleやAnthropic、Meta、その他の単一の基盤モデルよりもはるかに大きなものになるでしょう。1万人ではなく1億人がこのプロジェクトに取り組んでいることになります。
これは、集中型メインフレームからインターネット、AOL.comから世界的なウェブ、そして現在の集中型大規模LLMシステムから分散型能動推論システムへと、歴史的に物事が移行してきた非常に基本的な場所だと思います。
集合知の概念
ロン・グリーン：素晴らしいです。カール、集合知についてあなたの見解をお聞かせください。リスナーのために少し詳しく説明していただけますか。
カール・フリストン：実際に、私たちが以前話していた誤差の逆伝播とこのローカル最適化の区別に基づいていると思います。多くのローカル知能と信念更新に分解できる分散信念更新システムの見解を持てば、隣人とのみ通信する場合、この種の連合学習ではなく、コンピュータサイエンスの意味での連合学習ではなく、連合推論、分散知能のこの概念の良い図を持つことになります。
興味深いことに、これが含意するのは、分散ネットワークを多くの小さなローカル知的エージェントに分割するだけでなく、時間での分離も可能だということです。一部のエージェントは、他のエージェントとの接続方法のために、より広い視野を取ります。これらは、より深い層や、より多くを見て、より遅く考え、文脈化する求心的アーキテクチャのより中心的な層のようなものです。
あなたの素晴らしい思考実験に戻ると、大規模言語モデルが長い物語、長い小説の結末を本当に予測できるでしょうか。もちろん、それを行うためには非常に大きなコンテキストウィンドウを見て、非常に非常にゆっくりと物事を同化する必要があります。他の物事は非常に速く動いているかもしれません。おそらく車を運転したり、特定のウェブサイトをナビゲートしたりしています。
この分散知能の概念は、エコシステムを構成するアンサンブルのローカルコンポーネント、メンバーが独自の構造で構築されているエコシステムの理解から生じる創発的特性です。これは非常に中心的だと思います。
技術的に、ダンと彼の同僚が概念的にテーブルに持ち込んだもので、人工知能における次世代の世界的ウェブのアーキテクチャにおける正しい進路として私に印象を与えたのは、コンピュータサイエンスにおけるファクターグラフとの同型性でした。
このローカルに最適な信念更新や推論、能動推論の方法を表現する一つの方法は、グラフィカルモデルの観点です。グラフィカルモデルには常に双対があり、それはファクターグラフです。ファクターグラフがあれば、すべてローカルで、すべてELBOの最大化や変分自由エネルギーの最小化の観点で構成できるメッセージパッシングの非常に正確なレシピがあります。これらは同じことです。
適切にエンジニアリングされた世界的ウェブにおけるメッセージパッシングとポテンシャルの可能性のアーキテクチャは、自由エネルギー原理と能動推論を自己組織化の原理として約束する場合、これを正しい方法で行うためのレシピがあるため、私にとって驚くべきものでした。
生物学的システムの堅牢性
ロン・グリーン：90年代の大学院時代に、私の教授の一人が現代のソフトウェアがいかに脆弱かについて話していたのを思い出します。1000万行のコードシステムを構築して、誤ってセミコロンを一つ間違えただけで、すべてが壊れてしまう可能性があります。
私たちが必要としていたのは、より生物学的にインスピレーションを受けたシステムで、階層的でコンポーネント化が可能で、その一部を取り除いても機能し続けることができるシステムでした。これを異なるAIシステム全体でますます見ています。
言語モデルの世界で使用されているアプローチである専門家の混合について考えています。カール、私はいつも疑問に思っていたことがあります。自由エネルギー原理の大ファンで、能動推論を愛しています。初めて聞いたとき、「ああ、これは私に理にかなっている」とすぐに思いました。
しかし、私は少し好奇心があります。現在脳で観察できる物理的プロセスで、そのモデルに適合しない、その理論的基盤に関して何らかの形で未解決のままのものはありますか。
カール・フリストン：生意気で卑劣に聞こえるかもしれませんが、ありません。ますます多くの人々が自由エネルギー原理に興味を持っている理由は、それが非常に広い説明範囲を持っているからです。それ自体では非常に有用ではありませんが、自然選択の理論のように美しい理論であり、すべてを説明しますが、目をどうやって作るか、なぜ足があるのか、英語について教えてくれません。
それは重い仕事をしません。私たちはまだ重い仕事をしなければならず、技術的にはそれは基本的に生成モデルの構造とすべての更新プロセス、自由エネルギー最小化プロセスを書き下すことを意味します。それがまさに私たちが話してきたことです。
しかし、人が気づくのは、多くの異なるスケールで自由エネルギー原理を適用できるということです。その瞬間にそれを適用すれば、トランスフォーマーアーキテクチャで見つけるようなメッセージパッシングの観点から、これは推論として見なすことができます。なぜなら、非常に非常に速く変化する未知の変数、ランダム変数、あなたの内容や感覚の潜在的原因について不信念更新を行っているからです。
そして、より遅く変化するものに同じ数学を適用すると、これらの文脈変数に入ります。これらはトランスフォーマーアーキテクチャのアテンションヘッドとして読まれるか、神経生物学の観点から心理学的種類の文字通りの注意として読まれます。より長い時間スケールに移動すると、生成モデルのパラメータの継続学習に入ります。
それは、はるかに時間不変性の少ない法則である偶発性をインストールします。神経発達とベイジアンモデル選択を通じてそれを正しく取ることができます。構造学習として私たちが発達するときに読まれます。もちろん、最高のELBOまたは最小の自由エネルギーを持つモデルをスコアリングし選択することに基づくベイジアンモデル選択を取ることができ、それは今や自然選択の数学的イメージになります。
進化的スケールにそれを取り、この非常に構造を得るために進化アルゴリズムでそれを包含することができます。複数のスケールで自由エネルギー原理を適用でき、すべてのスケールが互いを文脈化し、その説明範囲を拡大することを理解していると思います。
私はまだ見つけておらず、興味深いことに、もし見つけたら、自由エネルギーへの私のコミットメントを真剣に疑問視するでしょうが、自由エネルギーで説明できないものはまだ見つけていません。
多分野からのアプローチの統合
ロン・グリーン：その答えが大好きです。また、あなたが持ち込んだ異なる分野も大好きです。数ヶ月前にリサ・マクリーンと話をしました。彼女は進化的技術を使う非常に有名なコンピュータサイエンティストです。80年代と90年代のアイデアが戻ってくるこの復活を本当に感じています。強化学習、進化アルゴリズム。
そして、それが一つまたは他の一つではなく、知能と意識などを最終的に解明し深く理解するために総合的に見る必要があるかもしれないこれらの技術の混合であることを理解しています。
ダン、あなたはこれらのシステムの構築の最前線にいます。これらの理論を使用して本番システムを構築しようとしています。能動推論からだけでなく、進化的アプローチや変分オートエンコーダー、深層学習世界の他の側面からも要素を取り入れて、これらのシステムをVersus AIで構築していますか。
ダン・メイプス：現在、AI世界でエージェントベースの世界に移行する大きな動きがあります。多くの人が「エージェント的」という用語を使っていますが、真のエージェントになるためには、エージェンシーを持つ必要があります。エージェントと呼ばれるものの多くを見ていますが、実際には単にワークフローであり、かなり脆弱です。問題に遭遇すると、フリーズして停止してしまいます。
実際のパートナーシップモデルがあるようです。能動推論AIが、ゼネラルマネージャーのようにより高いレベルで機能し、ワークフローが問題に陥ったときに介入できます。なぜなら、能動推論の真のエージェント的特質は、LLMが本当に適していない推論エンジンや計画決定として機能できるからです。
多くの企業がワークフローを構築している人々と、チームの人々のマネージャーが機能する方法とほぼ同じように機能する、より高度な推論システムとの間に握手とパートナーシップが見られると思います。何かが行き詰まったとき、能動推論エージェントが入ってきて、それをリダイレクトし、次の道筋について推論決定を下すことができます。
しかし、根本的な問題にも入ると思います。LLMは一般的に機械加工されています。私たちがそれらを構築します。GPT-2があり、次にGPT-3があり、数年かかり、次に3.5、次に4があります。
しかし、能動推論では実際にそれを行いません。子供のようにより成長します。ドメイン固有の世界モデルを構築し、その世界モデルが現実世界を仮説検証し、リアルタイムで自分自身を更新します。つまり、自己進化する、オートポイエティックと呼ばれるものです。技術的な用語ではオートポイエティックモデルです。完全にオートポイエティックな最初のAIと言えるでしょう。
そうすると、コストを大幅に削減できます。より脆弱で少し静的な巨大な基盤モデルを構築するのではなく、時間を通じて進化できる小さく軽量なドメインモデルを持ちます。
その上、それらは内部モデルではありません。AIに何かをするように頼むとき、それは自分自身の内部だけを見て答えるのではなく、実体化された知能です。つまり、インターネットのようなネットワークに住んでおり、IoTデバイスにアクセスできるので、あらゆる種類のセンサーデータを読み取ることができます。
それがリアルタイムアプリケーションを開き、重要になります。現在リアルタイムアプリケーションを行いたい場合、LLMが幻覚を起こしているため実行できません。つまり、それが報告書であれ、作られたビデオであれ、結果を編集するためにループ内に人間を置く必要があります。それは素晴らしく、長期的には何百時間も節約してくれるかもしれませんが、ランダムに幻覚を起こすため、まだ編集しなければなりません。
ドメイン固有の専門家によって構築されたキュレーションされた世界モデルがあり、それが物事を測定できる現実世界環境に住んでいる場合、スマートシティアプリケーション、スマートサプライチェーンアプリケーション、スマート工場アプリケーション、スマート病院アプリケーションを手に入れることができます。これらは現在、LLMでは安全に到達できないものです。
LLMではミッションクリティカルなリアルタイムアプリケーションを実行できませんが、能動推論は実際にそのために構築されています。したがって、ロボットのために完璧に構築されていることがわかります。なぜなら、実体化されており、目を通して見ることができ、腕を動かすことができ、周囲のものを指示することができ、空間的に認識しているからです。
能動推論が世界中に広がるにつれて、新しいクラスのAIアプリケーションが展開されると思います。
カール、それについてもう少し色を付けて言いたいことがあるかもしれませんが、LLMは一般的にコンテンツ作成などに適しており、能動推論は実際にリアルタイム運用に適していると主張できるでしょう。
エージェンシーと能動推論の核心
カール・フリストン：時間があれば、その回答で前面に出したい二、三のことがあると思います。
ロン・グリーン：あと3分あります。
カール・フリストン：非常に簡潔に、エージェンシーの概念がここで重要だと思います。AGIになるためには、エージェントである必要があります。エージェントになるためには、あなたの行動の結果についての世界モデルや生成モデルを持つ必要があります。それが基本的に能動推論がテーブルに持ち込むものだと思います。
そして、この世界に入ります。「このような行動をしてこれらの反実仮想の観察されていない結果を得るのか、それともそれに対してこのような行動をするのか」を評価するために必要な目的関数は何でしょうか。期待情報利得と期待コスト、そしてその二つの混合を持ち込む素晴らしい数学があります。それが本当に能動推論の核心です。
どのように行動するかについてのすべてであり、もちろん、私の不確実性を解決するために必要なスマートデータ、データを求めるように行動できれば、ウェブ全体や宇宙全体を摂取する必要はありません。それは私が必要とするデータだけです。だから、例えば大規模言語モデルに、それが実際に動作している文脈で専門化するために独自の訓練コホートを選択する能力を提供することによって提供される効率の潜在的な驚くべき可能性があります。心臓専門医や車の運転などです。
それを言った上で、過去数十年にわたって行われた素晴らしいエンジニアリングがたくさんあり、能動推論フレームワーク内で非常に有用に活用できると思います。二つの例を挙げましょう。
償却化が一つです。これは基本的に、いくつかの入力から原因の変分密度や確率表現への十分に文脈不変なマッピングを得ることができれば、それは学習可能であり、そのマッピングを、変分メッセージパッシングで行われるであろう信念更新で置き換えることができます。深層ニューラルネットワークで、推論を学習する償却化推論は、深層学習の本当に強力な応用の一つだと思います。おそらくトランスフォーマーアーキテクチャのものでさえあります。
もう一つはもう少し面白いです。能動推論は複数のスケールでの世界モデルや生成モデルに基づいているため、効果的に説明可能だということです。なぜなら、実際に手元にある内容の原因を表現しているからです。
その説明可能性を表面化したい場合、大規模言語モデルの完璧な役割がここにあります。それは今や、原因についてのあなたの世界についてのあなたの信念であるあなたの機械表現を学習し、それを実際に誰かが聞くことができる物語にマッピングすることができます。
能動推論マシンやアーキテクチャが世界について、またなぜそれがこの特定の制約を最小化したり、その期待コストを最小化したりしようとしているのかについて実際に信じていることを説明することで、大規模言語モデルの非常にシンプルで強力な応用があると思います。そして、実際にその意図と信念を宣言させることです。
影響を受けた思想家たち
ロン・グリーン：それが大好きです。その考えを以前聞いたことがありませんでした。それは完全に理にかなっており、先ほど話していた異なるアプローチと異なるアイデアの融合に戻り、一つのレンズや一つの原理セットを通してすべてを見ることに限定されていません。
カール、あなたに質問があります。私は本当に興味があります。あなたはヘルムホルツからヒントン、シュレーディンガーからシャノンまでの思想家を引用しています。自由エネルギー原理についてのあなたの思考を形作った1人か2人の心を挙げるとすれば、それは誰で、なぜでしょうか。その答えを聞くのが楽しみです。
カール・フリストン：ジェフリー・ヒントンが過去に与えた答えと同じものを与えなければなりません。具体的には、UCSDでのメダル賞受賞時に最後に聞いたときの答えです。ヘルムホルツでなければなりません。一方では無意識推論、他方ではヘルムホルツ自由エネルギーの概念があります。
ヘルムホルツと話ができれば、私のヒーローであるリチャード・ファインマンと話ができれば。リチャード・ファインマンは私のヒーローです。しかし、もし戻って会話を聞くことができれば、ファインマンとヘルムホルツが一緒になれば、彼らが一緒になったら、私たちは1930年代と1950年代に今いる場所にいただろうと思います。
ロン・グリーン：それが大好きです。ファインマンは絶対に私のヒーローの一人です。大学で「ご冗談でしょう、ファインマンさん」を読んで、それは私の永遠のお気に入りの一つです。
最後の願い：未解決の謎
ロン・グリーン：これで終わりにします。お二人にとって最後の質問があります。魔法の願いを一つ叶えてもらえるとしたら、キャリア全体を通じて研究で取り組んできた未解決の問題、オープンクエスチョンで、その質問への答えを得ることができるとしたら、それぞれ何を選びますか。
まず、タイムを与えるために私が先に答えます。奇妙で風変わりなものかもしれませんが、私はまだ時間の性質に非常に困惑しています。なぜ時間がそれほど独特なのでしょうか。他のすべての物理学は理解していますが、時間は理解していません。なぜそれがそれほど特別なのでしょうか。
ダン・メイプス：つまり、面白いことに、私たちがテーブルに持ち込んでいる大きなものの一つは空間です。私たちのプロトコルをスペーシャルウェブと呼んでいます。現在まで、私たちの世界的ウェブは二次元でした。ページについてのものです。だからFacebookやPageRankと呼ばれ、すべてページについてです。
しかし、スペーシャルウェブは空間についてのものです。今、私たちがここに座っている間に起こっていることは、人々が世界のすべての建物、すべての都市、地球の表面全体のデジタルツインを作成していることです。
能動推論とLLMが、衛星データでリアルタイムに更新されている地球の完璧なデジタルツインに住むことができるようになることを見るのは本当に素晴らしいでしょう。気候や エネルギーの流れやその他の種類のもののフローを管理するのに役立つ惑星管理システムになる可能性があると思います。
この次の5から10年間、そしてAGIが現れたとき、その全てが展開するのを見ること。その交差点がいつ起こるかは明らかに、おそらく2030年から2035年の間のいつかです。火や言語や数学の発明のような瞬間となる、なんと興奮する歴史的瞬間でしょう。
カールのような素晴らしい科学者と協力し、これを一緒に探求できることを本当に嬉しく思います。みんなで素晴らしい次の5から10年を過ごし、その後、わあ、おそらくですが。
ロン・グリーン：私も全く同感で、あなたの楽観主義を共有します。この時代に生きていることを本当に幸運に感じています。90年代にAIで働いていたとき、それに賭けたかどうかわかりませんし、確実に15年前にはそうではありませんでした。これほど幸せなことはありません。
ダンとカール、本当にありがとうございました。これは素晴らしい会話でした。お二人とも時間を作っていただき、本当に感謝しています。
カール・フリストン：素晴らしい時間でした。
ダン・メイプス：本当に良かったです。ありがとうございました。
ロン・グリーン：Hidden Layersをお聞きいただき、ありがとうございました。このシリーズは、人工知能に特化した経営コンサルティングおよびエンジニアリング会社であるKung Fu AIがホストしています。今日のエピソードについて質問や考えがある場合、または紹介したい人を知っている場合は、kungfu.aiをご覧ください。
コメント