この動画では、計算言語とWolfram Alphaで知られるStephen Wolframが、人工知能と人間的思考の本質的な違いについて深く考察している。彼は人間のような思考と形式的思考の区別を論じ、LLMが浅く広い思考パターンを示す一方で、数学や計算における深い形式的な塔を構築する能力は持たないことを指摘する。また、機械学習が成功する理由を「計算不可約な作業の塊」を組み合わせる過程として説明し、人間の概念が可能性の空間のほんの一部しか占めていないという興味深い視点を提示している。
Stephen WolframがAI、人間的思考、形式的知識について語る
知識の構造や人間の知識のグラフ、そして外界に存在する意味の構造について考える際、非常に興味深い問題があります。そして私はまだその答えを知らないと思っています。
物理学の話に戻りたいのですが、あなたは私が探求したかった方向に話を向けてくれています。AIについて言及されていますし、LLMの最新の進歩についても触れていますね。
それでは知識ハイパーグラフについて話しましょうか。私は長い間知識ハイパーグラフに興味を持ってきました。あなたもWolfram AlphaやLLMでの研究でそうだと知っています。私はOpen Web Mindという共有知識ハイパーグラフをもうすぐローンチする予定です。これにより人々が自分自身の心を作り、自分の知識を捉え、他の人の心と融合させることができるようになることを期待しています。これはあなたがそこで仄めかしていた、社会がある方向に向かうという話に関連していますね。
知識ハイパーグラフの将来についてどう思いますか。そして、LLMやより一般的なAIがそれにどのように関わってくるのでしょうか。
人間的思考と形式的思考の違い
そうですね、区別をする必要があると思います。人間的な思考と、いわば形式的な思考があります。もしAIが1600年代半ばに登場していたら、おそらく微積分学やそういった数学などは決して生まれなかったでしょう。
そのような形式的な塔が構築されることはなかったでしょう。なぜなら、1600年代後期以前の科学である自然哲学を取り上げることができたからです。自然哲学では、人間の思考を使って世界がどのように機能するかを理解するという考えでした。しかしその後、まず数学において、そして最近数十年では計算において、これらの形式的な塔を構築し始めました。世界がどのように機能するかについて形式化を作ることができ、その形式化を実行することができると理解できるようになったのです。そしてその形式化の結果を知ることは、最終的には計算不可約なことです。しかし、何が起こりうるかを理解するために、この高い計算の塔を構築することができるのです。
これは脳が通常行うことと少し異なります。脳はより広いが浅いもののようです。これはLLMや現代のニューラルネットワークなどでも見られることです。
LLMと人間の脳の共通点と相違点
私たちが見ているのは、人間の脳が素早くできる特定の種類のことがあり、LLMも素早くできる可能性が高いということです。人間の脳が素早くできない他のことがあります。私たちは脳の中でコードを実行することはできません。それは脳がすることではありません。
コンピューターがそれをします。うまくやりますが、それは脳がすることではありません。LLMがすることでもありません。つまり、世界で起こったこの出来事があると思います。この形式的知識があり、このより人間的な思考などがあるのです。
私が多くの時間を費やして理解しようとしてきたことは、世界のより多くの側面を形式化する方法です。計算言語のこの全体的なアイデア、私たちのWorldの言語技術スタック全体は、世界に存在するものを取り上げ、これらの計算の塔を構築できる点まで形式化する方法を見つけることです。
そして、これは世界を扱う一つの分野だと思います。何を形式化できるかということです。もう一つの分野は、何について人間的に考えることができるかということです。そしてLLMは、その種の浅いが広い人間的思考のようなことを行う良い方法を提供します。
実際、それらについて考える方法の一つであり、それらを使用する非常に有用な方法だと思うのは、一種の言語的ユーザーインターフェースとしてです。あなたの言葉で、人間的思考のような方法で話すことができ、そして深い計算の方向に行く必要があるとき、ツールを呼び出します。私たちは人間が使用するために構築された全体的な計算言語構造を構築しましたが、AIが使用するのにも良いものであることがわかりました。
形式的知識とその構築
つまり、この計算の塔、形式的知識構築のようなことで私たちが行ってきたこと、その方法で知識を符号化する問題は、最終的には非常に正確なものになります。そしてそれは、塔を構築し続け、どんどん高く構築し続けても、倒れることはないと期待できるようなものです。なぜなら、すべての部分がしっかりと構築されているからです。
これは、人間的思考を行っているときに期待することとは少し異なります。そこでは、ある一つのことがうまくいき、別のことがうまくいくが、それを体系的に100万回実行して、この非常に高い塔を構築できるという同じ概念はありません。
私たちの世界についてのデータを符号化する努力において、世界のデータをキュレートし、計算方法で知識を整理してこの形式的な塔で構築できるようにするという概念がありました。
そしてそれが私たちが行ってきたことであり、今見ていることは、LLMが優れた言語的ユーザーインターフェースであるということです。このような、かなり浅いつなぎ合わせを行うのが得意です。ああ、このように見えるタンパク質の領域があり、ずっと前に配列が決定され、三次構造が発見されたものから認識しました。これのように見える別のものがあります。それらを滑らかにつなぎ合わせようとします。
ニューラルネットワークの得意分野
私たちが生成している画像があります。月の上の狼か何かの画像です。月がどのように見えるかを知っています。狼がどのように見えるかを知っています。それらをどのように合成するかを知っています。これらは、ニューラルネットワーク、脳などが得意とすることです。そして、それは私たちが自動化を始めることができるようになったことです。
これは、この計算不可約なプロセスによって根本的に新しい知識を得るという分野とは多少異なる分野だと思います。さて、この計算不可約なプロセスによって得られる根本的に新しい知識は、人間には理解できないかもしれません。
実際、私がちょうど見ていることは、25年前に自動定理証明を使って行った証明です。これは論理のブール代数の最小公理です。このとても小さな公理がすべてのブール代数を生成します。私はそれを証明できます。それは104ステップの証明です。それは人間には絶対に理解不可能です。
そして、これは一つのことであり、私はまさにこれに取り組んできました。LLMでも他の何でも、これを人間がアクセスできるものに変える方法はあるのかを理解しようとしています。答えは基本的にノーのようです。そして、私たちが扱うことができるものがあります。それらを私たちの有限の心にアクセス可能なものに変えることができるものです。
それは一つの事柄の集合です。自然で起こっていることや数学で導き出せることで、私たちがこのAIや脳のような思考の種類に変えることができない、不可約な種類のことがあります。
LLMの実用的な役割
つまり、私の見解は、実用的な問題として、私たちが見ているのは、多くのLLMが物事へのインターフェース、多かれ少なかれその形にあった知識を結び付ける方法として機能していることです。しかし、それを可能な限り有用にするために結び付ける必要があります。
計算言語と計算知識をその種の人間的な言語的ユーザーインターフェース層と融合するという考えは、私は開発されていることの将来の大部分だと思います。私たちは実用的な問題として、技術会社としての私たちの生活などでそれを見ています。
それが人々が私たちの技術をライセンスしてこれを行う理由です。そしてそれは良いアプローチのようです。さて、知識の構造についてどう考えるか、人間の知識のグラフや外界に存在する意味の構造についてどう考えるかという点で、非常に興味深い問題があります。そして私はまだその答えを知らないと思っています。
機械学習の謎
私が困惑していることの一つは、なぜ機械学習が機能するのかということです。言い換えれば、1980年代初頭の私にとって明らかではなかったことの一つを取り上げます。私はニューラルネットワークで遊んでいましたが、特に興味深いことをさせることができませんでした。2011年が来て、ニューラルネットワークを十分に強く叩けば、あらゆる種類のことを学習することが発見されました。
それが機能するという事実は確実に明らかではありませんでした。そして実際、明らかになったこともあります。ニューラルネットワークのアーキテクチャの詳細が実際に何であるかは本当に重要ではありません。十分に強く叩けば、それは何かを学習するでしょう。脳のようになるでしょう。
それでは、なぜそれが機能するのでしょうか。なぜ詳細な構造が非常に異なる可能性があるこれらのシステムを取り上げて、すべてが同じ方法でこれらの思考のようなタスクを実行させることができるのでしょうか。
答えは、多かれ少なかれこうだと思います。機械学習の訓練で実際に行っていることは、あなたが望む目的をほぼ達成するために適合させることができる正しい塊を特定できる、不可約な計算作業の塊を特定することです。これらの不可約な計算の断片を組み合わせて、それらをあちこちの方法で組み合わせると、画像内の猫と犬を区別するという目的をほぼ達成するでしょう。
工学的プログラミングと機械学習の比較
画像内の猫と犬を区別するとはどういう意味かの正確な定義はありません。それの数学的定義はありません。ただ、私たちが行うのとほぼ同じ方法でそれを行う何かを得ることができるだけです。だから私たちはそれを成功と考えます。
最近私が有用だと思った類推は、プログラムを作る工学的方法と機械学習的方法の比較です。壁を作るようなプログラムを作ろうとしている場合、すべて同じ形のレンガを工学的に作って、それらのレンガを壁に組み立てる方法を知っていると言えます。壁を見ると、これが壁の構築方法だと説明できます。
しかし、機械学習で起こっていることは、むしろ地面に散らばっている岩の束を見ているということです。それらは不可約な計算の塊の種類です。そして、この岩とあの岩を拾い上げて、それらを詰め込んで、ほぼ石の壁を作ることができることを観察しています。最終的には、壁として機能するある程度のレベルまで何かを構築したことになります。
それは説明可能な壁ではありません。ああ、レンガはこのレンガ層パターンタイプのように配置されていると言えるような壁ではありません。それは、なぜその石がその方法で配置されたのかと言っても、それについて本当に言うことがない壁です。たまたま適合し、その岩がたまたま転がっていた、たまたまその時に気づいたものだったので、この壁に入れたということです。
これが機械学習で起こっていることの定性的な図だと思います。そして、これは例えば、壁を本当に本当に高く構築できるかと尋ねている場合に教えてくれると思います。答えはおそらくノーです。なぜなら、これらの不可約な計算の塊は、それらがある形であり、それらを彫刻することはできないからです。それらはただのものであり、なぜその形で別の形ではないのかを言うことはできません。
人間の知識と概念の分布
それで、これが私が持っているその構造の定性的な図です。さて、人間の知識を見るとき、例えば、猫という単語があるとしましょう。意味空間におけるその単語の分布は何でしょうか。その単語はどのようなものでしょうか。すべての可能な意味のうち、猫らしさに対応する領域はどこでしょうか。
実際、最近これを調べました。AIによる画像生成のような、もう少し簡単に何が起こっているかを見ることができる方法でこれを見ていました。そして問題は、AIが生成できる可能な画像を見ると、システムの基礎となる特徴空間である埋め込み空間の中に、その空間のどこにいるかを表す数のベクトルのリストがあるということでした。
これらの数のベクトルを変更すると、AIが効果的に想像できる異なる種類のものが得られます。例えば、猫はAIの心の中では特定の数のベクトルですが、これらすべての数を走らせたときのAIの心がどのようなものかの全範囲を見ることができます。そして、私が作っていた絵は、猫島と呼んでいたものです。つまり、パラメータの空間にこの領域があり、そこで猫の絵だと認識できるのです。
その領域から離れると、AIのマインドスペースの他の場所にあるものに向かっていきます。十分に遠くに行けば、最終的にそのマインドスペース、その意味空間の犬のポイントに到達するでしょう。しかし、猫と犬の間には、私が概念間空間と呼んでいたものがたくさんあります。
概念間空間と可能性の探索
これらは可能性の空間の中の場所で、私たち人間がそれらの物事に対して単語を思いついていません。将来のある時点で、猫と犬のこの種のハイブリッド画像のようなものを特定するかもしれません。それをキャトッグか何かと呼んで、それに名前を付けて、それは私たちが特定するものになります。
しかし、本当に研究する興味深いことだと思うのは、AIによって想像できるすべての可能性のこの種の空間です。そして問題は、私たち人間がいわば植民地化した場所はその空間のどこかということです。私たちの言語の50,000語を割り当てたのはどこでしょうか。それらの単語は、その概念間空間のどの領域に対応するのでしょうか。
一般的に私が持っている図は、脳の中で多くのニューロンの発火が起こっているが、どういうわけか私たちがそれらを概念に集約することができ、それが単語になり、それを別の脳に伝達でき、その脳はその単語を全く異なるニューロンの発火のセットに展開するということです。
つまり、この可能性の全空間のどこにこれらの概念があるかというこの考えであり、生成AIを見ることによってこれについてある程度の手がかりを得ることができます。
ルリアードへの小さな窓
私にとって、その究極の興味深い側面は、私たちがルリアードの小さな角を見ているということです。ルリアードは、これらすべての計算可能性のこれらの物語です。そして、ある意味で、生成AIを見て、これらの人間が同化可能な絵を作ることによって、ルリアードがどのようなものかの小さな窓を得る方法なのです。
そして私たちが実現していることは、私たちの心、心がルリアードの小さな部分を植民地化しているということです。私たちは、例えば単語を持っている概念です。私が非常にシンプルな生成AIシステムで行った最もシンプルな実験でさえ、私たちが持っている概念は全体の空間の10の600乗分の1のようなものを表しています。
つまり、私たちが知っている概念で植民地化した部分は、すべての可能性のセットのこの小さな小さな部分であり、その割合はルリアードの場合にはさらに大幅に小さくなるでしょう。私たちが現在内在化しているルリアードの部分はこの小さな断片です。
これは、AIで見ていることをルリアードの観点で考えることに関連付ける方法だと思います。私たちの心はルリアードのこの小さな部分を占めています。AIによって、ルリアードの中のもう少し広い可能性の範囲を見ることができます。
もしAIが私たちにとって概念間空間にあるものの観点で自分自身に考えることを始めるなら、それの問題は、それらは私たちが知らない概念だということです。私たちはそれらの物事に固着することができません。それはただAIが自分のことをしているだけです。
それは、ルリアードの他の場所に住んでいる異星の知性のようなもので、私たちはそれと十分に整合することができず、それが何をしているのかを理解することができないのです。
コメント