サンタフェ研究所の所長であるデイヴィッド・クラカウアーが、知能と愚行の進化について論じるインタビューである。彼は知能を「少ない情報で多くのことを達成する能力」と定義し、現在のAI開発が知識と知能を混同していると批判する。創発現象の真の意味、文化の進化的意義、そして技術への過度な依存が人間の認知能力を萎縮させる危険性について深く考察している。
知能の定義と現代AIへの批判
脳は筋肉と同じような器官やからな。もしワシが自分の思考を全部何かや誰かに外注してしもたら、筋肉が衰えるのと同じように脳も萎縮してまうんや。そんなん当たり前のことやろ。ただの生理学的事実や。
ワシはデイヴィッド・クラカウアーや。地球上の知能と愚行の進化について研究しとる。科学っちゅうのは人文学的な営みなんや。宇宙における科学の目的は、宇宙をワシらにとって理解可能なものにすることやねん。支配することでも、予測することでも、搾取することでもあらへん。科学は詩と何ら変わらへんのや。ワシらは世界を理解しようとして、自分らの存在に関連付けて意味を与えようとしとるんやからな。
超知能なんてもんは、ワシをより知的にしてくれる限りにおいてのみ興味深いもんや。ワシをより愚かにしたり、卑屈にしたり、依存的にしたりする限りにおいては、全然興味あらへんわ。
創発と知能に関する議論の始まり
あー、カメラが…それは実は…それは同情やったんや。同情やで。
すごいな。えーっと、あんたの論文で最初に読んだのは2年ほど前のメラニーとの共著やったと思うんや。ワシらメラニーにインタビューしたんやけど、言語モデルにおける理解についての議論やったと思うで。
あの頃は熱狂があったんや。AGIの火花論文とかな。彼らはRLHFなしのGPT-4に早期アクセスしてて、「この創発的能力ってすごくない？」なんて言うとったんや。
ああ。ノーコメントや（笑）
そやな、まあ創発が何なのか、知能が何なのかっちゅう問題があるわな。ワシの特別な関心は知能の進化にあって、それは極めて多様やと考えとる。ワシは細菌も知的やと考えとるしな、あんたも知っとる通りや。
ワシの基本的な考え方を一つの枠組みで表現するとしたら、知能っちゅうのは入力に関して非常に少ないもので多くのことを成し遂げられる時に最も明確に現れるもんやと思っとる。逆に、どんどん多くの情報を利用できる状況で、いわゆる知的行動を示されても、ワシはだんだん感銘を受けんようになってきとるんや。
残念ながら、AIが進化してきた方向っちゅうのは、非常に博識であることと非常に知的であることを混同する方向やった。そして、それがある意味でワシの批判の要点なんや。
進化的観点からの知能理解
昨日のあんたの講演で、知能の合理的な定義は全て、知識の貢献を周辺化しようとするもんやって言うてたな。新奇性への適応とか、一般的な適応性についてやろ。あんたの進化的観点は非常に興味深い。昨日、歴史を保存し情報を蓄積することについて話しとったけど、その歴史を保存することは系統発生的にも個体発生的にも非常に重要やと言うてたな。どういう意味なんや？
そやな、これは本当に興味深い問題やで。知能の世界における大きな混乱の一つは、巧妙な適応を知的と呼んでええかどうかっちゅうことなんや。つまり、能力や特性、適応。それは知的なことなんか、それとも進化が与えてくれるもんなんか？
外には、それは知的やないと言う人らがおる。なぜなら知能は能力やないからや。能力を獲得する能力なんや。ウッドローが言うように「能力を獲得する能力」であり、フランスや他の人らもその観点を採用しとる。
じゃあ、それはどこから来るんやろか？実は、これは数学的に導き出せるんや。1970年代に、高速化学でノーベル賞を受賞した非常に著名な理論化学者のマンフォード・アイゲンが、最終的に80年代に定式化された一連の理論を発展させ始めたんや。準種理論と呼ばれるもんやな。
長い話を短くすると、この理論が教えてくれるのは、任意の進化過程において情報が獲得される速度の基本的な境界やねん。そして、その基本的な速度限界は世代時間によって確立されることが分かったんや。本質的に、選択的死亡あたり1ビットやねん。これにはミュラー原理という名前もついとる。
考え方はこうや。たくさんの変異体があって、それぞれが世界について異なる仮説を持っとる。選択は間違った仮説を持つもんを全部殺して、正しい仮説を持つもんを残すんや。そして、もしそれが多数やったら、どのビットが責任を持つか分からんから、1ビットしか維持できんことが分かったんや。
つまり、ゲノムあたり世代あたり1ビットやねん。もしあんたが大きな多細胞生物やったら、適応的情報は全て世代頻度より高い頻度で存在しとる。じゃあ、どうするんや？
ゲノム外のシステムを構築せなあかんのや。それをエピゲノムと呼んだり、脳と呼んだりするんや。これらは選択的動態を超えた高頻度情報を獲得できるシステムなんやねん。これが基本的な考え方や。
実際に質的な区別を作ることができて、その境界は誤差閾値と呼ばれとる。世界から高頻度情報を抽出するために推論器官メカニズムを獲得せなあかん境界やねん。一部の人はそれを知的やと考えとる。
文化と進化の速度
ワシはその見解を共有してへんけど、やや恣意的やからな。でも原則的やで。昨日あんたが言うてたのは、もちろん神経系はこれらの一例やけど、文化は光速での進化やって言うてたな。どういう意味なんや？
まあ、そやな。どこまで技術的になってもええんか分からんけど。
めっちゃ技術的でええで。
よし、じゃあ技術的にいこか。考え方の一つはこうや。ゲノムを配置空間の一点やと想像するんや。配列空間と呼ばれるもんやな。進化するにつれて、この空間を移動するんや。
隣接するノードが突然変異を通じて接続されるグラフやと考えることができる。突然変異は通常局所的やけど、いつもそうとは限らん。
アイゲン理論は、特定の突然変異率でどれだけの情報が保存できるか、過去に獲得したもんを全て失わずに配列空間でどれだけ速く適応的に移動できるかを教えてくれる。これが誤差閾値やねん。
もし過去に獲得した情報を貯蔵し、文字通り冷凍保存し、図書館に入れ、本に入れる立場にあるとしたら、今まで蓄積してきた情報を破損させることなく、そのグラフ上をもっと早く移動できるようになるんや。
文化には実際には上限がないんや。なぜなら、ハードドライブに保存し、図書館に保存し、今まで獲得した情報を保存する限り、その中の一つがええもんやったら、それを図書館に追加するだけで、どんな速度でもランダムに変異を生成できるからやねん。
だから文化は実際に進化の光速を破り、有機的進化とは質的に異なる進化過程なんや。
能力と知能の区別
デイヴィッド、あんたは能力と知能を区別することに苦心してるな。じゃあ、文化や図書館は情報を保存する形態やけど、それを知能と呼ぶんかどうか分からんが？
まあ、そやな。繰り返すけど、ワシはそう思わん。ワシは知識と知能の間に大きな区別を設けとる。話し合ったことやけど、賢い人は問題を解決するのにたくさんの知識を必要としない。あんまり賢くない人は必要やねん。それがワシらの人生経験やろ。
問題の解決策を全部詰め込んだ友達のところに行って質問したら答えてくれる。でも、あんたはそれほど感銘を受けへん。先週パブでハイキングして、図書館におらんかった友達の方により感銘を受けるやろ。そういう人らがワシらをより感銘させるんや。そして、ワシらは実際にそれを見失ってると思うんや。
ワシが好んで言うのは、知能に関しては「より少ないことがより多い」であって「より多いことがより多い」やないってことやねん。
創発の物理学的理解
確かにそうや。昨日あんたが言うてたのは、知能は「より少ないもので、より多くを成し遂げること」で、実際に愚行は「より多いもので、より少なくを成し遂げること」やって言うてたな。非常に興味深い。
まあ、そやな。背景を説明しよか。SFIでワシらは創発のアイデアに非常に興味を持っとる。フィル・アンダーソンが1972年に「より多いことは異なること」という非常に有名な論文を書いたんや。
フィルは高エネルギー物理学に反応しとった。高エネルギー物理学は非常に小さなもんを扱い、物理学の対称的法則が物理系の状態配置に対応する対称性を生み出すんや。
でも、もんを大きくしていくと、彼はNH3とPH3、アンモニアとホスフィンの例を挙げとるけど、基礎的な物理法則とタンパク質折り畳みは対称的やけど、非常に大きな構造を持つと、それはポテンシャル井戸にはまって対称性を破るんや。
法則が対称でも関係ないんや。ボールがあって、坂を転がり落ちるけど、非常に深い谷に転がり込むようなもんやねん。それがはまってエネルギー漏斗があって、法則が対称やということは関係なくなる。なぜなら、あんたが観察する状態を教えてくれるのは、景観のどこで始まったかという初期条件だけやからやねん。
これは破れた対称性と呼ばれる。フィルのポイントは、より大きく、より大きく、つまりこの特定の例では分子の原子質量の観点で「より多く」なるにつれて、あんたがどこにおるかを教えるために追加のパラメーターを使わなあかん可能性がますます高くなるってことやった。
その結果、初期条件の記述リストやない理論を持ちたいなら、平均を取らなあかん、粗視化をせなあかん。
そして、それが複雑系の基本原理や。非常に非簡約的な微視的記述から簡約的な巨視的記述に行くためには、巧妙な方法で平均を取らなあかんのや。そしてそれが創発の本質なんやねん。
言語モデルにおける創発の誤解
確かにそうや。ワシらはあんたの論文について話すべきやな。最近リリースされた「大規模言語モデルと創発：複雑系の観点」で、あんたが今触れたように、創発は「より多いことは異なること」で、すぐに話すけど、スケーリング、臨界性、圧縮、新しい基底、汎化が創発の原理やねん。
でも、ちょっと巻き戻すと、LLM文献の多くの人ら、有名なのはジェイソンやけど、昨夜ダニエル・ハーウィッツと話してて、彼が実際にジェイソンよりも先に言うたって教えてくれたんや。彼らは創発のかなり漫画的なバージョンを持っとる。能力の急激な不連続性があるときに言えるようなもんやねん。
3桁の掛け算とかの例を挙げてたやろ。スケーリング法則があって、能力の分岐的出現を見るから。デイヴィッド、あんたはそれを全然認めへんな。
冗談があるで。言うべきことがいくつかあるけど、あんたがうまく言うたから繰り返す必要はないけどな。3桁の足し算が、1000億パラメーターやと50%以下の確率やったのが、1750億とかになると80%になる。
ワシはHP35電卓で1KのROMで3桁の足し算を非常に効果的にできるけど、それはメモリフットプリントが10億倍小さいんや。だから、ワシらが慣れ親しんだ近似を使って、効率的に小さなメモリフットプリントにソリューションを設計できると思うわけや。
それか、相当な費用をかけて世界中のデータで訓練せなあかん。3桁の足し算に加えて他にもたくさんのことをするんやけど、それを創発と呼ぶんやな。ワシは単にプログラミングと呼びたいねん。
つまり、それが話し方の正しい方法やと思うし、自然言語でプログラミングをするなら、興味のある目標を達成するためにたくさんの言語が必要やねん。不連続やという事実は関係ない。
ワシはそれをほとんど無関係やと思うし、一次相転移との類推以外では創発の議論とあんまり関係なかった。制御パラメーター、例えば温度に関するシステムの自由エネルギーの一次導関数が無限大になるようなもんやねん。
相転移の理論に関連する技術的定義があるけど、これはそれとは全然違う。相転移は、システムの内部組織の実証可能な変化によって特徴づけられるからやねん。それが本当に重要なことや。不連続性やない。それは表面的なもんや。
真の創発とスケーリング法則
そうや。大まかに言うと、あんたが思うのは、この粗視化について、分子の相互作用の微視的記述があるとする。巨視的バージョンはナビエ・ストークスのような流体力学やろう。だから、特定のスケールでのみ機能する完全に集約的なシステムの記述やねん。
そうや。気体の原子理論やH2Oの分子から、圧縮性・非圧縮性流体のニュートン法則、ナビエ・ストークス方程式を書ける流体力学的限界に移る魔法の不連続性はないことに注目してくれ。それは単なる極限過程やで。
そして、「より少ないもので、より多くを成し遂げること」という知能のアイデアに対して、今度は突然、全ての分子を追跡する必要がなくなった。平均密度を見るだけでええんや。
創発における重要なポイントは、その行動のより簡約的な記述を得ることができるよう、システムの内部組織に十分な変化があることや。分子の自由度の寄与を篩い落とすコアリング・アウトという専門用語があるんや。それらを追跡する必要がない。それらは役に立たん。あんたが作ろうとしてる予測には余計なもんやねん。
スケーリング法則の破綻と知能
確かにそうや。デイヴィッド、ワシらがスケーリング法則の破綻を見るとき。今、ワシらは全てを記憶してる。能力とスケーリング法則は相応してる。研究があって、昨夜ダン・ヘンドリクスが言うてたのは96%相関してるらしい。あんたは逸脱を見ることを期待するやろう。
スケーリングなしに知能を持てるときは、実際にある種の粗視化が確立されたことを暗示するやろうな。
興味深いな。そやな、なぜならそれは時々スケーリングの破綻と呼ばれるからやねん。スケーリング法則は創発の証拠やないんや。
最も有名な例で、SFIでワシの同僚のジェフ・ウェストやクリス・ケンペスらが研究してるのは、アロメトリック・スケーリングやねん。ワシらがセント・アンドリュースにおるのはええことや。なぜなら、偉大なスコットランドの数理生物学者ダーシー・トンプソンが1917年に出版された成長に関する美しい本で本質的にこの分野を発明したからやねん。
今朝、彼のコレクションを見に行ったんや。それは余談やけどな。でも、この理論は全てのスケールで質量と代謝率の間に固定的な関係があることを教えてくれる。それは全てのスケールに適用される最適化原理から生まれるんや。非常に興味深い。それについて創発的なもんは何もあらへん。
創発っちゅうのは、新しいスケーリング法則を必要とする組織の変化があることを意味するんや。これについて言うべきことはかなりあるけど、最低限、創発の潜在的なケースを調査し始めるには、スケーリング法則が破綻してるのを見たいやろうし、次にシステムの内部に入ってなぜかを問わなあかん。
言語モデルの表現学習と創発
メラニーの大ファンや、たぶん彼女の最大のファンやと思う。彼女は博士論文でコピーキャットの研究をしたんや。
言語モデルにとって粗視化がどのようなもんかという問題があると思うんや。どんな感じやろう？類推は素晴らしい候補やねん。
より広く言うと、あんたが指摘してるのは、これらのモデルが断片化された、もつれた表現を学習するってことやと思う。それらは微視的表現やねん。創発的やったら起こることを期待するのは、世界と相関し、世界を継ぎ目で切り分ける、これらの因数分解された統一された表現を学習することやろう。
あんたはそれをもっと拡張して、実際に系統発生のような対称性を尊重すると言うかもしれん。世界がどのように機能するかを尊重するってことや。つまり、彼らがどのようにそこにたどり着いたかを知ってるから、創造的で直感的なステップを踏むことができるってことやねん。
ええ指摘やと思う。その通りやと思う。ワシらの神経系と身体が物理世界の特定の基本的制約を尊重してるという意味があると思うんや。あんたが言及してることやで。
これはもちろん、畳み込みニューラルネットなどでニューラルネットワークによって借用されとる。なぜなら、視覚シーンには何らかの共分散がある傾向があり、畳み込みネットワークはその共分散を非常に自然に捕捉するからやねん。
だから、現実について知ってることを尊重する、より強い事前分布を使った例やねん。ニューラルネット界には、モデルに事前分布を組み込むことに対するちょっとしたアレルギーがあるんや。全てを帰納的にやりたいからやけど、1943年のマカラとピッツから派生した全体構造が神経系に触発された概念やったことを考えると、ちょっと混乱してるように思える。
じゃあ、なんで世界のインスピレーションも少し使わへんのや？
幾何学的深層学習と対称性
確かにそうや。昨日あんたはペンローズの「現実への道」について言及してたな。おもしろいことに、この幾何学的深層学習のアイデアの創設者の一人であるマイケル・ブロンスタインにインタビューしたんや。それは基本的にプラトン主義やろ？
世界の生成関数がこれらの対称性によって制約されてると思うから、これらの対称性を全て吹き込もうってことやねん。それは詳細を何も省かない抽象化や。あんたはそれに賛成するか？
ワシは賛成せえへん、なぜならそれがあまりにも反複雑性やからや。正直に言うと、よく知らん。時々ワシが好んで言う方法は、1918年の偉大な数学者物理学者エミー・ネーターについてやねん。
社会の性差別によって隠れた人物の一人やったけど、作用汎関数の対称性を示す非常に重要な研究を発表したんや。最小作用の原理を捉えるラグランジアンの対称性で、時間や空間座標をシフトすることが特定の物理的観測量の保存に対応することを示したんや。時間を変えればエネルギーを保存し、空間を変えれば運動量を保存する。
ダーウィンはある意味でアンチ・ネーターやねん。『種の起源』は、時間を変えれば全てが異なり、空間を変えれば全てが異なると言っとる。これは対称性が支配的やないから物理学とは違うというアンダーソンの破れた対称性のアイデアにつながる。その結果、様々な観測量が保存されへんのや。
だから、生命が存在し、確実に知能が存在するようになってから、対称性の力は重要な組織原理であることをやめたんやと実際に思っとる。
彼が何を主張してるか分からん。これは、知覚が利用する世界に対称性があるということを言うのとは違うで。それは明らかに真実や。
進化の収束性と多様性
進化はどれくらい収束的やと思う？並行宇宙で千回実行したら、この種の真の存在論的結合があると思うか、それともかなり発散的やと思うか？
ええ質問やな。誰に聞くかによるやろ？コンウェイ・モリスなら非常に収束的やと言うやろうし、グールドなら非常にそうやないと言うやろう。
測定装置の解像度によると思うねん。非常に粗視化されたレベルでは、アロメトリック・スケーリング理論は全てが同じ方法でスケールすると言っとる。何回実行しても関係あらへん。本質的にエネルギーから質量へのスケーリングは完全に空間の次元に依存するんや。
4分の3スケーリング法則は、空間の3次元に対して空間の4次元で、余分な次元はフラクタルやねん。それは生命とは関係あらへん。つまり、もちろん生命と関係はあるけど、生命の偶然的歴史には依存してへんのや。
だから、その粒度レベルで、それが測定できる全てやったら、生物の平均質量やとしたら、変動はないやろう。ほとんどな。
でも、ズームインすると、もちろんより多くの変動が見えてくる。それはある意味、その独特の歴史の化石記録のようなもんやねん。生物学者はズームインする傾向があるんや。心理学者もズームインする傾向がある。そして、それはほとんど性格的なもんやと思う。
物理学者は粒状の、非常に非粒状の平均化されたもんが好きで、生物学者は非常に自然史的なもんが好きやねん。これら二つの伝統が異なる答えに到達するのは驚くことやない。
知識外と知識内の創発
確かにそうや。創発における知識外と知識内のこの区別について説明してくれるか？
よし。まず最初に確立しよう。創発とは、与えられた観察レベルでより微視的な詳細から恩恵を受けへん、より簡約的なシステムの記述があることを意味するんや。流体の例を挙げたやろ？たくさんあるで。
どのようにして起こるんや？創発はどのようにして起こるんやろう？無限の例があるけど、物理学者は同じ文脈や環境入力にさらされた多くの同一粒子が創発を経験する方法に興味を持つ傾向があるんや。その例を挙げたやろ。分子を追加し、温度を変える。
それは一つの次元やねん。平均エネルギー。進化や学習に関しては、全ての分子が経験してる一つの入力やないんや。温度を一様に変えるだけやない。全員が異なる独特のパラメータ化を経験しとるんや。
だから、グローバル信号を持つ大数の同一物があった物理領域で主に開発された創発の理論があって、今度は創発の主張が、全員が独特の信号を経験してる非同一物の大きなシステムに対してなされとるんや。だから、創発について話すことができるかどうかという問題がすでにあるんや。
ワシらは通常そうせえへん。なぜなら進化について話し、学習について話し、発達と工学について話すからやねん。誰もiPhoneが創発的やとは言わへんやろう。なぜなら、どこかに全ての部品に何をするかを正確に教える計画があるからやねん。発達でも同じように、非常に複雑な分散計画があるけど、部分的にはゲノム、部分的には環境やけど、それでもそのように話すことができる抽象化があるんや。
だから、知識内は、興味のある構造、興味のあるパターンを得るために、各構成要素を個別に多かれ少なかれパラメータ化せなあかんシステムやねん。知識外は物理学の例で、神がしたことは温度を変えることだけで、固体から流体、プラズマを得た。これは完全に異なる物質状態で、ワシがしたことは一つのことを変えることだけやった。
だから、それが大きな区別やねん。生物学と機械学習の課題は、主要な指令を違反した時に創発について話す方法やと思う。つまり、各構成要素の局所的修正を許可されてるときやねん。ワシはできると思うけど、それが知識内と知識外の本質的な区別やねん。
創発における因果性と遮蔽
創発について魅力的なことの一つは、観察者の観点からは確実に、ある種の因果的遮蔽や因果的切断として考えることやねん。しかし、ジョージ・エリスのような哲学者がいて、レベル間で因果関係が遮蔽され、レベル間で因果関係が起こると言うてるけど、あんたにとって因果関係と創発の関係はどんなもんや？
興味深いな。ある意味で言う方法の一つは、ワシが言うたこと全てがある種の些細なことやけど、基本的なニュートン的意味やなく、パールの介入的意味で真に因果的やと話すことができる新しい粗視化された効果的メカニズムの集合を持っとるってことやねん。
これらは因果関係の補完的な概念やろ？でも、ワシはより簡約的な因果メカニズムとして創発の主張を言い直すのは完全に合理的やと言うやろう。
あんたの好みのネオパール do演算子と条件分布の適切な処理に従う集約的観察可能量があるってことやねん。だから、新しい形の因果関係として考えるのは適切やと思うで。
エージェンシーの定義と複雑性
エージェンシーのこの概念について、知能のようなものとの関係でどう定義するんや？個人的には、自律性と因果関係の側面があるけど、意図性と方向性の側面もあるんや。一方向の自律性だけやなく、自分の方向を設定する能力やねん。あんたにとってそれは何を意味するんや？
そやな、実際にこれについて考えるフレームワークを開発しとるんや。3つの異なるより洗練された概念で考える方法やねん。
最初は物理学からの作用の概念やねん。ボールは坂を転がり落ちる。あんたはそれをエージェント的とは呼ばへんやろう。残念ながら一部の人はそう呼ぶけど、それは最もシンプルやねん。ワシらには完璧に良いニュートン・ラグランジュ・ハミルトン理論がある。これらの言葉を使う必要はあらへん。一部の人はエージェント的やと呼ぶけどな。
それから、ダーウィン的概念の適応がある。適応はボールが坂を転がり落ちるのよりももう少し複雑やねん。なぜなら、ボールが過去の努力の内部記録を持ってるから、坂を転がり落ちるのが上手になると言っとるからやねん。
そして、カントがそれに与えた一般的な用語、ジョン・ホランドが与えた用語、マリー・ギルマンが与えた用語はスキーマやねん。それは、この状況にいることが分かったらそれをすべきやと言うシンプルなルックアップテーブルやと考えることができる。その状況にいることが分かったらそれをすべきやって。月とはちょっと違う、ボールとはちょっと違うねん。
そして、ワシにとって最も洗練されたのはエージェント的やろう。そして、それは適応的なものに何かを加えるんや。ポリシーやねん。これは将来やりたいことやって言うんやねん。
適応は単に反応的でもええことに注意してくれ。ここにいることが分かったらそれをしろって言えるんや。ポリシーは実際に将来これをしたいって言うんやねん。
だから、理論物理学の基本概念から進化理論の概念、心理学的または認知システムに適切と思われる概念まで導く非常に良いスペクトラムがあると思うねん。そして、その特定の目的を達成するために内部スキーマに複雑さを加えとるんや。
エージェンシーと創発の関係
エージェンシーは、ワシらが前に話してた創発的粗視化を伴うんか？確実にそう見える。自然界を見ると、惑星や物事があるけど、それよりもはるかに洗練されたレベルを持つエージェントがおるんやねん。それはあんたが話してる粗視化の例になるんか？
ワシらがそれらを理解するためには、答えは確実にイエスやねん。
内因性粗視化と呼ぶものがあって、それはより複雑になる二次的な問題があるんや。哲学的にやけどな。ワシらが推論するとき、例えば言語で推論してると思うけど、それでもそれをするために何百万ものニューロンを動員しとるんや。
だから、もしワシが孤立したエージェントやったら、本当に内因性粗視化をしてるかどうかを知るのは非常に困難やろう。
内因性粗視化のデータはコミュニケーションから来るんや。だから、もしワシがあんたに「ティム、これが部分積分の意味や」とか「フーリエ変換が何をするか」とか言うたとする。あんたが「ああ、ありがとう。今やり方が分かった」って言う。
今、ワシは実際にあんたに非常に低次元の記号的スキームを伝達したんや。あんたはそれを使ってニューロンをプログラムすることができる。そのレベルでは、ワシらが実際に非常に実証的に粗視化をしたことは疑いなく、それはあんたのニューロンがやってることに対して実行可能やねん。
だから、これはウィトゲンシュタインの私的言語問題やと思う。孤立したシステムを観察することしかできなかったら、ワシは決して知らへんやろう。でも、この社会的集合知能設定では、創発の証拠があることは疑いの余地がないと思うで。
エクスボディメントとエンボディメントの区別
エクスボディメントについて話そうか。ちなみに、ワシ自身も大きな外在主義者やけど、エクスボディメントという用語には出会ったことがなかった。非常に具体的な意味があるんやな。
そやな。計算を制約に外注できるというエンボディメントのアイデアに非常に興味を持ってたんや。四肢の自由度の減少を使ってポリシーの複雑さを減らすことができるんやねん。みんな知ってることや。
でも、外界の物体についてはどうやろう？鉛筆は？フォークは？天体観測儀は？ルービックキューブは？そこではエンボディメントやない。何か別のもんやねん。
その何か別のものには文化からの貢献が必要やねん。つまり、チェス盤を作った人は一人やない。たくさんの人が一緒に作ったんや。そして、彼らは集合的にある種の非常に効果的な表現を発見したんやねん。それが一つの部分やで。
集合的に到達したエクスボディメントと、あんたの特徴であるエンボディメントの区別をしよう。
エクスボディメントについてワシが興味を持つ二つ目のポイントは、脳に戻るために外部の物質的媒体を経由せなあかんということやねん。ワシが好きな例があって、たくさんの例があるけど、シンプルなもんを挙げよう。地図やねん。
だから、ワシらは集合的にセント・アンドリュースのこの街の地図を作る。でも、あんたはそれをワシに渡すことができて、ワシはそれを記憶してその地図を燃やすことができる。今朝発見したように、ワシはナビゲーションがあんまり上手やないけどな。
物理的物体なしに自由にナビゲートできるようになるやろう。エクスボディメント・アーティファクトの集合的構築とそれが個人の心への内在化の間のこのフィードバックを、ワシはエンボディメント・ヘリックスと呼んどる。
それはどんどん良くなっていくんやねん。なぜなら、今ワシは地図を持ってる。もっと多くの空間を探索できる。あんたがあんたの心に内在化できる集合的スクリプトに貢献できるんやねん。
これは非常に理論化が不足してるプロセスで、ワシらはそろばんやソーマキューブやルービックキューブのような問題解決アーティファクトに関連して、過去数年間非常に慎重に研究してきたんや。
その動態はどのように機能するんや？物理的物体は、あんたの脳ができへんことを何をするんや？ワシらはそれをかなり正確に定量化できるで。
個体と集合の境界
デイヴィッド、あんたの研究所は集合知能全般について魅力的な研究をしとる。作為的な質問に聞こえるかもしれんけど、個人の心と集合の関係は何やろう？または個人の心と集合の境界はどこにあるんやろう？
それは答えるのが本当に難しい質問やと思う。だから、境界を見つけるための数学的形式主義に取り組んできたんや。多くの人がそれに興味を持ってる。ワシはそれを個体の情報理論と呼んどる。あんたが慣れ親しんでるマルコフ・ブランケットの理論がある。
だから、境界をどこに引くかというこの問題に興味を持つワシらがたくさんおるんや。現実は、多くを引くことができるってことやと思う。生物学の例を挙げてから戻ろう。
個体のアリって何やろう？全ての働きアリはクローンやねん。だから、それは本当に個体やないかもしれん。それはあんたの中の細胞のような個体の構成要素やねん。でも、細胞を個体やと言える観察解像度のレベルがあるんや。それは半自律的に分裂しとる。
だから、それの多くは、その本当に重要な観察スケールの概念に関係してると思うねん。ワシらが開発し始めた形式主義は、スケール依存的なもんやった。
与えられた観察スケールで、境界のある物体の重要な特徴は、それが将来に自分自身を伝播するのに十分な情報を含んでるってことや。他のところを見る必要がないんやねん。
明らかに、それは細胞の解像度で細胞について、与えられた分裂数にわたって真実やねん。だから、それは個体やねん。身体については完全に真実やない。なぜなら、もちろんそれは本当に将来に伝播せえへんからやねん。
あんたのゲノムについては真実で、それは部分的に将来に伝播するんやねん。多くの心によって部分的に運ばれるアイデアについても真実やねん。
もしワシにアインシュタインの研究を将来に伝播させるように頼んだら、かなり不完全なジグソーパズルになるやろう。でも、人々のグループを取ったら、それはおそらくかなり完全やろう。
だから、それは本当に複雑さ、物体、アーティファクト、概念のサイズ、どれだけの情報的寄与が必要か、そして理論は特定の時間スケールと特定の空間スケールでそれを計算しようとするんやに依存するんやねん。
心はとても魅力的やねん。なぜなら、あんたが言うたことによるやろう。もしそれがある種のアイスクリームの味への好みやったら、そのためには多くの集合知能は必要あらへん。でも、ワシらが実際に気にかけるもん、ファイン幾何学や射影幾何学のようなものに関しては、一人でできるコクセターがおらへん限り、一緒にやらなあかんもんの束が必要やねん。
それでも興味深いやろ？なぜなら、将来に情報を確実に伝播できるものに関して、この個体性に異質性があるからやねん。非常に困難やで。
表現の進化可能性と情報伝播
友人のケン・スタンリーを思い出したで。あんたも慣れ親しんでると思うけど、彼がワシらを訪問したんや。彼はSFIでサバティカルを過ごしたんや。彼はワシのヒーローやねん。
ワシらは彼を番組に出したとこやけど、彼は進化可能性の必要性について話してた。確実に表現を持つとき、それはあんたがどこにおるかについてやなく、どのようにそこにたどり着いたか、そしてそこからどこに行けるかについてやねん。
エージェンシーは、環境を制御または修正して目標を達成するという意味で、少し共通の原理を持ってるんやねん。ここであんたが話してるのは、将来への情報伝播の一般原理やねん。
間違いないな。そして、それは本当に興味深いポイントやねん。なぜなら、シャノンの意味での変動、情報だけやなく、変動演算子も伝播してるからやねん。それは突然変異でもええし、想像力や新奇性生成の異なるメカニズムでもええ。
それは実際に非常に良いポイントで、遺伝学の中でも、遺伝子だけやなく遺伝的分離のメカニズムも伝播するんやねん。
有機的・無機的・文化的計算の進化
デイヴィッド、あんたは様々な形の表現と計算、有機的、無機的、文化的なものなどを見てきたな。それについて教えてくれるか？
そやな、これを考える一つの方法で、進化の限界となぜ自然選択によって捕捉されへん情報を捕捉するために脳と心が進化せなあかんかったかについてのワシらの冒頭の会話に戻るんやねん。
それを言う別の方法は、ワシらが情報処理のより死すべきスタイル、細菌などから移行したってことや。これらは情報が捕捉され貯蔵されるために生と死に非常に依存してるんやねん。対してワシらは、情報の多くが文化自体に貯蔵されてる。だから、より不死のような風味を持ってるんや。
もしワシらを身体の中で早く入れ替わる細胞に類似してると考えたら、ワシらは構築する知識の建造物に対して比較的早く入れ替わるんやねん。
だから、実際にワシは進化自体がプロセスとして、有機的設定でのより死すべき計算スタイル、ワシが情報処理を意味するところの、からソフトウェアやハードウェアなどのより不死のようなもんに移行したと主張できると思うねん。
そして、技術がなぜ存在するかと議論してきたんやけど、それを考える方法は、ワシらが苦手なあらゆることに対して技術を持ってるってことやねん。ワシらは手でテニスをうまくプレイせえへん。人はするけど、ロジャー・フェデラーなどを見るほどエキサイティングやない。
ワシらは計算がうまくない。だから電卓やそろばんがある。ワシらは歩くのは上手やろ？歌うのも上手やねん。だから、これらはワシらが本当に技術を持たへんもんやねん。構築するのも難しいしな。
コンピューターやソフトウェア、より一般的にはアーカイブ、知識体が、人間の推論が不十分な全てのドメインを補完する避けられない貢献を表してるという意味があるんやねん。
つまり、それがそれについて考える一つの方法やねん。ワシの最大の恐れは、AIやChatGPTやこれら全てがワシらの思考と創造性を劣化させることやない。すでにそうなってることや。それは別のポイントやけど、その点を指摘したかっただけやねん。
技術依存による人間性の減少
これらの技術が理由があって存在し、それらはある意味で欠陥を補完するためにあるってことを言いたかったんや。ワシらより知的やと言ってるわけやない。全く逆やねん。電卓が知的であるのと同じ方法で知的やと思うねん。つまり、ワシらがうまくせえへんことを補償してるんや。
本当に重要な別の問題があって、あんたは実際にアイゲン理論を一般化することができるんや。これはちょっと技術的かもしれんけど、ワシらが忠実度を増加させエネルギー要件を削減する手段として、身体に外注し、アーティファクトに外注するのと同じ方法で、ワシらは可能なら全てを外注するってことを示すことができるんやねん。
そして、ワシらはこれの証拠を常に見とる。最も明らかな例は、地図への外注とGPSへの外注の違いやねん。あんたよりもナビゲートするのに効果的なシステムが保証されてるなら、そのスキルを獲得する理由はないんやねん。
そして、ワシはすでに証拠を見てると思うし、実際にたくさんの研究があって、最近出たもんもあるけど、電卓への外注によって人間の認知が減衰してることを示唆してるんやねん。
実際に、それがワシが技術について非常に楽観的やない理由の一つやねん。なぜなら、今まではネットポジティブやったと議論できるからやねん。誰も六分儀やスライドルールなどに異議を唱えへんやろ。「それは素晴らしい。そうでなければできなかった」って思うやろ。
でも、技術の長期的含意は、人間であることの意味の重大な減少と希薄化やという考えに賛成したり、その支持者になったりできると今は思うねん。
ワシは今、人間とLLMの協力として書かれた何十通ものメールを毎日受け取っとる。そして、それは100%ゴミやねん。人間対LLMの比率はどんどん下がっていくと思うし、最終的にはみんな同じように聞こえるようになるやろう。
だから、ツールが有用やないということを示唆してるわけやない。でも、忠実度を増加させエネルギーを削減するこの進化的衝動がワシらの中で非常に強いから、最終的にはワシら自身を外注するやろう。そして、それが種の進化の可能性のあるオメガポイントやったら、なんで人々が技術にワクワクしてるか分からんのや。
超知能と人間の萎縮
これをもっと拡張できるか？エージェンシーや創造性や思考の減少についてやねん。大学では、学生が実際に考え、本を読み、AI抜きで仕事をするための分離されたエリアを作らなあかんようになるんか？
もう一つは、ワシらは超知能のアイデアを信じてへんけど、もし超知能が発明されたらどうやろう？シリコンバレーの人らが言ってるのは、もう昔ながらの有用な経済的タスクをする労働について心配する必要はないってことやねん。
今、ワシらはたくさんのGPUを買って、GPUを守る必要があるだけやねん。人々がGPUを爆破したがるかもしれんからや。なぜなら、それらが全ての力の源やからやねん。それが非常に彼らの見解やねん。もし超知能があったら、それは変わるんやろうか？
ワシがジムをあんたに委任する世界がある。ワシは行かへん。あんたがワシの代わりに行けるから行く意味がない。あんたがワシの代わりに起き上がって歩き回れるから、ワシは起き上がって歩き回らへん。その結果は、あんたも知ってる通り、ワシらの生理学的・精神的幸福への重大な外傷やろう。
みんな理解してることやけど、脳は筋肉のような器官やねん。もしワシが自分の思考を全て何かや誰かに外注したら、あんたの筋肉がするのと同じように萎縮するやろう。そんなん当たり前のことや。ただの生理学的事実やねん。
そして、必要な時にどこにでも運んでくれる人がおる限り、足を失っても関係ないって言うかもしれん。まあ、ワシらが時間の中で情報を前進させて伝播するという個体性を保持するための絶対最小限に縮小された雄の深海アンコウの精巣のようになる意味があるんやねん。
それはワシが望ましいと考える未来やない。だから、超知能は、ワシをより愚かに、より卑屈に、より依存的にする限りではなく、ワシをより知的にしてくれる限りにおいてのみ興味深いんやねん。
そして、それはワシにはあまりにも明らかな発言に思えるから、なんで人々がそのムーンシャインに引っかかってるのか理解できへんのや。
結びの言葉
デイヴィッド、番組に出てくれて非常に光栄やった。参加してくれて本当にありがとう。
ありがとう。楽しかったで。
だから、ワシはデイヴィッド・クラカウアーや。サンタフェ研究所の教員で、サンタフェ研究所の所長でもあるんや。地球上の知能と愚行の進化について研究しとるんやねん。
素晴らしい。デイヴィッド、これは最高やった。本当にありがとう。
よし。そして、ワシの今までで最も好きなインタビューの一つや。
何を言ってるんや？
コメント