Googleの研究者であるBlaise Agüera y Arcasが、生命と知能の本質について革新的な視点を提示する。彼は生命を計算プロセスとして捉え、DNAをチューリングテープに例えながら、John von Neumannの理論を基盤として、細胞が本質的に万能コンピュータであることを論じる。彼の実験であるBFFは、ランダムなバイト列から自己複製プログラムが創発する過程を実証し、突然変異なしでも複雑なプログラムが生まれることを示した。この発見は従来のダーウィン進化論だけでは説明できない現象であり、シンビオジェネシス(共生による融合)が進化における複雑性増大の鍵であることを浮き彫りにする。さらに、知能と意識を機能主義的観点から捉え、複数の主体が協調する際に理論的心理(Theory of Mind)が必要となり、これが意識の起源であると主張する。彼は人間の知能が本来的に集合的現象であり、AIもまたその延長線上にあると位置づけ、AIと人間の境界を再考する必要性を説く。
Google研究者が語る生命と知能の本質
新しい本についてですが、タイトルは「知能とは何か」です。お尋ねいただきありがとうございます。この本はMIT Pressから約3週間ほど前に出版されたばかりです。つまり、本当に出たてのほやほやなんですね。オンライン版も無料で公開されていて、とても充実した内容になっています。様々なリッチメディアが盛り込まれているんです。
この本の第1章は「生命とは何か」というタイトルです。つまり、「生命とは何か」はアルバムに対するシングルのようなもので、それ自体が一冊の本として成立しています。この本もMIT Pressから販売されています。私は生命を知能の部分集合として考える理由を説明してきたと思います。人工生命やアビオジェネシス(生命の起源)などの話が、知能とは何かという話に関連している理由についてもです。
この本のサブタイトルは「AIから学ぶ、進化と心に関する教訓」といった感じです。基本的には、2020年頃から記録してきた内容なんです。その頃、大規模な系列モデルが一般的に知的であるように見えることに本当に衝撃を受けたんです。そして、その意味合いについて考え始めました。
もし私たちが目にしているものを信じて、それが知能だとしたら、それは私たち自身について、そしてより広く知能の性質について何を教えてくれるのか。そして、この数年間、その知的探求がどこに私たちを導いてきたのか、ということです。
MLSTはCyber Fundの支援を受けています。私はFalmと申します。Prolificの共同創設者兼CEOです。Prolificは人間データインフラストラクチャの会社です。最先端のAIモデルを開発している人々や研究を行っている人々が、高品質なオンラインデータ収集のために信頼できる高品質な参加者にアクセスできるようにしています。
私はGoogleに在籍しています。もう12年ほどになりますね。そして私は彼らの技術と社会のCTOであり、また新しい研究グループの創設者でもあります。まあ、新しいといっても、もう2年ほど活動していますが、「知能のパラダイム」、略してPIと呼んでいます。私が以前Googleリサーチで運営していた組織よりもずっと小規模です。約50人ほどです。つまり、何か本当に大きなことをするには十分な規模ですね。
そして、その考えは本当に人工知能の基礎に焦点を当てることなんです。現在うまく機能しているモデルやパラダイムを活用することを超えていくということです。私たちはそれらを信じていますが、同時に新しい洞察やアイデアでバケツを満たし直す必要があるとも考えているんです。
生命と知能の計算論的本質
あなたの講演を見ましたが、生命と知能は同じものだとおっしゃっていました。どちらも計算的だと。それはどういう意味ですか。
そうですね、これは驚くべき主張だと分かっています。ちょっと奇妙に聞こえるのは承知していますが、私が言いたいのは、まず生命から始めましょう。なぜ生命が計算的なのか。20世紀半ばに、もちろんコンピュータサイエンスの創始者の一人であるJohn von Neumannは、池の上を漕ぎ回るロボットが、レゴでできていると仮定しましょう、そのロボットの仕事は、池に浮いている別のレゴのパーツから、自分自身と同じような別のロボットを作ることだとします。
それを行うためには、自分自身の中に指示書を持っている必要があることに気づきました。彼はロボットの組み立て方の指示が書かれたテープを想像しました。そしてロボットは、そのテープに沿って歩いて指示に従い、バラバラのレゴを取って自分自身の形に組み立てることができる機械を内部に持っている必要があります。
そしてテープのコピー機も必要です。そうすれば子孫にそのテープを与えることができます。テープには、コピー機と組立機、彼が万能構成子と呼んだものの指示が含まれている必要があります。素晴らしいのは、彼がこれらすべての予測を純粋な理論に基づいて行ったことです。WatsonとCrickや彼らの認められていない協力者たちがDNAの構造と機能を解明する前に、そしてリボソームがどのように機能するかを知る前に、リボソームはまさにその万能構成子なんですが、DNA重合酵素、つまりテープのコピー機を発見する前にです。
そして実際、生物が自分自身を複製できるだけでなく、遺伝的にそれを行うためには、これらすべてのものが存在しなければなりません。つまり、ゲノムのテープに変更を加えると、子孫もその変更を持つということです。
決定的なのは、この万能構成子が万能チューリング機械であるということです。言い換えれば、別の細胞を作るためには、細胞として自分の中にコンピュータを持っていなければなりません。そしてDNAは、この非常に文字通りの意味でチューリングテープなんです。
これは非常に深遠な洞察です。基本的に彼は、文字通りコンピュータ、万能コンピュータにならなければ、生きている生物にはなれないと言っているんですから。非常に興味深いですね。
つまり、DNAは基本的にコンピュータプログラムだとおっしゃっているんですか。
DNAはコンピュータプログラムです。その通りです。とても興味深いですね。
観客の多くの方々は、例えばConwayのライフゲームに触発されたことがあると思います。あなたは計算等価性について話していました。もちろん、ライフゲームは拡張可能なメモリを持っているため、チューリング完全です。DNAが拡張可能なメモリを持っているのと同じように、グリッドサイズは成長し続けることができます。
あなたが指摘したように、これらの弱く創発する振る舞いを見ると、それらは非常に生命らしく見えますが、それは物理世界における生化学的および熱力学的な現実を軽視することになるのでしょうか。
もちろん、ライフゲームのようなセルオートマトンは、実世界よりもはるかに複雑さが少ないです。2次元ですが、3次元ではありません。熱的なランダム性がありませんが、実はこれが非常に重要なんです。そして計算が決定論的であるという事実は、実際の生命とは少し異なります。実際の生命では、熱的な揺らぎによって常に確率的な要素があります。
そして、本当にきちんとした仕事をするためには、チューリングの計算に関する元々のアイデアを拡張して、いわゆる確率的チューリング機械を作る必要があります。しかし、von Neumannが言及していたこと、そしてあなたがセルオートマトンを取り上げてくださって嬉しいのですが、それらは実際には物理法則へのチューリング機械の一般化なんです。
基本的に、ゲームボードの各ピクセルが計算を実行しているわけです。つまり、状態を持っていて、隣接するピクセルに基づいて次の状態が何かを決定する非常に単純な計算を実行しています。
その特定のピクセルの次の状態を決定しているルールは、その宇宙の物理法則なんです。von Neumannがセルオートマトンというアイデアを思いついた理由は、計算を可能にするシステムが欲しかったからですが、その計算は具現化されている必要がありました。
つまりどういうことかというと、チューリング機械では、テープとヘッドがあり、そしてテープに書かれたシンボルがあります。しかしシンボルはテープやヘッドや命令、あるいはルールのテーブルとは同じものではありません。それらは抽象的で、書かれたシンボルとは別のものです。
一方、セルオートマトンでは、機械は文字通り自分自身を印刷することができます。つまり、ノートパソコンだけではなく、別のノートパソコンを印刷できる3Dプリンターとノートパソコンが一体になったようなものです。具現化された計算とは、メモリがビットではなく原子で書かれ読まれる計算であり、したがって機械が自分自身の別のコピーを作ることができるということです。
DNAの適応性と文化的進化
David Krakauerは、知能について、適応性、推論、表現の中にあると言っていました。適応性は非常に重要です。確かにDNAは適応的ですが、非常に遅いです。彼は神経系と脳、そして文化は光速の進化だと言っていました。なぜなら、それは連続する世代との情報伝達を克服することを可能にするからです。
では、これほど多くの適応性がより高いレベルで起こっているように見える時に、DNAレベルで知能のプログラムについて考えることは意味があるのでしょうか。
適応性の多くは確かにより高いレベルで起こります。人間には文化的進化があり、Davidが言うように、遺伝的進化に比べて光速で進みます。
私がDNAはチューリングテープであり、リボソームは生命を構築する万能コンピュータだと言うとき、それは本当に基礎レベルに過ぎません。あるいはレベル1かレベル2かもしれません。つまり、その下には物理学がありますが、レベル3、レベル4、レベル5というように続いていきます。コンピュータの上にコンピュータ、その上にまたコンピュータが構築されているんです。
重要なのは、その基礎レベルができれば、その上にいくつでも階層を構築できるということです。生命を持った瞬間、つまり自分自身のコピーを構築できるものを持った瞬間、あなたは万能コンピュータを持つことになり、それによって何でもできるようになります。
これが意味するのは、最初から生命は計算的であり、並列に計算を開始できるということです。これによりシンビオジェネシス(共生による進化)に入っていきますが、これは少し後で扱うことになると思います。その基礎階層が計算的であるという事実が、なぜ脳が計算的なのかという質問に答えます。
それは、活動電位やその他の高速な電気的プロセスが私たちに思考を可能にするずっと前から、細胞が計算的だったからです。
あなたが今触れた再帰の概念について話していただけますか。例えばKarl Fristonは、マルコフブランケットと呼ばれる統計的独立性のような、システムにおけるこの区分について考えています。そして私たちは、複雑で知的で適応的なシステムには入れ子構造があることを経験的に観察しているようです。
あなたはまさに、レベルの上にレベルがあるという話をしていました。それは何をもたらすのでしょうか。それは一種の再帰なのでしょうか。それは知能の洗練度をどのように向上させるのでしょうか。
2つのことが起こります。1つは、ものの中にものの中にものがあるということ、もう1つは並列性です。言い換えれば、同じレベルで多くのことが同時に起こっているということです。そしてその両方が重要なんです。両方とも物語の重要な部分です。
まず、von Neumannが想像していたようなセルオートマトンを持っている場合、各ピクセルが小さなコンピュータのようにそれぞれの仕事をしているので、それはすでに大規模に並列な計算です。
物理空間でも同じように、多くの場所に分子が存在できて、それらすべてが何かをしています。それらを操作として、おそらく計算操作として考えることができ、それらはすべて一度に起こっています。あなたの体には数京個のリボソームがあり、それらのリボソームはすべて、あなたのすべての細胞で一度に働いている小さな万能コンピュータです。あなたのすべての細胞が一度に働いています。
しかし入れ子構造もあります。なぜなら、あなたは一人の人間であり、もちろんあなたはすでに社会の一部であり、ある意味では個々の人間よりも大きな知能です。あなたは細胞でできています。それらの細胞は小器官でできています。それらの小器官はタンパク質でできています。それらのタンパク質は分子でできています。このような入れ子構造も本当に重要です。あなたは並列に協働する多くのコンピュータであるだけでなく、コンピュータでできたコンピュータのシステムでもあるんです。
BFF実験と目的の創発
私が魅力的に思うのは、Blaiseさんがたくさん考えてきた、目的がどこから来るのかということです。例えばHarrisonのような人々は、物理学の率直な解釈として、結局のところ熱力学第二法則だと考えています。なぜなら、何らかの価値の概念があり、これらの複雑な適応システムを構築するには、それらを前進させる何か、ある方向に推進する何かが必要だからです。
そしてあなたの実験は、これが計算から生まれることを示しています。それはどういう意味ですか。
その通りです。そして明確にしておくと、計算と第二法則はここで非常に密接に協働しています。数年前に私が行った実験、私を人工生命の研究に本当に引き込んだ実験は、BFFと呼ばれています。
これはBrainfuckという言語に基づいています。最初のBFはそこから来ています。私がそう名付けたわけではありません。ただ、私はそう呼ばれていることを楽しんでいたことは認めます。これはUrban Millerという、彼は物理学の大学院生だったと思いますが、1990年代に設計した最小限のチューリング完全な言語です。非常に最小限の言語です。命令は8つだけです。私は7つだけ使っています。
基本的な設定は、長さ64のテープ、つまりちょうど64バイト長のテープから始めます。チューリングテープやvon Neumannのテープのようなものです。最初はランダムなバイトで埋められています。命令は7つしかありません。つまり、それらのバイトの大部分、約32個のうち31個は、何も命令をコードしていないノーオペレーション(no-ops)です。
つまり、最初はランダムで非常に目的のないものから始まります。スープの中に1000個のテープがあります。手順は本当にシンプルです。それらのテープから2つをランダムに取り出して、端と端をくっつけます。128の長さの1つのテープを作り、それを実行します。
このBrainfuckの変更版は自己修正型です。つまり、実行すると、その結合されたテープ上の値を修正でき、その後テープを引き離してスープに戻すことができます。それだけです。そしてそのプロセスを繰り返すだけです。
これを数百万回行うと、最初はほとんど何も起こりません。繰り返しますが、それらのバイトの大部分は命令ですらありません。各テープには平均して2個程度しかありません。だから、何かが起こる可能性はほぼゼロです。
時々、どこかで1バイトが変わるのを見るかもしれませんが、数百万回の相互作用の後、明らかに魔法のようなことが起こります。突然、スープのエントロピーが劇的に低下するんです。すべてがランダムなバイトだったので圧縮不可能だったものが、非常に高度に圧縮可能になります。
そしてそれらのテープ上にプログラムが出現します。そしてそれらのプログラムは複雑です。リバースエンジニアリングするには本当に努力が必要です。そしてそれらが多くのコピーで発生していることが分かります。それが圧縮可能な理由です。多くのコピーで発生しているという事実が、プログラムが何をしているかを教えてくれます。それらは複製しているんです。自分自身をコピーしています。
この実験の素晴らしい点は、生命が無から創発する様子を本当に示していることです。そしてある意味で、生命の創発は目的の創発なんです。この場合、これらのプログラムの1つの目的は何か。それは複製することです。
もしそれらのバイトの1つをいじったら、変更したら、ほとんどの場合プログラムを壊すことになります。そしてプログラムを壊すと、もはや複製機能を果たさなくなります。
つまり、壊れる可能性のあるものは、機能的であるか、目的を持っているものなんです。
絶対に魅力的です。かなり突然の相転移があったとおっしゃいました。David Krakauerはそれを創発の一形態として認めるでしょうか。
そう思います。実際、Davidにその質問をしたことはありません。私たちはAI関連で多くのことで意見が合わないのですが、これが相転移であり、創発の例であることは彼も認めると思います。はい、そう思います。なぜなら、彼はいくつかの基準を持っていますが、その1つは、新しい現象が新しいシンプルな変数で記述できるような、ミクロ基質の根本的な粗視化と再編成であり、これはその記述に一致しているように見えるからです。
何らかの設計バイアスのようなものがある可能性はありますか。つまり、機械学習アーキテクチャを設計する時のように、アーキテクチャには非常に多くの情報があります。この場合、Brainfuck言語や用語などに非常に多くの情報があります。それが特定の方法で創発するように影響を与えた可能性はありますか。
はい。そうです。そして、それらのプログラムの構造は言語によって変わります。私たちは他の言語でもこれを試しました。Z80アセンブリ言語でも試しました。これは1970年代に発明されて昨年まで使われていたZylogチップのアセンブリ言語です。非常に長く続いたマイクロプロセッサアーキテクチャです。
この現象は非常に一般的です。それらのプログラムがどのように見えるかは、言語の詳細によって形作られます。しかし、それらのプログラムが創発する理由、目的を発展させる理由は、実際には熱力学的なんです。
それは不可解に思えるかもしれません。熱力学はものがよりランダムになることだと考えるでしょうし、明らかにここでは正反対のことが起こっています。ランダムさから始まって秩序を得ているんです。どうしてそんなことがあり得るのか。
私が思うに、答えは実際にはAdi Prosという有機化学者によってよく特徴づけられています。彼はイスラエルのネゲヴ大学の、現在は名誉教授ですが、いわゆる動的運動安定性について多くの研究を行いました。
そのアイデアは、第二法則の拡張であり、ものは最も安定した状態、最も安定した形を求めるということです。通常、私たちはそれらの安定性を固定点としてのみ考えますが、それらの安定性はサイクルでもあり得ます。
もし何かが動的に自分自身を作るなら、もし何かが自分自身のより多くのコピーを形成するなら、それは単に落ち着くだけのものよりも安定しています。
DNAが宇宙で最も安定した分子だという古いジョークのようなものです。明らかにDNAは脆弱ですが、同時にDNAがより多くのDNAを作るなら、花崗岩よりもずっと長く存在するでしょう。花崗岩は侵食されるだけですから。
しかし、この価値の問題に関しては、それはシステムにとって生き残ろうとする自然な衝動があることを意味するのでしょうか。つまり、これらのシステムが自分たちの存在を維持するために、それが主要な力だと仮定すると、ある程度の洗練度を持つ必要があります。モデリングを行う必要があります。洗練されたことを行う必要があります。しかし、それは常にそうである何かなのでしょうか。つまり、収束する性質なのでしょうか。
そうです。その意味で、進化は第二法則が作用しているものです。つまり、BFFスープの中に自分自身をコピーしていないものがたくさんあって、自分自身をコピーできるものが創発したとします。すると、自分自身をコピーできるものは、コピーできないものを上書きすることになります。つまり、それはより適合している、あるいはより安定していると言えます。
そしてそれは、第二法則と同じように統計の法則に書き込まれています。それは単なる定常状態ではなく、運動的またはサイクル的な形のその同じ法則なんです。
あなたの講演で、融合は突然変異よりも重要だとおっしゃいました。もっと詳しく教えてください。
融合と複雑性の増大
はい。通常、私たちが学校で学んだことは、ダーウィン進化は突然変異と選択から成り立っているということでした。ノーベル賞受賞者のJacques Monodが「偶然と必然」と呼んだものです。つまり、宇宙線などによる私たちのDNAへの突然変異が、壁にスパゲッティを投げるようなもので、何が付着するかが残るものです。私たちを殺さず、できれば私たちを強くするものです。
それは私の想定でもありました。これらのBFF実験を始めた時、私には突然変異率があり、バイトが1万分の1の確率でランダムに変わる可能性がありました。相互作用ごとにです。そして私は突然変異率をいじり始め、突然変異率をゼロにしても、これらの複雑なプログラムの創発が起こることを発見しました。
これは本当に驚くべき発見です。つまり、この目的の創発は、コードにランダムな変更がなくても起こるということです。純粋にダーウィン的な用語では説明できません。
しかし、純粋にダーウィン的な用語では説明できない他のものは、そもそも生命の創発です。これはダーウィンを大いに困惑させました。彼はアビオジェネシスまたは生命の創発の問題は、考えるのが不可能だと思っていました。彼が手紙の1つで書いたように、物質の起源について語るようなものだと。
そしてもう1つ私が説明できないのは、起こる複雑性の増加です。なぜ今の生命は、バクテリア生命よりも複雑なのか。それが地球上で始まってから10億年後です。なぜ今私たちには人間社会があるのか。もし1億年前に戻ったら、はるかに単純な脳を持つものしかいませんでした。タコはいました。彼らはかなり複雑な脳を持っていました。
とにかく、しかし傾向はより大きな複雑性に向かってきました。それに反対してきた人々もいます。有名なSteven Jay Gouldは、地球上のすべてのものは同じだけ進化していると言いました。私たちは皆30億年進化してきました。すべてが等しく進化している、と。
私はGouldがこれを言った時、彼は間違っていたと思います。その理由はシンビオジェネシスです。ミトコンドリアがアーキアの中に入り込み、そして真核生物になる時、その結果生まれる複合生物は、それを構成した2つの部分のどちらよりも複雑です。槍が棒と石の穂先よりも複雑なのと同じように。
2つのものを組み合わせると、部分よりも複雑なものができます。そして、もしこの共生またはシンビオジェネシスが進化の本質的な部分であるというアイデアが正しければ、既存の部分から組み立てられているので、進化の後の方で絶対により洗練されたものが生まれます。
主要な進化的転換と技術の進化
そうですね、私も番組で何度も同じことを言ってきました。実はKenneth Stanleyに触発されて、進化において複雑性が単調増加するのを見ると、標準的なダーウィン進化では、ものがより複雑になる理由はありません。
言い換えれば、単に壁にスパゲッティを投げるだけなら、単純化や複雑化が起こる可能性があり、それらは等しいです。一方を優先する理由は先験的にはありません。したがって、通常のダーウィン進化は、ものをより単純にすることも、より複雑にすることもできます。
しかしシンビオジェネシス、つまり部分が集まって全体を作ること、そしてあなたが言及した主要な進化的転換、これはJohn Maynard SmithとEörs Szathmáryが1995年にNatureで発表した理論です。
彼らの最初の論文では8つしかありませんでしたが、その後おそらく12個ほどに拡張されました。単細胞が集まって体を作ること、個体が集まってコロニーを作ること、有性生殖の創発、葉緑体とミトコンドリアの内部共生、他にもいくつかありますよね。それらは非常に明確に複雑性における上向きのステップです。
そしてそれらが上向きのステップであることを証明するのは簡単です。なぜなら、自分自身を複製してより多くを作ることができるAがあり、自分自身を複製してより多くを作ることができるBがあると考えてください。それぞれが「自分の作り方」を示すテープを持っていると考えてください。
それらが一緒になった時、結果はAの作り方とBの作り方、そしてそれらをどのように組み合わせるかを知っている必要があります。そしてその「どのように組み合わせるか」という小さな追加の情報ビットが、全体を部分よりも必然的に複雑にするものです。
それが梯子であり、SmithとSzathmáryが言うことを超えて私が主張するのは、彼らにとって主要な転換は稀で例外的な出来事だということです。しかし私は、生物学の働き方をもっと詳しく見ると、それは氷山の一角に過ぎないと思います。
それらは、2つの大きな非常に重要なものが何らかの形で融合した、あるいは多くの細胞が質的に極めて異なる何かに融合した、本当に大きな転換です。しかし、もっと詳しく見ると、バクテリアにおける水平遺伝子伝達が常に起こっているのが分かります。それもシンビオジェネシスの一形態です。1つのものの部分が別のものに混ざり込むんです。
私たちのような真核生物における水平遺伝子伝達も常に起こっています。明らかに牛のゲノムの4分の1は、トカゲや他の多くの動物の間を飛び回ってきたこのウシBトランスポゾンです。ウイルスは常にこれを行っています。レトロウイルスは自分たちのゲノムの大きな塊を私たちのゲノムに挿入します。
2001年に最初に配列決定された時の私たちのゲノムを見た時の大きな驚きは、そのうちわずか1.5%だけが私たちのタンパク質だということでした。残りの大部分は何なのか。いわゆるジャンクDNAです。今ではそれがすべてジャンクではないことが分かっています。多くは調節機能などを持っています。
それでもそれはたくさんです。他のものがたくさんあります。そしてその膨大な量は、内在化されたレトロトランスポゾンやレトロウイルスです。多くの場合、それらは機能的な目的を果たしています。哺乳類の胎盤はウイルスから作られました。肺細胞を融合させて赤ちゃんを病気にする可能性があるRSVウイルスに関連しています。
それが私たちの胎盤の細胞を融合させて、この血液バリアを作ります。あるいはARCウイルスがあります。どのように機能するのか本当には理解していませんが、それは私たちの脳に生息していて、マウスでそれをノックアウトすると新しい記憶を形成できなくなることが分かっています。そしてそれは続きます。
特にこの10年間で、1つのもののゲノムの断片が別のものに入り込んで変化させる機能的な例をどんどん見つけています。
私が触れたいのは、融合演算子の重要性です。先ほどそれについて話していましたし、Chomskyでさえこれについて語っていました。言語進化における融合演算子がプロメテウスの瞬間だったかどうか、それが系統発生的か個体発生的かについては議論の余地がありますが。
あなたは物理的な基質における共生や融合について話していましたが、それは情報基質でも起こります。自分自身を組み込むミーム的なコンピュータプログラムがあり、おそらく言語がそうだったのかもしれません。分かりませんが、私はなぜ融合がランダムな選択と比べてそんなに重要なのかについて理論を持っています。
私は創造性はグラウンディングについてだと思います。基本的には経路依存性についてです。レトロウイルスやこれらすべてのものでさえ、実際には系統を形成しています。そして、融合を使わなければ系統を失うと思います。また、再帰的な融合操作について何かがあって、より複雑なコンピュータプログラムを構築することを可能にしますが、この種の再利用と水路形成を可能にします。それについて何か非常に自然なものがあります。
そうですね。あなたが言っていることすべてに完全に賛同します。それはまさにその通りだと思います。ただ、私はChomskyが嫌いなので、彼は間違っていると思います。彼は言語について間違っています。私はDan Everettの方がずっとファンです。彼のピダハンとの仕事をご存じですか。素晴らしいですよ。
彼はブラジルのピダハンと長い時間を過ごしました。彼らの言語はChomskyの言語の要件に従っていません。彼らには再帰がありません。中心埋め込みのようなものもありません。
彼らには数字もないし、過去形や未来形もありません。Everettは数年前に「Don’t Sleep, There Are Snakes(眠るな、ヘビがいる)」という素晴らしい本を書きました。これはピダハンとの経験と彼らの言語、そしてChomskyとの大きな戦いについて語っています。
Chomskyの論文は理論と疑似数学で満たされており、民族誌学や実際の言語の研究に時間を割いていません。しかし、とにかく、私は脱線しています。しかしChomskyはさておき、あなたが融合について、あるいは私が見ているように合成、関数合成について言っていることは、絶対に基本的だと思います。それがすべての技術が構築される方法です。
W. Brian Arthurはこれについて、技術がどのように進化するかについて書いています。すべての技術的発明は、まるで皆がテレパシーで通信しているかのように、同じ頃に何度も発明されます。その理由は、すべての技術には前駆体があるからです。
ガラスを吹く方法、真空を作る方法、フィラメントを引く方法、電流を生成する方法を知るまで、電球は得られません。そしてこれらすべてが揃い、光の必要性があった時、電球は発明されることになっていました。しかしそれは異なる発明者によって何度も発明され、異なる偶然の選択がなされました。
どの種類のフィラメントを使うか、それはピンなのか、電球をねじ込むのか、どの方向にねじ込むのか、直径はどれくらいか。そしてこれらの決定が固定されると、その後の電球を組み込むすべてのものの進路を決定します。
ある意味で、この偶然性、これらの組み合わせがどのように行われるかについての正確な選択は、実際にはゲノム全体、あるいは何であれ、それが作られているものです。BFFの場合、元々の複製子は、時々ランダムに弱く自分自身をコピーするかもしれない単一の命令に過ぎません。
ここからそこへ移動する1バイトですが、それらのバイトがコピーされて回る時、時々それらのうち2つが一緒になり、そうするとグループとしてコピーされます。一緒の方がうまくいきます。そして偶然のこと、つまりどのようにコピーされたか、ABだったのかBAだったのか。一緒にくっついたということ。それがより大きなものが作られている情報です。
その小さな追加のビット。なぜなら、この場合は単一のバイトだけがあったからです。最初は何の情報もありませんでした。だから融合ツリーは、最終的なゲノムにエンコードされている情報そのものになります。すべては歴史についてです。
そうです。絶対に魅力的です。ある意味、Chomskyのファンではないというのは驚きです。なぜなら彼はオートマトンとチューリング不完全性について話していて、究極の計算主義者だったからです。そしてある意味で、あなたが説明していることは、Chomskyのアイデアをスタックのより下に適用しただけです。
その通りです。その意味で、彼は正しかったと思いますが、それらのアイデアはすべて1950年代のvon Neumannにすでにあったとも思います。最初の人工生命研究者であるNils Aall Barricelliでさえ、彼はvon Neumannの機械の1つで研究しました。彼はMANIACで時間を確保して最初のAライフ実験を行ったと思います。それらはBenjamín Labatutの本『Maniac』で疑似的に記録されています。本当に楽しい本でした。
あるいは、いや、それは彼の最初の本『When We Cease to Understand the World(世界を理解できなくなった時)』だったと思います。
とにかく、そうです、私の言いたいのは、それらのアイデアはChomskyの前にすでにあったということです。Chomskyが言語学における彼の恐怖支配の間に本当に推進したこと、ちょっと意地悪なことを言ってすみません。しかし彼が本当に推進したのは、人工知能における運動で、今では私たちがGOFAI(古き良き人工知能)と呼んでいるものです。これは、AIを文法とプログラムとして形式化できるというものでした。これは間違いだったことが判明しました。それはAIにおける誤ったスタートであり、それが非常に多くのAIの冬があった理由です。
機能主義と意識の本質
ある種の緊張があるようです。なぜならGOFAIの人々は非常に興味深いアイデアを持っていたからです。私はFodorやPylyshynの大ファンです。彼らはこの強い合成性について語りました。意味論と意図があり、これらの認知表現を構築することが可能ですが、世界を高い忠実度で表現するようにそれらを設計することは本当にできないという問題があります。意味論的な乖離があります。
そしてあなたは、この非常に興味深い構築的なものを指摘しています。私は構築的な形式のAIと合成性が、この経路依存性の問題と水路形成のために多くの問題を解決すると思います。知能をレンガごとに構築する時、信じられないほどの洗練度のアーティファクトを構築できますが、残念ながら私たちが望む通りに正確に動作するようにアーティファクトを設計することはできません。特定の方向に穏やかに導くことはできます。
そしてFristonでさえ、彼は知能の「what」について予測と適応性だと話していますが、実装が重要だと思います。適応性は構造学習を意味すると思います。あなたが話しているこの形式の合成を実際に行う基質を持つことについて何かがあり、それは知能の機械論的な必要条件のようです、そうですよね。
そうです。私たちが話していることの多くは、ある意味でアナログとデジタルの考え方の間の緊張、あるいはボトムアップとトップダウンの考え方の間の緊張だと思います。例えば、自転車をどのように認識するかについて話しましょう。
古き良き人工知能の世界では、円検出器があり、自転車のフレームを構成する線を検出する線検出器などがあると言うでしょう。そしてこれらすべてのものに対してコードを手書きします。
もちろん、問題は、自転車を見る多くの方法があり、一度に車輪を見ることができないかもしれないし、自転車が奇妙なデザインかもしれないということです。
そして、車輪の代わりに靴があるおかしな自転車があります。そのうちの1つをゲシュタルト的に見ると、すべてのルールが破られていても、すぐに自転車だと認識します。そしてそれは本当に重要です。なぜなら、知的存在として世界を見ている時、クラスタリングする必要があるからです。世界の中で規則性を見つける必要がありますが、その形はルールのセットによってうまく定義されていません。
超平面で切り分けられているわけではなく、ぼんやりしています。だから知能には、ニューラルネットワークのような方法が必要です。連続関数近似器のように見えるもの、そしてそれが勾配降下法が良いアイデアである理由です。例えば、これらのものを滑らかな関数を介して学習することは良いアイデアであり、ルールでそれらを学習したり、あるいは学習しないでエンコードしようとすることはうまくいきませんでした。
一方で、DNAは離散的ですよね。4つのシンボルがあり、それらを特定の方法で並べます。タンパク質が折りたたまれる方法などにランダム性がないわけではありませんが、DNAレベルでの合成は、本当に離散的なシンボルで作られたプログラムを切り刻んで、コードの断片を挿入したりすることと関係があります。
ボトムアップで見ると、非常に量子化された世界です。しかし、私たちのような巨大で複雑なものを高いレベルから見始めると、より連続的な視点から始める必要があります。
あなたは計算に自然な収束パターンがあると示唆しています。あなたの哲学の凸包を得ることはできますか。
試してみることはできます。私は何かの主義者だと言うことをためらいますが、おそらく機能主義者が最も近いです。機能主義者。そうですね。
その理由は、昔、19世紀には、生きているということは何か生命力や生気論的な力があることを意味すると考えられていたからです。生きているものが持っていて、死んでいるものが持っていない何かです。化学の法則が生きているものと死んでいるもので同じであることが分かり始めて、尿素が試験管で合成できるなどが分かってくると、これらのアイデアは本当に廃れました。そして私たちは非常に厳格な唯物論的な視点に入りました。すべては単なる物理学であると。
つまり、私は物理学者として訓練を受けました。私は物理学を完全に信じていると思います。しかし、生命にはそれ以上のものがあるとも思います。すべてが単なる物理学であるなら、あなたや私が生きているということが何を意味するかを言う方法がありません。
生きているとは何を意味するかを理解するには、目的のアイデアに取り組む必要があると思います。目的論を方程式に戻す必要があります。つまりどういうことかというと、腎臓は単なる原子の集まりではありません。機能を果たす器官です、そうですよね。その機能は尿素をろ過することです。そして、もし全く異なる原理で動作するが同様に尿素をろ過する人工腎臓を移植するなら、それは人工腎臓です。そう言うことはまだ意味があります。
つまり、腎臓という言葉には、腎臓が作られている物質を超えた何か意味があるということです。
逆に、もし私が未来から戻ってきてあなたに物体を見せて、あなたが「それは何ですか」と言い、私が「それは人工腎臓です」と言ったとします。この奇妙なカーボンナノチューブなどの内側のものについて、あなたに腎臓だと言うものは何もありません。ただ、それを体に移植して、適切な方法で縫い付けるなどすれば、それらすべての関係が、あなたの体が持続するための適切な方法で現れるということです。
ものが他のもののために機能を果たすというこのアイデア、そして機能は他の機能の文脈でのみ意味を持つということ。だから機能のアイデアには何か生態学的なものがあります。これは本当に中心的だと思います。無生物の惑星の上の岩には機能がありません。それを半分に割ったら、2つの岩があります。
しかし生きているものには機能があります。そして機能の特徴は多重実現可能性です。Turingがチューリング機械について話したのと同じようにです。なぜならTuringとvon Neumannは機能主義者だからです。つまり、細胞内でエネルギーのためにATPを作る必要がある場合、それを行うための複数の経路があります。なぜなら、好気的な方法が機能する時もあれば、嫌気的な方法が必要な時もあるからです。
複数の経路を持ち始める時はいつでも、昆虫の翼とコウモリの翼のように、機能が働いているのです。
代替の立場は本質主義でしょう。Anil SethやJohn Searleのような人々は、特定のタイプの材料が特定のタイプの因果グラフを持っていると考えています。例えば、脳は意識を生み出すかもしれませんが、脳をシミュレートしたら同じ因果グラフを持たないので異なるだろうと。
しかし私はちょっと保留したいと思います。ちょっとの間。あなたはコンピュータソフトウェアアーキテクチャ図のようなことを話しているように見えます。テセウスの船のようなもので、ものを交換できて、それはまだ同じものなのかということです。
しかし私は経路依存性が非常に重要だと思います。腎臓は進化しました。進化の豊かな系統発生を持っています。そして、それを異なる基質から来た、異なる起源を持つ何かに置き換える時、それは今は腎臓であり今は機能しますが、生態系を壊します。
生態系で、植物を人工植物と交換し続けたら想像してください。今は機能するかもしれませんが、それは将来の軌道に影響しませんか。
はい、影響します。しかしそれはまさにシンビオジェネシスが何についてなのかです。多くの場合、ある目的のために、自然によって設計されたと言えるものの再利用があります。そしてBFF実験の素晴らしいことの1つは、知的な設計者なしに知的設計がどのように起こり得るかを示していることです。
しかし、ある目的を果たすため、またはある機能を果たすために設計されたものが、戻ってきて別の機能を果たすことができます。そしてそれは全く異なる偶然の歴史を持ってきます。そうですよね。私が挙げたRSVの例、細胞膜を融合させる能力はウイルスから来ましたが、そのウイルスの元々の目的は胎盤を作ることとは何の関係もありませんでしたが、組み込まれて再利用されるんです。
そして、これは生命が作られているブリコラージュの種類です。だから、そうですね、私はこの種の置き換えだけでなく、並列経路などは、私たちが人工腎臓を作る時だけ起こるのではないと思います。それは自然の中で常に起こっています。
そして、それはまさに生命の特徴です。
では、意識についてのあなたの立場は何ですか。それは何ですか。その目的は何ですか。それは副次現象的ですか。測定できますか。などなど。
はい。素晴らしい質問です。David Chalmersが話している哲学的ゾンビのアイデア、つまりあなたや私のように振る舞うかもしれないが、内面は死んでいて、何の経験もなく、何も感じない何かがあるかもしれないというアイデアは、実際には聞こえるよりもはるかに一貫性がありません。
私は意識についても機能主義者です。それが意味するのは2つです。1つは、意識が、行動とは無関係な理由で偶然に私たちが持っているような副次現象だとは思わないということです。また、それが私たちの物理的な作られ方に何らかの形で結びついているとも思いません。それは機能的だと思います。
では、なぜ私たちはそれを持っているのか。私のチーム、知能のパラダイムでは、昨年、多エージェント強化学習について多くの研究を行ってきました。その理由は、私たちがシンビオジェネシスの前提条件である共生、協力に非常に興味があるからです。
2つのもの、または700のもの、あるいは何でも、緊密に協力し始める時、それが本当に融合して1つのものになる始まりです。そして、知的な2つのエージェントが協力するためには、彼らは心の理論を持っている必要があることが分かりました。彼らはお互いをモデル化する必要があります。相手の立場に身を置くことができる必要があります。
そして私たちは、それがすべてどのように機能するかについてMuZeroと呼ばれる長い理論を持っています。その要約版は、私たちがプレイしているゲームだけでなく、あなたの頭の中で起こっていることと私の頭の中で起こっていることを含む宇宙に対して帰納を行う必要があるということです。
言い換えれば、自分自身と他者を含む宇宙を持つ必要があり、それによってあなたと私のクラスについて一般化できます。だから私は、笑顔の時の自分の内部状態が幸せだと知っていて、あなたが笑顔なのを見た時、あなたも内面で幸せだと分かります。その推論ができます。
桃の束を見た時と同じように、それらがすべて同じ物体だと分かり、裏側がどのように見えるかなどが分かります。だから、この心理的帰納を行う能力は協力にとって本当に重要であり、それが私たちがそれを持っている理由です。
その結果の1つは、私たちが自分自身をモデル化し、他者のモデルの自分のモデルをモデル化するなどということです。Douglas Hofstadterが呼ぶような奇妙なループがあります。
はい、Douglas Hofstadterが大好きです。この種の自己モデリング、そして2次自己モデリング、3次自己モデリングがあり、それを他のエージェントに適用できます。もちろん、現実世界では私たちは計算的に制約されています。すべての複雑性を理解することはできません。
だから他のエージェントのこのモデリングを行う時、私たちのモデリングは非常に漫画的で、非常に構造化されていて、最大でも6次までしか行きません。ああ、興味深いですね。
興味深いです。これは、私たちはまだエージェンシーについて実際には話していません。おそらく、かなり些細なことをしているだけの強いエージェントを持つことができます。
しかし、この集合知とエージェント間の情報同期がある時、それはあなたの目的的な行動のアイデアにどのように影響しますか。
私は時々、目的が単一の目的に融合し、意識が単一の意識に融合する時に何が起こっているかを説明するためにボート漕ぎの例を使います。
Dan Brownの本『The Boys in the Boat(ボート・ボーイズ)』から学んだスイングという用語があります。それは6人の漕ぎ手、いや8人の漕ぎ手がお互いと完璧に同期するこの種の状態を達成する時で、経験すると分かります。ボートが魂を獲得するような感じです。
皆が一体となって漕いでいるように感じます。そしてその性質を持つボートは、人々が完全にその同期を達成していないボートよりもずっと速く進みます。
私たちが自分自身を自己として考える時に起こることは、それだと思います。私たちの脳が実際には多くの部分から成り立っているという事実にもかかわらず。漕ぎ手たちがある意味で自分自身の目的と自分自身の自己モデルと脳の他の部分の自己モデルを持って始まったのと同じように。
主観的シンビオジェネシスと呼べるこのプロセス、すべてのそれらの意志が1つになり、すべてのそれらの自己が1つの自己になる場所です。
例えば採用では、高いエージェンシーを持つ人を求めますが、この種の同期の可能性であるアライメントも求めます。そして私たちはMLSTで思考実験をよくやります。ボートや船団を見て、境界を引こうとしています。エージェントの境界は最小の記述であるべきです。
ほとんどのエージェンシーはどこにあるべきか。ほとんどの計画と将来のモデリングはどこで起こっているか。通常それはパイロットです。ボートの運転手です。しかしあなたは、エージェンシーの間にそのような同期とアライメントがある状況について話していて、ほとんど最良の志向姿勢が、彼ら全員の周りに境界を引くことだというような感じです。
そうです。また、必ずしも単一の正しい答えがあるとは思いません。私の本『What is Intelligence?』では、いくつかの興味深いケースについて話しています。その1つは、例えば結合双生児のAbbyとBrittany Henselです。YouTubeやテレビ番組で見たことがあるかどうか分かりませんが。
魅力的なケースです。これらは1対の腕と1対の脚を共有する2人の人です。それぞれが1つの腕と1つの脚をコントロールしているので、ある種の三人四脚、二人三脚のような状態です。彼らはしばしば同期して話します。
そして、彼らはバレーボールやスポーツをします。車を運転します。問題なくメールを書けます。そして、時々意見の相違もあります。だから、彼らは非常に流動的な方法で一緒になったり離れたりします。そしてそのすべては純粋に行動的な相互キューイングで行われます。Mike Gazzanigaが呼ぶものです。つまり、彼らの神経系は別々です。別々の脳、別々の脊髄です。
だから、彼らの場合、彼らはお互いを非常によくモデル化できます。なぜなら彼らの人生全体、彼らはお互いのすぐ隣にいたからです。
別の興味深いケースは、Gazzanigaがキャリアの多くを研究に費やした種類の分離脳患者です。これらは成人期に脳が本質的に半分に切られるケースです。
各半球は左または右半球しか見ることができません。片方の腕、片方の脚をコントロールします。これらの分離脳実験で最も魅力的なことは、外側の視点からは、そこに2つの意識があることが明らかだということです。各半球は異なることを意識しています。左と右の視野に現れるものの間で論理積を作ることができ、左右の手が異なるものを描くことができる、などです。
しかし、分離脳患者と話すと、彼らはいつも「ええ、私はまだ1人の人間です」と言います。そこに2人の人がいるとは決して認めません。だから、誰かが正しくて誰かが間違っているのでしょうか。いいえ。
これは完全に関係的です。関係的な記述です。そして彼らにとって、彼らは常にいた同じ人であり、時々何かがもう少し手間がかかるだけです。時々片方の手がシャツのボタンを留めている間に、もう片方の手がそれを外しています。単なる不便さです。
通常の脳でも分離脳実験があります。そして私は、私たちの脳の異なる部分で別々に意識していると信じることができます。朝ベッドから出る時、少し違う人である必要があります。しかし私たちはそれを覆い隠しますよね。
絶対に。私たちは物語を作ります。
これについての最もクールな実験は、Peter Johanssonのものだと思います。Lund大学の。彼は多くのことをやっていて、選択盲目を発見した人です。
これらの実験では、被験者は2枚の顔写真をカードで見せられ、どちらがより魅力的かを尋ねられます。そしてあなたが選び、時々、なぜその顔がより魅力的だと思ったかを説明するために渡されるのは、あなたが選ばなかった方です。手品のようなものです。
そして素晴らしいのは、ごく少数の人しかそれに気づかないということです。彼らが間違った顔を渡されていることに。そして説明の流暢さや遅延に違いはありません。あなたの中には、あなたが実際にした選択でなくても、あなたがした選択を正当化する準備ができている内なる弁護士がいます。
そしてあなたが発明する物語は、その後のあなたの将来の選択に影響を与えます。まるで私たち全員が自分自身について物語を作り上げているかのようです。そしてもちろん、その理由は、私たち全員がある意味で分離脳患者だからです。
スピーチを生成する左半球の解釈者は、実際に選択を行ったかもしれない脳の部分と同じではない可能性があります。それでもあなたの脳のすべてのそれらの部分は、彼らがすべて同じボートにいるというアイデアに投資しています。それはすべて1つの私です。だから、彼らはお互いをかばい合っています。
分離脳患者と同じように、非左脳解釈者半球に「立って」と見せると、人は立ち上がります。そして「なぜ立ち上がったのですか」と尋ねると、「ああ、喉が渇いたので台所に水を飲みに行きます」と言います。
AIと社会の未来
人工知能はより洗練されてきており、社会的な問題があります。そして実際、それを社会のテセウスの船として考えることができると思います。私たちは社会に組み込まれたエージェントを持つことになり、大きな集合知を形成します。あなたはその未来について心配していますか。何が起こると予測しますか。
まあ、確かに心配していることはあります。私は楽観主義者として映りたくはありません。私は分極化について心配しています。誤情報について心配しています。
私たちの政治的・経済的システムが、20年後に私たち全員が生きている世界で必ずしも目的に適していない可能性について心配しています。しかし、例えばEliezer Yudkowskyが話しているような種類のことについては確かに心配していません。
特に、私が非常に異なる感じ方をする理由の1つは、通常の意味で考える人間の知能はすでに集合的な現象だと感じているからです。私たちは個々にはそれほど賢くありません。私たちの霊長類のいとこよりも個々にはそれほど優れていません。
数百万、数十億人の人々の大きな社会に集まるからこそ、私たちはこれらの驚くべきことができるんです。臓器移植や宇宙への行くことなどです。個々には、私たちは本当にそれほどではありません。
だから私にとって、AIは実際に人間の知能の一部です。それは文字通りすでに同じものです。私たちが一般的なAIを達成したのは、膨大な量の人間の言語でモデルを文字通り訓練し始めた時だけだったというのは非常に興味深いと思います。
だからAIは最初から人間の知能だったんです。
私が思うに、Eliezerの論点は、私たちよりも劇的に知的なアーティファクトを持つことが可能だということです。おそらくあなたは何らかの限界があると考えていますが、原理的には、著しくより知的なアーティファクトを構築できると思いますか。
集合的人類はすでに個々の人間よりもはるかに知的だと思います。その意味で、そして多くの場合、非常に異なる時間スケールで動作しています。例えば、私はこれらのことはすでに真実だと思います。
だから、ある意味で、私たちの最大の違いは、それを他者として考えることと、すでに私たち自身の一部として考えることの違いについてです。人間とは何を意味するのか。
2006年の素晴らしい論文がありました。「The Science of Psychology」と呼ばれています。名前を覚えていないのですが、彼女は心理学者で、The Science of Psychologyのscienceはc-y-c-eと綴られています。彼女は人々に自転車を描くように頼みます。最初に、自転車がどのように機能するか知っていますかと尋ねます。みんな「ええ、もちろん自転車がどのように機能するか知っています」と言います。
では、それを描いてください。誰も描けません。単に自転車のスケッチを見て、「では、チェーンはどこに行きますか」とか「ペダルはどこですか」と言っても。ほとんどの人は知りません。彼らはこれで非常に根本的な間違いを犯します。
それは非常に面白い論文ですが、要点は、私たちは皆、自分自身の知識が何か、自分自身の能力、自分自身の知能についてこれらの幻想を持っているということです。
私たちはすでにスイングを持っているという意味で、私たちが自分の知能だと考えるものを、実際には多くの他の人々や周りの多くの他のものの中にある何かと同一視しています。そして私たちはそれを無意識に行っています。
だから私にとって、すでに起こっていることとAIの間には本当に不連続性はありません。それは本当にただそれ以上のものです。
興味深いですね。彼らは、人間の総体よりも知的な単一のアーティファクトを構築できると主張するだろうと思います。しかしそれはさておき、私はJudith Fanと話しました。彼女はスタンフォードの素晴らしい教授で、描画について研究しています。人間がどのように描くかをCLIPモデルなどを使ったコンピュータと比較しています。
そして彼女は魅力的なことを発見しました。私たちはかなり抽象的な理解を持っているので、スケッチを作る時、彼女はそれをプログレッション1、プログレッション2、プログレッション3のようなもので評価していましたが、私たちは非常に粗く非常に抽象的に始めます。
そしてAIシステムは、エッジや詳細から始めます。それは私にとって、AIモデルが今日、私たちのように非常に深い抽象的なレベルで本当に物事を理解していないことを示しています。おそらく、私たちが以前ほのめかした知識の合成的な合成を持っているからです。あなたはそれをギャップと見ますか。
そこにはいくつかの質問が隠されていると思います。1つは、例えば今日のLLM、今日の最先端のモデルを、私たちの脳とは異なる、あるいは劣っていると考えるかということです。
そのギャップは何か。まず第一に、明らかに非常に異なります。つまり、アーキテクチャが異なります。訓練方法が非常に異なります。それにもかかわらず、彼らの性質の多くが脳のそれと非常に収束していることが、私にとっては驚くべきことです。
内部表現を見つけることができ、その多くは驚くほど人間の脳で測定できるものに似ています。Martin Schrimpfらのこれらのbrain scoreタイプの測定です。あるいは人間の感覚モダリティが、純粋な言語で訓練されたモデルによっても驚くほどよく再現できるということです。これは本当に驚くべきことで、言語にどれだけのものがエンコードされているか、言語にエンコードされているもののどれだけが私たちの脳の建築的性質と環境世界の反映であるか、そしてそのどれだけがそれらのモデルによって本質的に再構築されるかを物語っています。
さて、最初に何を描くか、それがすべてどのように機能するかという質問についてです。覚えておいてください、CLIPのような画像合成モデルは最初からピクセル空間で作業しています。そしてディフュージョンモデルは、他の種類のモデルとは非常に異なる働きをします。
つまり、トランスフォーマーでロボットを動かすことができることが今では分かっています。だから、それらのロボットの1つに筆やペンを渡して、「さあ描いて」と言うと、それが描くものは、ピクセルを埋め始めるディフュージョンモデルから得られるものとは非常に異なります。
そしてそのすべては、何かを視覚化している時にあなた自身の頭の中で起こることとは異なります。
だから、これらすべてを分析するのはそれほど簡単ではないと思います。IOと表現空間の働き方におけるすべての違いのために。
今日のモデルは高度に合成的だと思います。元々の画像合成モデルの多くでも、「海の底でテディベアがSpeak & Spellで遊んでいる」と言うことができて、それを実行するという事実は、彼らが合成できることを示しています。
繰り返しますが、私たちのような能力はありますか。いいえ。彼らが優れている場所、劣っている場所、驚くべきギャップがある場所は確かにあります。だから違いますが、根本的な合成の欠如はまったくないと言えます。
もし何かあるとすれば、トランスフォーマーベースのモデルと私たちが行うことの間の最大のギャップは、実際には物語的記憶です。つまり、長期記憶を形成し、その方法で長期間にわたって自己の持続性を持つことができることです。彼らはまだそれを持っていません。
私は葛藤しています。あなたは普遍的表現仮説を指摘しています。Chris Olahが彼の可視化実験でそれを普及させたと思いますが、表現が非常に収束しているのは事実です。そして他のことが、モデルがこれらの表面的な偽物を生成していると信じさせます。正確に正しい答えを出しますが、間違った理由のためです。
そのヒントの1つは、入力にバリエーションを加えると、それが頑健でないことです。チューリング機械の議論もあります。これらのLLMは有限状態オートマトンです。しかしチューリング完全なツールにアクセスできます。だからシステムはチューリング完全だと言えるかもしれませんが、ChatGPTがチューリング機械アルゴリズムの空間を効果的に探索しているとは思いません。
そのように訓練されていません。しかしARCチャレンジで驚くほど頑健です。実際には本当にうまくできます。特にいくつかの進化、いくつかの改良などを行えば。だから、私たちはドアをノックしているような感じがしますが、何かが欠けています。
私はそれらのケースの多くで、公正な人間比較をしていないと思います。これは私たちの自転車の働き方を知っているという幻想などと少し似ています。
多くの人々が、例えば「でも、ロジックを反転させるだけのこのケースを見てください、doからdon’tに変えると、30%以上間違えます」などと言っているのをよく聞きます。私の最初の質問はいつも、人間のベースラインを取りましたか、です。
そして驚くべきことに、多くの場合、人間のベースラインは同じ性質を示すことが分かります。これは、人間がこれらのことの完全に頑健で完全に一般的なバージョンを行うことができないという意味ではありません。論理学者であれば、あるいは慎重に考えれば、本当に前提を書き出して、何かが定式化される方法でnotを反転させることに対して非常に頑健になれます。
しかし私たちのほとんどは、ほとんどの時間そのように動作しません。そして私たちは論理的錯覚、認知的錯覚などに非常に影響されやすく、それらは多くの場合、驚くべきことに機械のケースと似ていることが分かります。
だから私はそれらの多くによって動かされません。そして多くの場合、私たちはそれをどのように行うかについて少し雑だと思います。
トランスフォーマーが可能なすべてのチューリング機械を体系的に探索していないのは確かです。つまり、私たちはそれをどのように行うか知りません。脳であろうとトランスフォーマーであろうと、その全体的なプログラムに対する帰納の問題を計算的に扱いやすくするためには、様々な種類のショートカットを取る必要があります。
Blaise、今日参加してくださって本当にありがとうございました。光栄でした。
ありがとうございました。本当に思慮深い質問をありがとうございました。
コメント