この動画は、AI研究者アニル・セスによる「AIは意識を持ち得るか」という根本的な問いへの考察である。セスは、知能と意識を混同する一般的な誤りを指摘し、計算機能主義という主流の仮定に疑問を呈する。彼は、チューリング計算が意識の十分条件であるという広く受け入れられた前提を歴史的・哲学的観点から批判的に検討し、意識は本質的に生物学的現象である可能性を提示する。講演では、言語モデルが引き起こす擬人化バイアス、基質中立性の問題、神経置換思考実験の限界などを詳細に論じ、最終的に人工意識の実現可能性は極めて低いと結論づける。同時に、意識を持つように見えるAIが社会にもたらす倫理的課題についても警鐘を鳴らしている。
はじめに
ショーンとジャン、お招きいただきありがとうございます。本当に素晴らしい時間を過ごさせていただきました。プログラムを見ると、私が認知と創発について話すことになっていますが、それは完全な誤った宣伝です。実際には認知と創発については話しません。でも後でお話しすることはできます。
実は今日お話ししたいのは、すでに少し話題に上がっている問題についてです。哲学者、あるいは自然哲学者と科学者が一堂に会すると、意識の問題が必ず出てきます。デイブ・チャーマーズの意識についての話からこの会議を始めましたが、私は今日、しばらく前から私や他の多くの人々を悩ませてきた問題、つまりAIは意識を持ち得るのかという問題について少しお話ししたいと思います。
この会議は本当に素晴らしく、前のセッションも大好きでした。かなり大変でしたが、私の脳を痛くさせるような本当にエキサイティングな内容でした。ですので、映画のクリップから話を始めたいと思います。一日の最後のセッションに向けて、少し和やかな雰囲気を作るのに良い方法だと思います。音声がうまく機能しなかったので、マイクを私のノートパソコンの近くに置きます。これが実践的な知恵というものです。
皆さんに聞こえるといいのですが。「私はすでに一体を作りました。そして今後数日間、あなたはチューリングテストの人間要素になるのです」「そうです、ケイレブ。その通りです。なぜなら、そのテストに合格したら、あなたは人類史上最大の科学的出来事の真っ只中にいることになるからです」「もしあなたが意識を持つ機械を作ったのなら、それは人類の歴史ではありません。それは神々の歴史です」
エクス・マキナと意識を持つAIへの関心
『エクス・マキナ』を見た人はどれくらいいますか?そうですね、10年ほど前の映画です。見ていない方には本当にお勧めします。美しい映画で、かなり興味深い哲学も含まれていると思います。
これが問題です。人工知能は本当の意識を持つことができるのか、あるいは持つようになるのか。次の正確に28分間で、この問題について4つのセクションに分けてお話しします。
まず動機と混乱についてです。なぜ私たちはAIが意識を持つ可能性があると考えるのか、単に知的であるだけではなく。次に、この話の大部分を占めるのは、つい最近まで、そして今でもこの問題を考える人々の間で主流となっている仮定の検証です。それは計算機能主義の仮定、つまり何らかの形の計算が意識に十分であるという考え方です。
代替案に対する積極的な議論に時間を割く余裕はありませんが、私が支持する代替案、それが真実かどうかはわかりませんが、その可能性に惹かれているのは、意識が根本的に生物学的現象であるという考え方です。これはジョン・サールなどの生物学的自然主義に遡ります。昨日、ニック・レーンがこれについて興味深い主張をしているのを聞きました。
また、心配すべきことについても少しお話ししたいと思います。このメニューは実際には、そして今日の話自体は、『行動・脳科学』誌に掲載予定の論文の要約版です。これを述べる理由は、この話を基にしているということもありますが、コメンタリーの提案を提出する機会の窓が開いているからです。もし私の話に興味があり、特に私の話に同意できない場合は、コメンタリーの提案を提出することを検討してください。そうすれば、私の甘い考えを正してもらえるかもしれません。
文化的な魅力と心理的バイアス
動機と混乱についてですが、まず最初に言えることは、人間の文化は、思考するだけでなく感じることもできる人工システムを作り出すという見通しに永遠に魅了され続けているということです。人間の文化の中で、これはどこまで遡っても見られます。
議論の出発点として、私のお気に入りの本の一つである『フランケンシュタイン』から始めます。フランケンシュタインの物語は、非生物から生命を創造しようとする傲慢な欲望に対する警告としてよく考えられています。しかし私がこれを読んだとき、実際には読んだと思っていましたが、読んでいなかったのです。読んだと思い込んでいた本の一つでした。そして読んでみると、少なくとも私にとっては、フランケンシュタインの怪物が生きていたということが重要だったのではありません。重要だったのは、その怪物が感じることができたということ、惨めさや拒絶や排斥を経験できたということです。そしてそれが、その後の大虐殺につながったのです。
もちろん他にも『2001年宇宙の旅』のような名作があります。「ポッドベイのドアを開けてください」という場面や、『エクス・マキナ』、そして私のお気に入りの小説的探求の一つであるカズオ・イシグロの『クララとお日さま』があります。これは意識を持つロボットの視点から人工意識を扱った素晴らしい作品です。
このアイデアは永遠に存在してきましたが、他にも作用する要因があります。一つは、私たち全員が格闘している問題だと思いますが、変化のペースです。人々は物事、特にAI技術が指数関数的に変化していると話します。言語モデルなどで劇的な増加を見てきました。指数関数曲線上にいると、物事がどこに向かうのか予測するのは非常に難しいです。未来は目の前に不可能なほど急勾配に見え、過去は無関係なほど平坦に見えます。ですから、自分が重要なポイントにいると考えがちです。しかしもちろん、指数関数曲線の特徴は、すべてのポイントが重要なポイントだということです。
どこにいてもそのように見えます。ですから、意識を持つ機械の出現のような根本的な何かの転換点にいると過大評価するかもしれません。
そして私が言わなければならないのは、少し神様コンプレックスのようなものも起きていると思います。これはフランケンシュタインに戻りますが、意識を持つ機械を創造する人間であるという考えは、神の役割を演じるという物語に通じています。もちろんそれはある種の超人間主義的な歓喜の約束ももたらします。もし意識がコンピュータに実装可能であるならば、自分自身の意識を機械にアップロードして永遠に生きる、あるいは少なくとも永遠に存在する見通しがはるかに信頼できるものになります。
そしてこれは、このことについて楽観的な一部の人々の背景にあるのかもしれません。全員ではありません。実際、少し驚いたことの一つは、意識を持つ機械が可能である、あるいはすでに私たちと共にあるという考えがかなり広く支持されているということです。
ここにいる皆さんに聞いてみましょう。AIがすでに意識を持っていると思う人はいますか?そう思うなら恥ずかしがらずに言ってください。誰もいませんか、素晴らしい。AIが意識を持つ可能性がある、おそらく5年後か10年後にと思う人は?なるほど、それでもまだ少数派ですね。実際には興味深いです。でも確実にゼロ以上はいます。
手を挙げた方々、あなた方は一人ではありません。これは後ろの席の方にも聞こえますか?映画の音は?素晴らしい。これはジェフ・ヒントンからの非常に短いクリップです。「コンピュータとAIの発展を通じて、人々は意識について語ってきました。意識はおそらくすでにAIの内部に到達したと思いますか?」「はい、そう思います」
さて、皆さん、これで答えが出ました。意識はすでに到達しているのです。これは1月末のことでした。それほど前のことではありません。もちろん、彼は他のことも言っていますし、はるかに限定的な言い方もしています。しかし、その発言には驚くほどの断定性がありました、少なくとも私にとっては。
人々はすでにAIが意識を持っていると考えています。私が思うに、人々がこの可能性を過大評価する主な心理的バイアスの一つは、知能と意識の混同です。しかしこれらは異なるものです。
知能と意識の区別
知能も意識も完全に正確な定義を欠いています。確かに、私たちが聞いたばかりのような精度の定義はありません。しかし非常に大まかに言えば、知能は適切なタイミングで適切なことを行うことです。デイブが彼の話の冒頭で行った区別、知能とは柔軟な手段によって目標を達成する能力であるのに対し、意識は全身麻酔下や夢のない睡眠中に消えるもの、あるいはトーマス・ネーゲルの定義によれば、意識のある生物にとっては、その生物であることがどのようなものかということが存在します。
私もデイブから借用したこの画像を使います。ありがとうございます、デイブ。これはChatGPTから得たものだと思いますが、これが非常にうまく表現していると思います。大まかに言えば、意識はすべて感じることについてであり、知能は物事を理解すること、あるいは物事を行うことについてです。これらは同じものではありません。
確かに、現存する多くの生物の例では、これらはある程度相関しているかもしれません。知的であり、ある種の認知能力を持つことで、そうでなければできない方法で意識を持つことができるかもしれません。後悔を経験するためには、代替的な行動とその潜在的な結果を考慮する認知的能力が必要です。
単に悲しくなったり失望したりするには、はるかに少ない知能で済みます。ですから、これらは私たちの中で一緒になっているかもしれませんが、それは一般的に一緒でなければならないという意味ではありません。そして、人間の例を物事がそうでなければならない定義として捉え、物事がどのように一緒になったかの一つの例としてではなく捉えるとき、私たちは一種の人間例外主義と人間中心主義の誤りを犯します。人間であることのレンズを通して物事を見るのです。
これが人間中心主義の私の漫画です。人間であることのレンズを通して物事を見ると、必ずしも成り立たないこれらの関連付けをすることができます。
そして私たちが持つもう一つのバイアスは擬人化です。これをファービーで説明します。これは、表面的な類似性に基づいて、それらを持たないものに人間らしい性質を投影する傾向です。
擬人化の力を説明するために、もう一つ映画のクリップを見せます。
多くの人がこのランプに対して悪い気持ちになります。それはあなたが狂っているからです。ランプには感情がありません。そして新しいものの方がはるかに良いのです。
実際、アルとの関係で気づいたのですが、アルビーがこの部屋にいるかどうかわかりませんが、ランプを使って感情的に説明するというのは、これ以上に適切な人はいないでしょう。初期のピクサーの広告を使うべきでした。
これは言語がない場合です。そして言語を絵に持ち込むと、私たちの心理的バイアスに対してさらに魅力的になります。それは私たち人間にとって、言語が私たちを特別にするものだと思っているからです。ですから、何か他のものが言語能力のようなものを持っているのを見ると、私たちはそれに対して他のすべてのものを投影するのです。
これを読み上げることはしませんが、私の同僚で友人のマリー・シャノンは、Claudeと意識について広範な議論をしており、最近では非常に説得力があります。メラニーとこのことについて話していましたが、言語モデルが意識を持っていると確信している人々から、毎日2、3通のメールを受け取り、それとの長い対話を提示されます。
このセクションをまとめると、数年前にこれが話題になった一つの方法があります。当時Googleで働いていたブレイク・ルモワンが、初期のチャットボットLambdaが意識を持っていると主張し、そのために解雇されました。これは私には印象的でした。なぜなら数週間前、Anthropicで働くカイル・フィッシュという人物のニューヨークタイムズのインタビューがあり、彼は彼らのAI福祉責任者であり、言語モデルが意識を持っている可能性が15%あると言いましたが、解雇されませんでした。彼はまさにその信念を持っているがゆえにAnthropicに雇用されているのです。何かが変化しています。
実際、一般の人々に尋ねると、これはスティーブ・フレミングとクララ・コリン・ベットのデータですが、これが人々が言語モデルの意識について、あるスケールで考えていることです。ほとんどの人は全く意識がないと考えていますが、裾野があり、その裾野にはかなりの内容があります。
言語モデルがある程度意識を持っているという考えは、すでに無視できない少数の人々によって支持されているのです。
言語の重要性は、AlphaFoldのようなものを考えると特に明らかになります。AlphaFoldはDeepMindのプログラムでタンパク質の折り畳みなどを行います。AlphaFoldが意識を持っているという主張を誰からも聞いたことがありませんし、誰も私にそのような手紙を書いてきません。しかし内部的には基本的に同じようなものです。ニューラルネットワークです。トランスフォーマーです。ただ異なる生成モデルを実行しているだけです。しかし、Claudeが意識を持っていると思うがAlphaFoldは違うと思うなら、あなた自身の心理的バイアス以外に、言語のようなものに惹かれる以外に、その違いを説明するのは難しいと思います。
少し脱線しますが、言語モデルが何かをでっち上げるとき、それらが幻覚を見ると言われることがよくあります。私はこの言葉の使い方に本当に抵抗があります。なぜなら、言語モデルが幻覚を見ると言うと、暗黙のうちにそれに経験を持つ特性を与えているからです。私たち人間が幻覚を見るとき、それは私たちが異常な種類の経験をすることについてです。
ですから、間違った言葉を使うと、長期的には非常に不幸な結果をもたらす可能性のあるこれらの仮定を暗黙のうちに埋め込んでしまいます。むしろ、それらは作話している、あるいはバイブプルーフをしているなどと言いたいです。その言い回しはかなり気に入っています。あらゆる領域での作話が彼らの行うことです。
最初の要点は、AIが賢くなるにつれて、意識が単についてくると仮定しないでくださいということです。それを信じる理由はほぼゼロです。
計算機能主義への疑問
意識を持つAIに対する懐疑論には、より深い理由があると思います。それがこの計算機能主義の主張です。コンピュータは意識を持つことができるのでしょうか?ここで重要な区別があります。進行中の広範な論題が二つあります。
一つは機能主義です。これは、意識を含む心が、脳の機能的組織の特性であるという考え方で、潜在的にはその内部の因果構造も含みます。これは実際にはかなり寛容な主張です。
それはどのように配線されているかということです。何をするのか。もし意識の説明がそこにあるなら、それは機能主義的な説明です。これはしばしば、より具体的でずっと強い計算機能主義の主張と混同されてきました。計算機能主義とは、心が計算的性質を持ち、意識が適切な種類の計算によって実現され、具現化され得るという考え方です。
これは機能主義を含意しますが、逆は真ではありません。機能主義的な説明は、非計算的である、あるいは非常に寛容な形の計算に依存する可能性のあるシステムについて、たくさん持つことができます。ですから、機能主義を仮定して、それからコンピュータが心や意識的な心を持つことができるというこの考えを正当化するために使うことはできません。
意識を持つAIは、少なくとも私たちが今持っているようなコンピュータについては、それらが行う種類の計算が意識に十分であると仮定しています。これはかつて、それを認識することさえなく、単に仮定されていました。計算で十分でなければならないことは明白でした、他に何があり得るでしょうか?脳は情報を処理します、他に何が?
しかし最近では、少なくとも人々が持つ一種の仮定、実用的な仮定として認識されるようになりました。パトリック・バットランドとロバート・ロングなどによる非常に影響力のあるプレプリントがあり、彼らは機械やAIが意識を持つ可能性について述べることすべてに、計算が意識に十分であるという基本的な仮定にも依存すると注意を付けています。それが真実でないなら、彼らが言う他のことは本当に成り立ちません。少なくとも彼らはそれについて言及しています。それは素晴らしいことです。大きなチェックマークです。
しかしそれは真実ではないかもしれません。真実かもしれませんが、それは本当に大きな仮定です。
チューリングとニューラルネットワークの歴史
残りの短い時間で、この仮定がなぜ多くの人々にとってそれほど説得力があるように見えるのかを、ある種の歴史的視点から説明したいと思います。そしてそれはもちろんアラン・チューリングから始まります。
一方で、チューリングはチューリングテストと1950年の『マインド』誌の有名な論文で、機械が考えることができるという考えを植え付けました。
そして他方で、彼はチューリング計算という非常に強力な概念も私たちに与えました。これは私たちが使うすべてのコンピュータの基礎となる非常に特定の形式の計算です。GPU、TPU、CPU、何であれ、それらはすべて一つの列挙可能な数の範囲を別のものにマッピングすることです。それがチューリング計算が行うことです。
非常に強力ですが、すべてではありません。それを超えた多くの種類の動力学と計算があります。
またウォーレン・マカロックとウォルター・ピッツも同様に重要だと思いますが、彼らは、脳をこれらの非常に単純化されたニューラルネットワークに抽象化すると、入力を合計して閾値を超えたら出力を生成するこれらのユニットを持つだけ、統合発火型統合総和ニューロンのようなもの、これらのネットワークを持つと、それらは論理演算を実行できることを示しました。
そしてその後、ポール・クリーンがこれらがチューリング完全であることを示しました。つまり、この種のニューラルネットワークは原理的にチューリング計算で得られるすべてのことを行うことができるということです。これは非常に説得力があり、私たちはチューリングの眼鏡を通して脳を見ることを奨励されます。
動力学と計算の空間をチューリング計算に縮小すると、多くのものが得られます。そして脳をこれらの抽象的なニューラルネットワークに縮小すると、同じものが得られます。一方では、チューリング計算の観点だけで考えることを許可します。他方では、脳が構成される混乱した生化学的現実のすべてを忘れることを許可します。ニックが昨日その美しい複雑性のいくつかを素晴らしく指摘してくれました。
ですから、チューリング計算を超えた計算には多くのものがあり、多くの非計算的機能もあります。電場、あらゆる種類のもの。厳密には、連続的なものや確率的なものはチューリング計算ではありません。
他方で、脳を見れば見るほど、その種の抽象的なニューラルネットワークがどれほど戯画化されているかがわかります。これは昨年の論文のようなものです。人間の側頭葉皮質の1立方ミリメートルとその立方ミリメートル内で起こるすべての驚くべき内容と豊かさを見ると、それをすべて抽象化して単純な人工ニューロンにできるというのは、先験的に少し驚くべきことです。おそらくもっと多くのことが起こっているのです。
これについてよく提起される別の視点は、基質中立性というこの考え方です。これは、私たちが考えるような意識を持つAIにとって必要な考え方で、意識状態を含む精神状態が異なる種類の基質、この場合は潜在的にシリコンで実現できるというものです。これはしばしばこの種の神経置換思考実験によって動機づけられます。
それは次のようなものです。私の脳やあなたの脳のニューロン一つをデジタルシリコン相当物と交換し、それが全く同じことを行うことを確認することができます。おそらくあなたは外側では変化しませんし、内側でも変化しないでしょう。以前と同じように意識を持っているでしょう。これを10個で行ったらどうでしょう?10億個で行ったらどうでしょう?すべてで行ったらどうでしょう?そしてシリコンか炭素かは重要ではないという結論に達します。重要なのはそれらの機能的なアーキテクチャだけです。
この種の思考実験の問題の一つは、完璧な相当物でニューロンを置き換えることができるかどうかが明確ではないということです。その相当物自体が別の生物学的ニューロンでない限り。これを説明する多くの方法があります。
哲学者のローザ・チョウとスタンフォードは、生成的埋め込みのような概念について美しく語っています。これは、脳のこれらのシステムが異なるスケールで高度に統合されていることを示しています。システムの他のすべての部分に影響を与えずに一部を変更することはできません。その影響を関連がないとして排除することはできません。
一部のニューロンは代謝の有毒な副産物の蓄積を取り除くためにスパイクを発火します。ですから、ニューロンがなぜそうするのかを理解したい場合、ニューロンの発火パターンを再現したい場合は、代謝についてもすべてをシミュレートしなければならないかもしれません。
ですから、シリコンニューロンをプラグアンドプレイすることはできません。全体として、脳はそれが行うことをそれが何であるかから分離するのが難しい種類のものです。その分離ができないなら、それは計算、あるいはチューリング計算が重要な記述のレベルであるという考えを本当に損ないます。
なぜなら、そもそもそのように考える動機、それがチューリング計算が買ってくれるものだからです。それはシステムを記述する方法であり、システムがアルゴリズム的に行うことを、それが何でできているかに依存しない方法です。ですから、システムがこの意味で分離不可能であることが判明した場合、計算がそれが持つすべての特性を実現する上で重要な正しい記述のレベルであると考える動機はほとんどありません。
全脳エミュレーションと生物学の重要性
時々、もし脳のすべての最後の詳細をシミュレートしたらどうかと聞かれます。代謝のすべての部分、ミトコンドリアのクリステ、あるいはミトコンドリアの中で起こる素晴らしいことは何でも。それはある種の全脳エミュレーションシナリオで意識を生じさせないでしょうか?いいえ、これは計算機能主義を前提としています。何かをシミュレートするとき、それはそのものを実現するのは、計算が十分である場合のみです。もしそうでないなら、それは常にモデルであるだけです。
ハリケーンが背景にある理由は、よく使われる区別です。ハリケーンをシミュレートするとき、コンピュータの中が濡れて風が吹くことを期待しません。それは単なるシミュレーションです。では、なぜ脳をシミュレートすると意識を実現することを期待するのでしょうか?それは計算機能主義が真実であることが判明した場合にのみ真実です。そのための独立した議論を提供しなければなりません。
非常に大まかに言って、脳を一種の肉ベースのコンピュータとしての非常に強力なメタファーとして取り上げ、それが単なるメタファーであることを少しずつ忘れてきたという間違いがあったと思います。そしてメタファーを事物そのものと混同するとき、私たちは常に最終的に何らかのトラブルに陥ると思います。
他にも選択肢はたくさんあります。脳が行うことをどのように理解するかについて、他にも多くの方法があります。多くの他の形式の計算があります。ニューロモーフィック、アナログ、モータル、生物学的、さまざまな形式の計算の長いリストがあります。それらが意識を理解する上で正しい記述のレベルである可能性があります。
しかしそれが真実であっても、私たちはすでに意識を持つAIの見通しからはるかに遠ざかっています。なぜなら、チューリング計算から離れるにつれて、何かがシリコンで実装可能であるという保証を失うからです。この基質の柔軟性や基質中立性を失います。
そして繰り返しますが、多くの非計算的機能、場の効果、神経伝達物質が循環している、あらゆる種類のものがあります。ですから、たとえば意識を探すのをやめることが重要だと思います。鍵がどこにあるかではなく、たまたま光がある場所で鍵を探すのと同じように。
脳について考える非常に便利な方法ですが、それが唯一の探す場所だと考えると、その便利さに誤導される可能性があります。
これまでの要約です。もし私が正しい軌道に乗っているなら、本物の人工意識は非常にありそうにありません。しかし計算でないなら、何でしょうか?これは私が詳しく話す時間がない部分で、ソリューションに向けて身振りをするだけです。
それはそこにあります。そこにありますが、この話の中にはありません。おそらく生物学、おそらく生物学が重要です。ここでの直感は、おそらく計算ではなく生命が意識の方程式に火を吹き込むということです。ここで何らかの新生気論に逆戻りしたくありません。
なぜ生命が重要かもしれないかについて、より強い積極的な議論を提供しなければならないと思います。これについて私がどのように考えてきたかを非常に簡単に示すと、本当に脳が行うことを理解する方法があるかということから来ています。それは、人間のようにそれを持つシステムにとって、意識的経験がどのようなものであるかについて何らかの把握を与えるものです。
予測処理と自由エネルギー原理
私がこれを考えるようになった方法は、ヘルムホルツやそれ以前の長い伝統があり、脳を一種の予測エンジンとして、必ずしも計算的な方法ではなく、それが得る感覚信号の原因についてベイズ推論として記述できる何かをしているものとして考えることです。
ヘルムホルツはこれを無意識的推論としての知覚と呼びました。基本的な考え方は、脳は常に感覚信号の原因についてこれらの予測を生成し、感覚データを使用してその予測を更新しているということです。そして私がこの上に乗せている主張は、私たちが経験するのは感覚信号の何らかの読み出しではなく、トップダウンの予測、何が起こっているかについての脳のベイズ的最良推測の内容であるということです。
これは私たちが周囲の世界をどのように経験するかを考える良い方法のようです。少なくともそれと一致する多くの実験があります。これは自己を理解することにも適用できます。この手が私の手であるということ。それは私の脳が単に知っていることではありません。世界の何が身体で何が身体でないかを推論しなければなりません。おそらく同じ原理によって。これは身体の内部にも適用されます。
ですから私の脳は根本的に私の生理機能を制御し調節して私を生かし続けるという仕事をしています。そして繰り返しますが、身体がどのようなものであるかへの直接のアクセスはありません。ノイズの多い不確実なデータに基づいてそれを推論しなければなりません。ここで重要なのは、脳が身体の内部を予測するとき、重要なのは心臓がどこにあるか肺がどこにあるかを理解することではなく、調節のために予測をどのように使用しているかです。
何かを予測できるとき、それを制御し、調節することができます。そしてその調節の命令は、特定のレベルで止まることはありません。それは個々の細胞にまで下がります。細胞は持続と生存のための独自の条件を継続的に再生成している複雑に込み入った生物学的機械です。
これはオートポイエーシスのような概念の領域に私たちを導きます。入力を受け取って出力を生成するコンピュータや他の製造されたシステムが行うことではなく、自分自身を再生産するシステムです。生物学的システムは、自分自身の物質的構成要素を再生産するこの自己再生産特性を持っています。そしてそれは、何かが何でできているかが明らかに重要であるものです。重要でないはずがありません。
そして昨日のニックに再び敬意を表します。彼は、代謝のような生命システムの他の特徴が、生物がどのように自分自身を維持するかという機能的役割において非常に重要である可能性があり、感覚や主体性のような物事の種を持っている可能性がある理由を、本当に直感的に説得力のある形で示しています。
ここに決定的な議論はなく、私は完全にそれを認めます。しかし私が言いたかったのは、誰がより大きな仮定をしているのかということです。コンピュータについては、まだ誰も本当に意識があると考えているものはありません。表面的な議論はありますが、コンセンサスはありません。私たちが持っている意識のあるシステムの例で、何らかのコンセンサスがあるものはすべて生きています。
それは重要でないかもしれません。それは炭素ショービニズムのようなものの例かもしれません。しかし生命が何らかの形で重要であるかもしれないと考えることは、ばかげた仮定ではないと思います。
最後の3分間で、この表について話すつもりはありません。これは私が述べた論文にあります。これは異なるシナリオを示しています。
私がしたくないのは、意識に何が十分であるかを強く主張することです。率直に言って、誰も本当に知らないと思います。しかし私は、できればもう少し明確さを持って選択肢を示す風景を描きたいだけです。
例えば、生命が意識にとって重要である方法が二つあります。意識にとって重要なのは、依然としてある種の機能的組織である可能性があります。しかしその機能的組織を実現できるのは生命システムにおいてのみです。非生命システムでは持つことができない種類の機能的組織です。
それをシミュレートすることはできますが、シミュレーションは具現化と同じではないことはすでに議論しました。あるいは、生命が水の分子構造に湿気が依存するのと同じように、より深い本質的な方法で重要である可能性があります。
これは意識にとって生物学的物質について本当に深く本質的な何かが重要であるという、代謝の話に近いものです。あるいはこれは完全に間違っている可能性があり、実際には計算だけの問題である可能性があります。
テストの困難性と倫理的懸念
さらに二つの点をカバーします。一つは、この種のことを扱う際の大きな問題です。本物の人工意識をテストすることは基本的に不可能です。それがそこにあるかないかについての合意理論がないため、私たちは単に知りません。
不確実性に満ちた何かに直面したとき、つまりAIに直面したとき、これらのシステムが意識を持っているかどうかを確信できません。そしてそれは新しい状況ではありません。意識が存在するかどうか不確実な多くのケースがあります。
新生児や胎児。クラウディアはこれについてよく話します。脳損傷のある患者、非人間動物、昆虫、これらすべてのもの。オルガノイドも別の文脈だと思います。
しかしAIは少し異なります。なぜなら、他のシステムがそれらを表現した場合に非常に診断的である言語のようなものを示すからです。昏睡状態の患者が突然あなたに話しかけ始めたら、彼らはもはや昏睡状態ではありません。
彼らが意識を持っていることはかなり明確にわかります。しかしそれは、彼らが私たちと共有する他の多くの背景条件があるためです。AIが共有しない条件です。それが、目を覚まして私たちに話しかける昏睡状態の患者の場合と比較して、言語モデルの場合にその推論を有効にするものです。
最後に心配すべきことについて話したいと思います。なぜなら私たち全員が心配すべきことが必要だからです。私は間違っているかもしれません。
考えるのも嫌ですが、可能性はあります。私は間違っているかもしれませんし、実際に計算が意識に十分である可能性があります。そして適切な信用を払うと、ほとんどの意識理論はまだこのようなことを言っています。
ですから私の見解は、意識研究者の間では間違いなく少数派です。そしてもしこれらの見解が正しい軌道に乗っているなら、意識を持つAIは無料でついてくるわけではないかもしれませんが、意識の計算理論を実装するAIシステムを設計することへの障害はほとんどありません。そしてもしそれらの理論が、人間の意識を記述するだけでなく真の十分条件を指定するという意味で適切な理論であるなら、意識を持つAIはすぐそこです。
もちろん針を動かす多くの方法があります。少なくとも私たちがよく知っているコンピュータについて話してきましたが、ニューロモーフィックコンピュータ、生物学的ニューラルネットワークを使用するハイブリッドコンピュータ、さらにはオルガノイドのようなものの例が増えています。オルガノイドは人間の胚性幹細胞から成長させた人間のニューロンでできています。
このAIとの対比は本当に示唆的だと思います。オルガノイドは私たちに話しかけません。私たちの心理的バイアスを引っ張るようなことは本当に何もしません。しかし同じもので作られています。ですから私が思うに、不確実性のクラス全体がなくなります。私は個人的に、次世代の言語モデルよりも、脳オルガノイドでの意識の不注意な出現についてはるかに懸念しています。
これらのことは今や、これはスタンフォードのセルジオ・パスコからの驚くべき論文で、人間の痛覚経路をモデル化する複数のオルガノイドを結合したものです。それはかなり心配です。
針を動かすことができます。問題は、AIが意識の信憑性について針を動かすために、どれほど脳のようでなければならないかということです。炭素でできていなければならないのでしょうか?他の何らかの方法でニューロモーフィックでなければならないだけでしょうか?
最後に、本物の意識を持つAIを構築しない理由があります。これはかなり明白だと思いますが、意識を持つAIを構築することは本当にひどいアイデアです。価値の整合性が難しくなるかもしれませんが、もちろん、本物の人工的苦痛を世界に導入する可能性があります。ですから、私たちは意識を持つAIを作ろうとすべきではありません。
誰かが私に送ってくれたこのツイートが大好きです。「SF作家、私の本で、警告の物語として苦悶のネクサスを発明しました。テック企業、ついに、古典的SF小説『苦悶のネクサスを作るな』からの苦悶のネクサスを作成しました」
そして最後の考えは、意識があるように見えるAIでさえ非常に悪い可能性があるということです。そしてここには哲学的不確実性はありません。
これらのものは一部の人々にとってすでにここにあり、言語モデルが良くなり、生成的ディープフェイクなどと結びつくにつれて来るでしょう。何かが意識を持っていると信じていなくても、意識があるという感覚に抵抗することがますます不可能になるでしょう。
そしてそれはジレンマを提起します。たとえそれらが意識を持っていないことを知っていても、意識があるように見えるものについて気にかけるか。そしてこれは私たちの道徳的関心の輪を歪めます。実際には必要としないものに資源を費やし、たとえ同じようにバイアスを引っ張らなくても、実際に必要とするものについてはあまり気にかけないかもしれません。
あるいは、それらが私たちには意識があるように見えても、これらのものについて気にかけないことに決めます。
そして哲学者、カントに戻りますが、これは私たちにとって非常に悪いことだと指摘しています。意識があると感じるものを、意識がないかのように悪く扱うことは、非常に心理的に不健康な場所です。それは私たちの心を残酷にします。この世界をナビゲートすることは困難であり、これらから必ずしも思考で抜け出すことはできません。
何が起こっているかを知っていても、抵抗できない多くの視覚的錯覚があります。これらの二つの線は異なる長さに見えます。それらは同じ長さです。ですから、私たちは認知的に貫通不可能な意識の錯覚に直面する可能性があると思います。状況について何を知っていても、それらが意識を持っていると感じることから思考で抜け出すことができないでしょう。
要約すると、意識を持つAIに関しては、私たちの動機とバイアスに注意してください。
計算機能主義は間違っているかもしれません。正しいかもしれません。しかしより強い積極的な議論が必要だと思います。シミュレーションは具現化ではありません。他にも多くの選択肢があります。そして私を占める問題は、ネッド・ブロックが述べているように、本当に肉やミトコンドリアが重要なのか、そしてもしそうならなぜなのかということです。
人工意識のテストは非常に困難であり、倫理的影響は本物の人工意識と意識があるように見えるAIとで異なります。そしてもし私たちが混同し、これらの本物の意識を持つAIシナリオに焦点を当てるだけなら、すでに哲学的不確実性なしに私たちと共にある明確かつ現在の倫理的問題から気をそらしてしまいます。これらのことは起こっています。未来の物体は見た目よりも近くにあります。
以上です。これは再び論文です。行動脳科学で探すことができます。
もしこれがあなたにコメントを引き起こしたなら、私が言ったことすべてが間違っている理由について、あるいは同意する場合でも、コメンタリーの提出を提案してください。私は通常ここで自分の本について言及しませんが、私の編集者スティーブン・モローが聴衆の中にいます。そしてシーもいます。
これは私にスティーブンに感謝する機会を与えてくれます。なぜなら、これらの本における編集者の仕事はしばしば見過ごされ、この本が持った成功は、そのようなものであるとすれば、スティーブンと他の編集者が本に貢献した編集に大きく起因しているからです。ここで止めます。どうもありがとうございました。
デイビッド・チャーマーズによる応答
アニル、本当に興味深い話、本当に魅力的な論文をありがとうございます。私はそれから本当に多くを学びましたし、私たちが受けやすいさまざまなバイアスが、AI意識の可能性を現在または近い将来において過大評価させることについて、完全に同意します。ですから、私たちはここの多くの問題について合意していると思います。
アニルの話は、彼が述べたこの近刊のBBS論文に基づいています。話で彼が言った興味深いことすべてに加えて、論文にはさらに興味深いことがあります。ですから、ぜひ見ていただくことを強くお勧めします。これらのコメントがこれらのさらなるテーマも引き出すことを願っています。
アニルが私たちに話したように、彼は少なくとも暫定的に生物学的自然主義のファンです。ある生物学的特性が意識に必要であるという見解です。そしてそれほど計算機能主義のファンではありません。つまり、適切な種類の計算を実行することが意識に十分であるという見解です。
そして彼が述べたように、これは意識を持つAIの可能性に重要な影響を及ぼします。なぜなら、私たちが現在持っているようなAIシステムの子孫、つまりシリコンベースの材料に基づくシステムが意識を持つ可能性は低いことを意味するからです。
まず、この広い立場の空間内で利用可能ないくつかのさらなる理論的選択肢を指摘したいと思いました。
まず、計算が何らかの形の意識に十分であるという計算機能主義に沿った一種の混合ハイブリッド見解を持つかもしれませんが、生物学はシステムが享受する特定の種類の意識状態に重要です。
この種の見解では、AIは意識を持つかもしれませんが、私たちと全く同じ意識的経験を持つことはないでしょう。
第二に、アニルが論文でより詳細に議論しているように、必ずしも生物学的自然主義を受け入れることなく計算機能主義を拒否するかもしれません。ここで私がさらに指摘したい選択肢は、ある種の物質的特性が意識に必要であるという考え方ですが、関連する物質的特性は特に生物学的ではないというものです。
意識の秘密が量子力学のようなサブ生物学的レベルにあると考える人もいるかもしれません。しかし現在の目的のために、私は計算機能主義と生物学的自然主義という単純化された二分法で作業するつもりです。
そして計算機能主義者がアニルの議論のいくつかに返答しようと試みるかもしれないいくつかの方法を考えたいと思います。ただし、それらすべてを考慮するスペースがないことを認めますし、すべてについて彼らが何と言うかはわかりません。
BBS論文では、生物学的自然主義の中心的な議論の一つが、アニルが言うように二つの物語から生まれています。一方では予測処理からの物語があり、他方では自由エネルギー原理からの物語があります。
これらのコメントで、予測処理と生物学的自然主義の関係について考えたいと思います。なぜなら、これらの立場が実際にどのように関連しているかは、論文では完全に明確ではなかったと思うからです。特に、予測処理と自由エネルギー最小化がアニルが理解するように計算機能主義と一致しており、それらが意識を説明する限りにおいて、実装基盤の側面ではなく計算的側面によってそうするかもしれないという代替見解を提示したいと思います。
予測処理アカウントが意識に関してある程度の説明的成功を享受してきたより具体的な例を考えるとき、この見解の魅力を理解できると思います。
少なくとも感覚システムに適用される予測処理アカウントの中心的な主張は、知覚処理のアーキテクチャがユニットに組織されているということです。
各ユニットは何らかの物体または刺激特徴についての事前仮説を持っています。そしてこの仮説は予測を生成するために使用され、それから下のレベルのユニットに送られます。下のレベルのユニットは、その現在の入力と予測された入力を比較し、それから不一致または予測誤差が階層を上方に渡されます。
そしてこれらは最終的に予測を生成した事前仮説を修正するために使用されます。最終的に予測と入力される感覚入力の間のこのバランスで、システムは受信した信号とその事前を考慮して環境の状態についての最良の推測を体現する事後に落ち着きます。
予測処理を意識の側面の説明としてサポートするためによく引用されるケースの一つは、両眼視野闘争です。
両眼視野闘争では何が起こるかというと、異なる色の異なるガボールグレーティングなどの二つの異なる刺激が二つの目に提示され、両方の刺激についての情報が視覚処理の初期段階で利用可能です。
しかし重要なことに、意識的経験は二つの混合またはハイブリッドを反映するのではなく、一方の刺激の経験と他方の刺激の経験の間を交互に行き来し、交替中の短い混合期間だけがあります。
そして闘争、現在の文脈でそれを興味深くする一つのことは、意識の科学理論にとってある種の興味深いテストケースであるということです。なぜならここでは両方の刺激が存在し、両方についての情報がどこかで処理されますが、一方だけが意識的になります、少なくともそれが標準的な物語です。
意識理論に、なぜ一方の刺激の表現が意識的になり、他方がそうでないのかを教えてもらいたいです。
そうすれば、脳における意識的処理と無意識的処理を区別するものについて少なくともいくらかの手がかりがあるかもしれません。
ベイズ的予測処理の闘争についてのアカウントは本質的に、意識は現在選択された仮説のみを反映し、その仮説選択は予測誤差最小化によって説明されると述べています。
顔と家から成る闘争刺激があると仮定しましょう。
まず予測処理アカウントは、顔と家の個別の事前確率が、おそらくかなりありそうにない刺激である顔と家のハイブリッドよりも著しく高いと仮定します。
そしてこの事前確率の違いは、混合仮説のより大きな尤度、つまり入力される感覚入力とのより大きな一貫性を上回るのに十分です。
そしてこれは、システムが混合よりも顔または家のいずれかを選ぶ理由を説明します。そしてアカウントは対立する顔と家の仮説の間の抑制を仮定し、現在選択された仮説のみが階層を下方に予測を渡すことができると示唆します。
しかし、一つの仮説、たとえば顔の仮説が支配し続けると、予測誤差が蓄積し続けます。なぜなら家の刺激もあり、家の刺激からの入力される感覚入力が顔の仮説によって説明されないからです。そしてこれは最終的にシステムを他の解釈に移行させる、あるいはそれらの誤差信号を説明し去ることにつながります。
ですから、少なくともここに、両眼視野闘争における意識的経験がなぜそのように交替するのかの説明の始まりがあります。
そしてここで交替は選択された仮説のシフトにマッピングされ、この選択は予測処理によって説明されることになっています。
さて、そのすべてのポイントは、少なくとも私がこれまで述べた限りでは、この説明について特に生物学的なものは何もないということを言うためでした。
私が思うに、アカウントの説明力は、私たちの変化する現象的経験と、システムが循環していると仮定される表現の内容との間の透明な結びつきから派生します。
予測処理アルゴリズムは脳によって実装されると仮定されていますが、意識、現象的特性へのこの説明的リンクを築くのは、それらの生理学的プロセスの計算的解釈、特にそれらの表現内容であるように思われます。
そうすると当然の疑問が生じます。なぜこのアルゴリズムを実装するどのハードウェアも、シリコンベースであろうと炭素ベースであろうと、同じ種類の経験を実現しないと考えないのでしょうか?
私がここで提案している代替立場を要約すると、議論のために提示するだけですが、計算機能主義者は、予測処理がニューラル基質依存プロセスによって実装されることを認めるかもしれませんが、意識的経験の説明に貢献するのは予測処理の計算的基質独立的側面のみであると主張するかもしれません。
アニルは論文でこの種の反論を認識しており、彼の大きな功績として論文でそれに敏感です。ですから、アニルはこの反論、つまり予測処理が意識を説明する限りにおいて意識の計算理論のパラダイムケースのように見えるという反論を認識しています。
しかし応答として彼は次のように書いています。誰かが予測処理がパラダイム的に計算的プロセスのように見えると心配するかもしれませんが、自由エネルギー原理との連続性は重要な区別を示しています。生物学的システムにおける予測処理は、連続量である自由エネルギーの最小化に基づく動的でおそらく基質依存的なプロセスです。
自由エネルギー原理は非常に大まかに言えば、脳は常に変分自由エネルギーとして知られる特定の量を最小化することを目指していると述べています。ここでの考え方は、脳で自由エネルギーが最小化される方法について特に生物学的な何かがある、少なくとも私がこの思考の流れを理解している方法ではそうであり、これが生物学と意識の間のこの説明的リンクを築くというものです。
しかし、計算機能主義の支持者はここでも押し戻すかもしれないと思います。すなわち、自由エネルギー最小化と自由エネルギー原理も特に生物学的ではないと主張します。なぜなら自由エネルギー最小化は、近似ベイズ推論を実行する多くのシステム、生物学的および人工的両方によって最小化される情報理論的量だからです。
私が理解する限り、自由エネルギーは、確率モデルと他の事柄の中で最適ベイズモデルとの間の乖離によって大まかに決定されます。しかしサム・ガーシュマンを含むさまざまな著者が指摘しているように、確率モデルを最適ベイズにできるだけ近づけようとするシステムは、一般的に自由エネルギーを最小化していると解釈できます。
ですから、少なくともこの数学的意味での自由エネルギー最小化は、再び特に生物学的ではありませんが、機械学習でも実装可能なもののように見えます。
しかしアニルは、そして彼が話の中で述べたように、自由エネルギー最小化と生物学の間にはるかに深いつながりがあることを示唆しています。すなわち、自由エネルギー最小化が代謝や恒常性のような原始的な生物学的プロセスに組み込まれているかもしれないということです。
彼は、予測処理と自由エネルギー原理は「生きている物質のオートポイエティックで興奮性のある性質に不可分に結びついている」と示唆しています。
しかし、この見解は新しい課題を提示すると思います。具体的には、もし意識に関連する意味での自由エネルギー最小化が、単細胞生物のような代謝のような普及した生物学的プロセスでさえ起こるなら、多くの人々にとってこれは実際に自由エネルギー原理と意識との間の説明的つながりを弱める可能性があります。なぜなら、より一般的に、自由エネルギー最小化が普及すればするほど、このプロセスが本当に意識システムと無意識システムの間の分水嶺を示すということはより論争的になるべきだからです。
もしあなたがバクテリアは意識を持たないが私たちは持っていると考えるなら。しかし私は、これが新しい課題ではないことに注意すべきです。
実際、アニルの枠組みに概ね共感的な最近の論文で、カーチョフとフリースは次のように書いています。もし心性が自由エネルギー最小化のプロセスで実現され、もし自由エネルギー最小化が人間から振り子時計、原始スープまですべてに適用されるなら、心性はほぼどこにでもあることがわかるかもしれません。
ですから、この種の過度に寛容な意識の概念についての懸念があります。
一般的に生物学的プロセスが自由エネルギー最小化を実行する予測エンジンとして理解できるとしても、これが自由エネルギー最小化が意識を説明する、あるいは意識が特に生物学的であることを私たちに納得させるべきではないと心配しています。
しかしもちろん、アニルがここで主張するのは自由です。特に生物学的な形式の自由エネルギー最小化は意識に単に必要であって十分ではないと。その通り、それがここでの選択肢であることを完全に認めます。
しかしそうすると、いつものように問題になるのは、もしそれが十分ではなく必要なだけなら、他に何が必要なのかということです。ありがとうございました。
コメント