この動画は、ピューリッツァー賞受賞作「ゲーデル、エッシャー、バッハ」の著者である認知科学者ダグ・ホフスタッターが、AIの現状と人間の意識について語るインタビューである。ホフスタッターは自己言及やゲーデルの不完全性定理から着想を得て人間の意識を理解しようと試み、現在のAIの急速な発展に対する深い懸念を表明している。彼は特に大規模言語モデルの能力向上が人類を凌駕する可能性について恐怖を感じており、人間がコンピュータシステムに取って代わられる未来への不安を率直に語っている。
ホフスタッターの原点：意識と自己言及への関心
突然、頭の中にある物理的な物体である脳が、私たちが自分自身だと考えるすべてのもの、感情、魂、私たちに関するすべてのことに責任を持っているということが、レンガの山のように私を打ちのめしました。そして、物理的な物体が自己や魂や目のような抽象的で言葉では言い表せないものをどのようにして支えることができるのかという、あらゆる疑問を抱くようになりました。
ダグ・ホフスタッターは認知科学者であり、インディアナ大学の教授ですが、ピューリッツァー賞を受賞した著書「ゲーデル、エッシャー、バッハ」の著者として最もよく知られています。私にとって、そして私の世代の多くの人々にとって、愛情を込めてGEBと呼んでいたこの本は、計算システム、心の働き、そしてパラドックスの美しさに対する私たちの共通の魅力をまとめた画期的な作品でした。芸術と音楽と数学の間のつながりを描いていることは言うまでもなく、これらはすべて私が深く愛するものです。
パートナーであるスコット・キムのおかげで、ダグは長年にわたって私の人生の一部となっています。スコットとダグが初めて出会ったのは1975年のことで、GEBの創作を育んだ友人たちの輪の一員でした。ダグの心への関心の起源、どのようにして「ゲーデル、エッシャー、バッハ」を書くことになったのか、そして最近のAIの進歩の波について彼がどう考えているかについて話し合います。
あなたが最初にAIと認知科学に興味を持ったきっかけは何でしたか？
私は、英語で文章を作るのではなく、フランス語で文章を作るのはどうしてなのだろうと疑問に思いました。アイデアが湧き上がってくることが、その時の私を魅了しました。また、私はある種の創造的な天才たちを非常に賞賛しており、彼らの心について、彼らがどのようにして自分のしていることをしているのかについて疑問に思いました。
私の妹、一番下の妹のモリーには脳損傷がありました。「脳損傷」などの言葉についてそれほど考えていませんでしたが、両親が脳に関する本を買い、私がモリーのことを考えながらその本を読み始めた時、突然、頭の中にある物理的な物体である脳が、私たちが自分自身だと考えるすべてのもの、感情、魂、私たちに関するすべてのことに責任を持っているということが、レンガの山のように私を打ちのめしました。
そして、物理的な物体が自己や魂や目のような抽象的で言葉では言い表せないものをどのようにして支えることができるのかという、あらゆる疑問を抱くようになりました。
最後に、14歳か15歳の時に、アーネスト・ネーゲルとジェームズ・R・ニューマンによる「ゲーデルの証明」という本を読みました。その本は、ある意味で数学の中心にある全体について、つまり証明不可能な文の考えについて書かれていました。それらが証明不可能である理由は、予期しない方法で数学の文が自分自身について語ることができるからでした。
オーストリアの論理学者ゲーデルは1930年から31年にかけて、本質的に「私はある形式体系内では証明不可能である」と述べる文を作ることができました。文が自分自身について語ることができるということは、私にとって奇跡的なことでした。そして、それは私の心にあらゆる扉を開きました。
それとあと一つ、非常に重要なことがありました。15歳の時に友人のチャーリー・ブレナーからプログラミングを学び、あらゆるものをプログラミングし始めました。プログラマーだったので、コンピュータがどのように動作するかを知っていました。1960年代半ばに、構文ネットワークを通るランダムに選択された経路と、名詞や動詞や副詞などの品詞を埋めるランダムに選択された単語を使って、ランダムな文を作成できるプログラムを作成しました。
文章の中には非常に長く複雑で非常にユーモラスなものもあれば、それほどユーモラスではないもの、実際にはかなり意味のあるように聞こえるものもありました。それもまた、このコンピュータの中で起こっていることで、私がフランス語や英語やその他の言語で文章を思いつく時に起こることと似ているものは何か、そして違うものは何かについて考えさせました。
つまり、コンピュータ、妹のモリー、言語への関心、ゲーデルの定理、そして非常に多くのことが組み合わさって、これらの問題に興味を持つようになったのです。
自己言及という概念の核心
あなたは再帰や自己反射に関する「あはっ」という瞬間について言及されましたが、それについてもう少し詳しく教えていただけますか？これはGEBの基本的な概念でもあり、今日のAIや大規模言語モデルで議論されている基本的な概念でもありますから。
ゲーデルの構成における自己言及は、非常に驚くべき方法で生まれます。1910年頃から13年にかけて、バートランド・ラッセルとアルフレッド・ノース・ホワイトという二人の重要な哲学者が「プリンキピア・マテマティカ」つまり数学の基礎という作品を作りました。彼らは数学を論理学に基礎づけようとしましたが、ラッセルが自分自身を含まない集合すべての集合を含むパラドックスを作っていたため、このパラドックスが数学にとって致命的であることを知っていました。
そこで彼は、そのようなことについて語ることができないシステムを作りたいと考え、詳しくは触れませんが「型の理論」と呼ばれるアイデアを作りました。これは集合が自分自身を含むことを防ぎ、文が自分自身について語ることを防ぐなどの効果がありました。彼は自己言及を追放することによって、すべての数学の基本的な基礎を作ることができると考えました。これをアルフレッド・ノース・ホワイトヘッドと共同で行いました。
しかし、驚くべきことに、ゲーデルが24、25歳頃の時に、数がものを表すことができるというアイデアを思いつきました。私たちは数があらゆる方法でものを表すことを知っており、数は記号を表すことができます。そこで彼は、数について書かれた文でありながら、同時に第二のレベルでは記号について読むことができる文を作ることができました。
結果として、彼はプリンキピア・マテマティカの文や公式の構造全体を数にマッピングする方法を見つけ出しました。つまり、彼が作成した文は、一つのレベルでは数についての文として読むことができましたが、第二のレベルでは、プリンキピア・マテマティカの形式構造についての文として読むことができ、それによって定理や証明や公理などについて語ることができるようになりました。
実際、この文が「私は証明できない」と言う方法は、実際には「プリンキピア・マテマティカにおけるある公式の導出は存在しない」と言っており、導出とは証明を意味します。そして、話している「ある公式」が、ゲーデルが記号と数の間に作ったマッピングによって、それ自体であることが判明します。
このようにして、彼はバートランド・ラッセルが自己言及を追放するために築いた要塞の中に、自己言及文を作ることになりました。それは驚くべきことであり、ラッセルのすべてのアイデアを迂回し、自己言及を最善の努力にもかかわらず不可避なものに変えました。それは私には非常に魔法的に見え、脳は無生物であるように見えるという考えを思い出させました。
脳は無生物的な分子で作られているという意味で無生物的に見えます。それらの分子は単に化学的なことをしているだけです。しかし、何らかの形でそこから生命だけでなく、知覚する能力、世界に反応する能力、さらには自己モデルを作る能力、意識の感覚を作る能力が生まれます。
これは脳を見る第二のレベルのようなものです。一つのレベルでは、脳は単なる物理的な物体であり、第二のレベルでは、思考し、感じ、意識を持つ存在を作り出すという非常に魔法的なものです。そこで私は意識とゲーデルの構成の間に類推を作り、それを説明しようとしました。約25年後に出版した「私は不思議なループである」という本で、もう少しうまくやったと思います。
「ゲーデル、エッシャー、バッハ」誕生の物語
つまり、あなたはかなり長い間この糸を引っ張り続けてきたわけですね。
はい、実際、初めてそれについて考えたのは16歳の時でしたから、GEBを書いたのは30代前半になってからです。実際には1961年頃まで遡ります。60年以上になります。
要塞に入り込んで起こさないというのは、数学的なトロイの木馬のような素晴らしい物語ですね。
その通りです。それは適切な表現ですね。その物語が大好きです。公式に追放されていたにもかかわらず自己言及を持ち込み、そしてそれが完全に支配してしまったという。
それでは、GEBがどのように生まれたかという物語を聞かせてください。これは、どんな本を書くにしても、ましてやあのような本を書くにしても、出版社を見つけるにしても、そしてそれをまとめて世界に出す勇気を持つにしても、記念碑的な努力です。その旅路はどのようなものでしたか？
1966年に数学の大学院生になりましたが、扱いきれずに中退しました。抽象的すぎて、2年間数学と格闘した後、1968年に物理学に飛び込みました。1968年に物理学の大学院生になり、物理学で苦闘しました。それは長い話で複雑で、詳しくは話したくありませんが、私の人生の非常に苦痛な部分でした。それはかなりの年数続きました。
多くのことに興味がありましたが、物理学に進む際に、コンピュータ、意識、自己言及、ゲーデルの定理への関心をずっと置き去りにしていました。しかし、私がいたオレゴン大学の書店をぶらぶらするのが好きで、ある日ハワード・デロングの「数理論理学の概要」という本に出会いました。
好奇心から手に取りました。ゲーデルの定理は数理論理学に属しており、何年も前の古い関心を思い出させました。手に取ってページをめくり始めると、完全に引き込まれました。その本への非常に急速な陶酔でした。その本は、自己言及などに対する私の情熱的な関心をすべて再び燃え上がらせました。物理学の学生だったにもかかわらず、そのことを考えずにはいられませんでした。
これは1972年頃、72年から73年のことでした。そして、これらのことを考えずにはいられませんでした。ある日、友人のロバート・バーニンガーに手紙を書き始めました。長い手紙で、コロラド州ボルダーにいて、コロラド大学の図書館にいました。大きなテーブルに座って、たくさんの紙を持っていて、意識、数学、抽象構造、コード、自己言及、コンピュータ、形式システム、証明など、非常に多くのことについての私のアイデアの一部を展開する手紙を書きました。
32ページの手紙を書きました。3、4時間かかりました。今日はこれ以上進めないと思いましたが、やるべきことの半分程度は終わったかもしれません。だからこの手紙を送って、近い将来に手紙の残り半分を書くかもしれません。
その32ページの手紙がGEBの萌芽のようなものでした。結局もう32ページは書きませんでしたが、数ヶ月後にオレゴンに戻った時、当時「ゲーデルの定理と人間の脳」と呼ばれていた本の草稿を書くことになりました。それが最初のタイトルでした。1973年の秋に非常に迅速にそれをすべて行いました。
罫線の入った普通の紙にペンで200ページほどの本を書きました。ある日、特定の問題について考えていた時、ルイス・キャロルが書いた「アキレスに亀が言ったこと」という対話をモデルにした対話を書き始めました。同じキャラクターを使い、私自身の対話で亀とアキレスを使いました。彼らは非常にユーモラスなキャラクターで、彼らのキャラクターの特徴を捉えて面白い対話を書くことができました。
これは楽しいと思い、本に入れてみようと考えました。そして時々もっと対話を書くという気分になり、2、3本追加で書きました。ある時点で、構造的にやや巧妙な対話を書き、楽しみのために対話の冒頭に戻って「フーガ」という単語を打ちました。本当にフーガ的ではありませんでしたが、漠然とフーガを思い出させました。
突然、その一つの単語を書いたことが、私の心に、フーガのような対話や、カノンのようなバッハの他の種類の作品を書けるかもしれないというアイデアを呼び起こしました。カノン（c-a-n-o-n）は音楽の輪唱のようなものですが、より複雑になることができます。興味深い構造形式と興味深いアイデアの両方を持つ対話は斬新だろうと思いました。
それが本の第二の側面になりました。最初はバッハの音楽などに基づいた興味深い構造形式を持つ対話を書くことでした。構造はどんどん精巧になり、最終的に連続する章のすべてのペアの間に複雑に構造化された対話を挿入することになりました。それによって本は「ゲーデルの定理と人間の脳」という本とは非常に異なった味わいを持つようになり、異なるタイトルが必要だということが分かりました。
対位法音楽が本の対話の構造を決定する上で非常に重要な役割を果たしていたので、ゲーデルとバッハ、そして父が本の初期の草稿を読んで少し批評してくれた時のことも決めました。彼は私にとって有用な多くのことを言ってくれましたが、その中の一つに「なぜもっと絵を入れないのか」ということがありました。
本の多くを書いている間、私の心の奥にはM.C.エッシャーのパラドックス的で奇妙な絵が浮かんでいたことに気づきました。しかし、読者にはそれについて何も話していませんでした。エッシャーの絵についても他の誰の絵についても一切言及していませんでした。父が絵を入れるべきだと思うなら、なぜエッシャーを含めないのかと思いました。
それでエッシャーが本に入り、そして私は考えました。この本は本当に芸術への言及、音楽への言及で満ちており、もちろんゲーデルもいるのだから、なぜ単純に「ゲーデル、エッシャー、バッハ」と呼ばないのか。それは人々に提案するでしょう。もちろん知識のある人には、エッシャーはあまり知られていませんでしたし、ゲーデルは確実に知られていませんでしたから、バッハという単語以外には人々にあまり多くを提案しないかもしれませんでした。
それから副題「永遠の黄金の編み紐」を発明しました。これは同じ三つの文字EGBを異なった順序で並べたものでした。本全体のアイデアがどんどん自己関与的になっていきました。1975年から77年にかけてスタンフォードで本の第三稿を書いている間、スコットと知り合いになり、スコットの書き方が私に大きな影響を与えました。
彼は言葉遣いにおいて非常に遊び心があり、並行した段落を使うのが大好きでした。一つのことについて語る段落を書き、それからほとんど同じだが全く異なることについて語る段落を書きました。私はそれを非常に美しいと思い、本で書いたかなりの部分に影響を与えました。最終版の執筆である1975年から77年の間、スコットと膨大な時間を過ごしていました。
それから幸運にも自分の本を組版することができました。それらは別の話で、どれほど重要かは分かりません。
ワオ、すごいですね。スコットが本を書くために使ったテキスト編集プログラムと、組版に使った組版プログラムも書いたのですね。
出版への道のり
どのようにして出版社を見つけたのですか？
非常にナイーブでした。カバーレターを書いて、1、2章を取って、複数の出版社に送りました。最初に考えた出版社のほとんどからは拒否されました。彼らは興味深いと思うが、彼らのタイプの本ではないと言いました。
しかし、12番目だったと思いますが、送った出版社であるベーシック・ブックスが熱心でした。彼らがそれをジェレミー・バーンスタインという物理学者に送ったからだと思います。バーンスタインは信じられないほど好意的なレビューを与えました。ジェレミー・バーンスタインのおかげだと思います。おそらくもう一人の物理学者であるフリーマン・ダイソンも非常に肯定的なコメントを与えました。
ベーシック・ブックスのマーティン・ケスラーがそれらを送ったのだと思います。彼は社長でした。これらの非常に知識豊富な人々からそのような好意的な報告を受け取ったために、本がベーシック・ブックスに受け入れられたのだと信じています。
それから何という予期しないヒットでしたね。
予期しないヒットでした。あなたの言う通りかもしれません。同時に、再びスコットのおかげでもあります。彼が「ストレンジ・ループ・ガゼット」という文書を書いたからです。ストレンジ・ループという概念は、ゲーデルの定理の核心にあり、人間の「私」の核心にもあるこの自己言及のアイデアを表していました。それはGEBで、特に本の終わりに向かって非常によく使った用語でした。
スコットは「ストレンジ・ループ・ガゼット」を書きました。これは私たちが共有していた偶像であるマーティン・ガードナーに本の多くを説明する数ページの文書でした。マーティン・ガードナーは「サイエンティフィック・アメリカン」誌で「数学ゲーム」と呼ばれる月刊コラムを書いていました。
スコットが書いてマーティン・ガードナーに送ったその手紙（手紙と呼びたければですが、手紙以上のものでした）、とにかく「ストレンジ・ループ・ガゼット」がマーティン・ガードナーを本について非常に興奮させ、彼は本について信じられないほど好意的なレビューを書きました。それが本の人気と成功を大いに推進したに違いありません。
彼は1979年7月にそれを書き、本は翌年の半ばにピューリッツァー賞と別の賞を受賞しました。確実に、スコットのおかげだと言えるマーティン・ガードナーの推薦が重要でした。
ワオ、彼のコラムも私が学校にいた時のもう一つの試金石でした。「サイエンティフィック・アメリカン」が郵便受けに届くたびに、まず最初にめくったのは約125ページで、今月マーティン・ガードナーは何を言うのかを見ていました。何という素晴らしい人、何という素晴らしい物語でしょう。
現在のAIに対するホフスタッターの見解
GEBのすべてのアイデアの中で、今日のAI科学者や愛好家にとって最も関連があると思うものはどれですか？
「私」とは何か、意識とは何か、思考とは正確に何かという問題が依然として残っています。多くの人々は、特にコンピュータ（ChatGPTのようなものは通常コンピュータと呼ぶものよりもはるかに大きなシステムなので、コンピュータという言葉を使いたくないのですが、とにかく将来は滑ってしまうかもしれませんがコンピュータと言ってしまうかもしれませんが、実際には計算システムと言いたいのです）、人間とは非常に異なるハードウェアで作られたそのようなものが、経験、感情、思考、アイデア、彼らが言っていることの意味のようなものを持つことができるのかどうかについて困惑しています。
ChatGPTのようなシステムから出てくるすべてのものは本質的に無意味であり、それは何も理解していないシステムによって記号が叩き回されているだけだと言う否定的な人々がいます。私はそれは誤解を招く誤った意見だと思います。
1960年代半ばに文を作成するプログラムを書いていた時に学んだことの一部は、文を作成する計算システムとどう違うのだろうと疑問に思っていたということです。本質的な違いは、計算システムでは単語の背後に意味がなく、私の単語の背後には意味があるということだと感じました。何が違いを生み、何かに意味を持たせるのでしょうか？
何かに意味を持たせるものについて長い間考え、GEBでもそれについて多く語りました。GEBは形式システムで満ちています。それらは実際には計算システムとは完全に同じではありませんが、似ています。記号を導き、記号を特定の方法で動作させる形式的なルールです。
そのシステムの記号が現実世界の何かを追跡している時、現実世界の何かと並行している時、それらのものを表していると言えるほど正確に、私は感じました。私の文作成プログラムでは、単語は何も追跡していませんでした。構文ネットワークへの経路を選択し、単語を選択するプログラムによって、単語がランダムに押し回されていただけでした。
しかし、単語が特定の意味を持っているために使われているのではなく、ランダムに押し込まれていただけでした。しかし、単語が現象と非常に体系的に相関している時、長期間にわたって非常に一貫性のある方法で、その単語や記号が本当に意味を持っていると言えると信じるようになります。
今日のシステムはそれを大いに行っているようです。時々彼らは完全に失敗します。最近、ChatGPTによる「証明」（引用符付きの証明）を見ましたが、nが整数である時の3n+1の形のすべての数は奇数であることを証明すると主張していました。これはクレイジーで、ナンセンスです。これらのチャットボットによってまだ時々大量のナンセンスが生産されているのを見つけますが、時間とともに減少しており、彼らが生産しているものの多くは完全に一貫性があり、信じられ、筋が通っています。
そうすると、私は彼らが使っている記号に意味を割り当て始めなければならず、ここに意味があるなら、ここにアイデアがあり、ここにアイデアがあるなら、ここに思考があり、思考があるなら、ここにある程度の意識があると言わなければなりません。それは一種の滑りやすい坂で、現在私たちはその滑りやすい坂のどこにいるのかわかりません。よく理解していません。
GEBは、そして後に「私は不思議なループである」は、本当に自己や魂を作るものは何かを示そうとしていました。私は宗教的な意味ではなく、人間の「私」つまり大文字の「私」の同義語のような意味で魂という言葉を使うのが好きです。人間が有効に「私」と言えるようになるのは何か、その言葉の使用を正当化するのは何でしょうか？
コンピュータが「私」と言える時はいつで、舞台裏に本物の「私」があると感じられるのでしょうか？薬局に電話して、チャットボット（そう呼ぶべきかどうか分かりませんが、とにかく電話の何と呼ぼうと）が「何が欲しいか教えてください。人間と話したいことは分かっていますが、まず数語で何が欲しいか教えてください。完全な文を理解できます」と言い、何かを言うと「処方箋を補充したいですか」と言い、「はい」と言うと「了解」つまり「私は了解した」と言うような意味での「私」のことは言っていません。
そこに「私」がいるかのように振る舞いますが、そこに「私」がいるという感覚は全くありません。それは私には最低限の機械的なプロセスのように感じられます。しかし、ChatGPT-3やChatGPT-4のようなより高度なものの場合、「私」という言葉に値する何かがそこにあるように感じられ、疑問はいつ私たちがそれらのものを本格的な、あるいは少なくとも部分的に成熟した「私」として考えることに値すると感じるようになるかです。
個人的に私は、これが今起こっているのではないかと心配していますが、今起こっているだけでなく、今生じているあるものは人間の意識や人間の自己に似ているだけでなく、非常に異なっており、一つの方法では私にとって極めて恐ろしいものです。それらは並外れて知識が豊富で、並外れて速いのです。
私が何かをするのに1時間かかるとすると、ChatGPT-4は1秒かかるかもしれません。1秒もかからないかもしれません。全く同じことをするのに。それは、これらの実体（何と考えようと）が非常にすぐに、今でも彼らは私たちがそれらを私たちより知的だと呼べないほど多くの間違いをまだ犯していますが、非常にすぐに彼らは私たちより知的になるかもしれず、私たちよりもはるかに知的になるかもしれないことを示唆しています。
その時点で、私たちはある意味で背景に後退することになり、ある意味で私たちは後継者にバトンを渡すことになるでしょう。良くも悪くも。これが何百年もの長期間にわたって起こるなら、それは大丈夫かもしれませんが、数年という期間で起こっています。前例のない想像もしなかった速度で私たちを洗い流す津波のようなものです。
私にとって、それは私がかつて真実だと信じていたすべてのことがひっくり返されることを示唆しているため、非常に恐ろしいことです。
恐怖の具体的な内容
具体的にあなたを恐怖に陥れるものは何ですか？本当に心配している問題は何ですか？
認知科学と心と計算の研究を始めた時、これは何年も前の1960年頃のことですが、コンピュータがどのように動作するかを知っており、それらがいかに極めて硬直的であるかを知っていました。最小のタイピングエラーでも、プログラム全体が完全に台無しになり、デバッグは非常に困難な技術で、バグを取り除くためにプログラムを何度も実行しなければならないかもしれませんでした。
実行されても非常に硬直的で、やりたいことを正確に言っていなかったために、やりたいことを正確にしないかもしれませんでした。プログラムを変更しなければならず、延々と続きました。コンピュータは非常に硬直的で、コンピュータができることとできないことについてある種の感覚を持って育ちました。
人工知能について聞いた時、それは硬直したシステムを流動的に動作させるという非常に魅力的な目標だと思いましたが、私にとってそれは非常に長い遠い目標でした。無限に遠いように感じられました。人工知能は非常に硬直したシステムを流動的であるかのように動作させる技術のように感じられ、それには膨大な時間がかかると感じました。
人間の心に遠隔的に似たものが人間の心のレベルに下から漸近的に接近するまでに何百年もかかると感じました。コンピュータが人間の知能に匹敵する、ましてやそれを上回ることができるとは想像していませんでした。原理的には人間の知能に匹敵できると思いました。それができない理由は見当たりませんでしたが、それは非常に遠い目標のように思えたので、心配していませんでした。
しかし、約20年前にあるシステムが現れ始めた時、私は立ち止まりました。それから、コンピュータができるはずのない到達不可能な目標と物事が加速するペースで倒れ始めました。ガルリ・カスパロフのディープブルーによる敗北、そして囲碁システムに進み、世界最高の囲碁プレイヤーの何人かを倒すことができる囲碁プログラムシステム、そして言語間の翻訳でどんどん良くなるシステム、そして自然言語での難しい質問に対する理解できる応答の生成、さらには詩の作成まで。
私の知的建造物全体、信念体系が、これは非常にトラウマ的な経験です。世界についてのあなたの最も核心的な信念のいくつかが崩壊し始める時、特に人間がすぐに凌駕されると思う時。私の信念体系が崩壊しているだけでなく、全人類がすぐに凌駕されて置き去りにされるように感じられました。
人々は私が「すぐに」とはどういう意味かと尋ね、私は自分が実際に何を意味するのか分かりません。知る方法がありませんが、私の一部は5年と言い、一部は20年と言い、一部は分からないと言います。しかし、進歩、加速する進歩は非常に予期しなかったもので、私だけでなく多くの人々を完全に不意を突いたため、全人類を不意に捕らえる迫り来る津波のような一種の恐怖があります。
それが私たちが作成したシステムが私たちを破壊するという意味で人類の終焉を意味するのかどうかは明確ではありません。それがそうなのかどうかは明確ではありませんが、それは確実に考えられることです。そうでないとしても、それは単に人類を、私たちよりもはるかに知的で、私たちには理解できないものとなる他の何かと比較して非常に小さな現象にしてしまいます。私たちがゴキブリにとって理解できないのと同じように、私たちにとって理解できないものに。
それは興味深い考えですが、私はそれが興味深いとは思いません。恐ろしいと思います。それが嫌いで、考えずにはいられません。毎日、実際に毎日そのことを考えています。そして、それは長い間なかった方法で私を圧倒し、落ち込ませます。
本当に強烈ですね。あなたの時間は非常に短いことを知っているので、また別の機会に話すかもしれませんが、あなたのような人がそのように感じているということを知ることは非常に強力です。あなたには独特の視点があると思うからです。
大規模言語モデルが与えた衝撃
すでに観客からの質問が寄せられているので、大規模言語モデルは人間の思考と創造性がどのように働くかについてのあなたの見解にどのような影響を与えましたか？
ある意味で、それは人間の創造性などが脳のハードウェアから来るという考えを強化しました。脳のハードウェア、つまりニューラルネットワーク以外には何もありません。しかし、私を完全に驚かせたことの一つは、これらの大規模言語モデルや類似したシステムはすべてフィードフォワードであるということです。
ニューロンの発火が一方向にのみ進み、一方向にのみニューロンが発火するネットワークから深い思考が生まれるとは決して思いませんでした。それは私には理にかなっていませんが、それは私がナイーブであることを示しているだけです。
また、人間の心は私がGEBや「私は不思議なループである」を書いていた時に想像していたほど神秘的で複雑で不可解に複雑ではないのかもしれないという気持ちにもなります。何年も前のそれらの時代に、私たちから計算的に匹敵するものに到達するのは非常に遠いと感じていました。より流動的になっていましたが、非常に短時間で起こるとは思っていませんでした。
それは私を小さく感じさせます。ある意味で非常に不完全で欠陥のある構造のように感じさせます。私の百万倍または十億倍多くの知識を持ち、十億倍速いこれらの計算システムと比較して、私を極めて劣っていると感じさせ、凌駕されることに値しないとは言いたくないが、ほとんどそのように感じます。
私たち人間は皆、知らないうちにすぐに凌駕されるだろうし、当然そうされるだろう、なぜなら私たちは非常に不完全で誤りやすいからです。私たちは常に物事を忘れ、常に物事を混同し、常に自分自身と矛盾しています。それは単に私たちがいかに限られているかを示しているのかもしれません。
歴史的な類推：火の発見
人類の歴史上、多くの賢い人々を恐怖に陥れた類似のものがあった時代はありますか？
火ですね。ためらいもしませんでしたね。それから何を学ぶことができるでしょうか？
分かりません。注意深さでしょうか。しかし、私たちはすでに行き過ぎてしまったかもしれません。すでに森を燃やしてしまったかもしれません。私には後戻りする方法はないように思えます。
これらの発展がどれほど重要かという質問に対して、ジェフ・ヒントンが産業革命と同じくらい重要かと聞かれた時、彼は少し考えて「車輪と同じくらい重要かもしれない」と言ったインタビューを見ました。これらすべての種類のシステムの開発における最も中心的な人物であるジェフ・ヒントンが、自分の人生の仕事を後悔するかもしれないと言いました。彼の言った一部は、自分の人生の仕事のすべてを後悔すると言いました。
終わりに：喜びを見つけること
最近あなたに喜びをもたらすものは何ですか？
友人が話す巧妙な警句、機知に富んだ言葉、自発的な言葉遊びやジョークが私に喜びをもたらします。友人に会うことも私に喜びをもたらします。今日ここにいて視点を共有することで、あなたは私たちに多くの喜びをもたらしてくれました。私の喜びです。本当に貴重でした。ありがとうございます。
コメント