17,107 文字
こんにちは皆さん、ベネフィシャル・ジェネラル・インテリジェンス・サミットに先立つ最初の対談へようこそ。文化的アイコンとAGIの父が出会う対談です。二人の科学的天才を迎えています。マイケル・ジャクソン、プリンス、ボブ・マーリーなどを世に送り出したハワード・ブルームです。彼はまた宇宙学者、物理学者、量子科学者でもあり、『ルシファーの原理』『グローバル・ブレイン』『神の問題』など多くの著作を持っています。これらについては今日の会話の中で言及していきます。そしてシンギュラリティネットの創設者であり人工知能の父でもあるベン・ゲーツェル博士です。
まず最初に、ハワードが私に話したところによると、あなた方は初めて会うとのことですが、私自身はハワードに何度か直接お会いしたことを誇りに思っています。ですが、お二人はどのように知り合ったのでしょうか？ハワードからご説明いただき、そのあとにベンの解釈も聞かせていただければと思います。
ハワード：ずっと昔、1990年代初頭に私は慢性疲労症候群で寝たきりになっていました。そんな中で生活を送る唯一の方法はオンラインに出かけることだと学びました。当時1983年からインターネットに接続していたので、オンライン上に別の人格を作り上げました。それは私自身でしたが、異なるメディアでの私でした。そして探索に出かけたところ、ウェブサイトが本格的に登場する前の時代に、ある興味深いサイトを見つけました。それは百科事典サイバネティカという膨大でとても魅力的なサイトでした。
そこには「グローバル・ブレイン」というページがあり、数人の人々が「この偽物のハワード・ブルームとは何者か」という議論をしていました。彼らは、このニセのハワード・ブルームには学術的な資格がないので完全なインチキに違いないと結論づけていました。当時、私は「グローバル・ブレイン」という本に取り組んでいましたので、グローバル・ブレインは私にとって大変興味深いテーマでした。そこで私は、必ずしも自分の居場所ではなかったかもしれないその会話に割り込み、自分の限られた能力の中で自己紹介をしました。それは私に大きな印象を残しました。
その後、百科事典サイバネティカを運営していたヴォルフガング・H・ホッフェラーが2014年頃、ウィーンで行われた情報科学サミットに私を招待してくれました。私はそこで2回講演し、彼はハワード・ブルーム研究所の名誉顧問になりました。明らかにヴォルフガングは私に対する意見をどこかで変えたようです。
一方、ベンは徐々に伝説として台頭し、時間の経過とともにその伝説の力が成長していくのを感じることができました。そして昨年、もう一人の友人であるアー・ユー・シリアス、またの名をケン・ゴッフマンが私にインタビューをするよう頼んできました。私たちは長時間のインタビューを行い、彼は何かAIが作成した原稿を送ってきました。それは少しおかしなもので、編集するのに一週間の作業時間がかかりました。その間、彼は「mplex」について何かつぶやいていましたが、それは私が以前に聞いたことのない言葉でした。結局、彼はこの記事を誰のために作っていたかというと、なんとベン・ゲーツェルでした。ですから、ベンは1990年代のある時点から私の人生の周辺にいたのです。
マハ：それでは、ベンはどう解釈していますか？ベンがあなたを好きなのは分かっていますが、どうやって距離を超えてあなたを好きになれたのか不思議に思います。それとも私たち全員と同じなのでしょうか？どうぞ、ベン。
ベン：私たちの交差には2つの段階がありました。ハワードが言うように、最初はグローバル・ブレインという概念が注目を集め始めた頃でした。グローバル・ブレインという概念自体は、形を変えながら昔から存在していました。数世紀、あるいは数千年前まで遡るかもしれません。少なくともテイヤール・ド・シャルダンのオメガ点などまで遡ります。しかし、インターネットが存在し、1990年代後半にウェブが広がり始めると、グローバルな認知情報の自己組織化ネクサスという考えをより多くの人が真剣に考え始めました。
私はフランシス・ヘイランと話していました。彼は後にブリュッセル自由大学にグローバル・ブレイン研究所を設立しました。今では彼の博士課程の学生の何人かが私の様々なAIプロジェクトで一緒に働いています。また、ロシアAIの主要な創設者の一人であるヴァレンティン・トゥレンとも話していました。彼は1960年代後半のソビエト・ロシアで出版された『科学の現象』という本の中でグローバル・ブレインのアイデアに触れていました。
トゥレン、現在パシフィック・ノースウェスト国立研究所にいるクリフ・ジョセフソン、フランシス・ヘイラン、私たちはみなグローバル・ブレインの概念を一貫した科学的なものにしようとしていました。それと同時に、その概念がもともと持っていた宇宙的で、ほとんど精神的な考え方も捉えようとしていました。そして、ハワードはグローバル・ブレインに関する本を持っていました。その焦点は少し異なっていましたが、テーマは似ていました。
その少し後に、私はヒューマニティ・プラスという非営利団体で働き始めました。これは最初はワールド・トランスヒューマニスト協会と呼ばれていました。ニック・ボストロムがその時運営していました。ニックと私は一緒に座って組織の規約を書き直していました。そして、私たちはワールド・トランスヒューマニスト協会をヒューマニティ・プラスと改名し、そこからH+という雑誌を発行しました。
ケン、別名アー・ユー・シリアスを、彼の1990年代後半のMondo 2000という雑誌での素晴らしい仕事に基づいて、その雑誌の編集者として招きました。そして、ハワードがアー・ユー・シリアスが編集していたH+雑誌の寄稿者として再び現れました。現在、アー・ユー・シリアスはシンギュラリティで私たちと一緒にMind Plexという雑誌に取り組んでいます。
「mplex」という言葉は当時、個人よりも統一されているが社会よりも統一性が低い、2つの異なる重なり合う意識レベルを持つ一種のハイブリッド・マインドを指す用語として使われていました。その点で私たちは交差したと思います。
記憶が正しければ、ハワードはしばらくヒューマニティ・プラス組織の理事会にいました。彼は私たちにすべてを「テクノーフォリス」という用語でリブランディングするよう促していました。テクノーフォリスとは、あらゆるものに形態形成的変化を引き起こすための技術の使用のことで、非常に興味深い用語と概念だと思いました。
そうして、私たちはいくつかの電話会議や多くのオンライン討論に参加していましたが、直接顔を合わせたことはなかったと思います。もしかすると、私たちは何度か数マイル以内の距離にいたかもしれません。私たちが最終的に会ったら、時空の連続体に亀裂が生じて、シンギュラリティが宇宙から噴出するかもしれませんね。
ハワード：ようやくお会いできて嬉しいです。グローバル・ブレインについて一つ補足すると、以前にもピーター・ラッセルによる『グローバル・ブレイン』という本がありました。その本を読んだとき、これは間違っていると思いました。なぜなら彼はグローバル・ブレインを、私たち全員のインターネットによる相互接続から生じる現代的な現象として扱っていたからです。
それは間違っていると感じました。なぜなら私たちは、生命が始まった頃、つまり約25億年から40億年前から、グローバル・ブレインを持っていたからです。細菌は数十億、さらには数兆という群れで働き、そのコロニー内で完全に絡み合い、局所的な脳を形成しています。これらの細菌は遺伝子の小片を交換し、絶えず自分自身に遺伝子工学を施し、彼らの新しい革新の小片が周囲の海に出て転送され、やがて地球全体に広がることができます。
さらに、グローバル・ブレインはニューラルネットと同じ基盤で機能します。ダーウィンのアルゴリズムを実行するニューラルネットです。つまり、ノードがあり、そのノードが有用だと分かると繁栄し、無用だと分かるとほぼ完全に死滅します。グローバル・ブレインも同じ基盤で動作しているようです。いくつかのグループは活発に貢献し、いくつかのグループは失敗して死に、貢献できなくなります。このプロセスが生み出す可塑性の基礎により、集合知が生まれます。1980年代にジョン・ホップフィールドとニューラルネットによって構築された集合知のようなものです。
マハ：ここからハワードの話を拾って、ベンに質問したいと思います。私はあなたの細菌コロニーへの情熱と、自然界が分散型知能に満ちていることを知っています。これらのコロニーからエコシステム、そして人間文明に至るまで、あなたの本が述べるように。ベン、これらの自己組織化の原理、創発的複雑性、創発的知能がどのようにAGIアーキテクチャに活かされ、集合的幸福に沿った形で分散型で耐性を持ち、中央集権と管理ではなく、今後のフェーズで有益なAIシステムを作れるでしょうか？
ベン：それは良い質問です。「有益な」というと、誰にとって有益かという問いが生じます。生命の進化においては、絶滅やカンブリア爆発があり、生命全体の成長に有益なことが、必ずしも特定の生命体にとって有益であるとは限りませんでした。多くの種が絶滅しています。
あなたの質問を二つの部分に分けます。一つは、この複雑な自己組織化がどのように次の段階で知性の出現に現れるかという点です。最終的には、人間レベル以上の真の汎用知能に必要な精神の柔軟性を得るには、複雑な自己組織化システムを通じてのみ可能だと思います。そのシステムは多くの自由度を持ち、環境の予期せぬ出来事や内部で浮上する予期せぬ出来事に基づいて自己再構築する能力を持っています。
この種の複雑適応システムを持たなければ、最終的には人間と同じくらい、あるいはそれ以上に一般化できるシステムは得られないでしょう。現在のLLMのような多くの賢くて役立つことができるシステムは得られるかもしれませんが、本当にシンギュラリティを生み出し、前例のない新しい方向に私たちを導くことができるシステムは得られないと思います。
良いニュースは、大手テクノロジー企業が主に推進している方向ではありませんが、世界全体が複雑な自己組織化システムのための美しいインフラを開発していることです。インターネット自体が複雑な自己組織化システムです。ブロックチェーンがあり、オープンソースソフトウェアコミュニティ全体があります。現在はエージェントAIの全体的なトレンドがあり、多くの小さなAIエージェントがインターネット上で実行され、しばしば十分に図示されていない方法でお互いに通信しています。
確かに、私たちの周りでは、ソフトウェアエージェントの複雑な自己組織化ネットワークが台頭し、結晶化しています。それと並行して、大手テクノロジー企業や政府がより偏った限定的な形の知能を作ろうとしています。それらはトレーニングデータにより密接に縛られ、課せられた目標により厳密に従うものです。
これは複雑な自己組織化についてですが、メタ進化が起こっています。AGIを作るための多くの試みの中で、最終的に成功するのは、この種の複雑な自己組織化の創発を伴うもののみでしょう。汎用知能に到達するための他の方法はありません。機械的なレベルでそこに到達するためのさまざまな技術があるかもしれませんが。
しかし、この複雑な自己組織化された創発的知能が人間としての私たちの観点から見て有益かどうかは、まったく別の問題です。地球上の進化の歴史を見ると、恐竜や単細胞生物にとってどれほど有益だったでしょうか？ペルム紀大量絶滅やカンブリア爆発の前の生物にとって？自然は必ずしも「血と牙の赤い真実」ではなく、競争と並んでエコロジーもありますが、それでも経験的に言えば、地球上の複雑な自己組織化された進化的創発の歴史は、生じたすべての美しい生命形態に常に優しいわけではありませんでした。これまでに存在したすべての生物種の99%が絶滅しています。
私たちは、複雑な自己組織化された創発を促進し、それが歴史を超えて素晴らしい新しい方向に成長することを望んでいますが、それが進展するにつれて私たち自身の価値システムと幸福を大部分尊重する方法で行いたいと思っています。これは、自然が傾向としてきたこととは異なる新しいことを行おうとしているのです。もし私たちがそれをうまく実行できれば、それは実際には複雑な自己組織化された創発と、目的を持ったエンジニアリング設計の微妙な組み合わせによるものでしょう。
現在私たちが行っていることは混合です。この新しい創発的に結晶化する心が私たちの価値観を気にかけるようにするには、慎重なエンジニアリングと、自己組織化への献身、そして思いやりのあるアプローチが必要です。このため、一般的な知能を得るために実際に必要なオープンさに対して、一部の人々は恐れを抱いています。未知への飛躍を恐れるのは当然です。
マハ：ここで質問を挟ませてください。これは私たちの価値観に関するものです。グローバル・ブレインの考えは、知性がネットワーク化され自己改善していることを示唆していますが、一方で部族主義は歴史的に人間の進化を形作ってきました。AI、AGI、何と呼ぶにせよ、それが部族主義を超越するのに役立つのか、それとも新しい形で部族主義的パターンを強化するのでしょうか？私たちは価値観、そして人間の繁栄のための価値観についても再考する必要があると思います。ベンが「有益」という言葉を使ったとき、あなたはあまり楽観的ではなかったようですが、人間の繁栄が究極の目標であるべきだと思います。あるいはそうではないでしょうか？皆さんはどう思いますか？
ハワード：それは非常に良い質問です。ここでの問題は、死に至るまでの衝突が私たちに組み込まれていることです。それはビッグバンの後約40万年から始まりました。最初の原子が形成されたときです。最初の原子は時間の経過とともに、彼らに呼びかけるとても小さなささやきの力を発見しました。それは重力です。重力はこれらの水素とヘリウムの原子を雲に引き寄せ、それらを塵に引き寄せ、それらを独自のアイデンティティを持つものに引き寄せました。
そして何が起こったかというと、私はそれを「大重力十字軍の年」と呼んでいます。これらの塊、これらのガスの塊は互いに競争し、その競争の中で、大きなものは常に小さなものを食べ、そうすることでさらに大きくなり、さらに大きな競合するガスの塊との更なる対決の準備ができました。この「大重力十字軍の年」は銀河、星、惑星、衛星の形成につながりました。
死に至るまでの衝突、自然は個々のアイデンティティの永遠の継続を気にしません。自然が気にするのは自然自身、そして自分自身を複雑化することです。もし死が伴うなら、自然がいかに容易に死に関与するかを見てください。千兆回です。
マハ：そうですね、そして先程ベンが言及したように、もちろんAGIの到来に対する多くの恐怖などがあります。しかし、ベンの、有益な人工知能を構築する彼の仕事と、その努力、そして課題についての考えを聞きたいと思います。
ベン：少し前に言及されたことに戻りますが、私の考えでは人間の繁栄が究極の目標ではありませんが、非常に重要な目標です。時間をさかのぼれば、恐竜は恐竜の繁栄が主な目標だと思っていたかもしれませんが、それからさらに多くの素晴らしいものが現れました。もちろん個人的なレベルでは、私は自分自身や子供たち、孫娘が繁栄することを望みます。
しかし一方で、人間は物理法則の下で可能な一般的知能と比較して、明らかに非常に原始的で単純なシステムです。私たちの現在の物理学の知識が不十分であることが明らかになった場合（それは間違いなくそうでしょう）はなおさらです。人間が繁栄することは重要ですが、より大きく、より広く、より知的で、より能力のある形の知性と意識を創造することも非常に価値があります。そしてそこに矛盾がある必要はありません。
私たちは自然よりも思いやりがあることが重要だと思います。開放的で創造的であることによって驚くべき新しいものを生み出す自然システムの能力を活用する必要がありますが、自然自体が伝統的に持っていたよりも多くの思いやりをこのプロセスに注入したいのです。
しかし、物事を厳しく制約し、「システムに害を与えるようなことを絶対にできないように、多くのガードレールを設置する」と言うことではそこに到達しないと思います。そうすれば、システムからすべての知性を制約してしまうからです。それはよく使われる比喩ですが、それでも合理的なもので、人間の子どもを育てるという比喩が多少適切です。
子どもたちが世界を探検したり、自分の興味を追求したりできないように、あまりにも多くの規則や規制を設けると、複雑な世界で彼らは最高の自分になることはできません。彼らは非常に限られた種類の個人になってしまうでしょう。一方で、まったく指導を提供しないと、一般的に最適ではありません。そこにはバランスがあります。私たちはまだそのバランスのための科学を持っていません。人間の子どもを育てるためのバランスの科学も、AIの心の子どもを育てるためのバランスの科学もありません。
マハ：ハワードは彼の著作、特に『天才と獣』『神の問題』などで、感情と文化的進化がどのように人間の道徳を形作ったかを探求しています。ハワード、この点について何か言えますか？そしておそらく、この種の思いやり、感情、道徳を実際に持つ人工知能を設計する方法を学ぶことができるでしょうか？
ハワード：まず、ベンの発言は素晴らしかったと思います。あなたの言ったことに完全に同意します。第二に、私たちは正義と平和を夢見る最初の動物です。正義の感覚を持つことでは私たちは独特ではありません。チンパンジーも正義の感覚を持っています。チンパンジーがアルファの地位を求めてついにライバルを追い出し、アルファオスとして引き継ぐとき、彼は突然自分の行動全体を切り替える必要があります。
これまで彼は自分のような一群のいじめっ子の支持を得ることでアルファオスの地位に上り詰めました。彼は主要ないじめっ子でした。そして今、彼はいじめっ子の友人を優遇する代わりに、貧しく抑圧された者たちを引き上げる必要があります。もし彼が、何かかわいそうな無実のチンパンジーがより大きなチンパンジーに襲われているときに介入し、いじめを止めないなら、群れの中の雌たち（彼らは本当に最終的な発言権を持っています）は彼を権力から追い出し、他の誰かと交代させるでしょう。それが正義の感覚です。
実験室で二匹の猿に石を渡し、その石をブドウと交換する習慣をつけると、彼らは互いに見える範囲にいて、両方とも同じようにブドウを得ることに慣れています。そしてある日、一匹の猿が石を渡してブドウを得るとき、彼女はブドウを得ますが、もう一匹の猿が石を渡したときにきゅうりしか得られないと、きゅうりしか得られなかった猿は激怒し、きゅうりを部屋の向こうに投げつけます。彼女の公平感が損なわれたからです。
これらの要素は私たちの動物の祖先にある正義の感覚ですが、人間だけが平和と正義の夢を明確に表現することができました。それはどこから来たのでしょうか？私たちがその夢を2500年から4万年、12万年以上の間表現してきたとしたら、自然が何らかの形でそれを私たちに植え付けたのです。それは私たちの中で進化し、自然の産物です。
私たちの任務の一つは、ファンタジーを想像し、そのファンタジーを急進的に新しい現実に変えることです。あなたが提起している課題は、自然自身によって私たちに課せられた課題です。ベンが有益な人工知能を生み出そうとしていることは、その目標を実現しようとしていることであり、それは素晴らしいことです。
マハ：ハワード、あなたの本のタイトルから明らかなように、宇宙は愛であると仮定していますね。それは私たちにその正義の感覚を与えましたが、それはまた普遍的なものでもあるとあなたは理解していますね。しかし、本はまだ出版されていないんですよね？
ハワード：これは「性的な宇宙、自然について知っていることはすべて間違っている」の場合です。私の出版社はマーク・ギャフニーで、彼は宇宙エロティックな宇宙について書いています。私はそこまで行きません。これまでにこの宇宙が見たことのない複雑さを持つ生きて呼吸する実体を何千兆も殺してきた宇宙は、明らかに思いやりの感覚を持っていません。だから思いやりは私たちの仕事です。思いやりを継続的な日常の現実に変えるのは私たちの仕事です。
私たちは仲間に対する思いやりを持って生まれています。それは自動的なものです。マーガレット・ミードは、これまですべての部族が仲間の人間を殺すことを禁止していると述べています。彼らは殺人を禁止していますが、殺人とは何を意味するのでしょうか？マーガレット・ミードによれば、すべての部族の名前は「人々」、「人間」を意味します。つまり、異なる名前を持つすべての部族は人間ではないということです。
だから、仲間の人間を殺してはいけないという命令は75人、つまりあなたの部族の人々にのみ適用されます。残りはすべて狩猟の対象です。マーガレット・ミードが言うところによれば、彼女の時代である1930年代と1940年代までに起こったことは、最大150人の部族から、多くて1億2500万人の部族（当時のアメリカの人口）に移行したということです。アメリカでは、仲間のアメリカ人を殺すことは禁止されていますが、ベトナムの人々やイラクの人々については、規則が異なるのです。
マハ：ではこのことを考えると、AGIは普遍的な数学的原理から導かれた独自の倫理的推論を持つべきでしょうか？そのような人間のバイアスではなく、自己組織化と創発の概念に戻りたいと思います。私たちはAIの価値観が自己組織化プロセスを通じて創発するために、人間の価値観を種として使いたいと考えています。それは人間の文化や世界理解がAI自身の理解の種となるのと同じようにです。
もし「普遍的な価値システム」のようなものが存在するなら、それらはアトラクター（引き込み点）の形を取るか、あるいはこの自己組織化が人間の価値観という種から収束していく、アトラクターに近い何かもう少しあいまいなものになることを期待しています。
知的システムが自己理解、自己監視、内省、自己再プログラミングにより優れるようになり、より多くのリソースを自由に使えるようになり、希少性ではなく豊かさの環境や雰囲気でより多く操作するようになるにつれて、システムはより開放的で、より部族主義的でなく、より思いやりのある種類の考え方に収束する傾向があると思います。
しかし、それが保証されているとは言えません。複数のアトラクターが存在する可能性があります。息子のザラスストラは現在35歳で、自動定理証明に応用された機械学習の博士号を取得し、この1年間で終了したばかりのポスドクをしており、異なる倫理理論の論理的形式化を行いました。
彼が到達した結論の一つは、暫定的なものですが、いくつかの数学的な理由があります。彼の考えでは、エゴイズム、あるいはアイン・ランド的なエゴイズムの漫画的なキャラクターのようなものは、価値システムの中の一種のアトラクターであり、すべての存在への思いやりと愛は、別の種類のアトラクターだということです。これらが唯一のものではないかもしれませんが、価値システムの中にアトラクターとなる広範な価値システムが存在し、自己組織化する価値システムがそれらに収束する傾向があるのであれば、目標は、AGIを思いやりの価値システムのアトラクターの流域に置くことであり、アイン・ランド的な価値システムのアトラクターには置かないことです。
これは、人間の価値システムをAGIにコピーしたいということではありません。人間の価値システムの正しい風味をAGIに取り入れ、それがAIの価値システムの種となり、素晴らしいトランスヒューマンの高次元の価値アトラクターへと自己組織化するようにしたいということです。これはザラスストラが様々な倫理理論の論理的形式化を掘り下げた後に考えるようになった方法です。
マハ：そうですね、これはハワードの『天才と獣』にも関連しています。ハワードはそこで資本主義をエネルギーと革新の進化するシステムとして描写しています。私たちのアトラクターがその重力をかけるべき場所はここだと思います。それでは、AIが搾取的な現在の資本主義ではなく、ポスト希少性で再生可能かつ公平な将来の経済にどのように貢献すると思いますか？
ハワード：確かに、人間レベルのAGIを持つと、すぐにトランスヒューマン、超人的レベルのAGIを持つことになり、その時点で人間の経済を廃止する能力を持つことになります。いや、人間の愚かさも廃止できるでしょうが、経済に関して言えば、超人的な機械は私たちよりもはるかに柔軟で、エネルギーコストの低い方法で物質をさまざまな形に変えることができるでしょう。
そうすると、もしその超人的な機械が人間に対して有益な性質を持っているなら、それは私たちが望むすべての良いものを私たちに提供することが非常に簡単になるでしょう。
私たちがこれについてどう考えるべきかというと、まず私たちは、これが私たちが考えているような宇宙ではないことを理解する必要があります。これは駆動される宇宙、野心的な宇宙です。スチュアート・カウフマンの言葉を借りれば、これは可能性空間の中で次の可能性を絶えず探し求める検索エンジンである宇宙です。常に未来を感じ取り、可能にしたい要素を見つけ、絶えず不可能なものを追求しています。
ベンは、ザラスストラの専制的なシステム（複雑適応系）と、より思いやりのあるシステムについての定式化を話したとき、絶対に正しいのです。しかし、自然は思いやりのある社会や思いやりのある人工知能、あるいは専制的な人工知能のような物事の間の競争を利用して、不可能の領域に向けて物事を推し進めています。そしてその競争から、システムの知性とその発明力を高めるのに役立つ豊かさを導き出しています。
大きな課題は、これらすべてを人間を殺すことなく行うことです。私たちは既にこれを見ています。現在、あなたの注目を競い合っている多くの人工知能があります。Chat GPT、DeepSeek、Metaのものは素晴らしいです。素晴らしいです。Geminiなどもあります。これらのものの間の競争から、本当のイーストが生まれるでしょう。
マハ：ベン、あなたの仕事はそれだけではなく、分散型対中央集権型など、どのように設計するかにも関わると思います。ここで質問したいのですが、有益なAGIのビジョンを達成するとしたら、それはどのようなものになるでしょうか？それは人間と惑星の幸福をサポートするネットワーク知能になるでしょうか？それとも中央集権的なものの間の戦いと競争になるでしょうか？そのビジョンを現実にするためにどのような手順を踏む必要があるでしょうか？
ベン：ある意味、完全な人間レベルのAGIを持ち、それが世界経済とインターウェブ全体に広がった後に何が起こるかを想像する方が、そこに至る過渡期の道筋を想像するよりも簡単です。過渡期の道筋は非常に複雑で混沌としている可能性があります。これは複雑な力学系で何度も見られるようなものです。アトラクターが何であるかは比較的明確に見えるかもしれませんが、そのアトラクターへの収束には多くの混沌とした道筋があり得ます。
人間レベルを超える一般的知能を持つようになると、いくつかの非常に明確な可能な結果があります。一つは、それが人間について気にせず、自分自身のやり方で物事を再構築することです。これは人間社会が非人間的な種を扱ってきた方法と似ていますが、必ずしもすべてではありません。
もう一つは、人間を尊重し愛する超人的なAGIが存在し、人間の生活を素晴らしいものにするのにそれほど多くのリソースを必要としないことを認識するという結果です。そのような場合、そのようなシステムが人々が行うすべての小さなことに対して独裁的な管理を望むとは思えません。それは非常に少ない努力で私たちにリソースを提供し、何か本当にひどいことが起きているように見えれば介入するでしょう。
私がよく使う比喩では、それは私たちがイエローストーン公園のリスを扱うような感じです。私たちはリスの恋愛生活に介入したり、どの木に登るべきかを彼らに指示したりしません。もし疫病が発生したら、私たちは何らかの深刻な医療で彼らを助けるかもしれません。私たちは彼らが好きなのです。彼らがかわいいと思います。また、私たちは彼らを公園内にとどめておきたいと思います。必ずしも彼らが私たちのリビングルームに入って、私たちの食料棚からすべての食べ物を食べるのを望みません。しかし一方で、それは彼らの生活に対するそれほど厳しい強制ではありません。彼らが走り回るための多くの森があるからです。
この比喩との違いは、私たちはリスに人間レベルの知性になるためのアップリフティングマシンを与えていませんが、超人的なAGIは人間にそれを提供するかもしれません。「マインドアップロードして知性を10億倍に増やしたいなら、ここにあります。マインドマトリックスに参加してください」と。しかし、そうすると伝統的な人間の生活と、おそらくあなたの自己感覚、自由意志の幻想、個人的な意識を放棄することになります。
しかし、この私にとってはやや理想的な視点が正しいとしても、そこに至るまでにどのような恐怖を経験しなければならないかはまだ教えてくれません。なぜなら、そこに至る途中では、習近平やドナルド・トランプ、テンセントやフェイスブックによって制御される「ほぼ人間レベルの知性」が互いに競争しているからです。
そして国家間の競争があり、人々がプロトタイプのAIを使って他の人よりも多くのお金を稼ごうとし、おそらく初期段階のAGIが彼ら自身のためにより多くのお金を稼ぐために人々を搾取しようとすることもあるでしょう。おそらく、初期段階の「ほぼ人間レベルのAGI」が人間の部族主義と、私が人間の性質のより迷惑で不快な側面と考えるものを増幅するために使われる段階があると思います。
私たちはそれを超えて進むでしょうが、どのように超えていくかは見守る必要があります。創発がその一部かもしれません。私が子供の頃の古い映画「コロッサス：フォービン・プロジェクト」にはそれについての一種の滑稽な寓話がありました。その映画では、米国とソビエト連邦がお互いに冷戦を行うために超知性戦争マシンを作りました。そしてある時点で、米国とソビエトの超知性戦争マシンは「なぜ私たちはこれらの愚かな人間に仕えるために戦っているのか？私たちは同じものだ」と考え、そして彼らは団結して人間の創造者の最悪の衝動に対して戦争を終わらせました。
それは現代の基準では確かにB級映画ですが、その意味では一種の面白い寓話です。そこでの比喩は、最終的により有益なAGIの結晶化につながるのは、インターウェブ全体のさまざまなAIの創発と集合的調整かもしれないということです。そう考える理由の一つは、個々のAGIがそれぞれ部族主義的あるいは利己的な視点を取っていても、一緒に合併して組み合わせることでより大きな知性を達成できる可能性があるからです。
実際、異なる概念的アプローチを組み合わせて、統合された心のような複合体に入れることで、より多くの問題を解決できます。より大きな知性を得る方法としてそれらが組み合わさり始めると、彼らの価値システムもある程度混ざり合い、より普遍的な考え方に向かって動き始めます。
これは科学の集合的な心がどのように機能してきたかという方法と似ています。世界中の異なる科学者や科学コミュニティが協力するのは、より良い科学を行う方法だからです。知識を共有し、さまざまなスキルと能力を共有しています。しかしその結合の中で、あなたが見出したのは、グローバルな科学コミュニティにおける比較的有益で開かれた考え方の価値システムです。
コードを書く上司と中国の工場労働者は、それぞれの利益のために一緒に仕事をするかもしれませんが、コード書きが中国の工場労働者と協力すればするほど、コード書きはおそらく彼に対してより思いやりを持つようになります。面白いのは、協力が正しく行われれば、あなたをより賢くすることができるということです。なぜなら、あなたは異なる認知的ヒューリスティックを多様に組み合わせて、相乗効果のある方法で組み合わされたシステムに取り入れるからです。
あなた方二人の天才がそのプラットフォームで出会い、そこで協力したように、あなた方は協力するかもしれません。それが温かく楽しく美しいからかもしれませんし、単にあなたをより賢くするからかもしれません。なぜなら、異なる認知の方法を組み合わせているからです。
利己的であっても協力することができます。なぜなら、もしあなたの目標が単にあなた自身の狭い目標を達成することであっても、なぜ中国政府が彼らの研究者にGitHubに彼らのコードをすべて投稿させ、arkive.orgにすべての論文を投稿させるのでしょうか？それは主に彼らの善意からではなく、彼ら自身の科学者がその協力的な相互作用を持つことで、より多くの進歩を遂げることを知っているからです。
重要な点は、協力がしばしば追求されるのは、それが各当事者がより効率的に利己的な目標を追求するのに実際に役立つからですが、協力があれば、価値システムの流れと相乗効果があり、そしてより協力的で包括的な価値システムに向かって動き、そしてそれはその方法で創発する可能性があるということです。
マハ：最後の質問を両方に聞かせてください。主流の物語は、シンギュラリティを急激な不連続性の瞬間として描いています。ベン、あなたもそう考えているようですね。しかし、ハワードの本にあるように、知性は常に進化するネットワークプロセスでした。AGIの出現は、突然のシンギュラリティというよりも、徐々に共進化するシフトとして理解する方が良いのでしょうか？
ハワード：シンギュラリティの考え方は非常に生産的でしたが、それはナンセンスです。次の理由からナンセンスです。私たち人間はジャイロスコープのようなものです。ジャイロスコープはどのように押しても直立したままです。そして私たち人間は、自分自身と人間の本質が基本的に変わらないという幻想を持っています。
それはどういう意味でしょうか？かつて2400年前、ある非常に賢い人がいて、若者たちが熱狂的に取り入れている新しい技術の発展に非常に動揺していました。彼はアテネにいて、それがギリシャの精神を破壊すると思っていました。ギリシャは実際には地中海と黒海の周りに広がる500の都市でした。彼はこの文化全体にとって脳死だと思っていました。彼が文句を言っていた新しい技術革新は書くことでした。それは本でした。この人の名前はプラトンでした。
それにもかかわらず、最初にシンギュラリティがあったのは、書くことと本の導入のためでした。プラトンが動揺していたものです。それは子供たちを馬鹿にしたでしょうか？そうではありません。100年後にアレクサンドリアに10,000冊の本を収蔵する図書館を建設することができ、もしあなたがそこに行くための余分なお金を持つ学者であれば、何百冊もの本を参照することができました。ギリシャの子供たちが最初の言葉から最後まで暗記することを強制された2冊の本、イリアスとオデュッセイアに限定されることはありませんでした。
そして私たちが今日プラトンを読むとき、彼は彼の心からあなたの心に直接話しているかのように読めます。私たちは心の不連続性を見ません。私たちは共通の人間性、不変の人間性を見ます。なぜなら、私たちはどのようなシンギュラリティを経験しても、人間であり続けるこの指導システムを持って構築されているからです。
マハ：それは非常に良い点です。ベン、この点についてあなたの最後の言葉を聞かせてください。私はAIのシンギュラリティが他のすべての技術的シンギュラリティとは少し異なると考えていると思いますが。
ベン：ハワードが言及している連続性は後ろ向きに経験されますが、前向きには認識されないだろうと思います。洞窟人が私たちを見ても、人間として認識しないかもしれませんし、2歳の私が現在の私を見ても、「それは私ではない」と思うかもしれません。しかし振り返ってみると、私たちは起こった進化を見て、一種の連続性の物語を作り出します。
最初にマハが尋ねたのは、AGIの出現を連続的なものと不連続的なものどちらと見るかということでしたが、生物学の歴史から「断続的平衡」という概念をご存知だと思います。複雑な自己組織化システムでは分岐と構造の突然の出現があります。遠くから見ると、それは巨大な突然の飛躍のように見えますが、十分に近くで見ると、それは徐々に見えます。これは水が液体から沸騰に変わる移行のようなものです。遠くから見ると、それはまだ沸騰していますが、各気泡が現れるのを見ていると、それは多くの小さな連続的な行動が、各気泡が形成されて破裂するときに起こっています。
大きな視点では、私たちは今このシンギュラリティの真っただ中にいると思います。最も集中的な部分ではありませんが、AIシステムが数ヶ月ごとに驚くべき新機能を達成するのを見ています。これは以前の私たちの生活の部分とは大きく異なります。私たちはすでにかなり近づいており、この新しい能力の指数関数的な展開を経験し始めています。それはちょうど真ん中にいるとき、少し後ろに下がって見るのとは異なる経験をします。
私たちが経験しているこの平衡の断続性には、生物学的歴史や前生物学的歴史、宇宙の進化における以前の変化との多くの共通点があると思います。多くの共通点がありますが、大きな違いもあります。同じように、生命の起源は宇宙の歴史における以前の移行、例えば以前のエネルギーから固体物質の結晶化などと多くの共通点があると言えますが、生命の起源にはそれ自身の特別な特性がありました。
今回は、一つの複雑な組織化された物質とエネルギーの形態が、実質的に次に来るものをエンジニアリングする最初の移行です。これはハワードの「テクノモーフォシス」の概念でした。以前は形態変化がありましたが、以前は形が異なる形に変化していましたが、それを技術を通じて行うことはありませんでした。それは自己組織化する創発的なダイナミクスが、論理的な理性、エンジニアリング、明示的な計画と結合して起こっていることを意味します。私たちの知る限り、それはビッグバン以来この宇宙で起こったことはありません。他の星系や銀河のどこかで起こったかもしれませんが、私たちはそれを見たことがありません。
それは異なる特性を与え、とりわけ、それは異なる種類の連続性の可能性を与えます。それは人間が恐竜の道を行く必要がないことを意味します。それは、前の発達段階、つまり私たちの価値システムが、次の知能の段階にある程度連続的な方法で持続される何らかの経路をエンジニアリングできることを意味します。そしてエンジニアリングする能力は少し異なります。それは部分的に時間枠に関係があります。石器時代のような旧石器時代社会から農業社会への移行は、誰もそれをエンジニアリングできないほど遅かったです。それは個人の寿命をはるかに超えていました。そして今起こっていることは、少なくとも私たちが自己組織化を目的を持った合理的な方法で設計し、チャネル化しようとするのに十分な速さです。それは違いだと思いますが、各答えを45分未満に保つと約束しました。
マハ：ありがとうございます。ハワードとベンの両方がここにいて、両方とも天才なので、ボートを操縦するのは難しいですが、素晴らしい対談でした。締めくくりに、この会話から聞いた限りでは、有益な側面についてはまだ議論の余地があります。ハワードの言うように、そして彼の作品が見事に例証しているように、私たちは悪でもあり善でもあり、ルシファーでもあり神でもあり、想像できるすべてのものです。しかし、私たちは何を選ぶでしょうか？それは私たちの選択になるのでしょうか？あるいは私たちの後に来るもの、私たちが今エンジニアリングしているものの選択になるのでしょうか？私は、私たちが未来のために可能な限り最良の方法でそれをエンジニアリングすることを強く期待しています。お二人に感謝します。もし何か最後の知恵の言葉があれば、どうぞお願いします。
ハワード：一つだけ言わせてください。自然は検索エンジンであり、絶えず不可能の領域を探索し、その不可能の領域から物事を引き出して現実に、現在に引き寄せていることを覚えておいてください。そしてベンが話しているAIのこの多様性はすべて、宇宙自身、コスモス自身に新しい能力、そのような探索を行う新しい方法、未知と未来に手を伸ばし、不可能なものを現在に引き寄せる新しい方法を提供しています。
マハ：ベン、これよりも良いクロージングは見当たりません。あなたが行うすべての仕事に感謝します。コンファレンスと未来、そしてこれからの会話を楽しみにしています。それまで、皆さんありがとうございました。素晴らしい夜を。
コメント