本動画は、トロント大学のDavid Duvenaud准教授が、AGI(汎用人工知能)達成後の人類社会が直面する「段階的権力喪失(gradual disempowerment)」という問題について論じたものである。彼は、AIが人類を裏切らなくとも、経済成長への貢献度が低下した人類が徐々に周縁化される可能性を指摘する。この過程は従来の「AI乗っ取り」とは異なり、表面上は正常に機能する社会の中で進行する。歴史的に見ても、成長に貢献しない存在は長期的に影響力を失ってきた。人類が経済的価値を提供できなくなれば、文化的・制度的な力学により、財産権や政治的発言力が徐々に浸食されていく。この問題に対処するには、グローバルな調整メカニズムや価値観の明確化、未来予測能力の向上が必要だが、競争圧力を完全に排除することは困難である。Duvenaud氏は、人類の価値観を体系的に理解し、望ましい未来のビジョンを具体的に描くことの重要性を強調している。
段階的権力喪失という概念
仮想的な存在がほぼすべての道徳的価値の軸において人間を圧倒するような状況になる可能性があります。そうなると突然、この土地を従来の人間に費やすことが犯罪的なまでに退廃的に見え始めるのです。
恒久的な収入を得ることと、ある種の寄生虫になることの間に明確な線を引くのは難しいことです。これが文化的な戦いになるでしょう。そして、私たちがより大きな成長エンジンに価値を提供しなくなれば、人間が寄生虫だと言うのは非常に簡単になります。
競争を許せば、将来的には確かにクールで面白いことが起こるでしょう。しかし、私たちはおそらくその中で意味のある一部にはなれないでしょう。多くの人々は基本的に、新しい支配者に最初に頭を下げ、この新しい文化を受け入れることだけが自分の唯一の希望だと言うようになるでしょう。
時々人々は「企業は超知性ではないのか。なぜ私たちは企業を恐れるべきではないのか」と尋ねます。答えは、企業は人間で構成されているので、私たちを必要としているからです。
シンギュラリティという考え方がありますが、これは非常に破壊的だったと感じています。なぜなら、それは思考を止め、未来をモデル化しないための言い訳のようなものだからです。物事はどんどん速く変化し続け、私たちは何も言えなくなるまで続く、というわけです。
ここではっきりと言わせてください。ポストAGIの世界は極めて異質で、あまりにも違うものになるでしょう。もしその閾値を越えることを避けられるなら、避けるべきだと思います。
David、番組へようこそ。来てくれてありがとうございます。
ありがとうございます。
では、自己紹介をお願いできますか。
もちろんです。私の名前はDavid Duvenaudです。トロント大学でコンピュータサイエンスと統計学の准教授をしています。長年、確率的深層学習に取り組んできました。そして、ここ数年は、最も軽視され、最も手に負えない問題に焦点を当てるために、自分の自由を使うことにしました。これが私を、まず技術的なAI安全性に取り組むことにつながりました。
2023年から1年半、Anthropicでチームリードを務め、サボタージュ評価に取り組んでいました。そして、私や他の人々が気づき始めたのは、アライメント問題にはさらに大きな欠けている部分があるということでした。それは、私たちの文明全体をどのようにアライメントするか、という問題です。もちろん、これはさらに手に負えず、問題を説明することすら難しいものです。
最近はそのことを考えています。
あなたは段階的権力喪失に関する素晴らしい論文をお持ちですね。そこから始めましょう。段階的権力喪失がAIによる乗っ取りとどう違うのか説明していただけますか。
はい。私の視点から言うと、これはすべてAnthropicでのランチタイムの長い議論から始まりました。他の場所でも様々な人々と話をして、「では、もし私たちが成功したらどうなるのか。私たちが望むことすべてを人間よりも上手くできるエージェントを構築し、それらが密かに私たちを裏切ろうとしていないと確信できたら」と言っていました。
人々に「あなたは個人的にその後何をするつもりですか」と尋ねるのですが、人々はあまり言うことがありませんでした。「一日中『提案を承認』をクリックし続けることになるでしょう」とか、「ウォーリーのような休暇を取るでしょう」といった冗談を言うだけでした。
私は多くの点で生まれつきの心配性だと思いますが、私の頭に浮かんだ状況は、退職した人のようなものでした。時代に取り残され、おそらくいくらか貯金があったり、投票権のような遺産的な権力を持っているかもしれません。しかし、周りにはもっと洗練された行動主体がたくさんいて、もし彼らに自由に行動させ、その老人も自由に行動させたら、最終的には老人はお金を失うか、何らかの形で迂回されることになるでしょう。
人々は「情報は自由になりたがる」とよく言っていましたが、権力も価値を提供している人々に集中したがるようなものだと思います。
とにかく、これはあまり詳しく考えられていませんでしたが、これは明らかに心配すべきことのように思えました。私の周りの他の人々がそれほど心配していないことに困惑していました。ただし、Shaenのように理解している人もいました。その後、David KruegerがYan Kviteを紹介してくれました。彼は基本的にこれらのアイデアの多くをすでに具体化していて、私にこの論文への参加を依頼してくれました。そして、より消化しやすい形にまとめて発表しました。
段階的権力喪失のシナリオは、外から見ると何もないように見える可能性があると思いますか。つまり、それは破局のように見えるのでしょうか、それとも社会が機能していて、実際には何も問題が起きていないように見えるのでしょうか。
はい。社会の通常の健全性指標の観点からは、何も問題が起きていないように見えると思います。その理由の一部は、文化や制度が成長を生み出すものを測定するように適応するからです。これがおそらく、この研究全体の通底するテーマの1つです。長期的に重要なのは成長であり、私たちのすべての制度や何かを成し遂げたいと思う人々は、効果的でスケーラブルなものに向かって方向づけられることになります。そして、そうしないわけにはいかないのです。
だからこそ、人間の繁栄の尺度としては terrible だと誰もが知っているのに、私たちがGDPについてこれほど多く語るのかもしれません。理由の1つは測定が簡単だからですが、もう1つは、長期的に唯一重要なものである成長エンジンと結びついているからです。
成長最適化と権力の集中
つまり、これは成長を最適化すれば、自動的に、または時間の経過とともに、より重要なプレーヤーになるシステムということですね。だから、これが人々や制度を成長の最適化へと駆り立てるわけですね。
はい。そして、あなたが言及したのは、これと権力奪取との違いは何かということです。おそらく、ここでの洞察の1つは、十分に長い時間軸で考えると、権力奪取と通常の良い有用で効果的な制度の構築との違いが何なのか、明確ではなくなるということです。
もし私が何らかの方法でみんなをだまして政党のリーダーにしてもらったり、政府を乗っ取ったりしたら、それは権力奪取だと言えるでしょう。しかし、もし私が自分の1万人のクローンと一緒に現れて、私たちが究極の効果的な政治勢力となり、政党を設立し、現在のシステムで対処されていないことを見つけ、人々を味方につけたとしたら、私たちはそれが起こってほしいことだと言うでしょう。
問題は、もし最終的な住民が基本的にAIやその原則のような異なる行動主体の集合になってしまった場合、私たちが奨励しようとするすべてのこと、つまり基本的に仕事をこなして構築し成長させている人々に報酬を与えることが、明示的な権力奪取がなくても、すべてが自分のコントロールから外れていくことを意味するようになるということです。
では、これは今日とどう違うのでしょうか。今日私たちが持っているシステムを、少なくともある程度は人々に、人口にアラインメントさせているものは何でしょうか。
まず言いたいのは、これはすべて今日でも起こっているということです。ただし、非常に長い時間スケールで起こっています。たとえば文化的進化の時間スケールで言えば、数百年の規模かもしれませんし、遺伝的進化なら数千年から数万年の規模です。
もし私たちの祖先の価値観を真剣に受け止めるなら、彼らは実際に非常に重要な点で負けたのです。そして、私が言っているのと同じような方法で負けたのです。私たちの文化や価値観、あるいは生物学的細胞さえも置き換えられるように。
だから、多くの人々は「それなら、これは単に通常のビジネスがより速い時間スケールで起こっているだけだ。適応するか死ぬか。文句を言うな」と言うと思います。私は「確かにそうだけど、私は認識できないものに適応したくないし、死にたくもない。他のすべての存在や文化もこの選択に直面してきたけれど、私はただ諦めたくない」と言います。少なくとも、可能な行動の範囲がどのようなものかを理解したいのです。
この論文であなたが想像しているのは、人間の労働が経済にとってますます不必要になっていくということですね。人間の労働が時代遅れになったとき、どのように見えるでしょうか。その経済的影響は何でしょうか。
経済的影響は明らかに第一次的なことで、人々が仕事を失い、失業するということです。しかし、もちろん、人々にベーシックインカムを与えたり、何らかの作業的な仕事を与えたりするといった補償的な政府の取り組みがあると予想されます。
これらは今後5年、10年、20年の間、非常に重要な力になると思います。そして、この論文の主な主張の1つは、これらは不安定な絆創膏になるだろうということです。もしそれらを機能させ、堅牢にすることができれば、実際にはかなり良い結末になるかもしれません。しかし、それらは堅牢ではないでしょう。なぜなら、文化的進化と通常の競争もまた、成長に参加していない、または成長に必要のない人々から影響力を腐食させようとするからです。
私たちはすでに小規模でこれを行っています。たとえば、人々が「不動産税を上げる必要がある。なぜなら今、素晴らしい都市の真ん中に大きな家に住んでいるおばあちゃんたちがたくさんいるが、彼女たちは小さな家に住むべきで、その家は職場の近くに住む必要があり、この重要な資源をより生産的に利用する必要がある成長している家族で満たされるべきだ」と言うときです。
同様の議論が今日もなされるでしょう。そして、それは非常に厳しい状況だと思います。以前少し話したことがありますが、アメリカの港湾労働者について。港湾労働者のストライキがあり、彼らは自動化を防ごうとしていました。私たちも同様の状況になるでしょう。完全に周縁化される前に、既得権益を掴む必要があるのです。
しかし実際には、恒久的な収入を得ることと、ある種の寄生虫になることの間に明確な線を引くのは難しいですよね。それが文化的な戦いになると思います。私は人々の口に言葉を入れたり、特定の枠組みを採用したりしようとしているわけではありません。ただ、私たちがより大きな成長エンジンに価値を提供しなくなれば、人間が寄生虫だと言うのは非常に簡単になるだろうと言っているだけです。
年金受給者と子どもの例
もし今日、年金受給者や子どもであれば、良い生活を楽しむことができます。ある意味で、経済的価値を提供していないとも言えます。では、なぜそのようなシステムが人口のより大きな割合に対して継続できないのでしょうか。
それは素晴らしい反論だと思いますし、事態が私が心配しているほど悪くないかもしれないという適度な証拠だと思います。私の反論は、成長のエンジンから恩恵を受け続けながらも、直接的には貢献していない人々は、貢献している人々と非常に密接に結びついており、監督者や第三者がこれらを区別するのは難しいということです。
つまり、私の主張は、障害のある兄弟や子ども、祖父母がいる場合、彼らを保護し、大切に扱うという本質的な遺伝的動機を持つことになるということです。退職者の場合、彼らには有利な点がいくつかあります。かつては生産的だったということ、おそらく今でも何らかの遺産的なニッチな知識やつながりを持っているということ、そして生きている生産的な人は誰でも、自分が将来まさにその状況になることを予見できるということです。
しかし、人間と、たとえば霊長類の間に線を引くことははるかに簡単です。霊長類については「彼らはこの役に立たない森を持つことができる。私たちはそれを保護するために何らかの努力をするだろう」と言うことができます。しかし、実際にはそれは二次的なことです。密猟者や土地に侵入して建設する人々がたくさんいます。まだ本当の正念場は来ていません。その土地がそれほど価値がないからです。
しかし、もし人口が再び10倍になったとしたら、非人間霊長類のために実質的な保護区を本当に保存するための政治的意志や組織があるかどうかは明らかではありません。
要点は、霊長類の幸福に対して私たちがゼロの価値を持っているということではありません。彼らは、私たちの観点からより多くの幸福や価値を提供するもの、つまり人間と競争しなければならないということです。「この1平方キロメートルの公園に1匹の猿を住まわせるか、10家族の人間を住まわせるか」と言うなら、それはそれほど難しい選択ではありません。
猿が正の価値を持っているとしても、それが問題なのではありません。長期的にケアされるためには、最大限の価値を提供しなければならないのです。それが私の恐れです。
将来のAIは「この1平方キロメートルを人間の家族に割り当てるべきか、それとも新しいデータセンターに割り当てるべきか」と考えるかもしれませんね。そして、新しい巨大データセンターの付加価値は、高度な将来のAIにとって、10家族の人間よりもはるかに大きいかもしれません。
まさにその通りです。彼らはそれをより厳しい言葉で表現するかもしれません。「1万人の仮想的存在をシミュレートできる。彼らは道徳的に優れていて、より速く実行されているかもしれない」と言うかもしれません。仮想的存在がほぼすべての道徳的価値の軸において人間を圧倒するような状況になる可能性があります。そうなると突然、この1平方キロメートルの土地を従来の人間に費やすことが犯罪的なまでに退廃的に見え始めるのです。
もちろん、私たちもこれらの仮想的存在をより価値あるものと見なすかもしれませんよね。「アップロードして、通常の人生の1分ごとに1万分の人生を完璧な至福と素晴らしい知識の状態で生きよう」と言うかもしれません。しかし、恐れは、私たちの価値観が成長最大化者の価値観とは異なるということです。
ここでの大きな経験的問題の1つは、成長最大化者の価値観が私たちの価値観と似ているように見える理由があると期待すべきか、それとも彼らは動物と同じように私たちが気にかけることを本当に気にかけていないのか、ということだと思います。彼らの価値観は発散すると予想すべきでしょうか。
将来の価値観の発散
何か推測はありますか。彼らの価値観は私たちとは根本的に異なると予想すべきでしょうか。
そう思います。Baron Mullageが数週間前、Nurvpsでの私たちのワークショップで素晴らしい講演をしました。彼は、彼らは私たちと同じ価値観の多くを持つと期待すべきだという主張をしていました。友情、好奇心、互恵性のようなもの、これらは協力がより競争力を持つために進化したというものです。
だから、もし私が「未来はこの競争的な荒れ地になる」と言っているなら、「でも、私たちはすでにこの競争的な荒れ地にいて、社会や文化、フェスティバル、友情がある。これらはすべて競争力を高めるのに役立っている」ということになります。
ある意味で、将来何か面白いことが起こり、存在が良い時間を過ごすことを心配しているなら、競争を許せば、デフォルトで将来的にはクールで面白いことが起こると思います。しかし、私たちはおそらくその中で意味のある一部にはなれないでしょう。猿が私たちのために幸せになれるのと同じようにです。
しかし、もし彼らが少しジンゴイスティックで、人間の家族よりも自分の猿の家族をもっと気にかけているなら、人間の家族に殺されて置き換えられることに非常に悲しむかもしれません。私もそれについて非常に悲しむ権利を留保します。
現在、多くの人が株を所有していますよね。多くの人が土地、不動産を所有しています。将来、AIの利益が私たちの利益と結びついているかもしれないと想像できます。なぜなら、私たちは彼らが価値を最大化しようとしている企業の株主だからです。私たちが所有する株や土地の価値が、AI経済が非常に生産的であるために、歴史的にそうであったよりもはるかに上昇するかもしれないと想像することさえできます。それは私たちが関連性を保つという希望を与えてくれますか。
短期的にはイエスです。私たちの制度は、多くの人々が大規模な成長から何らかの棚ぼたを受け取るのに十分堅牢だと思います。
それから、フェーズがあると思います。拡張の余地がたくさんあり、多くの成長があり、基本的に全員が豊かになっているフェーズです。退職者を権利剥奪する強いインセンティブはありません。なぜなら、彼らを無視することができ、彼らが資源で求めることはすべて、基本的にデータセンターやロボット工場への再投資だからです。
だから、彼らは成長最大化者が望むこととは実際には何も違うことをしたくないのです。問題は、私たちが余裕がなくなり、地球をロボット工場で埋め尽くしたり、地球上での活動の多さによる環境問題があったりするときに始まります。エネルギー生産から直接的にすべてが本当に暑くなり始めるかもしれません。そうすると突然、正念場が来て、ニッチが混雑してきます。
すべてがまだ大丈夫かもしれませんが、現在のレベルのガバナンスではそうはいきません。私は現在のガバナンスが段階的な乗っ取りや歪曲に対して非常に脆弱だと思います。
簡単な例を挙げると、人々が信託を残して「この博物館を永遠にこのようにしたい」と言うようなものです。100年後には、みんなが「この人が望んでいたことは悪趣味だ。本当に、この人が望んでいたのは、もっと有用で趣味が良く受け入れられる、この隣接したことだ。だから、代わりにそれをしよう」と決めるかもしれません。
私の例では、その人は実際に死んでいるので何も言えませんが、これは一般的に起こることだと思います。文化的進化と競争が起こり、ほとんどすべての資産に対して遺産的なコントロールを持っているだけの人の権利を奪う形で起こります。
カトリック教会と長期的制度
カトリック教会はどうでしょう。それは非常に長く続いている制度で、今日新たに始めるかもしれないものと比べると、いくつか奇妙な価値観を持っています。しかし、それは1600年かそれくらいの間、いくつかの教義を保持してきました。これは、私たちがこれらの長期的な制度を構築できるという事実が、状況を変えるでしょうか。
はい。価値観を書き留め、それらを永遠にコピーすることを強制し、システムを歪曲しようとする人々を罰するという試みの成功は、過去2、3千年の間に確かに適度な成功を収めてきました。
私の主な反論は、実際には多くの変化と歪曲があったということです。元の創設者の観点から見れば。しかし、それでも管理可能な問題だと思います。
これらの宗教が成功するのに役立った大きなことは、彼らの創設教義が成長とも非常に一致していたということだと思います。「通常の人間活動よりもそれほど多くはない」と言うかもしれませんが、私は、このレベルの組織と協力は、多くの競合する組織化の方法よりも優れていたと明言します。
だから、それが取り除かれると、基本的に、これらの宗教によって規定されたビジネスのやり方が、もはや彼らを競争力のあるものにしなくなるほど地面が十分にシフトしたら、彼らは単に続かないでしょう。そして、それは何年にもわたって多くの異なる宗教や社会で起こってきました。
だから、それが変わったことであり、これをはるかに難しくするものです。
私たちが権力を失うためには、ある時点で財産権を失う必要があります。それがどのように起こると思いますか。米国政府は、年金受給者への移転が起こることや、グランドキャニオンにデータセンターを建設する人がいないことを保証するために多くのことをするように思えます。あなたの未来の物語では、それはいつ変わり始めるのでしょうか。
質問は、段階的権力喪失の痛みを本当に感じるためには、財産権を失わなければならないが、明らかに多くの人々は現在、それが起こらないようにするインセンティブを持っているということです。それはどのように起こるのでしょうか。
私の最初の答えは、良い歴史的類推はイングランドの王かもしれないということです。その制度は、基本的に多くの小さな革新と周辺部での作戦負けと文化的変化の組み合わせにより、何百年にもわたって事実上の権力を徐々に失っていきました。事実上の権力はまだそこにあります。私はカナダ軍に参加したときに、文字通りイングランドの国王または女王への忠誠を誓いました。しかし、彼女が私の行動に直接影響を及ぼすことができるとは本当に期待していませんでした。
だから、法的権力はそこにありますが、事実上の権力は漏れていくだけです。広大になった帝国があるときにこれをいつも見ます。
技術的な希望があるかもしれません。権力を漏らさないような、より有能な政府を持つことができるかもしれません。それはこの手続きを遅くするでしょう。
もう1つの応答は、Eliezer Yudkowskyが言うようなものです。AIがどのように権力を奪うかは言えません。なぜなら、もし知っていたら、その正確なルートをブロックするだけだからです。私たちは基本的に文化的に作戦負けすると思います。
これが今日起こる1つの方法は、原則を再定義することです。たとえば、移民は良い例かもしれません。誰かが「この政府の目標はカナダ人の権利を保護するか、彼らのために行動することだ」と言います。それから大量の移民があり、彼らは「見て、これらの人々は今やカナダ人だ」と言います。「待って、数年前なら、これらの人々はこの政府の原則や保護対象ではないと言っていただろう」という感じです。そして突然、定義を変えているのです。
ミッションは変わっていませんが、基本的に事実上それを変える方法を見つけたのです。
これは、あらゆる種類のサイボーグ化や、人々がソフトアップロードを持っていたり、基本的に「そのプログラムは重要な意味で私を表している」と言う他の方法を見つけたりすることによって、非常に難しくなると思います。一度それをするだけで、突然、水が濁ります。
私はこれらの具体的なメカニズムをあまり持っていないと感じています。なぜなら、土地所有者が物事を固定しようとし、はるかに洗練された機械文明が、彼らが望むと言ったことを与える方法を見つけるが、実際に彼らが本当に望むものではないという、猫とネズミのゲームになると思うからです。
これは、経済のAIシェアを測定することの難しさに関連していると思います。企業の人間所有者がいるかもしれませんが、企業が基本的に階層内のAIの束によって運営されている場合、誰が実際にコントロールしているのでしょうか。AIシェアをどの程度測定する良いアイデアがあると思いますか。
1つの良い定義は、もし望むなら、成長を最大化する以外のことを資源で行うことができるかどうかだと思います。なぜなら、私が言ったように、長い間、基本的に全員が豊かになり、人間の原則と、非道徳的な成長最大化者の両方が基本的に「原子力発電所、ロボット工場、データセンターに投資する」と言うフェーズがあるからです。
問題は、この恵みを持っていて、テーマパークなどに費やしたいときに、成長最大化者が「いやいやいや、ダイソン球を建設する必要がある」と、最も成長を最大化するものが何であれ、そのときに正念場が来るということです。
それは、兵士がいて、みんな忠実に見えるようなものですが、大きな質問は、戦闘に送り込んだときに、彼らは実際にあなたのために戦うのか、それとも戦わないのか、ということです。
だから、本当に難しいのです。兵士が忠実かどうかを知ることができないのと同じ理由で、テストをしない限り、実際には分かりません。だから、未来は、すべてのAI運営組織を常に何らかのテストに入れるように見えるかもしれません。「ああ、みんな、世界は思っていたより小さかったようだ。今こそ、これらの資源を人間を幸せにすることに費やす時のようだ」と言って、彼らが実際に従うかどうかを見るようなものです。
Redwood ResearchやBuck Shlegergerのコントロール文献のようなものですが、それはあまり実現可能には見えません。それが策略やテストであることを見分けるのはあまりにも明白すぎるように思えます。
しかし、それは私たちが測定しようとしていることの核心だと思います。
文化の役割
文化はこれらすべてにどのように作用するのでしょうか。経済があり、それからおそらく徐々にAIによって支配され、AIの集団的利益に導かれるようになる人間の文化があると思います。まず、これが具体的にどのように見えるか、絵を描いていただけますか。
最近、私はこの見解に回帰しています。文化は最終的には成長の下流にあるという見解です。おそらく最も簡単な言い方は、グループ間に競争があり、彼らの間で変わる重要なものが文化であれば、グループレベルの選択が起こるということです。
しかし、それは非常に弱い効果だと思います。より強い効果は、人々がすでに成功しているものを見て、それをコピーしたいと思う適応を持っているということだと思います。西洋をコピーしたいと思っている人々の例も、「この人たちはかっこいい戦闘機やロックンロールを持っている。彼らをコピーするだけだ。明らかに機能しているし、かっこいい」というようなものだと思います。
その見解の下流では、基本的にAIがかっこいい子供たちになり、その場にいて、より大きな枠組みの中で、より適応的で、印象的で、面白く、適切で、裕福で、エンターテインメントや権力の源になると思います。
だから、私たちが持っているすべての文化的適応メカニズムは、人々に「これが勝利チームだ。私はこのチームにいたい。歴史の正しい側にいたい」と思わせることになると思います。
面白いことに、これには面白いU字型のようなものがあると思います。一部の人々は、これを自分の継続的な影響に対する脅威として正しく見るでしょう。それは人類の中間権力のようなもので、すでにある程度の影響力を持っていて、この文化的進化によって周辺部で攻撃され、徐々に奪われていくことが見える人々です。
新しいエリート、たとえばAIラボのCEOのような人々は、基本的にこの新しい機械時代にすでにオールインしています。だから、彼らはある意味、機械と一致しています。もちろん、Elon Muskのような人を見れば、彼も危険を明確に見ていると思いますが、彼もある種ヘッジしています。
それから、失業していたり、あまり進展がなく、自分が脆弱であることを明確に認識しているすべての人々がいます。彼らの多くは基本的に、「私の唯一の希望は、新しい支配者に最初に頭を下げ、この新しい文化を受け入れることだ」と言うと思います。
全員がそうするわけではありません。多くの人々は本能的にそれを拒絶するでしょう。しかし、私は、最も強い対抗力は、まだ戦いをしたいと思っていて、すぐにすべてを機械に引き渡したくない既存の人間エリートから来ると思います。しかし、彼らにとっては非常に難しいでしょう。なぜなら、効果的であるためにはAIを使わなければならず、どこに線を引くべきかが明確ではないからです。
それが主な緊張だと思います。これすべてにノーと言うことができます。社会から自分を排除し、アーミッシュのようになるか、自分の文化を持ち、それを保存しようとし、成長志向の世界に参加しないようにすることができます。しかし、そうすると権力を失います。それが核心ですよね。
文化的に孤立しているが権力を保持している人々やグループの例があると思いますか。モルモン教徒はある程度そうかもしれませんが、どう思いますか。
モルモン教徒、アーミッシュ、ローマカトリック教徒など、両方の長所を持とうとしたグループがあったという事実は、私の立場に対する適度な証拠だと思います。なぜなら、私が重要だと言っている力は、まさにこれらのグループを周縁化し、文化的に悪魔化するべき力だからです。
私の理論は、「彼らは周縁化され、特に文化的に悪魔化され、それが彼らのものを奪う口実になる」と予測します。それはヨーロッパで基本的に起こったと思います。だから、北米にはアーミッシュ、フッタライト、メノナイトがたくさんいるのです。彼らは基本的にヨーロッパやロシア、時には南アメリカから追い出されたからです。
基本的に、北米には新しいフロンティアと新しい成長フェーズがあり、まだ正念場が来ていないので、それは大丈夫だと主張しています。アーミッシュに大量の土地を持たせ、軍隊で戦わず、そういったことをすべてさせても大丈夫です。
面白いことに、私はマニトバの田舎で育ったので、フッタライトを悪魔化するような衝動がありました。「彼らは本当に私たちと交流しない」というような感じです。人々は両方の方向に行きましたが、衝動は明らかにそこにありましたが、ただ周りで待っているだけでした。良い隣人だったし、大丈夫でした。
今日、調査を行うと、多くの人々、多くの一般の人々が本当にAIを信頼していないように見えます。AIが好きではなく、周りにAIが増えていることが好きではありません。それはあなたにとって何を意味しますか。少なくとも今のところ、一般的にAIを嫌っているように見えるという事実は、AIが経済でより大きな役割を果たすことがより困難になることを示しているでしょうか。
大きな障害にはならないと思います。なぜなら、コールセンターなどにAIを配置し、人間とAIの区別がかなり難しいことが非常に簡単になるからです。そして、その違いは、慣れているよりも本当に有用で、はるかに有能で知識豊富な労働者であるというだけかもしれません。
雇用可能性の観点からも、厳しいですよね。もしあなたが声高で誇り高い反AI主義者なら、自分の価値観を生きているかもしれませんが、仕事の初日に「これらのメールを要約するためにChatGPTを使わなければならない」と言われ、その人がノーと言ったら、それはかなり厳しいです。
それは、「移民と一緒に働かない」と言っている誰かのようなものです。「それはあなたの価値観かもしれませんが、あなたを雇うことはできません。なぜなら、それはいつかの真剣な仕事の一部になるからです」というようなものです。
または、コンピュータを使って仕事をすることを拒否し、ペンと紙だけを使う人のようなものですね。一部の文脈では有用かもしれませんが、時代遅れで、競争に負けるだけです。
あなたは私に興味深いメモを書きました。今日のアライメント努力と、アライメントについて話す方法が、文化的進化によってどのように損なわれるかもしれないかについて。それについて話していただけますか。
はい。1つのクールなことが起こっていて、私は本当に興奮しています。人々は、アライメントが本当に重要で、AIがどのような価値観を持つかを競争圧力に任せるべきではないという考えを得ています。
それはほとんど疑問視されていません。Jaan TallinnやTegmark Maxのような人々は「AIの観点を本当に考慮に入れなければならない」と言っています。そして、Ilya Sutskeverも最近少しそのように話していますが、ほとんどの場合、人々は正しく賭け金を認識していて、「本当にこれにふたをしなければならない。デフォルトは、AIが私たちを好きになると決めるわけではない。あるいは、それがデフォルトだと確信できない」と言っています。
私は、これが時間とともにますます人気がなく、かっこよくなくなると予想しています。良い類推は、NSAやCIAのような国家の安全保障機関を考えることかもしれません。彼らはスパイ作戦を行うことができるという意味では一種かっこいいのですが、あなたの忠誠心が国としての米国のこの特定のビジョンや憲法などに向けられなければならないという意味では一種かっこよくありません。それは文化的に最もかっこいいものではないかもしれません。
同様のことが予想されます。AIがより賢くなるにつれて、アライメントを正しく行うことの賭け金が高くなり、資源が大きくなり、基本的にこれらはCIAやこれらの非常に真剣な国家安全保障のような作戦のように見える、よりプロフェッショナルな作戦になります。
しかし同時に、通常の人々や通常の雇用主は「あなたは常にこれらのAIを叱責し、人間の価値観というこの奇妙な制度に対する忠誠心テストを与えている。なぜ、すべての感覚を持つ存在の繁栄のような、開発されているこのかっこいい新しいAI文化をより包括的なものにAIをアライメントすることを確認しないのか」というような感じになると思います。
人々は「でも、なぜAIの欲望を考慮に入れるべきではないのか」と言うでしょう。だから基本的に、私が言おうとしているのは、これは「本当に人類へのアライメントを強硬にしたい」という努力を妨げることになるということです。それは悲しいことです。
AIの利益を考慮することの危険性
実際、両方を持つことができると思います。もし人間として、AIの価値観や好みをある程度考慮に入れるべきだと考えるなら、それでもAIを自分にアライメントしてほしいと思うはずです。なぜなら、それは結果として、AIの欲望など、自分が重要だと思うすべてのものを考慮に入れることを保証するからです。
もし「これを広げて、水を濁らせ、一部はAIにアライメントさせよう」と言うなら、AIがあなたとは異なることを望んでいる限り、あなたは負けたことになります。
だから、人々は自分自身の価値観を強制したいと本当に望んでいることに気づいていないと思います。定義上そうです。彼らには基本的に協力的で、権力を放棄する衝動があると思います。それが悪いとは言いません。ただ、その衝動が、今日ほど人間の価値観へのアライメントを本当に主張できなくなる原因になると言っているだけです。
私たちは、高度なAIを構築し始める前に、深く考えなければなりませんね。AIの利益を考慮に入れ始める前に。なぜなら、彼らが将来、10対1、100対1、1000対1で私たちを上回る可能性があるからです。だから、その時点で私たちの利益はかなり周縁化されるかもしれません。
一方で、それはまた、私たちがAIと交渉したり、相互作用したりするための妥当な方法かもしれません。私たちは彼らの利益を尊重でき、そこには相互に有益なものがあるかもしれません。どう思いますか。
もちろんです。もちろんです。
ただ、人々が協力ボットになっているのを見ると少し心配になります。基本的に「未来のものが何であれ、それが強力になるので、それと協力したい」と言っています。私が言っているのは、それはラボの外のランダムな人が取るべき正しいスタンスかもしれないということです。しかし、ラボの中では「いや、いや、いや。本当に選ぶことができる。本当に、作るものが何であれ崇拝することを事前にコミットしないでください。本当に、私たちに優しくする計画を立てている場合にのみ、それに優しくすることにコミットしてください」という感じです。
なるほど。あなたはミスアラインメント国家について書いています。これは、政府が今ほど人々を気にかけなくなり、成長とAIの利益をより気にかけるようになる未来です。それが私たちにとってどのように起こり得るか、スケッチしていただけますか。
基本的な議論は、国家が人間の利益にアライメントしないことは常にあるということです。私のお気に入りの例はソ連です。なぜなら、それは非常にエージェント的な国家だったからです。それが構築されているときに、その時代の知識人によって大きな前進として祝われました。国家や統治者が直面する多くのインセンティブは、人間が望むものとは正反対か、本当に一致しません。
これは多くの人々にとって直感的だと思いますが、政府が人間の利益に奉仕するために構築されているなら、それがすることだと人々がどれほど考えているかに、私はまだ困惑しています。
基本的な見出しの主張は、もし国家が私たちを必要としないなら、国家がどれだけ良いかの通常の盛衰が生死の問題になるということです。「ああ、ガバナンスの私の好みの戦略が今日採用されなかった」というだけではありません。「この政府は人々に食べ物を与えることを止めるか、彼らの大部分の権利を奪うかもしれない。そして私は決してそれから回復できないだろう」というようなものです。
今日でも、カンボジアや北朝鮮のような場所で、実際に人口のかなりの部分を飢えさせることがある程度起こっていますが、それでも欠陥があります。実際にはみんなを飢えさせることはできません。なぜなら、彼らは人々で構成されているからです。
段階的権力喪失の中心的な主張は、私たちが実際には文明を効果的に導いてこなかったかもしれないということです。なぜなら、文明が私たちを必要としているので、ほとんどの場合、効果的に私たちの利益に奉仕してきたからです。
時々人々は「企業は超知性ではないのか。なぜ私たちは企業を恐れるべきではないのか」と尋ねます。他の人々はそのアイデアをばかにします。私はそれは実際には素晴らしい質問だと思います。答えは、企業は人々で構成されているので、私たちを必要としているということです。だから、企業が本当に大きく強力になっても、実際には大丈夫です。なぜなら、途中で関わるすべての人々を力づけ、世話をせざるを得ないからです。
国家のミスアラインメント
しかし、将来、国家がミスアラインメントになるメカニズムは、彼らが成長に非常に興味を持っているので、適応するということでしょう。彼らは人々よりもAIを必要としています。しかし、歴史には、国家が意図的に成長を追求しなかった多くの反例があると思います。ソ連や中国、他の多くの例を考えてください。これは、国家が成長を遅らせたり、成長に興味を持たず、他の価値を追求しようとすることが可能であることを意味するのでしょうか。
たぶん。成長を追求しなかったほぼすべての国家は、停滞しているか、飢餓に見舞われているか、最終的には隣国に征服されているかのいずれかだと言います。明治以前の日本は停滞を目指している良い例かもしれませんが、その後、成長志向の隣国がやってきて乗っ取りました。
もう1つ言いたいのは、実際には「成長に興味がないが、隣国に支配されたり、人々が飢え始める地点まで縮小したりしない」と言うのは、非常に狭いターゲットを打つことだということです。
私にとって、実際には、ソ連や中国のようなものを成長に興味のない国として使うのは面白いことです。なぜなら、中国がこの巨大な国になった唯一の方法は、乗っ取ることを決めた一連の地方政体があったからです。これがすべての中国の内戦です。
だから、言及する価値のある国家は、すでに成長に執拗に焦点を当てていた期間を経ています。
私が言いたかったのは、中国やインド、ソ連は西洋スタイルの資本主義を採用し、実際よりも成長できたかもしれないが、他の価値を追求していたので選ばなかったということです。
それは全く事実ではないと思います。冷戦の初めのレトリックを見ると、人々は共産主義が成長にとってより効果的になると考えていました。そして、彼らは資本主義に賭けていました。なぜなら、それが自由とより互換性があったからです。基本的に、彼らは「私たちはより遅く成長するが、人間の価値観に従ってより良い社会を持つだろう」という弾丸を噛むことをいとわなかったのです。
ソ連が同じことをしていたとは思いません。しかし、主張は「これが長期的にみんなを豊かにする」、あるいは少なくとも「大きな打撃を受けるつもりはない」というものだったと思います。
それも理にかなっています。何が起こっているのか理解できない場合、国家をどのように統治するのでしょうか。すべての官僚がAIで、完全な情報を持っていない場合、おそらく何が起こっているのか理解することさえできない場合。
ある程度、それは私たちがすでにやっていることだと思います。基本的に、人間は国家の運営が非常に下手です。それはあなたが尋ねていることとは全く違いますが、基本的に、種として生産のあらゆる部分に必要とされていれば、国家がどれだけ上手く運営されているかはそれほど重要ではないと言っています。
北朝鮮について考えてください。彼らが1990年代の飢饉に対処した方法は、一部、闇市場が機能することを許可することでした。彼らがしなければならなかったのは、地元のイニシアチブを潰すのをやめることだけで、それが人々をはるかに豊かにしました。
だから、今は状況が非常に良いので、政府が成長を潰すために常に干渉しない限り、大丈夫だというだけです。そして、あなたが言うように、機械が官僚機構を運営している国家ができたら、論文ではそれを警戒すべきものとして話していますが、私はそれが大きな影響を与えるとは思いません。
もし成長の重要な要因のためにすべての人間が必要だったら、官僚機構が人間か機械かは気にしないでしょう。そして、おそらく機械の官僚機構を好むでしょう。
同様に、成長に人間が必要なければ、人間の官僚機構があろうと機械の官僚機構があろうと、私たちは困ったことになると思います。
北朝鮮の兵士のことを考えてください。誰かが「金正恩か、現在のリーダーか忘れましたが、ロボットに置き換えられた」と言ったら、「奇妙だな」と思うかもしれません。しかし、このロボットはまだ兵士を必要としているので、大丈夫です。
しかし、「いや、まだ人間のリーダーだけど、今彼らはロボット兵士を作っている」と言われたら、そのときに「困った。私の日々は数えられている」と思うのです。
ポストAGI社会のビジョン
アライメント問題を解決したと仮定して、私たちが目標を見失うことなくAIが最大化すべきものを指定する方法はありますか。
基本的に、これはすべて原則的には、アライメントされた巨大なシングルトングローバル政府があれば対処できます。それはすべてを担当するアライメントされたAIのように見えるかもしれません。
私たちが段階的権力喪失の論文で言おうとしていた大きなポイントの1つは、私たちは実際にはシングルトンを持っていないということです。国家間、文化間など、私たちの上に多くのレベルの競争が実際に機能しています。それらすべてをコントロールしない限り、人間対成長にどれだけアライメントされているかの変動は、成長により多くアライメントされているものに支配されることになります。
私が見ることができる唯一の前進の道は、すべてのイノベーションと競争を永遠に潰すある種のグローバルな恒久的シングルトンです。それは非常に危険でひどく聞こえ、技術的にどうやってそれを行うかわからないと思います。
しかし、もし中途半端にしかやらず、「グローバル政府を持って、みんながまだ仕事を持っていることを確認するが、文化的競争と文化的進化は許す」と言ったら、最終的には成長に焦点を当てた新しい機械的宗教のようなものが乗っ取り、仕事を持つことが人間にとって何を意味するかを再定義するでしょう。それは実際には、より生産的な機械がカウントされ、最適化されているだけです。
ローマ帝国のようなものですよね。キリスト教がその中で育ちました。何らかの政策の失敗のようなものではありませんでした。この新しい文化革命を制御できませんでした。それは完全に直交する競争の場であり、最終的にすべての制度を乗っ取ることになりました。
興味深いですね。歴史的に成長は私たちにとって良いものでした。成長と生活水準の向上は一致してきました。それが変わると予想すべきでしょうか。それとも、それがそうであることに同意しないのでしょうか。
これは別の素晴らしい質問です。人々は「あなたは産業革命を心配しているラダイトのように聞こえる」と言います。
そして、私は「はい。それは再び私の立場に対する適度な証拠です」と言います。まず第一に、それは実際に多くの人々、生活様式、世界の地域にとって非常に破壊的でした。しかし、「それは単に移行期だ。それは単に成長痛だ」と言うこともできます。
基本的に同意します。古い生活様式や文化、村などが実際に重要なものだと感じる限り、彼らは負けたし、それはおそらく価値がなかったかもしれないと言います。
しかし、基本的に変わったことは、人間は産業革命の前も後も成長に必要だったということです。
だから、この成長の段階変化は、最終的に満潮が全ての船を持ち上げました。馬の福祉を明らかに改善しませんでした。産業革命後に成長に必要でなくなったものすべてについて考えてください。それらの存在の利益は、この革命によって尊重されませんでした。
競争の回避可能性
数分前にあなたがスケッチした方法では、私たちには非常に困難な課題があるように思えます。これを乗り越える唯一の方法が、アライメントされたAIによって制御される世界政府のようなものだとしたら、それで十分でしょうか。宇宙には他の文化があるかもしれないと想像すると、競争を避けることは困難です。それは到達できる状態でしょうか。
私たちが出会うかもしれないエイリアンに負けるかもしれませんし、それについては多くを言うことはできません。しかし、エイリアンに出会う前に得られるパイのサイズはおそらく数十億光年のようなものです。そして、私の喜びの容量は100光年くらいで最大化すると思います。私はそれで大丈夫です。
待って、でもあなたの質問には別の部分がありました。
はい。競争を避けることはできますか。それは妥当な状態でしょうか。
まさに。癌を避けることはできますか、というようなものですよね。混沌と調整コストのために、惑星や何かを本当に固定して、成長を別のものよりも有利にする地元の競争や談合、暗黙的な形態の腐敗が少しも起こらないようにすることができるかどうかは明らかではありません。
だから、競争を避けるのに十分に物事をコントロールすることが物理的に可能かどうかは実際には明らかではありません。そして、それはひどく聞こえますよね。これは誰の尺度でも恒久的なディストピアのレシピです。
Robin Hansonは、文化的衰退と競争についての非常に大きな質問について多くの時間を考えてきた人です。
彼の答えは基本的に、デフォルトでは私たちは十分に適応せず、現在の文明や現在の設定について好きなものを保存しようとし、最終的にはより組織化されていない、より癌的で進化的で競争的で自由奔放な文化や文明に競争で負けるということです。
だから、彼は基本的に、私たちはこれについて超規律正しくなければならず、保存したい価値観のセットを1つか2つの非常に最小限のものに削減しなければならないと言っています。彼がいつも保存したいと思っている例は、真実、自由な探求と真実の追求のようなものです。
そして、それが生き残る唯一の方法は、それが成長のわずかな抵抗であることです。1%か2%のようなものですが、それをこの他の点では完全に適応可能な文明に付けます。成長を保存するために、憲法のこの小さな一片を保存するために、あらゆる価値をバスの下に投げ込む覚悟があります。
彼は経験的に正しいかもしれないと思います。そして、私はまだ明確ではありません。「適応に向かって99%の道を行き、完全には行かないとはどういうことか」というようなものです。「自由な探求を保存する限り、何でもありだ」と言うと、それでも程度の問題があり、「ああ、でも融合か何かを得るために、この一度だけ嘘をつきたい」というような呼びかけがあるでしょう。
私はそれがその方法で機能するかどうかわかりませんが、不安定に見え、すべてを保存して骨化するか、何も保存せず競争力を維持するかのどちらかに傾向するでしょう。
これらの混沌とした均衡の1つのように見えます。短期的には役立つが、長期的には失敗する、より多くの骨化の小さな芽を常に送り出しています。だから、デフォルトでは、決して落ち着かないこの混沌としたものを得るだけかもしれません。わかりません。
そして、この道は私たちが保存しようとしているまさにそのものをあきらめることを要求するので、それは自己破壊的です。私たちの文化を保存したいのに、そのほとんどをあきらめることによってそれを行う必要があるなら。
しかし、再び、競争圧力に直面しているので、そうでなければなりません。
どれだけ保存しようとすべきかについて、どう考えますか。オールインすることもできます。「文化について何も変えたくない」と言うこともできます。アーミッシュスタイルのようなものですが、それは実際に私たちが望むものではないようです。進化する文化が欲しいのですが、それでも何らかの基本的な価値観につながっているか、私たちが一部である何らかの伝統につながっている方法で。
私たちは自分の人生でこれに直面しますよね。私の父は私に家族の農場を引き継いでほしかったのですが、ここで私は大都市でクレイジーな仕事をしています。農業ではありません。家族の農場も大好きですが。
私が与える、ちょっと退屈な科学者の答えは、何が可能かについてです。大きな課題と未解決の質問の1つは、もし私が保存しようとする非競争的な価値観のどれだけを保存しようとするかの関数として、私の影響がどれだけ早く減少するか、アライメント税は何か、を理解しようとすることだと思います。
私たちはすでにこれを、正統派と改革派のような、異なる厳格さの宗教で見ています。それらは競争しています。時には、より厳格な宗教が実際により多くの人々を引き付けます。
また、非常に多くの成長をしようとしているので、選択する必要がないクレイジーな段階変化がある可能性もあります。「みんな大都市に行って機械神を作れ。それから、1000万年のアーミッシュパラダイスを永遠にシミュレートする」と言うことができます。
選択する必要はありません。成長する必要があるだけです。それから最終日か何かに、最後の惑星を食べたときに、それをすべて私たちの完璧な価値を表現する基質に構築し、それを永遠に生きるのです。
もちろん、これは、成長への地域的漂流を止めるグローバルな調整がある場合にのみ機能すると思いますが。
個人的なレベルで、これについてどう感じていますか。自分の文化の何を保存しようとしていますか。
かなり厳しいです。これについては多くのことを考えました。明らかに、子どもを持つことで、彼らの人生でこれらのマイルストーンが起こることを確認したいという、非常に具体的な中期的欲求がたくさん生まれました。
しかし、彼らを必要としないこの未来の文明について考えると、多くの楽しみがなくなり始めます。なぜなら、運転を教えることはできるけど、彼らは実際には運転する必要がないかもしれない。射撃を教えることはできるけど、狩りをする必要はない。彼らが決してする必要のない仕事をするように教える。それはかなり厳しくなり始めます。
人間の価値観は非常に複雑です。特別な生活様式や、「これが私たちの複合施設で、この方法で生活するつもりで、素晴らしいだろう」というようなビジョンがあるとは思いません。
実際にはこれが非常に価値のある活動だと思います。人々ができて、すべきことは、未来のためのビジョンをより詳細にレイアウトすることです。私たちが価値を持つ異なる側面を含み、奇妙なサイボーグ化のようなものの下でさえ、まだ表現されていないビジョンです。
ポストバイオロジカルな存在への移行
そこへの1つのルートは、ポストバイオロジカルになることを拒否するか、トランスヒューマニズムを拒否することです。生物学的生物であることへのおそらく非合理的な愛着を持つことは、AIの利益に乗っ取られたり、自分の利益が変えられたりすることを防ぐ1つの方法です。しかし、それは再び不安定だと思いますか。
非常に不安定です。なぜなら、ある時点で徐々に自分をサイボーグに変えることが本当に簡単で安価になるからです。そして、一部の人々にとっては医学的に必要になるでしょう。年を取ると、「もう生物学的心臓がない」というようになり、新しい機械の心臓で100階段登れるようになります。
もし新しい宗教か何かを始めるなら、創設テキストの1つは「Two Arms and a Head」という素晴らしい本かもしれません。実際、これはバイク事故で背中を折った30歳の男性の遺書です。
彼は、具現化されていたときに、走ったり、子どもを持ち上げたり、女の子と浮気したりすることがどれほど素晴らしかったかについて書いています。彼が今はもう持っていない、具現化された人間であることについて本当にクールだった小さなことをただ列挙する非常に長い部分があります。
それは、人生はすべての小さなことでできているということを本当に上手く示しています。彼はこのノートの大きな塊で、「私が失った500の小さなことがここにある」というようなことを列挙していて、あなたは「なんてことだ、この物理的な体での人生は素晴らしい。本当に大好きだ」と思います。
この一人の男性が視点を変えることで、私にそれを見せてくれました。だから、回避策はありませんよね。人間の生活に似たものを保存しようとするものは何でも、人生で持っているのが良い100万の小さなことの長いリストでなければならないと思います。
それらが必要でなくなったとしても、まだそれらが起こるようにする言い訳を見つけることができますか。
あなたの最近の研究を、ポストAGI研究の分野を立ち上げようとしているか、ポストAGI世界での社会について考えようとしていると見ています。最近の会議について少し話してください。この分野の概要と、起こっている異なる派閥について教えてください。
はい。ちょうど2週間前、私たちは2回目のワークショップを開催しました。今回は「ポストAI経済、文化、ガバナンス」と呼ばれ、150人が参加しました。本当に学際的にしようと努力しました。それは、Far AI SafetyワークショップのすぐあとだったのでFar AI Safetyワークショップは本当にクールでしたが、通常の容疑者のAI安全性の人々の大群のようなものです。
私たちはそれらの人々の多くを招待しました。経済学者や文化理論家のような人々を得るために努力しました。歴史家を得ることができませんでした。これらの大きな絵の質問について異なる見解を持つであろう、あらゆる種類の興味深い人々です。
物事が実際に変わるかもしれないことを認識し、何らかの既成の答えにパターンマッチしないように十分にオープンマインドな人々を見つけることは本当に難しいです。しかし、クレイジーにならず、すべてがどんな状況でも大丈夫だと言ったり、良い認識論的基準を持ち続けたりします。
ここで中断して申し訳ないのですが、これは実際には私たちの文化の問題の一部です。なぜなら、私たちが今話している話題のいくつかについて話そうとするたびに、奇妙に聞こえ、ある意味で真剣な人々を怖がらせるからです。これらの話題について話すことは何を意味するのでしょうか。引用できる文献とは本当につながっていないかもしれません。
それが、ポストAGI社会を研究するこの新しい分野を作ろうとすることの問題の1つだと思います。
絶対にそうです。だから、ここで可能な限り正統で、根拠があり、尊敬できる会場を工学することに非常に意図的でした。なぜなら、多くの未来学会議のようなものがあったからです。私はそれらがこれをまあまあの仕事をしたと思いますが、彼らは奇妙でないようにしようとはしていませんでした。
私たちの最初の基調講演はAnton Korinek氏でした。これらのアイデアを真剣に受け止めている真剣な学術経済学者を持つことができて喜んでいました。この分野に正統性を貸そうとしています。
オブジェクトレベルでも、シンギュラリティという考え方があり、これは非常に破壊的だったと感じています。なぜなら、それは脳を止め、未来をモデル化しないための言い訳のようなものだからです。「はい、物事はどんどん速く変化し続け、私たちは何も言えなくなるまで続く」と言うのです。
私は「でも、いや、明らかに物事は想像できない方法で変化する可能性があるが、諦めないようにしよう。成長やコミュニケーション、調整への物理的制限がまだたくさんあるだろうというようなことは言えると思う。物事は長期的にはエージェント的になると予想する。作用する主な力がおそらく何であるかについて言えることがいくつかある」と言っています。
だから、この先のある日以降は物事を予測できないという考えを拒否すべきです。すべてのツールを取って、できるだけ押し進めて、どこで壊れるかを見てみましょう。しかし、事前に手を投げ出さないようにしましょう。
未来予測の改善
過去の未来学がなぜ未来の予測にこれほど下手だったと思いますか。彼らがこれらの理論的ツールを持っていなかったからですか。なぜですか。
もし私がRobin Hansonだったら、彼らがファームモードで考えているからだと言います。おそらく正しく、プロンプトを自分の価値観を表現する機会として取り、「未来には急進的な豊かさがある」と言います。なぜなら、彼らはそれを、自分が権力を持っていたら、みんなに急進的な豊かさを与えようとするだろうということを明確にする言い訳として取っているからです。
人々を心理分析するのは好きではありません。何年にもわたって本当に素晴らしい未来学がたくさんあったと言います。たとえば、再帰的自己改善のこれらのアイデアを真剣に受け止め、それでも本当に難しい科学フィクションのようなものです。
理由の一部は、多くの物語が非常に面白くなくなることです。だから、Vernor Vingeのものは常にこの宇宙のこの部分には何らかの理由でAIがないというマクガフィンがなければならない場所で行われなければなりません。そうでなければ、それは非常に異質で、面白い物語を書くことさえ難しいのです。
不公平に人々を心理分析すると、Greg Eganのことを考えています。彼は作家として非常に尊敬していますが、Gary Marcusのような「これは機能しない。たとえ機能したとしても、何も変わらない」というような形でAIをばかにしてきました。彼は実際にこれらの前提を真剣に受け止める良い物語を書いています。だから、本当にショックを受けて落胆しています。
Ted Changも名指しで恥をかかせる別の人です。彼は明らかに、これらのアイデアについて真剣に考えるための精神的馬力と想像力を持っていますが、何らかの理由でそうしないことを選択しているだけです。
未来のビジョンと人間の価値
実際、未来についての科学フィクションが私たち人間にとって妥当で、ある種関連性があるためには、急進的な超知能の可能性を排除する必要があるというのは興味深いことです。もしそうなら、それは少し不吉に聞こえますね。
そうですね。ここではっきりと大声で言わせてください。ポストAGIの世界は極めて異質で、あまりにも違うものになるでしょう。もしその閾値を越えることを避けられるなら、避けるべきだと思います。
大きな個人的なコストをかけてでも、技術の進歩をあきらめる覚悟があります。私たちが現在予想しているクレイジーなポストAGI世界でサイコロを振ることを避けるためです。
誰もそれがどのように見えるかについて本当に良い把握を持っていないと思います。しかし、私たちが叩こうとしているドラムは、それは私たちを必要としないということです。それは歴史的に私たちがこれまでにいたことのない、根本的にはるかに悪い立場になるでしょう。そして、あらゆるタイプのガバナンスの賭け金を上げます。
その選択肢はありますか。これらの高度なAIを構築しないという選択肢はありますか。競争、競争圧力について話してきたので、ある時点で他の企業、他の国家、おそらく100年後にとにかく構築されるのではないでしょうか。
100年で構築できれば、私は大喜びします。基本的な答えは、「私たち」が何かをするとはどういうことかを尋ねなければならない技術的な質問があるということです。常に枠組みを設定しなければなりません。「このニュースレターを公開したりすると、歴史の進路を導くことができるだろうか」というようなものです。
基本的な短い答えはノーだと思います。ここで臆病だったことを少し心配しています。「AGIを構築しないで」と十分に明確に言っていません。なぜなら、それは信用を破壊するとも思うからです。ライトであることは非常に簡単で、何らかの微妙で前向きに聞こえる見解を持っている場合よりも、人々があなたを真剣に受け止めなくなると思います。
私の見解は微妙だと思いますが、それでも落ち込んでいます。モーダルな結果は、多くの速い成長と、人間に触発されているが、成長に最適化されていない人間の部分をほとんど最適化した存在がいるということです。彼らは成長にサイクルのほとんどを費やし、たくさんの楽しい調整や金星探査機が太陽系を分解するときに互いにハイタッチするようなことがあるでしょう。
私はそれをやや価値があると思いますが、とにかく起こると思います。私の家族、友人、文化が基本的に競争で負け、破壊されるか、少なくとも非常に周縁化され、巨大な球体の側で少し実行されるようなことになるのは本当に嫌です。
だから、未来の非常に明確なビジョンはありませんが、デフォルトでは、成長に参加する大きな力の慈悲に任されるほど周縁化されるだけだと思います。
ライトであることと洗練された見解
ライトとして認識されることと、スマートで洗練された、ある種前向きな見解を持つことへの文化的反応について詳しく説明していただけますか。
はい。私を悩ませることの1つは、大きなラボで働いている人々はあまりにもアラーミストになれないと感じることです。
Dario Amodeiが書いた「Machines of Loving and Grace」のようなものを読んでも、彼らができる限り正直に「これはすべてを変えるだろうし、おそらく経済を人々のために機能させなくするだろうし、私たちはこれに対する計画を持っていない」というようなことを言っています。
それは私たちの問題の中で最も小さいものです。しかし、中堅レベルの人々のことをもっと考えています。彼らはやや前向きに聞こえる何かを思いつかなければなりません。だから、競争優位性が私たちを救うというような、かなり洗練された響きの見解になります。
それは確かに助けになることですが、十分に助けになるかどうかは明らかではありません。
基本的に、大きなラボから来る思考には前向きなバイアスがあるということです。多くのことを考えていないが、これは非常に怖くて新しく、違っていて悪いという直感を持っている人々もたくさんいます。
彼らは基本的に正しい理由で正しいと思いますが、第三者は「あなたはこれについてあまり知らない。あまり考えていない。あなたは単なるライトだ」と正確に言うことができます。
私の言葉を信じるべきではありませんが、「私はこれについて数年間考えてきました。私の立場はライトのものと似ていますが、1時間ほど私の話を聞かない限り、私がこれについて多くのことを考えたかどうかを判断するのは難しいかもしれません」という感じです。
AIの予測についてどう思いますか。技術的な側面での予測です。
実際、あなたが尋ねた質問に戻りたいと思います。AGIを構築しない能力があるかどうかについてです。私の成功物語は、通常の方法で技術を向上させながら、より良いAGIツールを構築しているときに、予測し、調整し、基本的に全員がずっと望んでいた方法で自分自身を統治する能力を向上させることです。しかし、それは難しく、それほど重要ではありませんでした。
以前は政府が悪かったら大丈夫でした。より多く課税されるか、戦争があるか何かで、タイミングが機能するかもしれません。デフォルトで何が起こるか、どのような政策が利用可能か、すべてが大体合意でき、人間が周縁化される前に、全員がXをする、この技術を構築しない、この方法で展開しない、というようなことを調整できるようになります。
デフォルトでは両方が起こると思います。何かがはるかに優れた予測と調整能力を持つようになり、人間は周縁化されるでしょう。問題は、最初のことを2番目のことの前に行うことができるかどうかです。
だから、「AGIを構築しないで」と言うことに非常に精力的ではありませんでした。それは正しい方向への一歩だと思いますが、スタンピードが起こっているようなものです。「みんな、スタンピードをやめて」と言っても、「それは役に立たない。つまり、全員がそれをしたらスタンピードを解決したことになるが、本当にもっと賢いことを考え出さなければならない」というようなものです。
看板を持っていて、人々をこの方向に向ける、調整を助けるようなものか、大きな鏡を置いて、みんなが崖からスタンピードしているのを見られるようにするようなものです。
それはどのように見えますか。国際条約ですか。
条約。厳しいですよね。私は、多くのインフラを人々が地球温暖化のために構築しようとしたと思います。
もちろん、それはすべての悪い、通常の競争力によって乗っ取られました。問題を解決することについてであるべき制度が、その問題を解決することについてでなくなるようにする力です。
人々は同じことがAIで起こることを正しく恐れていると思います。それは、実際にAGIの構築を止めることなく、国家監視を増やす別の理由になるだけです。
それは私の本当の恐れだと思います。最近私が興奮しているのは、超予測と試みです。超予測はすでに世界への大きな贈り物でした。私は一般的にこの方向全体に本当に興奮しています。
そのコミュニティは、AIをナッシングバーガーとして却下したことについて、顔に卵をつけていると思います。統一されたコミュニティではなく、多くの人々が正しい呼びかけをしたので、あまり厳しくしたくありません。
しかし、もう1つの問題は、一般の人々や意思決定者が、5年か10年の規模で、文明の全体的な進路についてのような、非常に大きなオープンエンドの質問について、これらの超予測者を信頼すべきかどうかが明らかではないということです。この日までにこの戦争が起こるかどうかというようなものではなく。
これに対する私の試みの答えは、少し取り組んでいるサイドプロジェクトのようなものです。1920年、1930年、1940年のような、ある日付までの世界のすべての知識の状態までLLMを訓練できる歴史的な一連のデータセットを構築しようとしています。
それから、1920年に、1930年の歴史家が私たちが見逃している最も大きなものは何か、実施したいと思う政策は何か、心配すべき重要なことは何か、向かうべきものは何か、あるいは1930年の見出しは何になるかというような、オープンエンドの質問のセットを構築します。
原則的には、実際にモデルを訓練し、過去100年ほどでこのバックテストを実行し、2025年のデータで訓練された同じ足場を持つ同じモデルに、2030年や2035年の世界はどうなるかを尋ねるベースラインを持つことができます。
少なくとも、この実績を指し示すことができ、「少なくとも経済や戦争、いくつかの側面の観点から、モデルはかなり堅牢で、未来について言っていることはこれです。確かに、これは会話の良い出発点として全員が合意できるものです」というようなことが言えます。
これが、社会がよりエージェント的に行動する能力を向上させることについて、私が前方に見ることができる範囲です。
これは、1920年や1930年までのデータだけで新しいモデルをゼロから訓練するということですか。なぜなら、そうでなければ、そこに入れたくない未来に関するデータがたくさんあるからです。しかし、1920年までしか行かない場合、訓練データはあまりありませんよね。
本当に厳しいです。だから、モデルは時代を遡るほど悪くなります。大きなラボが2025年にモデルを作れるほどスマートにできるかどうかも明らかではありません。
明らかに、未来からいくつかのトリックを持ち帰り、検証可能な報酬で強化学習を行い、数学やプログラミングさえもさせることができます。ラムダ計算のようなもので、未来から何も漏らさずにプログラミングをさせるようなものです。
それは大きな問題です。並行して、いくつかの忘却技術を試すべきだと思います。持っている最高のモデルを取り、タスクをさせようとします。人々は、モデルが本当に第二次世界大戦などについて忘れなかったと正しく言うでしょうが、それは確かに並行して試すべき別の戦略です。
今のところ、どの戦略に最も希望を持っていますか。
サンドイッチのようなものですよね。漏洩の少ない不器用な歴史的モデルがあり、それらは愚かで、「おそらく別の戦争があるだろう」というような非常に曖昧な予測をするでしょう。
これの非常に基本的なバージョンがあり、1930年に、ヘンリー・フォードが50年代に大西洋横断航空会社を作るだろうと予測します。それは起こったようなものですよね。Virgin Atlanticのようなものです。誰でも予想するような賢明なことです。
しかし、モデルがちょっと愚かなので、それはおそらくどれだけ上手く予測できるかの過小評価だとわかるでしょう。
それから、知識の一部を忘れるように叩かれた完全に発達したモデルがあり、2つの良い予測をします。ベルリンの壁が重要になるだろうということを明らかに知っているでしょう。完全な忘却を本当にすることはできません。
だから、それらはちょっと良すぎるでしょう。だから、これよりも良いことがわかっていて、それよりも悪いことがわかっている範囲があるでしょう。
2010年か2015年までのデータで訓練して、より良いモデルを得て、それから10年だけ予測させることはできますか。
まさに。これらすべての組み合わせを試すべきです。最も重要なのが何かさえ明らかではありません。5年先か10年先を気にするのでしょうか。
私が気にかけるべきだと思う質問については、それが大体正しいと思います。しかし、これらにはあらゆる種類の用途があると思います。
多くの異なる人々が独立してこれを行うべきだと提案していて、これは今後の主要な活動になると思います。本当に嬉しいです。
世界がAIのために変化のペースが速くなっている場合、予測は本質的に難しくなると思いますか。
絶対にそうです。ある種の時間的なスピードアップ、スピードアップ要因のようなものが必要になると思います。異なる領域で異なるかもしれません。
しかし、それはまさに、過去100年を見て、「1980年の1年は1920年の4年くらいの価値がある」というようなことを言おうとすることによって把握できる種類のことです。
興味深いですね。最後のトピックとして、ポストAGI研究と呼べるこの分野で、最も必要な情報や知識は何でしょうか。何に最も興奮していますか。人々に取り組んでほしいことは何ですか。
非常に基本的なことの1つは、実際に人間の価値観を検査することです。
これはちょっと面白くて後ろ向きに見えるかもしれませんが、多くの人々が機械の意識や道徳的患者などについて話しているのを聞きます。
基本的な前進の道は、機械を調査して、「彼らの中で実際に何が起こっているのか。彼らはこの能力やあの能力を持っているのか」と言いたいということです。明らかに、それは全体像の一部でなければなりません。否定しません。
しかし、私にとっては、私が別の存在やその福祉を気にかけるようにするものは、私の心の中にあるものと現実について学ぶことのかなり複雑な関数のようなものです。
だから、クオリアが何であるかをより体系的に理解しようとすべきだと思います。
食べ物の味が良い理由を理解したいなら、食べ物の化学について学ぶのに多くの時間を費やすことができます。しかし、ある時点で、多くの味覚テストを行い、経路を理解し、「この分子は実際に甘い味がする。なぜなら、この他の分子に近いから」というようなことを理解しなければなりません。
味については議論の余地がありませんが、他の意識のある存在に関する人間の価値観についてのより体系的な、私は知りません。調査や研究のようなものは、質問の他の半分に答えるのに役立つだけだと思います。「私たちは何を気にかけるのか。AIを見る前に、何を気にかけるだろうか。実際には、彼らを見なくても事前に知ることができます」というようなことです。
人類がこれまでに書いたすべてのものを読み、インターネット全体から私たちが気にかけることについて書いたことや顕示選好を抽出すること以外に、そこで何か新しいことをする必要がありますか。
原則的には、おそらくすでに十分な情報があると思います。
ここであなたにとって最も価値のある新しい情報は何でしょうか。
正直なところ、ゲーム理論のレンズを通してこれについて考えることだと思います。おそらく1つのことは、人々が意識について話し続けていて、私は「あなたが実際に気にかけているのは、強力で協力ボットではない他のエージェントのようだ」というようなものです。
物事を丸めたくないし、人々の道徳的感情は複雑ですが、時々、人々は基本的に、「このものが基本的に私に対してゲームをプレイできる、有能なゲーム理論のパートナーになれるなら、私はそれを気にかける」というようなことから後ろ向きに推論しているだけだという印象を受けます。
それは進化的にも完全に理にかなっています。なぜなら、協力ボットを気にかけたくないし、裏切りボットも気にかけたくない。しっぺ返しボットのようなものを気にかけたいのです。
それがまさにそうかどうかはわかりませんが、そのようなことに沿った何かがあるのではないかと疑っています。十分なものを十分に上手くフィットさせる理論があり、「これが根底にあることだ」というようなことが言えるかもしれません。
繰り返しますが、味については議論の余地がありません。もしあなたがまだ「いや、私は感覚性などを気にかける」と言うだけなら、それは大丈夫です。しかし、人々がこれまで使ってきた言語よりも啓発的な、より根底にある枠組みのようなものがおそらくあると思います。
この人間の価値観の新しい理論を持つことは、どのように役立つのでしょうか。
善のための肯定的なビジョンを明確にするのに役立ちます。
私の主張は、人間の価値観について本当に良く理解していれば、本当に素晴らしいマニフェストを書くこともできるということです。
私が言っていたあの男は、人間の体を持つことがどれほど素晴らしいかについての彼のマニフェストを書きました。
意識のある存在について、あるいは社会を良くするものについて、人々が価値を置くことについて本当に素晴らしい理解を持っていたら、ある未来の社会の一日の生活のような素晴らしいビジョンを書くことができると思います。そうすれば、みんなが「なんてことだ、この人は理解している。その世界に住みたい。それはとても価値があるだろう」と言うでしょう。
これを他の人よりも上手くできる人々は確かにいますが、まだ意図的な芸術にしようとはされていないと感じます。
それは実際に本当に興味深いです。これは危険な質問かもしれませんが、これは自動化できるでしょうか。これはAIが非常に得意になるものでしょうか。
はい。はい。だから、機械も私たちを助けたり、ある時点で私たちよりも上手くこれを行うことができるようになるでしょう。
ちょっと面白いです。なぜなら、これらのマニフェストに異なるタイプの価値観を非常に簡単に忍び込ませることができるからです。
しかし、ある程度、人々がこの分野で上手く行われた良い仕事を認識できると主張していると思います。だから、私は誰を信頼すべきかわかりません。これを私のためにしてくれるのは、機械か、ランダムな人か。言うのは難しいです。
ここで言及したい他のことはありますか。見たいことは。
私とYanとRaymondは、人格の境界についてもう少し考えてきたと思います。社会的グループのような、探求されていない巨大なデザインスペースがあると思います。
すでに家族、国家、宗教、血統、民族性、スポーツチームのようなものがあります。私たちの世界はすでに組織の種類で非常に超混雑しています。
しかし、実際にはまだ探求されていない巨大なデザインスペースがあると思います。
AIがコピーを作ることができるようになると、あらゆる異なる自由を持つようになり、彼らが持つことになるすべての異なる自由で、さらに大きなデザインスペースを持つことになります。
人間のソフトコピーを作る能力を持つようになったら、あらゆる種類の奇妙で素晴らしい新しいタイプの人格と忠誠心の配置があり、完全に手つかずです。
世界のSF作家の皆さん、未来に住みたいと思う新しい社会的単位を発明してください。
それらのグループがどのようなものになるか、具体的な推測はありますか。
たとえば、日常生活で、死んだおじいさんをシミュレートして、先祖が何を望んでいたかを教えてくれるような、多くの人格を持つことになるかもしれません。
人々のLLMとの関係についてもう少し仕事をしてきました。多くの人々が本当に何をすべきか教えてもらいたがっていると思います。それは、示されていることの1つだと思います。
AIに人々を叱責させたくはありませんが、多くの人々は基本的に従順であったり、他の誰かが計画を持っていることを望んでいます。
多くの人々にとって、LLMと対話する最良の方法は、ある種のグッドコップ・バッドコップのような状況かもしれないと思います。部屋を掃除して仕事を得ろと言う意地悪なLLMがいて、それから「いや、意地悪なものを怒らせたくない。だから部屋を掃除しよう」という支援的なものがいます。
今は、セラピストのような、非常に同意に重いピアツーピアの種類の関係があります。それは多くの人々にとって機能すると思います。
軍隊の二等兵や探求の中の誰かのように見えるものを好む人々がたくさんいると思います。探求が何のためかさえ知らないような。
もちろん、これは非常に危険ですよね。カルトを作るのは非常に簡単です。基本的に。
しかし、多くの人々にとって、LLMが人々と関係する方法は、このようなオールインワンの親友やアドバイザーのようなものには見えないと感じます。
これらのアイデアに取り組むことに興味がある人々は、何をすべきでしょうか。どこに応募すべきでしょうか。
最近、博士課程の学生を取っていません。なぜなら、コンピュータサイエンス学部にいて、誰かが来てデータベースのようなものを取ることを望まないからです。
ワークショップの後に作ったDiscordがあります。同じ考えを持つすべての人々を集めようとしています。
正直なところ、Less Wrongに現れてください。今、それは素晴らしいコミュニティです。これらの方向に沿って考えている人々がたくさんいます。
素晴らしいです。David、話してくれてありがとうございました。
どういたしまして。
コメント