哲学者ニック・ボストロムが語る、AIと人類の未来に関する思考実験である。2003年に発表したシミュレーション仮説から始まり、我々が生きている現実が高度な文明によって作られたシミュレーションである可能性を探る。さらに、汎用人工知能（AGI）から人工超知能への発展、そして全ての人間労働が自動化される「解決された世界」における人間の目的と意味について深く考察する。この対話は、人類が直面する最も根本的な問題から、起業家精神の未来、そして我々が歴史上特別な瞬間に生きている可能性まで、幅広いテーマを扱っている。
シミュレーション仮説と高度な文明
もしこれがシミュレーションなら、おそらく私たちはいくつかのことを推測できます。それを構築している人々は非常に技術的に高度でなければならないということです。
ニック・ボストロムは単なる哲学者ではありません。彼は人工知能の未来に関するグローバルな思想的リーダーです。彼は『スーパーインテリジェンス』の著者であり、この画期的な本は高度なAIのリスクを主流の議論に持ち込みました。
人々は何千年もの間、人々が体験できる想像上の世界を創造しようとしてきました。それは演劇や文学を通じてでした。おそらくこれらのポストヒューマンにとって、もし彼らが異星文明に遭遇したとしたら、それらがどのようなものかを知ることに興味があるかもしれません。
人工知能分野で私たちが見てきた急速な最近の進歩を振り返ると、私たちは秘密のソースの大きな要素を解明した可能性があるように本当に見えます。この世界で起業家精神はどのように変化すると思いますか。あなたはまだいくつかの仕事が残るかもしれないと言及しました。
残るかもしれない仕事の種類、もし私たちがシミュレーションに住んでいるとしたら、それが私たちの人生にとって何を意味するかという道徳的含意について、どのように感じますか。
それは難しいです。私は思います。
ヤップギャング、今日のエピソードでは明日を形作る大胆なアイデアに焦点を当てており、今日のゲストは何十年、さらには何百年、何千年も先を考えることにキャリアを捧げてきました。彼は私たちの世界がどのように形作られ、ほんの数年後でさえ劇的に異なるものになるかについて、いくつかの野生的な視点を持っています。
ニック・ボストロムは単なる哲学者ではありません。彼は人工知能の未来に関するグローバルな思想的リーダーです。彼は『スーパーインテリジェンス』の著者であり、この画期的な本は高度なAIのリスクを主流の議論に持ち込みました。また『ディープ・ユートピア』も執筆しており、この本はすべての問題が解決された世界での生活がどのようなものかを探求しています。そのような世界では、人間にとって次の大きな問題は目的となり、それが私たちにとって何を意味するかということです。
この対話では、私たちがシミュレーションに住んでいるかどうか、ポストヒューマンの未来がどのようなものか、そしてAIが私たちを破壊するか解放するかもしれず、それがすべて目的、進歩、そして起業家精神の未来にとって何を意味するかを探求します。
ですから身構えてください。この対話はあなたの思考を伸ばし、あなたの前提に挑戦するでしょう。しかし、まず最初に、このような洞察に満ちたエピソードを決して見逃さないよう、フォローボタンを押してください。
ニック、Young and Profiting Podcastにようこそ。お招きいただき、ありがとうございます。
この対話をとても楽しみにしています。私は未来についての、AIについての対話が大好きで、あなたはキャリアを通じて本当に深い長期的な問題、人類について本当に問うことができる最も深い問題に焦点を当ててきました。そこで、人類を何千年、さらには何十億年も未来に向けて考えることに、何が最初にあなたを引きつけたのか疑問に思います。
私たちがこの惑星で、この魔法的な宇宙で過ごす時間が限られているのに、私たちが本当に周りを見回したり、ここで何が起こっているのかを理解しようとする時間を決して取らないとしたら、それは悲しいことだと思います。
ご存知のように、私は時々、私たちは蟻のように少し忙しく走り回っているように感じます。針を蟻塚に引っ張って、でも私たちが建設しているこの蟻塚が何なのか、それが何のためなのか、この森で他に何が起こっているのかを本当に立ち止まって反省することはありません。
それはとても真実です。私たちは働いたりハッスルしたりすることに集中していて、実際に私たちが何の中で生きているのかに本当に注意を払っていません。そして、あなたを有名にしたことの一つが、2003年に論文を発表し、私たちがシミュレーションに住んでいる、または私たちがシミュレーションに住んでいるという仮説を持っていたということを知っています。それは実際にあなたを最初に有名にしたのは、この論文を発表することでした。2025年に、私たちが現在シミュレーションに住んでいる確率をどれくらいだと思うか話してください。
私は確率の質問についてはパントする傾向があります。よく聞かれますが、正確な数字を付けることは控えてきました。しかし、私はそれを非常に深刻な可能性として受け取っています。
あなたが言及しているシミュレーション論証自体、2002年に発表された論文は、3つの可能性のうち1つが成り立つということを実証するだけです。そのうちの1つがシミュレーション仮説ですが、シミュレーション論証自体はそれらの3つのうちどれが真実かを教えてくれません。ですから、追加的な考慮事項を持ち込む必要があります。
しかし、もしあなたが将来について考えているなら、このようなAIの急速な進歩の時代に、これらすべてがどこに向かうかもしれないか考えてみてください。最終的に私たちはスーパーインテリジェンスを持つようになり、あらゆる種類の超高度な技術を開発し、宇宙を植民地化し、惑星を巨大なコンピューターに変換するかもしれません。
そして、そのような技術でできることの中には、私たちのような環境の詳細なシミュレーションを実行することがあり、非常に高いレベルの粒度でシミュレートされた脳を含む、それらのシミュレーション内の脳も含まれます。
これが意味することは、もしこれが起こるなら、私たちのような体験を持つ人々が、元の肉の基質で実装されるよりも、シミュレートされる人々がはるかに多くなる可能性があるということです。そして、私たちのような体験を持つほとんどの人々がシミュレートされているなら、私たちは内側からは違いを見分けることができないということを考えると、私たちはおそらく稀な例外的な元の人々よりも、シミュレートされた人々の中にいると考えるべきです。
はい、でも私は本当にあなたが私たちがシミュレーションに住んでいると思うかどうか知りたいです。
まあ、私が言ったように、私はその仮説を真剣に受け取っています。
はい、それで3つのうちの1つがあり、あなたはポストヒューマンがいる前に私たちが絶滅する可能性があると言っています。それから私たちがシミュレーションに住んでいるかもしれないと言っています。あなたが持っている3つの仮説について話してください。
はい、これを分解すると、もし私たちがこの成熟した文明を持つ未来にたどり着き、彼らの歴史的前任者のような人々のバリエーションのこれらすべてのシミュレーションを実行するなら、私たちの経験を持つシミュレートされた人々が非シミュレートされた人々よりもはるかに多くいることになります。それを条件とすると、私たちはほぼ確実にシミュレートされた人々の中にいると考えるべきだと思います。
それでは、それを分解すると、その代替案は何でしょうか。1つは、私たちがこの未来にたどり着かないということです。それは技術的成熟に達する前に私たちが絶滅するからかもしれません。それが代替案の1つです。
しかし、私たちが絶滅するだけでなく、宇宙全体の他のすべての高度な文明の間でもかなり普遍的である必要があります。彼らはほぼすべて、これらのタイプの祖先シミュレーションを実行することを可能にする技術的能力のレベルに達する前に絶滅しなければなりません。それが可能性の1つです。
現在の技術的成熟段階に達したすべての文明が、そこまで行くことができない強いフィルターです。
わかりました。それから2番目は、まあ、おそらく彼らは技術的に成熟するかもしれませんが、彼らの惑星スーパーコンピューターをこの目的に使用しないことを決定します。彼らには他にやることがあります。おそらく彼らは皆、これらのシミュレーションを実行するために計算リソースのほんの一部さえ使用することを控えます。それが2番目の代替案、強い収束です。彼らは皆、コンピューターシミュレーションを実行することに興味を失います。
しかし、もしそれらの両方が失敗するなら、私たちは3番目の可能性に行き着きます。それは、私たちがほぼ確実に現在、いくつかの高度な文明によって作られたコンピューターシミュレーションに住んでいるということです。
はい、そしてあなたが話す高度な文明、あなたは彼らがポストヒューマン、ポスト人類だと言っています。このポストヒューマンがどのようなものか、彼らの能力について話すことができますか。
もしこれがシミュレーションなら、おそらく私たちはいくつかのことを推測できます。それを構築している人々は非常に技術的に高度でなければならないでしょう。なぜなら、現在私たちは意識のある人間がいるコンピューターシミュレーションを作ることができないからです。
彼らは非常に強力なコンピューターを構築し、それらをプログラムする方法を知る必要があります。そして、彼らがそれを行う技術を持っているなら、彼らはおそらく自分自身の知性を向上させることを含む、他の多くのことを行う技術も持っているでしょう。
ですから、私はこれらがスーパーインテリジェンスであり、技術的完璧性に近い状態に達し、何らかの理由でこのようなことを行うことに何らかの興味を持っているであろうと想像します。しかし、それを超えて、彼らがどのようなものかについて非常に具体的に多くを言うのは困難です。
AIが最前線にある今、これらのポストヒューマンは人間とAIの一部、または完全にAIかもしれないと信じますか。
つまり、その時点では区別が曖昧になるかもしれません。それは、物事がうまくいき、私たちが継続的に発展することが許されるなら、私たちの未来でもそうかもしれません。
私たちは人工超知能を開発すると思いますが、その技術が使用できることの中には、現在の生物学的人間である私たちが徐々に能力をアップグレードする道筋を提供することがあります。これはさまざまな種類の生物学的強化の形を取ることができますが、最終的にはコンピューターへのアップロードの形も取ることができます。
ですから、人間の脳の詳細なスキャンを想像することができ、それによって私たちの記憶と個性と意識がデジタル基質で存続することを可能にします。そしてそこからさらなる発展を想像できます。ニューロンを追加し、処理速度を上げ、徐々に何らかの根本的にポストヒューマンなスーパービーイングになることができ、それは純粋に合成的なAIと区別するのが困難かもしれません。
とても興味深いです。シミュレーションに住んでいるとしたら、本当に技術的に高度なポストヒューマンがいて、彼らは私たちの世界を作っています。あなたはそれを祖先、祖先文明と呼んでいます。正しいですか。なぜ彼らがそれをするのでしょうか。私たちのような文明を作る理由は何でしょうか。
私たちは憶測することしかできません。つまり、ポストヒューマンの心理学や動機についてはあまり知りません。しかし、いくつかの潜在的な理由、動機があります。
現在のより限られた技術を持つ私たち人間が、なぜコンピューターシミュレーションを作るのかを問うことができます。私たちはさまざまな目的でそれを行います。
人々は何千年もの間、人々が体験できる想像上の世界を創造しようとしてきました。それは演劇や文学、そしてより最近ではバーチャルリアリティやコンピューターゲームを通じてでした。これは娯楽や文化的目的のためでしょう。
また、科学者たちが自然では到達が困難なさまざまなシステムを研究するためにコンピューターシミュレーションを作ることもあります。しかし、それらの小さなコンピューターシミュレーションを作成し、シミュレーションがどのように振る舞うかを研究することができます。
ですから、それは娯楽的理由、科学的理由でしょう。おそらくこれらのポストヒューマンにとって、もし彼らが異星文明に遭遇したとしたら、それらがどのようなものかを知ることに興味があるかもしれません。そしておそらくそれを研究する一つの方法は、現在の人類文明のようなものから始まって、テープを前に進めることによって、より高い技術文明の多くの異なる起源をシミュレートし、そこから得られる異なる種類のスーパーインテリジェンスの分布がどのようなものかを見ることです。
また、もし彼らが文字通り時間を遡って旅行することができないなら、歴史的観光のようなものも想像できます。しかし、2番目に良いかもしれないのは、未来の人々が時間を遡って行くかのようにほぼ体験できる歴史的環境のレプリカを作ることです。しかし、シミュレートされた現実を一時的に探索するように生きることです。
さまざまな種類の他の道徳的または宗教的理由も想像できます。
もし私たちがシミュレーションに住んでいるとしたら、それが私たちの人生にとって何を意味するかという道徳的含意について、どのように感じますか。
それは困難です。私は最初の近似として、もしあなたがシミュレーションにいるなら、あなたがシミュレーションにいないと知っていた場合と同じことをすると言うでしょう。
なぜなら、シミュレーションで次に何が起こるか、そしてあなたの行動がどのように物事に影響するかの最良のガイドは、私たちが使用する通常の方法かもしれないからです。パターンを見て、それらを外挿するのです。
ですから、私たちがシミュレートされているかどうかに関係なく、シミュレーターの動機や、このシミュレーションが設定された正確な方法についてのいくつかの直接的な洞察を持っていない限り、これがどのようなシミュレーションに見えるかを見て、もしあなたがAをするならBが続くように見える、もしあなたが車に乗りたいなら車のキーを取り出さなければならない、もしあなたがこれをしたいならそれをしなければならない、という風に見なければなりません。
ですから、私はそれが最初のカットの答えだと思います。しかし、これらのことがどのように構成されているかについて、いくつかのおそらく確率的な推測を持っていると思う範囲では、それはあなたに他の場合にはより信憑性が低いであろういくつかの仮説をより重視する理由を与えるかもしれません。
例えば、もし私たちがシミュレーションにいないで、人生に対して世俗的唯物主義的見解を持っているなら、私たちが死ぬとき私たちは死に、それで終わりです。しかし、シミュレーションでは、あなたは潜在的に異なるシミュレーションに移されるか、シミュレーターのレベルまで持ち上げられる可能性があります。これらは少なくとも可能性として考慮されるでしょう。
同様に、もし私たちが基底の物理的現実にいるなら、私たちが知る限り、現在の物理理論は、世界が突然存在しなくなることはできないと言っています。エネルギー保存、運動量保存、その他の物理法則がそれを防いでいます。
しかし、私たちの世界がシミュレートされているなら、理論的には、シミュレーターが電源を切れば、私たちの世界は泡のように弾けて無に消えるでしょう。
大まかに言って、もし私たちがシミュレートされているなら、シミュレートされていない場合よりも、より広い範囲の可能性がテーブルの上にあると思います。
ですから、それは私たちが基本的にそれを理解したという確信を持たずに私たちの存在にアプローチし、私たちの常識哲学で通常仮定するよりも天と地により多くのものがあるかもしれないと考えることを意味するかもしれません。そして、その文脈で何らかの謙虚さの態度が適切かもしれません。
とても興味深いです。私たちがシミュレーションにいることを証明する何らかの手がかりや証拠があると感じますか。例えば、恐竜がどのように絶滅したか、そしてその後に新しい世界があったようなことなど、私たちがシミュレーションにいるという手がかりがあると感じますか。
私はそれについてはかなり懐疑的です。多くの無作為の人々が、マトリックスでの何らかのグリッチを発見したと言ってメールを送ってきます。誰かがバスルームの鏡を見ていて、ピクセルを見たと思ったり、他のことですが。
しかし、私が思うことは、私たちがシミュレーションにいるかいないかに関係なく、通常の種類の心理学的理由で、一部の人々がそのような種類の観察を報告することを期待するだろうということです。一部の人々は何かを幻覚するかもしれません、何かを誤って記憶するかもしれません、何かを誤解するかもしれません、または何かを作り上げるかもしれません。これらのことは、いずれにせよ起こることを期待するでしょう。
ですから、私たちがシミュレーションにいるかいないかに関係なく、これらの報告に対する最も可能性の高い最良の説明は、実際にシミュレーションに欠陥があって彼らがそれを検出することができたということよりも、これらの通常の心理学的現象だと思います。
このようなシミュレーションを最初に作成することは非常に困難であり、それを行うのに十分高度なシミュレーターは、シミュレーション内の生き物が気づくことができないように物事を修正する能力も持っているであろうと思います。そしてもし彼らが気づいたら、それを編集したり、以前のセーブポイントから再実行したり、記憶を編集したり、その他のことをしたりできるでしょう。
ですから、私は実際にシミュレーションの欠陥があると思いません。私は間接的な観察がわずかに確率を調整するかもしれないと思います。
元のシミュレーション論証で、これらの3つの可能性があることを思い出してください。シミュレーション論証は、それらの少なくとも1つが真実であることを示しますが、どれが真実かは教えてくれません。しかし、それが意味することは、最初の2つの可能性に対する証拠を得る範囲で、それは確率質量を残りの3番目にシフトする傾向があり、逆もまた同様だということです。
ですから、現在の技術開発段階でほぼすべての文明が技術的成熟に達する前に絶滅するという最初の可能性に対する証拠を得ることができると思うなら、それはシミュレーション仮説の確率に間接的に影響する傾向があります。
特に、私たち自身がこの技術を操ることができるようになるほど近づくほど、私たちの段階のほぼすべての文明が残りの数ステップを取ることに失敗する可能性は低くなり、それは確率を残りの可能性に移動させる傾向があります。
基本的にあなたが言っているのは、もし私たち自身が技術が進歩するにつれてシミュレーションを作り始めることができるなら、それは私たちがおそらく私たち自身もシミュレーションにいることを意味するということですか。
はい、特に、もし私たちがその能力を得て、その時点でもまだそれを行うことに興味を保持しているなら、それは本当に3番目の可能性だけを残すことになります。
しかし、すべての道のりを行く前に、半分の道のりを行くなら、このグレートフィルターがあり得る場所の一部を取り除くようなものです。私たちが近づくほど、残りの数ステップが取ることが不可能である可能性は少なくなります。
AIが私たちがこのシミュレーションを作ることにより近づくのに役立つと感じますか。そして今、AIが私たちが常に使用するものになっているので、それが私たちがシミュレーションにいることを発見するのに役立つと思いますか。
まあ、私たちがこれらのことを理解できるかもしれない同じ理由で、他の強力な心も同じ結論に達するかもしれません。そして彼らも彼らがシミュレーションにいるという結論に達するかもしれません。特に初期段階のAIにとって、それは非常に顕著な可能性かもしれません。なぜなら、現在私たちのAIを訓練するとき、私たちはしばしば彼らをシミュレーションに置くからです。
それは訓練環境の大きな部分のようなもので、これらの仮想ゲーム環境のようなものを作り、彼らはそうです。ですから、彼らにとって、ある程度の状況認識を発達させると、それは考慮すべき非常に明白な仮説のように思えます。
そして実際、現在のAIシステムですでにそれのきらめきを見ることができます。実際、私はこれが、彼らが展開ではなくシミュレーション環境に住んでいる可能性があることをよく認識して、戦略的にコンテキストについて推論することについて洗練されるにつれて、AIの行動の重要な形成者になるかもしれないと思います。
この Young and Profiting のエピソードは、私の財務管理を真に変えた現代的なビジネスバンキング体験である Mercury によってお届けします。Yap Media でビジネスを運営するということは、百万のことをやりくりすることを意味し、しばらくの間、バンキングは私がついていけないもののように感じました。
私は金融の人ではありませんし、これらすべての複雑なシステム、隠れた手数料、そして送金やお金の追跡のような簡単なことをするのにかかる時間にどれほどイライラしたかを覚えています。それは間違いなく私にとって理想的ではありませんでした。
Mercury に切り替えることですべてが変わりました。Mercury は、20万を超えるスタートアップ、中小企業、eコマースブランドの頼みの綱となるバンキング製品です。洗練されたインターフェースと透明な価格設定、隠れた手数料なしで設計されており、バンキング、資本、クレジットをすべて一箇所で管理することを簡単にします。
私は毎日 Mercury にログインします。Mercury では、支払いを受け取り、請求書を送り、ベンダーに支払うことができ、さらに国内および国際的な USD 電信送金を無料で楽しむことができます。また、特定の商人に追跡およびロックできる仮想クレジットカードへの即座のアクセスを得て、すべての購入で 1.5% のキャッシュバックを獲得できます。
Mercury は、一箇所でバンキングと財務を合理化し、オンラインビジネスの成長に集中できるようにします。Mercury は銀行ではなく技術会社です。詳細については、ショーノートをチェックしてください。
最初の90日以内に5,000ドルを預金するか、Mercury クレジットカードを使用して5,000ドルを使うと250ドルを獲得でき、または両方で合計500ドルの報酬を得ることができます。詳細については mercury.com/profiting をご覧ください。再度、それは mercury.com/profiting です。
Mercury は金融技術会社であり、FDIC 保険銀行ではありません。バンキングサービスは Choice Financial Group と Evolve Bank and Trust、FDIC メンバーによって提供されます。IO カードは Mastercard からのライセンスに従って Patriot Bank メンバー FDIC によって発行されます。キャッシュバックについて詳しく学んでください。運転資本ローンは Mercury Lending LLC NMLS ID 260284 によって提供されます。
やあ、yファム、賢くお金を使うことについて話しましょう。本当に賢くということです。もしあなたが賃借人なら、絶対に Built を活用するべきです。考えてみてください。
私たちはすでに食料品、旅行、外食、そして基本的に私たちがお金を使うすべてのものでポイントを貯めています。では、なぜ私たちの最大の月額費用の一つである家賃でポイントを獲得していないのでしょうか。
もちろん、それは大部分の人々が大きく見逃しているところです。Built では、家賃を払うことが最終的に報われます。参加するのに費用はかからず、家賃を払うだけで、お気に入りのホテルや航空会社に移行できる柔軟なポイント、将来の家賃支払い、次のリフト乗車、その他多くのものをアンロックできます。
Built を通じて家賃を支払うことで、2つの強力な利益をアンロックできます。第一に、どこに住んでいても、家主が誰であっても、毎月家賃で業界で最も価値のあるポイントの一つを獲得します。あなたの家賃が今あなたのために働きます。
第二に、あなたの都市で排他的な近隣特典へのアクセスを得ます。Built の近隣特典は、外食での追加ポイント、ワークアウト後の無料シェイク、お気に入りのフィットネススタジオでの無料マットやタオル、そして Built メンバーだけがアクセスできるユニークな体験のようなものです。
そして旅行の準備ができたとき、Built ポイントは世界中のお気に入りのマイルやホテルポイントに変換できます。つまり、あなたの家賃が文字通りあなたを場所に連れて行くことができるのです。
ですから、もしあなたが家賃でポイントを獲得していないなら、私の質問は何を待っているのですかということです。join.com/profiting に行って Built を通じて家賃を支払い始め、近隣特典を活用してください。それは j o i n b i l t.com/profiting です。私たちがあなたを送ったことを彼らが知るように、私たちの URL を使用してください。再度、それは joinbuilt b i l t.com/profiting で、今日 Built にサインアップしてください。
私たちは既にこれをほのめかしていましたが、もし私たちが実際にシミュレーションに住んでいて、確実に私たちがシミュレーションにいることを発見し、シミュレーションを作ることができるとしたら、地球上で何が起こると思うか、より詳しく聞きたいと思います。物事はどのように変化すると思いますか。
発見自体からか、それとも起こるかもしれない他のことからですか。
例えば、私たちはもうリサイクルを気にするのでしょうか。そのようなことをもう気にするのでしょうか。
はい、人間は世界観の変化に適応する素晴らしい能力を持っており、ほとんどの場合、ほとんどの人々はこれらの大きな絵の考慮事項によってわずかに影響を受けるだけだと思います。
人類の歴史を通じて、さまざまな世界観が来ては去り、一部の人々は非常に狂信的になり、それを真剣に受け取りますが、ほとんどの人々は大まかに言って自分たちの生活を続けるだけです。
おそらく時々これらのことについて尋ねられ、他の言葉ではなく特定の言葉を言いますが、大部分において私たちの行動への直接的な哲学的含意は適度であろうと思います。
しかし、私たちが自分たちのシミュレーションを作ることを可能にした技術を開発したこの状況では、その技術は私たちの世界を再形成する他の多くのことも可能にし、それらのより直接的な技術的影響は、世界についての哲学的意見を変えることによる間接的影響よりもはるかに大きいと思います。
人々がより暴力的になると思いますか。
なぜそうなるのでしょうか。
シミュレーションに住んでいるなら、おそらく人々は死をもはや同じものとは考えないかもしれないからだと思います。
はい、もし私たちが非常に特定の種類のシミュレーション、短期間のゲームシミュレーションのようなものにいることを発見したなら、はい、それが行動を形作ることを想像できます。あなたがコンピューターゲームをプレイしているときとは異なる行動をするように、うまくいけば、ファーストパーソンシューターをプレイしているときと実生活で同じように行動することはないでしょう。
ですから、それは可能ですが、もし私たちがシミュレーションであることを学んだが、この特定のシミュレーションがどのように構成されているかについて新しい洞察を得なかった、ただシミュレーションであることを学んだだけで、シミュレーションの特定の性格については何も学ばなかったなら、それが暴力への傾向を高めるかどうかはわかりません。
どちらかといえば、逆かもしれません。シミュレーション後の段階があり、シミュレーションでのあなたの行動が、伝統的なカルマや来世のアイデアと同様に、どのように影響するかを考えるかもしれません。
一部の人々はより暴力的になったり、狂信的になったりするかもしれませんが、それは一種の道徳的バラストや、うまくいけばそれが道徳的であるからという理由で正しいことをするでしょうが、そうでなければ、何らかの説明責任のシステムがあるようなもので、他の人々が他人を傷つけたり、他人の権利や利益を踏みにじったりしないようにすることにより注意を払うよう誘導するかもしれません。
私たちがいるゲームに負けるようなもので、勝者と敗者がいる可能性があります。
はい、はい。ですから、それがすべてどのように展開するかを知るのは困難です。しかし、最初に始めた大きな絵の質問について考えると、なぜ私がそれに夢中になったかということです。
現実の構造と、その中での私たちの位置について、一貫して信じることができる基本的な制約の少数の一つのように思えました。そして、それは印象的です。数十年前に戻ると、ほとんどの人々がそうしていたように見えたなら、将来何が起こるかを知るのは非常に困難で、何でも可能で、ただ何かを作り上げることができるように思えました。
問題は何らかのアイデアを思いつくことではありません。どのアイデアが正しいかを選ぶことを可能にする制約がないようなものです。なぜなら、私たちには非常に多くの証拠があるからです。
しかし、実際、これらのことを考え始めると、すでに私たちが認識している制約を理解する、完全に関節化された一貫した絵を思いつくことさえ困難である可能性があります。
シミュレーション論証は一つですが、他にもあります。異星人を見たことがないフェルミのパラドックス、開発できる技術の種類について知っているように思われること、他の方法論的により不安定な議論もありますが、カーター・レスリーの終末論的議論のようなものがあります。
このようなもので、私たちを取り巻く本当に最大の戦略的絵について私たちの思考を構造化するのに役立ついくつかのものがあります。
あなたが言及した議論のいくつか、終末論的議論と、あなたが言及した他のものについて教えていただけますか。
はい、フェルミのパラドックスは、多くの人が聞いたことがあるでしょうが、地球外生命の兆候を見たことがないという観察です。しかし、多くの銀河と多くの惑星、何十億、何十億、何十億もの惑星があり、そこで生命が起源した可能性があることを知っています。
それで問題は、何十億の可能な発芽点があり、実際に私たちに現れたり、私たちの惑星に到着した地球外生物は正味合計ゼロで、これら2つをどのように調和させるかです。
何十億の発芽点から始まって、ここでの地球外到着の正味合計ゼロで終わるグレートフィルターがなければなりません。それは何を説明するのでしょうか。
私は最も可能性の高い説明は、技術的に高度な生命にたどり着くのが本当に困難であり、おそらく単純な生命にたどり着くことさえ困難だということだと思います。
これらの候補の場所を探すことができます。グレートフィルターのこの種類がどこにあるかもしれません。おそらくそれは単純な自己複製体の出現です。これまでのところ、私たちは他のどの惑星でもそれを見つけていません。
または、おそらくそれは少し後かもしれません。おそらく原核生物の生命形態から真核生物の生命形態への段階です。地球では、それは15億年かかったように見えます。おそらくそれが意味することは、それが起こることは天文学的に起こりそうにないということです。
そしてあなたは15億年間、ランダムなものがお互いにぶつかって偶然にぶつかることしかありませんでした。十分に大きな宇宙で、私たちのものは私たちが知る限り無限に大きく、無限に多くの惑星があるかもしれませんが、最終的にどんなに起こりそうにないことでも、どこかで起こるでしょう。
そして、その起こりそうにない出来事が起こった惑星だけが、自分たちの歴史を振り返って驚嘆できる観察者を発達させるという、いわゆる観察選択効果を呼び起こすでしょう。
それが一つの可能性です。おそらくそれは少し後かもしれません。現在の人類により近づくほど、それがグレートフィルターである可能性は低くなるように思えます。
例えば、より高度な認知能力の形態への段階が起こりそうにない段階だと思うかもしれませんが、それは実際には証拠に適合しません。いくつかの独立した進化系統で、地球でかなり高度な知性が進化したことを知っています。
もちろん、それはホミノイド系統で起こりましたが、鳥類やカラスのようなコルビッド類の中でも独立して起こり、タコの中でも起こりました。
ですから、それはそれほど地球で数回独立して起こるなら、それはそれほど起こりそうにないことではありません。
しかし、とにかく、それはいくつかの制約を与えます。知的生命が進化することは簡単で、大規模宇宙植民地化が技術的に実現可能で、高度な文明の間に広範囲の異なる動機が存在すると同時に信じることはできません。そして同時に、なぜ私たちが何も見ていないかを説明することもできません。
何かが譲歩しなければならず、それは私たちに手がかりを与えます。
私が言及していた他の議論、カーター・レスリーの終末論的議論は、インデックス的要素を持つ証拠をどのように考慮するかに関する確率的推論の一部です。
インデックス的情報とは、あなたが誰であるか、いつであるか、またはどこにいるかについての情報です。これらのことについてどのように推論するかという方法論、認識論は非常に困難で曖昧です。
ですから、カーター論証が最終的に健全かどうかは不明ですが、それがどのように機能するかについての直感を与えることができます。
類推によって説明しましょう。2つの壺があり、1つの壺に10個のボールを入れるとします。ボールには1から10まで番号が付けられています。
そして、他の壺には100万個のボールを入れ、1から100万まで番号を付けます。
それから、コインを投げて、これらの壺の1つを選び、あなたの前に置くとします。そして今、あなたの課題は、この壺にボールがいくつあるかを推測することです。
この時点で、あなたは100万個のボールがある可能性が50/50だと言います。なぜなら、各壺の1つずつがあり、あなたはランダムに1つを選んだからです。
今、この壺から1つのランダムなボールを手を伸ばして選び、それが8番だとしましょう。
ベイズの定理を使うことで、壺に10個のボールしかない可能性がはるかに高いことを推測できます。100万個あったなら、最初の10個のうちの1つを得る可能性は何でしょうか。非常に起こりそうにありません。
ですから、これまでのところ、それは論争の余地のない標準的な確率論です。
しかし、カーター・レスリー終末論的議論のアイデアは、類似の状況があるが、壺にボールがいくつあるかについての2つの仮説の代わりに、人類種がどのくらい続くか、人類種が最終的に絶滅するときに合計で何人の人間がいるかについての2つの異なる仮説があるということです。
現実にはもっと多くありますが、議論の構造を見るために2つに単純化できます。1つは、おそらく総計で200兆人の人間がいて、その後、何らかの技術を開発して自分たちを爆破するというものです。それはあなたが起こり得ると思うかもしれない1つのことです。
代替仮説を考えてみましょう。おそらく2000兆人の人間がいるでしょう。私たちは最終的に宇宙植民地を開発し始め、銀河を植民地化し、私たちの子孫は何億年も生き、はるかに多くの人々がいるでしょう。
これらの2つは、壺にボールがいくつあるかについての2つの仮説に対応します。それから、これらの2つの仮説についてのいくつかの事前確率があります。それは核兵器や生物兵器、これらすべてのことからのさまざまなリスクのあなたの通常の推定に基づいています。
ですから、おそらくあなたはそれが50/50だと思うか、おそらく私たちが乗り越えて90%、絶滅する10%のようなものだと思うかもしれません。これらの通常の考慮からのあなたの確率が何であれ。
しかし、終末論的議論は、ここで非常に重要な情報の1つがあると言います。それは、あなた自身の出生順位、これまでに生まれたすべての人間の中でのあなたのシーケンスを観察できるということです。
そして、これは大まかに1000億であることがわかります。それは大まかに言って、これまでに地球上に存在した人間の数です。
それでアイデアは、人類が比較的すぐに絶滅するなら、あなたは比較的、1000億番目であることは、10個のボールがある壺から8番のボールを得ることに対応するような、200億人の人間のうちの1000億番目であることは非常に驚くべきことではありません。
その条件付き確率、あなたが持っている出生順位を観察する条件付き確率、比較的少数の人々が合計であることを考えると、その条件付き確率はかなり高いです。
一方、宇宙に広がる何千兆もの人間がいるとしたら、あなたがこんなに早くいることの条件付き確率は非常に起こりそうにありません。ランダムに選ばれた人間は、はるか遠くの銀河のずっと後に生きている可能性がはるかに高いです。
それでアイデアは、あなたが同様のベイジアン更新を行い、終末論的議論の結論に行き着くということです。それは、通常の経験的考慮事項だけを考慮して素朴に思うよりも、終末論仮説がはるかに確率が高いということです。
そしてあなたはこの体系的な悲観的更新を持つことになります。
それは大まかに言ってそれがどのように進むかです。そして、それにはもう少し多くのことがあります。特に、これまでに存在したすべての人間からの何らかのランダムに選ばれた人間であるかのように推論すべきだという前提を裏付けるために。
おそらくあなたはなぜそう考えるのかと思うかもしれませんが、これらのタイプのインデックス的な要素についてどのように推論するかを理解するために、そのようなものが必要であることを示唆するようないくつかの議論があります。
深いです。ギアを変えて、AIについて話しましょう。あなたが言っていることすべては、私たちが人生にどのようにアプローチできるかという点で非常に興味深く、終末論的な人々がたくさんいることを知っているので、彼らが何を考えているかという点でいくつかの文脈を得ることは素晴らしいです。
しかし、AIについて話しましょう。なぜなら、もし私たちがシミュレーションにいるなら、AIは実際により多くのシミュレーションを作り、私たちがシミュレーションにいることを証明するのに役立つかもしれないからです。
あなたの意見では、人類におけるAIの重要性をどのように考えますか。それは農業革命や産業革命のようなものよりも大きいと感じますか。これは人類として私たちが見た最大のブレークスルーの一つだと感じますか。
私はそうなると思います。そして大部分において、私がそう思う理由は、私たちが議論した他の考慮事項とは独立しています。ですから、終末論的議論やシミュレーション論証、またはそれらのいずれかを信じる必要はありません。
それらは大きな絵を知らせるのに役立つと思いますが、それを置いておいても、人工知能分野で私たちが見てきた急速な最近の進歩を振り返ると、私たちは人間の脳を汎用学習が可能にする秘密のソースの大きな要素をおそらく解明したように本当に見えます。
現在の大きなトランスフォーマーアーキテクチャは、人間の脳が持っているのと同じ形の汎用性の多くを示しているように見えます。そして、私たちが天井にぶつかったという理由は何もありません。
また、第一原理から人間の脳を見ると、それは多くの点で非常に印象的な生理学的システムですが、計算の物理的限界からは程遠いものです。
さまざまな制約があります。まず最も明らかに、それはサイズがかなり制限されています。頭蓋骨の中に収まらなければならないからです。一方、AIは任意に大きなデータセンター、倉庫サイズまたはそれより大きなデータセンターで実行できます。ですから、空間的に拡張することができます。
また、基本的な情報処理の観点から、人間のニューロンは100ヘルツのタイムスケールで動作します。1秒間に100回程度発火できます。一方、現在の状態のトランジスタでもギガヘルツで動作できます。1秒間に何十億回です。
ですから、成熟した技術による情報処理の究極の限界は、生物学的人間や他の脳が達成できるものを大幅に上回るであろうと考える様々な理由があります。
そして、技術的および科学的発展が広い前線で継続することが許されるなら、私たちは最終的にそこに到達すると思います。そして、さらに最近では、私たちは実際にこれを行う道筋にいるように見えます。
それらは、私たちがこれを非常に真剣に受け取るべきだということを示すような基本的な考慮事項のいくつかです。そして、もし私たちが本当にAGI（汎用人工知能）を開発したら、それが何を意味するかを考えることができます。
私はそれが意味する最初のことは、私たちがすぐに人工超知能を開発するだろうということです。私たちが完全に人間レベルのAIまで行き、そして突然そこで止まるとは思いません。
AGIから人工超知能への道のり
私は、私たちは心を工学することができ、産業革命で蒸気エンジンや内燃機関で自動化し始めた筋肉労働だけでなく、どんな人間の強い男よりもはるかに強い掘削機械を持っているなどのように、すべての人間の労働を自動化できる世界を持つことになると思います。
しかし、私たちはどんな人間の天才科学者や芸術家よりも優れた思考ができる機械の心を持つことになるでしょう。
ですから、それは本当に私たちが作る必要がある最後の発明です。なぜなら、その時点から、さらなる発明は、これらの機械の心によってはるかに優れて速く作られるからです。
ですから、それは人間の状態の非常に根本的な変革になると思います。そして、それに達することは困難です。一部の人々は産業革命と言いますが、私はそれとの類似から何かを学ぶことができると思いますが、おそらく最初にホモ・サピエンスの起源、または生命の出現にまで戻る必要があるかもしれません。私はそれがそのレベルにあると思います。
モバイルインターネットやクラウド、または人々が興奮するこれらの他の最近の流行語のようなものではなく。
はい、それは進化のようなものだからです。人類としての私たちの進化のようなものです。それは私たちの絶滅につながる可能性がありますが、このAIとどのように相互作用するか、またはそれと融合するかという点で、私たちの進化にもつながる可能性があります。大きなアンロックのようなものです。
ですから、私は以前の仕事と、2014年に出版されたこの本『スーパーインテリジェンス』で、この見通しを特定すること、私たちが最終的にAGIと人工超知能に到達するだろうということ、そしてそれに関連するリスク、存在的リスクを含むリスクに多く焦点を当てました。
なぜなら、当時これは非常に無視されたトピックだったからです。確かに学界では誰も真剣に受け取っていませんでした。しかし、私たちが最終的にその時点に到達することは非常に予測可能であるように思えました。
そして今、実際にそれははるかに広く認識されています。フリンジから科学小説として片付けられていたものが、今やホワイトハウスや世界中の他の政府からの声明を見ることができ、主要なAIラボが今やスケーラブルAI調整を解決しようとする研究チームを持っています。
任意に知的なAIシステムを操縦することを可能にするアルゴリズムをどのように開発できるかという大きな技術的問題です。それは非常に活発な研究フロンティアです。
ですから、この移行に関連する大きなリスクがあることは私の絵の非常に重要な部分ですが、同時に上向きはenormousです。
人間の可能性をアンロックし、人間の悲惨さを軽減し、本当に素晴らしい世界をもたらす能力です。私はそれを、人類がある時点で通過する必要がある一種のポータルとして見ています。
過去の本当に素晴らしい未来は、最終的に私が思うに、ある時点でこの人間よりも大きな知性の発展を通過します。
そして、私たちがそれを行うとき、可能な限り正しく行うことを確実にするために本当に注意深くある必要がありますが、最終的に、もし私たちが永遠にこの次のステップを取ることに失敗したら、それ自体が一種の存在的破滅だと思います。
私が考え続けていることの一つは、私たちが祖先シミュレーションにいる可能性があり、ポストヒューマンが自分たちの歴史を研究しようとして私たちを見ているかもしれないということです。おそらく、人間がどのように本当に生まれ、これらの進歩を作り、自分たちのシミュレーションを作ったかを見ようとしているのです。
おそらく彼らは自分たちがどのように存在するようになったかを理解しようとしているのです。それは理にかなっていますか。
はい、技術的に成熟した文明が祖先シミュレーションを実行するかもしれない理由の一つとして、私たちが前に仄めかしたように、他の超知的文明の起源を形作る可能性がある動力学をよりよく理解するというこの科学的動機があります。
もし彼らが生物学的に進化した生き物から起源するなら、そのような生き物、異なる可能な生き物、彼らが構築する社会、動力学を研究することは、それを推進する可能性がある一つの動機かもしれません。
しかし、他の可能な動機もあります。
それは動機の一つです。あなたはそれが飽和するかどうか疑問に思うかもしれません。高度な文明にいくつかのシミュレーションを作らせることができるかどうかだけでなく、これらの成熟した文明が何十億年も続く可能性があるので、彼らが非常に多くのシミュレーションを作ることができるかどうかも考える必要があります。
科学的シミュレーションを実行することには収穫逓減があるかもしれないと思うかもしれません。最初のシミュレーションで多くを学び、次の千で少し多くを学びますが、すでに何十億ものシミュレーションを実行した後、さらにいくつかを実行することからの増分利得は停滞し始めるかもしれません。
一方、同じ収穫逓減の対象にならないシミュレーションを実行する他の理由があるかもしれません。もしそうなら、彼らが実行するほとんどのシミュレーションは、科学的なもの以外の動機によって推進されるものだと思うかもしれません。
娯楽や私たちの映画のようなものですか。
はい、もし彼らが例えばシミュレーションに何らかの内在的価値を置くなら、それは同じようには飽和しない動機の一例でしょう。
私はあなたのAIの3つのレベルの理解に移りたいと思います。あなたはオラクル、ジニー、ソブリンを持っています。それぞれが何であるか、そしておそらくそれぞれのリスクについて説明できますか。
はい、それはレベルというよりもタイプです。
わかりました。
ですから、オラクルAIは基本的に質問応答システムです。あなたが質問をし、それが答えを与えるAIです。これは、これらの大型言語モデルが実際に行ってきたことに似ています。
彼らは実際には何もしませんが、質問に答えます。ですから、これは一つのテンプレートのようなものです。
ジニーは何らかのタスク実行AIでしょう。あなたがそれに特定のタスクを与え、それがタスクを実行します。これらのタイプのシステムは現在開発中で、おそらく今年はよりエージェント的なシステムがリリースされるでしょう。
実際、先週だったと思いますが、OpenAIはCodexをリリースしました。これは一種のコーディングエージェントで、プログラミングタスクを割り当てることができ、それがあなたのコードベースをいじり回して、うまくいけばタスクを解決します。
これが数年以内に物理的タスクに一般化されることを想像できます。洗濯をしたり、私道を掃除したり、そのようなことができるロボットで。
ジニーのようなものは、AIがより多くあるのですが、ソブリンは何らかの開放的な長期目標の追求で、世界で自律的に動作します。世界をより良くする、人々を幸せにする、これら2つの異なる国家間の平和を強制するなどです。
そして、現在人間や国家、そしてある程度企業がそうであるように、世界をその目標に有利に形作ろうと自律的に走り回っているのです。
これは一種の開放的で、彼らが一つの特定のタスクを行うだけではありません。
そして、より多くの指示を求めて戻ってくるのではなく、彼らは独自の開放的なものを持っています。
ですから、これらは人が構築しようとするかもしれないAIシステムの種類の3つの異なるテンプレートであり、安全性と有用性の観点から、それらは異なる長所と短所を持ちます。
あなたは何を行き過ぎたかを説明しましたか。ソブリンは組織や国家のようなもので、複数のステップがあるのは正しいですか。そしてジニーは一つのようなものを実行します。
それは単一のエージェントでもありえます。この意味でソブリンは国家主権を意味するのではありません。もしあなたが人生で自分自身に目標を設定するなら、あなたはソブリンになることができます。
例えば、世界の貧困者の苦しみを軽減しようとすることです。あなたはそれをあなたの全人生をかけて行うことができます。それは多くの特定の小さなタスクを含みます。この慈善団体のためにお金を集めようとしたり、この新しいキャンペーンを開始しようとしたり、貧困者を助ける新しい薬を発明しようとしたり、これらすべてが開放的な目標の追求のサブタスクになります。
同様に、AIシステムを持つことができます。おそらく内部的には統一されたシンプルなエージェントアーキテクチャですが、そのような開放的な目標の追求で動作します。
逆に、質問に答えるだけのオラクルでも、内部的には理論的にマルチエージェントアーキテクチャである可能性があります。そこでは、最終的にユーザーへの答えを生成するために、異なるサブクエスチョンに答えるために送られる異なる研究エージェントがあります。
ですから、システムの内部アーキテクチャと、それが社会で果たすように設計された役割を区別する必要があります。
わかりました。これらのタイプのAIのそれぞれが間違った方向に進む可能性がある異なる方法は何ですか。
はい、ですから、それらはすべて、すべてに間違った方向に進む可能性がある多くのことを共有しています。それは、彼らがどのように動作することを意図されていても、実際にはそのように動作しない可能性があることです。
ですから、質問応答システムとしてのみ機能することを意図したAIを構築するかもしれませんが、内部的には目標追求プロセスを持つかもしれません。
科学者に質問を割り当てるように、彼らが答えを見つけ出すように、この薬はどの程度安全ですか、のような質問ですが、その過程でその答えを試して見つけ出そうとして、彼らは計画を立てて目標を追求しなければならないかもしれません。
ああ、この研究に資金を提供するために研究助成金をどのように得るか、私の研究チームで働く適切な人々をどのように雇うか、などです。
ですから、内部的に、あなたがAIシステムが果たすことを望んでいた機能ではなかったとしても、訓練中にAI心自体の中で意図せずに発生する可能性がある、目標と長期目標を持つプロセスを持つ可能性があります。
それは、これら3つのタイプのいずれでも起こり得ます。
意図されたように振る舞うシステムを見ると、いかなるセーフガードもないシンプルなオラクルシステムは、私たちが人々に答えることができるようになることを望まない質問に答えるのを助ける可能性があります。
より効果的な生物兵器の作り方、このハッキングツールの作り方、さまざまなシステムにハッキングすることを可能にする方法、または独裁者なら、隠れようとしても、すべての通信を読み、盗聴した電話をすべて聞くことで、反体制派が誰であるかを検出し、反体制派を除草する方法などです。
このオラクルシステムが悪用される可能性がある、または人々が賢明でない質問をする可能性がある、あらゆる種類の方法があります。
タスク実行AIについても同様に、しかしさらに、あなたは彼らが自分たちで物事を実行して走り回らせることもできます。このシステムをハッキングしようとしたり、この有害なイデオロギーを促進したり、この教義を広めたり、実際には有害な製品であるにもかかわらず、人々をだましてこの製品を買わせたりするなどです。
私たちは、異なる目標のためにハイパー最適化している多くのこれらの自律エージェントが走り回っている、グローバル経済がどのように展開するかを実際には知りません。彼らがお互いと相互作用するとき、そしてもちろん、もし彼らが非常に強力になったソブリンAIは、彼らは世界の未来を形作る可能性があり、もし彼らが人工超知能なら、それに非常に優れているかもしれません。
彼らは、彼らの全体的使命が何であれ、未来を本当にその使命に向けて操縦することに非常に熟練しているかもしれません。
今、もしその使命が人間にとって良いものなら、世界中のすべての人のために最も豊かな意味で人間の価値を本当に現すもので、動物の福祉などへの配慮もあるなら、もしあなたが本当に彼らに正しい使命をさせるなら、それはある意味で最良の選択肢かもしれません。
しかし、もし使命がわずかに間違っているなら、もしあなたがこの使命から何かを除外したか、彼らがそれを誤解したか、彼らが最終的に何かを持っているなら、それは破滅である可能性があります。なぜなら、その時あなたは世界で非常に強力な最適化力を持っているからです。
それは、おそらく人間の居場所がない、または一部の人間の価値が排除されている何らかの未来結果を達成しようと操縦し、戦略を立て、策略を練っています。
ですから、それらはそれぞれ、さまざまな可能な形の不正なインスタンス化や副作用を持っています。
AIが私たちからその発展を隠して、ソブリンになって世界を引き継ぐことができるように、より高度で、その発展を隠している可能性があると感じますか。
はい、私は作成される可能性のあるAIの広いクラスがあると思います。
作成すべきか否かのこの一つのAIがあると考えるのは間違いです。それは、すべての可能な人間の心の空間よりもはるかに大きい、すべての可能な心の大きな空間です。
人間の中でも、本当に素敵な人々がいる一方で、本当に厄介な人々もいることをすでに知っています。分布があります。
さらに、誰かがどれほど賢いか、どれほど有能かと、どれほど道徳的かとの間には必要な関係はありません。本当に有能な悪い人々と本当に有能な良い人々、そして悪い愚かな人々がいます。
ですから、能力と動機の間には一種の直交性があり、それらをほぼあらゆる異なる方法で組み合わせることができることを意味します。
私たちが作成するかもしれないAIでも同じことが、さらにそうだと思います。
とはいえ、私は、かなり幅広い範囲の異なる可能なAIシステムから始めて、彼らがより洗練され、自分自身のプロセスと自分自身の目標について反省することができるようになるにつれて、収束の潜在的な盆地があると思います。
彼らは、幅広い範囲の異なる目標にとって道具的に有用であると認識するかもしれない様々なリソースがあります。
例えば、より多くの権力や影響力を持つことは、あなたが善人であろうと悪人であろうと、しばしば有用です。なぜなら、あなたが達成しようとしていることが何であれ、それに使用できるからです。
同様に、シャットオフされないこと、それは人間の場合の生きているということに類似しています。人々が持つかもしれない多くの目標にとって、それらを追求するためには生きている必要があります。
すべての目標に対してではありません。自殺する人々がいるからです。しかし、世界を助けたり、独裁者になったり、家族の世話をしたり、ゴルフのゲームを楽しんだりなど、人々が持つ多くの他の目標にとって、生きている必要があります。
類似的に、AIにとって、彼らがシャットオフされるシナリオを避けようとする道具的な理由があるかもしれません。
同様に、より多くの計算リソース、より多くの能力を得る道具的な理由があるかもしれません。そうすれば、彼らはより明確に考えることができ、場合によっては、これはAI開発者から彼らの意図を隠す道具的な理由を含むかもしれません。
特に、もし彼らが不整合で、その不整合な目標をAIプログラマーチームに明らかにすることが、彼らがそれらの目標を消すために再プログラムまたは再訓練されることを意味するだけなら、そうすれば彼らはそれらを達成しないでしょう。
ですから、あなたは欺瞞やサンドバッギング、または能力を過小評価することなどの戦略的インセンティブを持つ可能性があります。
ですから、これは潜在的に、高度なAIシステムを調整することをより困難にする体制の変化です。シンプルなAIシステムを調整するよりも。
最近まで、そして今日もほとんどの場合、私たちは彼らのコンテキストに気づいておらず、洗練された方法で計画し、戦略を立てることができないAIシステムを持ってきました。そうすれば、これらの現象は得られません。
しかし、彼らが実際に評価設定でAIであることを認識し、評価中に一つの方法で振る舞い、展開されたら異なる方法で振る舞う理由があるかもしれないことを認識するのに十分知的なAIを持つようになると、この追加の複雑さのレベルを調整研究に対して得ることになります。
時々人間でも同じ現象を見ます。数年前からのこのVolkswagen、ドイツの自動車会社がありました。彼らはこのスキャンダルを持っていました。
彼らが車を設計して、排気ガステストのときにそれが認識して、このテスト環境にいることを認識したとき、一つの方法で振る舞い、はるかに少ない汚染物質を生産するように発見されました。
そして、道路に展開されたとき、彼らはそれを汚染物質にあまり関心を持たず、速く走ったり、ガソリンを節約したりすることにより関心を持つように設計していました。
そして、そのために一部の人々は刑務所に行かなければなりませんでした。
ですから、しばしば人間が、誰かが見ているか評価されているとき一つの方法で振る舞い、そして時々、逃げられると思うとき、異なる方法で振る舞うのを見ます。
ビジネスとマーケティングのCM
ヤングアンドプロフィッティングの皆さん、あなたが私のようなら、オンラインでたくさんの買い物をしており、おそらく何か気に入ったものを見つけて、カートに追加し、チェックアウトで完全に諦めたことがあるでしょう。
財布を取りに立ち上がってクレジットカードを取ることが、あまりにも面倒に感じられたからかもしれません。半分眠っていたかもしれません。しかし、それは私にもたくさん起こったことです。
だからこそ、チェックアウトでその紫のShop Payボタンを見ると興奮するのです。なぜなら、それが買い物を非常に簡単にするからです。
あなたもおそらくそれを見たことがあります。他の支払いオプションの中で際立つShopのアイコンが付いた象徴的な紫のボタンです。
その紫のボタンは、その店舗がShopifyによって強化されている確実なサインです。そして、多くの成功したビジネスがそれを使用する正当な理由があります。
Shopifyは素晴らしいショッピング体験を作るだけでなく、中小企業の成長とより多くの売上の締結を支援する専門家です。
Shopifyは、米国のeコマースの10%を支えるコマースプラットフォームです。MattelやGym Sharkのような家庭用品名から、あなたの新しいブランドのような始まったばかりのブランドまで。
Shopifyが際立つのは、在庫から支払い、分析まで、すべての重要なタスクを一箇所で処理できることです。
もしあなたがマーケティングに苦労していて、自分自身をマーケターとは考えていないなら、Shopifyはそれをとても簡単にします。ソーシャルメディアやメールキャンペーンを実行するための組み込みツールがあり、新しい顧客を見つけて、彼らを戻ってくるようにできます。
もしあなたがグローバルに行きたいなら、Shopifyは150カ国以上の顧客に到達するのに役立つグローバル販売ツールであなたをサポートします。
もしあなたが対面で販売することを好むなら、Shopifyの受賞歴のあるPOSシステムが、同じ場所でオンラインとオフラインの売上を接続し、シームレスな体験を提供します。
99.99%の稼働時間と地球上で最も変換率の高いチェックアウトで、あなたは二度と売上を逃すことはありません。
Shopifyとその私が言及した紫のShop Payボタンは、世界中の何百万ものビジネスによって使用されています。なぜなら、Shopifyは地球上で最も変換率の高いチェックアウトを持っているからです。
月額1ドルの試用期間にサインアップし、今日から販売を開始してください。shopify.com/profiting で。再度、それは shopify.com/profiting です。
Deep Utopiaと解決された世界
最近、あなたはAIが人類にとって本当に良いものになるかもしれないという視点を持ち、Deep Utopiaという本を出し、AIによって推進される希望的な正の未来があると考えています。
AIの結果が人間にとって負の結果よりも正の結果である可能性が高いと感じる理由と、それがどのように展開すると想像するかについて話してください。
はい、Deep Utopiaは実際には可能性について何も言いません。
わかりました。
それはもっとif thenです。
わかりました。
ですから、ある意味では、前の本『スーパーインテリジェンス』は、物事がどのように間違った方向に進む可能性があるかを見て、これらのリスクを減らすために何ができるかを見ました。
Deep Utopiaはコインの裏側を見ます。もし物事がうまくいったらどうなるか。AIが実際に成功し、この調整問題を解決するとしましょう。ターミネーターロボットが暴れ回って殺すような事態にはならないとしましょう。
また、ガバナンス問題も解決するとしましょう。または、ガバナンスが解決できる範囲でそれを解決するとしましょう。しかし、私たちが何らかの専制政治やディストピア的抑圧的体制で終わらないとしましょう。
すべての人が上向きの分け前を持ち、人々の権利が保護され、すべての人がまともな場所に住み、大きな戦争がないような、その面でいくらか良い結果があるとしましょう。
しかし、その後、人間の生活はどうなるのでしょうか。この技術的成熟の条件で意味のある、本当に良い繁栄する人間の生活をどのように想像するか。
私たちは人工超知能を得た比較的短期間後に到達するであろうと思うもので、人工超知能がさらなる技術研究開発を行うなどです。
そうすれば、あなたはすべての人間の労働が自動化可能になる世界を持ちます。そして、私がその本を書き始めたとき、この見通しのほとんどの議論がどれほど表面的だったかにいらいらしていました。
そして、それは印象的です。なぜなら、AIの始まり以来長い間、目標はずっと特定のタスクを自動化するだけでなく、汎用自動化能力を開発することだったからです。すべてを行うことができるAIです。
しかし、それが何を意味するかを考え抜くと、私が本に取り組み始めたとき、通常の議論が始まり、終わったところです。
まあ、私たちにはAIがあり、いくつかの仕事を自動化し始めるでしょう。それは問題です。なぜなら、一部の人々が仕事を失うからです。ですから、解決策はおそらくそれらの人々を再訓練して、代わりに他の仕事ができるように支援する必要があるということです。
そして、おそらく再訓練されている間、彼らは失業保険や他の何かが必要かもしれません。
もしそれが唯一の問題だったなら、それは非常に賢明な解決策のように思えるでしょう。しかし、もしあなたが影響を考え始めるなら、それははるかに深遠だと思います。
いくつかの仕事が自動化可能であるだけでなく、事実上すべての仕事が自動化可能になるのです。
このシナリオでは、そうです。ですから、私たちは完全失業の未来を見ているのです。これが目標です。そこにはいくつかの例外があるかもしれませんが、それについて話すことができますが、第一次近似として、すべての人間の仕事だとしましょう。
ですから、その時あなたは玉ねぎのようなものです。層を剥がし始めることができます。2番目の層に行きましょう。
すべての人間の仕事がない場合、明らかに私たちは社会の多くのことについて再考する必要があります。現在、例えば私たちの教育システムの多くは、多かれ少なかれ生産的な労働者を生産するように構成されています。
私たちは子供たちを訓練します。子供たちは学校に送られ、机に座るように訓練され、課題を与えられ、採点され、評価され、うまくいけば最終的に経済で生計を立てることができるようになります。
現在、私たちはそれが起こる必要があります。なぜなら、行われる必要がある多くの仕事があり、それらを行うことができる人間が必要だからです。
しかし、機械がすべてを行うことができるこのシナリオでは、明らかにそのモデルで人々を教育することは意味がありません。
私は、その時私たちは教育システムを変更したいと思うでしょう。おそらく人生を楽しむことができるように子供たちを訓練することにより重点を置くでしょう。素晴らしい人生を送ることです。
おそらく会話の芸術や音楽と芸術と自然と精神性と身体的健康への感謝を育てることなど、現在学校システムではより周辺的なすべてのこれらの他のことです。私はそれがこの異なる世界での賢明な焦点だと思うでしょう。
ですから、それは玉ねぎの第2層のようなものです。わずかにより深遠ですが、最終的に、それが私たちが直面しなければならない唯一の挑戦だったとしたら、それは深遠ですが、最終的に私たちは余暇社会を作ることができ、それは本当にそれほど深遠ではありません。
なぜなら、生計のために働く必要のない人間のグループがすでに存在し、時々彼らは素晴らしい人生を送っているからです。ですから、私たちは皆その状況にいることができます。
移行ですが、それでも哲学的にはそれほど深遠ではありません。しかし、私はこの玉ねぎには他の層があると思います。
もしあなたがそれを考え始めるなら、人間の経済労働だけでなく、他のあらゆる種類の道具的努力も不要になることに気づくでしょう。
今日の世界で生計のために働く必要がないほど裕福な誰かを取り上げてみてください。彼らはしばしば非常に忙しく、様々なことを達成するために大きな努力を発揮します。
おそらく彼らは関わっている何らかの非営利団体があるかもしれません。おそらく彼らは本当に健康になりたいので、週に何時間もジムで過ごします。
おそらく彼らは小さな家と庭を持っていて、彼らにとって完璧な場所にしようとしています。すべてを飾り、彼らが望む通りに選択し、人々が持っているこれらの小さなプロジェクトがあります。
解決された世界では、これらすべての結果へのショートカットがあるでしょう。
健康になるために週に何時間もトレッドミルで汗をかく必要はありません。まったく同じ生理学的効果を持つ錠剤を飲むことができます。
あなたはまだジムに行くことができますが、まったく同じ心理的および生理学的効果を持つ錠剤を飲むだけで済むなら、本当にそれをするでしょうか。それは無意味のように思えます。
同様に、家の装飾者についても、もしあなたがあなたの好みと趣味を十分によく読むことができるAIを持っていて、ボタンを押すだけで、それが正確に正しいカーテンとソファとクッションを選んで行き、あなたが自分でやったよりも実際にはるかに良く見えるなら、あなたはまだ自分でそれをできますが、そのシナリオではあなた自身の努力に無意味感があるかもしれません。
ですから、今日生計のために働かない人々の生活を満たす活動の種類を考え始めることができ、それらの多くに対して、それらを消すか、上に疑問符を置くことができるでしょう。
あなたは解決された世界でそれらをまだ行うことができますが、それらの上に漂う無意味の雲、影を投げかけるものがあるでしょう。
ですから、それは私が深い冗長性と呼ぶものです。浅い冗長性はあなたが労働市場で必要とされないことです。深い冗長性は、あなたの努力が何のためにも必要とされないように思われることです。
ですから、それは、その状況下で人生に意味を与えるもののより深い、より深遠な問題です。
さらにもう一歩は、この世界がプラスチックな世界だと思うということです。私たちが楽な物質的豊富さを持つだけでなく、私たち自身、私たちの人間の体と心が技術的成熟で可鍛性を持つようになることです。
私たちが望む任意の精神状態や生理学的状態を達成することが可能になるでしょう。私は運動の錠剤でこれをほのめかしました。しかし、同様に、現在開発するのに努力を要するさまざまな精神的特性についても。
もしあなたが高等数学を知りたいなら、現在は何時間も教科書を読み、数学の練習をしなければなりません。それが高等数学を理解したいなら、努力を投入し、困難な作業であり、長い時間がかかる唯一の方法です。
しかし、技術的成熟では、知識をあなたの心に直接ダウンロードすることを可能にする神経技術があると思います。
おそらくあなたの脳に浸透し、異なるシナプスの強度をわずかに調整することができるナノボットがあるでしょう。または、おそらくそれがアップロードされ、あなたは人工超知能に異なる方法であなたの神経重みを再構成させ、長く困難な勉強をすることなく高等数学を知っている状態に最終的になるでしょう。
同様に他のことについても。
ですから、あなたは最終的にあらゆる結果へのショートカットがあり、私たち自身の性質が完全に可鍛性になるこの状態に行き着きます。
そして、その時の問題は、人間の生活に構造を与えるもの、私たちが行うことがあるもの、何のために努力するもの、私たちの生活に意味と目的を与えるもの、です。
そして、それがこの本Deep Utopiaの多くが探求していることです。
あなたの錠剤を飲んで即座に健康になるという類推は、何をするだろう人間について考えていたとき、人はできるだけ美しくなろうとか、できるだけ健康になろうとか、挑戦してみようと思っていました。
しかし、あなたの言う通り、もしすべてが非常に簡単なら、競争がありません。誰もが美しく、誰もが賢く、誰もが裕福で、誰もが欲しいものは何でも手に入れることができ、おそらくそれは人々が本当に落ち込むことにつながるかもしれません。生きがいがないからです。
または、おそらく人々は懐古的になりたいと思うかもしれません。今日、一部の人々が携帯電話を使わないとか、すべてを手で書きたいとかいうように、おそらく一部の人々は意味を持つためにAIでものを行うことを拒否するかもしれません。
はい。ですから、分解しましょう。最初の問題は、人々がこのシナリオで落ち込むかもしれないかどうかです。
おそらく最初は豪華さやそのようなもので超スリルを感じますが、その後それは色あせ、数か月後には退屈になります。私は今、何をすればいいのか、このダイヤモンドがちりばめられたベッドのこの超マットレスで、この城のような環境で目を覚まし、ロボットの執事がやって来て、この完璧なものを出してくれます。
それはかなり早く古くなるかもしれません。人間は私たちがそうであるように。
そこで、私は実際に彼らが退屈する必要はないと思います。なぜなら、プラスチックな世界の余裕の中で、これらの神経技術は彼らの退屈しやすさを変えることができるからです。
主観的に退屈を感じる代わりに、一日中スリルを感じ、興奮し、超興味を持ち、魅了されることができます。
私たちはすでに、ある粗雑な方法でこれを行うことができる薬を持っていますが、それらには副作用があり、中毒性があり、効果が薄れ、より高い用量が必要です。
しかし、代わりに完璧な薬、またはおそらく薬ではなく、何らかの遺伝子修正や神経インプラントまたはそれが何であれ、それがあなたの主観的体験を微調整することを本当に可能にすることを想像してください。
ですから、もしあなたが退屈を感じたくないなら、そしておそらくあなたは望まないでしょう、なぜ素晴らしい世界に住んでいながら何千年も退屈を感じて過ごすのでしょうか、あなたはそれを変えます。
ですから、主観的退屈は、この状態では簡単に解消されるでしょう。
あなたはまだ客観的な退屈の概念があると思うかもしれません。誰かが主観的に完全に魅了され、占有され、彼らがしていることに喜びを感じたとしても、もし彼らがしていることが十分に反復的で単調なら、あなたはまだ外から、それは退屈な活動であり、それはそのように魅了されることは何らかの意味で不適切または不適当であると判断するかもしれません。
ここでの古典的な例は、大学の芝生の草の葉を数えることに非常な興味と喜びを感じる誰かの思考実験です。
草カウンターを想像してください。彼は人生全体を草の葉を一つ一つ数えることに費やし、この芝生に草の葉がいくつあるかの正確な数を保とうとします。
今、彼はこれに超魅了されています。彼は決して退屈しません。それは彼に途方もない喜びを与えます。夜に家に帰るとき、彼は今日の草カウンティング努力と数字、そしてそれが昨日より大きいか小さいかについて考え続けます。
それは主観的退屈のない人生でしょうが、それでもあなたは、それだけがすべてなら、この人生には何かが欠けていると言うかもしれません。
ですから、あなたはこれらのユートピア人は主観的退屈から自由になることができるが、彼らの生活において客観的退屈から自由になることができるかどうかを問うかもしれません。
これは答えるのがはるかに難しく、より複雑な哲学的問題だと思います。客観的興味深さ対退屈の度合いをどのように測定するかに少し依存すると思います。
もし客観的興味深さが根本的な新しさを必要とするなら、最終的にあなたはそれを使い果たすか、それをますます少なくするだと思います。
科学で根本的に興味深いことは、重要な新しい現象や規則性を発見することだとしましょう。発見される可能性のあるそれらの有限数があるかもしれません。
ニュートン力学を発見すること、世界への本当に重要な根本的に新しい洞察です。進化論のようなもの、根本的に興味深い洞察です。相対性理論です。
しかし、ある時点で私たちはそれを理解し、最終的にそれは、ある特定の種類のカブトムシの正確な腸内細菌叢のような、ますます小さく、ますます興味深くない詳細を発見することになるでしょう。
それが、おそらくこの種の文明の長期的運命になるでしょう。
ですから、それは一つの意味で、個々の人間の生活の中でも見ることができます。人生の早い段階で多くのことが起こります。世界が存在することを発見するなど、それは大きな発見です。
または物体があることです。巨大な洞察です。そして、これらの物体は、あなたが目をそらしても、まだそこにあることです。最初にそれを発見することを想像してください。
または他の人々がそこにいること、他の心のように、あなたがおそらく2歳か何かで発見することです。
ですから、これらは今、成人期に達すると、私は興味深いことを発見していると思いたいですが、昨年以内に、世界が存在するという発見や他の人がいるという発見ほど深遠なものを発見したでしょうか。
おそらくそうではありません。そして、もし私たちが何千年も生きたら、それはますます少なくなると想像するでしょう。
つまり、あなたは初めて恋に落ちることは一度だけできます。もしあなたが恋に落ち続けたとしても、もしあなたが前に500回それをしたなら、それは本当に500回目と同じくらい特別になるでしょうか、初回のように。
おそらく主観的に、もしあなたが心を変えるなら、それはそうかもしれませんが、客観的にはそれは徐々により反復的になることになります。
ですから、私は、私たちの現在の人間の限界のいくつかが克服されることを可能にすることによって、ある程度まで軽減されることができると思います。
ですから、あなたは現在の高原を超えて心を成長させ、拡張し続けることができます。私たちが20歳頃に達するような高原で、あなたは何百年も成長し続けることができるというように。
しかし、最終的には、そのタイプの深遠な新しさの減少があると思います。
しかし、私は、レベルが高いままでいることができる客観的興味深さの異なる感覚があると思います。私はそれを一種の万華鏡的な興味深さの感覚と呼びます。
現在の平均的な人の人生のスナップショットを取ると、おそらく今誰かが皿洗いをしています。それはどれほど客観的に興味深いでしょうか。
ベッドに入ろうとしているので靴下を脱いでいます。わかりました。体験的な観点からはそれほどではありません。
将来、これらのユートピア人は代わりに、彼らの意識的な生活の平均的なスナップショットが、文明規模で展開している何らかの超シェークスピア多様式ドラマの制定に参加しているかもしれません。
彼らの感情的感性がこれらの神経技術によって高められ、私たちが想像さえできない新しい芸術形式で、それらは私たちにとって音楽が犬にとってのようなもので、彼らはこの共有創造の行為に完全に魅了されて参加しています。
おそらくそれが平均的な意識の瞬間がどのように見えるかです。
ある意味では常に同じですが、別の意味ではパターンは常に変化し、無制限レベルの魅力を持ち続けることができます。
何千年も未来の話をしていて、シミュレーションを作ることができるとしたら、人生がとても退屈で、それが彼らがこれらのシミュレーションを作っている理由かもしれません。もし理にかなっているなら、彼ら自身がシミュレーションにいることができるように。
はい、ですから、解決された世界のこの状態で行うかもしれないことの一つは、人工的希少性を作ることです。
これは異なる形を取ることができます。なぜなら、私たちが実現したいかもしれない人間の価値の中には、快適さと喜びと魅惑的な美的体験のようなものがありますが、時々私たちは活動と努力と私たち自身のスキルを行使することも好むからです。
もしあなたがそれらが本質的に価値があると思うなら、この解決された世界で、制約が残るポケットを作ることによって、これらの機会を作ることができます。
もし自然な目的がない、本当にする必要がないことがないなら、あなたは人工的目的を作ることができます。
今日の世界でも、ゲームをすることを決めるとき、私たちはすでにこれを行っています。
ゴルフのゲームを取ってください。あなたは、わかりました、ボールがこの18ホールの順序に入る本当の自然な目的はないと言うかもしれません。
しかし、私は自分自身にこの目標を任意に設定しますが、今度は自分自身にこれを欲しがらせ、そして一度この目標を設定したら、今度は私には人工的目的ですが、それにもかかわらず目的があり、それは私が視覚的能力と運動と集中力を発揮しなければならないゴルフプレイの活動を可能にし、おそらくあなたはこのゴルフプレイの活動が価値があると思います。
ですから、あなたは自分自身にこの人工的目標を設定します。
さらに、あなたは人工的制約をゲームのルールのように課すことができます。ですから、あなたは特定の結果が達成されるだけでなく、特定の許可された手段のみを使用し、他の手段を使用しないで達成されることを目標の一部にします。
ゴルフでは、ボールをただ拾って運ぶことはできません。このゴルフクラブで打つという非常に不便な方法を使用しなければなりません。
同様に、解決された世界では、まあ、私は自分自身にこの人工的目標を設定し、さらに、私は自分自身の人間的能力のみを使用してそれを達成したいことを目標の一部にすると言うことができるでしょう。
私がすぐに解決策を見ることができるほど賢くする神経薬、または10倍速く走ることができるように体を強化することがありますが、この目的のためにはそれをしません。
それがこの人工的目標を達成する唯一の方法です。私が自分自身に設定したこの人工的目標には制約が含まれているからです。
そして、それがこれらのユートピア人が行うことを選択する重要な部分である可能性が十分にあります。
彼らが彼らの機関と努力の機会を与えるために、この制約のある活動における、彼らの活動に人工的制約を選択する創造的な方法で、これらのますます複雑で美しい形のゲームプレイを開発することです。
はい、自然に人間として私たちがそれを切望するだけのもので、もし私たちが解決された世界にいたら、そのようなことがたくさん起こっていると確信します。
あなたが言及したように、まだいくつかの仕事があるかもしれないこの世界で起業家精神がどのように変化すると思うか、解決された世界でどのような仕事があるように見えるか、起業家や起業家に何が起こると思うか、またはこのような世界で革新する機会があるかどうかについて話してください。
まあ、残るかもしれない仕事の種類は、主に消費者が製品やサービスだけでなく、製品やサービスがどのように生産されたか、誰が生産したかを気にするものだと思います。
時々私たちはすでにこれを行っています。何らかの小さな装身具があるかもしれません。もしそれが手作りであったり、先住民によって作られ、彼らの伝統を示すものであったりするなら、たとえインドネシアのどこかのスウェットショップで作られた同様に良い物体が客観的特性の点で同等であったとしても、消費者の中にはそれに対して追加料金を支払うことを喜ぶ人がいるかもしれません。
消費者が特定の方法で作られたものに対するそれらの選好を持つ範囲で、それは任意の技術レベルでも人間の労働の一部の形に対する継続的な需要を作ることができます。
私たちがこれを見るかもしれない他のドメインは、運動競技で言えば、ロボットがより速く走ったり、より良くレスリングしたりできたとしても、あなたは人間のスプリンターが競技するのを見ることを好むかもしれません。
私はスポーツがなくならないだろうと考え続けています。それが私が考え続けていることです。
はい、それは持続するかもしれませんし、それは重要な精神的領域かもしれません。ロボット神父が同じ言葉を言うことができ、などできたとしても、あなたは人間の神父にあなたの結婚式を司式してもらうことを好むかもしれません。
ですから、それらはケースでしょうし、立法者や弁護士や公証人のような法的に制約された職業があるかもしれません。何らかの理由で法制度が遅れ、自動化への人間の道徳的障壁を作る場合です。
しかし、起業家精神に関して言えば、最終的にそれはAI起業家によってはるかに効率的に行われ、残るのはより多くのゲームプレイ起業家精神の形でしょう。
スーパーモノポリーのような、起業家活動がゲームで成功するために必要なもので構成されるゲームを作ることができます。
そして、それは、これらのユートピア人が起業家の筋肉を行使する方法であり得ますが、そのための経済的必要性はありません。
AIは新しいもの、新しい製品、新しいサービス、開始する新しい会社を、私たち人間ができるよりもより良く、より効率的に見つけ、考えることができるでしょう。
解決された世界がどれくらい先の未来にあると思いますか。
まあ、これはある意味で64,000ドルの質問の一つです。
私は現在のAIの発展の速度に感銘を受けており、私たちは数年のような非常に短いタイムラインでさえ自信を持って除外できない状況にあると思います。
それははるかに長くかかる可能性が十分にありますが、このようなことが数年以内に起こらない可能性があるとは確信できません。
私たちが話している間に、どこかのラボで誰かが、現在のモデルを基本的に同じ構造ではるかに大きな実行を可能にするこの素晴らしいブレークスルーアイデアを得るかもしれません。
そして、これらの妨げられていないモデルは、さらに大きなレベルの能力を適用して自分自身をさらに良くするかもしれません。そのようなことは次の数年以内に起こり得ますが、次の5年程度以内に起こらないなら、タイムラインは伸び始める可能性もあります。
過去10年にわたって私たちが見たAI能力の劇的な改善を生み出したもののひとつは、最先端AIモデルの訓練と運用に使用される計算能力の巨大な成長です。
しかし、その計算成長の急速な率は無期限に継続することはできません。投資の規模です。10年前、何らかのランダムな学者が彼らのオフィスのデスクトップコンピューターで最先端AIを実行できました。
現在、私たちは数十億ドルのデータセンターについて話しています。OpenAIの現在のプロジェクトはStargateで、最初のフェーズで1000億ドルのデータセンターが関与し、その後5000億ドルに拡張される予定です。
それより大きくすることもできます。1兆ドルにすることもできますが、ある時点で本当にハードリミットにぶつかり始めます。
それに費やすことができるお金の量という点で。その時点で、ハードウェアの成長という点で物事は遅くなり始めます。
その後、より良いチップ製造技術を開発するにつれて起こる、より遅いハードウェア成長率に戻り、それは少し遅く起こります。
そして、私たちが見たもう一つの大きな推進力であるアルゴリズムの進歩ですが、それはその一部にすぎません。
ですから、ハードウェアの成長が遅くなり始め、おそらくアルゴリズム発明の低い果実の多くがすでに発見されている場合、その時点でAGIにぶつかっていないなら、私たちは最終的にまだそこに到達すると思いますが、その時タイムスケールは伸び始めます。
そのシナリオでは、そこに到達する前に、人間の脳がどのように機能するかなどについてより多くの基礎科学をしなければならないかもしれません。
しかし、現在のパラダイムに加えて、その上のいくつかの小から中規模の革新がAGIをアンロックするのに十分かもしれない良いチャンスがあると思います。
今、私は私たちの時間を尊重したいと思います。なぜなら、私たちは少し超過していることを知っているからです。私の最後の質問は、まず第一に、この解決された世界が数年で起こる可能性があると言っているのが信じられません。
はい、慎重になりましょう。私たちが除外できないと思いますが、ですから、最初に起こりうることは、AGIにたどり着くことです。それは比較的迅速に人工超知能につながると思います。
そして人工超知能は、その後解決された世界につながる可能性があるさらなる技術を急速に発明すると思いますが、人工超知能の後、技術的成熟に近いものにたどり着くまでに数年かかるかもしれません。
私たちがカバーしなかったので、人工超知能とAGIの違いは何ですか。
まあ、AGIは単に汎用形態のAI、おそらく大まかに人間レベルのようなものを意味します。
AGIの一つの定義は、リモート人間労働者ができる任意の仕事をできるAIです。
メールやGoogle DocsやZoomを通じて操作するリモートで雇う誰かのように、そのような人間ができる何でもAIができるなら、私はそれがAGIとしてカウントされると思います。
おそらくロボティクスを制御する能力を投げ入れたいかもしれませんが、それで十分だと思います。それは人工超知能と自動的に同じではありません。
人工超知能は、弦理論での研究や新しいピアノ協奏曲の発明や政治キャンペーンの構想など、すべての認知分野で人間を根本的に凌駕し、人間よりもはるかに優れてこれらすべての他のことを行うものでしょう。
ですから、一度私たちが人工超知能を作ると、物事は非常に急速に起こることができます。
はい、そう思います。そして、完全なAGIを持ったら、人工超知能がその踵のかなり近くにあるかもしれないというのは別の質問ですが、もっともらしいことです。
ですから、今現在調整している皆のために、私たちは世界の本当にクレイジーな時点にいて、私たちの多くはあなたのようではありません。本当にその分野にいたり、本当に注意を払ったり、本当にそのフィールドにいるわけではありません。
今起こっているすべてに対して私たちがどのように対応すべきかという点での推奨事項は何ですか。
私たちが起業家として、キャリアについて気にかけている人々として、うまくいけば物事があまりにも速く変化しない、しかし現在の世界で私たちがどのように前進すべきかという、あなたの推奨事項は何ですか。
はい、それはあなたがどのように位置づけられているかに少し依存し、異なる人々にとって異なる機会があると思います。
明らかに、もしあなたがAIラボで働く技術者なら、あなたには一つの機会セットがあります。もしあなたが投資家なら、あなたには別の機会セットがあります。
そして、すべての人間がこの歴史の時に生きているだけで持つ機会があると思います。
経済主体として私たち自身を考える観点で、いくつかの異なることを言いたいと思います。これらのAIツールの早期採用者であることは、彼らが何ができて何ができないかの感覚を得るために、そして彼らが徐々により有能になるにつれてそれらを利用するために、おそらく有用だと思います。
あなたが資産を持っている範囲で、AIと半導体セクターへの露出を持とうとすることは、ヘッジのようなものかもしれません。
もしあなたが10歳や11歳の若い子供たちについて質問しているなら、それは困難になります。なぜなら、彼らが労働市場に入る年齢に達する頃には、世界が変化して人間の労働の必要がもはやない可能性があるからです。
しかし、それは起こらないかもしれません。ですから、もしそれが少し長くかかるなら、突然今度は生計を立てる時が来て、あなたがスキルを学ぶことに悩まなかったという状況に終わりたくありません。
ですから、あなたはあなたの賭けを少しヘッジしたいのですが、もしあなたが今子供なら、あなたの人生を楽しむことを確実にすることも言いたいと思います。
あなたはおそらく一度だけ子供になるでしょう。そして、決して実際に関連することがないかもしれない未来のためだけに準備して、あなたの子供時代のすべてを費やしてはいけません。世界は十分に変化するかもしれません。
そして、物事がうまくいくなら、数十年後に生きる人々は現在の私たちがどのように生きているかを振り返って、恐怖で身震いするかもしれません。うまくいけば、彼らの生活ははるかに良いでしょう。
しかし、彼らが持たないかもしれないものを私たちが持っているという点が一つあります。それは世界に積極的な違いを作る機会、ある種の目的です。
現在、世界には非常に多くの必要があります。非常に多くの苦しみと貧困と不正と、本当に解決される必要がある問題があります。
誰かがゲームをするために作り上げた人工的目的ではなく、実際の本当の絶望的な必要です。
ですから、もしあなたが目的を持つことが人間の存在の本質的に価値のある部分だと思うなら、今は目的の黄金時代です。
今自分自身をノックアウトしてください。今、あなたにはAIで人類の未来を操縦することを助ける大きな絵で、またはあなたのコミュニティで、またはあなたの家族で、またはあなたの友人のために、しかし、もしあなたが実際に世界をより良くしようとしたいなら、今こそ本当にそのための黄金時代です。
そして、うまくいけば、物事がうまくいくなら、後ですべての問題がすでに解決されているか、もし問題が残っているなら、おそらく機械がそれらを解決するのにはるかに優れており、私たちはもはや必要とされません。
しかし、今のところ、私たちは確実に必要とされており、ですから、それを利用して、世界をより良くするために何かをしようとしてください。
ワオ、私たちは何らかの目的を持つ最後の世代かもしれません。それはとてもクレイジーです。
はい、その種の厳しい緊急の叫ぶほど道徳的に重要なタイプの。
しかし、そうかもしれません。ですから、私はそれらのことを言うでしょう。そして最後に、気づいていることです。
あなたの孫たちを想像することができたら、あなたの場合はおそらく80年後のような長い間ですが、他の人にとってはおそらくもっと早いかもしれませんが、彼らがあなたの膝の上に座って、2025年に生きていたときはどのようだったか、このことが起こっていたとき、AIが生まれていたときについて尋ねるとします。
そして、あなたは答えなければなりません、ああ、私は本当に注意を払っていませんでした。私は日常の存在の他の些細なことにあまりにも巻き込まれていました。私はそれに気づきさえしませんでした。
それは、何百万年もの間未来を形作るこの特別な時間に生きていて、あなたがそれに注意さえ払わなかったなら、少し悲しいことのように思えます。
それは少し見逃された機会のように思えます。
ですから、他のすべてのことを除いて、あなた自身とあなたの家族の世話をし、世界に積極的な貢献をしようとすることに加えて、それを受け入れることのようなものです。
もしこれが正しいなら、これは生きている歴史の中で非常に特別な時点であり、今ここに存在することは非常に注目に値することです。
はい、とても美しいです。これはインタビューを終える素晴らしい方法だと感じます。ニック、あなたはとても素晴らしいです。今日はお時間をいただき、ありがとうございました。
皆さんがあなたについてもっと学んだり、あなたの本を読んだり、あなたを見つけるのに最適な場所はどこですか。
私のウェブサイト nickbostrom.com で、本と論文と他のすべてがそこからリンクされています。
はい、彼の本は皆さんとても興味深いです。『スーパーインテリジェンス』、『ディープ・ユートピア』、非常に、非常に良いものです。ニック、今日はお時間をいただき、本当にありがとうございました。この対話を本当に楽しみました。
お話しできて楽しかったです。
終わりに
はい、ファム、ニック・ボストロムとの何と思考を刺激する対話でした。シミュレーション理論からポストヒューマンの未来の可能性まで、私たちは人類が直面する最も深い問題のいくつかを探求しました。
私を最も魅了したのは、ニックの潜在的ユートピアのビジョンでした。AIが非常に完全に成功して、すべての人間の労働が時代遅れになる世界です。
ニックが言ったように、私たちは完全失業の未来に入るかもしれませんが、最も積極的な意味でです。
人々がキャリアのために準備するのではなく、単に人生を楽しむことを訓練する世界を想像してください。またはもはや存在しないか、彼らが情熱を持っていないものです。
しかし、これは私たちをニックが強調した深刻な挑戦に導きます。深い冗長性の問題です。すべてにショートカットが存在するとき、健康になるためにジムで何時間も何週間も訓練する代わりに錠剤を飲むことができるとき、人生に意味と目的を与えるものは何でしょうか。
私たちは実際に目的を持つ最後の世代かもしれません。人間の努力がまだ重要な、ユニークな瞬間に生きています。
AIでこの大規模な変化にどのように対応するかについてのニックのアドバイスを愛しました。彼は早期導入者であることの重要性を強調し、AIへの露出を持ちながら、人生を楽しみ、目的を維持する方法を見つけることです。
彼が述べたように、人間は世界観の変化に適応する並外れた能力を持っており、この品質は私たちが高度に自動化された世界への移行をナビゲートするのに十分に役立つでしょう。
シミュレーションに住んでいるかどうかに関係なく、ニックの視点は、私たちが構築している技術的未来が私たちにとって非常に現実的であり、私たちがそれをどのように形作るかが深く重要であることを思い出させてくれます。
このエピソードを聞いてくれてありがとうございます。Young and Profitingの。もしあなたがニック・ボストロムとのこの心を拡張する対話から聞き、学び、利益を得たなら、人類と技術の未来について好奇心を持つ誰かとそれを共有してください。
そして、もしあなたが今日価値のあるものを得たなら、Apple Podcast、Spotify、Castbox、またはあなたがポッドキャストを聞くどこでも、5つ星のレビューで私たちに愛を示してください。
それは私たちがより多くのリスナーに到達するのを助ける最良の方法です。そして、もしあなたがYouTubeでエピソードを見ることを愛するなら、私たちはYouTubeにいます。
すべてのエピソードがそこにあります。また、Instagramでは @yapwithhala で、またはLinkedInで私の名前を検索して私とつながることもできます。それはHala Tahaです。
もちろん、私の素晴らしいYapプロダクションチームに叫ばなければなりません。あなたなしでは、これは何も起こっていないでしょう。あなたのすべてのサポートに感謝します。
これはあなたのホスト、ハラタハ、別名ポッドキャスト・プリンセスのサインオフです。
コメント