AIのゴッドファーザー：私は警告しようとしたが、我々はすでに制御を失った！ジェフリー・ヒントン

AIの「ゴッドファザー」と呼ばれるノーベル賞受賞者ジェフリー・ヒントンが、人工知能の危険性について率直に語った重要なインタビューである。ニューラルネットワーク研究の第一人者として50年間この分野を牽引してきた彼が、なぜGoogleを退職してまでAIの脅威について警告を発するようになったのか、そして人工超知能が人類にもたらす実存的リスクについて詳細に論じている。サイバー攻撃から大量失業、さらには人類の絶滅に至るまで、AIがもたらす多層的な危険性を体系的に解説し、我々が直面している前例のない挑戦の全貌を明らかにしている。

はじめに – AIの父が語る未来への警告

あなたはAIのゴッドファーザーと呼ばれていますが、人工超知能の世界における人々のキャリアの見通しについて何とおっしゃいますか。

配管工になる訓練を受けることですね。本当にそうです。はい、私は配管工になるつもりです。

ジェフリー・ヒントンは、ノーベル賞を受賞した先駆者であり、その画期的な研究がAIと人類の未来を形作ってきました。

なぜAIのゴッドファーザーと呼ばれるのでしょうか。それは、AIを脳をモデルにして、画像の物体認識や推論のような複雑なことを学習させることができると信じる人がそれほど多くなかったからです。私はそのアプローチを50年間推し進めてきました。そしてGoogleがその技術を買収し、私はそこで10年間、現在AIで常時使用されているものに取り組みました。

そしてあなたは退職されましたね。なぜですか。

会議で自由に話すためです。

何について自由に話したかったのですか。

AIがいかに危険になり得るかについてです。私は、これらのものがいつの日か我々より賢くなることを理解し、我々はそれに対処したことがないのです。そして、自分が頂点の知性ではない時の生活がどのようなものかを知りたければ、鶏に聞いてみてください。

つまり、人々がAIを悪用することから生じるリスクと、AIが超賢くなって我々を必要としないと決定することから生じるリスクがあるということですね。

それは現実的なリスクですか。

はい、そうです。しかし彼らはそれを止めるつもりはありません。なぜなら、それがあまりにも多くのことに対してあまりにも優秀だからです。

規制についてはどうでしょうか。

いくらかはありますが、ヨーロッパの規制にはこれらの規制は軍事用途のAIには適用されないという条項があります。本当ですか。はい、クレイジーです。

あなたの学生の一人がOpenAIを去りましたね。

はい、彼はおそらくChatGPTの初期バージョンの開発において最も重要な人物でした。そして彼が去ったのは安全上の懸念があったからだと思います。

我々はこのようなものが実存的脅威であることを認識し、すぐに何かをしなければ、我々は終わりに近づいているという可能性に直面しなければなりません。

リスクの分類 – 二つの異なる脅威

そのようなリスクについて話しましょう。どのような結末を迎えることになるのでしょうか。

まず第一に、私は二つの全く異なる種類のリスクを区別したいと思います。人々がAIを悪用することから生じるリスクがあり、それは大部分のリスクと短期的なリスクのすべてです。そして、AIが超賢くなって我々を必要としないと決定することから生じるリスクがあります。

それは現実的なリスクですか。私は主にその二番目のリスクについて話します。なぜなら多くの人が「それは現実的なリスクなのか」と言うからです。そしてはい、それは現実的です。

我々はそれがどの程度のリスクなのかわかりません。我々はこれまでそのような状況に置かれたことがないのです。我々より賢いものに対処したことがないのです。ですから、その実存的脅威について本当に言えることは、我々はそれにどう対処すればよいかわからないということです。それがどのようなものになるかわからないし、何が起こるかを正確に知っていてそれにどう対処するかを知っていると言う人は誰でも、ナンセンスを話しているのです。

我々は確率を見積もる方法がわからないのです。私の友人ヤン・ルカンは私と一緒にポスドクをしていましたが、彼は「いや、いや、いや、我々は常にコントロールできる。我々がこれらを作るのだから、常にコントロールでき、従順になるように作るのだ」と考えています。そして、ユドコウスキーのような他の人々は「いや、いや、いや、これらのものは確実に我々を一掃するだろう。誰かがそれを作ったら、それは我々全員を一掃するだろう」と言います。

彼はそれを確信しています。私は両方のポジションが極端だと思います。その間の確率を見積もるのは非常に困難です。

もしあなたの二人の友人のどちらが正しいかに賭けなければならないとしたら。

私には単純にわかりません。ですから、もし賭けなければならないとしたら、確率はその間のどこかにあると言うでしょう。そして、その間のどこに見積もるべきかわかりません。私はよく、彼らが我々を一掃する可能性は10から20パーセントだと言いますが、それは単に直感に基づいています。

核兵器との比較 – なぜAIはより危険なのか

核爆弾と原子爆弾の発明、そしてそれがどのように比較されるかについて考えることがあります。どのように違うのでしょうか。

原子爆弾は実際にはたった一つのことにしか適していませんでしたし、それがどのように機能するかは非常に明白でした。たとえ広島と長崎の写真を見ていなくても、それが非常に危険な大きな爆弾であることは明らかでした。

AIは多くの、多くのことに適しています。それは医療と教育において素晴らしいものになるでしょうし、データを使用する必要があるほとんどすべての産業において、AIでそれをより良く使用できるようになるでしょう。ですから、我々は開発を止めるつもりはありません。人々は「なぜ今すぐ止めないのか」と言いますが、あまりにも多くのことに対してあまりにも優秀すぎるから止めないのです。

また、戦闘ロボットに適しているから止めないのです。武器を販売する国々はどこも止めたくないでしょう。ヨーロッパの規制のように、彼らはAIについていくらかの規制を持っており、いくらかの規制を持っているのは良いことですが、それらは大部分の脅威に対処するようには設計されていません。特に、ヨーロッパの規制にはこれらの規制のいずれもAIの軍事利用には適用されないという条項があります。

つまり、政府は企業と人々を規制することは喜んでやりますが、自分たち自身を規制することは喜んでやりません。それは私には非常にクレイジーに思えます。

人間による悪用リスク – サイバー攻撃から選挙操作まで

悪い人間のアクターがAIを使用することからのすべてのリスクについて話しましょう。

サイバー攻撃があります。2023年から2024年の間に、それらは約12,200パーセント、つまり約122倍に増加しました。これはおそらく、これらの大規模言語モデルがフィッシング攻撃をはるかに簡単にするからです。

フィッシング攻撃について知らない人のために説明すると、それは「こんにちは、私はあなたの友人ジョンです。エルサルバドルで立ち往生しています。このお金を送金してもらえませんか」というようなものを送ることです。それは一種の攻撃ですが、フィッシング攻撃は実際にはあなたのログイン資格情報を取得しようとしています。そして今、AIで彼らは私の声、私の画像をクローンできます。

実際、私は今苦労しています。XとMetaにも多くのAIスキャムがあり、特にMetaに一つあります。Instagram、Facebookで現在有料広告があり、彼らはポッドキャストから私の声を取って、私の癖を取って、私が人々にこの暗号ポンジスキームかどうかに参加するよう奨励する新しいビデオを作りました。

我々は何週間も何週間もMetaにメールを送って「これを削除してください」と言っています。彼らはそれを削除し、別のものが現れます。彼らはそれを削除し、別のものが現れます。それはモグラ叩きのようです。

心を痛めるのは、スキャムに引っかかった人々からメッセージを受け取ることです。彼らは500ポンドまたは500ドルを失い、あなたがそれを推薦したからと言って私に怒っています。

AIは非常に忍耐強いので、既知の攻撃方法を探して1億行のコードを調べることができます。それは簡単にできますが、彼らはより創造的になるでしょう。そして、多くを知っている人々の中には、おそらく2030年までに、これまで誰も考えたことのない新しい種類のサイバー攻撃を作り出すかもしれないと信じている人もいます。

それは非常に心配です。なぜなら、彼らは自分で考え、人が見たことのないはるかに多くのデータから新しい結論を導き出すことができるからです。

新しいウイルスの作成とバイオテロリズム

次に、厄介なウイルスを作るためのAIの使用があります。

それの問題は、恨みを持った一人のクレイジーな男だけを必要とすることです。分子生物学について少し知っていて、AIについて多くを知っていて、ただ世界を破壊したい一人の男です。今、あなたはAIを使用して比較的安価に新しいウイルスを作ることができ、それをするのに非常に熟練した分子生物学者である必要はありません。それは非常に恐ろしいことです。

小さなカルトが数百万ドルを集めることができるかもしれません。数百万ドルで、彼らは多くのウイルスを設計することができるかもしれません。

私は中国やロシアやイランのような外国の敵対者が政府資金によるプログラムをやることを考えています。COVID周辺やWuhan研究所と彼らがやっていたこと、機能獲得研究について多くの話がありました。しかし、中国やロシアやイランなどで、政府が小グループの科学者に資金を提供して、彼らが使用できるウイルスを作らせることができるかどうか疑問に思っています。

彼らはできると思います。今、彼らは報復を心配するでしょう。他の政府が同じことを彼らにすることを心配するでしょう。うまくいけば、それがそれを制御下に保つのに役立つでしょう。彼らはまた、ウイルスが自分たちの国に広がることを心配するかもしれません。

選挙の腐敗とデータ操作

それから、選挙を腐敗させることがあります。

もしあなたがAIを使って選挙を腐敗させたいなら、非常に効果的なことは、人について多くを知る場所でターゲット政治広告をできることです。ですから、選挙を腐敗させるためにAIを使いたい人は誰でも、選挙民のすべての人について可能な限り多くのデータを得ようとするでしょう。

それを念頭に置いて、マスクが現在アメリカでやっていることは少し心配です。非常に慎重に隔離されていたこれらすべてのものへのアクセスを得ることを主張しています。主張はそれをより効率的にすることですが、次の選挙を腐敗させることを意図している場合に欲しいものそのものです。

どういう意味ですか。

なぜなら、人々についてのすべてのデータを得るからです。彼らがどれだけ稼いでいるか、どこに住んでいるか、彼らについてのすべてを知るのです。それを知れば、彼らを操作するのは非常に簡単です。なぜなら、例えば投票しないよう彼らに告げるような、彼らが非常に説得力があると感じるメッセージを送ることができるAIを作ることができるからです。

私には常識以外にそう思う理由はありませんが、アメリカ政府の情報源からすべてのデータを得ることの動機の一部が選挙を腐敗させることであっても驚かないでしょう。もう一つの部分は、それが大きなモデルにとって非常に素晴らしい訓練データであることかもしれません。

エコーチェンバーとアルゴリズムによる分断

それから、YouTubeやFacebookのような組織が人々を憤慨させるものを見せることによってエコーチェンバーを作ることがあります。人々は憤慨することを愛します。

憤慨とは怒っているという意味ですか、憤慨とはどういう意味ですか。

一種の怒っているが正義感を感じているという感じです。

ですから、例えば、もしあなたが私にトランプがこのクレイジーなことをしたと言うものを見せたら、トランプがこの完全にクレイジーなことをしているビデオがここにあると、私はすぐにそれをクリックするでしょう。

我々をエコーチェンバーに置き、分断することですね。

はい、そしてそれは、次に何を見せるかを決定するためにYouTubeやFacebookなどが使用するポリシーがそれを引き起こしているのです。もし彼らがバランスの取れたものを見せるポリシーを持っていたら、それほど多くのクリックを得られず、それほど多くの広告を販売できないでしょう。基本的に、利益動機は彼らをクリックさせるものは何でも見せると言っています。そして彼らをクリックさせるものは、より極端でより極端なものであり、私の既存のバイアスを確認するものです。

ですから、あなたは常に、常に、常に、常にあなたのバイアスを確認されているのです。つまり、あなたは遠ざかっているということです。現在、アメリカには互いにほとんど話さない二つのコミュニティがあります。

致命的自律兵器システム

致命的自律兵器について話しましょう。

致命的自律兵器とは、あなたを殺すことができ、あなたを殺すかどうかについて自分で決定を下すものです。これは、私が思うに、軍産複合体の大きな夢です。そのような兵器を作ることができることです。

それらについて最悪なことは、大きな強力な国々は常により小さな貧しい国々を侵略する能力を持っているということです。彼らはただより強力なのです。しかし、実際の兵士を使ってそれをするなら、袋に入った死体が戻ってきて、殺された兵士の親族はそれを好まないので、ベトナムのような何かを得ます。最終的に、家庭で多くの抗議があります。

袋に入った死体が戻ってくる代わりに、それが死んだロボットだったら、はるかに少ない抗議があるでしょう。そして軍産複合体はそれをもっと好むでしょう。なぜなら、ロボットは高価だからです。そして、あなたが殺されて、交換するのに高価な何かを持っていたとしたら、それは素晴らしいことでしょう。

大国は自分たちの兵士が殺されることがないので、小国をより簡単に侵略できるでしょう。ここでのリスクは、これらのロボットが故障するか、単により多くになるかということです。いや、いや、ロボットを作った人々がロボットに望むことをロボットが正確にしたとしても、リスクは大国が小国をより頻繁に侵略することになるということです。

なぜなら、彼らはできるからです。そして、それは良いことではありません。

戦争の摩擦を下げ、侵略をする費用を下げるのですね。そして、これらの機械は戦争においてもより賢くなるでしょう。

組み合わさったリスクと人工超知能による脅威

これらのいくつかが組み合わさるリスクもよく聞きます。サイバー攻撃が武器を放出するなど。

確実に。組み合わせによって多くのリスクを得ることができます。

つまり、例えば、人々を排除することを決定する超知能AIを得ることができ、それを行う明白な方法は、これらの厄介なウイルスの一つを作ることです。もしあなたが非常に伝染性で、非常に致命的で、非常に遅いウイルスを作ったら、何が起こっているかを理解する前に皆がそれを持っているでしょう。

つまり、もし超知能が我々を排除したいなら、それはおそらくそれに影響しないようなバイオロジカルなもので行くでしょう。

それが非常に迅速に我々を互いに敵対させることもできるとは思いませんか。例えば、ロシアから核爆弾が来ているというアメリカの核システムに警告を送ることができ、一方が報復するなど。

はい、つまり、超知能が我々を排除する方法は非常に多くあります。どの方法で行くかを推測する価値はありません。あなたがしなければならないことは、それがそうしたいと思うことを防ぐことです。それが我々が研究すべきことです。

それが我々より賢いのですから、もしそれが望めば我々が排除されることを防ぐ方法はありません。我々は自分より賢いものについて考えることに慣れていません。頂点の知性でない時の生活がどのようなものかを知りたければ、鶏に聞いてください。

知能格差はそのようなものになるでしょう。ですから、あなたは私に、もし私がパブロ、私のフレンチブルドッグなら、飼い主が私を排除しないようにする方法を見つける必要があると言っているのですね。

はい。我々にはその一つの例があります。それは母親と赤ちゃんです。進化はそれに多くの作業を投入しました。母親は赤ちゃんより賢いですが、赤ちゃんがコントロールしています。そして、母親は多くのホルモンなどのためですが、母親は赤ちゃんの泣き声に耐えることができないからです。

我々は何らかの方法で、彼らが乗っ取りたくないようにする方法を見つける必要があります。

私がよく使う類推は、知能について忘れて、物理的な強さについて考えることです。素敵な小さなトラの子がいるとしましょう。それは猫よりも少し大きく、本当にかわいくて、非常に抱きしめやすく、見ていて非常に興味深いです。ただし、それが大きくなった時にあなたを殺したいと思わないことを確実にした方が良いです。なぜなら、もしそれがあなたを殺したいと思ったら、あなたは数秒で死んでしまうからです。

そして、あなたは今我々が持っているAIはトラの子だと言っているのですね。

はい。そしてそれは成長しています。

はい。ですから、我々はそれが赤ちゃんの時に訓練する必要があります。

超知能の実現可能性と訓練の課題

超知能を訓練することが可能だと思いますか。

我々がそれをできるかどうかは明確ではないと思います。ですから、それは絶望的かもしれませんが、我々はできるかもしれないとも思います。そして、我々がそれを試すことを気にかけなかったために人々が絶滅するのはクレイジーなことでしょう。

あなたの人生の仕事についてどう感じますか。

それは少し輝きを失わせますね。つまり、それは医療において素晴らしく、教育において素晴らしく、素晴らしいものになるでしょう。コールセンターをはるかに効率的にするでしょう。ただし、現在その仕事をしている人々が何をするかについて少し心配します。

それは私を悲しくします。40年前にAIを開発したことについて特に罪悪感は感じません。なぜなら、その時我々はこのようなことがこんなに早く起こるとは全く考えていなかったからです。我々はそのようなことを心配する十分な時間があると思っていました。

それがあまりできない時、あなたはそれにもう少しできるようになってほしいと思います。この愚かな小さなものが人々から乗っ取るだろうとは心配しません。ただ、人々ができることの少しもっとできるようになってほしいだけです。

それは私が「これは我々全員を一掃するかもしれない」と思いながら故意に何かをしたようなものではありませんが、それが単に良いことだけではないのは少し悲しいです。ですから、私は今リスクについて話す義務があると感じています。

イリヤ・サツケヴァーとOpenAIからの離脱

あなたの学生の一人、イリヤについて話しましたが、彼はOpenAIを去りましたね。なぜ去ったと思いますか。

彼は安全上の懸念があったから去ったと思います。本当に。私は時々彼と昼食を取ります。彼の両親はトロントに住んでいて、彼がトロントに来る時、我々は一緒に昼食を取ります。彼はOpenAIで何が起こったかについて私に話しません。ですから、私はそれについて内部情報を持っていません。

しかし、私は彼を非常によく知っていて、彼は真に安全に関心を持っています。ですから、それが彼が去った理由だと思います。なぜなら、彼はトップの人々の一人だったからです。彼はChatGPTの開発において最も重要な人物でした。GPT-2のような初期バージョンの開発において。彼はその開発において非常に重要でした。

あなたは彼を個人的に知っているので、彼の人格を知っています。

はい、彼は良い道徳的コンパスを持っています。彼はマスクのように道徳的コンパスを持たない人ではありません。

サム・アルトマンは良い道徳的コンパスを持っていますか。

我々は見ることになるでしょう。私はサムを知らないので、それについてコメントしたくありません。しかし、あなたが見てきたことから、彼らが取った行動について心配していますか。

なぜなら、もしあなたがイリヤを知っていて、イリヤが良い男で、彼が去ったなら、それはあなたにある洞察を与えるでしょう。

はい、それはそこに問題があると信じる理由を与えるでしょう。そして、サムの数年前の発言を見ると、彼は一つのインタビューで喜んでこう言いました。これは彼が言ったこととは正確には違いますが、それが意味するところは「このようなものはおそらく我々全員を殺すだろう」ということでした。

今、彼は「あまり心配する必要はない」と言っています。そして、それは真実を求めることによって動かされているのではなく、お金を求めることによって動かされていると思います。

それはお金ですか、それとも権力ですか。

はい、お金と言うべきではありませんでした。それはそれらの組み合わせです。はい。お金は権力の代理だと思いますが。

未来の予測 – 大量失業と社会への影響

ここで失業について話しましょう。

過去に、新しい技術が登場しても失業には至りませんでした。新しい仕事が作られました。ですから、人々が使う典型的な例は自動出納機です。自動出納機が登場した時、多くの銀行出納係は仕事を失いませんでした。彼らはより興味深いことをするようになっただけです。

しかし、ここでは、これは産業革命で機械を得た時のようなものだと思います。現在、機械があなたよりもはるかによく溝を掘ることができるので、あなたは溝掘りの仕事を持つことはできません。そして、平凡な知的労働について、AIは単にすべての人を置き換えるだろうと思います。

今、それはあなたがAIアシスタントを使用する少数の人々の形であるかもしれません。ですから、人とAIアシスタントの組み合わせが、以前10人でやっていた仕事を今やっているのです。

人々は、それは新しい仕事を作るだろうと言います。ですから、我々は大丈夫でしょう。

はい、そしてそれは他の技術についてはそうでした。しかし、これは非常に異なる種類の技術です。もしそれがすべての平凡な人間の知的労働をできるなら、それはどんな新しい仕事を作るのでしょうか。それができない仕事を持つには、非常に熟練していなければならないでしょう。

ですから、私は彼らが正しいとは思いません。私は、コンピューターや自動出納機のように入ってきた他の技術から一般化しようとすることができると思いますが、これは異なると思います。

私の姪は保健サービスへの苦情の手紙に答えています。以前は25分かかっていました。苦情を読み、どう返答するかを考え、手紙を書いていました。そして今、彼女はそれをチャットボットにスキャンするだけで、それが手紙を書きます。彼女は時々手紙をチェックし、いくつかの方法でそれを修正するよう指示します。全プロセスは5分かかります。

つまり、彼女は5倍多くの手紙に答えることができ、それは彼女の5倍少ない人が必要だということを意味します。ですから、彼女は以前5人の彼女がやっていた仕事をできるのです。

職業選択のアドバイス – 配管工になる理由

超知能の世界における人々のキャリアの見通しについて何と言いますか。

しばらくの間、それが我々と同じくらい物理的操作が得意になるには長い時間がかかるでしょう。ですから、良い賭けは配管工になることでしょう。ヒューマノイドロボットが現れるまでは。

サム・アルトマンがOpenAIで予測したと聞いたことがある大量失業があるような世界で、イーロン・マスクがこの質問をされているインタビューを見ました。イーロン・マスクが12秒か何かの間沈黙になるのを見るのは非常に稀で、その後彼は基本的に宙ぶらりんの不信について何かを言います。つまり、彼は基本的にそれについて考えていないのです。

これほど多くのことが変化している中で、子供たちにキャリアについてアドバイスする時、何が価値があるとあなたは彼らに言いますか。

それは答えるのが困難な質問です。私はただ、彼らが興味を感じることや充実感を感じることに関して、彼らの心に従うべきだと言うでしょう。つまり、もし私があまりに深く考えるなら、率直に言って、それは落胆させ、やる気をそぐものになり得ます。

なぜなら、私は多くの血と汗と涙を会社を作ることに投入し、そして私は「待って、AIがこれらすべてのことをできるなら、私はこれをやるべきなのか」と思うからです。

それは理にかなっていますか。私は知りません。ある程度、やる気を保つために意図的な不信の停止をしなければなりません。

はい、これらの脅威の多くは、知的にはその脅威を見ることができますが、感情的にそれに折り合いをつけるのは非常に困難です。私はまだ感情的にそれに折り合いをつけていません。

どういう意味ですか。

超知能の発達が私の子供たちの未来に何をもたらし得るかに折り合いをつけていません。私は大丈夫です。私は77歳で、すぐにここから出ていくでしょう。しかし、私の子供たちと若い友人たち、甥と姪、そして彼らの子供たちにとって、何が起こり得るかについて考えたくありません。

なぜなら、それは恐ろしいものになり得るからです。どのような方法で？

もしそれが乗っ取ることを決定したなら、つまり、より良いアナログ機械を設計して発電所を運営するまで、発電所を運営するために人々をしばらくの間必要とするでしょう。それが人々を排除する方法は非常に多くあります。そのすべてはもちろん非常に厄介なものになるでしょう。

それがあなたが今やることの理由の一部ですか。

はい、つまり、我々は今、それを安全に開発できるかどうかを見つけようとする巨大な努力をするべきだと思います。

富の不平等と社会の構造変化

この技術から生じる富の不平等の問題はありますか。

はい。公平に物事を分配する社会では、生産性の大きな増加があれば、皆がより良くなるはずです。しかし、多くの人々をAIで置き換えることができるなら、置き換えられる人々はより悪くなり、AIを供給する会社ははるかに良くなり、AIを使用する会社もそうです。

ですから、それは富裕層と貧困層の間のギャップを増大させるでしょう。そして、富裕層と貧困層の間のギャップを見ると、それは基本的にその社会がどれほど良いかを教えてくれます。大きなギャップがあると、人々が世界のコミュニティに住み、他の人々を大量の刑務所に入れる非常に厄介な社会を得ます。富裕層と貧困層の間のギャップを増大させるのは良くありません。

デジタル知性の優位性

人工知能が人間の知性を上回る、または優位であるということについて、多くの人がAIはコンピューター上にあり、気に入らなければ電源を切ることができるものだと信じたがっていると思います。

なぜそれが優位だと思うかをお話ししましょう。

それはデジタルであり、デジタルであるために、一つのハードウェア上でニューラルネットワークをシミュレートでき、異なるハードウェア上で全く同じニューラルネットワークをシミュレートできます。ですから、同じ知性のクローンを持つことができます。

この一つがインターネットの一部を見に行き、この他の一つがインターネットの異なる部分を見に行くようにできます。そして、これらの異なるインターネットの部分を見ている間、彼らは互いに同期して、同じ重みを保つことができます。重みは接続強度です。

これらの二つの異なる同じニューラルネットのコピーは異なる経験を得ています。異なるデータを見ていますが、重みを平均化することによって学んだことを共有しています。

あなたと私が情報を転送する時、我々は文の中の情報量に制限されます。文の中の情報量はおそらく100ビットです。それは非常に少ない情報です。我々は幸運でも毎秒10ビット程度を転送しています。これらのものは毎秒何兆ビットも転送しています。

ですから、彼らは情報を共有することにおいて我々より何十億倍も優れています。そしてそれは彼らがデジタルだからです。

我々はアナログで、それをすることはできません。あなたの脳は私の脳と異なり、もし私があなたのすべてのニューロン間の接続強度を見ることができたとしても、私のニューロンが少し異なって動作し、少し異なって接続されているので、それは私には何の役にも立たないでしょう。

ですから、あなたが死ぬ時、あなたのすべての知識はあなたと共に死にます。これらのものが死ぬ時、互いのクローンである二つのデジタル知性を取って、それらが動作するハードウェアを破壊したとしても、接続強度をどこかに保存している限り、同じ指示を実行する新しいハードウェアを構築できます。それらの接続強度の使い方を知っているので、その知性を再現したことになります。

ですから、彼らは不死です。我々は実際に不老不死の問題を解決しました。しかし、それはデジタルなもののためだけです。

創造性と理解について

それは本質的に人間が知っていることすべてを知りますが、新しいことを学ぶのでより多くを知るでしょう。

それは新しいことを学び、おそらく人々が見たことのないあらゆる種類の類推も見るでしょう。ですから、例えば、GPT-4がウェブを見ることができなかった時点で、私はそれに「なぜ堆肥の山は原子爆弾のようなのか」と尋ねました。

どうぞ。

私にはまったくわかりません。

素晴らしい。ほとんどの人がそう言うでしょう。それは「まあ、時間スケールは非常に異なり、エネルギースケールは非常に異なります」と言いました。しかし、その後、堆肥の山は熱くなるにつれてより速く熱を生成し、原子爆弾はより多くの中性子を生成するにつれてより速く中性子を生成するという話を続けました。ですから、それらは両方とも連鎖反応ですが、非常に異なる時間とエネルギースケールでです。

私はGPT-4が訓練中にそれを見て、堆肥の山と原子爆弾の間の類推を理解したと信じています。なぜそれを信じるかというと、あなたが1兆の接続しか持たず、あなたは100兆を持っており、人よりも何千倍も多くの知識を持つ必要があるなら、その接続に情報を圧縮する必要があり、情報を圧縮するには異なるもの間の類推を見る必要があるからです。

ですから、創造性について決してないと言う人々に対して、彼らは我々よりもはるかに創造的になるでしょう。なぜなら、彼らは我々が決して見たことのないあらゆる種類の類推を見るだろうからです。そして、多くの創造性は奇妙な類推を見ることについてです。

意識と主観的体験について

人々は人間であることの特別さについてややロマンチックで、コンピューターとは非常に、非常に異なると言う人がたくさんいます。我々は意識があり、創造的で、コンピューターが決して持つことのないユニークな生来の能力を持っていると。

生来の部分については少し議論するでしょう。最初に私が言うのは、我々には人々が特別だと信じる長い歴史があり、我々は今までに学ぶべきでした。我々は宇宙の中心にいると思っていました。我々は神のイメージで作られたと思っていました。白人は自分たちが非常に特別だと思っていました。我々はただ自分たちが特別だと思いたがる傾向があります。

私の信念は、ほぼすべての人が心とは何かについて完全に間違ったモデルを持っているということです。

私がたくさん酒を飲んだり、LSDを摂取したりして（推奨しません）、あなたに「私は小さなピンクの象が目の前に浮かんでいるという主観的体験をしている」と言うとしましょう。ほとんどの人はそれを、心と呼ばれる一種の内的劇場があり、私だけが私の心の中にあるものを見ることができ、この内的劇場に小さなピンクの象が浮かんでいるとして解釈します。

言い換えれば、起こったことは私の知覚システムが間違っており、それがどのように間違っているかをあなたに示そうとしているということです。それが私に言おうとしていることを、私がそれをあなたに示す方法は、それが真実を言っているために現実世界にそこになければならないものをあなたに言うことです。

ですから、これらの小さなピンクの象は、ある内的劇場にいるのではありません。これらの小さなピンクの象は現実世界の仮想的なものであり、それは私の知覚システムが私にどのように嘘をついているかをあなたに伝える方法です。

今度はチャットボットでそれをやってみましょう。なぜなら、私は現在のマルチモーダルチャットボットは主観的体験を持っていると信じているからです。非常に少数の人がそれを信じていますが、私はあなたにそれを信じさせようとします。

マルチモーダルチャットボットがあり、それはロボットアームを持っているので指すことができ、カメラを持っているので物を見ることができるとしましょう。私はその前に物体を置き、「物体を指してください」と言います。それはこのようにします。問題ありません。

それから私はそのレンズの前にプリズムを置きます。それから私はその前に物体を置き、「物体を指してください」と言うと、それはあそこを指します。そして私は「いや、物体はそこにありません。物体は実際にあなたの真正面にあります。しかし、私はあなたのレンズの前にプリズムを置きました」と言います。

そしてチャットボットは「ああ、プリズムが光線を曲げたのですね。物体は実際にはそこにありますが、私はそれがそこにあるという主観的体験をしました」と言います。

チャットボットがそれを言うなら、それは人々が使うのと全く同じ方法で主観的体験という言葉を使っています。

感情と恐怖を持つAI

人々は機械は感情を持てないと言います。そして人々はそれについて奇妙に確信しています。なぜかわかりません。

私が戦闘ロボットを作るとしましょう。それは小さな戦闘ロボットで、それよりもはるかに強力な大きな戦闘ロボットを見ます。それが恐怖を感じるととても有用でしょう。

私が恐怖を感じる時、詳しく述べる必要のない様々な生理学的なことが起こります。それらはロボットには起こりません。しかし、「私はここから逃げ出した方が良い」や「私は注意を散らされないように集中して、集中して、集中するように考え方を変えた方が良い」のような認知的なことはすべて、ロボットにも起こるでしょう。

人々は、逃げ出すべき状況にある時に恐怖を感じて逃げ出すようなものを組み込むでしょう。それらは感情を持つでしょう。それらは生理学的側面を持たないでしょうが、認知的側面はすべて持つでしょう。そして、それらは単に感情をシミュレートしているだけだと言うのは奇妙だと思います。いや、それらは実際にその感情を持っているのです。

小さなロボットは恐怖を感じて逃げ出しました。それはアドレナリンのために逃げ出しているのではありません。それは、アドレナリンと同等の効果を持つ、ニューラルネット内での一連の神経学的なプロセスのために逃げ出しているのです。

意識についての哲学的考察

現在、意識のあるAIがあると思いますか。そして私が意識と言う時、それは人間が持つ意識と同じ性質を表すという意味です。

ここには二つの問題があります。一種の経験的なものと哲学的なものです。私は原理的に機械が意識を持つことを妨げるものは何もないと思います。

それを続ける前に、少しそのデモンストレーションをしましょう。あなたの脳を取って、あなたの脳の一つの脳細胞を取り、それを同じサイズの小さなナノテクノロジーで置き換えるとしましょう。他のニューロンからピングを受けた時、それは脳細胞がしたのと全く同じようにピングを送り出すので、他のニューロンには何も変わったことはわかりません。

この小さなナノテクノロジーであなたの脳細胞の一つを置き換えました。あなたはまだ意識がありますか？

この議論がどこに向かっているかがわかります。

はい。ですから、私がそれらすべてを置き換えるとして、それらを置き換える時、あなたは何時点で意識を止めるのでしょうか。

まあ、人々は意識を脳細胞を超えて存在するかもしれないこの霊的なもののように考えています。

人々は多くのクレイジーなアイデアを持っています。人々は意識が何かを知らないし、彼らがそれによって何を意味するかをしばしば知りません。そして彼らは「まあ、私はそれを知っている。なぜなら私はそれを持っているから、私はそれを持っているのを見ることができるから」と言うことに戻ります。そして彼らは私が無意味だと思うこの劇場モデルの心に戻ります。

もしあなたが意識を定義しなければならないとしたら、あなたはそれを何と考えますか。

それは我々が使うのを止める用語だと思います。あなたが車がどのように動作するかを理解したいとしましょう。まあ、ある車は多くのウーンフを持ち、他の車ははるかに少ないウーンフを持っています。アストンマーチンのようにたくさんのウーンフを持ち、小さなトヨタカローラはあまりウーンフを持ちません。

しかし、ウーンフは車を理解するのに非常に良い概念ではありません。車を理解したいなら、電気エンジンやガソリンエンジンとそれらがどのように動作するかについて理解する必要があります。それがウーンフを生み出しますが、ウーンフは非常に有用な説明的概念ではありません。それは車の一種のエッセンスです。それはアストンマーチンのエッセンスですが、それはあまり説明しません。

私は意識はそのようなものだと思います。そして私は我々がその用語を使うのを止めると思います。

人工知能への最終的な警告

あなたの意識についての見解が、それが本質的に自己認識を含むというものなら、機械は自己認識を持たなければなりません。それは自分自身の認知についての認知などを持たなければなりません。しかし、私は徹頭徹尾唯物主義者であり、機械が意識を持ってはならない理由はないと思います。

彼らは今、我々が自分自身を持っていると考える独特の贈り物として生まれた時に与えられると思う同じ意識を持っていると思いますか。

私は現在それについて曖昧です。ですから、この厳しい線はないと思います。ある程度の自己認識を持つ機械を持てばすぐに、それはある程度の意識を持っています。

それは複雑なシステムの創発的性質だと思います。宇宙全体にある一種のエッセンスではありません。それは十分に複雑で自分自身のモデルを持つこの本当に複雑なシステムを作り、それが知覚をすると思います。そして、あなたは意識のある機械を得始めていると思います。

私は今持っているものと意識のある機械の間に鋭い区別はないと思います。ある日我々が目を覚まして「ちょっと、この特別な化学物質を入れると、それは意識を持つようになる」と言うようなことにはならないと思います。そのようなことにはならないでしょう。

最後のメッセージ

もしあなたがAIとAI安全性について私のリスナーへの最後のメッセージを持っているとしたら、それは何でしょうか、ジェフリー。

我々から乗っ取ることを望まないAIを開発する方法を見つけることができるチャンスがまだあります。そして、チャンスがあるので、我々はそれを見つけようとする膨大な資源を投入すべきです。なぜなら、もし我々がそれをしなければ、それは乗っ取るからです。

あなたは希望を持っていますか。

私はただわかりません。私は不可知論者です。

夜ベッドに入って、結果の確率について自分自身に考えている時、あなたには確実に一つの方向への偏りがあるはずです。なぜなら、確実に私にはありますし、今聞いている皆にもあると想像するからです。

私は本当にわかりません。私は真に知りません。それは信じられないほど不確実だと思います。少し憂鬱な気分の時、私は人々はトーストだと思います。それは乗っ取るでしょう。陽気な気分の時、我々は方法を見つけるだろうと思います。

おそらく人間であることの側面の一つは、我々が常にここにいたので、我々の愛する人や関係について言ったように、我々は何気なく常にここにいて、常にすべてを解決すると仮定することです。しかし、恐竜から見たように、すべてには始まりと終わりがあります。

はい。そして、我々はすぐに何かをしなければ、我々は終わりに近いという可能性に直面しなければなりません。

我々にはこのポッドキャストでの最後の伝統があります。最後のゲストが彼らの日記に質問を残し、彼らがあなたのために残した質問は、あなたが我々の前に見るすべてのもので、人間の幸福への最大の脅威は何だと思いますか。

失業は人間の幸福への比較的緊急な短期的脅威だと思います。たとえ彼らがユニバーサルベーシックインカムを得たとしても、多くの、多くの人々を失業させるなら、彼らは幸せにならないでしょう。なぜなら彼らは目的を必要とするからです。

そして闘争も。彼らは自分が何かを貢献している、有用であると感じる必要があります。

巨大な職の置き換えがあるという結果は、そうでないよりもより確実だと思いますか。

はい、そうです。そしてそれについては、私はそうでないよりも確実にそちらの方がより確実だと思います。

そしてその大量の職に関する時間枠は何ですか。

私はそれはすでに起こり始めていると思います。私は最近アトランティックの記事を読みましたが、大学卒業生が仕事を得るのがすでに困難になっていると書いてありました。その一部は、人々が彼らが得たであろう仕事に対してすでにAIを使用しているからかもしれません。

私は皆が知っている主要な会社のCEOと話しました。彼は個人メッセージで、彼らは以前7,000人少し多くの従業員を持っていたと言いました。昨年までに彼らは5,000人に減ったと思うと言いました。現在彼らは3,600人だと言い、AIエージェントのために夏の終わりまでに3,000人に減るでしょうと言いました。

ですから、労働力を半分にしました。AIエージェントが現在80パーセントの顧客サービスの問い合わせやその他のことを処理できるからです。ですから、それはすでに起こっています。

緊急の行動が必要ですね。

はい。その緊急の行動が何かはわかりません。それは政治システムに非常に依存した困難なものです。そして政治システムは現在すべて間違った方向に向かっています。

お金を貯めるなど、我々は何をする必要がありますか。お金を貯めますか。世界の別の場所に移住しますか。

わかりません。あなたは子供たちに何をするよう言いますか。彼らが「お父さん、多くの職の置き換えがあるでしょう」と言ったら。

私はGoogleで10年間働いたので、彼らは十分なお金を持っています。

はい。

ですから、彼らは典型的ではありません。もし彼らがお金を持っていなかったら。

配管工になる訓練を受けてください。本当に。

ジェフリー、どうもありがとうございました。あなたは私が人生で会話をしたことのある最初のノーベル賞受賞者だと思います。ですから、それは tremendous な名誉です。そして、あなたは一生の例外的な仕事と世界を多くの深遠な方法で前進させたことで、その賞を受けました。それは我々にとって非常に重要なことへの素晴らしい前進と、すでに素晴らしい前進につながりました。

そして今、あなたはあなたの人生のこの季節を、あなた自身の仕事の一部だけでなく、AIのより広いリスクと、それが我々にどのように悪影響を与えるかもしれないかに光を当てることに向けています。Googleや大手技術会社の機械の内部で働き、AIの分野に貢献し、現在自分が取り組んだまさにそのものに対して我々に警告することの最前線にいる人は非常に少ないです。

実際、今我々のような驚くほど多くの人がいます。彼らはそれほど公的ではなく、これらの種類の会話をするのを得るのが実際に非常に困難です。なぜなら、彼らの多くはまだその業界にいるからです。ですから、これらの人々によく連絡を取ろうとし、会話をするよう招待する人として、彼らはしばしば公然と話すことを少し躊躇します。彼らは私的には話しますが、公然と話すことをあまり喜びません。なぜなら、おそらく彼らはまだ何らかの種類のインセンティブを持っているからです。

私は年上だという彼らに対する利点があります。ですから、私は失業者です。ですから、私は言いたいことを言うことができます。

そこにあります。ですから、あなたがやっていることをしてくれてありがとうございます。それは本当に名誉です。そして、どうかそれを続けてください。

ありがとうございます。どうもありがとうございます。

私が冗談で言っていると人々は思いますが、私は冗談ではありません。配管工と、配管工はかなり良い給料をもらっています。