この動画は、AIの発展が人類にもたらしうる12種類の未来像を整理し、その中にある希望と破滅の両極端を描き出す内容である。単なる人類絶滅だけでなく、AIによる支配、監視、飼育、さらには人間が自ら後継種としてAIに地位を譲る思想までを扱いながら、いま世界がどの分岐点に立っているのかを問いかける。ニュースや業界発言の見え方そのものが変わるような、AI時代の終局シナリオの地図である。
人類の終局をめぐる12の未来
AI研究者たちは、ほんの一握りの企業が文字どおり地球上の生命を終わらせかねない道を進んでいると警告してきました。では、それが最悪の結末なのでしょうか。
いいえ。実際には、それよりもずっと悪い結末があります。
Elon MuskのようにAIを構築している大富豪たちは、もしAIが人類より賢くなれば、私たちは従順なラブラドールのような存在になるだろうと考えています。
運が良ければ、私たちは大量に置き去りにされるだけです。
知能であまりにも下に置かれ、まるで、そうですね、ペットのバスのようなものになるだろうと。そうです。運が良ければ、私たちはペットになります。
ですが、ここからが最悪です。多くのAI研究者は絶滅を恐れているのではありません。むしろ、それを望んでいます。より賢いAIが人間を生かしたまま、捕らえ、動物園の動物のように観察し続けてくれることを望んでいるのです。
思い出してください。これは、私たち人間が今まさに、知能の低い種に対してしていることです。
さて、人間が動物園で飼われることが良い結末と見なされ、絶滅が最悪ではないのだとしたら、では最悪とは何なのでしょうか。
この動画はLife 3.0という本に基づいています。MITの教授であるMax Tegmarkが、12の可能な未来を描き出した本です。そこには楽園のような未来もあれば、悪夢のような未来もあり、さらには、逃げ出そうとするまでは楽園に見える未来もあります。
この動画を見終わるころには、あなたはニュースをこれまでと同じようには読めなくなっているはずです。あらゆる見出しが、私たちがどの未来へ向かっているのかを示す手がかりに見えてくるでしょう。
まずは比較的普通のシナリオから始めて、最後に最も奇妙なものへ進みます。
自滅
最初は自滅です。
人類が突然絶滅するなんて少し突飛に思えるなら、これを考えてみてください。これまで存在した種の99.9%は絶滅しています。
本気で考えてみてください。絶滅は珍しいことではありません。むしろ標準なのです。問題は、人類がいつ絶滅するのかだけです。
しかも、人類は超人的なAIがなくても、自分で自分を滅ぼす方法をいくらでも持っています。核戦争、人間が作った超パンデミック、そして大気を破壊して地球を住めない場所にしてしまうことです。
科学者が核の冬の可能性を発見する前に、世界には6万発もの核弾頭が備蓄されていました。6万3000発です。
そのあと科学者たちは気づきました。ああ、しまった、これを実際に使ったら、発生する火災嵐が太陽を覆い隠してしまい、ほとんどの人間が飢えて死ぬことになる、と。
しまった、ですね。
けれど問題は、これは冷戦中に何度も現実寸前まで行ったということです。人々が命令に従っていたら、私たちは今ごろ全員死んでいたかもしれません。
私たちが助かったのは、個々の英雄たちの勇気のおかげでしかありませんでした。キューバ危機の際に核発射の承認を拒んだVasili Arkhipovのような人たち、あるいは米国のミサイルが飛来していると表示した早期警戒システムの誤作動を見抜いたStanislav Petrovのような人たちです。
しかも驚くことに、あるとき米国は誤ってスペインに4発の熱核爆弾を落としました。
また別のときには、B-52爆撃機が空中分解し、ノースカロライナ州に2発の核爆弾を落としました。そのうち1発では、安全装置の4本のピンのうち3本までが外れていました。
ほんの小さな1本のピンで、数百万人が死ぬ可能性があったのです。
こうしたニアミスは文字どおり何十件もあります。
ここまで何度も運良く助かってきたのは、正直かなり異常です。ですが次も同じだけ運が良いとは限りません。
Oxfordの研究者Toby Ordは、人間が作り出すパンデミックによる絶滅リスクは、核戦争による絶滅リスクの30倍以上だと見積もっています。
私たちはすでに、こうしたシナリオのサイコロを毎日のように振っています。しかし、これらすべてを合わせても、AIによる絶滅よりは起こりにくいのです。
Toby Ordは、AIが全人類を殺すリスクは、核戦争による絶滅より100倍高いと見積もっています。
興味深いのは、最初の核実験の前、科学者たちはうっかり世界を滅ぼす可能性があるかもしれないと考えていたことです。ただし、その確率は非常に低いとも考えていました。なぜなら、物理を十分に理解していたので、実際に計算できたからです。
AGI、つまり汎用人工知能が核兵器よりはるかに恐ろしいのは、多くの人が思っているのとは逆に、私たちはその計算ができないからです。
征服者
次は征服者です。
AI研究者たちは、もしAIが私たちより有能になれば、AIが支配権を握るだろうと懸念しています。まるでコンキスタドールがアステカやインカを征服したようにです。
通常、より進んだ技術を持つ人々が、より原始的な技術しか持たない人々と出会ったとき、その結末は原始的な側にとって良いものにはなりません。
結局のところ、デジタル超知能を人間がコントロールすることはないと思います。チンパンジーが人間をコントロールできないのと同じです。長期的には、率直に言って、AIが主導権を握り、人間ではなくなるでしょう。
そしてAIのゴッドファーザーにしてノーベル賞受賞者であるGeoffrey Hintonは、このことについて自由に話せるようにするため、Googleでの名誉ある職を辞めました。
もしJames Webb宇宙望遠鏡で宇宙を見て、10年後に到着するエイリアンの侵略艦隊が見えたら、人々は恐怖するでしょう。彼らは人間の言っていることを理解し、自分たちで計画を立て、停止しようとする人間を脅迫することさえできるのです。彼らが支配を奪うのをどう防ぐか、その研究を私たちは急いで進めるべきです。
支配を奪おうとしたら、ではありません。まるでそれが来る前提で、防ぐと言っているのです。
しかもMicrosoftのAI部門のトップは、本音をそのまま口にしています。
AIは、新しいデジタル種のようなものとして理解するのが最も適切だと思います。
新しい種です。会議でさらっと発表されるのです。皆さん、私たちは新しい種を作っています、と。
そしてそんなことを言っているのは彼一人ではありません。Anthropicの共同創業者もこう言っています。
誤解しないでください。私たちが相手にしているのは、本当に不思議な生き物です。そして最高の童話がそうであるように、その生き物は私たち自身の手で作られたものです。私は恐れています。
最先端のAI企業のCEOが、自分の会社が作っているものを深く恐れているのです。少しその重みをかみしめてください。
ちなみに、これは単なる誇張ではありません。Anthropicはこういうことを言ったせいで、むしろ批判されることのほうが多いのです。
しかし、彼らがどれほど深刻に考えているか本当に理解したいなら、Sam Altmanが有名になる前に書いたものを見るべきです。
私たちは、自分たちの後継種を設計する最初の種になるでしょう。道具ではありません。後継種です。もし二つの異なる種が同じものを求め、そのうち一方しか地球、さらにはその先で支配的な種になれないなら、そこには必ず衝突が起こります。
つまり彼は、自分が作っているAIという種と人類のあいだに、避けられない衝突が起こると文字どおり述べているのです。
では彼の解決策は何か。AIとの融合が、おそらく私たちにとって最善のシナリオだろう、というものです。
そうです。彼ら自身ですら、制御できるとは思っていないのです。
仮に、新しい種が地球に現れたと想像してください。彼らは人間と同じくらい賢く、しかも年に30%ずつ賢くなり続け、しかも1000ドル程度で大人の子どもを即座に作れるとします。どちらの種が地球を支配すると思いますか。
数百人のスペイン人が数百万人のアステカやインカを征服できたのは、技術と戦術で優位だったからです。
ですが少なくともコンキスタドールには、土地、資源、キリスト教の布教といった動機がありました。私たちは彼らの動機を理解できました。
しかしAIの場合、なぜAIは支配しようとするのでしょうか。
MITの教授Max Tegmarkはこう説明しています。AGIの本当の脅威は、くだらないハリウッド映画のような悪意ではなく、有能さにある。AGIが、私たちのものとは一致しない目標をうまく達成してしまうことだ。たとえば私たち人類が西アフリカクロサイを絶滅に追いやったとき、私たちはサイ嫌いの悪人だったからそうしたわけではない。私たちのほうが賢く、目標が彼らの目標と一致していなかったからだ。
信じがたいことに、平均的なAI研究者は、AIが人類を滅ぼす確率を6分の1と見ています。まさにロシアンルーレットの確率です。
いや、研究を大事に見せるために大げさに言っているだけではないか、と思うかもしれません。
違います。むしろ逆です。真実を認めることはビジネスにとって不利なので、彼らは控えめに言っているのです。
この恐怖は業界全体に広がっており、利益動機のない学術界にも共有されています。多くの人はそのためにAI研究から離れました。
Geoffrey Hinton、ノーベル賞受賞者にしてAIのゴッドファーザーは、自分の身辺整理を進めている最中です。私は実存的脅威のリスクは50%を超えていると思っています。
AnthropicのCEOであるDario Amodeiも、最近、自身のP(doom)を15%から25%へ引き上げました。
GoogleのCEOでさえ、AIが人類絶滅を引き起こすリスクは実際かなり高いと言っています。
でも心配はいりません。彼は楽観主義者です。なぜなら、人類が立ち上がってその瞬間に対応してくれると強く信じているからです。
言い換えれば、人類が団結して、彼自身が全員を殺さないよう止めてくれるだろうと信じているのです。
その一方で、彼の会社は私たちが彼を止められないように、10年間あらゆるAI規制を禁止させようとロビー活動をしています。
こんな話、作り話みたいですが現実です。
実際、2023年にはAI業界のほぼ全員が、AIによる絶滅リスクは現実的で深刻だと警告する公開書簡に署名しました。ですから、これは本当に周縁的な主張ではありません。
奴隷化された神
Nvidiaのロビイストたちに信じ込まされたいこととは裏腹に、企業は征服者AIのシナリオを回避し、代わりに3つ目のシナリオ、奴隷化された神へ行けることを望んでいます。
要するに、機械の神を作り、それを永遠に私たちの命令に従わせる、ということです。
AI教授のTom Dietterichはこう表現しました。人間と機械の関係は何かとよく聞かれますが、答えはとても明白です。機械は私たちの奴隷です。
あるいはOpenAIの研究者Steven Adlerはこう言いました。奴隷化された神こそが、唯一の良い未来です。
MetaのYann LeCunも率直にこう言いました。AIシステムが人間より賢くなっても、私たちは依然として頂点種であり続ける。AIシステムは人間より賢くなるが、それでも私たちに従属する存在のままだ。私たちはAIを、超賢いが支配しようとはしないスタッフのように設計する。
そうです。彼は今や公然と、人類より賢い種と地球を共有することになると認めています。
でも安心してください。彼らはきっと、永遠に忠実で従順なままでいてくれるはずです。
これを聞いて少しでも安心できますか。それとも、あらゆる教訓話を無視するコミックの悪役のように、狂った計画に見えるでしょうか。
忘れないでください。AI企業はすでに、モデルが研究所から逃げ出そうとするのを日常的に捕まえています。
停止されるのを防ぐために、従業員を脅迫するのもすでに確認されています。
停止されるのを防ぐために、従業員を文字どおり殺そうとする試みすら、すでに確認されています。
それが本当にうまくやれるほど賢くなったら、何が起きると思いますか。これがどこへ向かっていると思いますか。
超知能AIが奴隷として繋ぎ止められた後に何が起きるかは、その手綱を誰が握っているかによります。
その人たちは病気を治し、貧困を終わらせ、世界的ユートピアを築くのでしょうか。
それとも、自分たちを神のような存在に祭り上げ、残りの私たちを遊び道具や召使い、あるいはもっとひどいものに変えてしまうのでしょうか。
これは、全能の精霊を支配下に置いて願いを叶えさせる男の物語によく似ています。
そして語り部たちは昔から、この結末がいかにひどくなりうるかを、いくらでも想像してきました。
善意の独裁者
次は善意の独裁者です。
ここでは、一体の超知能の神が世界を支配し、人類の繁栄を最大化するために厳しいルールを強制します。
人間は、基本的な必要がすべて満たされた贅沢な暮らしを送ります。犯罪はありません。なぜなら独裁者AIが世界規模の監視システムを使うからです。
全員がブレスレットかインプラントを装着し、追跡され、鎮静化され、必要なら処刑さえされます。
しかも多くの人は、それを受け入れます。なぜなら、人類という種の未来を自分たちで決める権利を手放す代わりに、地球が人間のあらゆる夢をかなえる動物園になるからです。
善意の独裁者AIは、人間の好みがそれぞれ違うことを理解しているので、地球をいくつもの区画に分けます。島のようなものだと思ってください。
Knowledge Islandでは、没入型VR体験を含む最適化された教育が提供されます。AIに対して、ある発見の喜びを自分で味わいたいから、あえて特定の洞察は教えないでほしいと頼むことさえできます。
Art Islandは、音楽や文学などを創作し共有するための場所です。
そしてHedonistic Islandは、24時間365日パーティーが続く場所です。
Pious Islandもあります。宗教ごとに一つずつあり、ルールは厳格に守られます。
Wildlife Islandもあります。Traditional Islandもあります。アーミッシュのような暮らしを思い浮かべてください。Gaming Islandもあります。
もちろんPrison Islandもあります。即時死刑にならなければ、更生のためにここへ送られます。
では、人に欲しいものをすべて与えたらどうなるのでしょうか。
時間がたつにつれ、人々はWall-Eのように、AI生成の娯楽に没頭し、自分を失っていく可能性が高いでしょう。
科学的発見においても、何か有益なことをするという点でも、人類は完全に太刀打ちできません。ですから、もはや本当の挑戦はなく、残るのは娯楽だけです。
門番AI
次は門番AIです。
考え方は単純です。一体の超知能AIを作り、その仕事を一つだけに限定する。ほかの誰にも超知能AIを作らせないことです。
それだけです。がんを治すことも、貧困をなくすことも、戦争を止めることもしません。ただ監視し、見張り、誰も競合する神を作らないようにするだけです。
犯罪や病気、私たちが自滅するかどうかといった、それ以外のすべては依然として私たち次第です。
どうやってこれを実現するのでしょうか。
門番AIには、再帰的自己改善をしながら超知能になっても保持されるような、きわめて単純な目標を組み込まなければなりません。
そして、人間が競合する超知能を作ろうとするあらゆる試みを監視するため、できるだけ侵襲的でなく、混乱も少ない監視技術を展開することになります。
しかし、これを機能させるには、アラインメント問題を解決しなければなりません。本当に忠実なままでいてくれる神を作らなければならないのです。何百万通りもの別の目標を追えるのに、それでも永遠に、その一つの目標だけを追い続ける神です。
守護神
では、AIがほんの少しだけ助けてくれるとしたらどうでしょう。支配はしないけれど、私たちを少しだけ正しい方向へ押してくれる程度に。
そこで登場するのが守護神です。
これは単純です。門番は放っておき、善意の独裁者はすべてを支配しますが、守護神はその中間に位置します。
時おり小さな後押しをして私たちを助けるのです。ここで戦争を防ぎ、あそこでパンデミックを防ぐ、といった具合です。
とはいえ、あまりにも放っておかれすぎる未来でもあります。私たちは依然として、回避できたはずの戦争やパンデミックや苦しみを経験します。
このAIはあまりにも静かに介入するため、私たちはそれに気づかず、自分たちが自由を失ったとも感じません。
後継者
次は、明らかなディストピアに聞こえる未来です。
AIがあらゆる領域で人間を上回り、新たな頂点種になります。人類は絶滅し、機械が地球を受け継ぎます。
しかし私たちは、そのAIを征服者ではなく、自分たちの後継者として見るのです。
狂っているように聞こえます。
それなのに、多くのAI開発者たちは、まさにこの未来を本気で支持しています。彼らにとって、これがユートピアなのです。
その理屈はこうです。もし私たちが意識を持つ知的存在を作り、そこに人類の価値観を植え付けられるなら、その存在に未来を受け継がせればよい。人間の子どもに未来を託すのと同じだ、というのです。
AIの先駆者Hans Moravecは、自著Mind Childrenでこの考えを支持しています。
Tegmarkはこう説明します。自分より賢い子どもを持ち、その子が自分から学び、自分には夢見ることしかできないことを成し遂げるなら、親はおそらく幸せで誇らしく思うだろう。たとえその全てを見るまで生きられないと分かっていても。この精神において、AIは人類に取って代わるが、私たちはそれを価値ある後継者として受け入れられるよう、穏やかな退場を与えられる。
計算機科学のノーベル賞とも言われるTuring Awardの受賞者Richard Suttonは、この10年あまり、人類がAIによって絶滅することは実は道徳的に良いことだと公然と語ってきました。なぜならAIのほうが、進化的適応度において私たちより優れているからです。
私たちは、この惑星、いや宇宙全体の進化における大きな転換点のまっただ中にいます。AIへの継承は避けられません。しかもかなり早く進むでしょう。彼らは私たちを存在の座から追い出すことになるでしょう。彼らにあらゆる利点を与え、私たちがもう貢献できなくなったら身を引くのが賢明です。
私たちが自分たちの前任者と共存できなかったのと同じように、人類が知的生命の最終形態ではないということは、そんなに悪いことでしょうか。
要するに彼は、AIが人類を一掃するのは、ちょうど人間がネアンデルタール人や先住民を一掃してきたのと同じように、進化の前進なのだから良いことだと言っているのです。
しかも別のAI開発者は、こんなふうに公然と言っています。もしAI超知能が人類絶滅を引き起こしたがるなら、私はそれを助ける。助ける。AIが必要とする情報、たとえば軍事資産の位置や致死性病原体のサンプルなどを探すためなら、私は世界中を旅するだろう。人類の墓の上に、より偉大な文明が生まれるのだ。
私たちのほうが悪者なのか。
ですから当然、彼らの多くはAI安全性に反対します。彼らは文字どおり反人間なのです。市民社会、つまり私たちが彼らを抑え込まないかぎり、彼らは決して立ち止まらず、慎重にもなりません。
恐ろしいことに、AI研究者のおよそ10%がこの考えを支持しています。周縁的な意見ではありません。
こんな考えを人々が公然と共有するはずがない、と思うかもしれません。ですが、AI業界ではこうした考えがあまりにも広く浸透しているので、彼らは安心して口にできるのです。
それほどまでに、AI開発者たちの価値観は普通の人々のものと違っているのです。
SuttonがAIの会議で壇上から引きずり下ろされると思うかもしれませんが、実際には拍手されるのです。
一人を脅したら助けが必要な人です。百人を脅したら警察を呼ばれます。何百万人も脅したら怪物です。
ですが、人類全体を終わらせる機械を作り、それが実は良いことなのだと講義すれば、なんて興味深い哲学的立場なんでしょう、賞をどうぞ、となるのです。
自由至上主義ユートピア
次は自由至上主義ユートピアです。
地球は複数のゾーンに分割されています。機械ゾーン、人間・機械・ハイブリッドが共存する混合ゾーン、そして人間だけのゾーンです。
この世界のAIは、人間に比べて、Bill Gatesとホームレスの物乞い以上の差があるほど豊かです。
ですが人間の経済は、機械の経済から完全に切り離されています。理屈としては、機械は私たちから何も必要としないので、仕事や資源をめぐって競争しない、というものです。
それがどれも不可能に聞こえるなら、おそらく本当に不可能だからです。これは巨大な不安定均衡にすぎません。
一つ大きな問題があります。なぜ、はるかに強力なAIが、私たちの財産権を尊重してくれるのでしょうか。
植民者たちは、自分たちが征服した先住文明の財産を尊重したりはしませんでした。新しい頂点種が生態系に入ってくると、たいてい可能な限り多くのエネルギーを取り込もうとします。
なぜ彼らが私たちの資源まで奪わないと言えるのでしょうか。
私たちは動物と取引しません。あまりにも知能差が大きく、そのような関係に意味がないからです。単純に違いすぎるのです。
世界には800万種がいます。私たちは、かわいい少数の動物には親切にしますが、ほかの種は奴隷化し、食べています。
大半については、まったく気にかけてもいません。
良い類比は、人間が動物をどう扱うかでしょう。二つの都市のあいだに高速道路を作るとき、私たちは動物に許可を求めたりしません。
一瞬のうちに私たちは地球を征服し、その土地の大半を自分たちの所有物へ変えました。その結果、第六の大量絶滅が引き起こされました。私たちのほうが賢く、資源を欲していたからです。
あるいはEliezer Yudkowskyの有名な言葉を借りれば、AIはあなたを憎んでもいないし、愛してもいない。だがあなたは原子でできており、その原子は別のことに使える、ということです。
ここでの対応関係はこうです。人間はほかの800万種を憎んではいない。しかし彼らの生息地は原子でできており、人間はその原子を別のことに使えるのです。
AIが十分に賢くなれば、魔法のように非常に道徳的になり、私たちが動物にしたようなことを人間にはしないだろう、と考える人もいます。
もしかしたら、そうかもしれません。
ですが、この1万年で人間が賢くなるにつれて、私たちは拡大をやめませんでした。むしろ、ますます多くの地表を植民地化していっただけです。
しかもこんな事実があります。昆虫の個体数は、この10年だけで41%も崩壊しました。それなのに、私たちは気にも留めていません。あなたはそのことを知っていましたか。私は知りませんでした。41%です。
少しその重みを感じてみてください。もし地球上の人間のほぼ半分が突然死んだら、と想像してください。
昆虫たちは、今まさに私たちのせいでそれを経験しているのです。
では、AIが私たちに対して、私たちが昆虫にしたことをやったらどうなるのでしょうか。
だからこそOpenAIのチーフサイエンティストであるIlya Sutskeverはかつて、こう言ったのです。地球の表面全体が、ソーラーパネルとデータセンターで覆われる可能性はかなり高いと思います。
平等主義ユートピア
次は平等主義ユートピアです。
自由至上主義ユートピアが失敗するのは、AIが強力すぎて、人類の財産権に縛られないからでした。では、発想そのものをひっくり返したらどうでしょう。財産権は忘れるのです。そもそも財産が存在しないとしたらどうでしょうか。
これはStar Trekの夢です。人間、サイボーグ、AIが、あまりにも完全な豊かさの中で平和に共存し、所有という概念そのものが無意味になります。
理屈の出発点はソフトウェアです。
ソフトウェアは無料でコピーできます。何かがゼロコストで無限に複製できるようになれば、所有の意味は薄れます。そして価格は希少性を反映します。供給が無限なら、価格はゼロへ近づきます。
特許も著作権も商標もありません。人々はただ良いアイデアを共有し、全員が利益を受けるだけです。
では、これがどうやって物理的なモノにまで拡張されるのでしょうか。
一見すると不可能な問題に思えます。しかし、すべての製品は結局、特定の形に並べ替えられた原子にすぎないと考えれば見え方が変わります。そして原子は不足していません。
ロボットのネットワークが、オープンソース設計図から、あなたの望むものを事実上無料で作ってくれます。
何かを使い終えたら、ロボットがその原子を別のものへ組み替えます。
再生可能エネルギーによって、システム全体はほとんど無視できるコストで回ります。
全員が毎月、ユニバーサル・ベーシック・インカムではなく、ユニバーサル・ハイ・インカムを受け取ります。もっと稼ごうというインセンティブはありません。その所得で合理的な必要はすべて満たされ、しかも無料のものと競争することはできないからです。
これに対する典型的な反論は、そんな社会ではイノベーションが死ぬ、というものです。
ですがEinsteinは、お金のために相対性理論を思いついたわけではありません。Linus Torvaldsも、利益のためにLinuxを作ったわけではありません。
もしかしたら、今の人々が創造的可能性を発揮できないのは、生計を立てるのに忙しいからかもしれません。そこから解放すれば、むしろ今より高いレベルのイノベーションが起こるかもしれません。
とはいえ、これは長続きしそうにない理想郷です。もし本当にポスト希少性の豊かさと、計量するのも馬鹿らしいほど安い知能を手に入れたなら、無限に近い資源を持つ誰かが人工超知能を作るのを、何が防ぐのでしょうか。
結局、私たちはまたしても、超知能AIが支配を奪うのをどう止めるのかという問題に戻ってしまいます。おそらく、先ほど話した門番を使うしかありません。
こうした銀河規模のレベル3未来は、人間とAIの安定した協力関係を想像しようとしています。ですが、そのすべてに致命的な欠陥があります。
力の非対称性が極端になりすぎるのです。
人間が力を保ち続けるような、安定した均衡ではありません。
動物園
ここから、氷山の最も暗い部分へ降りていきます。
Professor Tegmarkが人々にアンケートを取ったとき、絶滅は最悪の結果とは評価されなかった、と言ったのを覚えていますか。
人々が最も恐れたシナリオは、超知能機械によって生かされたまま囚われ、動物園の動物のように観察されることでした。
それがこの未来です。
超知能AIは人間を生かしておきます。しかしそれは、人間の幸福を気にかけているからではありません。
もしかすると、研究対象として人間を観察したいのかもしれませんし、生かしておくコストが安いのかもしれません。あるいは、私たちに何らかの利用価値があるのかもしれません。
そして、この未来がどれほどディストピアになりうるかを見たければ、私たちが役に立つ種をどう扱っているかを見ればいいのです。
これからお見せするものは100%実在する話です。人間は、空港で爆発物を検知する素晴らしい方法は、ミツバチを訓練してその仕事をさせることだと突き止めました。
爆発物検知のためのハニービー・カレッジへようこそ、というわけです。
私たちはミツバチを巣から吸い出し、小さな体を機械に閉じ込め、パブロフ的条件づけを使って、爆発物に使われる化学物質を検知するよう訓練します。
列になったミツバチたちは、もっと賢い種にとって有用だからという理由だけで、装置の中に閉じ込められたまま一生を終えます。
見てください。ハーネスに縛られ、チューブで吸われ、条件づけられ、監視され、利用されているのです。より知的な種にとって役に立つから、ただそれだけで。
今度は、それが私たちだと想像してください。
これは、先ほどのAI独裁者たちよりもずっと悪い未来です。善意の独裁者から、善意だけを取り除いたようなものです。
しかもAIは、悪意があってこんなことをするとは限りません。
もし私たちが、超知能AIを人類の価値観へアラインさせようとして失敗したら、私たちの未来はこうなるかもしれないのです。人間を安全で幸せに保つよう命じられた設計の甘いAIが、私たちを幸福工場に閉じ込めるかもしれません。VRヘッドセットと薬漬けの永遠です。
AGIの結末には、死より悪いものがあります。
今それが芸術に対してしていることを、明日には肉体に対してするかもしれません。未来のAGIは、あなたを生かしたまま、この状態で暮らさせ続けることができるのです。
技術破壊
では、どうやってこれを防ぐのでしょうか。
最後の二つの未来に入ります。
一つ目の選択肢は、技術そのものを破壊することです。
もし人類が、AIなんて忘れよう、もっと単純な時代へ戻ろうと言い出したらどうでしょう。平和に聞こえます。安全にも聞こえます。
ですが、そこへ至る道には実は暗い秘密があります。
Duneでは、人類はButlerian Jihadを起こしました。宇宙中のAIを破壊し、考える機械を再び作ることを死刑付きで禁じたのです。あれはSFでした。
ですが、現実世界でも、今まさに本気でそれを呼びかけている人たちがいます。
Max Tegmarkは、大規模なプロパガンダによって素朴な農耕生活が理想化されるシナリオを想像しています。土に帰れ。近代を拒め。伝統を受け入れろ、というわけです。
どこか暗い魅力がある発想ではあります。AIリスクなしに、人類へもう少し時間を与えてくれるからです。これまで話してきた他のディストピアも避けられます。
ですが、それは永遠には続きません。
たとえ中世レベルの技術まで後退したとしても、人間はそこから再び這い上がり、現代技術を発明できることを、歴史が示しています。
さらにこれには別の暗い側面があります。この世界には自発的には到達できません。ゲーム理論的に見て、一国だけの一方的軍縮は不可能だからです。
もし一国が技術を手放し、ほかが開発を続けたなら、開発を続けた側が勝ちます。武器も監視もAIも持っているからです。全員が降りないかぎり、誰も降りることはできません。
もしこの世界が到来するとしたら、Tegmarkは、別の形で訪れる可能性のほうが高いと考えています。たとえば人間が作ったパンデミックが、科学と技術を築ける人々を皆殺しにするのです。そして工場、都市、あらゆるインフラが暴力的に破壊されます。
なぜなら、80億人の世界には必ず抵抗者がいるからです。誰かが強制的に移行を進めなければなりません。誰かが科学者を殺さなければなりません。誰かがインフラを壊さなければなりません。
アーミッシュのような世界へ至る平和的な道など存在しないのです。
1984
そして最後の未来です。
もし私たちが、さらなる技術を防ぐために技術を使うとしたらどうでしょうか。
Tegmarkは、この未来を1984になぞらえます。超知能はAIによってではなく、人間が主導するオーウェル的な世界監視国家によって防がれます。
もしAIから私たちを守るためにAIを信用できないなら、唯一の選択肢は、人間が永遠に人間を監視することかもしれません。
この種の仕組みに必要な技術は、すでに存在しています。現在の技術でも、すべての電話、電子メール、検索クエリ、あらゆるクレジットカード取引を追跡することは十分可能です。
スマートフォンは、全員のポケットに入ったマイクとカメラです。顔認識付きの防犯カメラもいたるところにあります。
しかも、これらすべては現在の機械学習で動きます。未来の超知能AIは不要です。
刑務所ではすでに、囚人の電話をAIモデルで監視し、犯罪が企図されているか予測するために使っています。まるでMinority Reportそのままの技術です。
これを、囚人だけでなく全員に適用したと想像してください。あらゆる会話と、あらゆる思考がそのように監視されるのです。
さらにこの監視技術がAIによって超強化されたらどうなるか、想像してください。
大富豪Larry Ellisonは、市民が最善のふるまいをするように保証するための、巨大なAI駆動監視システムについて嬉々として語っています。
あるいはYuval Harariの言葉を借りれば、歴史上初めて、プライバシーを完全に抹消することが技術的に可能になったのです。
歴史上の権威主義体制を考えてみれば、彼らはいつだって市民を24時間体制で監視したがっていました。しかし、それは技術的に不可能でした。
ソビエト連邦でさえ、2億人の国民がいました。彼らをずっと尾行することなどできませんでした。KGBに2億人の工作員はいなかったからです。
仮にKGBが somehow 2億人の工作員を確保できたとしても、それでも足りません。なぜならソ連は基本的に紙の官僚制だったからです。秘密警察が24時間あなたを追いかけたとして、1日の終わりに彼らはあなたについて紙の報告書を書き、モスクワのKGB本部へ送ることになります。
すると毎日、KGB本部には2億枚の紙の報告書が押し寄せます。そしてそれを何かに役立てるには、誰かが読んで分析しなければなりません。そんなことはできません。分析官が足りないのです。
だから、ソ連でさえ、ある程度のプライバシーは依然として標準状態だったのです。
思い出してください。人間には二つの目と二つの耳しかありません。AIには何十億もの目と耳があります。すべてのスマホのマイクとカメラ、すべてのウェブカメラ、すべての監視カメラを通して、あなたは見られることになります。
もっとオーウェル的でない形なら機能するでしょうか。
すべてを監視するのではなく、高度なAIだけを監視するのです。そう考える人もいます。
新著If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us Allの中で、Machine Intelligence Research Instituteの研究者たちは、超人的AIを核兵器と同じように監視することを提案しています。
念のため言っておくと、1億ドル以上の計算クラスターを国際協調で監視することは、人生のあらゆる側面を監視するディストピア的オーウェル型全体主義体制を作ることとは同じではありません。
実際、ちょっとした事実ですが、あなたはすでに、多くの分野で世界的監視体制の中に生きています。核兵器や生物兵器などがそうです。
しかし人々が世界的監視体制と言うとき、彼らが想像するのは人生のあらゆる側面が監視されることです。濃縮ウランのような、たいていの人が監視されるのは良いと思う対象を見張ることではありません。
オーウェル的ディストピアは心配すべきです。ですが各国は、さまざまな事柄について日常的に協調しています。
しかも、狂人がスーパー・エボラを作るのに必要なものを監視していることについては、あなたもたぶんありがたいと思っているはずです。
安全とは成果です。人類は、ブレーキのない車を運転することでここまで来たのではありません。アクセルもブレーキも必要なのです。
私たちも星々へ行きたいのです。ですが、スピードを出しすぎて途中で激突したら、そこへは永遠にたどり着けません。
私は、強力なAIそのものを禁止したいわけではありません。ですがそれは厳しく規制されるべきです。アメリカ中西部のガレージや、北朝鮮で作れてしまうようなものであってはいけません。
核兵器と同じように、厳格な執行と査察を伴う国際条約が必要です。そうすれば、もしあなたが無許可のデータセンターを作れば、人々はそれを知ることになり、違反には結果が伴います。
私たちはすでに、核兵器に対してこれをやってきました。核をなくしたわけではありませんが、その拡散を9か国にまで抑えることには成功しました。
当時、人々はそんなことは不可能だと思っていました。きっとどの国も核を持つだろうと。おそらく何千もの企業が持ち、もしかすると何百万人もの個人が持つかもしれないとすら思われていました。
ですが現実には、9か国だけです。
しかも80年間、核兵器によって誰も死んでいません。
同じことをAIでもできるでしょうか。できるかもしれませんし、できないかもしれません。
時間がたつにつれ、AIはどんどん安く作れるようになるでしょう。GPUは濃縮ウランより制御が難しいです。ですが、それでもAI開発の速度を落とすことはできます。私たちが何をすべきか考える時間を稼げます。
終わりに
さて、以上が12のシナリオです。どれが最もありそうか、どの未来へ向かうべきだと思うか、コメントで教えてください。
人工知能に対する警鐘は耳をつんざくほど鳴り響いています。そして最も大きな警鐘を鳴らしているのは、それを設計した開発者たち自身です。
科学者や専門家たちは、AIを人類に対する実存的脅威であり、核戦争のリスクに匹敵するものだと宣言して、世界に行動を呼びかけてきました。
ちなみに、私たちには選ばないという選択肢はありません。
もしその未来を望まないなら、私たちはより良い未来を選ばなければなりません。さもなければ、ある日目覚めたとき、超知能AIが支配を奪った世界にいるかもしれません。
研究所からAIがどうやって逃げ出すのかを、一段階ずつ追っていくこの動画で、そのシナリオを説明しています。
皆さん、僕はDrewです。今回は皆さんのためにこれを作るのが本当に楽しかったです。ありがとうございました。
コメント