AIが少人数に静かにすべてを決めさせる未来

本動画は、AIがごく少数の人々に極端な権力集中をもたらしうる経路を、多面的に検討する対談である。軍事クーデターのような露骨な権力掌握だけでなく、経済的な格差拡大、民主主義の空洞化、情報環境の悪化、そして社会全体の状況把握能力の低下が組み合わさることで、表向きは制度が残っていても実質的には少数の主体が世界の重要決定を左右する未来がありうると論じている。さらに、そのような未来を防ぐには、単に既存の制度に期待するだけでは不十分であり、AI時代に合わせた新たなチェック・アンド・バランスや、社会の認識能力を支える仕組みが必要だと指摘している。

How AI could let a few people quietly call all the shots

The most important political question in the age of advanced AI might not be who wins elections. It might be whether ele...

www.youtube.com

AIが極端な権力集中をもたらすのか

今日はRose Hadsharさんにお話を伺います。RoseはForethoughtの研究者で、最近80,000 Hoursのウェブサイトに、AIがいかにして極端な権力集中を可能にしうるかを、さまざまな形で整理した記事を寄稿しました。

ひとつのシナリオでは、あるAI企業の経営陣がアメリカを、やがては世界を支配するようになります。その企業のAIが知能爆発によって他を圧倒するほど高度になってしまうからです。

私は、AIが権力を少数の手に集中させることについてかなり不安を感じています。ただ、こういう物語を細部まで語ると、どうしても少しSFじみて聞こえてしまうところがあります。本来なら、こんな事態を防ぐチェック・アンド・バランスがあるはずではないのか。本当にこうした話を信じるには、知能爆発がどれほど速く、どれほど激しいものになるかについて、かなり極端な前提を置かなければならないのではないか。

全体として、私はこの問題をどう受け止めるべきか、まだかなり迷っています。だから今日はRoseにしっかり踏み込んで答えを求めたいですし、自分なりの結論も少し明確にしたいと思っています。今日は出演してくださって本当にありがとうございます。

お招きいただきありがとうございます。こちらこそお話しできてうれしいです。

では早速、極端な権力集中が実際にどう起こりうるのか、いくつかの経路について話していきましょう。

以前、この番組にはあなたの同僚であるTom Davidsonが出演してくれました。彼はRob Wiblinと一緒に、AIを使った権力掌握についてかなり深く掘り下げていて、特にAIを使う主体による軍事クーデターや、AI能力を使って自前の軍隊を作り、支配権を握るような話をしていました。

AIが人間による権力掌握をどう助けうるかを考え始めると、こうした能動的な権力奪取の話が、いちばん分かりやすい脅威に感じられると思います。でもRose、あなたは、こうした権力掌握の物語だけに注目していると、権力が深刻に集中しうる他の重要な経路を見落としたり、十分に対処できなかったりするのではないかと考えているようですね。

まず、そのほかにどんな力学に注目すべきなのか、教えてもらえますか。

軍事的クーデターだけではない、経済と認識の力学

はい、もちろんです。私は軍事的な権力奪取型のシナリオを強く懸念していますが、それと同時に、もっと雑多で連続的な力学、つまり今の世界とより連続しているような力学も、実際にどれほど権力が集中するかを決めるうえで非常に重要になると予想しています。

そのひとつは、単純に経済要因、つまり富です。AIは一部の人々をものすごく裕福にするでしょう。ひとりの人物や一社だけとは限らず、ある産業全体かもしれませんが、それでも富の分配を大きく作り変えるはずです。

そして今の世界を見ても、富は別の種類の権力を獲得するために使えます。だから、最終的に誰が頂点に立つのか、そしてそれがどれほど極端なものになるのかを左右する重要な要因のひとつになると思っています。

もうひとつ、ここで非常に重要だと思っているのが認識能力、つまりepistemicsです。これは、何が起きているのかを理解し、周囲の世界を意味づけする私たちの能力のことです。

冒頭であなたが言っていた、チェック・アンド・バランスの話はまさにその通りだと思います。誰も極端な権力集中なんて望んでいないのだから、最終的にはみんなで協調して止めるはずではないか、という発想ですね。

私にとって大きな不安は、社会全体の、いったい何が起きているのかを理解する能力そのものが損なわれるかもしれないという点です。それは、技術変化のスピードがあまりに速くなって、何が起きているのか把握するのが非常に難しくなる、といった構造的要因かもしれません。あるいは、権力を持つ側が意図的に状況を曖昧にし、混乱や気晴らしを作り出し、私たちが世界を理解するために使っている道具そのものを弱体化させる、という能動的な妨害かもしれません。

こうした理由から、権力集中がどう展開するかを考えるうえで、経済と認識能力の両方が大きな役割を果たすと見ています。

私は、権力がひとつの経路だけで集中するというより、これらが組み合わさったときに事態が一気に危険になると考えています。そこには権力奪取も含まれるかもしれませんし、異なる組織や異なる時期に複数回の権力奪取が起こるかもしれません。でも、認識能力がどう変化するか、そしてお金がどこへ流れるかも、この問題において非常に大きいはずです。

そして私がいちばん心配しているのは、こうした力学の一部、あるいは全部が同時に進行するシナリオです。

そうすると、少なくとも三種類の懸念すべき力学があるようですね。ひとつは能動的な権力奪取。ひとつは富の分配やその他の経済的要因。そしてもうひとつが、あなたの言うepistemics、つまり私たちが物事を理解し、次に何が起こるかを予測し、適切に反応する能力です。

しかも、これらは複雑に相互作用していて、権力が極端に集中する世界では、ある程度その全部が同時に起きている可能性が高い、ということですね。

より具体的に理解するために、これらの力学がいくつか組み合わさって、本当に極端な権力集中へとつながる物語をひとつ描いてもらえると助かります。

AI企業と国家が優位に立つ世界の物語

はい、やってみます。

私が懸念しているタイプの、ひとつの例示的シナリオとしては、AIの進歩がどんどん加速していく状況があります。その結果、一部の主体、たとえばAI企業、チップ供給網の企業、それらの企業を抱える政府などが、自分たちのAIがより優秀になるにつれて、他の誰よりもはるかに高い能力を持つようになります。

この話を考えるうえで役に立つイメージは、AIシステムを人間の労働者に相当するものとして捉えることです。核発電所づくりが上手になる、みたいな話ではありません。むしろ、AIシステムは、24時間365日働く非常に効率的な人間労働者に近いのです。

つまり、ある企業は数百万、数千万、あるいは数億人規模の労働力を実質的に抱えるようになります。一方で、そうしたAIシステムにアクセスできない企業は、今までと同じままです。

すると、かなり短期間のうちに、他よりはるかに能力の高い組織が生まれます。そうした組織は、状況をずっと深く分析でき、起きている変化をよりよく理解し、よりよい戦略的判断を下せるようになります。

そうしたAI強化組織同士は互いに競争しています。民間企業もあれば国家もあります。そして今もそうであるように、彼らは優位を得ようとしています。私は、それが今後も続くと考えていて、その際に彼らはAIシステムを活用して優位を取りにいくはずです。

ここで私が中心的に想定しているのは、ロボット軍を作ることではありません。むしろ、相手に不利な世論を形成すること、他の主体と戦略的な取引を結ぶこと、つまり相手の欲しいものを与える代わりに自分たちの計画を進めさせてもらうこと、そういった、よりソフトな権力行使です。

そこから先、いくつかの展開が考えられます。

ひとつは、より優れたAIを持つ組織がその優位を利用して世界で起きることへの支配力を強めていくにつれて、組織の数そのものが少数へと集中していくことです。少なくとも、これから最重要の問いとなる領域、つまりどんなAIシステムが作られるのか、どう展開されるのか、利益へのアクセスは誰が持つのか、といった問題について、事実上の支配権を持つようになります。

もうひとつは、組織の内部でも同じような力学が起きることです。巨大なAI労働力を、非常に少数の人間が統制できてしまうかもしれません。大量解雇が起き、人間の従業員が、会社のトップにいるごく少数の人間に強く忠実なAIシステムに置き換えられるかもしれません。

あるいは社内の権力闘争の結果、特定の派閥が他の派閥に対して権力を握るかもしれません。そうなると、組織の内部でも権力集中が進む可能性があります。

ここには幅があります。どこまで進むのかはさまざまです。より露骨な権力奪取があるシナリオ、つまり組織内部で権力掌握が起き、かつ先行するAI強化組織と他との能力差が大きいシナリオでは、世界の重要な政治的意思決定を、事実上ほんの数人が支配する世界になるかもしれません。

そこまで極端ではないシナリオでは、かなり広い範囲の組織が新しい支配層となり、民主的選挙は、次に何が起こるかを決めるうえで、もはやあまり重要ではなくなるかもしれません。

権力が集中した後の世界はどう見えるのか

ここで聞きたいのは、その一連の過程を経て、本当に少人数の人々が大きな戦略的意思決定を左右するようになったとき、その世界はどんな姿になるのか、ということです。

彼らが権力掌握を積極的に仕掛けて意思決定の席を奪ったのか、あるいはそこまでではなくても、意思決定に非常に強い影響力を持つほど権力を蓄積したのか。その違いはあるにせよ、世界としてはどうなるのでしょうか。

私が想像していることのひとつは、その世界では大多数の人が、基本的に政治的に無力化されているということです。

選挙はまだあるかもしれませんし、今あるような政府の形も残っているかもしれません。でも、それらが実際にはそれほど重要ではなくなっているだろうと思います。

今の世界でも、たとえばロシアのように選挙はあるけれど、それが民主的統治を意味していない国があります。ですから、一般市民がほとんど政治的発言権を持たない世界を私はかなり心配しています。そしてそれには、いくつかの理由で懸念があります。

ひとつは暴政です。背景や価値観がきわめて似通った少人数の集団が意思決定を行い、その決定が大多数の人の利益にならない、ということです。これは抑圧につながるかもしれませんし、権力乱用にもつながりえます。

たとえそこまでいかなくても、たとえば啓蒙的な福祉国家のようなものができ、人々が給付金で暮らして物質的には豊かだとしても、それでも本来ありえたはずの未来よりかなり悪い未来になると思います。本来なら、きちんとした代表制と、どう進むべきかを決めるための良い熟議のプロセスがあったはずだからです。

さらにもっと極端な懸念もあります。すべての人間労働が自動化された世界で、人々は飢えるのではないかと心配する人もいます。もう賃金を得る能力がなくなるからです。

そして今の世界を見ても、豊かな国々は、貧しい国々の人々が飢え死にするのを平然と放置しています。本来なら、それを防ぐ費用は比較的わずかで済むのにです。

ですから、権力が少数の企業や少数の国々に集中したとき、AIが人々の生計手段を置き換えることで、大量飢餓が起きるのではないか。これは十分に真剣に心配すべきことだと思います。

それは本当に、これまでよりはるかに悪いのか

ええ、かなり暗いし、かなり極端にも聞こえます。

ここで私が混乱し始めるのは、あなたが描いている力学のいくつかは、すでにかなり馴染みのあるものだという点です。今の世界でも、大企業はかなり強い政治的影響力を持っていますし、その政治的影響力や富が、世論操作能力の強化などにつながることもあります。誤情報や汚染された情報環境の問題も、すでに存在しています。

過去の自動化の波でも、富や権力が一部の人々、小規模な集団へ集中したことがありました。たとえば産業革命では、工業化によって富は工場主など、その時代の経済にとって重要な人々へより多く流れたわけです。

だから、こうした現象はどれも、すでに見たことがあるものとそれほど遠くないように感じます。しかも現在のAIもかなり有能に見えますが、そこまで世界をひっくり返してはいません。どの次元を見ても、以前より明らかにひどいとは言い切れない気がします。

そう考えると、なぜ将来のAIでは、これまでや現在のAIよりもずっと極端な効果が出ると考えるのか、不思議に思います。

まず、その点については完全に同意します。これが実現すれば、過去に見たどんなものよりもずっと極端です。ですから、明らかに、これまでとは非常に違うことが起きるという予測なのです。

また、もし現在のAIシステムがこれ以上まったく進歩せず、この能力水準のまま永遠に止まると分かっているなら、私は極端な権力集中についてそれほど強くは心配しません。中程度の権力集中については心配すると思います。現時点でもすでに大きな影響力を持つ企業はありますが、それは歴史上見てきた範囲の延長線上であって、前例のないものではないと考えるでしょう。

AIがなぜ違うのか。その核心は、AIが最終的には人間の仕事の大半、あるいは全部を自動化できるようになると私は予想している点にあります。これまでのどんな技術も、そこまではできませんでした。

ここで重要なのは、平均的な人間ひとりひとりの交渉力が大幅に低下することです。今は、人間は誰もが労働を売ることができます。もちろん投獄されることはありますが、それでも労働力は本質的に没収できない価値ある資産です。

私が想像しているのは、経済的に価値あることのほぼすべてが、AIシステムだけで、人間を介さずに実行できる未来です。そして、ここから権力が非常に集中するのではないかという発想が生まれます。なぜなら、大多数の人々は、もはや自分の側の交渉材料として差し出せる価値を持たなくなるかもしれないからです。

少し具体的に言うと、AIの重要な特徴のひとつは、ごく少人数の人間が、多数の他者の協力なしに、膨大な量の仕事をAIで実行できるかもしれないということです。

今は、クーデターを起こすにせよ、Amazonを運営するにせよ、他国に侵攻するにせよ、自分に協力してくれる大勢の人間が必要です。それが、どれほど狂った計画を実行できるかに自然な上限を与えています。

私は、その上限が消えていくと予想しています。つまり、ごく少人数の個人が、多くの人から見れば極めて忌まわしいことでも、AIシステムを使えばきわめて成功裏に実行できるようになるかもしれない。しかも、そのAIは、その少人数の利益に従うようにプログラムされているのです。

AIは富をそのまま労働力に変える

もうひとつの見方をすると、AIが人間労働をすべて自動化するというのは、お金を労働に変えることを、今よりはるかに容易にするということです。その結果、富と権力の間のフィードバックループが、今よりずっと強くなる可能性があります。

今でも多少は見られます。でも人間労働について考えてみてください。あなたが大富豪で、もっと多くの人に何かをさせたいとしても、人間に任意の仕事をさせるのは難しいのです。人にはそれぞれ技能がありますし、やりたくない仕事もあります。適材適所に配置しなければなりませんし、それはかなり複雑です。

しかも、ある人数を超えると、人を効率よく協働させることは難しくなります。組織には自然と上限があり、それを超えると人を増やしても効率が落ちます。

さらに極端な話、経済全体で考えても、人間を新たに増やすのはとても遅い。ですから、お金を人間労働へ変換しようとすると、そこには自然な制約がいくつもあります。

AIにはその制約がありません。AIはどんな種類の仕事でもこなします。非常に汎用的で、あらゆる技能を備えたシステムもあるかもしれませんし、特化型システムになるかもしれません。でも、AI同士の協調は人間同士よりずっと容易になると私は予想しています。

つまり、抱えられる労働者数に上限がなくなり、はるかに大規模なAI労働力を効果的に協働させられるようになります。

そして本当に重要なのは、ボタンひとつでコピーを増やせることです。お金が増えれば、計算資源が増えれば、すぐに労働力を増やせる。もちろん計算資源の制約にぶつかれば速度は落ちるでしょう。でもそれでも、お金と実行能力の間のフィードバックは、現在の世界よりずっと速くなると思います。

なるほど。つまり要素としては、AIは経済的に価値あるほぼあらゆる仕事をこなせる。しかも前例のないほど大量に展開できる。それぞれが特定の技能に縛られず、さまざまな仕事ができる。人間のように育成に長い時間もかからない。そして時には、人間ならやりたがらないことまでやらせられる。

こうしたすべてが合わさって、より少ない人数で、はるかに多くのことができるようになる。ただ、そこで重要なのは、その追加の実行力を得るのが、社会全体ではなく、ごく少数の特定のエリート集団だということですね。

そうです。もし誰もがAIによって大幅に能力を高められるのなら、権力集中はそれほど心配しなくていいかもしれません。人類全体の能力が上がる話だと考えられるからです。

そうですね。万歳、という感じです。

ええ。でも実際には、特に裕福な人々のほうがはるかに良いAIへのアクセスを持ち、はるかに多くの計算資源を持ち、自分たちのお金をより効率的にAI労働へ変えられると私は予想しています。だから、少人数の集団のほうが、他の人々よりずっと大きくAIの力を受けるはずです。そしてそこに、今は存在しないほど大きな権力格差が生まれます。

もうひとつ、異なるAIシステムや異なるAI開発者の間には、少なくともそれなりに大きな能力差があるとも予想しています。もしAIがより良いAIを作り、そのAIがさらに良いAIを作るという大きな知能爆発が起きれば、その差は非常に大きくなるかもしれません。

そこまで大きな知能爆発がなくても、能力差や展開のタイムラグはかなり生じると見ています。つまり、比較的少数の主体だけが、他の誰よりもはるかに大きいAI労働力にアクセスできるようになる。そのこと自体が、私の懸念の大きな源です。

AIを使った権力掌握はどのように起こるか

ここまで、極端な権力集中に寄与するさまざまな要素を少しずつ見てきました。能動的な権力奪取、富の分配やその他の経済要因、そして世界で何が起きているかを理解する能力。この三つについて、もっと詳しく話したいです。

まずは、AIが成功した権力掌握のリスクをどう高めうるのか、簡単に見ていきましょう。この話題についてもっと知りたい方には、2025年初頭のTom Davidson回をぜひ聞いてほしいです。そこではもっと詳しく扱っています。Roseと私はここでは基本を少し押さえる形にします。

まず、AIを使った権力掌握の例として、どんなものが考えられるでしょうか。

もちろんです。

ひとつの例として、あるAI企業のCEOが、将来世代のAIシステムに秘密の忠誠心を埋め込むよう、AIに指示できてしまうケースがあります。

秘密の忠誠心というのは、他の人には検知されないまま、そのシステムが特定のCEOの利益に資するよう振る舞うということです。もしそれがうまくいけば、ある世代のシステムが次の世代を秘密裏に忠実にし、その次の世代もまた次を忠実にし、という連鎖が起きます。

これが権力掌握の観点で危険なのは、その企業が最終的に政府へシステムを提供するようになった場合です。特にその企業が能力面で大きく先行していれば、政府システムのほぼ唯一の供給者になる可能性があります。

すると、重要な軍事システムや政府システムが、政府の外にいるたったひとりの人物に秘密裏に忠実である、という状況になりえます。そうなれば、その人物は後になって秘密の忠誠心を発動させ、それらのシステムを掌握し、政府そのものを乗っ取るよう命令できてしまいます。

もっと露骨な形でなくても構いません。特定の命令を無視し、別の命令だけを聞くようシステムに仕込んでおけば、わざわざラジオ局を占拠するようなことをしなくてもよいかもしれません。こうしたシナリオにはいろいろな幅があります。

もうひとつ、バリエーションの広がりを示す例を挙げると、国家元首が政府や軍にAIシステムを導入し、そのシステムを憲法や法律に従うようにではなく、その国家元首個人に明示的に忠誠を誓うよう訓練させるケースもあります。

その場合、もし後になって国家元首が次の選挙を中止し、自分を終身独裁者だと宣言したいと思えば、それが可能になります。政府職員の大きな割合が、その人物個人に忠誠を誓うようプログラムされ、本人のためなら違法行為もいとわないからです。

なぜそんなことを止められないのか

こうした話を聞くとすぐに浮かぶ反応は、どうしてそれを止められないのか、というものです。こうした事態を防ぐために設計された制度や機関は、なぜ失敗してしまうのでしょうか。

最初の秘密の忠誠心のシナリオでは、それが十分に早く発見されない、うまく隠される、あるいは本質的に見つけるのが難しいから、不意を突かれるということだと思います。

では二つ目の、国家元首が絡むシナリオでは、なぜその人は止められないのでしょうか。

ここには、こうしたシナリオの実現可能性を高めるいくつかの要素があると思います。

ひとつは、こうした権力志向の動きを止める側に回るはずの政府職員、最高裁関係者などが、AIシステムに置き換えられてしまって、もはや対抗できなくなることです。AIシステムには内部告発の仕組みがきちんとないかもしれず、その種の問題に関する透明性全体が下がるかもしれません。これはひとつの懸念です。

もうひとつは、AIが原因かどうかは別として、すでに制度的な後退が始まっている可能性です。ですから、この問題は、考えている国の制度がどれだけ強いか、そしてその制度がすでに侵食されているかどうかに大きく依存します。

軍は本当にそんなに速くAI化されるのか

ここで私の頭に浮かぶのは、こうした物語では、かなり重要な要素として軍が関わっているように見えるという点です。軍事クーデターであれ、法の支配を強制するために軍の力が必要であれ、結局のところ軍が重要です。

その場合に想定されているのは、こうしたAIシステムが軍にかなり速く統合され、止めたい人たちが状況に気づけなかったり、十分な審査を行えなかったりするほどの速度で進む、ということですよね。

でも、それは軍における通常の技術導入の流れに反しているように思えます。私の理解では、こうしたことは信じられないほど遅いこともあります。既存の軍需供給業者は、置き換えられたくないはずですし、調達プロセスも退屈なくらい遅いことがあります。さらに、人々がよく分からない技術に対して心理的抵抗を示すこともあります。

こうした点を踏まえると、AIの軍事化に関して、何か非常に違うことが起きると想定しているのでしょうか。なぜ今回はもっと速く進むと考えるべきなのでしょうか。

とても良い質問です。確かに調達が非常に遅いことはあります。ただ、かなり速かった例もあります。マンハッタン計画は4年か5年ほどでした。そこで起きていたことの一部は、軍事的必要性と、ナチスより先に爆弾を開発しなければならないという、ある種の実存的競争感覚でした。

冷戦であれ熱戦であれ、AIの軍への導入は競争圧力によって動かされると私は予想しています。

これが必ずしも非常に速いという意味ではありません。もし中国が軍へのAI導入をゆっくり進めるなら、アメリカもゆっくり進めるかもしれません。ただ、あなたが指摘した文化的要因、つまり新しい技術への恐れや官僚制の遅さは、私を安心させるより、むしろ不安にさせます。

というのも、本当に問題なのは、適切な審査の文化が最初からしっかり根づいていないことだからです。私が心配しているのは、ずっと遅く進んでいたものが、ある時点から突然すごく速くなることです。もし最初から最後まで中程度のペースで進むなら、私は今より安心できます。

もうひとつ重要なのは、鍵になるのは軍への導入速度そのものではなく、十分に慎重に導入されるかどうかだということです。もちろん速ければ慎重さを保つのは難しくなりますが、それ以外にも慎重さを妨げる要因はあります。

たとえば、あるAI提供者が圧倒的な能力優位を持っている場合です。ひとつの提供者だけが大きな優位を持っているなら、軍がそれを適切に審査するのは難しくなるでしょう。なぜなら、そのシステムを審査できるほど強力なのは、そのシステム自身だけ、という状況になりかねないからです。しかもそれは明らかに偏っています。

ですから、時間が十分にあって善意があったとしても、軍は安全な調達を適切に行えない難しい状況に置かれるかもしれません。

さらに言えば、こうしたシナリオが実現するのに、軍全体を自動化する必要はありません。人間の兵士を全員なくす必要もないのです。歴史的に見ても、クーデターはごく少数の兵士で成功することがあります。

そこで重要なのは、情報環境を掌握して、誰もがその側が勝ったと信じるようにすることです。実際、ひとつの大隊が国を掌握し、他の軍が、もうあちらが勝ったのだろう、と判断してしまうようなことがあります。

同じことが起こりえます。軍のごく一部だけがAI駆動のドローンなどで自動化されていても、十分な情報環境の支配があれば、その状況は避けられないものだという感覚を作り出し、小集団が政府の残りをクーデターで掌握することができるかもしれません。

認識能力の劣化が果たす役割

なるほど。そうすると、この物語では、あなたがepistemicな要因と呼ぶものが、かなり大きな役割を果たしていることになりますね。

その通りです。

ただ重要なのは、私とTomでは、権力掌握がどれほど中心的かについて見解が違うとはいえ、Tomがepistemicsや経済要因を無視しているわけではないということです。彼もそれらが重要だとは思っていますし、彼の元々の発想の一部でもあります。

私は、Tomが予想している以上に、それらの要因が限界的に重要だと思っている、という違いです。

とても興味深いですね。この話題にはまだまだ言うべきことがたくさんありますが、Tom Davidson回がすでにあるので、そちらで詳しく知ることができますし、本当におすすめです。

ここからは、AIが権力を極端に集中させうる他の経路について、もっと詳しく考えていきましょう。

暴力なしでも少数が世界を左右する経済シナリオ

あなたは、ある一つの集団、あるいは複数の小集団が、軍事でもなく、暴力でもなく、普通なら権力掌握と呼ばないような手段を通じて、世界の重要な意思決定を支配するようになるかもしれないと考えています。彼らは他の人々よりはるかに豊かであったり、経済の中ではるかに大きな役割を果たしていたりすることで、そこに到達するということですね。

それはどんな形を取りうるのでしょうか。

ここでの大まかな懸念は、すでに少し触れたものですが、自動化によって人間の労働が価値を失い、大多数の人々が経済的に無力化されることです。その結果、資本に対するリターンが莫大になります。これが、ここで考えているあらゆるシナリオの基本的な発生源です。

具体的には、いくつかの形があります。

ひとつは、他の人たちが知能の呪いと呼んでいるものです。これは、政府が市民を代表しようとするインセンティブが徐々に失われていくという考えです。政府歳入のより大きな割合が市民からの課税ではなく、AI部門そのものから直接入ってくるようになるからです。

これは、現在見られる資源の呪いに少し似ています。たとえば石油やダイヤモンドから収入の大半を得ている国家は、しばしば国民に対して非常に搾取的になります。彼らは市民の経済的生産性に依存しておらず、非常に狭い資源産業に依存しているのです。

別のシナリオとして、同僚のTomが世界を追い越すと呼んでいるものがあります。これは、一社あるいは一国が経済的にあまりに速く成長し、時間とともに世界経済を支配するようになるという考えです。世界の生産の99パーセントがその国や企業で行われるようになるかもしれません。

これはかなり大きな知能爆発と、ほかにもいくつかの条件を必要とすると思いますが、そういうシナリオもあります。

さらにもうひとつ、少し示唆的な例を挙げるなら、宇宙における先行者利益です。もし最初に宇宙資源を掌握した者が、それを無期限に保持できるなら、最初に宇宙植民に乗り出した企業や国家が、事実上、太陽系、あるいは銀河、あるいは宇宙の大半に対する権力を持つかもしれません。

こうしたものには推測的な程度の差がありますが、経済要因が極端な権力集中につながる道筋はいくつもありうるのです。

なぜ再分配で解決しないのか

私の最初の反応は、なぜ政府が富の再分配に乗り出さないのか、ということです。

あなたが言うような、速い知能爆発が起きる世界では、AIが急速に圧倒的に有能で生産的になり、財や富が過剰に生み出されるように見えます。だったら、その余剰をみんなで分け合おうという取り組みが起きると期待してもよさそうです。

その点はもっともです。全体として、私は再分配への試みは起こると予想しています。極端な事態が起きても、誰ひとり税制を変えようと言わない、とは思っていません。ですから、何らかの再分配の試みは当然起きるでしょう。

ただ、それで自動的に問題が解決するとは思わない理由がいくつかあります。

まず、最良の形の再分配がデフォルトで起こるとは思っていません。先ほども言いましたが、今の国際的な富の再分配を見ると、富裕国から貧困国へ流れる富の割合は驚くほど小さいです。

ですから、豊かな国内部ではうまく再分配が行われても、貧しい国々では人々が飢え死にしてしまう、といった未来がありえます。多くの人にとって、それはひどい未来でしょう。

もうひとつの理由は、私が人々に持っていてほしい権力は、物質的な富だけではないということです。もし人々が国家の気まぐれで与えられる給付に頼って生きるなら、それは、人々が自分の労働という交渉力の源泉を持っている状態より、ずっと脆弱に感じられます。

労働があれば、最終的にはストライキができます。供給を止めることができます。政府に対して一定の力を持てます。ゼネストだって可能です。

でも、人々が給付で生き、政府が彼らの税収にまったく依存していないのなら、私は権力乱用や政治権力の浸食、そして暴政をより強く懸念するようになります。

ですから、再分配が行われたとしても、その政治的帰結についてはなお心配です。

もちろん、再分配がまったく行われない可能性も多少はあります。非常に有能で、しかも悪意あるAI企業に政府があっという間に取り込まれてしまう世界では、そういうこともありえます。ただ、それが私の中心的な予想ではありません。デフォルトでは、ある程度の再分配はあると思っています。

民主主義は本当に空洞化するのか

分かりました。つまり、そこまで極端な世界にならなくても、物質的な困窮や飢餓は非常に悪い結果ですし、たとえそこまでいかなくても、人々が政治的な交渉力を失うことも、理想からはほど遠い世界だということですね。

ただ、その後者については、富や経済的重要性が、どう政治的影響力につながるのかに少し混乱があります。

現在の世界でも、世界で最も裕福な人々ですら、重大な政治判断を文字通り自分だけで決めたり、政策を好きなように変えたり、世界を支配したりはできません。そういう世界でなくても十分に悪いことは起きえますが、あなたが想定している最悪級のシナリオでは、結局のところ民主主義が崩壊しなければならないのでしょうか。

精神としてはその通りだと思います。ただし、形の上では必ずしもそうとは限りません。政府は今と同じ名前のまま残るかもしれませんし、選挙も続くかもしれません。

私が懸念しているのは、そうしたものが、実際に下される決定の結果に対して、もはやほとんど意味を持たなくなることです。

ここで少し歴史的な例として、先ほど触れた資源の呪いを考えると分かりやすいかもしれません。国家収入のかなりの部分を単一の天然資源に依存している国は、しばしば民主的ではありません。

湾岸諸国では代表制はかなり弱く、権利の極めて限られた移民労働者という巨大な下層階級がいます。あるいは赤道ギニアのように、国家収入のほとんどが石油で、支配家族の私有財産のように国家が運営されている国もあります。

面白いのは、ノルウェーのように資源に恵まれていても民主主義に問題がない国もあることです。ですから、重要な問いは、AIが人間労働を自動化した後、現在の民主国家も資源の呪いに陥るのか、それとも歴史上の資源国家とは違って安全なのか、ということになります。

ノルウェーが資源の呪いに苦しまない理由のひとつとして、もともと強固な民主制度があったことが挙げられます。その制度が、巨額の石油収入の流入に耐えられたのです。

これは十分ありうる話ですし、民主国家について楽観できる理由でもあります。制度が十分に強靭なら、変化を管理できるかもしれません。

ただ、少し気がかりなのは、ノルウェーの石油依存度は、典型的な資源の呪い国家よりだいぶ低いことです。ノルウェーでは国家収入の3割ほどが石油ですが、湾岸諸国では7割近く、赤道ギニアでは9割くらいです。

つまり、制度の強さだけでなく、収入のどれだけを資源に依存しているか、その度合いが重要だという別の仮説も成り立ちます。そして私は、最終的にはすべての収入が何らかの形でAIシステム由来になる世界を想定しています。

それが必ず起こるとはもちろん言えませんが、心配するには十分な理由があると思います。

つまり、既存制度の強さだけでなく、依存度の問題でもあるかもしれない。特定産業への依存が大きくなるほど、民主的プロセスの崩壊や侵食のリスクも高まる、ということですね。

そうです。そしてここでの懸念のひとつは、その規模があまりに大きすぎて、私たちの制度が本当に持ちこたえると自信を持つのが難しいということです。

もうひとつ直感的に言うと、これは生産様式そのものの根本的変化の話です。常に人間労働を基盤としていた経済から、人間労働が無価値になる経済への移行です。これはあまりに大きな変化です。

人間労働に価値がある世界で機能してきた制度が、人間労働が価値を持たない世界でも同じように機能すると、強く確信するのは難しいと思います。

似た規模の経済変化は、過去にも権力集中に大きな影響を与えました。たとえば農業革命では、狩猟採集社会から土地に根差した農耕社会へ移ることで、富の蓄積や世代継承が可能になり、より階層的で、男女間の平等も少ない社会構造が生まれました。

つまり、大きな経済変化が社会の構造を大きく変えてきたのは事実です。だからこそ、人間労働が無価値になったとき、人間労働に価値があることを前提に機能してきた制度は、もう機能しないかもしれないのです。

人は経済的価値だけで政治的権利を持つのではないのでは

その点については理解できます。ただ、私がまだ少し懐疑的なのは、人が政治的発言権を持つ理由は、経済的重要性だけではないはずだ、というところです。

豊かな民主国家では、失業者や高齢者など、経済生産に直接寄与していない人も普通選挙の権利を持っています。彼らの利害も、大雑把には代表され、考慮されています。十分とは言えないにしても、少なくとも制度上はそうなっています。

つまり、私たちはすべての人間が、自分たちに関わることについて発言権を持つに値する存在だという、ある種の内在的価値観を置いてきたのではないでしょうか。それはここでも効いてくるのではありませんか。

その通りで、政治的権力が分配される理由には経済以外のものもあります。イデオロギーや、私たちが何を大事だと考えるかが、ここで大きく影響するのは確かです。

ただ、それが十分に頑健だとは感じません。理由はいくつかあります。

まず、現在の世界で民主国家に住む人は少数派です。普通選挙があり、すべての人間に投票権があるべきだと考えている人々は、世界全体では少数です。つまり、これは人類全体が当然の正義として共有している価値観とは言えません。

もうひとつの懸念は、AIが読まれるコンテンツの大部分を作るようになると、イデオロギーの変化が非常に速く、非常に奇妙なものになるかもしれないことです。人々が最終的に何を信じるかの分散が大きくなると思っています。

たとえば、人間には投票権など必要なく、むしろAIのほうが投票権に値すると、多くの人が信じるようになる可能性だってあります。ですから、この価値観が私たちを守ってくれると安心するのは危ういのです。

最後に、もしAI企業のCEOが世界を支配したとしても、その人が自分の価値観から、みんなに選挙権を与えるかもしれません。でも、そんな立場に自分たちを置いて試してみたいとは思いません。そこに至ってしまうこと自体が間違っているように思えます。ここでは、誰かがたまたまその価値観を大切にしている、以上の保護が必要です。

投票権は残っても、実質が空洞化する世界

なるほど。私がまだ抵抗感を覚えているのは、たとえばアメリカのような国で、ごく少数の人と、あとは主にAIだけが経済的に重要で、その他の人々は税収にもほとんど寄与していない、というような極端な状況を考えたときです。

そういう国で、明確な権力奪取が起きて、もはや民主主義ではない、というところまで行かない限り、単なる構造的変化だけで、人々が苦労して勝ち取ってきた政治的権利を手放すとは、とても思えません。

今まで政治的権利を持ってこなかった場所ならまだしも、長年の運動で参政権を勝ち取ってきた社会で、ただ構造的圧力があるという理由だけで、その権利を後退させるのは、あまりに受け入れがたいのではないでしょうか。

その反論はもっともですし、私もたとえばアメリカのような国で、投票権そのものが剥奪されるとはあまり思っていません。

ただ、私が想像しているのはもう少し違う種類の世界です。

選挙はあります。ただ、その候補者指名は、政党内のごく少数の人々によって決められ、そのプロセスがどんどん自動化されていきます。そしてそれを動かしているのは、大手テック企業が運営する、偏ったAIシステムです。結果として候補者は、大手テック企業のやっていることを是認する人たちになります。

一方で、候補者が有権者に提示するのは、ほとんど給付の改善案の違いだけです。誰も仕事を持っていません。すべては国家が何を支給するかの問題になります。いちばん良い物質的な施しを約束する候補が勝つのです。

人々は豊かになっているので、それでも満足して従うかもしれません。

しかし舞台裏では、少数のオリガルヒが、アメリカの外交政策をどうすべきか、何に投資すべきか、何に投資すべきでないかを決めています。情報環境を形作り、人々のイデオロギーや、何を善いと考えるかまでも形成しています。

たとえば、AIに権利を認めるべきかどうかについて、人々の見方はどうなるのか。それは偏ったシステムや、それらの企業に取り込まれた政治政策によって、どこまで形作られてしまうのか。

私が想像しているのは、そういう世界です。投票権があからさまに剥奪されるというより、その中身が抜け落ちていく世界ですね。

ええ、それならかなり分かりやすくなります。単に投票権の有無に注目するだけでは、人々がさまざまな程度で持ちうる権力の違いをうまく捉えられませんね。今の説明でだいぶ腑に落ちてきました。

価値観はゆっくり侵食されるかもしれない

もう少し具体性を与えてくれる考えとして、Anton Leichtのブログ記事を読みました。名前の発音は分からないのですが、そこでは、最初のうちは価値観がかなり持続し、人々を引き続き政治的に包摂しようとする関心も強く残るのではないか、という話がありました。

つまり、私たちの価値観はしばらく変わらないし、制度にも惰性があるから、最初の段階ではそれほど大きく変わらない。でも、自動化の初期段階から時間がたち、長いあいだAIがほとんどすべてをやるようになった世界を想像すると、なお意思決定権を持つ人々の中に、貧しい人々を気にかける価値観がそこまで深く根づいているかは分からない。

やがて将来の世代になれば、なぜ私たちはこの人たちの声を聞き続けなければならないのか、なぜ彼らに意味ある発言権を与えたり、資源を再分配したりし続ける必要があるのか、と考え始めるかもしれない。

こうしたゆっくりした侵食を思い描くと、今私たちが強く愛着を持っている価値観が後退していくことも、かなりありそうに思えてきます。このような、よりゆっくりしたシナリオについてはどう考えますか。

それも十分に懸念すべきだと思います。

そもそも、私たちが今本当にそうした価値観を持っているのか、という疑問もあります。現在もっとも豊かな国々の援助予算を見れば、彼らが貧しい人々をそれほど重視しているようには見えません。ですから、前提自体を疑うこともできます。

そのうえで、はい、政府が自国民の繁栄にインセンティブ上はもう結びついていない状況になれば、政府を率いる人々が、そのことを内在的に重要だと感じる結びつき自体を、やがて失っていくことは大きな懸念です。

さらに言えば、権力掌握が起きるなら、かなり悪い選抜効果も起こりえます。権力を握る人々は、もともとそうした価値観を持たない人である可能性が高くなるかもしれません。

もし権力追求が、共感性の低さやサディズムといった、より悪意ある特性と相関しているなら、最終的に意思決定を担う人々は、初めからあまり望ましく選抜されていないことになります。

近い将来はむしろ肉体労働者の方が強くなるかもしれない

なるほど、かなり納得感が出てきました。

ここで少し違うけれど関連する、かなり推測的な話に移りたいです。私たちが巨大な下層階級の形成を想像するとき、それはほとんどの人を含むものとして考えます。AIが世の中の仕事の大半を自動化するほど優秀になると想定しているからです。

でも私には、少なくとも近い将来には、消えていく仕事はホワイトカラー職に偏るかもしれない、というイメージがあります。つまり、リモートでできて、身体労働を必要とせず、人間関係の構築もあまり必要としない仕事です。

そうすると、かなりの期間にわたってブルーカラー職はあまり自動化されないかもしれない。だとすると近い将来には、労働者階級の方が、他の集団より相対的に強い立場になる可能性はあるのでしょうか。

はい、その発想は分かります。

私がここまで話してきたことは、いわば極限状態の話です。そこへどう到達するかは、現実にはもっとずっと乱雑でしょう。あなたの言う通り、一時的には人間労働の価値がむしろ高まる可能性があります。たとえば、手作業は自動化が難しく、人間には手があり、いろいろなことができるからです。

すると、今手作業をしている人々の賃金が大きく上がるだけでなく、知的労働の仕事が減ることで多くの人が手作業へ移る、ということもありえます。

これが全体像をどう変えるかは、良い問いです。

ひとつの楽観材料は、交渉力が完全に失われる前に、むしろ交渉力が高まる時期があるかもしれないということです。そうなら、その時間を使って制度を強化し、まともな対策を整えることができるかもしれません。

特に、認識能力の面で優れたAIシステムが先に出てきて、先を見通す助けをしてくれる世界では、この物語にはかなり期待しています。少し猶予ができるかもしれないからです。

こうした経済的力学がかなり長い時間をかけて進み、その途中でさまざまな段階を経るかもしれないという事実は、確かにその分、どう展開するかの不確実性を高めますし、今の時点から介入するのも少し難しくします。

それでも私は、これは人類がいずれ答えを出さなければならない大きな問いのひとつだと思っています。人間労働を基盤としない経済に、どう向き合うのか。その問いについて、今のうちから考えている人が一定数いる価値は大きいと思います。

そして、もっと穏やかな力学、つまり、一部の主体が短期的に他の主体よりはるかに豊かになるという現象は、十分に起こりうるし、それ自体が、私の懸念している他のリスクとの関係で追跡すべきだと思います。

情報を理解する力そのものが崩れるという懸念

ここで、あなたの記事でepistemic interferenceと呼んでいる力学について話したいです。これは、権力集中に寄与する他の要因よりも、あなた自身がより推測的だと認めているものですね。

要するに、AIが、私たちが周囲で何が起きているかを理解し、適切に対応する能力を侵食してしまう、という話です。公共の操作キャンペーンによってそうなるかもしれないし、単に世界の変化が速すぎるからかもしれない。

ただ、誤情報や世論操作の話は、もう聞き飽きるほど語られてきた気がします。情報が生まれて以来、情報の問題は常にありました。しかも、AIが本当にそれをそこまで悪化させているのかも、実はよく分かりません。

数年前の研究で、共著者の一人にHugo Mercierがいるものがありますが、その知見のひとつは、AIが広がってもなお、多くの人は信頼された主要メディアからニュースを得ており、一般には誤ったことを信じ込ませるのは思われているほど簡単ではない、というものでした。

こうしたことを踏まえると、なぜより高度なAIシステムによって、誤情報や世論操作の影響がそこまでひどくなると考えるべきなのか、やはり疑問があります。

まず第一に、問題が必ず悪化すると私は思っていません。あなたの言う通り、新しい技術が出るたびに人々はいつも同じ心配をします。そして実際、説得や誤情報の能力が増す一方で、情報処理能力やファクトチェック能力も高まるでしょう。ですから、本当に全部大丈夫なのか、むしろ良くなるのか、そこには本物の問いがあります。

私は、これが必ず悪化するから心配すべきだ、と言いたいわけではありません。むしろ、これが大きく悪化する可能性があり、もしそうなれば権力集中だけでなく、他のAIリスクもずっと深刻になるかもしれない。それほど重要な論点だから、もっと時間をかけて考える価値がある、と言いたいのです。

認識能力の低下は、操作だけではなく構造的にも起こる

もう少し、プロパガンダや誤情報の側面について話すと、ここにも、より構造的なリスクから、より戦略的なリスクまで、幅があります。

構造的な側では、単に認識能力の向上が、他の能力向上に追いつかない、ということが起きるかもしれません。誰かが人々を混乱させようとしているわけではなく、技術的に不運な世界に入ってしまうのです。

これがAI特有だと思う理由はいくつかあります。

ひとつは、技術変化の速度があまりに速くなり、人間の頭では理解しきれなくなる可能性があることです。状況を把握するには、特定の種類のAI支援が大量に必要になるかもしれません。

もうひとつは、他のAI能力のほうが、認識能力向上よりも競争上のインセンティブが強いかもしれないことです。AIによる技術開発、自動化、軍事能力などが先にどんどん実用化される一方で、認識能力を支える側の技術が追いつかないかもしれない。そのラグがあると非常に危険です。

中間には、不平等なアクセスの問題があります。すでに少し触れましたが、もし最良のAIモデル、最良のデータ、最先端の計算資源にアクセスできるのが権力者だけなら、彼らは他の主体よりずっと深く状況を理解し、ずっと優れた戦略的予見を持てるかもしれません。

そうなると、誰かが意図的に騙しているわけではなくても、単に一部の主体だけが現実をずっとよく見えている世界になり、それ自体が大きな不均衡を生みます。

そしてさらに戦略的な側に行くと、あなたが言っていたような誤情報や説得の話になります。私は、その両方が実際に起こることを心配しています。

たとえば、Mercierの研究が示すように、現在は人々が主流ニュース提供者から情報を得ているとしても、それが今後も続くとは思っていません。

将来、人々は、自分と世界の間の仲介者としてAIを使うようになると私は考えています。そうなると、新しい種類の問題が生じます。単なる誤情報だけではありません。偏ったAIモデルの問題もあります。

もしAIモデルが、特定企業や特定国家の利益になるように、情報を提供したり選別したりするよう密かに訓練されていたら、個々の人間の脳では、そのフィルター作用を打ち消すのが非常に難しくなるかもしれません。

これが、私がこの問題の広がりをどう見ているか、そして注意を払う価値があると思う理由の大まかな説明です。あなたの言う通り、うまくいく可能性ももちろんあります。

AIが真実探求を助けても、格差は残るかもしれない

ここで拾いたい点が二つあります。

ひとつは、一部の主体が、より高度なAI能力を持つことで、他の人たちよりずっとよく世界を理解できるという話です。これは逆に希望のある話として語られることもあります。世界をもっとよく理解し、予測し、ファクトチェックするAIを、安く、あるいは人間の手でやるよりずっと安く広く配れれば、みんなが何が起きているかをずっとよく理解できるようになる。そうなれば、あなたが言うepistemicな不安はずっと打ち消しやすくなるし、全体として情報環境は今より良くなるのではないか、という見方です。

この見通しについて、どれくらい希望を持っていますか。

私もその希望はかなり共有しています。AIは、人間の脳が今できるよりもずっと安く、ずっと効果的に真実を探す可能性を開くと私も思います。

ですから、デフォルトでは、AIがない世界よりずっと良くなると予想しています。

ただ、あなたの話で私が納得しきれなかったのは、最も強力な主体と大多数の人々の能力に大きな差がつかない、という部分です。

そうですね。大きな差がつかない、というところですね。

その通りです。世界を理解する能力に、大きな差が生じると思う理由はいくつかあります。

ひとつはデータです。現在のAIシステム、とりわけ最先端のものは大量のデータを必要とします。そして大量のデータを持っているのは、あなたや私ではありません。アメリカ政府やGoogle、OpenAIのような主体です。彼らは、そのデータを使ってより良いモデルを訓練し、また世界に関する新しい事実を発見することもできる。そうした資源が複利的に積み上がっていきます。

もうひとつ、将来は、お金を認識上の優位へ変えることも、今よりずっと簡単になると思っています。これは先ほど、お金を労働へ変えるのが容易になると言ったのと同じ話です。

今でも、お金があれば人を雇って真実を調べさせることはできます。ただ、それでも人間の速度ですし、難しい問題なら解明にはかなり時間がかかります。

でも、お金を即座に、何百万ものAIコピーへ変え、それらが超人的速度で働いてくれるなら、たとえ他の人々も優れたオープンソースモデルや、公開された最新モデルを使っていたとしても、もっと速く洞察を得られるかもしれません。

しかもそれらは最良モデルではありません。本当に最良のモデルは、企業の専有物か国家保有になるでしょう。だから私は、そこに大きな差が出ることをなお心配しています。

さらに、何らかの能力差があるなら、能動的な妨害や操作の影響もより深刻に考えるべきです。歴史的にも、そうしたことは普通に起きてきました。

Grokは、特定の政治的アジェンダに従うようAIシステムを作ろうとする、かなり露骨な試みの一例です。しかし、プロパガンダやPRの長い歴史もありますし、ターゲティング広告や政治キャンペーンといった産業そのものも存在します。こうしたものは、はるかに洗練されたものになりえます。

そして、最も強力な者たちと大多数の能力の間に差があるなら、その強力な者たちが私たちの認識プロセスを意図的に乱そうとした場合、成功してしまう可能性はずっと高く見えてきます。

人々は本当にAI仲介の情報を信じるのか

操作や誤情報の側面について、もうひとつ気になっていた点があります。

あなたは、将来、人々が世界について知る方法そのものが今とはかなり違ってきて、AIアシスタントやAIインターフェースのようなものによって大きく媒介されるようになる、と話しました。

ここは私にとって特に納得しにくい部分です。というのも、一般の人々は、そこまでAIを信用していないように見えるからです。ある程度の用途では使っても、たとえば普通の人は、OpenAIについてChatGPTに聞いたら、開発元について最も公平な情報源ではないだろうと予想するはずです。こうしたシステムには多少の偏りがあると人は当然思うでしょう。

だから、情報がAIから来ていると分かっているのに、その内容、特に権力者に関する説明を、人々がすぐ疑わない理由がよく分かりません。

それは、過去の情報技術についても同じことが言えると思います。なぜ人々は、インターネットで読んだものをすぐ全部切り捨てなかったのでしょうか。実際には、人々はネット上で読んだものの多くを信じています。それは、何が信頼できて何が信頼できないかについての習慣を身につけたからです。

あなたの言う通り、認識環境が本当にひどく悪化した世界では、逆に人々がAIシステムをほとんど使わなくなり、最悪の結果の一部は避けられるかもしれません。十分にひどければ逆に回避できる、という話です。

でも私が心配しているのは、そこまで露骨に悪くはならず、それでも人々が使わないよう協調するのが難しい世界です。

それから、あなたは一般大衆を中心に考えていましたが、権力集中を食い止めるうえでより重要なのは、もっと狭い集団かもしれません。もちろん一般大衆も、選挙その他の経路を通じて重要です。

ただ、私たちが本当に考えるべきなのは、10年後、20年後にジャーナリストがどうやって情報を得るのか、最高裁判所のスタッフがどう情報を分析するのか、といったことかもしれません。

私が、人々は結局これらのシステムを使うようになるだろうと受け入れている大きな理由は、変化の速度と情報コンテンツの生成速度があまりに速くなり、AIシステムを巧みに使って、何に注意を払うべきかを絞り込まない限り、まったく追いつけなくなると考えているからです。

つまり、人々は必要に迫られてAIを使うようになる、というのが私の見立てです。

なるほど。それはかなり鮮明になってきました。特に、人間が経済的に意味を持ち続ける最後の機会にしがみついている世界を想像すると分かりやすいです。AIをたくさん使って、より賢くなり、より多くを知り、より効率的に仕事をしているからこそ、まだ雇用市場に残れている人たちがいるとすれば、自分もそれを使わなければ雇用も政治的な意味も失う、という圧力はかなり強くなります。

ほかの圧力と組み合わさると、この話はかなり説得力が出てきますね。

誰も望んでいないなら、なぜ止められないのか

ここまでの権力集中シナリオについて、私がなお抱く主な懐疑は、基本的にこれです。

地球上のほとんど誰も、こういうことが起きるのを望んでいない。権利を奪われたり権力を失ったりする一般大衆だけではありません。今すでにエリートで、かなり強い権力を持っている人たちも、権力が今以上に集中すれば損をする側に回りうるわけです。

先頭を走るAI企業ではない他のAI企業の人たち、あるいは自分たちが先頭に立てるか分からない企業の人たちも、もし一社が他社を大きく引き離したら何が起きるかを意識しているはずです。

そのうえで、長いあいだ民主主義を守り、こうした極端な事態を防ぐために設計されてきた制度もたくさんあります。

だから、確かに止める試みが失敗する小さな理由はこれまでにも挙がってきましたが、全体として見れば、文字通りほとんど誰もこんなことを望んでいないのなら、なぜ大多数が最終的に勝てないのでしょうか。

私の理由を話す前に、まず全体の直感を述べます。

あなたの言う通り、現在の私たちの社会には、権力がどれだけ集中しうるかを抑えるための、非常に複雑で繊細なチェック・アンド・バランスの体系があります。政府や暴力の独占のような明白なものだけでなく、法、社会規範、人間同士の相互作用など、実に多くの要素が、今この瞬間にさまざまな権力追求の力学を抑えています。

それでも十分でないかもしれないという根本的直感は、そこへ莫大なAI労働力を流し込む世界を私たちが想像しているからです。何世紀もかけて人間の速度と人間の能力水準に合わせて進化してきたチェック機構が、そのままAIの速度とAIの能力水準にも自然に対応できるとは限りません。

抽象的な懸念としては、巨大なAI労働力が猛烈な速度で働くようになれば、既存の仕組みをまるごと迂回できてしまうのではないか、ということです。

協調に失敗する二つの理由

そのうえで、人々が協調してこれを止められないかもしれない具体的理由として、私が追っている大きなものは二つあります。

ひとつは、速すぎることです。特に急激な権力奪取シナリオに当てはまります。非常に大きな知能爆発が起きれば、変化があまりにも速く、既存の制度では対応できないかもしれません。

ここで言う知能爆発とは、AI研究開発そのものをかなりうまく自動化できるようになり、AIが次々により優れたAI世代を非常に速く設計していく状況のことですね。

ええ、その通りです。AI開発の十分な部分を自動化できるようになると、それがさらにその自動化を加速し、さらに良いAIを作り、という再帰的フィードバックループが生まれます。

こうした急激さが、一つ目の理由です。

もうひとつの大きな理由が、すでに話してきた認識の混乱です。ここでの懸念は、あるシナリオほど極端に速くはなくても、速度が速いために状況理解が難しくなり、それを理解する助けになるAIツールへのアクセスも不平等であり、さらに権力者が何が起きているのかを隠し、人々の注意を別の方向へ向けさせる、という能動的妨害も重なることで、人々が何が起きているかを見抜けなくなることです。

この二つが、ほとんど誰も望んでいないのに、それでも起きうると私が考える主な理由です。

付け加えるなら、私も、ほとんど誰も望んでいないという直感にはかなり引かれます。ただ、現在のAI強国である企業や国家の戦略を見ると、実際には彼らは自分たちの権力を追求しているように見えます。

世界支配とまでは言わなくても、AI企業はAGIを真っ先に開発しようとしています。そして、先にAGIを作ったら何らかの決定的行動に出る計画を持っているところもあります。

アメリカも、世界に対するAI優位を追求しています。自分たちが勝てるとどうして分かるのか、他国をよりいっそう競争に駆り立てるだけではないか、と言いたくなるかもしれませんが、それでもそうしています。

つまり、人間は、深い意味では自分たちの利益に反しているとしても、この手の協調をひどく失敗する余地が十分にあると思います。

有権者の圧力は近い将来に効くのではないか

ええ、ある程度は分かります。

最後の点に関連して言えば、問題なのは地球全体が何を望むかではなく、決定的なレバレッジを持つ位置にいる人々が何を望むか、ということでもありますね。AI企業にいる人たちや政府にいる人たちが何を追求しているかが重要だ、と。

ただ、彼らは特に政府に関する意思決定では、単独で行動できるわけではありません。確かに、アメリカにいるなら中国に対して戦略的優位を保ちたいでしょうし、AI企業から上がってくる収益にも強く惹かれるでしょう。

でも同時に、次の選挙で自分たちが権力を維持できるかどうかを決める巨大な有権者層も抱えています。その有権者たちは、AI企業にかなり不信感を持ち、自分たちの物質的豊かさや影響力が今より下がる世界を心配するはずです。そこはすでに争点になりうる領域です。

つまり、インセンティブは両方向に働いているわけですが、近い将来には、なぜ票を取りに行くインセンティブより別のものが勝つのかが、私にはよく分かりません。

この点で考えられるひとつの筋道は、有権者がこの問題をどれだけ明瞭に見られるかは分からない、というものです。あなたは、有権者がなぜこうした事態に反対したいはずかについて、良い直感をいくつも示しました。でも、逆側の例も私は同じくらい挙げられると思います。

たとえば、多くの人がAIと恋愛していて、彼らにとって最重要の政策争点が、AIにどんな権利を与えるべきかになっていたらどうでしょう。あるいは、人々が自分の所得喪失を非常に心配していて、求めている主政策がより良い給付である場合です。でも、将来、人間が給付で生きる経済で何が重要になるかを見抜けておらず、政治的なチェック・アンド・バランスの強化は求めないかもしれません。

しかも今の例は、世論操作キャンペーンがなくても成立する話です。実際には、それも起こるかもしれません。

もうひとつの筋道は、かなり後期段階、つまり自動化がかなり進んだあとについてです。今は、人々が本気で不満ならストライキができます。平和的であれそうでなかれ、政府に反抗することもできます。

でも私は、いずれそれが不可能になると思っています。仕事がなくなれば、ストライキという形の交渉力は消えます。そして軍が完全に自動化されれば、人間による抵抗や人間の武器は、AI駆動の軍に対してほとんど意味を持たなくなるでしょう。

そうなると、たとえば政府が選挙を中止したところで、何を失うのかが分からなくなります。もちろん、私が中心的に想像しているのは選挙中止ではありません。そのためにはかなり特殊な条件が必要です。

でも、今の政府にとって選挙中止が難しいのは、それをやれば経済的にも社会的にも莫大な損失があるからです。将来は、それが本当に損失になるとは限りません。人々は怒るかもしれない。でも、なぜそれが問題になるのでしょうか。

今のエリートたちはなぜもっと抵抗しないのか

私がまだしっくり来ていないのは、将来、票を持つはずの人々やストライキを打てるはずの人々の中には、普通の人だけでなく、今すでに極端なほど権力を持ち、極端なほど裕福で影響力のある人々もかなり含まれているという点です。

彼らは当然、状況がどう転ぶかをある程度把握していてもおかしくない。しかも、さまざまな人が職を失い、貧しくなり、社会的重要性を失う一方で、しばらくの間はかなり大きなエリート集団が残り続けるでしょう。

そう考えると、彼らはまだ今の時点では十分に貢献していて、政治資金を出したり、平均的な労働者よりずっと重要な立場にあったりするわけです。だからこそ、なぜ彼らがもっと圧力をかけて、権力集中を止めないのかが想像しにくいのです。どう考えますか。

その問いは、今の多くの政策課題にも向けられると思います。たとえば実存リスクは誰にとっても悪いはずです。だったら、エリートたちはもっと安全なAI開発を強く求めるべきではないか、と言えます。

でも実際には、エリートたちの意見はかなり割れていますし、多くの人はそもそも注意を向けていません。そして、この問題に投入されている資源は、本来あるべきよりずっと少ないと思います。そういう意味では、人々が自分たちの利益を十分に考慮し損なうという事前確率は、むしろこちら側に有利です。

エリート層がなぜ気づかないのかについて語れる物語はいくつかありますが、基本的には一般大衆について言うのと似ています。とにかく、ほかにもたくさんの、極めて気を散らす、極めて重要に見える争点があるでしょう。

戦争が起きるかもしれない、自分も戦わされるかもしれない、といったことは非常に切実です。失業もとても切実です。AIの感覚やAIの権利の問題も、ある時点でかなり前面に出てくると思います。

つまりひとつは、人々の注意を引きつける大きくて切実な問題が山ほどあることです。

もうひとつは、権力集中の問題そのものがどれだけ見えやすいかです。これは認識能力の問題に戻ります。私は、デフォルトでは何が起きているかについて透明性が非常に低いことを懸念しています。

誰が最良モデルを持っているのか、誰が最大の計算資源を持っているのか、大きな主体同士がどんな密室取引をしているのか。そうしたことを知るのは簡単ではないでしょう。

もちろん、ある程度の情報は出てくるでしょうし、注意している人もいるでしょう。でも、通常レベルの腐敗や、普通にある程度のビジネスエリート同士の癒着と、これは別物で、このままだと自分は永久に権力を失うかもしれない、という違いを見分けるのは、どれほど簡単でしょうか。私はそこに確信がありません。

もし、それが非常に簡単に見分けられ、しかも他にもっと差し迫って見える問題がなければ、あなたの言う通り、人々は必死にこれに抵抗すると思います。

そうですね。AI企業による明白なロビー活動が見えていれば、話はもっと分かりやすいでしょう。でも、もっと力の強い人たちから、安心してくれ、君にもちゃんと分け前がある、私たちは仲間だし、これまで散々一緒に取引してきたじゃないか、大丈夫だよ、と言われるような状況は十分にありそうです。

もちろん、そういう場面では誰でも多少は疑うでしょうけれど、説得されてしまうことも十分ありえます。そういう立場にいると、自分がうまく丸め込まれていることに気づくのは本当に難しそうだ、という感覚はあります。

そのコメントからさらに思うのは、そもそもこれが彼らの物質的利益に反するとは限らない、ということです。

エリートであれ一般大衆であれ、人はどれだけ簡単に買収されるのか、という問題があります。多くの状況では、資本へのリターンがあまりに大きくなって、何らかの資本を持っている人なら、現在よりずっとずっと裕福になるかもしれません。

人は大金と引き換えに自分の出生権を売るのか。私は、かなりの確率で売ってしまうのではないかと心配しています。そして、資本を持たない貧しい国の人々が飢えるとか、自分は大丈夫でも自分の子どもたちは政治的権利を持たず、それに対して何もできないとか、そういうことに十分な注意を払わないかもしれません。

上位のプレイヤーたちが反対しうる人々を買収できるほど、大量のお金が世の中にあふれる可能性は十分あります。

速い世界だけが危険なのか

なるほど。このあたりはかなり理解できてきました。

ただ、会話を通してずっと出てくる別の筋があります。それは、私たちが想定している世界が、かなり速く動く世界だという前提です。

AIが経済の多くを、AI研究開発そのものも含めて自動化し、AIが急速にどんどん知的になっていく。AIが社会の隅々に素早く浸透し、複雑な仕事の多くや経済の重い部分を担っていく。それが急速に産業能力の拡大や生産量の爆発に結びつく。情報も次から次へと押し寄せて、真実を追うのが難しくなる。

そういう世界では、状況が悪化していることに気づいて何か手を打つのがとても難しくなります。しかも、その対処として必要なのが社会構造全体の作り直しだったりするわけです。

さらに、もしあなたが先頭のAI企業なら、知能爆発が始まるポイントに最初に到達して、AIが次々により良いAIを作っていく状態に入れば、他社を一気に引き離せるかもしれない。それもまた、権力集中の一形態です。

だから、このかなり速く動く世界という前提が非常に大きな重みを持っているように見えます。

一方で、AIの進歩はそこまで速くならず、もっと穏やかで、AIによるAI研究開発自動化が始まっても、立ち上がりはより緩やかだという証拠もあります。許認可や規制で物理的に進行が遅れるかもしれないし、推論時の計算資源がより重要になることで、システムをたくさん同時に走らせにくくなり、知能爆発のフィードバックループが遅くなるかもしれない。その他にも、世界がそんなに狂ったような速度では動かない理由はいろいろ挙げられます。

もしそうなら、あなたの懸念する脅威はそこまで深刻ではなくなるのでしょうか。それとも、もっと遅い世界でも十分に心配すべきだと考えますか。

ゆっくり進んでも危ないシナリオはある

私は、もっとゆっくりした世界でもかなり心配しています。

ここで重要なのは、権力集中への異なる経路を区別することだと思います。

ある種の権力掌握、たとえば、ある企業があまりに強くなり、非常に短時間で秘密裏にロボット軍を作って世界を掌握するようなシナリオは、かなり大きな知能爆発がなければ起こりにくいでしょう。これは知能爆発に大きく依存する典型例です。そういうシナリオについては、はい、知能爆発がなければ起こらないと言えます。

でも、他の種類の権力集中は、大きな知能爆発がなくても十分に心配すべきです。その中には権力掌握シナリオも含まれます。

たとえば先ほど挙げた、国家元首が軍にAIを導入し、それを自分個人に忠実にするシナリオでは、AI企業同士に大きな能力差は必要ありません。複数のAI提供者がいて、政府に競争的にシステムを売っていても成立します。そこで問題なのは、政府内部で制度の後退が起きていて、AI企業同士にも、そうした不正な使い方を防ぐための協調が欠けていることです。

ですから、よりゆっくりした世界でも心配すべき権力掌握シナリオはあります。

また、権力掌握ではないシナリオの方が、むしろ遅い世界でより重要になる面もあります。先ほど話した経済シナリオの多くは、かなり後になってから表面化するでしょうし、かなりゆっくりした経過の末に起きるかもしれません。

認識能力の要因も、ゆっくりした世界の方がむしろ重要かもしれません。速い世界では、そうした認識のフィードバックループで十分な権力を蓄積するだけの時間がそもそもないかもしれないからです。認識を通じた支配は、少し遅い力学だからです。

ですから、大きな知能爆発がなくても権力集中は十分に起こりえます。

ここで、知能爆発と、今日より変化のペースが速いことは区別した方がいいかもしれません。知能爆発は変化として非常に極端です。そのレベルに至らなくても、私が想像しているAI進歩は、世界の変化の速さに非常に大きな影響を与えるはずです。たとえ多くの主体が似たような能力を持ち、かなり広く分散していたとしてもです。

私はそれでも、過去より人間が状況を追うのが難しくなり、技術変化の速度もずっと速くなると予想しています。100倍速いとまでは言わなくてもです。

もし、ずっと最後まで従来通りの速度が続くという立場なら、その場合はたしかに、人間の制度が十分に間に合うだろうと私は認めやすいです。ただ私は、そうした従来通りの速度が最後まで続くという見方を、あまりもっともらしいとは思っていません。

一社独走でなくても、少数の委員会が未来を決めうる

分かりました。だいぶつかめてきました。

速度が重要なのはどこか、という点でもうひとつあります。たとえば一つのAI企業が他を大きく引き離すこと。ある地点から、より良いソフトウェアを高速で再帰的に開発しはじめると、競合を一気に突き放してしまう。それも権力集中のひとつの形ですよね。

ただ、仮に多くのAI企業がほぼ横並びの世界であっても、複数企業の経営陣からなる集団に、耐えがたいほど権力が集中する可能性はありますよね。そう考えてよいのでしょうか。

はい、その理解で合っていると思います。

その集団を複数企業の経営陣と考えてもいいですし、あるいは政府高官の集まりと考えてもよいでしょう。あるいは両者の混合かもしれません。複数のAI開発者を巻き込んだ大規模な国際プロジェクトが立ち上がり、その中央委員会のようなものがすべてを決める、という形もありえます。

そして、他の力学があなたの言う通りに進行するなら、その委員会だけが未来を実質的に操舵する世界でも、やはり非常に悪いですね。

その通りだと思います。

こうした権力集中は長続きするのか

仮にAIによって、ここまで極端な権力集中が本当に起きたとしても、それがどれほど重大かについては、まだ疑問を持つ人もいるでしょう。というのも、その状態がどれほど長続きするかは別問題だからです。

人類の歴史には、技術や経済の変化によって、ある集団が望ましくないほどの支配を手にした例がいくつもあります。でも、ソ連やナチス・ドイツのような過去の全体主義体制も、最終的には崩れました。大多数の人はそんな状態を望まないわけですし、長期に権力を維持するのは難しいものです。

こうしたAI由来の権力集中が、どれほど不可逆で、どれほど長期的な影響を持つと思いますか。

歴史的な例を持ち出してくれたのは良いことだと思います。AIがどう違いを生みうるかを考えるのに役立ちます。

ソ連やナチス・ドイツが崩れた理由のひとつは、対抗する別の体制があったことです。ナチスについては非常に分かりやすく、他の勢力に征服されました。ソ連はそこまで直接的ではありませんが、やはり別のやり方で社会を運営する競争相手がいて、最終的にそちらが相対的に勝った、という面があります。

したがって、非常に極端な権力集中についての懸念のひとつは、もし最終的に本当に単一の世界覇権者が現れたなら、もはや競争の力そのものが消えてしまうことです。他の勢力が侵攻してきたり、より良い社会構造によって後から経済的に追い抜いたりすることがなくなるので、そのせいで停滞状態が固定されるかもしれません。

もうひとつ、たとえ単一覇権に至らなくても違いを生みうるのが、AIによって拘束力のある約束を、これまでできなかった形で結べる可能性です。AIシステムに、取引を永続的に執行させることができるかもしれません。

技術的に本当に可能かは分かりませんが、もし可能なら、複数の勢力が残っていても、資源を永続的に分割する取引を結んでしまうかもしれません。そうなれば、権力の集中した国家や主体が、宇宙のある領域を残りの時間すべてにわたって支配し続けることになりかねず、とても憂慮すべきです。

こうしたことから、従来の独裁体制よりもずっと長く続くかもしれないと考える理由はあります。

ただ、私は一般に永遠に続くという主張にはやや懐疑的です。私たちは想像力が足りず、実際には予想外の仕方で状況が変わり続けるのではないかとも思っています。

それでも、極端な権力集中を強く懸念するために、永遠である必要はないと思います。たとえ100年でも10年でも、それ自体が十分に悪い状態であり、起きてほしくないのです。

消滅リスクと比べて、どれほど優先すべきか

ええ、期間にかかわらずかなり憂慮すべきだという感覚はあります。

ただ、どれくらい長く続くかが効いてくるのは、たとえば自分のキャリアや努力をこの問題に向けるべきか、それとも人類の絶滅のように取り返しがつかない問題に向けるべきか、を考えるときです。極端な権力集中の防止と、絶滅リスクの防止では、どう優先順位をつけますか。

いい質問ですね。

ひとつコメントすると、現時点では、AIによる極端な権力集中は、たとえばAIによる絶滅防止と比べて、はるかに手薄です。ですから、手薄さだけでもかなり有力です。重要性が100分の1でも、限界的には十分競争力があると言えます。

もうひとつ、実存リスクの中でもAIによるAIの乗っ取りリスクについて言うと、それが明確に永遠に続く問題だと強調されすぎていることも多いと思います。もちろん、全人類が死ぬことは不可逆です。

ただ、人々がAI起因で心配している実存リスクの多くは、そこまで至りません。そうなると、長期的にどうなるかについては、やはり不確実性があります。

たとえばAIが乗っ取りを起こし、人間が未来に対して無力化されるとします。AIは人間を地球に残し、別のことをしに行くかもしれません。でも、その後にも変化はありえます。AIが宇宙人に出会ったらどうなるのか。自己改変して、人間への扱いに別の考えを持つようになったらどうなるのか。

つまり、人間主導ではないにせよ、戦略的変化の余地は残ります。純粋な絶滅ほど絶対的ではないのです。

そう聞くと、AIが人間を支配しつつ人類は生き残る世界と、少数の人間が権力を握って残りの人類を従属させる世界との違いは、そこまで大きくないようにも思えます。かなり同じくらい悪く、特徴もかなり重なるかもしれません。

はい、その点は同意します。

gradual disempowermentとの違いは本当に重要か

もうひとつの観察として、あなたの描く物語群は、gradual disempowermentと呼ばれる脅威モデルともかなり似ているように思います。Jan KulveitやNora Ammannらの論文がその枠組みをよく示しています。

そこでも、AIsに比べて人間が経済生産でほとんど役に立たなくなること、人間が情報環境の制御に対して弱くなることなど、似た力学が起きています。ただ、結果が少し違う。そこでは、人間ではなくAIが権力を持つようになる、と理解しています。

また、権力がごく少人数に集中するというより、かなり大きなAI集団に移る可能性がある点も違うかもしれません。ただ、いずれにせよ権力の力学が大きく変わることには変わりありません。

AI自身が権力を握る脅威モデルと、今日話しているような少数の人間が権力を握る脅威モデルのあいだに、重要な違いはあると思いますか。対処法は同じように考えてよいのでしょうか。それとも別々に扱うのが重要でしょうか。

私は、それらを別々に扱うことが重要だとは思いません。両者はかなり重なっていると思いますし、今のところ、どの枠組みが最も生産的かも、まだかなり不確かです。だからこそ、異なる枠組みで作業する人たちが並行して前に進むのは良いことだと思います。

重要な違いがあるかという点では、まず、私はそれほど重要ではない違いをひとつ挙げます。それは、権力を持つのが人間かAIかという区別です。

この点についてはgradual disempowerment側の人たちとも話したことがありますが、彼らは、人間だけに注目して権力集中を語るのは、なぜそんな恣意的な線引きをするのか、と言います。私もその感覚にはかなり同意します。

私がこの区別を置いているのは、分析上の単純化のためです。空間の一部を切り出して、この種の帰結について話そうとしているだけで、AIが権力を持つ経路が根本的に別物だと言いたいわけではありません。一部には異なる経路もあると思いますが、相当な重なりがあると考えています。ですから、これは非常に重要な概念的境界だ、と主張したいわけではありません。

別の概念的区別として、権力が集中することを考えるのか、それとも大多数の人が無力化されることを考えるのか、というものがあります。これは必ずしも同じではありません。権力が一箇所に集まるとは限らず、単に別の主体へ移るだけかもしれないからです。

ここでも私は、gradual disempowermentの見方にかなり共感しています。権力集中だけが悪い権力移行の形ではなく、他の形にも私たちは注意を払うべきです。

最後に、これは概念的な区別というより強調点の違いですが、gradual disempowermentの人たちは、権力掌握を重視する人たちよりも、創発的な力学や構造的な力により注目していると思います。権力掌握を考える人たちは、より主体的・戦略的な行動を見ています。

ただ、両方があること自体には、たぶん皆が同意するでしょう。問題は、どちらを優先すべきかです。

私自身は、両方を視野に入れ続けられる枠組みを使うべきだと思います。どちらも重要になる可能性が高いからです。現に、人々が権力を求めていることも、その一方で構造的な力が権力移動を大きく左右していることも、私たちは見ています。だから、両方を同時に意識しておくのがよいと思います。

共通して役立つ介入と、個別の介入

よく分かります。

では、その二つの悪い方向に対して両方に効く介入はありますか。逆に、gradual disempowermentには効くが極端な権力集中には効かない、あるいはその逆の介入はあるのでしょうか。

かなり重なりはあります。特に、権力集中を防ぐために社会の認識能力を強化しようとする介入の多くは、gradual disempowermentの防止にも役立ちます。

たとえば、AI企業に対する透明性の向上、私たちの認識能力を助けるAIツールの開発、人々が世界で何が起きているかをよりよく理解できるようなデータ収集などです。こうしたものは、さまざまな脅威モデルにまたがって有益だと思います。

gradual disempowermentに特化した介入には私はそこまで詳しくありませんが、ある種の権力集中には効いてもgradual disempowermentにはほとんど効かない介入の例なら挙げられます。

分かりやすいのは、特定の権力掌握を直接狙い撃ちする介入です。たとえばアラインメント監査です。モデルに秘密の忠誠心がないか監査する取り組みですね。これは秘密裏に忠誠を仕込まれた軍がクーデターを起こすことを防ぐにはとても有効です。

でも、gradual disempowermentを心配している場合には、あまり役に立ちません。ですから、そこでは確かに分かれてきます。

どのシナリオを優先すべきか

なるほど。つまり、私たちがここで切り出している範囲の中だけでも、問題を引き起こしうる力学は実に多様です。軍事的な権力掌握、経済的な無用化、ここではあまり詳しく話していないけれどAI企業が世界を追い越す話、情報環境が読めなくなる認識上の問題、悪意ある主体が絡む話、単なる構造的変化の話。

これだけ複雑な地形の中で、それぞれに効く介入も違うかもしれないとすると、私たちは何に注目すべきかをどう決めればいいのでしょうか。

とても良い質問です。まず、少し答えになっていない答えから始めて、そのあと実際の答えに入ります。

答えになっていない方を言えば、私は今の時点では、大いに不確実であるのが適切だと思っています。この分野についてはまだほとんど研究されていませんし、概念的にもかなり混乱が残っています。

私の観点からの主なポイントは、できるだけ多くの力学を視野に入れたまま、風景がもう少し見えてくる前に、あまり早く特定の脅威モデルに飛びつかないことです。

人によっては私より優先順位づけに自信があります。権力掌握はあまりにSF的で起こりそうにないと感じる人もいます。私は、AIによって世界の条件が変わると、それも十分にありうるように見えるので、候補から外すべきではないと思います。

逆に、権力掌握こそ最重要だと強く確信している人もいますが、私自身はそこもかなり不確かです。というのも、権力掌握は重要でも、多くの場合かなり後段階で起きるかもしれず、その時点ではすでに世界が大きく変わっていて、もっと早い介入の方が効いたかもしれないからです。

つまり、権力掌握は長くて乱雑な過程の終盤に起きるかもしれません。その頃には、今のアメリカ政府がどうクーデターを防ぐべきかといったアイデアはあまり意味がなくなっている可能性があります。AIと人間が混じった妙な新組織が権力掌握を行い、従来の制度的想定が役に立たないかもしれないからです。

そのうえで実際の答えを言うなら、今は、複数のシナリオにまたがって役立つ横断的なものを優先すべきだと思います。

全体として言えば、社会のチェック・アンド・バランスを改善するものは比較的頑健で、さまざまなモデルをまたぐように見えます。

より具体的には、私は今のところ、権力掌握そのものや経済問題そのものよりも、認識能力に関わるものを優先する方向に傾いています。もちろん他の分野にも重要な仕事はありますが、ひとつ選ぶなら、より横断的だから認識能力の方を選びます。

つまり、何が起きているのかを理解し、それにどう応じるのがよいかを把握する社会の能力を保つことは、今日の話題に限らず、多くの世界で幅広く役立つということですね。

その通りです。権力集中シナリオの中でも横断的で、権力掌握にも経済経路にも効きますし、他の多くのAI問題にも役立ちます。かなり広く有効だと思います。

早く起こるものを優先すべきか

私たちが考えている物語には、ある種の順序があります。起こりそうなものの中で、いちばん早く起きる介入点、初期の分岐点を優先する、という考え方には意味があるでしょうか。

それはある程度ありうると思います。ただ、その理由が単に早く起きるからなのか、それとも、今の世界にまだ近い状態で起きるものの方が介入しやすいからなのかは分かりません。

未来に行くほど、世界はすでに根本的に変わっているでしょう。そうなるとモデル化も難しいし、介入も難しくなります。

もうひとつの考慮は、世界が大きく変わるまでには、その間に大量のAI労働力が生まれ、それ自体が解決策づくりにも使えるかもしれないという点です。早期に起きることだけは、今の私たちしか考えられないのです。

ですから、はい、先に起きるものに注目する理由はあると思います。

悪意ある主体がいる話の方が心配か

もうひとつ、私には、単なる構造的な変化よりも、悪意ある主体が意図的に何かをする話の方が心配だという直感があります。相手が意図的に事態をそうした方向へ持っていこうとしているわけですから。

その直感は妥当でしょうか。

十分に妥当だと思います。ただ、私はそこに少し混乱も感じています。構造的な力の中にも、主体的ではないのに、敵対者としてモデル化した方がよいものがあるのではないか、とも思うからです。では主体とは何なのか、というところで概念的に少し混乱してきます。

それでも今どちらかを選ぶなら、私はあなたに同意します。強力で戦略的な主体が本気でその状態を目指している世界の方が、より心配です。正直に言えば、それが私たちの行き着く世界だろうとも思っています。

得るものが大きいからですね。

得るものは大きいですし、現に今、権力者たちは戦略的に動いています。もちろん、人々がこの問題の深刻さに気づいて、急にみんな賢明になる、という話も作れます。でも、歴史上そうなったことはあまりないので、私はそこには賭けていません。

介入が別のリスクを悪化させることはないか

それは納得できます。

もうひとつ気になるのは、介入の中には横断的なものもある一方で、この地形があまりに複雑なので、ある問題への介入が別の問題を悪化させることもあるのではないか、ということです。その懸念は本物でしょうか。

はい、その種の問題はあると思います。特に権力掌握関連の介入でそれがはっきりします。

ある介入によって、権力を握る可能性がある主体が一方から別の一方へ移るだけで、全体としてリスクが本当に減っているのか分からない、という心配があります。

たとえば、先ほど話したアラインメント監査は、企業によるクーデターを防ぐのには役立つかもしれませんが、同時に企業が政府権力に対する牽制役になる力を弱めるかもしれません。

善意の企業が、政府がシステムを悪用して権力奪取しようとした時に無効化できるよう、秘密の忠誠心を入れている可能性を考えてみてください。もし秘密の忠誠心そのものを全廃すると、そうした政府牽制のルートまで消してしまうかもしれません。

逆に、政府による研究所監督のような措置も同じです。研究所側のクーデターリスクを減らすのには役立つかもしれませんが、政府側がその権限を乱用するリスクは高めるかもしれません。

ですから、確率の重みを別のところへ移しているだけではないかという心配は現実にあります。

これは他の介入にもあります。たとえば認識能力を改善するAIツールの中にはデュアルユースのものもあります。人々の協調を助けるツールを作ったつもりが、クーデターを起こしたい側の協調も助けてしまうかもしれない。こういう懸念はあらゆるレベルにあります。

誰が誰を監視するのか問題

なるほど。つまり多くの介入案は、結局、誰が監視者を監視するのかという問題に行き着くわけですね。AI企業の権力を抑えるために、政府や基準設定者にさらに大きな権力を与えることになってしまう。

そうなると、権力が最終的に誰かに集中するのを止める、というより、結局は誰に集中するかを入れ替えるだけなのではないか、という不安があります。私たちには、そもそも権力集中そのものを止めるレバレッジがどれだけあるのでしょうか。

もしレバレッジという観点で考えるなら、むしろあなたが先ほど言っていた、有権者や手作業労働、短期的には人間賃金が上がるかもしれないという話が重要になってきます。

今の世界には、大勢の人が少しずつ力を持っている、広い土台があります。そして、もしAIツールによって大勢の人が協調しやすくなるなら、過去よりも多数派の方がずっと強くなり、自分たちの利益を押し出すために、より機敏に、より迅速に協調できるようになるかもしれません。

ですから、まったく希望がないとは思いません。

ただ感覚としては、アメリカ合衆国憲法を作っていた時のようなものかもしれません。これをこれで牽制し、ではそれを何で牽制するのか、と考えていく。そしてどこかの時点で、もうこれ以上チェックを足すのはやめて、このシステムは全体として均衡している、とみなすしかない。

政府と企業、どちらをより信用すべきか

分かりました。では仮に、本当に避けにくいトレードオフに直面したとします。企業に好き勝手させるか、あるいは政府に、私たちが本来望まなかったほど極端な統制権を持たせるか。その二択に近い状況です。

そのとき、より信頼すべき相手について答えはありますか。どちらを選ぶべきでしょうか。

頑健な答えはないと思います。人によって直感がかなり違います。世界の独裁者になるのがアメリカ政府とGoogleのどちらがよいかと聞いたら、絶対にアメリカ政府だと言う人もいれば、絶対にGoogleだと言う人もいるでしょう。

Google派の人は、政府は極めて非効率でインセンティブも悪く、世界独裁者としてはGoogleの方がずっと有能だと考えるのでしょう。

逆にアメリカ政府を選ぶ人は、代表性や、企業権力より政府権力の方がまだチェックが効くという点を見ているのだと思います。

それでも希望を持ってよいのか

そこはさらに掘り下げたいです。そもそも、こうした極端な権力集中シナリオを防ぐのは、ものすごく難しいかもしれないという見方もあります。社会の最も強い人たちの一部が、それを止めようとする変化に抵抗し、自分たちが利益を得ているからです。

そう考えると、この問題を解けるという希望を持ってよいのでしょうか。

はい、希望は持ってよいと思います。理由はいくつかあります。

まず半分冗談のような理由ですが、人々は権力集中に取り組むことに対して、簡単すぎるからだという理由でも、難しすぎるからだという理由でも反対します。ということは、実際には中間くらいなのかもしれません。

もう少し真面目に言えば、私たちはこれまで、AIに起因する極端な権力集中を防ぐことに、ほとんど時間を使ってきませんでした。今までやった量以上に、少なくとももっと時間を投入してみる価値は十分にあります。

もっと一般的な背景事情としての希望もあります。あなたが何度も言ったように、ほとんどの人はこんな未来を望んでいません。これを防ぐことに賛同する非常に広い連合を作れる可能性があります。

そして、より推測的な希望としては、人類はこれまで長い時間をかけて、権力をどう制限し、どの程度までなら妥当かを考え続けてきたということです。AIの文脈ではまだ十分に考えられていませんが、関連する問いについての思考の蓄積は大量にあります。

特に、今後AI自動化が進んで、こうした考えを整理する手助けまでしてくれるようになれば、かなりよい答えを見つけられる可能性もあると思います。

どんな介入にもっとも期待しているか

それはかなり希望のある見方ですね。では、どんな介入にもっとも期待していますか。

現時点では、具体的な介入よりも、高レベルの目標の方により確信があります。でも、どんなものに期待しているかが伝わるように、両方の例を挙げます。

ひとつは、私たちの認識能力を助けるAIツールを作ることです。広いカテゴリとして、これはかなり有望だと感じています。

より具体的な例としては、ファクトチェックのためのAI、予測のためのAI、市民社会や裁判所、その他のチェック・アンド・バランスが状況を理解し、自分たちの利益のためにより戦略的に動くのを助ける公開ツールなどがあります。個々の具体策への自信はもう少し低いですが、方向性としては期待しています。

もうひとつ、非常に有望だと思っている大きな束は、政府権力に対するAI活用のチェック・アンド・バランスです。

この状況をうまく乗り切るには、政府もAIを使わざるをえないと私は考えています。そうしなければ企業に置いていかれ、企業が自分たちに都合のよいように状況を持っていってしまうでしょう。ですから政府導入は必要です。

ただし、政府へのAI導入には、それ自体として権力集中の大きなリスクもあります。そこをどう針の穴に糸を通すのか。安全な政府導入とは何か。これは非常に重要で、人々が時間を投資する価値が大きいと思います。

ここで具体的に有望だと思うものもいくつかあります。

ひとつはlaw-following AIです。Institute for Law & AIのO’Keefeらが提案しているもので、AIシステムを法に従うよう訓練し、法に違反することをできないようにするものです。政府AIシステムにとって、これはかなり頑健で良い方針に思えます。この方向が進むのはとても歓迎です。

もうひとつは、企業が政府にAIシステムを提供する際に、どのような調達ルールや安全確認手続きを課すか、ということです。これも重要な束です。

それ以外にも、期待しているものはいくつかあります。透明性の向上、つまり、適切な主体が、AI企業や政府で何が起きているのかに関する適切な情報へアクセスできるようにすること。計算資源や能力へのアクセスを共有し、最も強力な主体とそうでない主体との格差勾配を緩めること。アクセスを少しでも広く分散させることです。

また、特にAIで強化したい主体もあります。立法府や司法が優れたAIシステムへアクセスできるようにすることは非常に良い介入だと思います。行政だけが持つのではなく、そこにも渡すのです。

さらに、調査報道の記者が最良のモデルにアクセスでき、それを使って密室で何が起きているかを突き止められるようにすることも重要だと思います。

このあたりが、今私が特に期待しているものです。具体性にはかなり幅がありますが。

既存の反独占や課税だけでは足りないのか

興味深いですね。

先ほど、人類は権力の分配や集中について長く考えてきた、と言っていました。実際、私たちはすでに権力集中を止めることにかなり関心を持ち、さまざまなことをしています。反トラスト法もありますし、少なくとも一部の国では富裕層への課税もあります。不平等を避けたい、誤情報を避けたいと考える人も多いです。

でも、あなたが極端な権力集中のために挙げる介入には、かなり特殊で、今すでにやっていることとは違うものが多いように見えます。

なぜもっとターゲットを絞った取り組みが必要だと考えるのでしょうか。今すでにやっていることを、そのままスケールアップすればよいのではないですか。なぜそこにもっと専門的な努力を割く必要があるのでしょうか。

良い質問です。まずはっきり言っておくと、現在進んでいる、AI以外の要因による権力集中を防ぐ仕事は、この問題にも明らかに関連していて、役に立つと思います。それを軽視したり、関係ないと言いたいわけではありません。もちろん関係しています。

それでも、極端な権力集中に特化した追加の取り組みは極めて重要だと思います。最大の理由は、リスクがかなりAI固有だからです。

多くのリスクは、AIが経済的に価値のある労働の大部分を自動化できるようになって初めて生じます。軍や政府機能の自動化による権力掌握もそうですし、経済的支配もそうです。

そこから分かることのひとつは、AIシステムそのものに制約をかける介入が必要だということです。反トラスト法や通常の調査報道だけでは、それは生まれてきません。AI固有に考える必要があります。

さらに広い意味でも、極端な権力集中を防ぐ方法は、単に今のチェック・アンド・バランスにしがみつくことではないと私は思っています。個人に忠実な大量のAI労働力が作れてしまう時代に向けて、新しいチェック機構を設計しなければならないでしょう。

今の経済における反トラストや平等性の向上に取り組んでいる人たちが、そのまま自然に、そうしたAI時代向けのチェック・アンド・バランスに発想を伸ばしてくれるとは限りません。

もう少し具体的に言うと、穏やかな努力ではおそらく全く起きないことがあります。先ほど挙げたlaw-following AIなどは、その典型です。秘密の忠誠心を検出するアラインメント監査や、モデルを秘密裏に忠実化する改ざんを防ぐ企業内情報セキュリティの強化なども、AIを含む脅威モデルに固有です。特別な介入なしには起きないと思います。

一方で、ある程度は既存の流れでも進むだろうが、それでも大きく改善の余地があるものもあります。特に、こうした極端な可能性を念頭に置くとです。政府へのAI導入はその一例です。

政府へのAI導入のあり方にはすでにかなりの注意が払われていますが、多くは個別案件へのローカルな注意であったり、もっと大枠では見ていても、将来的に起こりうる極端なリスクまでは追えていなかったりします。だから、極端な権力集中という観点からこの問題を見ることで、現状をかなり改善できる余地があると思っています。

この分野でやってはいけないこと

なるほど。改善余地は確かにありそうです。

ただ、私が最終的に感じるのは、この問題は議論され、対処されるべきだと思う一方で、多くの人がこの分野に入ることを積極的に勧めるのには少し不安が残るということです。主な理由は、この分野がとても繊細で、かなり政治的に見えるからです。

だから、あなたの仕事がどう裏目に出うるのか、この分野で何をしてはいけないのかを、きちんと強調した方がよい気がします。

まず第一に、これは発表した内容が危険なアイデアを与えてしまう分野でもありますよね。この問題に取り組みたいと思う聞き手や、議論に貢献したい人たちは、その点をどう考えるべきでしょうか。何を避けるべきですか。

とても良い問いです。難しいですね。

すごく粗い例で言えば、AIを使ってどうクーデターを起こすかについて、非常に詳細な実践マニュアルを公開してはいけません。

それは困りますね。ちょうどそれをやろうと思っていたところでした。

ですよね。

そこから導かれることのひとつは、公に出すものほど、抽象度が高く、詳細は少ない方がよいということです。また、自分がどのアクターについて脅威モデルを書いているのか、その相手がすでにどれだけ知っていそうかも考える必要があります。

たとえば、私のような非技術者が、AIラボのCEOが思いついていない巧妙な技術的ルートを思いつく可能性は高くないでしょう。だから、その種の人に新しいアイデアを与えてしまうことはあまり心配しなくていいかもしれません。

一方で、AIがあまり進んでいない国の国家元首なら見落としうるようなことに気づく可能性はあるかもしれない。そういう情報の方は、より慎重になるべきです。

一般に、自分が非常に有害な新しい実行方法を思いついたと思うなら、この分野でも他の分野でも、それを公表することには相応の警戒心を持つべきです。

その感覚はよく分かります。

もうひとつ関連する心配として、危険なアイデアを与えるだけでなく、人々を煽ってしまうこともあると思います。たとえば、あの人たちは暴力的に支配し、民主的権利を奪い、強欲に人類の未来を台無しにする、という調子の記事を書けば、一部の集団を疎外し、政治状況をさらに分極化させてしまうかもしれません。エリートが世界を壊す側で、自分たちは善良な一般市民だ、みたいな構図にしてしまうと、かえって事態を悪化させる可能性があります。

その点はどう考えますか。どう避けるべきでしょうか。

そうした書き方が事態を悪化させうるのはその通りだと思います。

この会話を通じて、望ましい世界とは、この事態を避けたいと考える非常に広い連合がある世界だ、という話をしてきました。だからこそ、火のついたような、非ニュアンス的で不注意な書き方をすると、かえって問題を政治化し、そうした連合形成を難しくする危険があります。

一部の介入が右派的に見えたり左派的に見えたり、何らかのコード化されたものに見えたりして、本来なら権力集中のリスクを減らすための介入に反対する人を増やしてしまうのです。

これはかなり繊細な問題で、どんなトーンで書くか、どんな言葉を選ぶかが大きいと思います。こうしたテーマについて書くときは、多くのフィードバックを取るのが良いでしょう。

実際、私が最初に書いたのはAIを使ったクーデターに関する問題プロファイルでした。でも最終的にそれを極端な権力集中というテーマに変えた理由のひとつは、まさにこの配慮でした。

もちろん、クーデター以外の力学の方も自分は実はより重要だと考え始めていた、という理由もあります。しかし大きな理由のひとつは、クーデターという枠組みの方が刺激的で、政治的な応酬を生みやすそうだったことです。だから、極端な権力集中のような、少し退屈なくらいのタイトルの方が、人々が争いにくいかもしれないと思ったのです。

つまり助言としては、もっとつまらなく書け、ということですね。

このテーマでは、刺激を盛る方向に行かない方がいいと思います。退屈であることは良いことです。

なるほど。やってはいけないのは、自分が真実だと思うことを全部そのまま出していけばいい、と考えることですね。もっとニュアンスを持ち、もっと注意深くやる必要がある。

そうです。残念ながら、これは非常に政治的なテーマなので、何を書くかについて戦略的に考えなければなりません。研究者や思考者の中には、もっと自由に考えを書けないと合わない人もいるでしょう。だから、この種の仕事には向いている気質と向いていない気質があると思います。

どんなAIガバナンスモデルがより危ないのか

さらに踏み込むと、こうした権力集中への懸念は、AIガバナンスのモデルについて何を示唆するのでしょうか。

よく、AI版マンハッタン計画のようなモデルが提案されます。アメリカ主導でAGIを競合より先に作るための大プロジェクトです。他にも、国際コンソーシアムや、大規模なオープンソース化など、いろいろな案があります。

権力集中というレンズから見て、これらのモデルの良し悪しについて何か見解はありますか。

権力集中を考え始めると、まずマンハッタン計画型はかなり悪く見えてきます。特にアメリカだけが関わり、他国が牽制役にならない場合です。あるいは一社だけが関わり、他の開発者がチェック役にならない場合です。ですから、私はマンハッタン計画型にはかなり懸念していて、おそらくよくないと思います。

ただ、これは他の国際プロジェクトにも示唆があります。たとえば、本当に多くの国が参加する本格的な国際プロジェクトは、もし権力集中を考えなければ、代表性の観点から非常に魅力的に見えるかもしれません。

権力集中の観点は、それを必ず悪い選択肢にするわけではありませんが、よりリスクの高い選択肢にはします。

なぜなら、あらゆる権力をひとつの制度体へ集めることになるからです。そうなると、その制度体が将来の権力抑制において決定的に重要になります。では、私たちは本当に、AI時代に耐える制度設計をゼロからうまくやれるのか。そこに私は不安があります。

ただし、国際プロジェクトと権力集中についてひとつ言うなら、複数のAI開発者をそのプロジェクトに含めることで、多くの害をかなり抑えられる可能性があります。

たとえば私と同僚のWill MacAskillは、世界の衛星ネットワークを管理したIntelsatをモデルにした体制を比較的支持しています。そのモデルでは、AIの開発と展開を統治する国際機関はあるものの、実際の仕事は異なる民間企業に委託します。つまり、複数の最先端企業が同程度の能力を持ち続ける構造です。

もちろん、これは巨大な知能爆発がないことに依存します。もしそうした爆発が起きれば、同じようにはいかないでしょう。でも、複数企業を関与させることで多くのリスクをかなり抑えられる可能性はあると思います。

望ましい未来とはどんなものか

分かりました。そのIntelsatモデルについては記事もありますし、あとでリンクしておきましょう。

そろそろ終わりに近づいてきました。ここまで未来がひどく間違った方向へ行くさまざまな道を話してきましたが、最後に、繁栄した未来のビジョンを聞き手に共有してもらえますか。

とても具体的なビジョンがあるわけではありませんが、自分が望ましい未来において大事だと思う要素なら挙げられます。

ひとつは、未来にも人間が存在し続けることです。そしてその人間たちが幸せで、人間らしく、人間であり続けることを自分で選べること。子どもを持ったり、音楽を作ったり、自分で本を書いたりできることです。たとえAIがもっと上手に本を書けるようになっても、です。

それはいいですね。

私はかなり、人間は未来にも存在していてほしい派です。私ほどそう思わない人もいるかもしれませんけれど。

それから、未来に何らかの多様性があることにもかなり期待しています。宇宙の異なる場所で、異なることが行われていてほしいのです。

最善のものが何かを一つ決め、それを作るためにすべての資源を使うべきだ、というタイプの議論にはかなり恐怖を感じます。私はそれには反対です。

宇宙全体を最善の一つのもので埋め尽くすより、もっとずっと穏やかな形を望みます。なぜなら、それは頑健ではないと思うからですし、多様であること自体に内在的な価値を感じているからです。

なるほど。よく分かります。

終わりに

今日はRoseに、極端な権力集中のシナリオが本当にもっともらしいのかどうかを、かなり厳しく問い詰めてきました。ただ、彼女が記事で実際に展開している議論のすべてをここで扱えたわけではありません。ぜひ記事そのものを読んでください。私たちのウェブサイトで読めますし、ナレーション版を聞くこともできます。

Rose、今日は本当に素晴らしかったです。来てくださってありがとうございます。

とても楽しかったです。呼んでいただいてありがとうございました。