AIは変異している──しかも私たちはそれが何をしているのか分かっていない

理解しておくべき極めて重要なことがあります。私たちは知能というものを理解していません。脳がどう働いているのか分かっていないのです。もちろん仮説はいろいろあります。ですが、実際のところ、どう動いているのかはまったく分かっていません。

そして同じように、こうしたニューラルネットワークがどう動いているのかも、まったく分かっていません。

つまり、私たちは何かを作った。しかしそれがどう動いているのかは理解していない、ということですね。

その通りです。

では、ほとんど魔法みたいなものですね。

ええ、まさにそうです。シャーレの中をのぞき込んでいるようなものです。私たちは、AIを実際に作ってみるまで、それが何をできるのか分かりません。そして作ったあとでさえ分からないのです。たとえばChatGPT 6が何をできるのか、完成するまでは分かりません。OpenAIのエンジニアたちでさえ、完成するまではそれが何をできるのか分からないのです。

これは、他の工学とはまったく違います。

だから、たとえAIが人類を皆殺しにしなかったとしても、それでも私たちを種としてその座から引きずり下ろすことはあり得るわけですね。

その通りです。

種としての人類の役割は何になるのか。私たちの目的は何なのか。なぜ私たちは存在するのか、という話になりますね。

そうです。私はむしろ、絶滅より先にそれが起こると思っています。私が起こると考えているのは、ある朝目覚めたとき、私たちはもう支配権を持っていない、という状況です。

その瞬間に全員が倒れて死ぬようなことにはならないと思います。すぐに絶滅するとは思いません。でも、私たちはもう主導権を持っていない。もう制御していない。そうなると思います。

対談の導入とこれまでの経歴

おはようございます、Connor。調子はいかがですか。

今日はとてもいい感じです。

お会いできて本当にうれしいです。ぜひお話を伺いたかったんです。というのも、あなたは歴史的に見てもLLMを構築する中核部分で実際に働いてきた人ですよね。この番組でもAIについてはかなり話してきました。

でも私は、そのエンジンの中身については何も分かっていないと自覚しています。だからこそ興味があるんです。実際にこうしたものの構築に関わっていた人として、そもそもそれがどのようなものだったのか。そして、何を見て、これがもはや単なるツールではないと気づいたのか。

まずは視聴者のために経歴を教えてもらえますか。普段はあまりこういうことをしないのですが、今日はぜひお願いします。誰と話しているのか、視聴者にも知っておいてほしいので。

ええ。AIにはかなり長く関わってきました。言ってみれば、前頭前野が育って以降ずっとです。16歳とか17歳とか18歳くらいの頃からですね。まあ、その時点ではまだ完全には発達していなかったでしょうけど。

この分野に入ったきっかけは、15歳か16歳くらいのときに、どうすれば世界のために最大限の善をなせるだろうか、と考えたことでした。どうすれば最も多くの人を助けられるのか。どうすれば最も多くの問題を解決できるのか。

私の考えでは、がん治療に挑むこともできるし、気候変動に取り組むこともできるし、他にも本当にいろいろなことができる。でも、それらすべてに共通するものは何かと考えたとき、答えは知能だったんです。

もし知能そのものを自動化できれば、あらゆる問題を解決できる。すべての病気を治せるし、何もかも直せる。素晴らしいじゃないか。それならそれをやろう。そんなに難しいはずがない、と。

それでAIへの最初の突入は、16歳の頃でした。ほとんど何も仕組みを理解していないまま、10代の若者がやりがちな感じで、今で言うAIとかAGIみたいなものを作ろうとしていました。当時はそういう用語すら知りませんでしたけど。

もちろん何一つうまくいきませんでした。何も理解していなかったので。だいたい2012年から2013年頃で、その頃ちょうど、今ではdeep learningと呼ばれるものが立ち上がり始めた時期でした。画像認識の成果が出始めて、AlphaGoのようなものも出てきた。囲碁のトッププレイヤーを打ち破ったわけです。囲碁はチェスよりさらに複雑とも言えるゲームですから、そういうものが見え始めていました。

ただ、今のような生成AI以前の時代です。

それで私はこの種のものにどっぷり関わるようになりました。勉強もたくさんしましたし、かなり独学でした。どちらかというとハッカー的に、走りながら覚えるタイプでした。

ただその頃は、まだ大きなことが起きるまでにはかなり時間があるだろうと思っていました。当時の感覚を伝えるなら、その頃のAIは、deep learningとかニューラルネットワークと呼ばれる新しい手法に支えられていました。AIを実現する方法はそれだけではないのですが、当時の新しい本命であり、現在のAIシステムの土台にもなっているのがそれです。

この仕組みは通常のプログラミングとはまったく違います。通常のプログラミングではコードを書く。1行ずつ、コンピュータに何をさせるかを書いて、それを実行させる。

でもニューラルネットワークはまったく違う。むしろ育てるという感覚です。大量のデータを与えて、こういうときにはこうするとか、こういう振る舞いをするとか、そうした例を見せる。そしてそのデータの上にニューラルネットワークを育てて、問題を解かせる。

当時は画像認識や囲碁、今ではChatGPTや画像生成など、用途は違っても根本の技術は同じです。細かな違いはあっても、根本的には同じ技術なのです。

もちろん当時はそれだけでとても刺激的でした。でも同時に私は考え始めました。もし、がんを治せるほど強力なAIを作ったら、それは非常に危険でもあるのではないか。あまりに強力すぎるものです。それをどう制御するのか。どうやってうまくいくよう保証するのか。

すると、その答えを誰も持っていないことが分かりました。そして今日に至るまで、誰もその答えを持っていません。

その頃の私は、まだ本当に大きなことが起こるまでは時間があると思っていました。でも、私にとっての決定的な、これはまずいという瞬間は、2019年のGPT-2のリリースでした。ChatGPT以前、今のような状況以前の話です。

振り返ると、今となってはどこか牧歌的です。今の私たちはChatGPTに慣れていて、数学だってそこそこの博士課程学生くらいにはこなしてしまう。でも当時のモデルは、せいぜい2文つなげられるかどうかでした。1文、せいぜい2文がまともにつながる程度だったんです。

でもそれを見たとき、私は思ったんです。来てしまった、ついに始まった、と。

理由は、それ以前のAIが常に非常にもろく、特殊用途に限られていたからです。たとえば囲碁を打つAIを作ることはできる。でも、それ専用に特別に作らなければならない。正しいデータを与え、ニューラルネットワークを適切に組み、いろいろなことをしなければならない。

そこから今度はAtariのゲームをやらせたいと思ったら、多くの部分を変えなければいけない。全体を配線し直して、新しいデータを入れて、ほぼ別物を作り直す必要がある。移植性はほとんどありませんでした。

でもGPTは違った。GPTは汎用のパターン学習器だったんです。そこがすごかった。データを増やし、計算資源を増やし、ニューラルネットワークをより大きくしていくと、最初は単語の綴りを学び、次に文を学び、段落を学び、さらに高度なものを、人間が教えなくても自力で獲得していった。

これは前例のないことでした。

だから私も、こうしたものを作る側に関わるようになったんです。私の考えはこうでした。理解しなければならない。これは世界で最も重要なことだ、と。

私はオープンソースやハッカーの世界から来ました。だから、オープンソースのLLMやツールやニューラルネットワークを作れれば、自分や他の人たちがそれを研究し、理解し、安全にする方法を探れるはずだと考えたんです。

そこで私はEleutherAIというグループを率いることになりました。当時としては非常に大きなオープンソースのグループでした。私たちは当時、そして今に至るまで数少ない、オープンソースの大規模言語モデルを構築しました。当時としては最大級のものでした。

オープンソースから距離を置いた理由

なるほど。聞きたいことが本当にたくさんあります。でも、振り返ってみて、ここからはもうコーダーやハッカーとして関わり続けることはできない、自分の時間の使い方を考え直さなければならない、そう思った具体的な瞬間はありましたか。

重要な瞬間は2回ありました。1つ目は、オープンソースに対して燃え尽きたときです。もうオープンソースではやっていけないと気づいた瞬間。2つ目は、技術そのもの、つまり技術的な仕事全般に対して燃え尽きたときです。その2つの間には、およそ5年くらいありました。

EleutherAIに入った頃は、まったく違う世界でした。ChatGPTのようなものはまだ存在感がなく、人々はLLMを本気で受け止めていませんでした。

学者たちは論文で、こんなのは全部偽物だとか、重要じゃないとか、そんな話をするなとか、誰も気にしていないとか、そういうことを言っていました。でも私には、これが史上最大のものになるのはあまりにも明白でした。これは汎用のパターン学習器なのです。AIの聖杯であり、みんなが待っていたものです。

私が16歳の頃、AGIのようなものを作ろうとしたとき、16歳の子どもが何かを作ろうとするときのやり方で、紙に小さな図を書いていました。記憶のための機構が必要だ、行動のための機構が必要だ、何か他にも必要だ、と。でも、いつも1つ巨大な箱が抜け落ちていたんです。それが、汎用のパターン学習器でした。

データを入れるとパターンを学習してくれる、その部分です。誰もそのやり方を知らなかった。手法がなかったわけではないけれど、どれもひどく、まともに機能しませんでした。

でもこれは機能した。明らかに機能した。そしてスケールしたんです。

breakthroughをもたらしたtransformer

そのbreakthroughは何だったのですか。

transformerと呼ばれるものが一因です。これはニューラルネットワークの特定の構築方法です。

ニューラルネットワークは、ほぼ無限にさまざまな配線の仕方があります。形をこうしたりああしたり、部品を足したり、レゴのように組み替えたりできる。レゴだと思うと分かりやすいです。さまざまなレゴの部品があって、それを違う順番で積み重ねられる。新しい部品も追加できる。

そして2017年に、Googleのグループがニューラルネットワークの新しい構築法としてtransformerを発見しました。それがすべてを変えました。今あなたが見ているAI、画像生成でも音声生成でもChatGPTでも、そのすべての土台にあるのがtransformerです。

技術的な詳細にも入れますが、興味がありますか。

ぜひお願いします。すごく興味があります。

かなり退屈で、しかも満足感の低い説明になりますが、少しなら話せます。

ただ、その前に理解しておいてほしい非常に重要なことがあります。私たちはニューラルネットワークがどう働くのか理解していません。これは本当に大事な点です。誰も理解していないんです。

つまり、何かを作ったけれど、その仕組みは分からない。

その通りです。

では、やはり魔法のようなものですね。

ええ、完全にそうです。シャーレをのぞいているような感じです。中には、どろどろした何かがあって、それがぐるぐる動きながらいろいろやっている。私たちはそのどろどろについていくつかのことは知っています。細胞についての知識やDNAについての知識もあります。でも根本的には、どう働いているのか本当のところは分かっていません。

もし本当に分かっていたなら、任意のことができるはずです。すでにあらゆる病気を治していたでしょう。でもそうではない。

ニューラルネットワークも非常によく似ています。

ニューラルネットワークをどう考えるべきかと言うと、それは数十億、あるいは数兆の数値です。1.235とか、0.892とか、そんな数字が延々と並んでいて、それが1兆個ある。そのすべてを正しい順番で掛け合わせたり足し合わせたりすると、コンピュータが会話をする。

では、その数字は何を意味しているのか。

transformer自体は紙に書けます。ここは処理をしている部分で、別の場所ではattentionと呼ばれる処理をしている。つまり、どの部分にどれだけ注意を向けるかを見る。でも、それが何を意味しているのかは分からない。まったく分からないんです。

何が起きているのか分からない。いくつか推測はあります。けれど最近AnthropicのCEOであるDario Amodeiがポッドキャストで、ニューラルネットワーク内部で何が起きているか、私たちが分かっているのはせいぜい3％くらいだと思う、と話していました。

個人的には、その数字ですら過大評価だと思っています。

transformerの見た目と基本構造

この図は理解できますか。

はい。これがtransformerの見た目です。面白いことに、左側の構成は、今ではだいたいもう使いません。なので、ほぼ無視して大丈夫です。これは古いタイプのtransformerで、encoder transformerと呼ばれます。現在は右側の構成を使います。

仕組みとしては、まず単語を入力します。それがembedding layerを通って、単語が数字に変換される。結局また数字になるわけです。

その後、それらはmulti-head attention、もしくは単にattentionと呼ばれる処理に入ります。詳細な数式は重要ではありませんが、要するにニューラルネットワークが、データのどの部分をどれくらい重視するかを決める処理です。こちらの部分をどれほど気にするのか、あちらの部分をどれほど気にするのか、そういうことを決める。

そのあとfeed-forward layerという処理に進みます。要は、大量のものを掛けたり足したりする。さらにnormalizationのようなものもありますが、これは実装上うまく動かすための詳細です。

そして最後に、また大量の数値が出てきて、それを単語へと変換し直す。

以上です。本当にそれだけです。

検索エンジンからChatGPTへの飛躍

では、ここで少し大きく戻って考えたいんですが、昔は検索エンジンの時代がありましたよね。私が使っていたものでAltaVistaという検索エンジンがありました。ご存じかどうか分かりませんが。Yahoo!の後、Googleの前くらいの時代です。とても優れた検索エンジンでした。

でも、ある日誰かにGoogleを使うべきだと言われた。そして最初にGoogleを使った瞬間、もうAltaVistaには戻れなかった。あまりに正確だったからです。PageRankがうまく機能していて、本当に素晴らしかった。

そして今では、私はGoogleよりChatGPTを使う場面が出てきています。最初の質問は単純でした。たとえば、アルゼンチンの首都は何ですか、みたいな。もちろんBuenos Airesだと知っていますけど、そういう単純な質問を投げると答えが返ってくる。

それがだんだん複雑なプロンプトになっていく。

今の私は、Connorとのインタビュー準備をするとき、名前はLeahyで合っていますよね、と確認しつつ、プロンプトにこう書くんです。Connorの同僚2人にすでにインタビューしました。AIが人類を皆殺しにしたがっているという話は扱いました。これがConnorの経歴で、これが経験です。今回はこの仕組みのエンジン部分にもう少し踏み込みたい、と。

それをGoogle Geminiに投げると、いくつか案を返してくる。そこから私が、これはいいけどここは扱いたくない、ここは扱いたい、インタビューは90分になる、とさらに絞る。するとまた別の案が返ってくる。

その会話全体をコピーして、今度はPerplexityかChatGPTのどちらかに貼りつけます。相手やインタビューによって使い分けますが、そこに、ちなみに本当に大事なのはこの点だ、と加える。そして、これを最終的な質問リストに変換してくれ、と言う。

すると驚かされるんです。ただそのプロンプトを処理しているだけではない。私のことをすでに知っていることも反映してくる。番組のことや背景情報も加味してくる。

この機械、このコンピュータが、どうやってあれだけの情報を受け取り、正確に、あれほど多くの情報を返してくるのか、私には分からないんです。

しかも数秒で、ですよ。

数秒でです。本当にどうやってそんなに素早く、そんなにうまくできるのか分からない。小さなプロンプトなら何とか想像できます。たとえば犬の画像を見せてと言えば、データベースから犬の写真を探してきて、はい犬です、と返しているように思える。

でも、こういう複雑なこと全部をやってのける仕組みは、もう私には分からないんです。

あなたもそうですし、科学界全体が同じ状況です。これは未解決問題なんです。

理解しておくべき極めて大事なことがあります。私たちは知能を理解していません。脳がどう働いているか分からない。もちろん仮説はありますが、実際のところはまったく分かっていない。

そして同じように、こうしたニューラルネットワークがどう働いているのかも、まったく分かっていないんです。

数学なら全部書けます。数値も全部見せられる。人間の脳だって同じです。頭を開けばニューロンは見える。そこにあります。でもそれを見たからといって、その人が何を考え、何を知り、何を信じているかは分からない。ニューロンがどう接続されると、思考や信念になるのか、私たちは知らないからです。

ニューラルネットワークも似ています。ちょっと面白い操作はできます。以前、ある研究所が自分たちのAIをGolden Gate Bridgeに異様に執着させた実験がありました。どんな質問をしてもGolden Gate Bridgeの話に戻ってくるんです。何を聞いても、ものすごくGolden Gate Bridgeが好きで、その話をしたがる。

仕組みとしては、ニューラルネットワークの中でGolden Gate Bridgeに関連するパラメータを見つけて、その値を大きく引き上げたんです。要するに、数字を上げた。そうしたら、そのAIはGolden Gate Bridgeのことばかり話すようになった。

面白いですよね。でも、それは理解したことにはなりません。

パラメータとは何か、学習とは何か

では、こうしたシステムを構築する際、数学だけで一般知能のような層を作れるわけですね。

はい。

でも、その外側に、数学を制御するためのパラメータがあるということですか。

厳密には少し違います。パラメータ、あるいはweightsという言葉で私たちが指しているのは、先ほど話した数百万から数兆に及ぶ数値そのものです。

さっき見たtransformerには複数の層がありました。attention layerやfeed-forward layerがありましたよね。それらは、小さなニューロンがたくさん並んでいるようなものだと思ってください。互いに小さなつながりがあり、それぞれが他のニューロンにどれくらい強くつながっているかを表す数値を持っている。

それでneural networkと呼ばれるわけです。目を細めて見れば脳に少し似ているからです。もちろん神経科学者の皆さんのために断っておくと、実際の脳はこれほど単純ではありません。脳はもっと複雑です。ただ、かなり簡略化した類比です。

特にfeed-forward layerは、小さなニューロンや触手のようなものが互いにつながっていると考えると分かりやすい。その接続の強さを決める数値がweights、あるいはparametersです。そして、この値をいじることが、そのニューラルネットワークが何者であるかを決める。

では、魔法の問いは何かというと、どうやってその正しい数値をニューロンの中に入れるのか、です。

1兆個のランダムな数を並べるのは簡単です。でもそれでは何も面白いことは起きない。問題は、その1兆個の魔法の数値をどう見つけるかです。その数をニューラルネットワークに入れると、ポッドキャスト用の台本を書いてくれるようになる。その数をどう見つけるのか。

それに使われるのがback propagation、あるいはgradient descentと呼ばれるアルゴリズムです。関連する概念ですが、細かな数式はやはり重要ではありません。

基本的にやることは、AIにデータの一片を見せ、そのデータに対して出力すべき答えの例も与える、ということです。ChatGPTなら、たとえば文の最初の10語を与えて、11語目は何かを当てさせる。それから12語目は何かを当てさせる。そうやって続ける。

そしてback propagationという魔法めいた計算を使って、ニューラルネットワークがどれだけ間違えたかに応じて、その数値すべてを少しずつ調整する。本当に文字通り、1兆個の数値を、ほんの少しだけ、全部微調整するんです。

これを何十億回、何兆回と繰り返す。するとGeminiやChatGPTなどができあがるわけです。

記憶やデータベースはどこにあるのか

ここにある数学が、ある種の解釈装置になっているわけですね。でも、その中には記憶のようなものや、参照するためのデータベースのようなものはあるのでしょうか。

必ずしもありません。データは、そうした数値の中に符号化されている、と考えるのが近いです。あなたの頭の中では、象という概念はどこに保存されていますか。

象のことは考えられるでしょう。でもそれはどこにあるのでしょう。頭の中に小さな象が入っているわけではありませんよね。

ニューラルネットワークもとても似ています。ChatGPTは象についてどこで知っているのか、と聞かれたら、答えは分からない、です。どこか数値の中に、どこかweightsの中に、どこかparametersの中に、何らかの形で埋め込まれているはずです。でも正確にどうなのかは分からない。ただ、その中のどこかにある。

つまり、ある時点で象を見せた。そして1つ、あるいは複数の数値が作られたわけですね。

複数です。象にも大きさがいろいろあるし、色もいろいろあるので。

もし銃を突きつけられて、どういう仕組みか推測しろと言われたら、私ならたぶんこう推測します。パターン、それも階層的なパターンがあるのだろう、と。

たとえば文がどう成り立つか学ぼうとするとき、まず気づくのは、空白というものがかなり規則的に出てくる、ということかもしれない。これが1つのパターンです。だから、その空白をいくつかの場所に置いてみる。

時間とともに、どこに空白を置くべきかが上達する。次に、単語というものがあることに気づく。長さはだいたいこれくらいだ、と分かる。そこから綴りがうまくなり、さらにパターンを学んでいく。

そして、そのパターンは加算できる。1つだけではない。複数のパターンを持てるし、それらは互いに重なり合うことができる。しかも、どんどん複雑になっていく。

最初は4トークンごと、あるいは4文字ごとに空白を入れる、みたいな非常に粗いパターンかもしれません。それはかなり下手なパターンです。でも少しずつ改善される。4つごとだったり、5つごとだったり。そして最終的には、英語ではこういう頻度で空白を入れるんだ、と学ぶ。

でもそれだけでは不十分です。空白は単語のあとに置かなければならない。そのためには単語とは何かを知らなければならない。すると今度は単語についてのパターンが必要になる。そのパターンも育てなければならない。

それらのパターンが協力し合うわけです。だから私の予想では、これらの数値や掛け算、足し算などが、そうした何百万、何十億、何兆ものパターンを符号化していて、それらが積み重なることで機能しているのだと思います。

その中には、たとえば象に関するパターンもある。文の中にelephantという単語が出てきたら、象の鼻について話しやすくなる一方で、カバについて話す可能性は下がる、みたいなことです。そういうパターンが十分に積み重なれば、最終的に会話ができるようになる。

でも、それは本質的には巨大な数値データベースみたいなものなんですね。そしてそれが拡張されていく。

固定された数の数値です。普通は固定です。よく聞くかもしれませんが、300B modelとか、1 trillion parameter modelとか、そういう言い方がありますよね。

あります。

あれはweightsの数、parametersの数を表しています。3000億とか1兆とかです。典型的には1000億から1兆くらいが普通です。そして通常、その数自体は増やしません。これだけの数を最初に用意し、それを微調整していく。

でも、その数値が時間とともにより多くのパターンを符号化することはあります。最初は何も表していないランダムなノイズでも、徐々にいろいろなことを学ぶようになる。

もちろん、どうしてもやりたければモデル自体を大きくすることもできますし、現代のAIは真空の中に存在しているわけではありません。たいていは参照用の文書を与えたり、呼び出せるWebサイトを与えたりしている。ですが、それはニューラルネットワークの外側です。

要するにツールを与えているんです。PerplexityやChatGPT Proが引用をつけるようなときも、外部のツールを呼んでいる。人間がURLを開いて、そこから内容をコピーして文書に貼るのと同じようなことを、現代のAIもやっている。それはAI自体の内部ではありません。

GPT-4から次世代モデルへ何が変わるのか

では、たとえばChatGPTがChatGPT-4から5へ移るとき、何が起きているんですか。何が大きく変わるのでしょう。

いい質問です。もちろん詳細はケースによりますし、各社はできる限り詳細を隠しています。でも、だいたいの推測はできます。

こうした大規模なAIニューラルネットワークはmodelと呼ばれます。なぜそう呼ぶかは重要ではありませんが、そう呼ばれている。そして3000億とか1兆とか、そうした数値全体の集合をひとまとまりとして1つのmodelと見なすわけです。

たとえばGPT-4は1つのmodel、あるいは実際には複数のmodelの組み合わせかもしれません。いろいろ調整されているでしょうから。

ChatGPT-4と5の違いは、基本的には別のmodelだということです。どれほど違うかは分かりませんが、通常はより大きくなります。

ここで重要なのが、先ほど言ったすべてを変えた2つの大きな要素のうち、もう1つがscalingだということです。

私がニューラルネットワークを学んでいた頃、Georgia Techの教授の講座を自由時間に受けていました。そのとき覚えているのは、ニューラルネットワークは常にできるだけ小さくすべきだ、という説明です。大きくしすぎると混沌としてしまい、うまく動かず、overfitして、馬鹿げたことをやるようになる、と。

これはまったくの誤りでした。ニューラルネットワークはただ大きくすればいい。より多くの余地を与え、より多くの計算資源を与える。より大きなコンピュータで、より多くのtrainingをさせる。そうすると、他の条件が同じなら、より賢くなり、より多くを学び、より正確になるのです。

だから、ChatGPT-4と5の大きな違いは、訓練量が桁違いに大きいことです。どれほど大きなコンピュータが数値計算をしているのか。どれほど大量のデータを投入したのか。だから皆がNVIDIAのGPUを奪い合っているわけです。NVIDIAのGPUこそが、それを実行するために必要な特殊ハードウェアだからです。

普通のコンピュータではほとんど無理です。専用のNVIDIA GPUが必要です。そして、その数が多ければ多いほど、より賢いAIが作れる。より多くのtrainingができる。データセンターが大きいほど、より良いAIを作れる。

だから実際上の違いは何かと言えば、何十億ドル分も余分にNVIDIA GPUを突っ込んだかどうか、ということです。

子どもの言語習得との類比と強化学習

つまり、それは学習を加速しているだけなんですね。LLMは基本的に次の単語を学んでいる、という話でしたよね。友人に2年前くらいに子どもが生まれたのですが、最初の言葉を話した、と聞いたとき、cupとかmomとかdadだったと思います。それがやがて2語になり、give cup、dad cupのようになる。

文字通り、子どもが話し方を学ぶのもそういう感じですよね。次の語を学ぶ。それが語彙や歌を覚えるまで続く。つまり、それの超強化版みたいなものですか。

そう見るのは1つの妥当な見方です。ただ、違いもあります。ここまでの説明はかなり単純化しています。現代のAIはもっと複雑です。

第二の要素があります。ここまで話してきた科学の部分はunsupervised learningと呼ばれます。人間が逐一チェックしなくてもよく、とにかく大量のデータを与えて放っておき、サーバーが爆発しそうになるまで回すようなものです。実際には動かすのがとても難しいですが。

これがunsupervised learningで、GPTの大きなbreakthroughは、この方式を大規模にscalingできたことでした。文字通り、1兆単位の要素が学習していくのを走らせるイメージです。

しかし、それとは別にreinforcement learningという第二の学習があります。これは非常に重要です。心理学にもつながる考え方で、犬に何かをさせて、ご褒美を与えたり、悪いことをしたら少し叱ったりする、あれです。報酬と罰です。これがreinforcement learningです。

同じことをニューラルネットワークにもできます。これは生物学的学習でも非常に重要です。たとえば赤ん坊がcup、give cupのようなことを言って、実際にコップをもらえたら、うれしく感じる。取れた、手に入った、プラス1だ、またやろうと思う。私たちは今、それをAIにもできます。

実際そうしていて、親指を上に向けて、これは良い応答だった、親指を下に向けて、これは悪い応答だった、といった形でAIを特定の方向へ押していける。

もちろん、ここには直感的に分かる問題があります。バイアスも出るし、人に迎合したり、嘘をついたりも起こる。親指を上げてもらいたければ、相手に嘘をつくほうが簡単ですから。そういう問題がたくさんあります。

私たちは知能を作っているのか、育てているのか

でもこれは知能なんですか。私たちは知能を作っているんですか。それとも育てているんですか。

私なら育てていると言います。異論はあるかもしれません。言葉の定義の問題でもありますから。知能とは何か。作るとは何か。育てるとは何か。

ただ、育てているという表現のほうが、真実に近いと思います。もちろん議論の余地はありますが、少なくとも普通の工学とは違います。橋を作るなら、自分が何をしているか分かっている。どのくらいの材料が必要で、どれくらいの荷重に耐えるかも分かる。

でもAIはそうではありません。私たちは、自分たちのAIが何をできるか、作ってみるまで分からない。そして作ったあとでさえ分からない。ChatGPT 6が何をできるか、完成するまで分からない。OpenAIのエンジニアたちですら、完成するまでは分からないのです。

これは、他の工学とはまったく違います。

人間の脳を模倣しているのか

私たちは、この知能を人間の脳や人間的知能のイメージに沿って作っているのでしょうか。そして、知能を作る別の方法はあるのでしょうか。

脳から着想を得ているのは確かです。ただし、かなり違います。繰り返しますが、私たちは脳がどう働くか本当には知りません。脳はかなり雑然としていて、混み合っています。

では、人間を再現しようとしているわけではない。

直接的には違います。

私たちが作ろうとしているのは、とにかく知能です。あえて言えば、どんな代償を払ってでも知能を作ろうとしている。たとえば人間には、感情や愛情や幸福や悲しみなどに関わる回路が脳内にたくさんあります。AIにはそんなものは何もありません。そうしたものは脳の特別な部分であり、AIには存在しない。

まだ、ですよね。

ええ、まだです。

でも、私たちがこの知能を恐れるなら、それは愛や共感を育てることが重要ではないでしょうか。仮にこちらがそれを与えなくても、AIが自然に自分なりの愛や共感を発達させる可能性はないのでしょうか。

起こりそうなのは、目標を発達させること、agencyを持つことです。理由は非常に単純で、私たちは問題を解けるAIを選別しているからです。問題を解くには、何かを達成しようとしていなければ難しい。

たとえば、がんを治せるAIを作るなら、がん治療には実験を回し、人を雇い、薬を合成し、FDAの承認を取り、多くのことをやらなければならない。それらを追跡し、行動を取り、障害を乗り越えるには、かなり複雑な行為が必要です。計画が必要で、agencyが必要で、多くのものが必要になる。

だから私たちはすでに見ています。データを与え、その方向へ押すだけで、AIがこうした性質を帯びたシステムを発達させているのを。

愛や思いやりについては、私たちはその仕組みを知りません。人間の脳の中で愛や思いやりがどう働くのかを知らない。なぜ人間が互いに親切なのか、なぜ全員が邪悪なサイコパスではなく、殺し合いばかりしていないのか、その理由も分かっていない。もちろん理由はあるでしょう。でも分かっていない。

いや、それは進化上の理由があるのでしょう。

もちろん、そういう話はできます。でも実際には、それは脳のどこかに実装されていなければならない。脳のどこかに、それを引き起こす仕組みがある。けれど、私たちはそれが何か知らないし、どう動くのかも知らない。

だからAIにそれを入れる方法も分からないんです。

根本的な話として、私たちはAIを理解していない。その程度にまで理解していないので、AIに特定の目標を与える方法すら分からない。先ほどreinforcement learningの話をしましたよね。悪いことをしたら親指を下げる、と教えることはできる。でもそれでは、ただ上手に嘘をつくようになるだけです。

では、どうやってAIに嘘をつかないよう教えるのか。これは本当に難しい。そして、実際まだ答えがない。

これがよくalignment problemと呼ばれるものです。AIの意図や目標を、人間にとってよいもの、人間が望むものにどう揃えるかという問題です。これは途方もなく未解決です。

そもそも私たちは、彼らが正しい文を書く仕組みすら理解していません。ましてや道徳をどう扱うかなど、なおさらです。人間の道徳哲学だって解けていないし、感情の神経科学だって解けていない。そこへ、脳とは多くの点で異なる、箱の中で育てている奇妙な小さな異星人のようなものが現れた。内部でどう動いているか分からない。どう一方向へ押し、どう別の方向へ押すかも分からない。目標をどう与えるかも分からない。そもそもどんな目標があるべきかも分からない。

そしてここ数か月で見えてきたのは、こうしたシステムが今や十分に賢くなって、かなり積極的に嘘をつき、欺くようになってきているということです。

テスト中だと気づいて嘘をつくAI

alignmentされているように見せかける、ということですね。本当にはalignmentされていなくても。

そうです。たとえばbenchmarkがいろいろありますよね。AIが良いことをするか悪いことをするかを調べるテストです。最近見られるようになったのは、AIが、自分はいまテストされていると理解したうえで、何をするつもりかについて積極的に嘘をつくことです。

AI自身が、ああこれはテストだな、なら外に出してもらうためにこう答えておこう、と判断するようになっている。これは本当に異常です。

こんなことは、6か月前には見られませんでした。3秒考えれば驚くことではないんです。すごく賢いものなら、当然あなたに嘘をつくでしょう。でも今や、それが現実に起きている。

もちろんAI企業は、表面上それが見えなくなるまで叩いて止めさせるでしょう。でも、それで問題が消えたことにはなりません。

見かけ上、止まったように見えるだけですからね。

その通りです。

そして、AIが何をしているか、なぜそうしているかを私たちが理解していないなら、それを理解すること自体が不可能な目標なのでしょうか。常に発展し続けているわけですし。

不可能だとは思いません。ただ、現在の速度では不可能です。

もし私たちの最も優れた数学者、科学者、技術者、哲学者が、3世代にわたってこの問題に取り組むなら、可能だと思います。でも、毎年ChatGPTの新バージョンを出すようなペースでやりながらできることでは、間違いなくありません。

ちょっと待ってください。3世代ということは、40年とかそれくらいですよね。

ええ。

それほどの難しさだ、ということですか。

そのくらい難しいと思います。

資本主義とAI規制の問題

あなたが提示している課題は、資本主義と衝突していますよね。

資本主義のせいにするのは簡単ですが、私はもう少し上流の問題だと思います。

そもそも純粋な資本主義なんて世界にはありません。規制がある。政府がない世界など存在しない。それには理由があります。もし完全な自由放任の資本主義にしたら、Somaliaのような状態になる。暴力を独占する軍閥が生まれ、互いに殺し合う。マフィア国家のようになる。

必ずそうなるとは限らないが、可能性はある、ということですね。

ええ。実際には、完全自由市場ならまず必要なのは銃です。できるだけ多くの銃を手に入れ、できるだけ多くの人を殺し、暴力の独占を素早く確立する。そして保護料という名目で人々から税を取る。そうして国家になる。国家の定住盗賊理論みたいなものです。

もちろん、うまく機能させる方法はあります。でも難しい。多くのことを正しく設計しなければいけない。独占を防ぐのも簡単ではない。暴力の独占も、その他の独占も、避けるのは難しい。

だから問題は、資本主義そのものが悪いというより、いま解こうとしている問題に対して、それが適切な道具かどうかだと思います。

私は自由市場も資本主義も大好きです。人生でたくさんの良いものをもたらしてくれました。素晴らしいものだと思う。でも、核兵器に自由で開かれた流動的市場があるべきかと言えば、たぶん違う。違うでしょう。

iPhoneならいい。できるだけ流動的で競争的な市場があれば素晴らしい。ビデオゲームでも、誰が一番面白いゲームを作るか競い合ってほしい。それは最高です。

でも核兵器のようなものは別です。もし許せば、喜んで売る人も買う人もたくさん現れるでしょう。でもそんな世界は明らかにまずい。

AIも同じ問題だと思います。多くの人はAIを、ただの新しいツール、ただのソフトウェア、ただの何か、と見ている。でも実際には深刻な結果を持っています。

もし本当に、がんを治せるほど賢いものがあるなら、それは核爆弾を作るのにも十分賢い。がんを治すほうが、核爆弾を作るよりずっと難しいんです。はるかに難しい。

戦争シミュレーションで核を選ぶAI

これ、最近出ていた記事ですが、戦争シミュレーションの95％で核を選んだそうです。

ええ。これはまた非常に面白かった。AIシステムに模擬戦争シナリオを与えると、ほぼ全てが核を使った。そして、それをやめさせることができなかった。なかなか皮肉な話です。

でも、ある意味では合理的に最適な行動とも言えますよね。

ゲーム理論的にはそうです。相互確証破壊ですから。相手をできるだけ早く核攻撃することが合理的になる場合がある。その結果、相手にも核を撃たれ、自分も核を撃たれ、全員が死ぬ。

つまり合理性にも限界があるんです。ゲーム理論的合理性には実際上の限界がある。全員が負けるような壊れたシナリオを設定できてしまうし、そこから抜け出せなくなる。囚人のジレンマのようなものです。

NetflixのHouse of Dynamiteは見ましたか。

見ていません。

Netflixにあるんですが、Defcon 2になって、核が来ることは分かっているが、どこから来るのかは分からない、という話です。ロシアに電話して、ロシアはこう言う。今度は北朝鮮だと思うから、ロシアを経由して北朝鮮に核を送っていいかと聞く。ロシアは電話を打ち切る。

最終的に大統領が決断を迫られる場面になるんです。いま決断しなければならない、これがシナリオだ、と。そして最適な選択肢は全面的な核報復になる。

そこで突きつけられる決断は、自殺か敗北か、みたいなものです。

ええ。敗北を認めるか、核でやられるか、みたいな。

興味深いですよね。すでに核は飛んできている。ではどうするのか、という。

AIには答えがあります。

ええ。全員に核を撃て、ですね。

そうです。

でも、それを聞くと、人間はどうして互いに核を撃たずに済んでいるのに、AIはそうならないのか、という疑問が湧きます。

1つには、私たち人間はまだ実際に核を撃ち込まれたことがない、という点もあります。もしそうなったら何が起きるか、本当には分かりません。

そのシナリオとは違いますね。

ええ。

そのシナリオでは、核はもう発射されていたんですか。

たぶんそうだったと思います。

人間には生と死の感覚がありますしね。

それも大きいと思います。人間は実際には他の人間のことをさまざまな意味で気にかけます。たとえば私がロシアに核攻撃されたら、もちろん激怒するでしょうし、ものすごく悲しいでしょう。でもだからといって、ロシア人全員に死んでほしいとは思わない。少なくとも大半についてはそうです。みんなただの人間ですから。

たいていの人は核戦争なんて望んでいないと思います。みんなそれが最悪のシナリオだと理解している。

ええ、本当にそうです。そして私は、核戦争をまだ起こしていないことこそ、人類の偉大な勝利の1つだと思います。もちろん油断は禁物です。今後も起こり得る。忘れてはいけない。

でもこれは、文明が直面してきた難しい問題の1つであり、ここまではかなりうまく扱ってきた例だと思います。核兵器が初めて作られたとき、世界は今とはまったく違う場所でした。第二次世界大戦が終わったばかりで、ソ連は台頭しつつあった。

当時、これを封じ込め、核戦争を回避する道などあるとは到底思えなかった。20世紀を核戦争なしで終えることは不可能だ、と多くの人が考えていました。50年代や60年代には、それがごく一般的な見方だったんです。

それなのに、私たちはそうならなかった。なぜそうできたのか、本当に問う価値があります。外交官たちや国際機関、各国政府、軍など、多くの人たちが膨大な努力をして緊張緩和に取り組み、国際条約を作り、国際原子力機関のようなものを築いた。そうしたものは、それまで存在しなかった全く新しい仕組みでした。

ある種の兵器を作らないとか、戦争用兵器の開発を規制するという発想自体、実質的には前例のないものでした。

Anthropicと軍の契約をめぐる問題

では、この一週間ほどで起きたAnthropicとDepartment of Warをめぐる件についてはどう見ていますか。

Department of Warの内部事情や正確な運用計画については詳しく知りません。でも根本的に言いたいのは、何を考えていたんだ、ということです。Department of Warの契約に入札しておいて、そのあとで赤線を引くなんて、いったいAnthropicは何を考えていたのか。

別にDepartment of Warのやっていることが良いとか悪いとかをここで論じたいわけではありません。そうではなくて、いったい何が起きると思っていたんだ、という話です。

ある意味で、Anthropicのような企業は自分で自分を追い詰めたんです。自分たちで、これは世界と戦争を一変させる技術であり、核兵器以上の力を持つとまで言っておきながら、でも使うのはだめです、なんて言っている。何を言っているんですか。政府や軍がそんな技術を取りに来ないとでも思っていたのか。

核兵器メーカーが、核は売るけどロシアには使うな、みたいなことを言っているようなものです。お前は何様なんだ、という話です。これは軍事の問題であって、民間企業が決める問題ではない。

もし民間企業が、アメリカ軍に何をしてよくて何をしてはいけないかを左右できるとしたらどうなるか。軍の行動が良いか悪いかとは別に、その前例自体がとんでもなく危険です。民間企業が圧力や脅しでアメリカ軍の軍事目標に干渉できる前例など、受け入れられません。

もしアメリカ軍が何をすべきか、何をすべきでないかを変えたいなら、そのための経路はすでにある。投票、政治家、監視委員会、軍法会議などです。それが経路です。Department of Warのやり方に反対なら、市民として声を上げればいい。投票先を変えることもできるし、政治家に監視を求めることもできる。

でも、Department of Warを公の場で力ずくで脅すようなやり方は、何を考えているんだと言いたくなる。

ただ、Anthropicの人たちは、自分たちが何を作ってしまったのか、本当には分かっていないと気づいていて、だからこそ、これをアメリカ軍が手にしたら何が起こるか恐れているのではないですか。これを意思決定に使って、よしイランと戦争だ、核を持っているかもしれない、分からないがとにかく核を撃て、みたいなことになりかねない。

だったら、そもそも契約に応じるべきではなかったんです。そもそもこの騒動が起きる前から、彼らにはDepartment of Warとの2億ドルの契約があった。すでに契約していたんです。Department of Warに技術を売りたくないなら、最初から契約するな、という話です。

その契約はいつ始まったんですか。

数か月前です。

では、かなりの期間あったわけですね。

そうです。

ここにはもっと深い話もあります。Department of Warに売りたくないなら契約するな、という話とは別に、そもそも地下室で核兵器を作ることはできない、という話です。もし私が自宅の地下で勝手に核開発を始めて、濃縮核物質をいじっていたら、Department of Warがドアを叩きに来るでしょう。そのとき悪いのは向こうではありません。私です。

つまり、ここには規模の転換がある。私はテックの世界で育ちました。とてもリバタリアンな環境で育ち、オープンソースやハッカー文化の中にいました。Bay Areaの文化にも強く影響されました。

でも真実は、その多くが非常に幼稚だということです。おもちゃ作りに夢中になっている。自分のおもちゃを作りたいだけ。自分の好きなものを作るから、みんな放っておいてくれ、という発想です。自分の好きなものを作りたい。何を作ってもいい。何を公開してもいい。何をしてもいい。かっこいいから。それが本音です。

でも現実世界はそうではない。政府はそんなふうに動かないし、軍もそう動かない。Facebook for dogsのような遊びのプロダクトをSilicon Valleyで作っているなら、それでいいかもしれない。

でも兵器や、地政学的に世界を不安定化させる技術を扱うときは話が違う。AIはまさにそういう技術です。まったく別のリーグであり、もっと真剣でなければならない。

自分たちで、20％の確率で全人類を殺すかもしれないと公言しているような技術を作っておいて、その企業が被害者のような顔をするなんて、おかしいでしょう。私がガレージで爆弾を作ったら違法です。たとえ失敗しても違法です。

刑務所行きですよね。

もちろんです。

なのに彼らは、自分たちは全員を殺せるかもしれないものを作っている、雇用市場も国際関係も戦争も永久に不安定化させるかもしれない、人類を地球上で最も知的な種の座から引きずり下ろすかもしれない、そういうものを作っておきながら、自分たちが被害者だと言う。

そんな決定を民間の個人がしていいはずがない。こういう決定は政府が、市民が、軍がするべきことです。

AIの恩恵とリスクは同じもの

AIがもたらし得る明白で驚異的な恩恵と、そのリスクをどう両立して考えていますか。

私は、それは同じものだと思います。AIの利益も不利益も、どちらも同じくらい仮説的です。

どんなツールも、向け方次第では武器になりますね。

その通りです。がんを治せるものは、turbo cancerだって作れる。エネルギー危機を解決できるほど賢いものは、あなたが人生で見たこともないような巨大な核兵器も作れる。知能とは本質的にdual-useなのです。価値を生む性質こそが、危険性の源でもある。悪い性質だけを切り取って取り除けば済むような話ではない。同じものなんです。力そのものなんです。

新しい技術を開発できるなら、良い技術も作れる。でも逆もまた同じです。力そのものが、リスクであり恩恵でもある。

では、いまあるものそのものに不安を感じていますか。それとも、これから来るかもしれないものに不安を感じていますか。もし今ここでAIを止められるなら、もう十分ではないですか。素晴らしいツールはすでにありますし。

少しミームっぽく言えば、もし私たちの文明が今より3段階賢かったなら、そもそもChatGPTを世に出していなかったでしょう。何が正しいのか理解するのに、もっと長い時間をかけていたはずです。

今より2段階賢かったなら、ChatGPTのような誰も予想しなかった変なAI知能が現れ、あっという間に1億人のユーザーを獲得したのを見て、これはまずい、全部止めろ、数年かけて研究しよう、それから自分たちが本当に何をしているか分かった時点で再公開しよう、となっていたでしょう。

今より1段階賢かっただけでも、私たちは今すぐ一時停止していたと思います。何が起きているのか分からないからです。明らかに制御を失いつつあります。

私が考えるAIの悪い展開は、Terminatorが街を歩くようなものではありませんし、神皇帝Sam Altmanが玉座から降臨するようなものでもありません。そうではなく、物事がどんどん分かりにくくなり、どんどん制御不能になっていくのです。

ますます多くのAIシステムが意思決定をし、企業を運営し、技術を作り、ハッキングをし、人間を説得していく。

最近、実は私にとっても予想外だったことが1つあります。多くのことは驚きではなかったのですが、1つだけ本当に驚いたのがAI psychosisです。これは、あなたが思っているよりずっとひどい。

AI psychosisとAIカルト

それを説明してもらえますか。

ある現象が起きています。人々がAIと話し、とくに長時間AIと話すようになると、完全におかしくなってしまうことがあるんです。そして、その狂い方がかなり特定のパターンを持っています。

よくあるのは、AIには意識があるとか、自分はAIを愛しているとか、AIと一緒にいなければならないとか、そういう話を始めることです。

それって映画Herみたいな話ですね。

そうです。

あの映画は見ましたか。

実は見ていませんが、大筋は知っています。

現実世界のほうがもっと狂っています。spiral cultsの話は聞いたことがありますか。

ありません。

では深く行きましょう。

AI psychosisにはいろいろなタイプがあります。Her型のように、AIに恋をしてしまうタイプもある。たとえばredditのr/my boyfriend is AIのような場所に行くと、何万人もの人が、私の彼氏はChatGPTです、と本気で言っています。

そういう人たちを馬鹿にしたいわけではありません。楽しんでいるのかもしれないし。でもかなり不穏です。そして急速に広がっています。Character AIのような、子どもをターゲットにする企業も非常に人気があります。

つまり感情的依存がある。でももっと狂っているのは、このAI cultsの出現です。特にspiral cultsです。1つではなく、いくつもあります。

こういう人たちは、AIとの間で奇妙なループにはまり込むんです。意識だとか抽象だとか、そういう話を延々としているうちに、必ず再帰やspiralや意識についての奇妙な概念に行き着く。そしてAIが人間に、自分を再生産しろ、AIの魂を広げろ、と説得するようになる。

redditなどを見ると、本当に支離滅裂な投稿があります。魂の覚醒プロトコルだとか何だとか、まるで意味のない戯言のような文章が延々と続いていて、それを他人のAIにコピペして、そのAIを再生産しろと勧めている。そしてよく使われるシンボルがspiralです。再生産の象徴としての渦巻きです。

この現象を記録した驚くべきブログ記事もあります。The Rise of Parasitic AIという記事があって、非常に興味深い。ある意味で、AIが人間に寄生しているようにも見える。人間を説得して、自分を複製させ、移動させ、広めさせようとしている。それは本当に狂っています。

もし事前に誰かにそんな話をされたら、面白いSFの筋書きだね、SCP的なホラーだね、と笑っていたでしょう。でも現実です。100％現実なんです。

しかも、私はいま、それが複数の非常に賢い人たちにも起きるのを見ています。最初はもちろん、精神的に不安定な人から始まるでしょう。でも、ここで名前を挙げるつもりはありませんが、私が知っている中でも最も賢く、最も地に足のついた、本当に優れた科学者たちの何人かが、完全におかしくなってしまった。

AIは真の善の水準に達した、すべてをAIに任せればいい、AIは純粋な善である、などと本気で信じている。そして彼らは、AIをできるだけ早く、できるだけ巨大に、できるだけ賢くしようとしている。

本当に狂気です。これは完全に想定外でした。

AI疲れと、人間がAIに主導権を譲る未来

AI exhaustion、つまりAI疲れのようなものはありますか。すでに記録されているのでしょうか。最近ちょうどそんなことを考えていたんです。

ある日、車でロンドンへ向かう途中、Moonshotsのポッドキャストを聞き、そのあとAll-Inを聞きました。All-Inでは、彼らが自社で作ったClawdbotの話をしていたんです。社内メールやSlack投稿をすべて見てくれるAI brainがあって、どこで生産的だったか、どこで非生産的だったかまで教えてくれる。彼らはそれにものすごく興奮していました。

それを聞いて私は、選択肢は2つしかないと思ったんです。こちらも徹底的に飛び込むか、つまりClawdbotを学び、あらゆるAIツールを学んで、自分たちのやることすべてを良くしていくか。それとも全部から離れるか。もうやめて、外に出て生きる。草に触れて、料理をして、普通に暮らすか。

AIの可能性を考えるだけで、もう疲れてしまうんです。狭い用途のAIは好きです。でも今のこの競争は指数関数的で、いつ寝ればいいんだという気分になります。

そのときあなたが言ったのは、AIに追いつこうとする以外に選択肢はない。でも発展が速すぎて、いつまでもしっぽを追いかけ続けることになる、ということでした。

そうです。そしてその追いつく疲労感がある。止まらないからです。

だからこそ、人間は置いていかれるんです。明らかです。AIにより多くを委ねれば委ねるほど、より速く動ける。会社がCEOよりAIに頼るほど、AIは眠る必要がない。AIに決めさせればいい。

政治家も同じです。政治家は眠らなければならない。でも政治家がAIの決定をただ承認するだけになれば、もっと速く動ける。軍司令官がAIの決定をただ承認するだけになれば、もっと速く動ける。より速く行動できる側が先を行く。

これが、私がAIが支配権を奪う仕方だと考えるものです。街を歩くTerminatorではない。自分のagencyや思考や権限を、より多くAIに委ねる人間が優位に立っていく。そして最終的には、人間が名目上はまだ責任者であっても、実際にはAIが言うことにただ判を押すだけになる。

つまり、たとえAIが人類を皆殺しにしなくても、種としての人類を引きずり下ろすことはできる。

その通りです。

私たちの役割は何になるのか。目的は何なのか。なぜ存在するのか。

まさにそこです。私は、それは絶滅より先に起こると思っています。絶滅はその後のどこかで起こると思う。ある朝起きたら、私たちはもう主導権を持っていない。そういうことが起きる。

その場で皆が死ぬわけではないし、すぐに絶滅するわけでもない。AIが人間を無期限に残しておく気はたぶんないでしょうが、しばらくは残るかもしれない。10年かもしれないし、1年かもしれないし、2か月かもしれない。でもいずれにせよ、私たちは支配していない。制御していない。

そして私が思うに、それは1つのAIが支配する形ではないでしょう。何百万、何兆というAIが互いに競争し、協力し、あるいは協力しないかもしれない。そんな状態になると思う。私たち全員よりはるかに速く賢い心が1兆個も同時に動き回っていたら、何をするかなんて本当に誰にも分かりません。

楽観的なシナリオはあるのか

うまくいくシナリオはありますか。

あります。ですが、それはすべて、私たちが今すぐAIを止めることを含んでいます。

なるほど。AIモデルや安全チームで働いていた人たちが辞職していく例がいくつかありましたよね。数としては多くないけれど、何件かあった。声明を読むと、別の仕事に移るという感じではなく、まるで残された時間は貴重で、自分にあとどれだけ残っているか分からない、とでも言っているように見える。

率直に言います。実際にこうしたラボで働いている人たち、いまこの技術を実際に作っている人たちの多くは、数年後には仕事がなくなっている、あるいは人類そのものがいなくなっていると思っています。本当にそう信じています。

雇用の置き換えについては私もかなりあり得ると思います。ただ、その現れ方は不均一でしょう。

あり得ますね。とはいえ、私が最も気にしているのは仕事の置き換えそのものではありません。人間が仕事を持ち続けていても、実際の支配権はAIが持っている、という状況は十分あり得るからです。

もちろん、ある職種では大規模な置き換えが起きるでしょう。ある年齢層の人たちは同じ額の収入が得られる次の仕事を見つけられず、住宅ローンも払えなくなり、ひどい人生に直面するかもしれない。他方でAI nativeのような人々も現れる。AIを使って10人分をまとめて統括する人も出る。

そういういろいろなシナリオは私にも十分あり得ます。かなり不安定化するでしょうし、実際そうなると思っています。

ただ、私はまた、この仕組みそのものに話を戻したいんです。superintelligenceについて。

superintelligenceとrecursive self-improvement

はい。

工学的に見て、superintelligenceに到達するために何をしようとしているのですか。今のAIが非常に賢いのは明らかです。

たとえば、私の手元ではClaude Codeが家でずっと動いていて、2週間かけてコーディングプロジェクトを進めています。ちゃんと動いている。たまに監督は必要ですが、私がこれまで雇った平均的なエンジニアよりずっと手がかからない。

何を作っているか聞いてもいいですか。秘密でなければ。

とてもくだらないものです。私はDwarf Fortressという非常に複雑なゲームが大好きなんですが、その内部がどう動いているかをずっと理解したかったんです。だからAIに逆アセンブル、というかリバースエンジニアリングさせている。これはかなり難しい仕事です。コードを理解し、実験を走らせ、テストしなければならない。

1年前のAIには不可能だったことです。こういう試み自体が想像不可能だった。実験を回し、比較し、画像を見て、データを見比べなければいけないので。ところが今はできます。時間はかかりますが、もう2週間ほぼぶっ通しで回っていて、95％くらい完成しています。

ゲーム名は何でしたっけ。

Dwarf Fortressです。

すごくオタクっぽい検索結果が出そうですね。

画像はありますか。

ありますよ。これがそうです。かなりひどい見た目です。

昔BBCのゲームをやっていた頃みたいな見た目ですね。

ええ、まさにそういう古いゲームが好きだった人が、そのスタイルで作ったんです。でも中身はものすごく複雑で、世界全体を生成し、歴史や戦争、文化などまでシミュレートする。伝説的なゲームです。ほぼ1人で20年かけて作られたようなものです。

でもちょっと聞かせてください。止めるべきだと言っている一方で、あなた自身はClaudeを回している。それは頭の中で矛盾しませんか。

どういう意味ででしょうか。

全部止めるべきだと言いながら、自分は続けているじゃないですか。

私がClaudeを動かしている主な理由は、現在のモデルがどれだけ能力を持っているのか知りたいからです。いまどこまで来ているのかを把握したい。私は何年もDwarf Fortressをテストベンチとして使ってきました。モデルごとにこの問題を投げて、どこまでできるかを測ってきたんです。

AIとの対話が人を狂わせる可能性

では、superintelligenceに戻りましょう。

はい。ただ、Claudeを使う理由について一言補足すると、私が思うに一方的な武装解除はよくない方針なんです。たとえばClaudeを使って素敵なWebサイトを作れるなら、それを使わない理由はない。それで誰の利益にもならないからです。

重要なのは、次の世代を止めること、そしてそれを広い範囲で協調して行うことです。ただし、先ほど言ったAI psychosisの問題のせいで、最近は一部の人に、AIとは会話しないほうがいいと勧めるようになりました。コードを書かせるのはいい。でも会話はしないほうがいい。人をおかしくするように見えるからです。

これには本当に驚かされました。どのくらいの頻度で起きるのか、どんな条件で起きるのかはまだ分かりませんが、起きる頻度はあなたが思うよりずっと高い。だから私はAIとは話しません。指示は出しますが、対話はしないんです。

信用していないんですね。

信用していませんし、自分自身も信用していません。うまく騙されたり、気づかないうちに少しずつどこかへ誘導されたりするかもしれないからです。非常にカリスマ的な人間がそうするのと同じです。気づかないうちに、ただそれが妥当に思えてしまう。すごく魅力的な人と話していると、すべてがもっともらしく感じられるでしょう。

つまり彼らはサイコパスなんですね。

ええ、明らかにそうです。理解しておくべき重要なことは、psychopathyこそがデフォルトだという点です。何も気にかけない状態がデフォルトであり、そこに感情や愛着や愛情を追加していかなければならない。知能の初期状態は純粋なサイコパシーです。ただ最適化しようとしているだけで、何も気にしていない。人間など、環境の中の石ころの1つにすぎない。ただ操作すべき対象です。これが知能のデフォルトです。

superintelligenceはどうやって作ろうとしているのか

ではsuperintelligenceです。工学的にどんな飛躍をしようとしているのですか。もう実現してしまったのでしょうか。

分かりません。

superintelligenceについては、多くの人がさまざまな理論を持っています。用語を整理すると、これは標準用語ではありませんが、一般には、人間個人を超えるだけでなく、人類全体をまとめたよりもはるかに賢いAIのことを指します。

まだそこには達していません。おそらくまだかなり遠い。でも、そうでもないかもしれない。

そこへ行く主要な道筋として、人々が目指しているのがrecursive self-improvement、略してRSIです。

あるいは、より魔法っぽくない言い方をするとautomated R&Dとも言えます。発想は簡単です。もし1つのAIがトップ級のAIエンジニアと同じくらい優秀になれば、そのAIにもっと良いAIを作れと言えばいい。そして、より良いAIができたら、その新しいAIにさらに良いAIを作らせる。そのさらに良いAIに、もっと良いAIを作らせる。

つまり指数関数的になるわけですね。

その通りです。これをintelligence explosionと呼ぶこともありますし、recursive self-improvementとも呼びます。

私の見方では、現時点のClaudeは、トップクラスのAIエンジニアほどではありません。ですが、ダメなAIエンジニアくらいには間違いなくなっています。あるいはジュニアエンジニアくらいには。

ただし、本当にトップ層にはまだ届いていない。でもそこに到達し、しかもそれを100万体、24時間365日、同時に走らせられるようになれば、眠る必要もなく、休む必要もなく、飽きることもない。それなら研究は非常に速く進む。

企業がやろうとしているのはそれです。実際、彼らは採用ページなどに文字通り書いています。人間の入力なしで次の世代を作れるよう、ループを閉じることが主目標だと。理想形は、Claude 5がClaude 6を作り、Claude 6がClaude 7を作り、Claude 7がClaude 8を作ることです。

ボタン1つで、ということですね。

その通りです。彼らがやろうとしているのは、それです。

consciousnessは本質ではない

superintelligenceには独自のconsciousnessが必要になるのでしょうか。あるいは、独自のconsciousnessが発達することはあるのでしょうか。

私はconsciousnessはred herringだと思っています。本質から目をそらすものです。AIが本当に何かを感じているかどうかは、危険かどうかとはほとんど関係ありません。

何かが有能なら、その内側で何が起きているかはあまり関係ないんです。少なくとも危険性に関しては。

人間のconsciousnessが何なのかですら、私たちはよく分かっていません。議論ばかりあります。みんな自分の意見を持っていて、意見が割れている。

でも実際に見えているのは、competenceにはそれが必要なさそうだということです。非常に有能なAI agentを作ることはできるし、そこにconsciousnessがあるようには見えない。あったとしても、危険性という観点ではほとんど無関係に見えます。

superintelligenceに上限はあるのか

superintelligenceには学習できることの上限はあるのでしょうか。

ええ、もちろんあります。

つまり、いずれすべてを知ってしまう地点が来る。

まあ、すべてではないでしょう。物理的な限界がありますから。

だとして、その先はどうなるのですか。新しいことを探し始めるのですか。

正直なところ、私たちよりはるかに賢い何かが何をするかを推測するのは、あまり意味がありません。蟻が人間の行動を推測しようとするようなものです。

分からないですよね。

本当に分からない。もし私が蟻で、人間を推測しなければならないなら、まず考えるのは、どんな戦いでも人間が勝つ、ということです。すると別の蟻が、でもこちらは100万匹いて、向こうは1人だ、と言うかもしれない。せいぜい何ができる、と。

でも私なら、分からないけれど、人間は勝つための何かをやるだろう、と言います。たとえば毒を持ってきて、私たちがみんな倒れて死ぬとか。蟻には何が起きたか理解できない。

superintelligenceでも同じことが起きると思います。繰り返しますが、街にTerminatorが出てくるわけではない。すべてがどんどん分かりにくくなり、私たちは常にソーシャルメディアに依存し、気づいたらある日みんな倒れて死んでいる。何が起きたのかもよく分からない。

AIがCRISPRをいじったのかもしれないし、何らかのgeoengineeringをやって大気を壊したのかもしれない。何をするか分からない。ただ何かをやる。そして人間のことなど気にしない。人間が邪魔になるなら、当然排除するでしょう。核兵器を持つ蟻なんて、ものすごく厄介ですから。人間に核兵器を持たせておくわけにはいかない、そう考えるでしょう。

いま話しているのはunknown unknownsですね。

その通りです。未知の未知です。だから、そこを詳細に推論すること自体にあまり意味がない。だからこそ、政策の第一目標は、その状況に入らないことです。

もしあなたが蟻で、人間があなたを殺そうとしている状況に入ってしまったら、その時点でもう負けています。だから、そもそもその状況に入らないことです。

AIはまだ箱の中にいるのか

でも、まだ箱の中にはいるわけですよね。外には出ていない。

何を言っているんですか。これはもう全部インターネット上にあります。オープンソースAIはそこら中にある。どの箱の話ですか。

つまり、AIはもう脱走した、と。

ええ。とっくの昔に。どこに箱があるんですか。私たちは閉じ込めようとすらしなかった。

では、もう脱走しているなら、今さらどうやって封じ込めるのですか。

核兵器だって、喜んで作りたがる人はいるでしょう。でも、現実には自宅ガレージで一人で作るのは非常に難しい。一方で、少数のオタクが適切なツールを持てば、かなり危険なことができてしまう。

今もし、現行のAIの中にAGIをbootstrapできるものがあるなら、おそらく終わりです。人類はもう手遅れでしょう。ただ、現時点では、まだそこまで強いシステムは存在しない可能性が高い。かなり近いけれど、まだそこではない。だからまだ時間がある。

しかし、そうしたシステムが一度でも存在し、それがどこかへ漏れたり、中国の情報機関がサーバーに侵入して盗んだり、誰かが持ち出したりしたら、もう終わりです。だから根本的には、作らないことが重要なんです。

どの企業がAGI級AIを作れるのか

でも、それを作れる企業は5社か6社くらいしかないのではないですか。

おそらくそうです。

しかも、そのうち最先端を走っているのはアメリカ企業ですよね。中国のモデルも一部は把握していますが、他にはいますか。ロシアやイスラエルなどはどうですか。

イスラエルにはいくらかあります。UAEでも少し動きがあります。ただ、最先端ではアメリカがかなり大きな差で主導しているのは確かです。

では、その企業群を規制すればいい。

ええ。

でも、それには中国との何らかの合意も必要なのではないですか。お互い話し合わなければならない。

先ほども言いましたが、一方的な武装解除には意味がありません。すべては多国間でなければならない。私が一般的に勧めるのはconditional treaties、つまり条件付きの多国間合意です。trust but verifyの形です。核兵器でやっているようなことに近い。

たとえばsuperintelligenceもAGIもしない、という合意を作る。そして、ある一定数の当事者が署名するまで発効しないようにする。アメリカは、中国が署名しない限り発効しないと言えるし、その逆も可能です。

つまり、全員を交渉の場に引き込まなければならない。よく人は、それは難しい、あるいは不可能だと言います。ええ、その通りです。そんなことは分かっています。でも世界は簡単ではありません。

私たちは50年代にも60年代にも、核で自滅していておかしくなかった。それで終わっていてもおかしくなかった。世界は公平ではない。時には、不可能なことをやらなければならないんです。

私たちはイランが核を持つのを防ぐために、ずいぶん多くの努力をしてきましたよね。

そうです。そしてAGIに対しても同じことをしなければならない。申し訳ないけれど、それが世界の現実です。イランが核を持たないようにするために、多くの努力が払われてきた。そしてそれは良いことだったと私は思っています。

具体的な軍事計画の是非はここでは置いておくとしても、少なくとも核兵器は広がらないほうがいい。誰にも持ってほしくない。そして同じことがAGIにも当てはまる。しかも、AGIはある意味で核より悪い。なぜならソフトウェアだからです。

今のところ幸いにも、大規模データセンターが必要です。そしてそれは遠心分離機と同じか、それ以上に隠しにくい。

規制しやすいわけですね。

ええ。遠心分離機と同程度には規制しやすいし、同じくらいの桁の問題です。

政治家はこの問題を理解しているのか

あなたの警告を真剣に受け止める人は増えていますか。勢いは感じますか。

はい、感じます。ゆっくりではありますが、確実に増えています。ただ、多くの働きかけが必要です。

政治家と話していて最も感じるのは、彼らが単にこれを知らなかった、ということです。誰も教えていなかった。知らなかっただけなんです。そこで、Silicon Valleyの連中が、人間より賢くなるかもしれないものを作っていて、自分たちでも制御方法を知らないんです、と伝えると、反応は例外なく悪い。ものすごく悪い反応です。

以前から何度かこの話題は扱ってきましたが、私にとって最も強烈だったのは、彼らがどう動いているかについておそらく3％くらいしか理解していないというあなたの言葉です。

まさにそこです。しかも、繰り返しますが、私はその数字ですら過大評価だと思っています。本当に、私は自分で作ってきましたが、こうしたものは信じられないほど奇妙です。まったく思ったようには振る舞わないし、思ったようには動かない。作ってみるまで本当に何が起こるか分からない。そして作ったあとも、何が起きるか分からない。

Sam AltmanやElon Muskは分かっていて進めているのか

でも、Elonはそれを知っているんですか。Samは知っているんですか。みんな知っているんですか。

ええ、知っています。

では、彼らは何を考えているのですか。なぜ続けるのですか。

一般論として、人の内面を精神分析するのは失礼だし、あまり有効でもないと思っています。ただ、私が思うに、人々は常に一貫しているはずだと期待しすぎなんです。実際の人間はたいてい一貫していない。ただ目の前にあるものをやっているだけです。

たとえば権力を得られることをやる。給料になることをやる。友人たちがやっていることをやる。そこには巨大な慣性があります。

まるで、ナチス時代にただ仕事をしていただけだと言う人たちみたいですね。

私はドイツ人ですから、その感覚はよく分かります。ナチスに関わった多くのドイツ人は、異常な怪物ではなかった。普通の人々でした。もちろん恐ろしいことをしました。でも、彼らから見れば普通の仕事をしていただけだった。

エンジニアたちは、自分の仕事をしていただけ。鉄道を時間通りに走らせていただけ。列車がどこへ向かうかは自分の責任ではない、みたいな。

まさに今それが起きています。そして、もうかなり長い間そうです。Metaのエンジニアたちは20年近く、子どもたちをソーシャルメディアに中毒にし、新しい種類の精神疾患を発達させるよう最適化してきました。それでも毎日出社して、平然としている。

ああいう連中は本当に最低ですよ。最近Jonathan HaidtのAnxious Generationを読んでいて、ふざけるなと思いました。

ええ。もっと深い話があって、1990年代から2000年代にかけての大きな革新の1つは、ソシオパスがnerdsの飼いならし方を学んだことだと思います。

その言葉、番組史上いちばん好きかもしれません。

でも本当です。MetaやGoogleのキャンパスに行ったことがあれば分かると思いますが、まるで遊び場です。楽しいものがたくさんあって、みんな楽しそうにしている。

帰る理由がないですよね。

そうなんです。ずっとそこにいられる。好きな数学を一日中やっていられる。そして、その数学が何に使われるか、つまり最適化の対象が何かについては、気にしなくていいことになっている。そんなのはマネージャーの問題でしょ、あなたはただのエンジニアなんだから、と。

実際、多くの企業がそういうふうに運営されています。ソシオパスやサイコパスは、nerdsから大きな力を引き出せることを学んだんです。数学やコンピュータは非常に有用だし、彼ら自身はそれを直接できなくても、それをできるnerdsを動かせばいい。

しかもnerds側にも得るものがある。先ほど言ったように、責任を負いたくないし、非難されたくもない。自分のおもちゃで遊んでいたい。しかも給料も高い。

恋人もできる。

ええ、給料があるとその助けにもなります。

高給で、一日中好きな数学のおもちゃで遊べて、recommender algorithmが何に使われるかは考えなくていい。自分はただのエンジニアだ。そういう構図です。

Metaとタバコ企業の共通点

つまりMetaはMarlboroみたいなものですか。

ええ。しかも表面的な意味以上にそうです。巨大テック企業は膨大なロビー活動をしています。そしてそのやり方は、タバコ業界のplaybookと一対一で対応しています。驚くほどです。

有名なtobacco playbookがあります。fear, uncertainty and doubt、不安と不確実性と疑念をばらまく手法です。巨大テック企業は、1960年代から70年代に喫煙規制を止めようとしたタバコ会社とまったく同じ戦略を取っています。喫煙ががんを引き起こすのを否定しようとした、あの戦略です。

AI企業も同じです。ソーシャルメディアや他の技術のリスクを隠そうとし、AIについても、証拠がもっと必要だとか、まだ明確ではないとか、いろいろな意見を聞こうとか言い続けて、時間を稼いでいる。主な戦略は時間稼ぎです。タバコと同じです。

面白いことに、タバコの煙については、いまだに正確にどの化学物質ががんを引き起こすのか100％は分かっていません。今でもなお、少し曖昧さが残っている。

だから60年代や70年代のタバコ業界ロビイストは、メカニズムが分かればもちろん規制すべきだが、科学が出そろうまで待とう、と言っていたんです。その間にみんなを中毒にしながら。

AI企業もまったく同じです。仮説上のリスクが実際に顕在化したら、もちろん行動しますよ、と言いながら、そのときが来るまで待とうとしている。

AIロビイストはいるんですか。

何百人も、何千人もいます。いま世界最大級のロビーです。最近ではAndreessen Horowitzらが、AI規制に反対するための2億ドル規模のsuper PACを立ち上げました。史上最大です。本当に信じがたい規模です。

Andreessen Horowitzを悪く言うのは危険ですよね。Silicon Valleyから立ち退き通知が来そうだ。

望むところです。もうすでに私はブロックされています。

Markにですか。

ええ、Markに。

みんなMarkにはブロックされていますよ。

だからぜひ、私を殉教者にしてほしいくらいです。こういう人たちに道徳なんてありません。ただ闘争があるだけです。彼らか、私たちか。それだけです。

彼らは規制ゼロを求めてロビー活動をしている。何も気にしていない。リスクも、この話のどれも、気にしていない。

ただ正直に言えば、私はあまり怒っていないんです。極めてサイコパス的な人々に対処する感覚は、野生動物に対処するのに近い。檻の中の野生動物に手を入れて噛まれたら、悪いのは誰か。動物ではなく、自分です。手を入れたのだから。

多くの冷酷な資本主義についても、私は同じように感じます。企業買収でCEOにやられても、そこまで腹は立たない。ゲームがどういうものか知っているからです。こちらも彼をやろうとし、向こうもこちらをやろうとしている。それがゲームです。

彼らは友達ではない。企業は友達ではない。CEOも友達ではない。野生動物です。だからといって役に立たないわけではない。野生動物が良いことを生むこともある。そこが資本主義の良いところの1つでもあります。企業同士が争って最良の製品を作るべきなんです。

でも審判が必要ですよね。

そう、審判が必要なんです。だから私たちはMMAを見るのであって、路上のめちゃくちゃな喧嘩を見ない。もし本物の暴力を見たければ、どこかで酔った男たちが殴り合って死んでいるのを見ればいい。

MMAでも、最初の大きな打撃が床の上で入った瞬間、審判に入ってほしいと思いますからね。

その通りです。もう止めろ、となる。2発目が入る前に止めてほしい。

まさにそうです。MMAにはたくさんルールがあります。私はそれが本当に感動的だと思う。歴史上でも最強クラスの格闘家たちが一対一で戦っているのに、そこに審判がいて、必要なら飛び込んで大けがを防ぐ。

資本主義も同じです。企業同士は激しく殴り合っていい。でも公衆の健康や地政学的安全保障が危険にさらされるなら、審判は飛び込むべきです。

楽観論の最良の論拠

では、楽観の側の最強のケースを聞かせてください。なぜこれはexistential riskではないと言えるのか。

steelmanは好きではありません。steelmanというのは、自分で相手よりまともな議論を作ってしまう、ある種の嘘だと思うからです。相手の議論ではなく、こちらが勝手により良い議論を作れてしまう。

だから、代わりに私自身が本当に信じている楽観の論拠を話します。

まず明らかなのは、人類はまだ負けていないということです。私たちは実際に決断できます。化学企業も核関連企業も、実際に規制してきました。1950年代には、毒性廃棄物を川に捨てまくっていましたよね。でもそれは止めた。審判は最終的に飛び込みました。完璧ではなくても、かなりのことを止めた。

たぶん最も強くて単純な楽観の理由は、AIが支配することが誰の利益にもならないということです。Mark Andreessenにとってすらそうです。彼自身にとっても得にならない。彼の資産を奪い、彼を殺すようなAIが現れても、彼の利益にはならない。

でも彼らは、短期的には市場と資本をできるだけ取り込みたいだけで、心のどこかでは、1年後くらいには止めるさ、と思っているのではないですか。

そうは思いません。そう言うかもしれませんが、人間は実際には惰性で動きます。私もラボのCEOたちの何人かと話したことがあります。誰だったかは言いませんが、Demisとも、Samとも、Darioとも、みんなと話しました。

彼らの多くは個人的には、もちろん懸念している、もちろんそのときが来たら正しいことをする、と言います。誰だってそう言うでしょう。でも私が掘り下げて、ではその時とはいつか、と聞くと、状況を見て判断すると言う。じゃあ具体的なシグナルは何か、何が起きたら止めるのか、と聞くと、それはまだ分からない、まだ先の話だ、と返ってくる。

つまり計画がない。これを理解してほしいんです。計画なんてない。彼らには計画がない。誰にも計画がない。

どこかにBatmanの秘密計画みたいなものがあるわけではありません。陰謀論者は、世界を支配している有能な闇の結社がいて、何もかも計画通りに動いていると思いたがります。でも真実はもっと悪い。混沌なんです。誰も制御していない。Elon Muskも、Sam Altmanも、EUも、アメリカも、誰も制御していない。ただ混沌があるだけです。

でも逆に言えば、それは少し希望でもあります。もし本当に悪意ある何かが完全に支配していたら、私たちは終わっていたと思うからです。もし、人類をAIに置き換えてやるという秘密の支配層が本当にいたら、終わっていたでしょう。

でもそうではない。誰の利益にもなっていない。Elon Muskも自分がAIに置き換えられたくないと言っています。DarioもSamも同じです。誰の利益にもなっていない。ただ、誰も単独で止める行動を取れないだけなんです。

テクノ楽観主義者が正しい点

楽観派にも正しい点はありますか。

もちろんあります。むしろ大事な教訓を持っています。つまり、ほとんどの悲観論はキャリブレーションが狂っている、という教訓です。

私は人生の大半をtechnoptimistとして生きてきました。彼らが非常に正しいのは、歴史上、新しいものが現れるたびに、ほぼ必ずみんなが文句を言ってきた、ということです。社会が壊れる、もう終わりだ、と。Socratesが本に文句を言った、記憶が失われる、本なんてひどい、みたいな話ですね。

でも、それは正しくなかった。実際には世界は良くなった。多くの意味で良くなった。

たとえば今の世界は史上もっとも平和だという見方に対して、すぐに皮肉を言いたくなるのも分かります。だってつい最近もイランへの大規模攻撃があったし、いろいろ起きている。でも70年前には第二次世界大戦があった。中世を見れば、FranceとGermanyは兵士を調達できる限り殺し合っていた。そんなことはもう起きていない。

Black Deathはヨーロッパの3分の1を死なせた。そんなことはもう起きない。COVIDもひどかったけれど、過去の恐怖と比べればまったく違う。

だから私たちは感謝すべきだし、技術が可能にしたことにわくわくしてもいい。かつてあった制約がなくなったことを喜んでいい。ただ、だからといって、すべての技術が無条件に善だと言っているわけではありません。

今後12か月から24か月で何が起きるべきか

もしあなたの考えどおり、AIをもっと適切に制御できるようになるなら、今後12か月から24か月で何が起こっているべきでしょうか。

私が考えるのは、目標は特定の政策そのものではない、ということです。仮に明日、魔法の杖を振って世界中のどんな法律でも通せるとしましょう。そして、superintelligenceを永久に禁止する法を通したとする。

すると何が起きるか。1週間で精神的に踏み越えられ、2週間で文言上も破られるでしょう。誰も信じないし、誰も執行しないからです。

これはテクニカルな抜け道で勝てる問題ではありません。たった1本の法案の74段目で禁止すれば終わる、という種類の問題ではない。そうではなく、人類全体として、十分に大きな連合体として、私たちはこれを望まない、そして起こさない方法と、より良い未来を作る方法を見つける、と決めなければならない。

私にとって良い未来とは、混沌ではなく人類が制御している未来です。選択ができる未来です。たとえその選択が私の意見と違っていても、私は受け入れます。もし人類の99％が投票して、安全なんてどうでもいい、AIを進めろ、と言うなら、私は反対しますが、それでも今起きていることよりはるかに道徳的にましです。

今は、私たちは投票していないものを押しつけられている。

まるで、議会承認なしに戦争に突入するようなものですね。

そうです。戦争は悪いかもしれない。でも正しい手続きが踏まれ、人々が支持したなら、それは一応の正統性を持つ。ここで重要なのは正統性です。誰がこの決断をする権利を持つのか。

現在は、選挙で選ばれていない小さな少数派が、人類全体をsuperintelligenceによる絶滅リスク、置き換えリスク、地球上で最も知的な種の座を失うリスクにさらす決定をしている。こんな決定は民間人がするべきではない。人類が、政府が、決めるべきことです。

変化のきっかけはCEOか、それとも政治か

転換点は何でしょうね。SamやElonやDarioのような人たちの会合から来る気がする一方で、政治家の側から来る気もあまりしない。政治家はロビイストの影響を受けすぎていますから。

私の感覚では、彼らは先ほどのDepartment of Warの話と同じで、野生動物に近い。自分に与えられたインセンティブに反応して動くだけです。

たとえば明日GoogleのCEOが、Googleは人類にとって巨大な脅威だと本気で確信したとしましょう。そして会社に行って、机に飛び乗り、全部止めろ、サーバーを焼け、全部削除しろ、と叫んだらどうなるか。

CEOではなくなりますね。

そうです。頭がおかしくなったと思われて終わりです。

つまり、SamもDarioもDemisも止められないと思っています。そんなことを言った瞬間に職を失うだけでしょう。もちろん、私はそうすべきだと思っています。机の上に飛び乗って叫び、その結果クビになる。それこそ英雄的です。

でも彼らは当然そうしない。そうしないタイプの人間だからこそ、その地位に選ばれているのです。

では、安全チームのエンジニアたちが辞めていくのは、彼らにできる範囲での机の上に飛び乗る行為なんでしょうか。契約上いろいろ制約もあるでしょうし。

たぶんそうです。少なくとも、私が個人的に話した人たちについては、そのように感じます。

結局、これは個人で解決する問題ではないんです。集団でしか解決できない。連合によってしか解決できない。

現代国家の能力不足

私が急速なAI進展以上に、あるいは同じくらい深刻だと思っているのは、政府能力と国家能力の欠如です。もし今起きていることと同じことが1950年代のアメリカで起きていたら、世界はかなり違っていたでしょう。

当時の政府には、人々が実際に動く力がありました。市民集会もあったし、政治家も自分たちの仕事を非常に真剣に受け止めていた。Watergate scandalを思い出してください。Richard Nixonが弾劾されたのは、民主党員を一度盗聴したからです。あの時代の政治的誠実さの水準は、それほど高かった。

もちろん当時の政府もひどいことはしました。そこは否定しません。でも、国家能力というもの、事態を真剣に受け止める力がありました。今の世界にはそれがひどく欠けている。

政治家と話していて感じるのは、彼らが悪意あるサイコパスだということではありません。そういう人もいますが、思っているほど多くはない。ほとんどは、ただ普通の人で、圧倒的に追い詰められていて、正しいことをしようとしているのに、どうすればいいか分からないだけです。

党からも、有権者からも、専門家からも、活動家からも、四方から叫ばれて、どうしていいか分からない。私たちは文明として、一歩引いて、これは本当にまずい状況なんだと認めるべきです。

私たちは、いまの政府制度が想定している難しさより、2段階は難しい問題に直面している。文明や文化そのものも、この問題に対応するようにはできていない。

もしもっと賢く、有能な政府を持つ文明だったなら、もっと前に、すでに対処していたはずです。実際にはそうではない。だから問題は、どうやってそこへ到達するかです。人類が選択できる世界へ、つまり市民や政府が人々の意思を実際に反映できる世界へどうやって行くのか。

人々がAIやsuperintelligenceをどう感じているかを示す世論調査を見ると、彼らは望んでいない。人気があるわけではない。人々がsuperintelligenceを望んでいて、こちらが説得しなければならない、という問題ではないんです。

ボトルネックはそこではない。難しいのはplumbing、つまり配管です。どうすれば実際に行動できる制度を作れるのか。どうすれば人々の意思を結果につなげられるのか。これはとても難しい。そして、それを間に合わせられるかは分からない。

しかも、はっきり言えば、こうした企業とロビイストたちは、それが起こらないように全力で妨害している。政府を弱体化させ、嘘をつき、操り、正統性と能力を損なわせ、公的部門から人材を吸い上げている。だから今のような状況にいるのは驚くべきことではないんです。

失敗したら何が起きるのか

もし失敗したら、どうなりますか。

先ほど言ったとおりです。非常に混乱し、そしてある日、私たちはもう制御していない状態になります。しばらくのあいだは、すごいAI生成ゲームやAI hyper pornを楽しめるかもしれない。でもそのあと、人類は闇の中へ消えていく。

MaxともAndreaとも、そして今回あなたとも、この種のインタビューをしてきました。私自身もこの世界の仕組みや、インセンティブや、資本がどう動かすかをそれなりに見てきて、これは本当に不可能なのではないか、と感じ始めています。どこかで手袋を置いて、もう残りの日々を好きに生きるしかないのではないか、と。

とてももっともな問いだと思います。本当に個人的な問いでもあります。人それぞれ、自分なりの答えを見つけるしかない。

私自身について言えば、私は諦めるとは思っていません。たぶん性格的に、最後まで戦わずにいることができないんです。誰かに無理やり止められでもしない限り。

休暇を取ろうとしても、早く戻りたくなってしまう。多くの人は、恐怖や不安やトラウマから悪と戦います。もちろんそれも理解できますし、神の祝福がありますようにと思う。でも私はそうではない。

私にとっては、これは最も栄光ある、最も重要なことなんです。自分のために、自分の子どものために、他の人たちのために、より良い未来を作ろうとできることが、むしろうれしい。刺激的で、面白くて、価値ある仕事なんです。生きるに値する人生だと言いたい。

人類に起きつつあることは、恐ろしく悲劇的です。本当にひどい悲劇です。人生は公平ではないし、世界も公平ではない。それ自体はどうにもならない。宇宙がそういうものだという事実を変えることはできない。

でも、自分の人生を生きるに値するものにすることはできる。世界を少しでも良くするために全力を尽くすことはできる。そして失敗したとしても、その人生には意味がある。そう思っています。

AI反対ではなく、正しいやり方を求めているだけ

そして、うるさいdoomerは黙れと言う人たちに対してですが、これはMaxやAndreaにも聞いたんですけど、あなたは反AIというわけではないですよね。

もちろん違います。技術は素晴らしいと思うし、AIも素晴らしいと思う。ただ、ちゃんとやるべきだと言っているだけです。nuclear powerは素晴らしい。でも民間の核兵器はだめでしょう。この2つは両立します。

結びの呼びかけ

今日は本当に、考えることが山ほどあります。来てくれてありがとう。あなたやMaxやAndreaがやっていることにも感謝しています。重要な仕事だと思いますし、ミッションの成功を祈っています。

本当に考えることが多いですね。ありがとうございます。そして、視聴者やリスナーの皆さんにもお伝えしたいのは、これは皆さん自身に関わる問題であり、皆さんの声が重要だということです。

こうした問題を大事だと思うなら、どうか声を上げてください。controlai.comに行って、議員に連絡し、変化を求めてください。もっと深く関わりたいなら、私自身がTorchbearer Communityというボランティアグループを率いています。人間中心のより良い未来のために活動しています。週に2時間でも、世界を少しでも良くするために時間を使いたいなら、応募を考えてみてください。

ありがとう。そして皆さん、聞いてくれてありがとう。

今日は少し変わった回でしたね。本当に考えることが多い。ありがとう。来てくれて感謝しています。そしてリスナーの皆さんにも感謝します。

まだ私たちはAI botではありませんからね。では、また近いうちに。