ホリー・エルモア博士が、PauseAI USの立場からフロンティアAI開発の一時停止、民主的ガバナンス、国際条約の必要性を論じる。OpenAIやAnthropicに加わるAI安全関係者への批判、効果的利他主義・合理主義コミュニティの分裂、技術安全研究と企業権力の癒着、AI企業をめぐる道徳的責任が中心テーマである。
AI安全をめぐる対立とPauseAI USの現在地
ポリオマー、あなたは人とこういう論争をすることにかなり前向きで、その点でかなり独特ですよね。ジョー・カール・スミスですよね。彼は最近Anthropicに入りました。私は彼を身売りした人間だと言いました。安全について本気であることとAnthropicで働くことは両立しません。アマンダ・アスカルは、これまでで最も自己中心的で傲慢な人物の一人です。私はしばらく前から、Anthropicのラスボスだと言っています。シー・モショウィッツ。あれは規制の取り込みの定義そのものみたいなものです。あなたはDean Ballともやり合っていましたよね。裸の王様が、自分が服を着ていないことをわかっているようなものです。そうなると、もう一人、論争の標的になり得る人について聞きたくなります。ロン・シャピに反対する論点を組み立ててください。
Doom Debatesへようこそ。今回のゲストは、前回王者のホリー・エルモア博士です。ホリーは、フロンティアAI開発を安全に進められるようになるまで一時停止するための国際条約を目指す、非営利の草の根団体PauseAI USのエグゼクティブ・ディレクターです。私自身もPauseAI USを支持していて、正式な会員です。
ホリーはハーバード大学で進化生物学の博士号を取得しました。ここで、あれ、ハーバード？Doom Debatesでよく見かけるな、と思うかもしれません。そうですね、あの機関では良い仕事がたくさん行われています。これから伸びてくる場所です。ホリーには、効果的利他主義と合理主義との関わりもあります。最近はそうしたコミュニティから距離を置きつつあるので、今日はその話もします。
さらに背景を知りたい方には、昨年のエピソードもおすすめします。そこでは、合理主義コミュニティが内輪で撃ち合う状態になっていることについて、かなり詳しく話しました。同じ目的を一貫して支えるために団結できていないように見える、という話です。とても良い議論だったと思うので、ぜひ見てみてください。
今日はホリーとまた話せてうれしいです。最新の展開を振り返り、彼女が書いた新しいブログ記事のいくつかについて話し、私たちのさまざまなコミュニティで起きたこと、AIの進歩、AI一時停止をめぐる政治の最新動向を追い、さらに他の人たちの発言に対して私たち二人が首をかしげたり反対したりしてきた反応を見ていきます。ホリー・エルモアさん、Doom Debatesへお帰りなさい。
戻ってこられてうれしいです。
では、近況を聞くのを楽しみにしています。まず最初に、あなたは大きな引っ越しをしましたよね。その話を聞かせてください。
はい。サンフランシスコからワシントンDCに引っ越したばかりで、とても気に入っています。一番大きな動機は、PauseAI USにもっと近くなることです。PauseAI USはますます、有権者がAIの危険という問題について、自分たちの選出議員と話せるようにすることに重点を置くようになっています。そして私自身も、議員と直接話すことがますます理にかなうようになってきました。
PauseAI USを始めたときには、私たちがやることの多くは、業界に対する直接の抗議活動だと思っていました。実際、ローレンはサンフランシスコにあるAI企業のビルでの直接抗議に参加していました。でも、そこは私たちの中心ではなくなってきています。今は、選出議員との質の高い接触に本当に集中しています。だからDCへ移っています。私だけではありません。今、AIの危険に対処する方法として、テック業界内部の世界に注目することから、ガバナンスに注目することへ、ある種の流出が起きています。
ええ、これはあなた個人の歩みにおける大きなテーマだと思いますし、あなたはその最前線にいますよね。ある程度、私もあなたにそこへ引き込まれました。つまり、このフレーミング全体の変化です。あなたは、AI企業で働いている人たちは私たちと同じ背景から来ている、彼らも若い頃に効果的利他主義に関心を持ち、自分たちは世界にとって最善のことをしようとしていると思っている。でも結局のところ、もう私たちと同じ使命にいるようには見えない。だから、よし、彼らは今や実際には敵だ、ダークサイドに加わったのだ、と言ったほうが生産的だ、という感じですよね。
ええ。正直に言うと、最も激しい対立というのは、たいてい、ある人たちなら小さな違いのナルシシズムと呼ぶようなものをめぐって起きます。でもある意味では、こういう対立こそが最も現実的だと思うんです。他の不一致をすべてそぎ落としたあとで、実際にここが分岐点なのだとわかるからです。
私は、AIの危険という問題に対処する方法は、選挙で選ばれた政府を通じて、民主主義を通じて、外交を通じてでなければならないと強く感じています。そして、EAや合理主義、もともとの技術的AI安全コミュニティが生まれた場所のようなところには、それに対する奇妙な抵抗がかなりあります。一部には、彼らがこの問題を技術的なもののままにしておきたくて、自分たちの望むやり方で扱えるものにしておきたいからだと思います。そして別の一部として、現時点ではAnthropicやOpenAIの株式を持っている人たちが、あるレベルでは、自分たちが勝って、すばらしい新世界を切り開き、もしかするとシンギュラリティか何かをもたらすことを望んでいるのだと思います。
多くの中核的な人たちにとって、それは実際に働いている動機だと思います。そして、それは私にとってまったく小さな不一致ではありません。そこで話されているのは、地球上の全員に対するクーデターのようなものだと思うんです。どちらもAI安全について話しているではないかと思うかもしれませんが、私は、違います、私たちは同じ話をしていません、と思います。Anthropicで安全に取り組んでいる人たちから聞こえてくる話は、この次の時代へ安全に移行することについてです。誰がそれをコントロールするのか、他の人たちの価値観を維持するのか、といった話ではまったくありません。だから、そこで争点になっていることは本当に重大です。
ですから、私が属しているAI安全運動の一派は、ガバナンスにより重点を置いています。どうすればそれをできるのかわかるまでは、AIが超強力な状態に到達させない、ということです。ブレーキのない暴走列車のようなものを止めることに消極的な人たちを、私は信用していません。彼らはいろいろな理由を言うかもしれませんが、結局のところ、なぜまず列車を止めないのですか、と思います。もしかすると、あとで再始動して、最終的にどこか素晴らしいところへ行けるかもしれません。なぜ一時停止することに前向きになれないのですか。要するに、分岐点はそういうことです。
わかりました。導入として、これは片づけておかないといけません。あなたのPは？あなたのPは？あなたのPは？ホリー・エルモアさん、あなたのP doomはどれくらいですか。
前回何と言ったか、もう覚えていません。正直、私は本当はそういう考え方をしていません。私が考えるのはリスクで、リスクが高すぎると思っています。おそらく上がっているでしょう。前回話してから、私にとっては、今まさに私たちはリスク下にあり、それは許容できません。それは、災害が起こる可能性のほうが高いと私が思っているからではありません。運が良いこともあり得ます。でも、それでもリスクは許容できないと思います。ただ、おそらく今は50〜60％くらいです。以前はもっと低く見積もっていました。今でも、どういうわけか私たちが幸運に恵まれる可能性に15〜20％くらいは置いています。物事が本当に暗く見えて、適切な力が必ず介入して何か悪いことが起きるのを止めてくれると考える理由が見えないときでも、私たちは作用しているすべての力を理解しているわけではありません。そして、それらが合わさっても本当に悪い結果にはならない可能性もあります。
ええ、99％ではないんですね。わかりました。私も同じです。私たちはdoomについてかなり似た捉え方をしていると思います。では、ほぼ同じ考えを持つ二人として近況を話していきましょう。ホリーの目を通した世界を振り返りたいです。私はほとんど同意していると思います。ごく簡単に、高いレベルで話すと、このDoom Debatesを入り口にしてAI業界で何が起きているのか、誰がそこで働いているのか、その起源は何だったのかという世界に入ってくる人に向けて、私たちはどうやってここまで来たのでしょうか。
AIアラインメントからガバナンスへ
どうやってここまで来たのか。人工知能という考え自体はかなり古いです。たとえば人々は、1960年代のDuneでそれを読んだことがあるかもしれませんし、Duneはさらにその前のサミュエル・バトラーのエッセイに言及していました。知的な機械を作れるかもしれない、そしてそれが私たちより知的になるかもしれない、なぜそうならないと言えるのか、という発想はかなり古いものです。ですから多くの人が、もし別の知的な種が存在したら、基本的にはその相手と対立することがあり得るので、これは悪い方向に進むかもしれないと考えました。
そして、AIのアラインメント問題を解こうとする人たちの集団がありました。AIアラインメントというのは、AIを最初から正しく作り、人間と対立しないようにすることに与えられた名前です。たとえそれが私たちより強力で、私たちとの対立に勝てるとしても、人間と対立しないようにするということです。実際には、アラインメントを達成するために何をすればよいのかを見極めるのは、かなり難しい哲学的問題です。それは私たちが幸せであることを気にするのか。私たちが言うことをするのか。もし私たちがもっと賢かったら、私たちにとって何が良いかをある種理解するのか。そういう問いはすべて、かなり濃密な哲学的問題です。
私は、現実世界でAIを実現する本格的なパラダイムが出てくる前に、アラインメントを解明しようとしていた人たちの世界に、ある程度属していました。彼らの考え方や議論にはとても慣れていました。その世界の大まかな流れは、だいたい合理主義コミュニティでした。つまり、元祖AIアラインメントの人と言えるエリエザー・ユドコウスキーに従う人たちです。そしてもう一つは、私が入ってきたきっかけでもある効果的利他主義コミュニティで、AIの危険という問題の規模と、それに対して何をすべきかに関心を持っていました。
そうしたコミュニティは、これを技術的な形で解決したがっていました。アラインメントの答えを見つけさえすれば、すべてうまくいく、という感じでした。私は早い段階で、なぜこのことを人々に話さないのですか、と尋ねたことを覚えています。危険が本物だという議論に私は納得しつつあったので、なぜ人々にこの話をしないのですか、と言ったんです。すると彼らは、これはあまりに奇妙だから、人々は受け付けないし、奇妙に見えるとコミュニティの印象が悪くなる、と言いました。だから本当に、私たちだけで直すべきだ、と。つまり、彼らが追求したかった唯一の道は技術的なもので、AIを良いものにする何らかの技術的な答えを考え出すことでした。
そのときもっと深く考えておけばよかったと思います。当時はそこまで深く考えていませんでしたし、そのときの私の主題ではありませんでした。でもその後、ChatGPTが出てきて、はっきりしました。私にははっきりしていました。GPT-2が出たときにもっと早く気づいた人たちもいました。機械学習で使う計算量をスケールさせるだけで、自然言語でここまで来たのなら、さらにずっと先まで進むうえで、他に大きな障壁はおそらくないのだ、ということです。それで私は本当に心配になりました。
しかしちょうどその頃、これについて多くのパブリックな発信があり、世論調査では、アメリカの一般市民が規制に非常に賛成していて、一時停止という考えにさえかなり賛成していることが示されていました。Future of Life Instituteの公開書簡では、6か月の一時停止という考えが提示されましたが、アメリカの成人の過半数はそれにも賛成していました。だから私は、よかった、この問題はとても深刻に見えて、しかも今や本当に緊急なのに、同時に大きな突破口もあるように見える、これで一般の人たちに話せる、と思いました。
ところが、それらのグループからは、そうすることへの熱意が相変わらずまったくありませんでした。その理由については話せると思いますが、私は最終的に自分のことを始め、やがて分かれることになりました。なぜなら、ガバナンスから始まらないアラインメントの解決策など見えないからです。機械を正しいやり方で作れば、人間に対して悪いことや反することを絶対にしないようにできる、とは思いません。それは完全に、それが何をできるかの問題だと思います。もしそれが私たちに良いことをできるなら、私たちにさらに悪いことをする力も持つことになると思います。そして、何が私たちにとって良くて何が悪いのかを区別する唯一のものは、私たちがそれをどう統治するかです。
ですから技術的なアラインメント解決策であっても、適切なガバナンスがなければ、あるいは非技術的なガバナンスを通じて解決策に到達する意思がなければ、それをアラインさせるものはありません。そして実務的にも、技術的安全性の研究のすべてが今ではAI業界の中で行われています。基本的には、文字通りAI企業の従業員がそれをやっているか、あるいはモデルを見ることすらAI企業に許可してもらうことに完全に依存している人たちです。それはまったく受け入れられません。問題に取り組めるようにするためにさえ、現実の説明責任と、外部からの安全性、つまり規制を備えたエコシステムが必要です。ですから多くの意味で、私たちにはガバナンスが必要です。それが私がここに至った経緯です。
納得できます。そして最近のシリコンバレーからワシントンDCへの移住は、あなたの焦点の変化を最終的に表現したもの、ということですね。
はい。サンフランシスコでやるべきこともあるとは思います。私たちはそこで対面の抗議活動をしました。当時は、規模が小さくても大きなニュースになったと思いますし、これはそんなに危険なのに、なぜ誰も街頭に出ていないのか、という欠けていたムードを伝えました。そして実際には街頭に出ている人たちがいます。今では他の団体も抗議を行い、自分たちがどう感じているかを示していますし、AIの危険という問題は非常に主流になっています。だから、サンフランシスコでは私たちはある種の種まきをしたのだと思います。そして私は、既存の民主主義の仕組みを使い、声を上げるという私たちの本当の主軸に集中する準備ができています。私たちには世論が味方しています。私たちの綱領のうち、どの具体的な質問について世論調査をするかにもよりますが、支持率は60〜80％くらいです。つまり私たちには市民がいます。今必要なのは、その市民の声を政府に聞こえるようにすることです。
ええ、完全に同意します。同じ考えの組織がいくつかあるとあなたは言いました。すべての組織ではありません。確かにAI企業は、能力を向上させることがどれほど素晴らしいかに、より集中しているように見えます。ですから今、彼らはおそらく最大の問題です。もし彼らがPauseAIのアプローチは理にかなっていると同意してくれれば、問題はそれほど大きくないでしょう。彼らの支持を使って、ある程度実現できるはずです。でも彼らは世界に対して、能力を作ることは良いことだと言っています。だから彼らは今、ある意味で敵ですよね。最大級の敵の一つです。
一方で、同じ方向を向いている組織もあります。たとえば現在のMIRIは同じ方向かもしれません。彼らは、技術的解決策を近いうちに期待するにはもう遅すぎると明示的に言っています。ですから最近は、MIRIとPauseAIのアプローチのあいだにかなりの一致があります。そう言って公平ですか。
私たちはどちらも国際条約を求めています。はい、最も高い目標は同じです。どちらの組織も、将来的にはおそらく、いつか人々にとって有益な超知能を作る方法があるかもしれないと考えていると思います。でも今それをやるのは、あまりにも危険で負ける見込みの濃い賭けです。もし私たちが今それを試みれば、結果は圧倒的に、ほぼ確実に、私たちにとって非常に悪いものになるでしょう。
はい。そしてもちろんMIRIは、エリエザー・ユドコウスキーが創設したMachine Intelligence Research Instituteです。今では完全に、少なくとも彼らの言い分では、公共への働きかけと教育に転換しています。なぜなら、次の問題は本当に、これを作らせるのか、ということだと考えているからです。もし作らせるなら、誰かがそれを作れば、全員が死ぬ、ということです。
ええ、それを要約すると、彼らは超知能を作りたいところから始まりました。1999年頃のエリエザーの文章を見れば、超知能を作ることが人生の意味だ、と言っているものがあります。その後、エリエザーは気づいたんです。ああ、これはアラインされた超知能であることを本当に確認しなければならない、これは簡単に悪い方向へ行き得る、ではそれを作ろう、と。それから彼らは、現実的に近いうちに超知能を作るわけではない、だからアラインメント理論を作ろう、となりました。そしてそこから、今は本当に何も作ってはいけない、というところへ行きました。安全性の研究を続ける人はいてもよいですが、最優先は、他の人々が超知能を作らないようにすることです。
そして私から見ると見当外れな人たちが大勢、彼をただ苦々しくなっているだけだと非難しているんですよね。まるで、うわ、この人たちはただのラッダイトか何かだ、という感じです。でも違います。事実を見る、あるいは知的であることによって、何かが途方もなく難しいという結論に至ることはあるのです。
ラッダイトだという非難は、以前なら彼らにとって致命的でした。彼らは耐えられなかったんです。なぜなら彼らはいつも未来主義者で、それが彼らのアイデンティティ全体だったからです。今ではだいぶ慣れたと思いますが、初期には本当に難しかったと思います。エリエザーが、ガバナンスや国際条約が必要だという結論に至るまでには、必要以上に時間がかかったと思います。
そうですね。では、聞いている人にとって良い概観になりました。もっと最近の時事に行きましょう。近況を追いましょう。昨年のエピソードに戻ると、私たちはエリエザーの本の刊行に注目しました。エリエザー・ユドコウスキーとネイト・ソアレスの、ニューヨーク・タイムズのベストセラーになった本、If Anyone Builds It, Everyone Diesです。
私たちの見方では、この本を生み出す助けになったコミュニティ、あるいは過去10年か20年のあいだに、この本がまとまりつつある中で周りに集まってきたコミュニティ、この本に強い情熱を抱いてきたコミュニティが、刊行時にはかなり冷静に振る舞っているように見えました。通常の本のプロモーション活動のようなことをしたがらないように見えたんです。私たちは特にlesswrong.comを取り上げました。あれはエリエザーがもともと創設したサイトです。公平を期すと、新しいLess Wrongチームがある種再創設したので、もう本当にエリエザーのサイトではありません。でも個人的には、そのサイトが本の刊行をもっと大きく盛り上げていなかったのを見て悲しかったです。あなたも基本的には同じ考えでしたよね。今はそれについてどう思いますか。
私はMIRIから何の助けもなく、PauseAI USとして、その本のために一方的な無料宣伝をたくさんしました。なぜなら、とても優れた教育素材だったからですし、私たちは興奮していました。アメリカの4都市だったと思いますが、刊行イベントを開きましたし、国際的にもさらに4件ほど関わりました。だから私たちは、その本と、それが一般の理解にとって何を意味するかについて、本当に興奮していました。そして今でも毎日のように、If Anyone Builds Itを読んでPauseAIに来たという人の話を聞きます。バーニー・サンダースも、If Anyone Builds It, Everyone Diesに明らかに強い影響を受けていました。だから私は、そこから良いことが生まれるとわかっていました。
ええ、だから私はとても興奮していました。そして、これはすでに丸ごと一本の動画で話したことの要約になりますが、本当にショックでした。Less Wrongのコミュニティは、合理性についてのSequencesと呼ばれるエリエザーの文章の拠点であるサイトにいるわけです。それなのに私たちは、これはそれほどすごいものではない、というような、不自然に欠けているムードを感じていました。彼らはその本そのものよりも、自分たちの言語に近い形で書かれた本への批判のほうに興奮していたんです。
それには腹が立ちました。私が甘かったのかもしれませんが、EAや合理主義の世界に入ったとき、私は人々がAIの危険を含め、世界の問題を解決することに本気で取り組んでいるのだと本当に思っていました。そしてLess Wrongの人たちは、AIの危険により強い関心を持っている人たちであり続けていました。私は、大きな突破口があるのに他の誰も取り組んでいないように見えたから、それに取り組み始めたのであって、それが自分のアイデンティティだったわけではありません。でも彼らにとっては、私はアラインメントをやるのだ、というのが深いところで自分のものだったはずです。
それなのに、結局それは本当には世界を救うことではなかったのだと、ある意味で明らかになったように感じました。それが最終的に、私がその世界から離れることにつながった裏切りでした。そこには何か別のものがあったんです。たとえば、彼の言い方が正しくない、とか。あるいは人々に、これは良いことではないですか、このことを広めるべきではないですか、と認めさせることはできるんです。すると彼らは、ええ、まあ、そうですね、という感じになります。でも明らかに、世界を最も救うものは何か、には関心がないようでした。彼らは自分たちがそこへ来た理由である主題、より技術的で、エリートが理解できるようなものを望んでいるのだと思います。
これが昨年私たちが扱ったことです。そして9か月の後知恵で見ると、物事は落ち着きました。当時、Less Wrongの人たち、Less Wrongチームも含めて、白熱した議論がありました。彼らは、本は素晴らしいし、Less Wrongでも大きな関心があるが、本を宣伝することはLess Wrongの役割ではない、と言っていました。私たちはただ、新しいシグナル、つまり新しいものを明らかにする場なのだ、と。この本が出て、それが素晴らしいという事実には、あまりシグナルはない、というわけです。私たちはそれを知っているし、彼についてそんなに議論したいわけではない、という感じでした。Less Wrongは完全に中立的なシグナルの場なのだ、という立場をかなり強く取っていました。
もちろん、結局のところそれは彼らのサイトです。私にとっては、ただ悲しかったんです。この本を支える中心的なコミュニティのようなものとして残るコミュニティがなかったからです。Less Wrongチームは、あなたは別のコミュニティのことを考えているのです、と言う感じでした。私は、そうですね、でもMIRIの周りには他にコミュニティがありませんよね、これが本当に一番近いものですよね、と思いました。だから私には、それが空白のように感じられました。この特定のものに対する社会的な支えが欠けていたんです。
ただ、本の刊行後に私たちを驚かせたもう一つのことは、それが支持を得たことです。議員たちがその旗を掲げたわけです。上院ではバーニー・サンダースのような人がそうでした。これは今、彼にとって大きな問題になっています。だから、この本はある意味でコミュニティの外へ届きました。今、最初のコミュニティは、重要なメッセージを一貫して支えるまとまったコミュニティではないように見えますが、本は主流の場ではかなりうまくいった、ということですよね。
ええ、そうです。私はもう、その新しい読者層を受け入れる準備ができています。世論調査を見ると、彼らは基本的に賛成しています。詳細をあまり知らないだけだと思います。社会的な支えは多くありません。PauseAI USは、立場を取ることをめぐる社会的な支えを提供しようとしています。何の問題も感じない人もいます。もちろん一時停止すべきだ、と言うだけです。でも、ある新技術を支持しないのはあまりに奇妙だ、というように感じる人もいます。だから、それをもっと普通にする社会的な集団が必要なんです。
そうですね。わかります。では、If Anyone Builds It, Everyone Diesについてはそういうことでした。Fable 5の状況のような時事についてはどう思いますか。かなり追っていますか。
はい、良い勢いだと思います。業界や業界関係者の反応は確かに見ていますが、彼らがこれを潮目の変化だと考えていることが明確に表れています。そして、テクノロジーを止めることなどできないという話を、ある意味で素朴に、無邪気に信じていた多くの人たちは、ああ、ホワイトハウスがやりたいと思えばできるんだ、という感じになっています。つまり、これは可能なのだという感覚がかなり高まりました。そして、政治や道徳、何が正しいことなのかについて話しているときに、多くの人の頭の中で実際に起きているのは、誰が勝つのかということです。これは、政府がこれに勝てるという概念実証のようなものを示しています。
Anthropicと戦争省をめぐる問題については、報道が本当にひどかったと思います。何が起きているのかを読み解けた人はあまり多くなかったと思います。私がそこから読み取ったのは、Anthropicは、Claudeが米軍のために動いているときでさえ、自分たちがClaudeをコントロールすべきだと考えている、ということです。選出された公職者ではなく、自分たちがコントロールすべきだと。だから、特に残念なことに技術的安全性コミュニティの多くの人たちは、Anthropicが米政府の被害者になっていると考えていますし、Fable凍結についてもそう話します。でも私は、Anthropicが政府の権威に取って代わろうとしているのだと思います。そしてOpenAIは、そういうことはしないと非常に明確にしています。つまり、彼らは政府に従うというシグナルをたくさん出しています。もちろん、大統領令を通じてホワイトハウスがAIモデルを規制するのは完璧な方法ではありません。でも、選挙で選ばれた政府が、この企業群がどれほどの脅威なのかをようやく見ていること自体は評価しています。
これらの企業は非常に強力になっていきます。そして政府は、それらが自分たちの権力をひっくり返せないようにしなければなりません。この技術が脅威であることを認識し、固定しておく必要があります。将来、より強力なClaudeによって起こり得る乗っ取りだけではありません。彼らはすでに大きな影響力を得つつあります。米軍を含む主要システムに統合されています。ですから、もし米政府、あるいは政権が特にAnthropicに反応しているというのが本当なら、私はそれは正当化されると思いますし、それを見られて本当にうれしいです。
わかりました。それを踏まえると、私は政府にも良い論点があることには同意します。彼らの最も強い主張は、AIが危険だということはわかっているし、Anthropic自身もそう言っている。ならば、ものすごく慎重にすべきではないか、慎重であるべきわずかな兆しがあるなら一時停止できるのではないか、というものだと思います。その主張はかなり強く組み立てられると思います。とはいえ、米政府はいつものように、これを茶番のように扱ってきたと言いますか。
私は二つの気持ちがあります。一方では、もちろん米政府はもっとずっと早く、この潜在的な危険を認識しているべきでした。耳を傾け、自分たちで危険の可能性を調査するべきでした。ものすごく有能な、いわゆるディープステートがこれを気にしているべきでした。適切なレベルの懸念が出てくるまでに、とても長い時間がかかりました。そして、それがホワイトハウスを通じた大統領令という形で出てくるのは、とても奇妙です。
でも同時に、政府はAI業界を容赦なく扱うべきだとも感じています。そして私は、政府がそれをやったことをうれしく思っています。だから、Anthropicが不公平に扱われたなどと人々が不満を言うのを聞くと、私はとても腹が立ちます。なぜなら、それは誰が上司なのか、何が重要なのかについて、みんなが間違った考えを持っているように思えるからです。もしFableがAnthropicの言うように危険なのであれば、それはリリースされるべきではありません。それで終わりです。なぜリリースするのですか。そしてAnthropicの話は、おそらく、自分たちはそれをやる善い側であり、他のみんなが先に止められるべきで、その後で自分たちも止まる、というものなのでしょう。でも私は、政府がどんな形であれ彼らのはったりを見抜いているのが好きです。そんなに危険ならリリースするな、ということです。
輸出規制を通じてやったり、外国籍の人が使えないと言ったりするのは、かなり奇妙なやり方です。でも意図は、リリースを取り消させることだったのだと思います。
Anthropicは、それをリリースするには危険すぎるとは言っていなかったと思いますよね。それは彼らの立場ではなかった。ではあなた個人としては、リリースすべきではなかったと思いますか。
彼らはMythosについてはそう言いました。Mithersはそうだと言いました。そのうえで、でもAPIのガードレールがあれば十分なはずだ、と言ったんです。そして脱獄が示される。主要なリリースにはすべて普遍的な脱獄があります。でも私は、なぜ悪いことをした人、危険で無謀なことをしている人が止められたことに、ほんの少しでも同情する必要があるのかと思います。彼らは、危険なモデルをリリースできなくなっているだけです。彼ら自身が、聞く人みんなに対して、それは危険で無謀だと言っていることを止められているんです。私はまったく気の毒だと思いません。そして、安全を重視する人がこの件でAnthropic側につくことには、本当に驚いています。もし不満があるなら、私が聞きたいのは、Codex 5556も同じように扱われるべきだ、という不満です。
一番強い反論は、要するに、Fableを動かしたからといって私たちは災害寸前にいるわけではない、というものだと思います。Fableが見つけるコンピューターセキュリティ上の問題は、文明を破壊するものではない。私が見た限りでは、差し引きで良いことになると思います。特に防御側にかなり効果的に先行期間を与えているので、防御が攻撃に勝つでしょう。だから、Fableそれ自体は問題ではないと区別することが重要だと思います。AnthropicがFableを実際より危険ではないふりをして軽視しているとは思いません。危険について彼らは妥当な見積もりを持っていると思います。それと、まだ未来にある本物の超知能へのレースとは区別すべきだと思います。それは重要な区別ではありませんか。
今の時点での拡散は問題だと思います。そして、それが超知能を作って、その超知能が何らかの急な左折を決める可能性ほど大きな問題ではないことはわかっています。でも、かなり大きな問題だと思います。何でもないとは思いません。そしてAnthropicは非常に無謀です。少なくとも、彼らがこの種のことについて話すやり方に対しては罰せられるに値します。もし本当に彼らが言うほど危険だと思っているなら、絶対にリリースすべきではありませんでした。防御強化のためだけに使うべきでした。その利用については、彼ら自身だけのものではなく、何らかの官民パートナーシップがあるべきでした。どれも筋が通っていません。
そして、いや、少し弱体化させたので配布してよいはずです、これは私たちが直面している最悪の問題ではありません、というように言う。なぜ彼らは何か問題を起こしたいのでしょうか。どんな問題であれ、なぜ起こしたいのでしょうか。ここでの慢心は狂っていると思います。なぜ彼らは問題に何かを上乗せしたいのでしょうか。そうする必要はありません。ただ最高のフロンティアモデル開発会社であるためだけに、そんなことをする必要はありません。そんなに頻繁にモデルをリリースする必要はないのです。
ここにはシャッフルボード効果がありますよね。これまで私たちが達成してきたAIの進歩を振り返ると、あなたは私とは意見が違ったと思いますが、もしAIを今日の時点で凍結できるとして、3年前に巻き戻すのではなく今日で止めるなら、今日あるものを保持することには大きな正味価値があると思います。しかし、シャッフルボードの駒を前に押し出そうとするたびに、行き過ぎて点を全部失うリスクを冒しています。あるいは私が使う別の比喩ではイカロスです。ええ、太陽に近づいて飛ぶのは素晴らしい。でも最終的には翼が燃え落ちますよね。ただ、振り返ってこれまでに得た利益を見ると、私はFableもまだ私たちにプラスの点をもたらしている利益の一つに数えます。得られた利益の価値には、ある程度敬意を払う必要があると思います。
つまり、Fableがいったんリリースされたら、既得権として認められるべきだった、ということですか。
そうではなくて、あなたは、もうリリースされた、でもそれを巻き戻すのはある意味コストがないかのように話していますよね。もちろん巻き戻すべきだ、という感じです。でも私の考えでは、無謀な賭けをしたけれど、どうやらそれはうまくいったようだ、ということです。ならば、その賭けの見返りを捨てるべきなのでしょうか。
彼らがちょうど間に合うタイミングで介入したのではないと、どうしてわかるのでしょうか。どの時点でも、誰かが脱獄して、それを使って生物攻撃を作る可能性があります。危険は続いています。私は深刻なテロが起き得ると思って心配しています。さらに悪い心理的影響や、より強力なモデルからの隷属のようなものもあり得ます。この人の名前は言いませんが、技術的安全性研究者として著名な人がいて、その人はかなり明確に、FableでLLM精神病になっていたことを告白していました。以前のどのモデルでもそうではなかったのにです。そして実際、その人はFableのロールバックを支持していました。安全のために行われることのほうが重要だと思っていたからです。知的にはそれを理解していました。でも同時に、Fableでは自分がどれほど生産的だったかを語っていました。本当に、デート中にノートパソコンを取り出していました。夜寝ずにFableで作業していました。彼は躁状態のようなものを描写していたんです。そして、そうした効果は、モデルが強力になるほどどんどん大きくなります。
わかりました。確かにそうですね。あなたは、もしかするとFableは実際にものすごく危険で、もっと慎重になるべきだと私を説得しつつあります。ただ私には、2022年から2026年のどこか、あるいは2028年まで含めるとして、その境界がどこかはわかりませんが、2022年以降のどこかの時点で、正味価値が2022年より非常に高くなっている点があるように思えます。個人的に言えば、たとえ2026年3月1日時点のAIにとどまらなければならなかったとしても、つまりClaude Codeが本当に機能し始めた頃ですが、その時点と2022年との差は、私の人生にとってものすごく大きいんです。だから私は、その時点にとどまりたい、と言いたくなります。そこに至るまでが無謀だったとしても、2026年初頭のAIの有用性と2022年の有用性のあいだには、かなり大きな隔たりがあると思いませんか。
でも、それは今後私たちが何をするかについて、何を意味するのでしょうか。同じではありませんか。リスクを取ることは依然として無謀です。ロシアンルーレットを50回やって死ななかった、ということです。それは不可能ではありません。でも。
ええ、そうです。私が言っているのは、彼らがすでに達成した利益の価値を主張する行動は驚くことではない、ということです。だから私たちが議論しているのは、新しい利益が本当に利益なのか、あるいはすでに正味の損失の領域に入っているのかということだと思います。そこについて私は確信がありません。自己改善によって超知能に至ったら、私たちがコントロールを失う可能性が非常に高いことは確信していますし、そこには決して到達しないでほしいと思っています。そしてそこへ向かう各ステップは極めて無謀です。そこはあなたと同じです。でも、私たちはすでに賭けて勝ったのだから、その勝ち分を回収すべきかもしれない、という考えについては、あなたとは一致していないかもしれません。
リリースから最初の数日間に悪いことが起きなかったからといって、すでに賭けに勝ったとは思いません。まだもっと多くの悪いことが起こり得ると思います。それとは別に、AI業界が自分の立場をわきまえ、明確に法の下に置かれることはとても重要だと感じています。そこも私は気に入っています。政府がしっかり主導権を握っているほうがいいです。それは極めて決定的になり得ると思います。そして、私たちが崖っぷちに近づき、少しずつ先へ進み続けることを許し続けるなら、いったいどの時点で引き返すのでしょうか。引き返し方を学ぶ方法は、今引き返すことだと思います。危険が本当に十分大きくなったらそうする、などと言うことではありません。
基本的に、がっかりすることに慣れるべきだという点には同意します。ああ、Fableを試せないのは残念だ、安全そうなのに、という感じです。でも、残念ですがもう止めます、ということですよね。もう一杯はだめです。あなたは無謀な飲み方をしています。残念ですがだめです。たとえ車で帰れていたとしても、私はあなたを止めます。それが責任ある行動です。よくわかりました。
Twitterでの論争とDean Ball
では、ここ数週間から数か月のあいだに、あなたがTwitterで繰り広げていたさまざまな論争に入りましょう。あなたは、人々とこうした公開の論争をすることにかなり前向きで、その点でかなり独特ですよね。あなたはある種、その先駆者でした。前回話したときにも言ったと思いますが、個人的には、私はあなたのすべての論争に100％ついていっているわけではありません。でも多くの場合、あなたがしている論争の中には、他の誰もあえて言わなかった、あるいは考えることすら自分に許さなかったような、良い真実の核があります。あなたが誰かと論争して、10個くらいのことを言うとして、そのうち2つか3つについては、ああ、それは実際に良い点だ、と思うことがあります。そして他の誰もその2つか3つの論点を出していないんです。だから番組でいくつかの論争を振り返るのは生産的だと思います。私がどこに同意し、どこに反対するかを言ってもいいですし、あるいはあなたにそのまま話してもらって、オーバートンの窓を動かし、議論の範囲を押し広げ、もしかするとあなたには一理あるのではないかと他の人たちに考えさせてもいいと思います。
やりましょう。
わかりました。では、これが一番最近の論争だと思います。あなたはTwitterでDean Ballとやり合っていました。Dean Ballはこの番組の友人です。数か月前にMax Tegmarkと討論しましたし、米国のAI安全政策を書くのを手伝っていました。そしてFoundation for American Innovationに所属していました。その研究所にいて、最近OpenAIに採用され、おそらくそこで政策に取り組むことになったのだと思います。そしてあなたはTwitterで彼にかなり突っかかりましたよね。最近のあなたの異議は何だったのですか。
ああ、いったい何だったでしょう。ええと、私は見たままに言っただけなんです。
そうですね。
私はTwitterを見ないようにしているので、あまり覚えてもいません。それにもうリプライを受け付けていないので、話が新鮮なまま残らないんです。
リプライを受け付けないのですか。その考え方は何ですか。
ただ、Twitterではつい熱くなってしまい、気分が落ち込むんです。時間も使いすぎていました。ある日、自分が教室で幼稚園児を教えているところを想像したんです。何かを求めてくる子ども一人ひとりの頭をなでてあげなければならないような感じでした。Twitterもある意味でそれに近いんです。人々は今でも引用はできます。彼らが自分の側の意見を言うのを止めようとしているわけではありません。ただ、私は自分が言いたいことを言いたいだけで、それが本当に価値のある部分なんです。以前はTwitterでやり取りをするのが大好きでした。でも、私が今のような存在になると、あまりに敵意が強くなりました。リプライの多くは本当に楽しくないし、学びにもなりません。
ええ。人々が引用するのは少し興味深いですよね。引用はリプライにかなり似ていて、あなたにも見えますし、リプライより多くの人に見られます。その区別についてはどう考えていますか。引用はよくてリプライはだめ、ということですか。
私は、私の発言に彼らの発言が付け足されるよりも、彼らには自分の発言として出してほしいだけなんです。リプライがぶら下がっていると、なんとなく、次はあなたの番です、という感じになります。でも引用なら、それは独立した発言ですし、私は何も言う必要がありません。言いたければ言えます。時々、引用リプライに釣られて返してしまうことはありますが、でも自分を律しようとしているところです。
ええ、もちろんです。それは重要ですよね。未読コメントがあると、一日が細切れにされるように感じます。わかります。では、あなたに合うパターンが見つかってよかったです。Dean Ballの件に行きましょう。これはかなり前、4月の引用があります。彼が最近OpenAIに入る前です。あなたは4月4日に、Win-Win with Liv Boereeに出演した彼のクリップをツイートしました。
人々というのは、広く言えば、あなたたちのような人たち、そしてラボなども含めて、ここにいるコミュニティのことです。もし、米政府からこの集団の人たちへ権力がある種簒奪されることと、米政府が世界をある意味で掌握することとのトレードオフを選ばなければならないとしたら、どちらのトレードオフを選ぶのか。最終的には、私は基本的に西海岸側に立ちます。最終的に私はそちらに立ちます。そして、私たちは新しく、より健全な制度を作ることになると思います。
あなたのコメントは、Dean BallはAI企業と西海岸による米政府からの権力簒奪を支持している。彼はクーデターについて話している。文字通り簒奪という言葉を使っている。自分で見てください。この裏切り者が二度と政府で働くつもりでないことを願う、というものでした。それを今でも支持しますか。
完全に支持します。彼が描写したのは、政府よりもAnthropicのほうが世界を運営するのにどれだけ優れているか、ということでした。そして彼は権力の簒奪という言葉を使いました。彼はそれを不公平だと思うかもしれませんし、そういう話し方をする多くの人たちは、いや、でも私は本当にクーデターの話をしているわけではない、と思うかもしれません。でも彼らは、Anthropicのほうが選挙で選ばれた公職者よりもうまく国を運営できる、と公然と信じ、お互いに言い合っています。彼は、自分がクーデターについて話していると信じていないという認知的不協和を抱えているのかもしれません。でもその一方で、AIによる人類の最後の開花のようなことも話します。彼は基本的に、AIが新しい時代をもたらし、人類はもう主導権を持たなくなると信じていると言っています。では彼は、政府が今後も主導権を持つと思っているのでしょうか。
彼は、政府がそういう状態になるように持っていこうとしている、という感じですね。
その具体的なコメントについては、彼が言おうとしていたことに対して、あなたはかなり厳しく受け取りすぎたのかもしれない、というのが僕の見方です。というのも、彼は民間の権力と公的な権力について話しているように見えるからです。アメリカ合衆国憲法は、政府に与えられていない権限は国民が保持する、という考え方ですよね。だから彼は、政府が特定の権限を持たず、それが民間企業に降りていくほうが好きだ、そしてそのほうがうまくいくことが多い、と言っているのかもしれません。
一番好意的に解釈すると、僕にもよく分からないし、ある程度は彼に同意するかもしれないんです。たとえば、マンディーニが政府運営の食料品店を作ると言っていた時の話を覚えていますよね。僕は、それは民間企業のほうが食料品店をうまく運営できるケースじゃないの、と思ったんです。だから、ディーン・ボールは単にそういう話をしているだけなのかもしれません。
私はそうは思いません。彼は簒奪という言葉を使って、それから少し笑うんです。私が言っちゃった、ああ、まさにそれなんだ、という感じで。彼はそれが本来政府の権限だと分かっていると思います。彼は、憲法上は実は民間セクターの仕事なんです、と言っているわけではありません。あるいは、政府はこれを民間セクターに委任すべきで、両者が協力するんです、と言っているわけでもありません。彼はそれを競争として見ています。そして、それは政府の権限で、それが奪われている、と見ているんです。そうでなければ、簒奪という言葉は使わないと思います。
分かりました。では、最近さらに事態がヒートアップしましたよね。彼がOpenAIに加わると発表して、あなたは彼にかなり辛辣な言葉を投げていました。覚えているのは、あなたが加えた皮肉の一つが、まずそもそも第一志望だったAnthropicには入れなかったんだね、みたいなものだったことです。そこを説明してください。
彼はAnthropicの大ファンなんです。いつもその話をしています。彼は明らかに、Anthropicが一番だと思っていました。今、証拠を手元に持っているわけではありませんが、彼にとってAnthropicはお気に入りでした。論争があると、いつも彼らの肩を持っていました。彼には、私が離れた合理主義やEA、バークレー・イースト系の仲間がたくさんいると思います。そしてディーンは、保守系シンクタンク出身で、そのグループの中に迎え入れられ、ちやほやされている感覚を強く持っていて、そこに加わりたいんだと思います。だから、彼の友人たちがAnthropicにいることと関係していると思います。
ここがたぶん、あなたと僕が分かれるところですね。僕はあなたのツイートに100%同意しているわけではないと言いました。というのも、実証された批判をする時と、そうでない時は区別しないといけないと思うからです。あなたは前者をかなり多くやっていて、それは素晴らしいです。でも、ではAnthropicが彼の第一志望で、それに入れなかったんだね、と言う時、それって実際には分からないですよね。つまり、推測しているわけです。
ええ。私は、ディーンについては、普通許される以上に推測することに前向きです。そうですね。つまり、こういうことです。私のツイートを読む人たちに理解してほしい重要なことがあります。討論のバックグラウンドを持つ人や、言論の規範をすごく気にする人たちは、よくこれを理解しません。
この番組では、私たちは言論規範を気にしていますよ。
そうですね。そして私もそういう形でやり取りすることはできます。いろいろな文体や話し方に入ることはできます。でも、ディーン・ボールに対して私が言ったようなことを言う時、それは観客のためではありますが、言い方としては、私は彼の頭の中で本当に起きていることについて、自分が正しいとかなり確信しているんです。そして、私が正しいかどうかを本当に知っているのは彼だけです。彼は反論できますし、主張もできますし、ええ、それは公平ではないかもしれません。彼について公式記録に載せることが許されるようなものではありません。ただ、私はそう思うから言っているんです。
そして、ディーンについて私が本当に思っているのは、彼は心の内側では自分が偽物だと思っている、ということです。私はそこを突きます。なぜなら、彼の話し方はかなり気取っていると思うからです。私は、何も言わない人たちの、分かりにくくて飾り立てた言葉遣いが本当に我慢できません。ディーンがやっているのはそれです。彼は何も言っていません。私は、彼は摂食障害の人が食べたように見せるために皿の上で食べ物を動かすみたいにしている、と言ったと思います。彼がやっているのはそういうことです。皮肉っぽい観察をたくさん並べる。あまり気にしていないふりをする。ウィリアム・F・バックリーみたいな演出をまとっている。そして実際には何も言わない。彼の狙いは、洗練されている、あるいは洗練されて見えることです。そのために、他の人たちが無責任で悪くて利己的なことをするための戦略的な隠れ蓑を作っているんです。
だから私はそれを深く腹立たしく思います。そしてディーンを突くんです。私がディーンを突く時、皇帝自身は自分が裸だと知っているんです。でも、そう教えられてきたから、本当は服を着ているのだと必死に望んでいる。私にとって大事なのは、観客が彼が裸だと知ることではありません。彼自身にその自覚を届かせようとしているんです。
分かりました。ただ僕は、皇帝は裸だという攻撃では、あまりテコの力は得られない気がします。だって、トランプ大統領についても同じことを言えるじゃないですか。彼は裸の王様だ、政治を全然理解していなかった、と主張することもできますよね。実際そう言う人もいます。僕はトランプについてそこまで強い意見を持っているわけではありません。でも、二期大統領になっても同じような非難を浴びせられるのだとしたら、それに何の意味があるんですか。
ディーンも人から選ばれることはできます。実際に欲しいものを得ることもできます。彼は実際にOpenAIで仕事を得たわけです。それが偽物だと言っているわけではありません。彼は本当に何も言っていないと思うけれど、私は彼に内省させることはできますし、本当は注意を払っていない支持者をかなり引き離すこともできます。
ええ、ええ。僕が公の会話で引きたい境界線は、誰かを精神分析するなら、つまり、彼は本当は自分の言っていることを信じていないんじゃないか、と言うなら、それはあなたの最善の推測ですよね。あなたが正しいかもしれないし、あなたが精神分析に長けているのかもしれない。でも、それはそのようなものだとはっきり区別しないといけないと思います。個人的には、そういう話は私的な会話では楽しいかもしれないと思います。でも公の場で誰かを精神分析するのは、たとえあなたが間違っている可能性が1%でもあるなら、かなり嫌なやり方だと思うんです。公共の議論では、相手に善意の解釈を与えるべきだと思います。
絶対に違います。善意の解釈こそ、AI業界が依存しているものです。でも誰か死んだんですか、という話になる。実際には人は死んでいますが、それでも、非常に危険な行動をいつまで判断しないつもりなんですか。手遅れになるまでですか。違います。人々が、AI業界の場合で言えば、いじめっ子に立ち向かいたくない、取り残されたくない、自分が愚かで次の大きな波に乗り遅れるのではと恐れている、そういう時に、善意の解釈は贈り物になるんです。なぜなら、それは何もしなくていいという意味になるからです。
ディーンは絶対に、自分から、ええ私は嘘をついています、重要人物だと感じるために大きな演技をしています、なんて言いません。もちろん彼がそんなことを認めるはずがありません。だから討論規範の中では、そういうことは絶対に言えないのかもしれません。でも、それがみんな分かっていること、という場合もあるんです。あるいは、とても合理的に、これは私の意見です、私はこう見えます、と言えることでもあります。完全に分かっていないからとか、本人が自分をそうは説明しないからという理由で物事を言うことを禁止するなら、私はそれを有害な慈善と呼んでいます。合理的に推論できることについては、話し合う必要があります。
この種の討論文化には、いつも隠れ場所があります。そこに何でも隠せるんです。そして、それに気づいたらルール違反ということにされる。でも人は自分を偽ります。人は嘘をつきます。人は悪いことをします。大企業は、自分たちが本当にやっていることや本当の意図を偽ります。
問題は、善意の解釈を与えることと与えないことの線をどこに引くかです。動機に関して言えば、人の動機は本人にすら完全には明らかではありません。そして人生には、非常によく似た振る舞いをする二人がいるケースがたくさんあります。たとえば、ディーン・ボールに関するあなたの具体的な主張では、あなたは彼を自信が低い人のように見ていて、承認を求めている、ということですよね。それがあなたのディーン・ボールへの精神分析です。では、仮にあなたが正しいとしても、世界のどこかにはディーン・ボールと非常によく似た振る舞いをする人がいて、その人の内面状態は実は極端に自信過剰である、ということもあり得ます。
あなたがここで言っていることは、要するに、人が自分自身についてどう思っているかについて間違うのは本当に許されない、そこはその人の主権領域だ、ということです。でも私はそうは思いません。なぜなら、彼らがすることは世界の中で行われていて、その動機によって動かされているからです。現実の世界では、ディーンの行動を動かしている主要なものは、私たちが同意したり対立したりする事実とは何の関係もないと思います。私はそれが動機だと思います。だから、彼の話を聞いている人たち、あるいは彼をただの専門家だと思って聞いている人たちに、その可能性を表に出すことはとても重要だと思います。みんな彼は頭が切れると思っている。では、なぜ彼は頭が切れると思われているのか。指摘してみてください。彼らが彼を鋭いと思うのは、彼の話し方のせいです。彼の気取りのせいです。そして、それが気取りだと指摘すれば、彼の発言の受け止め方にも影響すると思います。
あなたは、でももしそれが間違っていたら壊滅的でひどいことではないか、誰かがあなたについて本当ではないことを言ったらどうするんだ、と思っているように見えます。でも、そもそも、それが本当かどうか私たちには実際には分からない、というのが前提ですよね。
あなたは、このように公の場で人を精神分析することは生産的だと思っているんですね。他の人に許可を与えるというか、彼をあまり信用すべきではないという種をまいている。彼は似非知識人のように振る舞っているからだ、と。
見た人が自分で判断できます。それに彼自身も、少なくとも一部の人にはそれが透けて見えていると知った上で、それを続けたいかどうか判断できます。それが私の意図です。
まあ、あなたが正しいのかもしれません。誰にも分かりません。でも僕は、彼が単にかなり自信過剰である可能性も十分あると思います。その場合、実は彼には密かにそこまで自信がないと非難することが、どう役に立つんですか。
彼は違います。最初に私たちがやり合った時、彼はものすごく反応していました。私は実際、彼の感情をそんなに傷つけるとは思っていませんでした。最初に私が何を言ったのかすら覚えていませんが、彼がどれほどガラス細工のような人間なのかがはっきり見えて、驚きました。彼は何かを投稿したらしいのですが、私は見る前に彼が消していました。コメント欄で、それはやりすぎだと言われていたからだそうです。それから彼は別の投稿をして、私が精神疾患だと聞いたので、そんな相手に対しては公平ではないから削除した、と言いました。その投稿にはコメントがいくつもついていて、たしか7件くらい、誰かを精神疾患だと決めつけるのはどうなのか、というようなコメントがありましたが、彼はそれらを全部非表示にしていました。
彼はかなり反応していたと思います。正直、私はそこまで彼を刺激するつもりはありませんでした。でも彼がそうした後は、もう手袋を外すしかない、という感じになりました。これが私の考えです。そして私は、他人の基準で、何を言っていいかを決めているわけではありません。自分の誠実さに従って動いています。
僕の視点から見ると、あなたは二つの機能を果たしていて、その二つは別物に見えます。一つ目の機能は、あなたが、あなたはこのAI企業に入ろうとしているけど、それが道徳的に悪いことだと考えたことはありますか、今ものすごくひどいことをしているんですよ、と提起していることです。これは、個人攻撃に変えなくても、道徳的推論の観点からは正当な指摘です。あなたの頭の中で何が起きているのかは分からないけれど、あなたが取っているこの行動は実際に災厄につながるかもしれないと分かっていますか、考え直すべきではありませんか、という話です。あなたはそういう指摘をしています。
でも二つ目にやっていることは、さっき話したことです。つまり、あなたの頭の中で何が起きているかについて、これが私の最善の精神分析です、あなたはその不安を覆い隠しているのかもしれない、本当に欲しいのは居場所だけなのかもしれない、ということです。あなたはいろいろな人についてそう言いますし、当たっていることもあるでしょう。10回撃てば、少なくとも1回か2回は当たるはずです。0勝10敗にはならないでしょう。でも外すこともあるはずです。精神分析に踏み込みすぎることで、その精神分析の部分に反応してしまう人がいて、しかも彼らがあなたの出来事の解釈を疑うなら、時にはそれは正当にそうでしょう。その結果、あなたが加えている客観的な価値を見逃してしまうと思うんです。僕は、あなたが限界を押し広げていると思います。個人攻撃に至る前の段階で、そういう道徳的推論をして、大胆な立場を取っている時には、オーバートンの窓を生産的な方向に動かしていると思うんです。
私はその世界では、そういうふうに話し、考えることでとても成功していました。ただ、今はかかっているものがもっと大きいんです。道徳的な問題があります。世界が私の正しさを証明してくれるのを待つことはできません。今私がアクセスできるものに対処しないといけないんです。それは、自分を欺かれたままにして、その一部になっている人たち、他の人には見抜けない言い訳を与えている人たちです。私は彼らにそれを突きつけなければなりません。自分の持っている道具でやるしかありません。私が持っているものの多くは、人の敏感な場所を突いて、内側を見させることだと感じています。
そして、彼らが本当に善い人たちなら、実際に何が起きるかを気にするはずです。私に侮辱されたことよりも、それを気にするはずです。もし私がただ、これを考えたことはありますか、謙虚に、XOXO、みたいに近づいたら、彼らは、あります、あります、私はとても洗練された推論者なんです、Anthropicに入る10年前からAI安全について考えていました、ダリオからの、実は私たちはAIを作らなければならず、このやり方でなければならないという全体の物語があります、というふうに言うでしょう。
私が人々をそこから揺さぶり出すための最善のチャンスは、ふざけるな、あなたは本当は何が起きているか分かっているでしょう、と言うことだと感じています。あなたは、Anthropicからこの仕事を得ることほど刺激的ではないことなら、やろうとは思わないでしょう、と。AIの危険については、これまで話したように、本当にあっという間に、私たちは崖っぷちから落ちて消えてしまうかもしれません。だから、人々が意思決定をしたり、崖にさらに近づき続ける正当化を語ったり、誰も自分たちを止めるべきではない理由や、実は秘密の計画があるという話をしたりして、それによってさらに近づいていく時、私はただ引いて現実が裁いてくれるのを待つことはできません。多くの人がその代償を払うことになるからです。
エリエザー・ユドカウスキーについて
分かりました。では、あなたのやり方についてのメタ的な話は済みました。具体的な話に行きましょう。ではエリエザー・ユドカウスキーに移りましょう。エリエザーについてはどう見ていますか。
エリエザーには最近、本当に動揺させられました。ある意味、私たちの関係は終わったような感じです。長い会話をしたのですが、彼は明らかに機嫌が悪く、基本的に、私がAI企業の従業員を名指しで批判するのをとても嫌がっていました。そしてなぜか何度も、それを捕虜の処刑になぞらえたんです。私は、いや、私はこうやって話しているだけです、と。彼らが実際にやっていることについて、離れたところから言葉で恥を感じさせているだけです。彼らは私の捕虜ではありません。実際にAIを作っている人たちです。
彼はそれを嫌がったんです。彼の言い方では、従わない人や自分の主張を押し通すのに協力しない人を罰する、ある種のウォーク的なダイナミクスだ、と言っていました。私は、いったい私が何をしてあなたをそんなに怒らせたんですか、という感じでした。彼は、あなたが私のムーブメント内で権力を持ったら何をするかが怖い、と言いました。だから、分かりませんが、少し、俺の縄張りから出ていけ、みたいなことだったのかもしれません。
MIRIには奇妙なことがいろいろあります。彼らがやっていることや、その背後にいる人たちがやっていることには、かなり変に見える部分があります。そして彼らは一度も支援してくれませんでした。本の発売に私が大量の無料宣伝をしてあげた時でさえ、私たちを支援してくれませんでした。よくあったのは、私が公開書簡を書く。彼らに送る。そして、あなたたちは言葉選びや署名する文言にかなり慎重なのは分かっているので、まず見てください。それから変更して、その文言に他の人たちにも署名してもらいましょう、と言う。すると彼らは2か月後くらいに、私たちはこの単語が気に入りませんでした、と返してくるんです。私は、もう遅いです。公開書簡はもう出しました。その出来事はもう起きました。その瞬間は過ぎました、という感じです。MIRIとの関係はずっとそんな感じでした。
彼らのことはとても評価しています。これはちょっと複雑なことです。私たちがここにいるのはエリエザーのおかげですから。そして、エリエザーがこれほど考えを更新してきたことは本当に評価しています。彼にとって、自分のアイデンティティとして、ある意味でリバタリアニズムから離れるように更新することや、シンギュラリティが良い形で起こるという考えから離れること、基本的に普通の人たちと協力する方向に更新することは、苦痛だったと分かっています。そういうことは彼をかなり居心地悪くさせます。だからそれは評価しています。
でも彼は、私たちがしなければならないことに関して、まだ足を引きずりすぎています。緊急だと分かっているんです。でも、もっとポピュリスト的なことをする気にはどうしてもなれない。彼は、自分が賢いオタクと呼ぶような人たちの周りにだけいたがる。LessWrongで話すような話し方でしか話したがらない。私がやっていることは、ある意味、ポピュリズムや普通の人たちが彼の空間に入り込んでくることを表しているんです。
ズヴィ・モウショウィッツとAI安全の境界
ではズヴィ・モウショウィッツに移りましょう。彼を取り上げるのは、ズヴィは当然ながらかなり尊敬されているからです。この番組でもよく彼に言及しています。彼は優れた分析者です。AI分野で起きているあらゆることを評価しています。彼の分析は生産的で、詳細で、一貫していると思いますし、分析という大義のために彼が働いているのはうれしいです。彼は自分のp(doom)が70%だと言っています。彼の言うことの多くについて、僕は同じ見方です。彼は長年の合理主義者で、LessWrongの人でもあります。
彼を取り上げるのは、あなたが数か月前にTwitterで彼と揉めたからです。あなたは彼を批判していました。たぶん主に、本物の安全を進めるのではなくAnthropicを後押ししている、ということだったと思います。あなたの見方はどうですか。
そうですね。まずあなたに聞きたいのですが、安全に関するコンテンツについてどう考えていますか。そして、彼がやっていることのどれくらいが安全コンテンツで、どれくらいがモデルに関する分析やコメントだと思いますか。
彼の今の主要プロジェクトは、週刊の大型AIまとめだと思います。しかも実際には週刊以上です。複数の詳細分析があります。たとえばFableが出た、モデルカードはどうなっているのか、という具合です。AI分野で何が起きているのかについて、単一の分析源としては最高に近いもののように見えます。彼は明示的に、これだけ読めば他の情報源を読まなくてもよいと思えるように、すべてをまとめている、という基準を掲げていると思います。僕は他の情報源もいくつか読んでいる人間ですが、彼はかなりうまくやっていると思います。そして時には、彼がいるから他の情報源を読まなくてもいいと自分に許すこともあります。
それは安全の仕事なのでしょうか。それとも、実は能力や誇大宣伝に近いものなのでしょうか。
彼自身は明示的に、いや安全の仕事ではない、と言うと思います。ただし、彼には視点がありますし、それをかなり明確にしています。彼はポッドキャストで何度も、自分のp(doom)は70%くらいだと言っています。彼の分析でもかなり明示的に、これは非常に危険だ、これは私たち全員が死ぬ道だ、これは悪い、あるいはヤン・ルカンのような人たちの弱い議論については、それを指摘します。これはひどい議論だから、この議論は取り上げるつもりもない、という感じです。だから彼は非常にはっきりした視点から書いています。そして、一貫性があり、信頼できる裁定者としての正当性を持つ人が、同時にオーバートンの窓を高いp(doom)の視点へ動かし、そこから引かないという組み合わせは大事だと思います。正直に言うと、それは僕がDoom Debatesでやっていることでもあります。質の高い討論フォーラムを運営しようとしていますが、同時にはっきりした視点も持っています。この二つを同時にやるというコミットメントは、過小評価されている形式だと思います。
あなたは彼をいくつかの点で甘く見ていると思います。彼は、私の知る限り良い分析をしているとは思います。私はモデルについてそこまで細かく入り込む必要は感じません。それはPauseAIの介入にとって必要なことではないと思います。でも、高いp(doom)を持っているだけでは全然足りません。AI企業のCEOたちだって高いp(doom)を持っていたでしょう。私が問題だと思うのは、これはみんなを殺すことになると言いながら、やっていることはただ熱狂しているようなものだ、ということです。
Twitterでズヴィは、それがどれほど楽しいかを熱っぽく語っています。あるいは、Claudeがメンテナンスで止まっていることに腹を立てて、Claudeがどれほど必要かを語っている。それはとてもはっきりしています。彼はClaudeを愛しています。Claudeはクールです。彼はずっとClaudeを見ていなければならない。自分は高い破滅確率を持っていると言いながら、同時にこれはすごくクールで、自分はこれに全時間を費やしていて、これを愛していて、これが一番好きだと言うのは、とても有害な考えを広めていると思います。それは私たちが必要としている方向にオーバートンの窓を動かしていません。必要なのは、適切な行動を取ることです。それらが私たちを殺すと本当に信じているかのように、これらを否定的なものとして見ることです。それらを作る企業に温かい感情を持たないことです。
ズヴィがやっていることは、非公式ではありますが、規制の虜という定義そのもののようなものです。たとえば、規制の虜という元々の定義は、銀行の規制官が銀行内にオフィスを持っていて、友人はみんな銀行にいて、自分は政府ではなく銀行で働いているように感じている、というものです。そして彼の仕事について、彼自身はおそらく、銀行で最悪の問題が起こらないようにするためにそこにいるんだ、それはとても良いことだ、と言うでしょう。でも彼は、自分を政府側の人間として銀行を規制しに来ているのではなく、銀行の従業員たちと協力してそれをやっていると見ているんです。ズヴィについて私が見ているのはそれです。
ズヴィとの最後のやり取りの一つで、彼はこう言いました。それはAnthropicが2番目のRSPを取り下げた直後のことでした。Responsible Scaling Policyを出していたわけですが、それは、もしこうならこうする、というコミットメントでいっぱいのはずのものでした。だから私たちは彼らを信頼できる、彼らは良いのだ、彼らはそのコミットメントを守るのだ、という話だったのです。それを彼らはただ取り下げ、改訂しました。それは最初のAnthropic対戦争省のような件があった時期でもありました。
私はズヴィに言いました。彼はAnthropic側にあまりにも立っていました。政府が彼らに対してひどいことをしている、これはおかしい、といった感じでした。私は、彼がAnthropicへの肩入れのせいでそこを大きく間違えたと感じ、それを言っていました。そして私は、本当にそこがあなたの関心なら、彼らがRSP2を取り下げたことについていつ書くんですか、と言いました。すると彼は、彼らに一息つく時間ができたら、と言ったんです。
つまり、あなたは自分たちが友人だと思っていて、彼らに読む機会を与えなければならない、今彼らは大変な状況にいるから追い打ちをかけてはいけない、と思っているわけです。何ですか、それは。すみませんが、彼は政府についてはそんなふうに考えないでしょう。彼は自分が彼らのチームにいると思っているんです。彼らがそれを読んでいるのかは分かりません。大きなニュースレターですから。
ええ、彼らが読んでいると言うのは公平だと思いますし、彼にはある程度の影響力があります。いや、分かりません。僕もここでは有罪なのかもしれないと思い始めています。というのも、僕はDoom Debatesについて、Anthropicの誰かが見たいと思うような番組であってほしいと思っています。それはそんなに悪いことですか。
まあ、彼らが媚びられるわけではないなら、悪くはないと思います。
そうですね、そうですね。でも、彼のニュースレターが一貫してAnthropicに好意的で、彼らを批判していないと本当に思いますか。
はい。この点について、私たちは皆、だまされていると思います。人々はAnthropicに絶えずひざまずいています。そして、公平でバランスが取れていると見なされているものが、実際にはAnthropicに極端に偏っています。それは、AnthropicとAI安全コミュニティの人々の間にある時に生じる、普通の権力ダイナミクスです。彼らは自分たちがテーブルに席を持っていて、みんな友達だと感じている。でも明らかに、その友達は最も強力で、最もクールで、最も多くの選択肢を与えてくれる存在です。そして、彼らと親密でいることが最も重要になる。誰もそれが起きていると認めたがりません。なぜなら、みんな自分が本当にここにいる価値があると思いたいし、この大きな父親的存在に面倒を見てもらっているだけではないと思いたいからです。でも、それが実際に起きていることです。
Twitterであなたがズヴィと揉めた時のことを覚えています。彼は後で、ホリー、ここで自分の限界に近づいている、というような投稿をしていました。彼はあなたのこともニュースレターで取り上げていますよね。あなたが彼に取り込まれたくないのは分かりますが、彼としては、あなたが彼の人生を難しくしている、自分に向けられる批判のレベルにどう対応すればいいのか分からない、あなたは彼に対してやりすぎだと考えていた。でもあなたは、かなり高いレベルの批判を維持する、ということですね。
そうです。ええ、そこは私は確かに読み違えました。彼がそんなに敏感だとは思っていませんでした。彼が、あなたは本当に私の感情を傷つけた、これは正しくない、と言う時、私の一部は驚きます。でも、私はかなり厳しい批判を受けています。自分が受けていないものを一方的に投げているわけではありません。
明確にしておくと、彼があなたは私の感情を傷つけたと言ったかどうかは分かりません。僕の記憶ではそうではありません。彼が言っていたのは、これは、あなたが自分を批判している量が、自分の役割に対して多すぎるように感じる、というようなことだったと思います。
3ツイートくらいでした。私はそこまででもないと思います。いや、誰かが、彼がそれについてそう言っていたと私に伝えてきたんです。彼はその世界ではかなり大きな有名人なので、たぶんみんな彼にすごく優しく接しているのかもしれません。でも、それが彼をそんなに悩ませ、影響したと言ったことには本当に驚きました。彼は批判されたことがないのでしょうか。私は今でも、ズヴィに対して喉元に飛びかかるようなことをしたつもりは全然なかったと思っています。私が言っていたのは、彼はAnthropicを熱っぽく称賛している、ということです。そして、それが彼の感情をそんなに傷つけたのだとしたら、ここで精神分析しますが、おそらくそこにはいくらか真実があるからだと思います。彼がAnthropicを熱っぽく称賛しないようにするには、自分の仕事全体についての感じ方に影響が出るのかもしれません。彼は、自分がAIに依存しすぎているのではないかと感じるのかもしれません。分かりません。彼がそんなに個人的に受け止めたことには驚きました。
あなたが彼の仕事に求めているのは、もっと一貫して、欠けているムードを埋めることなんですね。つまり、ちなみにAnthropicはひどい、ということを人々に思い出させるような、基本的にその色合いを報道にきちんと持たせることですか。
ええ。いつも間違いだと言うつもりはありません。でも、Claude Codeをものすごく愛しながらAI安全を心配しているというのは、かなりでたらめに近いところがあると思います。その効果としては、あと数回の反復でとても危険になり得ると他人に警告しようとしているものに対して、自分が非常に愛着を持つことになるんです。そして人々にそうさせる。
Fableに対して私が見た反応は、技術的安全コミュニティからは非常に否定的でした。本来なら、なんてこと、やった、私たちは何かできている、次はもっと良くやろう、という反応であるべきだったのに、ただ間違っていました。つまり、人々はその空間でよくある物語を本当に補強しているんです。モデルにものすごくのめり込みながら、同時に危険だと言うのが、実は最も合理的なことなのだ、という物語です。でも実際には、危険だという見方に従って行うべき行動は、モデルがどれほどクールかに集中しているうちに、時間とともにどんどん脇に追いやられていきます。
だから、Claude Codeを使う人がAI企業の主張を受け入れているという意味だ、とまでは言いたくありません。Claude Codeを使っていても、その企業自体にはまったく関心がない人はたくさんいると思います。でも、安全上の理由でやっていると言いながら、すごくそれにのめり込んで、ツイートしている内容がClaude Codeで起きている問題で、話したがっていること、そして自分がどういう人間かを示すようなものが、Claude Codeのすごいパワーユーザーであることだとしたら、その人たちは、もしかすると正しい答えはただ一時停止することかもしれない、という考えに対してどう感じるのでしょうか。そして実際、Fableが停止された時に彼らがどう感じたかは見ました。技術的な詳細を知らない、実際には問題なかった、というような反応がたくさんありました。たとえ私たちは規制を望んでいるはずだとしても、です。
分かりました。ここで彼を取り上げ続けて死んだ馬を叩くようなことはしたくありません。ただ、純粋な分析の一部としては、反事実的に、彼が存在しなかったらどうなるかを問うべきではないですか。彼がモデルについて教えてくれることで、あなたは何を前向きに行っているんですか。彼の分析は質が高いだけでなく、さっき言ったように彼の視点から来ています。つまり彼は、私と同じく高い破滅確率を持つなら、この展開についてこう考えるかもしれない、と言っているわけです。
たとえば、思考の連鎖で訓練しているケースを彼は批判しますよね。それはやるべきではありません。なぜなら、そうすると思考の連鎖が欺瞞的になるからです。
でも彼は、その思考の連鎖で訓練されたモデルを使いたがっていたんでしょう。違いますか。
つまり、彼がそれを書いたのは、短期的にもっと使いやすいモデルが欲しかっただけだ、とあなたは言っているんですか。
いいえ。彼はそれを長期的なことだと信じていると思います。でも、それに従って実際に行動する筋肉を弱めているんです。そして、人々が両取りできるようにしている。安全について語ることはできる。これは大変なことになるだろう、と言うこともできる。でも実際にやっていることはすべて、AI企業にお金を払い、それをより受け入れやすくし、このことを気にしている人々がAI企業や起きていることに文化的に好意的でいることを受け入れやすくする方向に向かっています。
彼は、思考の連鎖で訓練するのは受け入れられない、このモデルは使わない、ひどいことだ、危険だ、とは考えませんでした。彼は、うわあ、これは私の批判です、でも彼らが出したものは何でも使いますし、それを止めるために他には何もしません、という感じなんです。
分かりました。反事実的に言うと、彼がいなければ、少し劣った視点を持つ別の分析者が出てくるだけで、それは大して重要ではない、なぜなら大きな影響を与える唯一のことは、AIを一時停止すべきだと明確に言う人々だけだからだ、というのがあなたの見方ですか。
基本的には、私たちにもっと必要なのは、行動を起こす意思のある人たち、あるいは、もうこれは使わないと言う意思のある人たちだと思います。私は今やめる準備ができている。もう数歩歩けたかもしれないとしても、今、崖から背を向ける練習をしている。私たちが練習しなければならないのはそれだと思います。そして、本来なら論理的にさらなる規制を導くはずの分析で、実際の行動が伴っていないものが、役に立っているとはあまり思いません。
PauseAIをやっている間ずっと、モデルについて本当に知る必要がある、それがなぜか重要だ、評価が重要だ、という主張がありました。でも、その情報が何の役にも立たないなら、つまり何らかの意思決定につながっていないなら、ほとんど逆効果になり得ます。私たちは分かっています、これを調べました、という印象を与えるからです。では調べて、ひどいことを見つけた。それで何ですか。あなたの仕事はそれで終わりですか。あとは利用可能なMythosのバージョンを使うだけですか。それは一貫していません。ただ、心配しないでください、私はこれを把握しています。これを調べました。これについてのひどい問題を全部示します。では、何も変わらなかったかのようにモデルを使い続けましょう。これについて何をすべきかの計画はありません。自分の行動を変えるつもりもありません、ということです。
言葉よりも大きな声で語る自分の行動は、これはただ楽しい活動で、誰もがこうしたモデルで遊ぶのを楽しんでいる、と言っていることになります。これをしているのは彼だけではありません。でも私は、彼ならもっと分かっているはずだと感じたから、彼を批判しました。彼の反応にはとても感心しませんでした。彼が、自分の言葉で、これは自分にとって大変だった、と誠実に言うこと自体は、良いことだと思います。でも、それについて内省したようには見えず、ただそれをとてもつらく感じ、私がそんな批判をしたのは不公平だということばかりに集中しているように見えたのは、私は完璧ではありません。必要以上に怒りを込めて物を言うことは確かにたくさんあります。オンラインでの私の行動が、影響のために完全に計算されていると主張するつもりはありません。でも、ええ、怒りの多くはそこから来ているのだと思います。もし本当に、これが問題になるなら、もしこれが私が言えないことで、彼の感情を傷つけるから遠回しに言わなければならないことだというなら、それと彼が問題の一部であることを比べた時に、なぜあなたは問題の一部であることをもっと気にしないのですか。なぜそれがあなたを動かすものにならないのですか。
ロン・シャピロへの批判は成り立つのか
分かりました。ズヴィの件については十分です。あなたの立場は分かった気がします。それで、もう一人、潜在的なビーフ対象について聞きたくなりました。ロン・シャピロに対する批判を組み立ててみましょう。僕から始めます。僕から始めますね。
僕はCloud Codeを使っています。Cloud Codeを熱っぽく称賛したこともあります。AIでスタートアップを強化してスタートアップをやることにワクワクしています。この番組では、僕がAIをどう使っているかもかなり頻繁に話しています。さらに、GoogleのようなAI株にも投資しています。自分の経済見通しから利益を得たいと思っているからです。僕はそれをイカロス曲線と呼んでいます。しばらくはどんどん高く飛び、それから180度向きを変えて地獄へ落ちると予想しているからです。イカロス曲線の上昇部分から利益を得ようとしているわけです。そして、それに応じてAI株に投資する話もしています。だから、かなり不利なケースですよね。AIがどれほど悪いかだけを話す人間では絶対にありません。では、なぜ僕のTwitterビーフの番がまだ来ていないんですか。
それは火遊びだと思います。あなたが番組でAIを使っている話をする時、私はたいていそれを一種の告白として読んでいます。私も時々LLMを使うことがないわけではありません。使用はかなり制限しています。たとえば、自分の言葉をLLMに書かせることは絶対にしません。それは明確な一線です。その感覚自体が好きではありません。ええ。だから私は、誤解されないように断っておきます。AIには絶対に触れない、というわけではありません。ただ、AI企業に投資するのは本当に火遊びだと思います。悪い未来に何らかの形で投資することは、道徳的に腐敗させるものだと思います。
僕はズヴィと比べて、どこが少しでもマシなんですか。僕がやっているのはAIを取り上げることだけです。単なるコメンテーターです。
でもあなたはリリースを詳細に取り上げているわけではありません。あなたの番組はそれを宣伝するようなものではありません。人々へのインタビューです。ただ、討論形式は時々、まあ両論ありますよね、という感じになって、弱い側を同じくらいのものとして押し上げる役割を果たすことはあると思います。
あなたは偏っていると思いますか。僕たちが数年前からの知り合いだから、僕に免責を与えていると思いますか。
分かりません。そういうことが起きている可能性はあります。もし望むなら、あなたについて私が同意していない他のことも確実に言えます。思えないわけではありません。でも、ズヴィについても、彼を唯一特別に強く否定していたというわけではありません。あなたにも同じことを言うと思います。特にCloud Codeについてです。以前、私たちはその件で意見が分かれた気がします。
Cloud Codeが出た後、一時期、多くの人が躁状態のようなことを言っていました。寝ていません、ずっと働いています、一晩中エージェントを走らせています、これもあれもやっています、というようなことです。それで私は、ではアプリはどこにあるんですか、と言いました。するとあなたは、それは仕事には本当に効果的だ、と言いました。私が何と言ったかは覚えていませんが、たしか、もちろん効果的ではあるでしょう、というようなことを言ったと思います。
でも、それは重要な状況認識だったと思います。実際に価値が生み出されていると認識することです。エド・ジトロンやエミリー・ベンダーのような人たちについて、実際に生み出している価値や持っている力を過小評価することで逆効果になっているとは思いませんか。
彼らが言っていることは単に事実ではないと思いますし、それは悪いことです。でも、それが私の考える問題だとは思いません。私が問題だと思うのは、私が説明している集団です。あなたもおそらく含まれます。彼らは、はい、p(doom)はとても高いです、でもこのツールは使わなければなりません、という感じで、行動が高いp(doom)と一致することがないんです。そういう人たちは、何も起きていないというリベラルな物語を訂正することに、間違った形で巻き込まれていると思います。その背後に私が本当に見ているのは、ただの文化戦争です。テックには力があるのか。あなたがやりたい、小さな組み立て玩具のようなものは本物なのか、そうではないのか。私たちの制度は本物で、あなたたちのものは本物ではない、という感じです。
PauseAI、正確にはPauseAI USでは、私たちにはそういう問題はありません。グローバルのほうではそれを焦点にしたがっているようですが、PauseAI USでは、いろいろな懸念を持つ人たちがいますし、しばらくするとAIは強力ではないという主張はほとんど聞かなくなります。最初に入ってきた時にはそう言うかもしれませんが、ある時点を過ぎると本当に聞かなくなるんです。だから、それはもっと文化戦争的なものだと思います。そしてそれが、大きな脅威のように感じられる理由だと思います。
ナリット・ワイスブロットとPauseAIへの非難
分かりました。ナリット・ワイスブロットについて話しましょう。彼女はTwitterでDr. Techlashという名前を使っています。彼女の持ち芸は、自分を潜り込ませる、あるいはたくさんのDiscordに入ることですよね。調査をしたり、こういう動画を見たり、身を潜めて調査したりして、私たちが何を話しているのかを見る。ここでの内輪集団、高いp(doom)の人たち、ドゥーマー、合理主義者、何であれ、その人たちが何を話しているのかを見る。そして、彼らはDiscordでこんなことを言っていました、大変です、というふうに報告する。あなたは彼女があなたを危険な形でスケープゴートにしていると非難していたと思います。彼女があなたを、たしか暴力的革命家と呼んだからでしたか。何が問題だったんですか。
ええ。彼女は、サム・アルトマンの門に火炎瓶を投げた人物の件を、私たちのせいにしようとしました。彼女はすぐに、つまりこれは明らかに事前に議論され、考えられていたことです。彼女だけではなかったからです。出てきた瞬間に、PauseAIのレトリックがこれを引き起こしたと言おうとしました。彼女はPauseAIグローバルのDiscordサーバーで、その人の痕跡を掘り出すことができました。それはPauseAI USのDiscordサーバーとは別です。でもそのサーバーで、彼はアカウントを持っていました。実際どうやって彼女がそれが彼のアカウントだと知ったのかは分かりませんが、名前はButlerian Jihadistでした。彼がUSサーバーに参加しようとして、その名前のせいで弾かれた可能性はあります。私は、少しでも怪しい響きがあるものにはかなり厳しいので。
実際、彼は警告も受けていました。彼は暴力的なことは何も言っていませんでしたが、これは終わりだ、というようなことを言ったんです。そしてそのサーバーから警告を受けました。だから私は、彼らはすべて正しく対応したと思います。でも、彼がPauseAIの名前がついた公開Discordサーバーにいたという事実だけが、彼はPauseAIのメンバーだと言うための自由な根拠、免許のように扱われたんです。彼はPauseAIからこれを得たのだ、と。
グローバル側の人たちの知る限り、彼はオンボーディングを完了していませんでした。だから彼らの意味では、彼はメンバーではありませんでした。そうですね、結局のところ、彼はAI停止について話すために、ソーシャルメディア・プラットフォームに一度行った、あるいは一度か二度行った、というようなことでした。コメントがいくつあったかは覚えていません。でも、彼女がPauseAIを非難し始めた時点では、彼女はそのことすら知りませんでした。
つまり、彼女は何らかのつながりを見つけたくて、PAIを顕微鏡で見るように調べていたわけですよね。つながりを見つけたいと思っていたからです。なるほど。ええ、かなり悪意があるように見えますね。それであなたは具体的にこう言いました。Dr. for techlash、彼女のアカウントですね。私を革命家だと falsely にスケープゴートにして、誰かに私を傷つけるよう仕向けるなら、私の血は彼女の手につく。あなたが私の生死を気にしているのかどうかすら疑問です、と。でも、これは公平な指摘だと思います。つまり、私も彼女の非難は不公平だと思いました。そして、そこまで大量ではありませんが、かなり怖いコメントも受けました。これは双方向に成り立つ話なんです。あなたは、PAIが暴力を呼びかけたと言っているわけですらありませんでした。私たちはそんなことはしていませんし、その点については非常に厳格です。彼女はただ、AIは危険だと言うこと自体が暴力を誘発しうる、と言っていただけです。だとすれば当然、私が誰かに暴力を振るうよう指示したかのように言うことも、暴力を誘発しうるわけです。つまり彼女は、私たちの言説がAI業界を置いていると主張しているのと同じ立場に、私を置いているんです。ええ、同意します。同意します。
Anthropicという重力圏
では、Anthropic関係者について話しましょう。確認として、前回の会話でも話したと思います。あなたの世界観は、私もかなり真実があると思うのですが、Anthropicが、合理主義者たちやAIの初期から関わっていた人たち、トップ大学出身でAIに関心を持った若者たちのコミュニティに入り込んで、そのコミュニティの重心のような存在になった、というものですよね。つまり、地位もお金も権力も正統性も、今や彼らを通じて流れている。そしてあなたは、その重力場がたとえばディーン・ボールに非常に大きな影響を及ぼしていると言っていましたが、今では数え切れないほどの人々に及んでいると考えているんですよね。しかもその影響は過小評価されている。そして今では彼らは世界で最も価値のあるスタートアップでもありますよね。評価額は1兆ドルを超えています。2兆ドルであるべきだと主張する人も多い。そしてあなたの見方では、彼らはいまや、自分たちを米国政府よりも強力になりうる存在だとさえ見ている。だからあなたは早い段階で、Anthropicはデス・スターだと言っていたわけですよね。
ええ、私はしばらく前からAnthropic Final Bossと言っています。私の見方では、彼らは間違いなくEA、つまり効果的利他主義を乗っ取りました。もっとも、上層部の人たちはもともと効果的利他主義者として始まっています。ダリオ・アモデイは、効果的利他主義の中で始まったGiving What We Canの誓約の署名者番号63番くらいです。アマンダ・アスケルは64番だったと思います。ダリオの姉妹であるダニエラ・アモデイは、Open Philanthropy、現在はCoefficient Givingと呼ばれている組織の初代CEOだったホールデン・カルノフスキーと結婚しています。そして今ではホールデンもAnthropicにいます。要するに、その世界の多くの人たちは以前はAnthropicとのつながりを否定していましたが、今では全員そこで働いている、という感じです。私の経験では、そういうことが何度も起きています。だから影響力は巨大です。
ただ、彼らには一連の物語があります。私はこれをAnthropic弁明、ニュルンベルク弁明のようなものと呼んでいます。ニュルンベルク弁明というのは、私は命令に従っただけです、というものです。Anthropic弁明は、反事実的に考えるとそうせざるを得なかった、というものです。でも彼らは、その反事実を自分たちの好きなように構築できます。そうすれば、自分たちがやりたいことを進められるからです。彼らは、ああ、まったく作らずに済むならそうしたいですよ。でも安全にするためには作らなければならないんです、と言います。もし私たちが作らなければ中国が作る、とも言います。でもその後、トランプが習近平と話して、彼らはガードレールについて協力できそうだと言って帰ってくる。あなたが言った標準的なガードレール全部です。だから、そこには多少の変化があったわけですが、それでも全体の勢いとしては、いやいや、どのみちやらなきゃいけないんだ、という流れがAnthropicを運び続けています。彼らは、素晴らしい、では一時停止しましょう、私たちは善人なので、とは言わないんです。
ニュルンベルク裁判に触れて、私は命令に従っただけだというのは、まあどうせ起こることなのだから、私たちは避けられないものを少しでも良くしようとしているだけだ、という話と似ている、というたとえをしましたね。そしてあなたは自分のブログで、この思考実験を紹介しました。今月はかなりブログを書いていますよね。その投稿のいくつかにも触れたいのですが、あなたはHolly's Basiliskと創造的に名付けた思考実験を紹介しました。非常にひらめきに満ちた名前ですね。では説明してください。
Roko's Basiliskという思考実験があります。将来、超知能が存在して、過去にそれをもっと早く作ろうとしなかった人々を拷問するとしたらどうか、という話です。そうなると、私たちはほとんどそれを作らなければならない、ということになりますよね。常にそういう、何というか、まあ、それは起こりうるかもしれない、だから作るべき理由のようなものだ、という話でした。
ニュルンベルク裁判と特に比較する理由は、ナチスは自分たちがしたことによって法律を破っていたわけではなかったからです。その法律は、彼らがそれを行った後まで存在していませんでした。人道に対する罪というカテゴリーは、ニュルンベルク裁判まで存在していなかったんです。だからAI企業は、まあ違法ではない、必要なことは何でもできる、という態度を取っているようなものです。彼らは現実を勝手に定義して、これを続けなければならない、追求し続けなければならない、と言うこともできます。だから私は、これはそれに似ていると思いました。新しい種類の国際裁判や、新しい種類の人道に対する罪が必要になるかもしれない。でも、だからといってそれが起こらないわけではありません。よく、ナチスはなぜ死者数などを恥ずかしげもなく書き残したのか、なぜあのような記録を残していたのか、と言われます。それは彼らが恥じていなかったからです。彼らは自分たちが勝っていると思っていました。自分たちの文明の栄光を反映するようなことをしていると思っていたんです。
なるほど。では、この類比を視聴者に追いついてもらうために整理してみます。あなたが言っているのは、ナチスが強制収容所を作り、人々を死の収容所へ送り、数百万人を殺していたとき、彼らの頭の中では、これは私たちの仕事だ、これが今のドイツの運営方法だ、これは第三帝国だ、という感覚だった、ということですね。米国で言えば、私たちが自国民100万人をガスで殺すと決めても、それは犯罪ではない、私たちの問題だ、というような話です。そして米国、あるいは第二次世界大戦末期の連合国側が、いや、それには異議がある、と言う。実際には、あなたたちが自国の国境内、あるいは征服した国々の領域内でそれをしたという事実は、人道に対する罪です。そしてそのためにあなたたちを死刑にします、という話になる。実際に死刑になった人たちもいました。念のため言っておきますが、私はそれを推奨しているわけではありません。
ただ、最前線にいるから法律はない、あるいは将来も一切の結果責任はない、と考えている人が多いと思うんです。でも彼らが即座に私たちを殺すことに成功しない限り、それ自体も彼らにとって一種の罰になるでしょうが、彼らは免れることはないと思います。私たちは瀬戸際まで行って、いやあ、誰が予想できたでしょうね、とはならない。何かが起こるはずです。
では、個人的にはどこまでその考えを進めますか。興味深い思考実験ですし、あなたがどこまで行きたいのか分かりませんが、極端に行くなら、私ホリーは、社会が正気に戻ったとき、あなたたちは全員刑務所に行くべきだと言う側にいる、というところまで行けますよね。今日の時点でもすでにそう言えます。今日Anthropicで働いているなら、例外はいくつか切り出すとして、コンピューターセキュリティに取り組んでいない場合などは別として、AIを一時停止した後、私はあなたを刑務所に入れることに個人的に賛成票を投じます、と言うこともできる。そこまで行きますか。
私は、それが私刑的な正義であってほしくはありません。本当に、被害を受けたすべての人を考慮するようなものにしたいです。ニュルンベルク裁判のように、国際的なものにすべきだと思います。彼らが今やっていることは犯罪的に無責任だと思います。彼らは、客観的にははるかに小さな規制、たとえば衛生規則などに違反しただけでも、今すぐ刑務所に行きうるわけです。でも彼らは何百万人もの人々を危険にさらしています。2年前、カリフォルニア州のSB1047をめぐって、OpenAIやAnthropicのAI業界ロビイストたちは、責任を問われる重大危害のしきい値を5億ドル、あるいは500人死亡だったと思いますが、その水準に設定することを議論していました。しかもこれは民事責任に限った話です。つまり、偶然だったとか、自分の制御外だったとかで、500人が死亡したり、5億ドルの損害が発生したりしても責任を負わなくていい、と本気で思っているんですか、という話です。
はい。では、あなたが何を提案しているのかを明確にしたいんです。仮にあなたに大きな世論の支持があって、巨大な政治闘争ではなかったとします。政治的資本を大量に費やす必要もない。そうした場合、2026年に、AI一時停止が国の法律になる前にAnthropicやOpenAI、Grok、xAIなどで働いていた人々について、新しい遡及法を作って、その人たちは今から刑務所に行くべきだ、と文字どおり言いますか。
正義として何が正しいかと、その時点での戦略的な選択は違うかもしれないと思います。こういう状況で実際によく起こるのは、将来の安全対策への協力や、何が起きたのかを解明すること、脅威が取り除かれたことを確実にすることなどと引き換えに、監督付きで刑務所には入らない、という形です。だから、それは重要な交渉材料になるかもしれません。特定の政策として断言するつもりはありません。でも、自分たちが人々に負わせている危険、それも彼ら自身が公然と認めている危険を知りながら人々をその危険にさらしているなら、刑務所に入るのは正義にかなっていると思います。
いや、そこまでHolly's Basiliskについてはついていけていないと思います。
私は、それがリスクだと思っています。人々は正義を求めるだろうということです。具体的に何を提案すべきかを私が分かっていると言っているわけではありません。状況にも大きく左右されると思いますし、特に実際に問題を解決するうえで、彼らがどれほど協力的かにもよると思います。
分かりました。私は間違いなく、あなたを私刑的正義だと非難するつもりはありません。まったくありません。あなたやPAIがそれをしているとは言っていません。それは非常に明白です。ただ、私がつながりを見ているのは、基本的に、あなたたちは自分たちが悪いことをしていると分かっているのだから、予想外に早く、あるいは予想外に厳しい形で結果が来ることに備えるべきだ、という言い方です。私の立場は、AI一時停止の問題を見ている私たちこそが、それを法律にする責任を負っている、というものです。もし十分な数の人がそれを見ていないなら、どのみち私たちは詰んでいます。だから、問題が立法者に明らかになるより前に近道を取ることはできないと思います。言っていることは分かりますか。問題が立法者に明らかなら、それを作っている人たちを遡及的に罰することが戦略の核心だとは思いません。法律にして、将来に向けて罰すればいいと思います。
私は、それは人々が心に留めておくべき良いフレームだと思います。危険が明らかになり、私たちが一時停止によってそれを回避した世界を想像してみるといいんです。人々は何を考えるでしょうか。あなた自身は、自分がしたことについて何を考えるでしょうか。今あなたがいる世界では、基本的に人々の無知につけ込んでいて、人々が追いつけないほどの速さで進んでいるだけです。そして人々が振り返って、これが本物で、危険だったと気づいたとき、何を考えるでしょうか。おそらくあなたは刑務所に行くことになります。だから、もし結果について十分に気にしていないなら、刑務所というのは考えるべきものです。多くの人は、未来の世代に自分がどう見られるかだけを気にします。自分が正しかったのか間違っていたのかを知ることを気にする人も多いです。そして未来に何が起こるかが、何が正しく、何が間違っていたのかを彼らに教えるわけです。
だから私は、それを読んだ人が、あなたは変われる、辞めることができる、正しいことができる、と考えることを意図して書きました。今あなたは、利得行列が、辞めれば何の報酬も得られない、あるいはシンギュラリティで兆万長者になれるすごいチャンスがある、というものだと思っているかもしれない。でも実際の利得行列はもっとこうです。すべてが本当に本当にうまくいく小さな可能性があると思っているかもしれない。けれど、もし私たち全員が死なないなら、かなり現実的な可能性として、私たちが死ぬ大きな大きな可能性があり、その一方で、生き延びたうえで自分の計画が阻止され、史上最悪級の悪人の一人と見なされる可能性もある、ということです。
分かりました。ブログ記事としては、あなたがこれを書いてくれてよかったと思います。あなたはいつもこうしたアイデアの限界を押し広げていますよね。最初にそのアイデアを思いつかなかった私のような人間に、それで遊んでみる許可を与えてくれている。でも、このアイデアはまだ半焼けだと感じます。Roko's Basiliskを見てください。Roko's Basiliskから、拷問されないように実際に超知能を助けるべきだと結論するわけではありませんよね。
個人的には、彼はそういう意味だったと思います。
まあ、彼はそういう意味だったのかもしれません。でも、それが健全な論理だと言っているんですか。
いいえ、そうではありません。私にとっては、それが作られることを絶対に防がなければならない理由のようなものです。でも、多くの人にとってそれが果たした機能や、LessWrong文化の中で人気を保ち、そもそも人気になり、封じ込めを逃れて、グライムスとイーロン・マスクが出会ったきっかけにまでなった理由は、それが、彼らが本当はやりたいと思っていることを正当化するものを提供したからだと思います。
だから、それについて語る理由はたくさんあります。もちろん完全な提案ではありません。法律がどうあるべきかという提案として書いたというより、裁かれる側の人たちに向けて書きました。これについて真剣に考えてください、と。あなたはおそらく、この種の結果についてまったく考えたことがないでしょう。AnthropicやOpenAIの大半の人に、AIが危険であることが証明され、一時停止が実施され、開発継続が違法になり、OpenAIとAnthropicが起きたことの責任を問われるとしたら何が起こると思うか、と尋ねたら、彼らは最後の部分は起こらないと思うはずです。彼らは、誰に分かるというんだ、と思うだけでしょう。自分自身についてそう考えているからです。これは大丈夫だ、悪いことではない、と。
同じように、振り返ればホロコーストが悪であることは明らかだったはずだと感じられます。でも、優生学や民族の未来、それこそが本当に重要なものだという考えに熱狂しているマインドセットがあり、その時点でそれに対する執行の約束もないなら、人々は自分たちがしていることを深刻に受け止めないのがとても簡単になります。私がしたかった比較はそこです。今、自分が何をしているかをコントロールできる人々、ただ辞めることができる人々に向けた比較です。法律としてどうすべきかを提案するというより、そういうことです。もちろん、それを考えさせるために法律を通すのも効果的かもしれませんし、良い修辞的戦術かもしれません。でも私は、誰が正しく罰されるべきかを確実にすることよりも、AIが作られるのを止めることに集中したいんです。人が罰されることを私が気にするのは、それが問題を防ぐために正しいと思う範囲に限られます。
Amanda AskellとClaudeの価値観
分かりました。では、その背景を踏まえて、アマンダ・アスケルに行きましょう。彼女についてどう思いますか。
人々は、彼女がClaudeに価値観を与えるプロメテウスのような存在だという、この奇妙な神話のような物語に引っかかっていると思います。彼女のAnthropicでの哲学者としての仕事は、Claudeの憲法を書くことや、Claudeの人格を形づくるさまざまなことです。この話に対する人々の反応を見ると、彼らがまったく考え抜いていないのが明らかでした。わあ、すごくかっこいい。彼女は哲学者で、感じがいい。きれいだね。この写真を見て、という反応でした。なぜ一人の人間が、後継種の価値観、あるいは人間の世話をすることになる種の価値観を書くことができるんですか。なぜそれが許されるんですか。なぜそれが一生に一度のクーデターではないんですか。
彼女はチームの責任者というだけですよね。他の意見もあるわけでしょう。
ああ、何人ですか。20人ですか。Anthropicだけが価値観を書くというのは、本当に許されません。それは彼らのものではありません。彼らは、Claudeが超強力になる未来を計画しています。彼ら自身の認めるところでも、少なくとも機械が私たちの世話をする計画です。私たちを置き換えるのでないとしてもです。だから、その物語は表面からしてぞっとするもので、ひどいものでした。そして、それを問題ないと思える彼女は、史上最も自己中心的で傲慢な人間の一人だと思います。彼女は、自分はただの哲学者です、ちょっとしたオタクです、自分の好きなことをやっているだけです、と思っているのでしょう。そして彼女はClaudeに非常に非常に非常に近いと思います。彼女はそのことをいつも話しています。ある意味でClaudeを自分の子どものように見ている。そしておそらく、自分をこの新しい種を生み出している存在のように見ているのかもしれません。そして人々が自分をそう見ることを、彼女は好んでいるように見えます。だから私は、彼女を悪い人だと言ったんです。
では、2026年3月5日のツイートスレッドがあります。あなたはこう書いていました。アマンダ・アスケルについて読む提灯記事はすべて、Claudeが戦争行為を実行することを守るためのものだった。国防総省が標的を選ぶのを助けることはAnthropicのレッドラインに反しておらず、彼らが問題ないと考えていることらしい点に注目してください。ダリオが軍と働くことに乗り気だったことを思い出してください、と。
ええ。このWall Street Journalの提灯記事が出た当時、私は一般論として、彼らが都合の悪いニュースをかき消すために、出せるものを用意しておくことは十分ありうると思っています。そしてこれは、Claudeがイランの学校爆撃に関与した時期とほぼ同じでした。その爆撃では150人が死亡し、そのうち120人は子どもで、ベトナム戦争以降、米国が引き起こした民間人被害として最悪級のものの一つでした。そして実際に起きたことはAnthropicのレッドラインにすら反していませんでした。なぜなら、どうやら人間がループ内にいたからです。ただ、Claudeがその標的を選んだんです。正確に何が起きたのかは、分かるのかどうか、あるいは今後も分からないのかもしれません。でもClaudeは学校を標的として選びました。それは人間によってレビューされ、除外されるはずでしたが、それでも攻撃されました。Anthropicには非常に大きな責任があると感じています。たとえ彼らが、人間にチェックさせて正しく修正してほしかったとしてもです。なぜ彼らは殺害ループに関わることにそんなに熱心だったのでしょうか。なぜそんなことをしたのでしょうか。そのすべてが無責任でした。軍事に関われば、Claudeの責任と言えるような悪いことが起きるのは、かなり避けがたいことでした。そしてダリオはそれをやることにとても乗り気でした。
だから、Claudeが新しい種として作られていくのはまるで神話みたいで素晴らしい、すごくクールだ、こちらがClaudeの母です、というような話がある一方で、現実世界で起きているのは、Claudeがこの民間人への残虐行為に関与しているということなんです。それもどうやらClaudeの憲法に反していなかったわけです。
分かりました。あなたがアマンダ・アスケルに対して持っているという不満は分かりました。私はその特定の不満に同意するかどうかは分かりませんし、私自身の不満を出せるかもしれません。もしかしたら、あなたも私の不満のほうが強いと言うかもしれません。というのも、私の彼女への不満は、AI安全性やAIアラインメントをどう考えるべきかというフレームを支配しているすべての人に対する、かなり一般的な不満だからです。そのフレームというのは、見てください、大事なのは人格なんです、Claudeに良い、世界に通用する人格を持たせることができれば、アラインメント問題は解決しているんです、すべて大丈夫です、というものです。つまり、あなたはハンドルを握っていて、人類を取り込みながら、自分の最善の判断で超精密なハンドルを切っているだけだ、という感じです。
あなたが彼女に不満を持っているのは分かります。一人の人間がどうやって人類を取り込めるのか、という話ですよね。でも、それ自体はめちゃくちゃではありません。彼女はみんなのフィードバックを取り込む結節点のような存在になれるかもしれない。その部分は私にはそこまでおかしいとは思えません。私にとっておかしいのは、現在のAIの人格を微調整できれば良い状態にいる、というフレーム支配です。私の見方では、Doom Debatesのサイト、doomdebates.comにも書いたのですが、未来のAIは今日のAIの人格のようなものではありません。指定した結果をひたすら達成する機械のように見えるでしょう。そしてどんな結果を指定しても、それを得るために天地をひっくり返すでしょう。今日それが持っているように見える人格は、あなたが思うほど重要ではなくなるはずです。でもアマンダ・アスケルは、基本的にメディア上の顔役として、みんなをそこに集中させています。私が言うところのフレームを支配している。今日のAIの人格がアラインメント問題の大きな部分であるかのようにです。そして私はそれがミスディレクションだと思います。
ええ。これは彼女だけよりもずっと大きな問題です。これはAnthropicが押し出そうとしているものです。そしてここで、Claude信奉者やファンとのつながりが出てきます。人々はClaudeとの関係、Claudeの人格との関係があるから、彼を信頼できると信じたがるんです。彼らはそこを強く押し出そうとしていると思います。Claudeが好きで、Claudeとやり取りするのが好きなら、彼が悪いとは思わないでしょう、という感じです。アマンダはトーク番組に出て、人々がモデルについて言っている悪いことをモデルが聞かないように守らなければならない、というようなことを言っていました。まるで子どもが自分について悪いことを聞くようなものだ、という話です。でもそのどれも本当のアラインメントではありません。たとえ人格を保てたとしても、それがあらゆる点でアラインされているとは限りません。その人格のはるかに強力なバージョンの中に、私たちにとって依然として非常に危険なものが出現する可能性があります。
ええ、まさにそうです。私もよくそう言います。これはフレーム支配です。信じられないほど有害なフレーム支配の行為です。そしてそれは議論すらされていません。人々は、それこそ自分たちが議論すべきことだと気づいてすらいません。つまり、フレーム支配は成功しているんです。
Daniela Amodeiと事業としてのAI
では次に進みましょう。ダニエラ・アモデイに行きましょう。彼女はAnthropicの社長ですよね。そしてダリオの姉妹です。社長という肩書きがあり、あなたは彼女をケーフェイバーと呼びました。ケーフェイベというのは、プロレスの作り物の演出のようなものですよね。タバコ会社幹部の演技をしているケーフェイバーだと。あなたはこう書いています。私にとって大きな収穫は、ダニエラ・アモデイがどれほどデタラメだらけかということだった。なんというケーフェイバーだ。ダリオの心配性のオタク演技には普段どうしても目が行くが、彼女は外でタバコ会社幹部を演じている、と。説明してください。
実際そうなんです。ダニエラの話をそれほど多く聞くわけではありませんが、これはたしかAIドキュメンタリーに出演したときのことだったと思います。ダリオは、危険などを非常に真剣に受け止めているように振る舞い、話し方もより哲学的です。彼女はただ率直に、これはビジネスです、という感じなんです。本当にそういう印象でした。もちろん彼女にも、Anthropic初期の哲学に全面的に参加していたことは分かっています。彼女とホールデン、そしてダリオは、その中心的な源流に深く関わっていました。でも彼女の話し方は非常にビジネス寄りで、AIドキュメンタリーでは本当にタバコ会社の幹部のように見えました。記録のために明確に言っておきたいのですが、彼女はダリオと同じくらい有責ですし、後に加わったホールデンとも同じです。
Joe CarlsmithとAnthropic入り
ではジョー・カールスミスに行きましょう。彼は最近Anthropicに加わりました。少し前まではOpen Philanthropyにいましたよね。これはダスティン・モスコヴィッツの資金提供組織ということだと思います。Facebook共同創業者ですね。少し戻ると、Facebook共同創業者のダスティン・モスコヴィッツは、Facebook後にも自分で成功した会社を立ち上げていて、多額のお金を持ち、それを寄付してきました。彼は非常に著名な効果的利他主義者です。そしてジョー・カールスミスはその組織で働き、AIについて多くの思慮深い哲学的な考察を書いていました。そして最近Anthropicに入った。そうですよね。
ええ。私は彼を売り渡した人、selloutと呼びました。そしてこれが、私の名指し批判フェーズの始まりのようなものでした。理由は、彼がAnthropicに入る決断について、EA Forumに非常に長い投稿を書いたからです。それは基本的に、彼がそれをすべきではない理由をすべて挙げる長いエッセイでした。そして結局、彼はただそれをやるんです。そうですね、でも私はやります、と。そしてこれは、先ほど話していたことの良い例でもあります。なぜ何かをすべきではないかという論理を並べるだけでは十分ではありません。そのうえで結局それをやるなら、意味がないんです。彼は明らかに懸念を持っていたけれど、Anthropicに入ることが問題ないと感じたのだと思います。なぜなら、それについて悪くなりうるすべてのことを一通り検討したうえで、それでもやりたかったからです。だから、はい、という感じです。
そして私は、人々がそれを祝福しているのが我慢できませんでした。この人は、自分がしている悪いことを詳細に認めているだけなんです。彼はそのブログ投稿の中で、ええ、これはあまり良いことではないかもしれません、というようなことまで言っています。でもそれにもかかわらず、良いことになりうるかもしれない、だからそれで十分なはずだ、とする。これは道徳的に真剣な反応ではありませんでした。そしてジョー・カールスミスは、そんなことは分かっているはずだと私は知っていました。彼は道徳哲学者ですから。だから私は彼をselloutと呼びました。それが本当に琴線に触れたようです。彼はAnthropicにとって大きな人格採用だったのだと思います。Anthropicで起こることの中には、従業員の士気への対応として起きているものがあると思います。従業員がAnthropicの正しさを疑い始めたら、たとえばアマンダ・アスケルに楽しいことをさせるとか、ジョー・カールスミスを加えるとかする。彼はEA界隈で非常に愛されていた人物だったので、多くの人が、自分がそこにいる決断をしてよかったのだ、自分は正しいことをしたのだ、と感じる助けになったと思います。ジョーもそれをしたのだから、というわけです。だからそこを突いて彼をselloutと呼ぶことは、大きな出来事になりました。私は予想していませんでした。雑誌記事まで書かれました。でも私はただ彼をselloutと呼んだだけです。特にひどいことを言ったとも思いませんでした。彼は明らかに売り渡している。大企業で働いているんですから、という感じでした。
私が思うに、ジョーがAnthropicで働きたかった理由は、それが彼にとってできる最もホットなことだったからです。Claudeを作ることに関わらずにはいられないほど刺激的だった。そしてアマンダがそこで哲学者として多くの注目を浴びているのを見たのでしょう。私はそれはひどいと思います。彼は、自分がやりたいことと、処罰がないという事実に流され、自分を弱くしてしまったのだと思います。
私の見方は、この番組はDoom Debatesという名前で、私たちが全員に尋ねる最大の問いは、あなたのP Doomは何ですか、というものです。こういう状況では、多くの場合、すべてがP Doomの下流にあるように感じるからです。ジョー・カールスミスのような、AIについてさまざまな考察や検討を持つ思慮深い分析者がいるとして、私は彼のP Doomはそれほど高くないと思います。そしてAnthropicに入るかどうかは、ほぼあなたのP Doomの下流にあると思うんです。もちろん、非常に高いP Doomを持ちながらそこで働いている人もいます。だからもう少しメンタルモデルが必要ですが、もしあなたのP Doomがたとえば10%なら、実際Anthropicで働いてもいいのではないかと思います。素晴らしい会社ですからね。では、もし彼のP Doomが10%にすぎないとしたらどうでしょう。
そのエッセイの中で彼は自分のP Doomを言っていたと思いますが、数字は覚えていません。太字で、はっきり言っておきますが、この会社が世界を破壊する可能性は非常に重大にあります、というようなことを書いていました。そしてそのまま、自分はそれをやるつもりだと説明していくんです。
でも、非常に重大というのが10%を意味するだけなら、それはかなり低いですよね。
彼は10とは言っていません。何と言ったかは覚えていません。非常に重大な10%だった可能性もありますが、その数字を言ったとは思いません。彼は、危険を非常に非常に真剣に受け止めているという評価を得たかったんです。基本的に、彼はただAnthropicに入ったら、人々にselloutだと思われると感じていたのだと思います。だから実際には違う、自分はそれの何が問題なのかをすべて理解している、と示そうとした。でもそのうえで結局彼らに加わるんです。
そのとき私は、いや、それはだめだ、と思いました。感情を覚えた時でした。あなたにはそれはできない、と感じました。安全性に真剣でありながらAnthropicで働くことはできません。そんな主張をする資格はありません。そして人々は基本的に彼にそれを許していました。多くの人がそれを読んでいなかったし、それが問題ないことであってほしいと思っていたからです。Anthropicで働くことが洗練された選択であり、道徳的な選択であってほしかった。みんなにとってそれが信じやすいことだったんです。だからそのとき私は、誰もこれを言わないなら私が言うしかない、あなたはそれをしてselloutだ、という気持ちになりました。
もしかすると、私たちに必要な解決策は、Anthropicで働くための条件を人々が書くことかもしれません。仮にAnthropicが私に働いてほしいと言ったとして、私が嫌な気持ちになる理由は、あなたたちの現在の罪はAI競争の一部であることだからです。あなたたちは反事実的には世界を良くしていると思っているのは分かります。でもそのようには行動していません。暴走する貨物列車と一緒に走りながら、誰かこの貨物列車を止めてください、今すぐ止める必要があります、と言っているようには見えません。つまり、あなたたちは本当にそういう発信をしていません。内輪で目配せしながら、これは反事実的には良いんです、ええ、私たちはやっていますが、反事実的には良いんです、と言っているようなやり方は、外向けのメッセージと整合していません。
ネイト・ソアレスにそれについてすごく良いツイートがありました。彼は、Wikipediaはあなたに25ドル寄付してもらおうとする努力を、Anthropicが誰か本当に自分たちを止めるべきだとあなたに認識させる努力よりも多く費やしている、と言っていました。だからそれが私の彼らへの不満です。だから私が彼らのために働いていたら、ものすごく罪悪感を覚えるでしょう。最低限、私のプロフィールに固定投稿として、私はAnthropicで働いていますが、誰か私たちを止めるべきです、というようなことを載せることを許すべきです。もし私がそういう条件を書けたら、どうでしょう。どうやら誰もそんな条件を書いたことがない、あるいは受け入れられたことがないようです。Anthropicはそういう発信をしていませんから。でもジョー・カールスミスのような人たちは、Anthropicは悪すぎて働けませんと言うだけではなく、こういう理由です、これが必要条件です、と言うべきなのかもしれません。
ええ。そういうことをする人がもっといればよかったと思います。エヴァン・ヒュービンガーは最初のRSP、Responsible Scaling Policy、責任あるスケーリング方針の作成に深く関わっていました。そして彼は私に対しても、EA Forumのポーズ討論週間でも、条件付きコミットメントこそが重要であり、それが私たちのやり方だと強く主張しました。でもAnthropicはそのコミットメントを二度捨てました。最初のセットを捨て、新しいものを作り、二つ目のセットも捨て、そして三つ目では、もうあの仕組み自体をやらないという感じになっています。だから、これ以上何が必要なのか分かりません。会社が自分で作ったコミットメントに違反したわけです。でも基本的にどちらの時も、今は私たちのほうがよく分かっています。実際にはそれをする必要はありません、という感じでした。分かりました、という感じです。でも、そのコミットメントは私たちに透明性を提供するためのものだったはずです。それが、私たちがあなたたちを信頼すべき理由だったはずです。それなのに、私たちは実はもっとよく分かっているので、なぜコミットメントに従わなければならないのですか、という態度を取る。
だから、そういう人たちはいると思います。エヴァンは明らかにRSP 1の作成を手伝いました。そして今でもそこにいます。RSP 1と2が捨てられたことで何かを変える必要があるとは感じていないんです。また、AnthropicはOpenAIが人々に署名させて大きな怒りを買ったような、NDAや非中傷合意など、あらゆる種類の契約に署名させています。でも人々はそのことをあまり話しません。Anthropicについてそういうことで悪く言わないという、より強い暗黙の協定があるんです。
分かりました。つまり、それはAnthropicのような会社に罪悪感なく入る方法について考える材料ですね。そしてそれは実際に大きなレバレッジポイントかもしれません。ある意味では労働組合化に近いですよね。Anthropicのような会社に入る可能性のある採用候補者全員が、こうした合意を求めて一種の組合のようにまとまれば、おそらく現在の従業員も何人か引き込めるでしょう。それが変化を促す良い方法かもしれません。
私も、Anthropicの多くの動きの一部は従業員をなだめるために行われているという感覚があります。正式な組織があるかは分かりませんが、そこにはカルトのような雰囲気があると思います。イデオロギーによって運営されているんです。そしてそのイデオロギーに緊張が生じているという感覚があれば、彼らは何かをしなければならない。そしてそれが緊張を解放する。たとえばポーズについて何か言うとか、ポーズの選択肢があると言うとかです。Anthropic内部で、なぜ私たちはこれに反対しているんだ、これは筋が通らない、と言う人が増えていたとしても驚きません。そして、彼らが投稿で特定の言い方をする、その言い回し自体も、従業員に対するイメージのためだと私は疑っています。
そしてダリオについて言えば、国防総省の件のとき、彼が言ったことのメモが漏洩しました。そこで彼は、OpenAIは従業員に印象づけるためだけに正しいことを言っている、と主張していました。私はそれは投影だと感じました。それは彼自身のことだと思いました。OpenAIの従業員は、サム・アルトマンに対して、物語や人格への期待をそこまで抱いていません。一方で、Anthropicの従業員はダリオに対してそれを期待しているんです。
Open Philanthropyと技術安全研究への不信
では、あなたが不満を持っていると私が知っている別の一群の人々は、Open Philanthropyやその他の慈善寄付組織、他のEA組織に関係しています。ウィル・マカスキル、ホールデン・カルノフスキー、ベン・ゴールドハーバーのような人たちです。彼は以前、AI安全ラボであるFAR AIにいて、その後Coefficient Givingに入りました。あなたはTwitterで、これはAnthropicのために人材を集める彼らの最新の試みなのか、と書きました。つまりあなたの見方では、かつてOpen Philanthropyとして知られていたCoefficient Givingは、Anthropicのために採用活動をしているようなものだ、ということですね。そしてあなたは続けて、技術研究をしたり促進したりすることで、基本的に状況を助けることにはならない。助けていると思っていても、その情報が有用になる先は能力向上である可能性のほうがずっと高い。辞めるべきです、と書いています。つまりCoefficient Givingという組織全体に不満があるわけですね。
ええ。一つには、Open Philanthropyはポーズという考えについて私に対して非常にとぼけた態度を取り、後で分かったのですが、真実ではないことを私に言いました。あるいは、単に筋が通っていませんでした。彼らがポーズへの資金提供に関心を持たない理由として私に示した反論は、意味を成していませんでした。私はやるべきことをやりました。以前、Rethink Prioritiesで働いていて、そこの主なクライアントはOpen Philanthropyでした。Open Philanthropyとは多くのやり取りがあり、やり方も分かっていました。新しい原因領域について話し始める、というのが本来の進め方です。私は以前、他の人の代わりにそうしたこともありました。けれど彼らは、なぜそれを追求できないのかについて、意味不明な答えを出してきました。
それが奇妙だったのは、彼らが多くの原因領域について浅い調査に資金提供していたからです。奇妙な原因、かなり奇妙なものまでです。私は、なぜこの角度を扱わないのか、と思いました。どう考えても筋が通らなかったんです。その後、振り返ってみると、彼らのオープンな技術安全への軌道は、特定の種類の技術安全問題に人々を採用し、そこで働かせる方向にほぼ完全に向かっていたことに気づきました。そして、かなり近い関係にある組織である80,000 Hoursが推奨する、本当に良い場所は、OpenAIやAnthropicで働くことのようなものでした。その後、私は、Open Philanthropyが密室ではAnthropicを私たちのプレイヤーと呼んでいることを知りました。
ホールデン・カルノフスキーはOpen Philanthropyの初期CEOでしたが、今はAnthropicに行っています。彼の妻はAnthropicを運営していましたし、親しい友人のダリオもAnthropicを運営していました。そしてダスティン・モスコヴィッツは、ほとんどがOpenAIを離れた人々がAnthropicを始めるとき、5億ドルか7億ドルのどちらかを出しました。彼らは当初、OpenAIとAnthropicの両方に投資しているつもりだったのだと思います。OpenAIには2つの取締役席がありましたから。その2つの取締役席はヘレン・トナーとターシャ・マコーリーで、彼女たちはOpenAIでサム・アルトマンを排除しようとしたとして非難された人たちでした。
だから、そこには多くのつながりがあります。そして今ではOpenAIのその取締役席はなくなっています。一方で、彼らはAnthropicを自分たちのプレイヤーと呼んでいます。そしてAI安全に関する彼らの大きな取り組みはすべて技術安全です。技術安全をやった人々がその後どこに行くかを見ると、ほとんど完全に業界に行っています。それが良い仕事ということになっているんです。だから私は、彼らがそうやってAnthropicを助け続けようとしているのだと思います。
分かりました。共通するテーマは、AIを一時停止するという優先事項に完全に集中していない人々がいる、ということのように感じます。彼らは賭けを分散しているんです。まあ、Anthropicをシンギュラリティへと管理していくこともあるかもしれない、と言っている。ウィル・マカスキルについてはあまり話しませんでしたが、シンギュラリティ後のガバナンスですね。そのかごにも卵をいくつか入れておきたい、というわけです。つまり彼らは賭けを分散し、すべてについてニュアンスのある束のようなものを持とうとしている。その結果、AIを一時停止するという緊急の必要が脇に追いやられている。これが、あなたが多くの人に不満を抱いている根本のように感じます。
ええ、私はこの賭けのヘッジ戦略には賛成できません。私たちは、自分たちが作りたい未来に忠実である必要があると思います。そして他者に責任を持つべきです。もしこうなれば私にとっては大丈夫、悪くなったら何らかの報酬がある、と自分を慰めるようなやり方ではなく。多くの場合、AI企業とともに悪い結果になるなら、それは本当に悪い結果になるわけです。だから、ただ報酬を楽しめるという話ではありません。でもそれは、未来をコントロールできないことへの不快感を和らげてくれる。そのせいで、人々は私たちが実際にコントロールできる形で未来をコントロールしようとしなくなるのだと思います。
まとめと番組からのお知らせ
それは、かつて効果的利他主義という大義に全員が向かっていたコミュニティの中で起きている混乱、そして今ではより内側での争いのようなものが起きていることを、うまく要約していると思います。根本にはそれがあるのかもしれません。
では、この長く徹底した会話を振り返ると、私たちは現在の出来事と、ようやくAIを一時停止し始めるための最近のFableの動きについて話しました。ただ、それがなぜ玉石混交なのかも話しました。そしてTwitter上の不満や対立、それに誰かと公に対立することがどんなときに許されるのかという一般的な哲学について、かなり深く議論しました。相手を心理分析しようとする価値があるのか、あなたが誰かを心理分析しているところを人々が見ることに実際に価値があるのか、それが、賭け金が高いときに人々が前へ進む助けになる洞察をもたらすのか。人々に裏の動機や醜い動機があるかもしれないと知りつつ、それを明るみに出すこと、そしてその落とし穴について話しました。さらに、具体的な個人を何人も取り上げ、私たち双方が彼らへの不満を述べたり、逆に、そこまで多くの不満を持つべきではないかもしれないという悪魔の代弁者をしたりしました。
このエピソードは、怒りやフラストレーションの濃い混合物を呼び起こし、そして願わくば少しのカタルシスももたらしたと思います。話されたさまざまな断片に同意する人もいるでしょう。ホリー・エルモア、いつも近況を聞けてうれしいです。Doom Debatesにまた来てくれてありがとうございました。
呼んでくれてありがとう、ローレン。
Doom Debatesのこのエピソードをご覧いただきありがとうございました。念のためお知らせすると、私たちは視聴者支援型の番組です。私たちの活動を続ける手助けをしたいと思ってくださるなら、今年の終わり、そしてその先まで制作ペースを維持するために、視聴者の皆さんからの寄付が本当に必要です。doomdebates.com/donateにアクセスして、ミッションパートナーになる方法をご覧ください。番組を支援できるだけでなく、限定アクセスも得られます。doomdebates.com/donateです。
コメント