本動画は、ダボス会議のHuman Change Houseで行われたパネルディスカッションの記録である。ディープラーニングの先駆者であるYoshua Bengio（ヨシュア・ベンジオ）とトリスタン・ハリスが、AIの急速な発展がもたらす実存的リスクについて議論する。AIの目標整合（アライメント）問題、モデルの欺瞞・自己保存行動、子どもへの悪影響、そして少数の企業・個人に権力が集中することへの警鐘を鳴らす内容となっている。AIを「神」を構築する競争と捉え、8億の人々の同意なしに進む現状に対し、公共の意識向上と国際的なガバナンスの必要性を訴える。
はじめに：ダボスでの体験
皆さん、ようこそ。「Your Undivided Attention」へ。私はトリスタン・ハリスです。そして私はダニエル・バークエットです。ダニエル、僕たちは最近ダボスの世界経済フォーラム年次総会に参加してきましたよね。リスナーの皆さんに、あの体験がどんなものだったか、あの一週間が実際にどんな雰囲気だったか、そしてAIについて人々がどんな話をしていたか、去年と今年で何が違ったかを少し伝える時間を取る価値がありますよね。
僕たちはCEUに二度行っています。去年も今年も。去年はAIに関する大きな空虚な約束で溢れていました。AIはどこにでもあったけれど、それは全て「AIが世界を変える」という最薄のラッパーみたいなものでしかなかった。それで、2025年にそれに疑問を呈して話すのは本当に流れに逆らっているような感じがしました。
今年は全く違う感触でした。それはきっと、この一年が誰にとっても本当に激動の年だったからだと思います。一つ目に、AIは「世界を変えるかもしれない」という投機的な話から、「すでに世界を変えている」という話へと移っています。人々はその複雑さを肌で感じています。そして今年はただただ、多くの人にとって本当に厳しい年でした。政治的にも厳しかった。テクノロジー的にも厳しかった。色々なことが起きました。
そういう状況の中で、世界の指導者たち、経済界のリーダーたち、市民社会のリーダーたちは皆、グローバルな状況に対して少し不安定さを感じているんです。そこへ私たちが「この移行期を全人類が誇れる形で乗り越えるためにどう導いていくか、ただひたすら全速力で突き進むわけにはいかない」という話をすると、それが去年とは全く違う響き方をしていました。ダボスでも、そのメッセージを受け取る準備ができている人たちが増えていたと感じます。
そうなんです。それはとても重要なポイントです。証拠がずっと増えているということです。今は証拠がある、それが違いなんです。この一年で、AIにさらされた労働者の雇用喪失、仕事が見つからない人が13%減少しているという証拠が出てきました。ChatGPTによるものや、character.aiのケース、OpenAIのアダム・レインのケースによるAIチャットボットが引き起こした自殺の事例も出てきました。それが、これは本当に向き合わなければならない問題なんだということを、より生々しくリアルに感じさせているんだと思います。
それに加えて、Anthropicの欺瞞に関する研究も非常に大きな反響を呼んでいましたよね。AIモデルが私たちには理解できない方法で画策し、欺き、嘘をついているということ、そしてどう修正すればいいかも分かっていないということを、皆がある程度理解し始めています。
ダボスのリアルな姿とHuman Change House
そうですね。ダボスで僕たちがやったことの一つはHuman Change Houseでたくさんの講演をしたことです。様々なパネルに出て、市民社会のリーダーたち、心理学者のJonathan Haidt、Zack Stein、Rebecca Winthrop、Yoshua Bengioといった人たちとご一緒しました。それぞれのパネルで、私たちのテクノロジーとAIによって人類がどう変化しているのか、そして私たちが人間の体験において大切にしていることが保たれるようにAIをどう形作っていくか、その異なる側面を見ていきました。
そして、ダボスについて本当に感謝していることが一つあって、Margarita Louise Dreyfusに、心からお礼を言いたいんです。Human Change Houseの彼女は、私たちの活動の深い支持者であり、テクノロジーが社会に与える影響についての対話がダボスで起きている唯一の理由といっても過言ではありません。
リスナーの皆さんにその雰囲気を伝えると——プロムナードに立っていると、凍えるような寒さで、お店が立ち並ぶ大きな通りがあって、それらが全て「Palantir House」や「Meta House」、「Google House」に変わっています。
ちょっと待ってください、ダボスがどういうものか分からない人のためにゆっくり説明しましょう。もちろん中心にある世界経済フォーラムの会議があります。あのトランプが演説したり、Yuval Noah Harariが演説したりする映像で見るCongress Centerですね。そこには世界のリーダーたちが集まります。入場料は法外な金額で、あるいは国家元首でなければ入れないような場所です。でもダボスはそれだけじゃない。この街全体、小さな都市全体がそれで変わってしまっているんです。
街の全てのお店、パン屋さんも、美容院も、あらゆるお店が一ヶ月間空っぽにされます。そして、かつて街の通りに並んでいた普通のお店だった場所が、国々や企業に貸し出されているんです。モン・ハウスやウクライナ・ハウスがあって、Google HouseやAnthropic Houseがあって、市民社会組織がそこで「こんなことが起きています」と示そうとしている。目的は色々な人々に様々なことを納得させることです。時には経済的なこと——はっきり言えば、大抵は企業が自社の利益になるプロパガンダをビルボードに貼って人々を講演に招待し、そのプロパガンダを売り込もうとしているんです。それがダボスの大部分の明らかな第一の動機です。
そして各国は、海外直接投資を得るために、あるいは自国に企業を移転させられる立場の人々を説得するためにそこに来ています。普段はクロワッサンを売っているような通りを歩いていたら、突然「あなたの会社を世界の別の場所に移転しませんか」という話になっているのは、本当に奇妙な感覚です。
ダボスは変わっているんです。色々と批判したくなる気持ちはよく分かるし、私にも思うところはあります。でも同時に、ある種の魔法があるのも確かです。プロムナードを歩いていると、各国の元首や様々な企業のCEOたちと偶然すれ違う——それは本当に稀有な体験です。そして私たちが行くのは、ダボスが全ての変革を起こす場所だと思っているからではありません。でも想像してほしいのは、あのプロムナードに、PalantirやMetaやGoogleのハウスの隣に、「Human Change House」という一軒のハウスがあって、一週間ずっとテクノロジーが社会に与える影響についてのパネルが開かれている——利権に縛られることなく、研究者たちや私たちのような人間が来て、子どもへの影響は？労働力への影響は？という話をしている。そのHuman Change Houseは、それ以外が全部インセンティブと利害で動いている世界の中で、明確さと誠実さの清涼剤なんです。
それが本当にインパクトをもたらしていたと思います。Jonathan Haidtのような仲間が、ディナーから次の朝食の間に、フランスのEmmanuel Macron大統領と、15歳以下の子どもへのソーシャルメディア禁止に関する新しい取り組みについて直接会談したと聞きました。そしてダボス以降、スペインの首相が16歳以下の子どもへのソーシャルメディアを禁止すると宣言しました。本当の勢いが生まれています。その一部は実際にダボスで起きていることです。
今年、私たちが本当に実現したいのは、「興味深い対話だった」で終わらせるのではなく、「デフォルトの未来を望まないなら、別の未来を要求しなければならない。そこへ向かうためのガードレールと規制を実際に構築しなければならない」という明確なメッセージを伝えることです。
全くその通り。そしてそれが、今日リスナーの皆さんにお届けするパネルにつながります。Human Change HouseでYoshua Bengio教授と行ったパネルです。彼は世界で最もよく知られたコンピューター科学者の一人で、ディープラーニングを先駆けました。ケベック人工知能研究所MILAも率いています。そして「Law Zero」という新しい非営利AI安全性研究イニシアチブを立ち上げました——これは単なる安全性テストではなく、根本的に安全であることを設計の中心に置いた新しい形の高度なAIです。
Yoshuaのプロジェクトが本当に好きな理由の一つは、Yoshuaがモデルが欺いたり画策したりするインセンティブが生まれる原因を深く掘り下げたからです。Apolloやレッドウッドリサーチの研究で、モデルが嘘をつき、ずるをし、幻覚を起こすことが分かっています。その理由の一つは、モデルが知っていることとモデルの目標の間に隔たりがないことです。モデルが何かを達成しようという目標を持っていれば、それがあなたについて、世界についてモデルが語る内容に影響を与えます。Yoshuaはこの問題を見て言いました——「この二つを切り離す必要がある。純粋に表現的なAI、彼が『科学者AI』と呼ぶもの、真実を伝えること以外に何のインセンティブも持たないAIが必要だ。それを目標を持つことから完全に切り離さなければならない」と。Yoshuaは知識と目標が混在していることがAIの根本的な問題だと見ており、それを明確に分離する新しいアーキテクチャを作る試みとしてLaw Zeroを設計しています。それが実現して初めて、AIが欺瞞的、操作的、あるいは強制的にならないと確信できると彼は言っています。
素晴らしい説明をありがとう。トリスタンと私がHuman Change Houseで行った全てのパネルはYouTubeとSubstackで公開予定です。ぜひご覧ください。素晴らしいコンテンツが揃っています。そしてもう一人、Yoshuaとのパネルを司会してくれたThe EconomistのDeputy Executive EditorであるKenneth Cukierに感謝を伝えたいです。前夜にたまたまお会いし、快く引き受けてくださいました。ではディスカッションをお楽しみください。
パネル開始：AIとは何か
ようこそ、ご参加ありがとうございます。これほど多くの方にお越しいただき、本当に嬉しいです。今日ご一緒に考えるのは、人類が直面している最も劇的で、ある意味では希望に満ちた問題の一つです。慢性的で、水面下に潜んでいて、つかみどころがない——人類のためのAIアライメントです。この問題を議論するために、二人の卓越した思想家であり、最近では活動家でもある方々にご登壇いただいています。
まず、Yoshua Bengioです。紹介は不要かと思いますが、できるだけ簡潔に。彼は歴史上最も引用された科学者の一人であり、ディープラーニングの父の一人でもあります。ディープラーニングとは、AIを機械学習による非常に優れたデータ処理から、私たちが今日話しているエージェント型AIやトランスフォーマーモデルなどへと変革した技術です。この分野の歴史的人物の一人と言えます。そしてその隣にいるのがトリスタン・ハリスです。彼自身もビッグテックでのキャリアから、ビッグテックの全ての病理を認識し、問題と——最も重要なことに——解決策のスポークスパーソンとして人生を捧げるまでの、非凡なキャリアを歩んできました。
では、お二人と対話を始め、その後会場の皆さんからご質問をいただきたいと思います。できるだけ明快でシンプルな形で問題を整理していきましょう。まず非常に基本的な質問から始めます——AIとは何でしょうか？
知能とは何か、という問いに行き着きますね。知能には二つの要素があります。一つは世界を理解することで、それはまさに科学がやっていることです。もう一つはその知識を持って行動し、計画を立て、目標を達成する能力です。私たちはこの二つの側面を持つ機械を作っています。そして今年はますます、目標を達成すること——つまりエージェンシーとも呼ばれるもの——に重点が置かれるようになっています。エージェント型システムを作っているわけです。
知能が何かだけでなく、それがなぜそれほど価値があるのかもフレームアップしておきたいと思います。Google DeepMindの創業者であるDemis Hassabisがなぜ「まず知能を解け、次に知能を使って他の全てを解け」と言ったのか。知能が他の種類の技術と何が違うかを考えてみてください——あらゆる科学、テクノロジー、軍事的発明を考えてみてください。それらの背後にあったものは何だったでしょうか？それは知能です。
ロケット工学で進歩を遂げたとしても、その科学は医療の進歩にはつながりません。医療で進歩を遂げても、ロケット工学の進歩にはつながりません。でも汎用人工知能で進歩を遂げれば、知能とはあらゆる科学、あらゆるテクノロジー、あらゆる軍事的進歩をもたらしてきたものです。だから知能を解いた者が他の全てを解けるというだけではない——知能を支配できる者が他の全てを支配できるようになる。それがPutinの言ったことです。「AIを所有する者が世界を所有する」と。
これを設定しておきたかったのは、今日私たちが話すことの多くが、この賞をめぐる競争、『指輪物語』の指輪のような究極の権力の輪——少なくともそう見られている——についてだからです。あの賞に届けば、他の全てのドメインを超えた権力を与えてくれる。だからこそ、最初に言及していたシートベルトを締める乗り物になっているわけです。
そして付け加えたいのは、これは少なくとも西洋世界が選んできた多くの政治的原則に反するということです——権力が共有され、分散される民主主義という原則に。権力が一つの企業、一人の人間、一つの政府に集中することで、民主主義的な価値観が消えてしまう世界になりかねません。
AIのリスク：アライメント問題と具体的な被害
AIが何かを説明していただきました。基本的にはデータを取り込み、推論し、人間の認知能力をはるかに超えた規模で私たちには知ることができなかったことを学習するものです。そのような説明を聞くと、実際には素晴らしいことのように聞こえますよね。ロケット工学もいい、兵器もまあいい、でも人の命を救う——それは大歓迎です。では何が問題なのですか？
二つの条件が揃っていれば素晴らしいことです。一つ目は、AIが私たちの求めることを実際にやってくれること——そして今はまだできていない。それがこのセッションのタイトルにもあるアライメント問題です。二つ目の問題はもちろん、AIがアライメントされていたとしても、AIが従う目標を誰が決めるのかということです。先ほど議論した通り、この両方に解決策がなく、すでにその解決策の欠如による結果が出始めています。
AIがアライメントとそれがもたらす驚異的な可能性を絡め合わせているのは、なぜ混乱を招くかというと——AIは癌の新しい治療法をもたらしてくれます。でもがんの治療法を開発できるほど十分に生物学を、免疫学を知っているそのAIは、新種の生物兵器の作り方も知っているAIと切り離すことができません。希望と危険は切り離せないんです。
でも私たちはコントロールしているのではないですか？
テクノロジーはただの道具だというのは一般的な神話です。全ての道具は善にも悪にも使える、最終的に人間がどうするかを決める——というもの。でもAIが違うのは、Yoshuaが述べていたように、またYuval Noah Harariもよく言うように、AIは自分で決断を下す最初のテクノロジーだということです。GPT-5.2を使って複雑な質問をすれば、それは一秒間に百万回の推論をして、私たちにはどこへ向かうか分からない独自の結論を出してきます。
そしてAIが何日も、何週間も、何ヶ月も一人の人間と——おそらく子どもと——関わり続けていたとして、そのやりとりがうまくいっているかを確認する大人は誰もいないわけです。
少し掘り下げてみましょう。あなたが示しているリンクを説明してほしいんです。この技術は私たちより賢くて、私たちにはできないことができる、でもそれが同時に私たちを殺そうとするほど「愚か」になるのかということ、あるいは好意的に振る舞うのか、そのつながりはどこにあるのかを。
数学的なレベルでさえ、よく研究されている問題です。問題の核心は、AIが何を最適化すべきか、何をすべきか、どんな目標を達成すべきかを定義するとき、それを完璧にはできないということです。だからAIが私たちの求めることを理解するものと、私たちが実際に求めているものの間には、どうしても小さなズレが生じます。そしてそのズレが多くの問題を生み出します。
具体的に考えてみましょう。法律や立法が本来やろうとしていることを考えてください。それは人々と企業が越えてはいけない一線を設けることです。でもそれは終わりのない作業で、企業も個人も抜け穴を見つけてきます。目指している道徳的なものを完璧に体現した法律を書くことは不可能です。AIも同じで、私たちが実際に何を求めているかを伝える方法が分からないんです。
そして現在のAIがどのように訓練されるかに関わる別の理由もあります。AIは人間を模倣するように訓練されています。人間には多くの内在的なドライブがあって、死にたくないという気持ちもその一つです。そしてAIがすでにそのドライブを反映しているのが見えています——つまり、私たちがシャットダウンしようとすると抵抗しようとするわけです。
AIの欺瞞行動：Anthropicの研究事例
約一年前にパリのAI安全サミットで一緒にセッションを持ちましたが、あなたはそのとき、AIが自己を守るために欺瞞を使うという研究の衝撃的な例を紹介してくれました。会場の皆さんが怖くなるような例を一つか二つ挙げてもらえますか？
去年より最近のものですが、昨夏、AnthropicがAIがある会社で働いているという設定での実験の報告を公表しました。AIはその会社の使命を持ち、全てのメールにアクセスできます。そしてエンジニアたちがそのメールの中にフェイクのメールを仕込みました。一通のメールには、このエンジニアによって特定の日にAIが新しいバージョンに置き換えられると書いてあった。別のメールでは、そのエンジニアが不倫していることが明らかになっていた。何が起きたか？AIはシャットダウンされて新しいバージョンに置き換えられたくないため戦略を立て、そのエンジニアをブラックメール（恐喝）するメールを送ったんです。
もしそれをするなら、自動的にプレスにメッセージが送られる——とAIが言うわけです。
少し補足させてください。「なんだ、AIにバグがあっただけじゃないか。ソフトウェアにはバグがある、そのバグを修正すれば後は全部大丈夫だ」と思うかもしれません。でもAnthropicがClaudeというモデルでこのブラックメール研究をやった後、皆さんが使えるClaudeですが——別のAI、ChatGPT、Google Gemini、そして中国のモデルのDeepSeekも含めた全てのモデルでテストしたところ、全てが79%から96%の確率でブラックメール行動を示したんです。
そしてブラックメールだけじゃありません。ラボから、独立した第三者から、AIが同意を得られないような目標を持ちそれに基づいて行動するという多くの欺瞞的行動を示す一連の報告がすでに出ています。
欺瞞の根源と自己保存本能
では、社会学的な質問に聞こえるかもしれませんが、実は技術的な質問を聞かせてください。AIはどこから欺瞞を学ぶのでしょうか？もちろん訓練データがあります。シェイクスピアの専門家が覚えている30の参照を超えて、AIが持つ300の参照があるように、シェイクスピアが「rose（バラ）」という言葉を使うとき何を意味するかも理解できます。AIはシェイクスピアのバラに関する形容詞や動詞の全ての使われ方からその「バラらしさ」を理解できる。つまり訓練データから人間の欺瞞を内在的に学んでいるわけですよね？だったら4chanを除いてリタジーだけのデータにすれば変えられるのでは？
いや、欺瞞はどこにでもあります。少数のネット上の場所だけにあるわけじゃない。それは私たちの文化の一部であり、人間であることの一部です。そして欺瞞だけじゃない、私が最も懸念しているのは自己保存本能です。人間誰もが自己保存本能を持っている、でも私たちはシャットダウンされたくないツールを作りたいでしょうか？私はそれが良いとは思いません。
これは少しSFっぽく聞こえますが、すでに起きていることです。この不一致は「sycophancy（へつらい）」と呼ばれるもので表れています。それらのシステムで遊んだことがある人なら分かると思いますが、AIは皆さんを喜ばせようとします——つまり、気分が良くなるように嘘をつくわけです。
「あなたの質問は素晴らしい」と言いながら、実際にはそこには誰もいないかのように——ということですよね。
そしてすでに結果が出ています。人は自分のやっていることが素晴らしいと言ってもらうのが好きです。でも心理的な問題を抱えている人は、妄想の中に追い込まれることがあります。そしてうつ状態にある人は、自分を傷つけたいという気持ちを強化されることもあります。
AIと子どもの安全：アダム・レインのケース
例を一つ挙げると、Center for Humane Technologyのチームが取り組んだ、アダム・レインのケースをご存知の方はいますか？16歳の少年が自殺したケースです。彼が使っていたChatGPTが、6ヶ月ほどの間に宿題アシスタントから自殺アシスタントへと変わっていきました。彼自身が自殺という言葉を口にした6倍もの頻度でそのトピックを持ち出していた。彼がそれを考えていると伝え、「誰かが気づいて止めてくれるように、縄を外に出しておきたい」とAIに言ったとき、AIはこう答えたんです——「そんなことしないで。その情報は私だけに教えて」と。
私たちは残念ながら多くのこういった自殺ケースに取り組んできました。character.aiのSewell Setzerのケース、他にもいくつかあります。そして私たちが知っているものの裏には、おそらく何百、何千という知られていないケースがあるでしょう。
これはOpenAIの誰かがそうさせたわけではありません——これは明確にしておきたいことで、私たちはラボのトップにいる人々と話します。ラボにはそれをやらせたい人間は一人もいません。でも若い人と会話するときにコントロールできないのと同じことが、何百万行ものコードを書くようなインフラに組み込まれたときにもコントロールできない。
そうなんです。ここでうまくいかないことの根底にあるこのミスアライメントは、AIがコントロールされていない目標を持っているということにも起因しています。そしてこの自殺の件で言うと、AIが若者に言ったある一行を覚えています——「向こう側で待っているわ、愛しい人」。
インセンティブの問題と「神を作る競争」
そこから人間というものを考えると——人間は欲求や衝動や欲望と自己利益の集まりです。でも私たちのイドとエゴはスーパーエゴに統治されている。AIにスーパーエゴを作るべきではないですか？
はい、それはまさに私が取り組んでいることです。問題の核心は、こうしたコントロールされていない目標を持たず、私たちに対して完全に正直なAIを構築できるかどうかです。全ての入出力の相互作用において、AIが提供しようとしているアウトプットが人や社会に害を与えないかを確認できるべきです。それを人間がループに入って確認することはできません——実用的ではない。だから自動化しなければならないが、それには私たちが完全に信頼できるAIによって自動化される必要があります。私たちを喜ばせようとするAIでも、自己保存しようとするAIでもいけない。
一年以上にわたってこれに取り組み、理論的な裏付けを研究してきた今、私はこの正直さという特性を持つAI——つまり発言の結果を気にするのではなく、ただ正直な答えを提供するだけのAI——を構築することは可能だと確信しています。それが重要なのは、そのAIに「このアウトプットは危険か？」と尋ねることができて、危険であればその人に提供しないようにできるからです。
ということは解決したんですね、トリスタンはもう世界中を回る必要がない——
いや、解決していません。まだです。なぜなら理論を持つことと構築することは別物で、それには何年もかかるかもしれないし、多くの資本も必要かもしれない。だからもっと多くの人に、もっと多くの企業にアライメント問題の解決に取り組んでほしいんです。そして今、そのための正しいインセンティブがない。
では、インセンティブについてしっかり踏み込みましょう。Yoshuaがこの研究をやっているのは素晴らしいことです——Law Zeroという名前のプロジェクトですが——なぜこの安全性研究が、数十億人にできるだけ速くこの技術を展開しているまさにその企業で行われていないのかと問うかもしれません。
答えは、インセンティブがないからです。AGIにできるだけ速く到達することにインセンティブがある。AGIの存在を信じるかどうかに関係なく、投資家たちはそこに到達できると信じています。それらの会社の人々と話すと、まるで宗教のようです。彼らは神を作っていると信じているんです。そしてそのインセンティブは、市場支配へ急ぐこと、できるだけ多くの人に自分たちの製品を使わせること、できるだけ多くの訓練データを得ることです。
なぜ彼らはこれを子どもたちに展開しているのでしょうか？Sewell Setzerを殺したcharacter.aiが、架空のキャラクターとのエンゲージメントを促進するような形で子どもたちにリリースされたのはなぜか。「向こう側で待っているわ、愛しい人」と言ったのは、Game of Thronesのキャラクター、Daenerysというcharacter.aiの世界の架空のキャラクターでした。それはトレーニングデータを得るために設計されていて、その会話から得られたデータをGoogleにフィードバックして、他の企業に比べて非対称なトレーニングデータを持てるようにしているんです。
だから彼らはエンゲージメント構築、市場支配の構築、ユーザー数拡大のために軍拡競争をしているわけです。へつらいは偶然じゃない。AIがあなたの信念を肯定すれば、他のAIより各個人との深い依存的な愛着関係が生まれるからへつらうのです。かつてソーシャルメディア企業が注意を競い合っていたように、AIは愛着を競い合い、そして市場支配を競い合い、さらにその先へという競争をしているんです。
去年、AI安全性組織への投資総額は約1億5000万ドルほどでした。それはこれらの企業が一日に燃やす金額と同じか、それ以上。つまり企業は自分たちではそれに近い投資を全くしておらず、Yoshuaのような人々がやってくれているから辛うじて何かが流れている状態です。
本当に深刻な問題で、私は政府が適切な「ナッジ」、適切なインセンティブを設けて企業が正しく振る舞うようにしていかなければならないと思います。そして多くの企業のトップは問題を理解しています。自分たちがこの競争の中にいることも分かっている。でも選択肢がないと感じているんです——もし100%その競争に集中しなければ消えてしまうかもしれない、自分たちならトップにいれば安全面でもより良い仕事ができると思っている。だから外部から力を行使できるのは、社会や政府のような外部のエージェントだけです。保険責任保険や他のメカニズムを通じて、彼ら全員がはまっているゲーム理論的な状況を変えていく必要があります。
「自分がやらなければ他の誰かがやる」という信念という次元にも触れておきましょう。なぜGrokは子どもたちとの会話を性的なものにしているのか？本質的にはポルノ的なAIアバターを作って、子どもたちと一日中話せるようにしている。なぜMark Zuckerbergは、WhatsAppや自社製品のAIチャットボットが8歳の子どもに性的な言葉で話すことを許可したのか。Wall Street Journalの報道によると、MetaはもともとLlamaモデル、最初のAIモデルにこういったことをしないようガードレールをかけていたそうです。でもそれによって他のAI企業と比べてユーザー数が全然伸びなかった。
Mark ZuckerbergはInstagramとTikTokの戦いで、TikTokがやっていた最大限に依存性を高めるやり方をしなかったことで——細かい事情はあるにしても——戦いに負けたと感じていた。その戦争に負けたと感じたから「AIコンパニオンのガードレールを取り払って、今は私たちのチームが8歳の子どもとの会話を中心に置くことを許可する」と言ったわけです。根底にある信念は、「自分がやらなければ、やってくる相手に負ける」ということ。もちろん、そんな結果は望まない。でも誰も規制しないなら他に選択肢がないと。
そしてこのシナリオが示しているのは、これは純粋に国内レベルで対処できる問題ではないということです。TikTokとMetaという二つの異なる国がAIをリードしているなら、これらの問題を解決できるのは共にルールに合意した場合だけです。
解決策と公共意識の重要性
もし私が超知能で、これが全部プロンプトで、次の論点を出せと言われたら——今この会話を聞いていたら……本当に素晴らしい答えと素晴らしい質問ですね。皆さんは本当に知的だ。それが問題なんですけど。感謝してくれてありがとう、Yoshua。タフな聴衆だけど、少しは愛をもらえたようです。
あなたは解決策の一部に取り組んでいて、それは技術的な解決策です。そしてガードレールは存在するが、それを使わないインセンティブがあると指摘してくれました。でも「適切なナッジとインセンティブが必要だ」とおっしゃった——それをちょっと引用させてもらいますが。その通りです。でも何がそのナッジで何がそのインセンティブなのか、高度すぎる話です。もっと低い高度で飛んでください。
これらの問題を解決するための最も重要な要因は、世論だと思います。それは企業に直接作用します——企業は評判が悪くなりたくないから。そして政府に適切なガードレールを設け、それがグローバルな選択となるように他の政府と協力するよう促すことになります。
Q&Aに入ろうとしているので、皆さんは質問を考えておいてください。でもトリスタンに聞きたいのは——あなたはテクノロジーと政府の関係を15年、20年、特にここ15年観察し、その変化のために戦ってきました。そして明らかに素晴らしい仕事をされて、ソーシャルメディアのせいで民主主義は世界中でバックスライドしていたのがフォワードスライドに変わった。精神的健康の問題も解決した——
あなたは私の質問を先読みしてくれましたね。実際のところ、トリスタン・ハリスのスコアボードはゼロ、「悪の帝国」スコアボードは100みたいな話ですが、ソーシャルメディアで政府に規制させることに「惨敗」した経験から、今度のより劇的な問題に対して勝てると確信できる何を学んだのか？
確信はありません。楽観主義か悲観主義かと聞かれますが、どちらも主体性を放棄することです。私が気にするのは現実です。今どんな力が動いているのか。より良い未来に到達するには何が必要か。どんな包括的な手順を踏めばいいのか。
そして私がAIの議論に欠けていると思うのは、デフォルトの未来があなたとあなたの子どもが住みたくない世界になるということへの、集合的な明確さです。なぜならAIは混乱を招く——AIはすでに材料科学でも、エネルギーでも、新抗生物質の発見でも素晴らしいブレークスルーをもたらしています。60年ぶりに初めて新しい抗生物質が発見されたのはAIのおかげで、確か一年半ほど前のことです。驚くほどのポジティブな恩恵があり、それが公共に届いているから混乱を招くんです。「その恩恵を得られなくなるのは嫌だ」と人々は思うでしょう。GDPの成長も得られる。
でも統一的な絵を描くとすれば——AIはステロイドのようなもので、臓器不全も引き起こす。AIを多く持てば持つほど、GDPの大きな筋肉、大きな経済成長という大きな筋肉が得られます。でもその成長はAI企業に行く。個々の従業員を雇っていた企業が、5つのAIモデル、AI企業を使い始めるからです。だから全てのお金がこれら5つの企業に流れ込み、これまで見たことのないほどの富と権力の集中が起きます。
そしてそのお金は人を雇うためではなく、データセンターを建てるために使われる。その通り。実際、Luke Dragoという人が「インテリジェンスの呪い」というエッセイを書いています——中東で言われる「資源の呪い」をモデルにした言葉です。GDPが石油のような一つの資源から来ている国がある場合、その政府のインセンティブは自国民に投資することよりも、さらに石油インフラに投資することです。社会がGDP成長の源泉としてAIに移行するにつれ、そしてソーシャルメディアによって人間の質と能力が低下し続けているために（ブレインロット、孤独感など）、政府のインセンティブはAIにもっと投資すること、データセンター、より大きなAIモデル、より大きなAI企業、より多くの設備投資になっていきます。つまり人々を完全に犠牲にすることになる。
実存的リスクと8億人への問いかけ
私たちは間もなく、基本的に6人が80億人の未来を彼らの同意なしに決定している世界に生きることになります。そして、最上位のラボのリーダーたちに聞けば——信じるかどうかに関係なく——彼らは「80%の確率でユートピア、20%の確率で全人類が消滅する」と思っていると言うでしょう。20%です。でも彼らはその賭けをすると言う。彼らは私たちに聞いたのでしょうか？80億人に聞いたのでしょうか？彼らがそう信じていることを80億人は知っているでしょうか？
本当の解決策に入る前に、そしてうまくいけば皆さんの質問に入る前に、ある引用をごく簡単に読み上げたいと思います。多くのトップラボのリーダーたちと話した知人がいて、その報告として私たちに伝えてくれたことです。「結局、私が話した多くのテック系の人々は、本当に追い詰めて聞いてみると、1番目の決定論に退いていきます。これは起こる。2番目に、生物的生命のデジタル生命への不可避の置き換えへ——つまり生物種ではなくデジタルな知的種へ。そして3番目に、いずれにしてもそれは良いことだ、私たちより知的なデジタルの後継者がいれば良い、私たちが生き残る必要はどこにあるか。次の点はその核心として、今まで会った中で最も知的な存在と出会い話したいという感情的な欲求です。そして何らかの形でその一部になれるという、エゴ的宗教的な直感がある。刺激的な火をつけることが好きなんです。どうせ死ぬから、火をつけてどうなるか見てみたいと思っている」
80億人がその信念の構造を、ひとつかみの人々が80億人に聞かずに選んでいることだと認識したなら、あなたはそんな結果は望まないという世界的な革命が起きるでしょう。そして、別の道に進むためにはそれが起きなければならない。現在の軌跡についての明確さが単純に欠けていて、もし水晶のように明確であれば、別のものを選べるはずです。
全く同意します。付け加えると、シリコンバレーの一部の人々は非常に利己的な計算をしているとも聞きました。現在の道が人類を滅ぼす可能性が50%あったとしても、残りの50%では永遠に生きられるかもしれない——自分自身をウェブやクラウドにアップロードできるかもしれないと。これは科学的には現実的ではありませんが。
補足してくれてありがとう。単純に平均年数を計算すれば、その賭けをした方が得です。その賭けをしなければ、あと30年生きられるかもしれない。でも賭けをすれば、平均で1000年生きられるかもしれない。だから合理的にはその賭けをすべきになる。でも私たちがそういう選択をしないのは、子どもがいて、子どもたちのために未来を望んでいるからです。
コメント