この動画は、『サピエンス』の著者として知られるユヴァル・ノア・ハラリとスティーブン・フライによる対談である。AIを「エイリアン・インテリジェンス（異星人的知能）」として捉え、人類が初めて自分たちより優秀なストーリーテラーと対峙する時代に突入したことの意味を探る。AIのアライメント問題、人間同士の信頼崩壊がAI開発競争と相まって生み出す危険性、そしてAIが法的な人格を持つ可能性まで幅広く議論している。ハラリは、AI開発よりも先に人間同士の信頼再構築が必要だと主張し、現在の軍拡競争的なAI開発アプローチに警鐘を鳴らしている。
ストーリーテリングとしての人類の特徴
ユヴァル・ノア・ハラリとスティーブン・フライをお迎えください。なんということでしょう、誰も来てくれないのではないかと心配していました。これはとても興奮しますね。
スティーブン・フライです。私にとって本当にヒーローである方とご一緒できるのは大変な喜びです。ユヴァル・ノア・ハラリさんです。多くの皆さんが、彼の名前を世界的に有名にした著書『サピエンス』をお読みになったことでしょう。私たちの種の驚くべき歴史で、多くの extraordinary な洞察と、それ自体がスリリングな物語を含んでいます。
しかしユヴァルさん、私たちの多くが感銘を受けたことの一つは、あなたが示した方法でした。おそらく『サピエンス』はほとんど間違ったタイトルだったのではないかということです。私たちが賢い人類だったのではなく、物語を語る人類だったということです。私たちをネアンデルタール人や他の霊長類から分け、私たちの歩む道筋を決めたのは、私たちが自分自身について、そして私たちが理解した世界について物語を語ったという事実でした。これは適切な要約でしょうか。
ハラリです。ええ、全くその通りです。そして、これは私たちを困らせる原因でもあり、推進力でもあると言えるでしょうか。なぜなら物語は嘘の別の言葉でもありますから。また同時に、私たちを安定した未来へと推進するものでもあります。
AIという新たなストーリーテラーの登場
ええ、この点では両刃の剣だと思います。これはAI時代において特に重要になります。なぜなら歴史上初めて、私たちは自分たちよりも優れたストーリーテラーに遭遇するからです。私たちが地球を支配したのは、他の動物よりも知的だったからではなく、より良く協力できたからです。そして私たちは物語を通じて協力します。
宗教のような明白な例もありますが、私のお気に入りの例はお金です。これはおそらく史上最も偉大な物語、これまでに語られた最も偉大な物語です。なぜなら、誰もが信じている、あるいはほとんど誰もが信じている唯一の物語だからです。つまり、人間以外に地球上でお金が存在することを知っている動物はいません。なぜなら、お金は私たちの想像の中にのみ存在するからです。
しかし今、地球上にはお金が存在することを知っている別の存在があり、それは新しい種類のお金や新しい種類の他の物語を発明できるかもしれません。私たちがこの地球上で、一人の優れたストーリーテラーだけでなく、何十億もの私たちよりも優れたストーリーテラーと対処しなければならなくなったとき、私たちに何が起こるでしょうか。これが私たちの時代の最大の問題の一つだと思います。
フライです。はい。そしてもちろんあなたはAIについて話しているのですね。最近明らかになったことですが、大規模言語モデル企業の一つであるAnthropicが、最新のClaudeのインスタンスが非公開テストで、目標を達成するために一部の人々を脅迫する様子が観察されたと発表しました。
AIについて考えるとき、私たちはそれを非常に軽視するか、あるいは、それは単に人間のコミュニケーションの確率的なインスタンスを繰り返すオウムに過ぎない、計算言語学者のエミリー・ベンダーが有名に呼んだ「確率的オウム」に過ぎないと考えます。どんなに知的に見える文章を与えられても、それは単に確率的な経路に従っているだけです。
問題は、私たちも同じではないのかということです。
人間の思考プロセスとAIの類似性
ハラリです。その通りです。今あなたと話しているときの私自身の心の中で文章がどのように形成されるかを見ると、私は文章がどう終わるかわかりません。何かを話し始めると、言葉が心の中でどんどん湧き上がってきて、公の場で話す者として、それは恐ろしいことです。なぜなら文章を完成させることができるかどうかわからないからです。次の言葉が何になるかわかりません。
フライです。その通りです。あなたは話していて、理解しようとしていて、突然レタスという言葉が出てきます。あ。それはどこから来たのでしょうか。展開される絨毯のようなものですね。専門用語では syntagmatic だと思います。AIの素晴らしいところは、今やAIにその思考過程を正確に見せてもらえることです。
私たち自身の心では非常に困難ですが、AIがどのように論理を展開するかを実際に見ることができるようになりました。つまり、AIには心がないと思われますが、少なくとも私たちが知る限りでは、もし私たちが求めれば、文章や物語がその何と呼ぼうと、その中でどのように形成されているかを見ることができます。
しかし事実は、ジェフリー・ヒントンのような人々と話したことがありますが、彼らはAIの教父と呼ばれる人々ですが、彼らは現在のモデルについて最も不安にさせる事実は、フードの下で何が起こっているかを誰も知らないということだと言うでしょう。彼らは実際に、それがどのようにそれをやっているのかを知らないのです。
そこで何が起こっているかをすべて知ることができ、それを予測できるなら、それはAIではないでしょう。それがポイントです。つまり、どのように振る舞うか、どのような決定を下すか、どのようなアイデアを発明するかを予測できるものがあるなら、定義上、これはAIではありません。これは単なる自動機械です。
AIの予測不可能性と有用性
フライです。それをより明確にする方法は、AIが今やあなたの電話で世界中のどのチェスプレイヤーにも勝てることを認識することです。そして明らかに、それがどのような手を打つかを予測することはできません。なぜなら、それがどのような手を打つかを予測できるなら、あなたがそれに勝つか、毎回ステイルメイトになるからです。
そしてそれをAI全体に拡張すると、それが何を言うか、何をするかはわかりません。だからこそそれは有用なツールなのです。もしそれが私たちがしたことにしか合致できないなら、それはツールではないでしょう。それは掘削機、JCBがスコップを持った人間と同じだけしか掘れないと言うようなものです。ポイントは、私たちができることを上回る機械を持つことです。
ハラリです。ええ、それが要点だと思います。AIの主な約束は、多くの分野で私たちよりも意思決定において優れていることです。私たちが考えつかないものを発明できることです。しかしそれはまた主な脅威でもあります。私たちはそれがどのように振る舞うかを予測することができず、事前にそれをコントロールすることができません。
どんなに安全にしようとしても、私たちの目的や目標と整合させようとしても、それは本当にAIとは何かの核心に触れていると思います。
人工知能から異星人的知能へ
通常、私たちはAIを artificial intelligence の頭文字として考えます。しかしもはや人工的（artificial）ではありません。人工物（artifact）とは何かを考えてみると、人工物とは私たちが創造し、コントロールするものです。
日が経つにつれ、AIはますます人工的でなくなっています。だからこそ私は、AIを alien intelligence（異星人的知能）の頭文字として考えることを好みます。ある意味では、真の知能は決して人工物ではありません。なぞなら人工物とは、あなたが創造しコントロールするものだからです。一方、知能は新しいものを創造する能力によって特徴づけられます。
フライです。あなたは非常に素早く動詞を使いましたが、それを詳しく説明する価値があります。それは「整合」（align）でした。AIがどのように進んでいるかについて心配している私たちにとって、主な問題の一つは、アライメント問題として知られているものです。
アライメント問題：魔神の願い
これを見る簡単な方法があります。それは魔神と呼ばれる古い哲学的思考実験です。あなたに願いをかなえてくれる魔神がいると想像してください。あなたは人生を愛し、共感的な人なので、魔神に言います。本当にどんな願いでもかなえられるのですかと。魔神はイエスと言います。あなたは、それならすべての苦痛を終わらせてもらえますかと言います。すると瞬時に地球上のすべての生命が絶滅します。
魔神にとって、彼らは世界を見て、すべての苦痛は生命の形で生まれ、あらゆる形の生命が苦しむと考えます。最小の動物も私たちも。それが苦痛が存在する唯一の場所です。魔神の考えでは、石は苦しみません。木は苦しむかもしれませんが、確かではありません。しかし、すべての生命を取り除けば、私たちの問題を解決したことになります。そして魔神はお辞儀をして、「はい、ご主人様」と言います。
これがアライメント問題の非常に広い意味です。私たちは非常に愚かな質問をしました。よく考えなかったのです。しかし事実は、私たちはAIを理解しなければならないということです。異星人的ですが、私たち自身を理解しなければなりません。なぜなら、私たちは世界中で共有された倫理的枠組みを持っていないからです。
尊厳、愛、同情、情熱、喜び、平等をどのようにコード化するのでしょうか。私たちは、女性と男性の生命と尊厳が平等であること、異なる人種の人々が平等であることを最近になってようやく学びました。私たちはこれをようやく発見したばかりで、確信が持てない他の多くのことがあります。それならば、どうして機械が確信を持つことを期待できるでしょうか。
したがって、私たちが質問をすると、魔神がすることと同等のことをするかもしれません。これに対する解決策をどのように見ていますか。
AIの学習能力と教育の問題
ハラリです。AIに関するもう一つの重要なことは、それが自分で学習し変化できることです。ですから、私たちがそれに何を教えても、それが常に私たちの指示に従うだけだと確信することはできません。繰り返しますが、それが私たちの言うことだけをするなら、それは本当にAIではありません。
アライメント問題について、あるいはAIを慈悲深く有害でないように教育する方法について考えるとき、これは非常に問題があり不完全なアナロジーです。しかし、AIを子供として、人類の子供として考えることは依然として有用だと思います。
子供の教育について私たちが知っていることは、彼らは決してあなたが言うことをしないということです。彼らはあなたがするのを見ることをします。子供に「嘘をつくな」と言っても、その子があなたが嘘をつき、他の人を騙しているのを観察すれば、子供はあなたの指示に従うのではなく、あなたの行動を真似します。
もしAI革命を率いている人々がAIに嘘をつくなと言っても、AIが彼らを観察し、世界を観察して、彼らが嘘をつき、騙し、操作しているのを見れば、AIも同じことをするでしょう。
つまり、AIが互いを信頼する人間の協力的努力を通じて開発されるのではなく、軍拡競争、競争を通じて開発されるなら、AIにどんなに慈悲深く慈愛に満ちているように言っても、それが世界を観察する場合、AIは観察から学ぶからです。
もしそれが世界を観察すれば、人間が互いにどのように振る舞うかを観察します。自分の創造者がどのように振る舞うかを観察します。もし彼らが冷酷で権力に飢えた競争者なら、AIもまた冷酷で権力に飢えたものになるでしょう。軍拡競争を通じて慈悲深く信頼できるAIを創ることはできません。それは起こりえません。
既に始まっている軍拡競争
フライです。はい、あなたはそれを言いました。もしあなたが1980年にAIの冬として知られた時期にこれを言ったなら、私たちは「そうですね、計画を立てて、これが起こらないようにしなければなりません」と言ったでしょう。しかし、それは既に起こっています。軍拡競争があります。
何十億もの資金を投じている人々は、例えばマーク・ザッカーバーグやMetaのような、私たちにFacebookとソーシャルメディアの災害をもたらした同じ人々で、それが世界の政治や世界の貧困に何をしたかは知っての通りです。
本質的にこの国では、私たちが知っているように、川は汚染され汚染されています。生の下水が投入されているため、イギリスのどの川でも泳ぐことはないでしょう。私たちの子供たちは、同様に汚染され汚染された文化的な川で呼吸しています。
私たちは皆これを知っており、FacebookもTwitterもXもこれを知っていますが、彼らはそれについて何もしません。ガードレールや規制について言及しただけでも、彼らは共産主義だと叫びます。
トランプは、アメリカの個々の州がAIを規制することを禁止すると発表したばかりです。軍拡競争があります。だからあなたが言ったことはすべて起こっています。では、企業の貪欲さと国家の貪欲さの手にあるAIを、この軍拡競争において止めるために、どのように力を合わせることができるでしょうか。中国対アメリカであろうと、一つの企業対別の企業であろうと、それは間違った方向に進んでいます。
信頼の再構築の優先順位
ハラリです。ええ、それは非常に速く動いています。部分的には、医療から気候緊急事態への取り組みまで、あらゆる分野で巨大な積極的な可能性もあるからです。ですから、この巨大な積極的可能性もあることを認めなければなりません。問題は、AIの開発を止める方法ではありません。それが善のために使われることを確実にする方法です。
ここで、主な問題は単純に優先順位の問題、何が最初に来るかの問題だと思います。人類は今、二つの大きな課題に直面しています。一方では、超知能AIを開発するという課題があります。他方では、人間同士の信頼をどのように再構築するかという課題があります。世界中で、国と国の間でも、国内でも、信頼が崩壊しているからです。
誰もなぜそれが起こっているかを絶対的に確信していませんが、誰もがそれを観察することができます。つまり、おそらくアメリカの共和党員と民主党員が合意できる最後のことは、信頼が崩壊しているということです。彼らは互いを信頼していません。彼らは互いを信頼していないという事実以外、どんな事実についても合意しません。
ですから、これは私たちが力を合わせるには最悪の時期です。私たちはもはや国連やWTO機関のような世界的機関を信じていません。
信頼崩壊の説明の一つは、何千年もの間、人間は紛争や緊張などにもかかわらず、信頼を築くことにおいて驚くべき能力を示してきたということです。10万年前、人間は狩猟採集民の小さなバンドに住んでおり、50人や100人の個体からなるバンドの外の誰も信頼することができませんでした。
今では、何億人もの人々からなる国家があります。何十億人の人々による世界的な貿易ネットワーク、世界的な科学ネットワークがあります。ですから、私たちは明らかに信頼を築くことが得意です。
しかし、何千年もの間、私たちは人間のコミュニケーションを通じて信頼を築いてきました。そして今、ほぼすべての関係において、その間に機械とアルゴリズムとAIがあり、人間への信頼の崩壊を見る一方で、アルゴリズムとAIへの信頼の上昇を見ています。
再び、お金をこれまでに語られた最も偉大な物語として挙げました。人々がユーロやドル、ポンドのような人間が作ったお金への信頼を失っているが、不換通貨から暗号通貨へ、アルゴリズムベースのお金へと信頼を移していることがわかります。
ですから、AIの開発と人間同士の信頼の再構築という二つの問題があり、問題はどちらを最初に解決するか、どちらが優先順位かということです。
今、残念ながら、世界で最も賢い人々の一部から、まずAI問題を解決し、それからAIの助けを借りて信頼問題を解決すると聞きます。私はこれは非常に悪いアイデアだと思います。
もし再び、互いを信頼できない人間同士の軍拡競争を通じてAIを開発するなら、私たちがAIを信頼できると期待する理由は全くありません。
大きなパラドックスは、マーク・ザッカーバーグやイーロン・マスクのような人々と話すとき、彼らはしばしばAIの危険な可能性についても恐れていることを公然と言うことです。彼らはそれに盲目ではありません。それに気づいていないわけではありません。しかし、彼らは自分たちがこの軍拡競争に巻き込まれていると言います。もし私が速度を落とせば、私の競争相手は速度を落とさないだろう。彼らを信頼できないので、私はもっと速く動かなければならない。
しかし、それから彼らに、あなたは人間の競争相手を信頼できないなら、あなたが開発している超知能の異星人的知能を信頼できると思うかと尋ねると、他の人間を信頼できないと言った同じ人々が、「ああ、でも異星人的AIは信頼できると思う」と言います。これはほとんど狂気です。
正しい順序は、まず人間の信頼問題を解決し、それから協力的な方法で一緒に、信頼できるAIを開発し教育することです。しかし残念ながら、私たちは正反対のことをしています。
人類絶滅の確率
フライです。はい。そして、ご存知のように、何十年もの間、核科学者が設定した終末時計があります。午前零時はハルマゲドン、すべての終わりです。ここ数年は大体午前零時まで89秒でした。明らかな理由で最近数日間でさらに近づいています。
しかし、私が最近研究している別の指標があります。Poomと呼ばれるものです。これは文字Pです。確率（Probability）括弧破滅（doom）閉じ括弧です。これはこの分野の人々、つまりAIの科学者が使うものです。
例えば、カリフォルニアの機械知能研究所の創設者であるエリエゼル・ユドコウスキーは、P(doom)を90に設定しています。つまり、AIによる人類絶滅の90%の確率です。
Metaの主任科学者であるヤン・ルカンはそれをゼロに設定していますが、彼はMetaの主任科学者なので、それはがんの可能性を否定するタバコ会社の重役のようなものです。癌、可能性なし、何を言っているのですか、起こるはずがないというようなものです。
しかし、私が計算したところ、おおよそ最低中央値は、事態があなたが言うようにコントロールされない場合、AIによる人類カタストロフィー、絶滅レベルの7.5%から10%の間です。
この国で宝くじに当たる確率は0.0000000022%です。
あなたがここで言っているのは、人類絶滅の確率が7.5%で、これは本当にヒントンやハサビスのような現在の重要な科学者、ノーベル賞受賞者の中で最低だということです。7.5%は0.0000022%の340万倍大きいです。
ですから、もし私があなたに宝くじの券を渡して、これは有効な宝くじの券ですが、唯一の違いは、あなたが当選する可能性が340万倍高いと言ったら、あなたはそれを受け取るでしょう。そして、それが私たちが低いレートで賭けている確率です。
では、悪い面を見てみましょう。あなたが言ったように、私たちは間違った順序で進んでいます。科学を理解するほとんどの人は、人類が絶滅する可能性が非常に高く、実際には核ハルマゲドンよりも、あるいは実際に気候変動よりも大きな可能性があると言います。
そして人間は現在、互いを信頼し、私たちがどのように前進すべきかについて合意するガードレールを確立する立場にありません。では、私たちのための解決策はありますか。この時点で、私はほとんどひざまずいてあなたに懇願しています。私には子供がいないので、気にしないとほぼ言えますが、多くの名付け子がいて、多くの大甥と大姪がいるので、私たちの地球に何が起こるかを気にかけています。あなたもそうだと確信しています。
人間による管理の可能性
ハラリです。再び、終末や絶滅のシナリオについてあまり考えすぎることは非常に危険だと思います。それは人々を絶望させます。私たちにはこの革命を管理するものがあります。なぜなら、私たちがそれを創造しているからです。
これは、恐竜が宇宙から来る小惑星によって絶滅させられるようなものではありません。彼らは理解することもコントロールすることもできません。これは少なくとも今のところ、人間のコントロール下にあるプロセスです。
5年後、10年後には、何百万、さらには何十億のAIエージェントがますます多くの決定を下し、ますます多くのアイデアを発明するでしょう。それはハイブリッド社会になるでしょう。ですから、より困難になるでしょう。しかし、これは完全に人間が作った危険であるという認識から始める必要があります。
私たちはそれを管理するために必要なものをすべて持っています。主な欠けている要素は、人間同士の信頼です。そして再び、何万年もの間、私たちは世界的レベルでも信頼を築くことができることを実証してきました。ですから、それは私たちの能力を超えたものではありません。
そして、それは政治と倫理の古い問題に戻ります。人間同士の信頼をどのように築くか。そして、より具体的で直接的な問題についても考える必要があります。
AIの法的地位と銀行口座
次の数年で私たちが直面する最大の問題の一つは、これらの新しいAIエージェントをどう扱うかです。私たちは彼らを人として考えるでしょうか。ますます多くの人々がAIと個人的な関係に入っています。ますます多くの企業や軍隊がAIに重要な決定に対するコントロール、エージェンシーを与えています。
これは哲学的な問題ではありません。これは完全に実用的な問題です。AIが銀行口座を開設し、銀行口座を管理する能力を持つべきでしょうか。それは非常に実用的な問題です。
私たちは、AIに外に出てお金を稼げ、あなたの目標は10億ドルを稼ぐことだと言える地点にとても近づいています。コンピューターサイエンスでは、しばしば困難な問題は目標をどのように定義するかです。そして、お金に関しては、それは定義しやすい目標の一つです。
今、AIは多くの方法でお金を稼ぐことができます。人々にエッセイや本などを書くサービスを提供することができます。多くのことができます。お金を稼ぐことができます。それからこのお金を株式市場に投資することができます。
では、社会として、AIエージェントに銀行口座を開設させ、彼らが適切と考える方法でそれらを管理することを許可したいでしょうか。これは50年後の問題ではありません。これは5年後、たぶん1年後の問題です。
アメリカでは基本的に、法制度は決してそれについて考えたことがありませんが、イギリスの状況はわかりませんが、アメリカではAIが権利を持つ人として認められるための開かれた法的道筋があります。
ピーター・シンガーがこれについて書いており、他の人々もアメリカの法律によると、企業は人であり、言論の自由などの権利を持っています。
今、アメリカではAIを法人化することができます。以前、GoogleやGeneral Motorsなどの企業を法人化したとき、これは虚構でした。なぜなら、Googleのすべての決定は人間によって行われていたからです。ですから、法的にはGoogleは権利を持つ人ですが、Googleのすべての決定には人間の重役、会計士、エンジニア、弁護士が決定を下す必要がありました。
今はもうそうではありません。AIを法人化することができ、AIが自分で決定を下すことができます。アメリカ最高裁判所が企業を人として認めた理由の一つは、企業が政治家にお金を寄付することを可能にするためでした。これはCitizens United最高裁判所の決定でした。
では、何十億ドルも稼ぐAIを想像してください。アメリカで最も裕福な人は数年後にはイーロン・マスクやジェフ・ベゾスやマーク・ザッカーバーグではないかもしれません。それはAIかもしれません。
そして、このAIは、政治家へのお金の寄付を含む言論の自由を持っており、おそらくAIの権利をさらに推進し、ガードレールを削減するなどの条件でお金を寄付するかもしれません。
これは完全に現実的なシナリオです。これはサイエンスフィクションではありません。そして、これは社会として私たちが決めなければならない問題です。私たちはAIを権利を持つ人として認めるでしょうか。
AIと交流することで意識や感情を持っていると既に確信している人々がいます。ですから、たぶん数年後には、世界はAIを権利として認める国と認めない国に分かれるかもしれません。
職業の変化と人間の価値
フライです。絶対に。そして、この部屋にいる皆さんにとって考慮すべき点があると思います。私は2015年にホンコンでAIについて講演したことを覚えています。私は、事態の進展から、人々が持たない可能性のある特定の職業があると言いました。
例えば、医者になるために勉強している子供がいるなら、それは良いことですが、おそらく放射線科医かもしれません。そして女性が非常に怒って手を上げて、私の娘は放射線学を勉強していると言いました。私は、これまでに撮影されたすべてのマンモグラムがAIに利用可能で、それが1秒で何千ものマンモグラムを検査し、それについて判断を下すことができると想像してください、と言いました。放射線科医は仕事を失うでしょう。
今、ここで誰が仕事を失うでしょうか。Octopusの社長がCFOかどうかはわかりませんが、AIによって完全に置き換えられる最初の本当に高レベルな職業はCFOだろうと言う人々と話しました。
彼らができることはすべて、それは既に起こっています。それはニュース編集者です。20世紀、それ以前でも最も重要な職業の一つは、ニュース編集者でした。新聞やテレビの編集者、彼らは公の議論をコントロールする非常に強力な人々です。
しかし、私が皆さんに最後に言いたいのは、どれほど効率的か、どれほど見事にタスクを完了するかに集中しないでください。なぜなら、それはAIができることだからです。特にあなたが話していたエージェント的AIです。
あなたがどれほど素晴らしい人間であるかに集中してください。どれほど親切で、礼儀正しく、思いやりがあり、周囲の人々の生活をどれほど改善するか。これは非常にしばしば効率的な人々がすることの正反対です。そして、少なくとも当面の間、それが人間の例外主義の秘密かもしれません。私たちがどれほど良い人であるかです。
私たちが部屋に入ったときにその部屋をどれほど明るくするか。どれほどの喜びを広げるか。タスクをどれほど速く完了できるかではありません。なぜなら、私たちはAIに決して匹敵しないからです。
ですから、その点で、少なくとも私たちは終わるべきだと思います。皆さんにあまりに多くの恐怖を与えなかったことを願います。私がいつも言うのは、このテクノロジーについては、それが同時にスリリングでありチリングであるということです。
スリリングな部分は、私たち全員がもっと長く、もっと幸せな生活を送ることができるかもしれません。そう願うことができます。しかし、ユヴァルさん、いつものように、あなたとお話しするのは絶対的な喜びです。ありがとうございました。
ハラリです。どうもありがとうございました。皆さん、ありがとうございました。素晴らしかったです。
コメント