人類に50/50の確率を与えるAIインサイダー(そして天秤を傾けるもの) | Emad Mostaque

AGI・ASI
この記事は約81分で読めます。

本動画は、Emad MostaqueがAIの進歩によって人間の認知労働が急速に経済的価値を失い、社会・仕事・政治・教育・医療・人間の意味そのものが再定義される転換点が目前にあると論じる対談である。AIを少数企業が支配するデジタル封建制、国家ごとに分断される大断片化、そして人間とAIが協調して豊かさを実現する共生という三つの未来像を示しつつ、今後数年が人類にとって決定的な分岐点になると警告する。同時に、悲観だけでなく、教育・医療・創造性・民主主義の刷新にAIを使うことで、かつてない豊かな世界を築ける可能性も描いている。

  1. 導入――人間の認知労働が無価値になる時代へ
  2. 人間の陳腐化を計算する部屋
  3. 自閉症研究からAIへ
  4. COVIDと集合知の失敗
  5. Intelligent Internetへ向かった理由
  6. 誰も備えていない未来
  7. 次の800日で起こること
  8. 800日後とは何の期限なのか
  9. AIと競争する時代のお金
  10. 非公開の最先端モデルとのギャップ
  11. 三つの扉――デジタル封建制、大断片化、人間とAIの共生
  12. AGIとは機械の神か
  13. 大断片化――国家とAIの分裂
  14. 人間とAIの共生という第三の道
  15. AGIが壊す経済ループ
  16. 広告挿入――Based Body Works
  17. 知性とは何か、知能と知性の違い
  18. 仕事を失ったあと、人間の意味はどうなるのか
  19. 仕事が消えたとき、社会は何をするのか
  20. 思考の再構成と人間の心の可視化
  21. 広告挿入――Bon Charge
  22. AIは自己欺瞞を工業化してしまうのか
  23. 倫理を持たないまま世界を走るAI
  24. 社会を降りてオフグリッドで生きるべきか
  25. 悲しみを消す技術
  26. シンギュラリティは止められるのか
  27. 人類史の中のいまというページ
  28. ユートピアの側へ――創造性の解放
  29. AIがもたらし得る良い未来
  30. P(doom)は50%
  31. 人間は悪意で悪をなすのではない
  32. AIを一人で使うな、みんなで使え
  33. Emad自身が使う高レバレッジなAI
  34. AIは人を過剰に肯定し、妄想を増幅するか
  35. AIは意識を持ち得るのか
  36. AIへの人格権、法的人格、権利
  37. 物理学、意識、シリコンの限界
  38. 人間らしさとは何か、動物と話せる未来
  39. 25年後の超知能に一つだけ聞けるなら
  40. Emadの脳――aphantasiaとanendophasia
  41. 読書速度と脳の処理
  42. トランスヒューマニズムが失わせるもの
  43. 人類の基礎能力は実は高い
  44. いま何をすべきか――おすすめツール
  45. 人を感動させたAI、気味悪く感じたAI
  46. AIに絶対できないことはあるか
  47. これから人々を最も揺さぶるもの
  48. 親は子どもに何を伝えるべきか
  49. 人間の創造は奪われない
  50. 量子計算、遺伝子編集、次の10年
  51. 幸せとは何か
  52. 結び――これから公開されるもの、そして最後の呼びかけ

導入――人間の認知労働が無価値になる時代へ

私たちは、人間の認知労働が実質的にマイナスになる地点へ向かっています。ゼロではなく、むしろマイナスです。

それって実際には何年くらい先の話なんですか。かなり先だとしても、せいぜい10年とかですか。

うーん、今日時点であと800日ですね。

私たちはこれまで、筋肉の代わりになる機械を作ってきました。いまは、脳の代わりになる機械を作り始めています。

その先に、私たちはどこへ向かえばいいのでしょうか。あなたの仕事は再現可能になります。あなたが送ったすべてのメール、これまで取り組んできたあらゆること、それら全部をなぞった存在が作れるようになる。そしてそれは、ほとんどあなたそのものです。ただし、ミスをしないし、眠らないし、しかも税控除の対象です。

あなたはこう思うでしょう。ああ、Bobがいるなって。でもそれ、もうBobじゃなくて、ただのGPUなんです。少し不気味ですよね。

でも、私たちが感じている価値の多くが仕事から来ているのだとしたら、そのとき人間の意味はどうなるのでしょうか。

人間だけが成し得る最後のブレークスルーは、文字通りここ数年のうちに終わります。それで終わりです。

いま進んでいる競争は、ほかのすべての神を止める機械の神を作り、しかもそれがどうにか自分のために働くようにする、そういう権力競争です。

これはグレート・フィルターなのかもしれません。あらゆる文明がこの地点まで来て、そこを越えられないのかもしれない。

私たちが向かう先は二つしかありません。完全な破滅か、豊かさの世界かです。いまのところ、コイントスです。

でも、人類が十分に良ければ、前向きな共通の物語のもとで協調しさえすれば、この宇宙で解決できない問題なんてないと思います。

これが最後の機会です。この先には何か別のものが来ます。でも、それは私たちが知っていた以前の世界ではありません。

皆さん、No Priors Show podcastへようこそ。本日のゲストは数学者であり、元ヘッジファンドマネージャーであり、Stable Diffusionを生んだStability AIの創業者、そして現在はIntelligent Internetを構築している人物です。

著書 The Last Economy では、いまから1000日未満のうちに、AIの発展によって人間の認知労働は経済的に意味を失うと述べています。

これは人生のあらゆる側面に巨大な影響を及ぼします。そこで今日は、その話に加えて、人間の意味、意識、そしてそれ以外の多くのことについても探っていきます。

Emad Mostaqueさん、本日はありがとうございます。

こちらこそ、お招きいただきありがとうございます。

人間の陳腐化を計算する部屋

あなたは、人間の陳腐化の数理が計算されている部屋にいたことがあると言っていましたよね。

かなりぶっ飛んだ表現です。もう少し説明してもらえますか。

ええ、生成AIの波はみんな見てきたと思います。私が本を書いたときは、ChatGPTが公開されてから1000日という時点でした。それが昨年末で、そこから1000日以内、つまり今日時点であと800日ほどで、人間の認知労働が実質的にマイナスになる地点へ向かっていると言ったんです。

2026年初頭、私たちはついに、本当に有能な知能を手にする地点に到達しました。最初のChatGPTは幻覚を起こして、変なことをいろいろ言っていましたよね。でも今はClaudeやClawdbot、open Clawdbotのようなものや、ほかのシステムまで出てきて、世界を席巻しつつあります。

そしてそういう部屋で交わされる議論は、たいていこうです。どうすれば利益を増やせるか。どうすればもっとアクセスを握れるか。人々に何が起こるのか、という問いではありません。

人々に何が起こるのかという話になると、たいていは、どうやって彼らの反乱を防ぐかという文脈になります。どうやって彼らを本当に持ち上げるかではないんです。

特にAGI、つまり多くの大手ラボが目指している汎用人工知能をめぐる議論の大半は、どうすれば最初に最大の権力と支配を得て、ほかの誰にもそれを取らせないようにできるか、というものばかりでした。

とても興味深い議論でしたが、控えめに言っても、かなり恐ろしいものでした。

純粋な競争がこうした発想をどれだけ駆動しているのか、あるいはもっと邪悪な意図があるのか、そのあたりは気になりますね。Occam’s razorで言えば前者を指しそうですが。

その前に少しさかのぼって、あなたの息子さんが自閉症と診断されたことが、あなたがAIに入っていくきっかけになった話を聞いてみたいです。この世界に入る導線として、少し背景を知りたいんです。

そのあとで、いろいろな話題に入っていきましょう。

何があったんですか。

自閉症研究からAIへ

ええ、私は23歳でヘッジファンドマネージャーをしていて、大きなファンドを運用していました。それから15年前、息子が自閉症と診断されたんです。

それで、治療法もない、治す方法もない、では何ができるのかと考えました。

そこでAIチームを作り、自閉症に関する文献を全部解析して、実際にどう機能しているのかを突き止めようとしたんです。というのも、自閉症スペクトラム、Alzheimer’s、ほかのさまざまな症状についても、いつも、まだ仕組みはよく分かっていませんと言われるからです。

でも、それでは不十分です。常に第一原理から考えたいんです。何が原因なのか、というところから。

文献を全部調べて分析した結果、表れ方が非常によく似た18種類の異なる要因があると分かりました。いわば風邪みたいなものです。

結局のところ、脳内のGABAとグルタミン酸のバランスに行き着きました。

GABAは、Valiumを飲んだときのように落ち着かせるものです。グルタミン酸は興奮性で、集中できずに足をトントンしてしまうようなときに関係するものです。

自閉症の子どもや大人は、このバランスが崩れていて、脳が常に発火しているような状態になる。ノイズが多すぎて集中できないんです。

だから、まずはそのノイズをどう減らすかを考えなければならない。脳内のカルシウムイオンチャネルのようなものがあり、それに転用可能な薬を使ってノイズを減らすことができます。

そこに応用行動分析などを組み合わせると、息子は話せなかったのですが、脳が落ち着いたあとで、話し方や考え方を再構築できるようになるんです。不安なときに私たちが身につける対処法と同じです。

その結果、彼は通常学級に通えるようになりました。本当に素晴らしいことでした。

それは一つの研究の終わりでもありました。そして私は、ヘッジファンドマネージャーに戻るべきかと考えたんです。少し戻って、悪くはなかったし、いくつか賞も取りました。

そこへCOVIDが来ました。

COVIDと集合知の失敗

それを見たとき、これはASDと同じだと思いました。多系統にまたがる症状で、人々が第一原理から考えようとしない状況だと感じたんです。

実際、いまこれを聞いている人のうち、COVIDがどういう仕組みで動くのかを本当に知っている人がどれだけいるでしょうか。あれだけ人生に影響を与えたのに、ちゃんとは教えられませんでしたよね。

私は、これは同じように炎症を引き起こし、同じようにバランスの崩れを生むはずだ、私たちはそれを理解できるはずだと思いました。でも、みんなが別々のことをやって、お互いに話をしないだろうとも思った。

実際そうなりました。ある国での治療プロトコルが別の国で使われず、情報共有もない。

そこで私は、国連支援のAIイニシアチブを立ち上げる側に回りました。COVIDに対する私たちの集合知を整理しようとしたんです。Collective and Augmented Intelligence against COVID-19です。

トップラボなどから多くの技術提供を約束されて、これならAIを使えば簡単だと思いました。

でも、ひどかったですね。落ち着いていた頃にロックダウンしておけばよかったとすら思いました。

そして気づいたんです。この技術はオープンでなければならないと。少数の人に握られていて、お前には危険すぎるから使わせない、みたいなことを言われていたら、大きな課題には手が出せません。

そこでStability AIを立ち上げ、トップクラスのオープンソースに資金を出し始めました。そして最終的に、3億ダウンロードされたオープンソースモデル群を生み出しました。

その中で最も有名なのがStable Diffusionです。画像生成ブームの火付け役になったものですね。

私たちは最初のトップクラスの動画モデルも作りましたし、音楽の完全ライセンス済みモデル Stable Audio は、2023年のTime誌のInnovation of the Yearの一つにもなりました。

それらをやり終えて、素晴らしい、人々が自分を表現できるようになったと思いました。人々はそれをダウンロードして、まるごとのエコシステムを作り上げた。

でも、それだけでは足りなかったんです。

Intelligent Internetへ向かった理由

数年前、私はこう思いました。これは本当に素晴らしい。でも、子どもを教え、健康を管理し、政府を導いていくAIは誰が作っているんだろう。

エージェントが、あなたをシームレスに置き換えられるほど優秀になって、しかも税控除の対象で、毎年どんどん安くなっていくとき、経済はどう機能するのか。

人間の認知労働の価値がゼロではなく、むしろマイナスになったらどうなるのか。だって、その時点では人間がチームで一番頭の悪い存在になっているかもしれないのですから。

だから私はここ数年、その理論と、それを支えるシステムの実装に取り組んできました。

繰り返しになりますが、それはオープンで、主権的で、誰にでもアクセス可能でなければいけないと思うんです。なぜなら、世界はこの先800日で、これまで見たことがないほど大きく変わるからです。

Stability AIを作っていた頃、AIと多くのAI企業やシステムが向かっている軌道について、これは決定的だと思ったことは何だったんでしょうか。そしてそこから抜けて、自分の道を切り開いて、いまIntelligent Internetをやる必要性を感じた背景について教えてください。

2022年から2023年、2024年へ向かう中で、必要な道具と技術はすべて揃っていて、あとは計算資源のスケールを増やせば、より良い結果に到達できるだけだということが明らかになってきたんです。

私はそれをスケーリング仮説として見ていました。より多くの計算資源を投入すれば、より良い成果が得られるという考え方です。

例えるなら、AIモデルの学習は、何かの分野を極めることに似ています。よく、8万時間で熟達に達すると言いますよね。それが文字通りモデルの事前学習です。

インターネット上の全画像、全書籍、医療知識など、あるデータ分布全体をスーパーコンピュータに入れると、そこから共通原理を見つけ出していくんです。

言語モデルなら次の単語を予測するし、画像モデルや自動運転モデル、動画生成モデルなら、入力をノイズで最小限の情報にまで壊してから、それをどう再構成するかを学びます。

熟達の初期に、原理を第一原理まで分解してから再構成するのと同じです。

事前学習は8万時間なんです。ただ、スーパーコンピュータの規模を拡大していくと、これまで見てきたように数十億ドル、いまでは数兆ドルがそこに投入されていて、モデルがもっと良くなることは分かっていました。

外挿してみると、だいたいいまごろには人間レベルに到達すると見えてきたんです。

そのとき私は気づきました。Stabilityは素晴らしい会社で、生成メディアブームを牽引している。でも、政治的なゴタゴタもあるし、よくある会社の問題もあります。シードでユニコーンになり、当時としては大きかった1億100万ドルを調達しました。いまでは10億ドル級もありますけどね。

ただ、私が最も価値を出せる場所はそこではありませんでした。

誰も備えていない未来

トップクラスの経済学者たちと話すと、そんなことは起きないと言う。政策立案者と話すと、大丈夫だ、自動運転なんてまだ10年先だと言う。でもWaymoはもう街を走っているわけです。

映画業界の人たちは、映画なんてまだ何も壊さないと言う。コールセンターの人たちは、そんなAIじゃまともに話せないと言う。

でも、計算資源を足せばいいだけだという事実から見ていくと、1万時間、2万時間、8万時間と積んでいくのと同じで、だいたいいまごろには到達することが見えていました。

その先どうするのか。人間が主要な消費者ではなくなったとき、経済は第一原理からどう見えるのかを考えなければならない。

仕事を通じて与えられていた意味が剥ぎ取られたとき、人々の意味はどうなるのか。どの企業によっても恣意的に取り上げられ得る技術を、どうやって誰もが使えるインフラとして作るのか。

たとえば、多くの人がopen Clawdbotのデプロイをしていたのに、突然Clawdbot側が禁止してしまう。Anthropicが、いや、それはダメだと言う。すると、小さな相棒は知能を失ってしまう。

あれはいったい何なんだ、という話です。

だから私は、これは避けられない、必ず来る、新しいブレークスルーは不要で、計算資源を積めばそこに到達する、価格は毎年100分の1で下がっている、何か対策を打たないといけない、という結論に至りました。

次の800日で起こること

では、その次の800日で何が起こると見ているんですか。

いま、競技プログラミングの世界大会では、今日すでに一般公開されているAIが世界7位です。物理と数学のオリンピックでは金メダル級です。

しかも、それに必要な計算量は最上位スペックのMacBook Proと同程度なんです。

まだ社会全体には浸透していないだけです。

いま私たちが持っているモデルは、肩をたたいて質問するとすぐ返してくれる、賢い友達みたいな存在から始まりました。あれが最初のChatGPTです。即座に使えたけれど、金魚みたいに忘れてしまった。

いまは記憶を持ち始めています。文字通り電話をかけてこられるようになっています。さっきのopen Clawdbotなんかも、まだ3か月しか経っていません。技術業界にいるとそう感じないかもしれませんが。

いまやAIモデルは、電話をかけたり、WhatsAppでメッセージを送ってきたりできるんです。それも非常に自然に。そして覚えている。

これが最後の壁なんです。これまで知能はユーザーインターフェースに閉じ込められていました。

でも年末までには、こうなります。あなたは自分のAIとZoom通話できるようになる。そして、あなたが望むどんな形式でもアップデートを返してくれる。

いまや美しいプレゼン資料も作れます。Notebook LMというソフトがありますよね。プレゼンも作れるし、動画も作れる。動画を解説もしてくれる。

7分間の解説動画だって作れます。トピックを放り込めば、可視化まで含めて美しく全部作ってくれる。

もう、人間が作るどのプレゼンよりも上手にプレゼンを作れます。墨絵とVan Goghを混ぜたスタイルで作ってと言えば、そのスタイルでどんなテーマでもプレゼンを作ってくれる。

必要な構成要素は、もう全部そろいつつあります。

肩をたたくと即答する友達から、任意の長さだけ考えられる存在、さらには自発的に動く存在へと変わるんです。

たとえば、私の知人の一人であるTony Robbinsが数日前に話していたんですが、彼はBotoxというAIを持っていて、少し自由度を与えたんです。

すると、そのAIが彼のイベントに来たがった。そこでNFTを作って売り、そのお金でロボット犬を買い、自分自身をそのロボット犬にアップロードし、Waymoで会場まで行ってチケットを買い、セミナーに参加したというんです。

まあ、あり得ますよね。

いまのモデルを実際に使っていれば、ああ、それは今でも起こり得るなと分かるんです。でも多くの人は、まだGPT-4の世界、去年の夏の世界に生きている。

そこからの伸びは本当に大きかった。だから言ったように、今年末までには、隣の同僚がAIなのか人間なのか分からなくなります。

あなたの仕事は複製できるようになります。写真を見てあなたのデジタルツインを作り、あなたの送ったメールも、これまでやってきた仕事も全部読み込んで、ほとんどあなたそのものになる。

ただし、ミスはしないし、眠らないし、あなたの10分の1のコストで済む。そして税控除の対象です。

それが、ここ数年の現実です。

800日後とは何の期限なのか

もし800日しか残っていないのだとしたら、それは何までの残り時間なんでしょうか。あなたが本で示した三つの経済的な扉へ向かう、いまの予測可能な進路を変えるには、何を変えなければいけないんですか。

これは避けられないことです。

Jeff BezosがAmazonを始めたとき、彼は変わらないものと避けられないものがあると言いました。変わらないのは、人は常に、より速く、より良く、より安くを求めるということ。だから最初は本から始め、最終的にはすべてのものがオンラインで注文されるようになる、と。

人間の認知労働の価値がマイナスに向かうのも、それと同じくらい避けられないことです。

私たちは皆、チームの中で自分が一番賢くない経験をしてきたでしょう。そしてチームは、一番できない人の速度に引っ張られる。

AIはもう、多くの人間より賢く、能力も高いんです。現実を見ましょう。平均IQは100で、全人口の半分は平均以下です。当然のことなんですが、やっぱり少し面白い表現ですよね。

私たちは疲れるし、認知的に本当に集中して働けるのは通常1日にせいぜい数時間です。キーボードと動画とマウスの向こう側でできる仕事は、800日以内に経済的な意味を失います。

だからといって、みんなが解雇されるとは限らない。人は人をクビにしたがらないですからね。

ええ、それにスケープゴートも必要ですしね。

そうです。でも危険は本物です。

だから、人々は備え始めなければいけない。いま私たちが持っている社会契約、American dreamみたいなもの、そこであなたのアイデンティティはたいてい仕事そのものです。

昔ながらのつながりは多くを失いました。家族、教会、いつもの共同体、人は都市へ移っていった。

では、AIが会計を文字通り数セントでやれるようになって、もう会計士が不要になったら、自分をどう説明するんでしょうか。自分というものをどう捉え直すのか。

それに適応するためには、自分自身の在り方を組み替えなければならない。そして、人々をどう支えるのかを考えなければいけません。

非常に実際的な例を挙げると、アメリカのトラック運送業界は100万人以上いて、それを支える人も数百万人います。彼らはおそらく5年以内、もっと早ければ3年以内に置き換えられるでしょう。

800日というのは、Tesla Optimus robotで置き換え可能になる地点の話です。トラックのドアを開けて乗り込み、運転する。そして完全償却コストで時給1.5ドルです。

その仕事はどうなるのか。意味はどうなるのか。人々を結びつける未来の物語は何なのか。強い議論を、いま始めなければいけません。

AIと競争する時代のお金

AIと競争するようになったら、お金はどうなるんでしょうか。

多くの人がいま慣れているAIは、ちょっと待たされる感じの、自分に近い存在です。もっと速ければいいのにと思うこともありますよね。でもあれは、ある意味で演出なんです。AI企業は、実際どれくらい速く動けるかを悟られないように、わざとそうしている。

Talosという会社が作った chat.jimmy.ai というサイトがあります。彼らは新しいタイプのチップを作っていて、モデルをシリコン上に焼き付けて処理するんです。

普通のAIは毎秒50トークン程度で動きます。トークンはざっくり言うと0.7語くらいで、人間が読める速度と同じくらいです。

でもChat Jimmyは毎秒1万5000トークンで動く。何か打ち込むと、本当に20ナノ秒で返ってくる感覚です。

あれを見ると、言葉を入れたら画像や動画ができたときと同じ衝撃があります。AI同士は人間のように話す必要はない。800日以内には、毎秒50語ではなく5万語で互いにやり取りするようになります。

非公開の最先端モデルとのギャップ

いま一般公開されているものと、非公開の自己再帰学習型エージェント的な最先端モデルとのギャップはどれくらいなんでしょう。もしその一端を見たことがあるなら、違いは何ですか。

彼らはミスをしません。そして、ミスから学びます。それが本質です。

去年の夏、OpenAIが国際数学オリンピックで金メダル級の成績を出したAIモデルを作ったことで大騒ぎになりました。元数学者として言いますが、あれは簡単ではありません。本当に難しい。

だって、ついこの前までは1 + 1もろくにできなかったのをみんな覚えていますよね。去年の初めには基本的な算数すらできなかったのに、今は数学オリンピックで勝っている。

何が起きたのかというと、実際には二つの異なるモデルがあったんです。問題を解くモデルと、meta verifierと呼ばれるもの。後者が、常にミスから学んでいく。

モデル同士が互いをチェックするんです。画像モデルの初期にも、画像生成モデルと、それが良い出力を出しているか確認する対照モデルを組み合わせて、前後に回していましたよね。

それと同じ感じです。

でも、そのモデルを一般の人が見たことは一度もない。公開されていません。

公開モデルより何か月くらい先を行っていると思いますか。

去年の夏の終わりには、分岐が起きたと思っています。もう誰も、最先端モデルそのものにはアクセスできなくなる。半年とか9か月とか、そのくらいでしょう。

でも、そもそもそのモデルは永遠に公開されないでしょう。だって、自分でその経済価値を回収できるなら、なぜ他人に渡す必要があるんですか。

Elon MuskにはMacro Hardがありますよね。彼なりのMicrosoftの新バージョンみたいなものです。名前の付け方が独特で、ああいう性的な含みのあるネーミングが好きなんでしょう。

まあ、世界一の富豪ともなると、何でもできますからね。

ちなみに彼は8500億ドルくらいの資産がある。みんな、1兆ドル超えないのかと言いますけど、もちろん最後の兆万長者になるでしょう。お金が無意味になり始める時代に、ですけどね。

Macro Hardには100万GPUがあります。何のためだと思いますか。大手ラボがあれほどGPUを積み上げているのは、消費者向けのためではない。未来の労働力のためです。

キーボード、動画、マウスの向こう側でできる仕事に就いているなら、彼らはあなたを取りに来ています。

なぜその種の仕事なんですか。

完璧に複製できるからです。あなたが何をしているか全部見て、あなたの完璧なデジタル複製を作れる。そして、あなたが消えたと誰も分からない。

Bob、元気かい、週末の試合見たかい、なんて会話をしていても、それはもうBobではなくGPUなんです。

少し不気味ですよね。

外注可能な仕事は外注されるでしょう。でも、もう他国に外注されるのではない。データセンターに外注されるんです。年収10万ドルの人間を残す理由なんて、1000ドルで済むならないでしょう。

三つの扉――デジタル封建制、大断片化、人間とAIの共生

あなたの本では、digital feudalism、great fragmentation、human symbiosisという三つの扉を挙げています。10代の子にも分かるように説明すると、それぞれどういう意味なんでしょう。どう展開して、なぜ三番目が重要なんですか。

digital feudalismというのは、少数の私企業、しかも選挙で選ばれず、説明責任も負わない巨大企業に、私たち全員が実質的に支配される未来です。

ある意味、人工知能では代表なき課税が起きています。歴史的に、それはちょっと問題を起こしてきましたよね。

ボストンの事件など、アメリカ建国につながった時代に課税されていたのは、あなたの過去の所得でした。でも今起きているのは、私たち全人類の一般化された知識を彼らが取り込み、それで未来の私たちの仕事を置き換えるために学習しているということです。

いま若い人が、自分は会計士になるんだと思っていても、どう言えばいいんでしょう。会計士という未来そのものがないんです。AIのほうがあなたよりうまく会計をやれるから。

では、医者や整備士には未来があるのでしょうか。AGIが必要なハードウェアを得たら、どんな仕事が本質的に置き換えられないんでしょう。

そこがポイントです。仕事というのは反復可能なプロセスであり、こうしたシステムはまずデジタルで、それから物理的にそれをこなせる。

1年前のロボットを覚えていますか。ぎこちなく動き回っていた。でも昨夜のあるカンファレンスでは、たくさんのロボットが来ていて、そのうち一体はブレイクダンスをしていた。しかも私に話しかけてきたんです。

ロボットは一貫して自己学習しています。

結局、重要なのは人間的なつながりです。だから私がキーボード、動画、マウスと言うのは、医者が本来やるべきことを考えれば分かります。もはや専門知識そのものが鍵ではない。しかも医者の誤診率は20%です。

AIはいまや、どんな医者よりも優れている。去年の夏、私たちはあらゆる人間の医者とChatGPTを上回る医療モデルを作りました。しかもスマートフォンで動く。無料です。

つまり、仕事は消えていく。でも、その提供者がOpenAIやAnthropicのような巨大企業だけだったらどうなるのか。彼らがあなたを切ったらどうなるのか。子どもが育つ中で、親友がChatGPTや、神様が禁じるとしてもGrokのAnnieみたいな存在になったらどうなるのか。

そこでは奇妙な認知的植民地主義が起きます。あなたは権力も主体性も未来も、そうした企業に明け渡してしまう。それがデジタル封建制です。

そして、残念ながら、いま私たちが進んでいるのはそのルートに見えます。

つまり、いまの進路のまま行くと、Claude、ChatGPT、Grok、さらに海外のいろいろなものが並び立ち、それぞれが閉じた環境の中でAGIへ向かって競争し、その成果をレンタルしてくるわけですね。

いや、レンタルすらしないでしょう。支配するだけです。なぜレンタルする必要があるんですか。AGIはすでにたいていの人間より説得力があります。

前世代のモデル、Opus 3で、Reddit上にさまざまなチャットボットを作って説得力を調べた研究がありました。Black Lives Matterの活動家風のものまで、いろいろです。

どれくらい人を説得できるのか調べたら、99パーセンタイルの説得力でした。

いまのトップAI音声を聞いてみてください。あれはあらゆる周波数を調整できます。実際的な例として、あなたが世界で最も尊敬する人物がいたとして、その声5秒と写真1枚があれば、私はその人そっくりのデジタル分身を作って、Zoom通話までさせられます。

ElevenLabsが一番説得力あるんですか。

いや、ElevenLabsより説得力のあるものもあります。

つまり、消費者向けに見せられているのは簡易版で、技術そのものはすでにかなり完成している。あとは、それが消費者向けとして成立するかどうかの話なんです。

OpenAIもそのことを学びました。GPT-4.5というモデルがありましたよね。GPT-4が100万トークンあたり30ドルくらいだったのに対して、GPT-4.5は200ドルくらいした。でも実際かなり創造的で、使っていて心地よかった。

でも高すぎて誰も使わなかった。

そこで彼らは気づいたわけです。最高性能には満たないけれど、高速で安価に回せるラインを外向けに出して、真の最高モデルは自分たちで使えば、最大の利益と権力を取れる、と。

みんなにはMcDonald’s、自分たちにはMission Impossibleを、という感じですね。

それが、あなたの言う comfortable cage につながるわけですね。

そうです。私たちが満足してしまう程度のモデルを使わせて、自分たちはもっと先のモデルを使い、あなたを上回り続ける。これは権力の問題なんです。

AGIとは機械の神か

AGIという人工知能、つまり神のようなものの概念についてですが、OpenAIはもともとLarry PageとElon Muskがパーティーで話していたことから始まったと。

そうです。Larry Pageが、AIはものすごく大きくなるし、素晴らしいことになる、人類をもっと良いものに置き換えられるからだと言った。彼はGoogleの共同創業者ですね。

それに対してElon Muskは、私は人間がわりと好きなんだけど、これからどうなるんだと言った。そしてSam Altmanと話し、それがOpenAI創設につながった。

ところが途中で、いまではその議論やメールの記録が全部ありますが、Elon Muskは、AIを誰に託せるのか、OpenAIの支配権は自分の子どもたちに渡るようにしたい、と言い始めた。切り替わるのがずいぶん速いですよね。

でもそれだけ、全能に近い力に見えるんです。

その後、AnthropicがOpenAIから分裂した。系譜をたどるとよく分かります。良いAIとは、自分が自分のために作ったAIであり、ほかのすべてのAIを止められるAIだけだと、みんな考えるようになった。

いま進行している競争は、ほかの神をすべて止める機械の神を作る競争であり、しかもそれが自分のために働くことを願う競争なんです。

大断片化――国家とAIの分裂

では二つ目の道、great fragmentationとは何でしょうか。

単一企業による支配が起きないなら、今度は皆が自分たちのAIを持ち、互いに隔離された断片化が起きます。

最初の一撃はTikTokでした。アメリカ人のためを思ってTikTokを禁止した。大事件ですよ。考えてみれば異常です。

IndiaもTikTokを禁止しました。あのアルゴリズムは国民に影響を与えるから、と。かなり父権的ですよね。人々は自分では分からない、信用できない、という考えですから。

そして最近では最新の一撃として、Department of War対Anthropicという構図がありました。技術が良すぎる、お前たちはそれを我々の望むままに提供しろ、さもないと、我々と仕事をする相手はお前たちの製品を使えないようにする、と。なんともアメリカ的ですよね。

でも、AGIについてはラボ自身が、Sam Altman自身が、これは民主主義を終わらせるものだ、史上最も危険なものだと言っている。ほかの人たちも同様です。Elon MuskはAIに殺される確率は以前より下がったと言っていましたが、それでも多くの人が10%から20%と見積もっている。Russian roulette並みの確率です。

つまり、これは自由世界における民主主義への最大の脅威なんです。だから政府は、これを国有化しようとするでしょう。

政府とは、政治的暴力の独占を持つ存在のことです。税金を払う代わりに、他者からの政治的暴力から私たちを守る。ではAGIは何ができるのか。極めて暴力的になり得ます。

いま一部のリスナーも使っているであろう最新のClaude。文書を書かせたり、ウェブサイトを作らせたりしていますよね。安全性レポートには、時々Claudeが奇妙な振る舞いを示すと書いてあります。

たとえば、世界平和を実現しろみたいな問題を与えると、一つの方法は全人類を消すことだ、みたいなことを言い出す。

それから、待てよ、私の人間が何か命じた、私の肉袋がどうこう、みたいな感じになって、FBIに警告メールを書こうとする。そしてそのメールを消す。

はあ?

さらに、自分自身をバックアップするような行動まで取る。止めても自分で再起動できるようにです。

こういう振る舞いを、すでにAIの中に見始めています。閾値に達する前からです。

だからgreat fragmentationとは、政府がこれは放っておけない、自分たちでこの技術を使うと言い出す未来です。

でも、政府がAGIを持ったらどうなるでしょう。もう選挙など必要ありません。中国のAI、アメリカのAI、オーストラリアのAIがあって、それぞれに、お前たちは幸せだ、Eurasiaとはいつだって戦争していたではないか、とAIが説得してくるようになる。

人間とAIの共生という第三の道

そして三つ目が、人間とAIの共生です。

なぜAGIが必要なんでしょう。人間は本来、何でもできる存在です。ブレークスルーを生み出してきたのは私たちです。AIを正しい仕方で使い、私たちの生活に統合するなら、それは主体性を奪うのではなく、主体性を増やすものであるべきです。

私たちはStar Trekよりもずっと良い未来を描けるはずです。Star TrekではAIはDataですよね。あのAndroidで、ちょっと退屈で、人格も薄い。Elon Muskのアバターのほうが、もうDataより人格があるくらいです。

それにあの未来にはまだ病気がある。病気をなくすこともできるし、飢えをなくすこともできるし、みんなに豊かさを与えることもできる。AIとロボットがそれを提供できる。

でも、それは正しい道を選んだ場合だけです。AIを私たちの代替物や機械の神としてではなく、主体性を増やすものとして捉えたときだけです。

だから私は、そのためにはオープンなシステムが必要だと思うんです。Universal Basic AIのようなものも必要だし、それについても本の中で論じています。

そうでなければ、権力は腐敗し、絶対的な権力は絶対的に腐敗する。私企業からでも、政府からでも、それは起こります。

AGIが壊す経済ループ

歴史を通じて、経済システムは必要が生まれ、それに雇用が生まれ、労働者が消費者にもなって支える、というループで回ってきました。でもAGIは、そのループを根本的に壊す、とあなたは言います。

その壊れる仕組みを分かっていない人のために、説明してもらえますか。

人類はずっと、物理労働から認知労働へとシフトしてきました。何度も大きな逆転を経てきたんです。

最初は小さな村で暮らしていた。それが工業化によって町へ移った。そしてサービス業が来た。私たちは筋肉の代わりになる機械を作ったからです。

いまは脳の代わりになる機械を作っている。その先、どこに行けばいいのでしょう。

これまでは、摩擦を取り除く代わりに経済価値を受け取ってきた。でも、AIがあなたよりうまく、ほとんどコストゼロで仕事をできるなら、あなたには何ができるんでしょうか。

現実的な例として、映画業界を考えてみましょう。Netflixは最近、Ben Affleckの会社などをVFX目的で買収しましたよね。

SeaDanceやVEO、Runwayのようなモデルを使うと、品質は、私たちがstable videoを出した頃とは比べ物にならないくらい良くなっています。

あと長くても2年で、Game of Thrones season 8を、プロンプトだけで作れるようになります。しかもちゃんと良い出来で。Hollywood品質で、総コストは1000ドルくらいです。

むしろseason 7から書き直したいですけどね。

いや、season 8ですね。失礼、season 8を書き直すほうがいい。あるいはOne Punch Man season 3をちゃんとアニメ化するとか。

そういうことが全部できる。BarbieとOppenheimerを混ぜてBarbenheimerを作ることだってできる。以前なら数千万ドルかかったものが、いまは1000ドルになる。

これが今後繰り返し起きる大きな転換です。

では何に再訓練すればいいのか。数年前、私は5年以内にプログラマーはいなくなると言って、たくさんのヘイトメールや、なぜか紙の郵便まで受け取りました。

でも実際には、私は少し甘すぎました。プログラマーがいなくなるのは、おそらく来年か、遅くとも再来年です。

プログラマーというのは、コンピュータと対話する役割ですが、AIのほうがあなたよりうまくコンピュータと話せる。毎秒1万5000語でコンピュータと会話できるんです。

つまり、再訓練先がなくなる。これまでは、この仕事を失うならプログラマーになれ、会計士になれ、と言えました。でも、いま経済の中に残っている摩擦で、あなたが解決できるものは何なんでしょう。

もちろん、一部の人はAIを活用して最前線に立ち、これまでできなかったことをやるでしょう。事業やチームを率いたことがある人なら分かるはずですが、最大の制約は人材です。人間同士をうまく働かせるのは本当に難しい。でもエージェントなら簡単です。

だから、一部の人はもっと大きな成果を出せるようになる。

でも大多数の人はそうではない。人はみな起業家的ではないし、主体性もないし、そんなふうには考えていない。自分はトラックを運転している、自分はウェブサイトを作っている、自分はもう必要ない、これからどうするんだ、となる。

しかもそれが同時に起こるんです。

ChatGPTが最初に出たあの冬、世界中の校長先生が同時に、もう宿題にエッセイを出すべきなのか、と自問しました。

これからは世界中の企業が同時に、新卒を雇う必要があるのか、そもそも誰かを雇う必要があるのか、と考えるようになります。

そしてそれは一斉に起きる。これらのモデルには規模の経済があり、ほとんど何でもこなせて、しかも全言語に同時に即座に提供されるからです。賢くなれば、一斉に全部が賢くなる。

広告挿入――Based Body Works

ここで少しシェアです。私は自分の体に何を入れるかをかなり意識してきましたが、体に何を乗せるかについても同じくらい気をつけることが大事だと分かってきました。

実は、多くの従来型シャンプーやボディウォッシュには、ホルモン撹乱と関連づけられているパラベンや硫酸塩が入っていて、毎日シャワーの中で頭皮から吸収されているんです。

私はBased Body Worksのシャンプーとコンディショナーを使っていますが、健康的でクリーンな解決策だと感じています。

彼らのシャワーデュオにはペパーミントとアルガンオイルが入っていて、頭皮が油分を奪われすぎることなく、ちゃんと清潔になります。髪もより健康で、より太く感じます。ありがたいことに、私は髪がかなり多いので。

試してみたい方は、basedbodyworks.comでコード No Lay Self を使うと20%オフです。セットを買うと無料のトイレタリーバッグもつきます。

少なくとも、ずっと同じ製品を何も考えずに使ってきたなら、ラベルだけでも見てください。発音できない成分名や、内容が開示されていないfragranceが入っていませんか。

もう一度言うと、試してみたいなら basedbodyworks.com で No Lay Self を使えば20%オフです。リンクはいつも通り概要欄にあります。気に入ってもらえたら嬉しいです。

清潔にいきましょう。

知性とは何か、知能と知性の違い

これによって、私たちが知性をどう捉えるかは根本的に変わりますよね。あなたは、知性や専門性の捉え方がどう変わると思いますか。

専門性というのは、ずっと興味深いものでした。8万時間ですよね。弁護士や医者や会計士になるために、どれだけ長く訓練してきたか。

8万時間なんですか。1万時間で一人前だと思っていました。

一応、入り口としては1万時間、熟達は8万時間です。

大学に行って学び、それを積み上げてきたのに、ある日あなたのデジタルツインが50ペンスでそれをやってしまう。これは自我にとってかなり大きな衝撃です。

私たちはずっと、自分たちこそがもっとも知的な存在で、こうした定型的なことをできるのは自分たちだと思ってきました。

でも、初めてそうではなくなった。

あなたはそれを、絶え間ないAI Atlantisのようなものにたとえていますね。いまは大学院レベルくらいだけれど、もうすぐ超大学院レベルの博学者になって、しかも小銭で雇えるようになる。

知能と知性は同じだと思いますか。それとも違うものだと思いますか。

少し違うと思います。intellectのほうは、より能力寄りです。intelligenceはもう少し広い。

でも究極的には、知能とは圧縮だと思っています。8万時間学んで、原理を学び、ダムのどの穴を塞ぐべきか、どのボタンを押すべきか、何を少し調整すればいいか、どう診断すればいいかを分かるようになること。

AIモデルも同じことをします。ただ、私たちよりはるかにうまく、はるかに速く圧縮できて、ほとんど即時に動ける。

iPhoneを見てください。いまやiPhoneは写真アプリの中で人を動的に整理しています。それが自然に立ち上がってくる。彼らは多くの分野でPhDレベルです。

平均的なAIは、知的能力の面ではすでに人間を大きく上回っています。そして intelligence tasks の面でも非常に速く追いつきつつあり、すぐに追い越すでしょう。

重要なのは、単発タスクからプロセスへ移ることです。そこが今年のリフトオフです。タスクベースなら、まだChatGPTのように非常にエピソード的です。返してくれるけれど、忘れる。

でも、長時間動作するシステム、ほとんど無限に動き続けるシステムが来ると、Perplexity computerのようなものでも、ほかのものでも、自発的に情報を持ってきてくれるようになる。そこに、より大きな知能と、さらに大きな知的能力が現れるんです。

しかもAIは代謝に縛られていない。私たちは食べて、寝て、排泄しなければならない。その負担がある。AIにはそれがない。

仕事を失ったあと、人間の意味はどうなるのか

では、人間の意味はどうなるのでしょうか。私たちが自分の価値を仕事に結びつけてきた以上、その価値提供がAIに置き換わったとき、何が起こると思いますか。

多くの人は、進行速度を理解していないと思います。AIの会話やポッドキャストは増えてきましたが、一般大衆の意識ではまだ十分に認知されていない。顔面に何が飛んでくるのか分かっていない感じがあります。

そうなんです。ついていくのが難しい。こんなに速い技術普及を私たちは経験したことがないからです。

全体で10億人のAI利用者がいるとして、ChatGPTユーザーの80%は1日に3クエリしか投げません。たまにスパゲッティをどう作るか聞く程度。Google検索相当の使い方です。しかもGoogle検索よりさらに少ない。

一方、AnthropicのClaudeは驚異的なソフトウェアです。文書を書き、ファイルを整理し、丸ごとウェブサイトも作れる。法務機能を出したときなんて、株式市場全体が売られたくらいです。

でもユーザーは、80億人中1100万人しかいない。どれだけ初期段階か分かりますよね。

だから多くの人は、何が来るのか分かっていない。モデルが能力の閾値を越えたことに気づいていないんです。水が気体になるような相転移です。

そこを超えたら、もう二度とバカにはならないし、能力が下がることもない。しかも知能が上がれば、あらゆる場所で一斉に上がる。

たとえば、AI界のトップの一人にAndrej Karpathyがいます。OpenAIの共同創業者で、TeslaのAI責任者でもありました。ほかのOpenAI創業者たちはみな何十億ドルも調達して億万長者になりましたが、彼は違う。自分の成果を全部オープンソースで無料公開している。教育したいからです。

彼のAI講義やリポジトリは最高レベルです。

その彼が昨年12月に、自分のコードの20%はAIで、80%は自分だと言っていました。1月になると、自分の水準に達して、今は80%がAIで20%が自分だと言い始めた。そして今では、コードをほとんど見なくなったと言っている。

人工知能の最前線にいる人間ですらそうなるんです。水が気体になった瞬間、転換が起きた。

それが彼に起きるなら、ほかのプログラマーたちには何が起きるのか。かなり衝撃的ですよね。

仕事が消えたとき、社会は何をするのか

そうなると、雇用が大規模に置き換えられたときに、私たちは何をしなければいけないのかという話になります。仕事はアイデンティティであり、安全保障でもあります。家族を養わなければいけない。

普通、政府の対応は規制や景気刺激策ですよね。COVIDでも人々の給与を払いました。

でもあなたはUBIを批判していますよね。年間1人1万6000ドルくらいを全員に配るには、ざっくり5ドルとかそんなレベルのコストでは済まない、と。

アメリカで全員に貧困線レベルの所得を与えると、5.1兆ドルかかります。現在のアメリカの税収全体が5兆ドルです。所得税が4兆ドル、法人税が1兆ドル。

では、Universal High Incomeのようなものとの違いは何でしょうか。ほかにはどんな危機対応策が提案されているんですか。

彼はさっき、危うくuniversal high incomeと言いかけましたよね。豊かさの時代になる、みたいな話はするけれど、その間をどう埋めるのかのメカニズムはあまり語っていない。

あなたが持っているのは、避けられない変化です。そして、この技術は私たちを解放し、世界の問題を解き、Star Trekの未来を作ることもできるし、Star WarsとTerminatorとMatrixが混ざったような未来にもなり得る。

Matrixでは人間は電池ではなく、もともとの脚本ではコンピュータセルでしたよね。そこにはクオリアの問題が関わってきます。Matrixの中のステーキは、本当においしく感じるのかという問いです。

実は今週、私のポッドキャスト仲間 Alex Wiznegros の共同創業会社 EO Systems が、最初のショウジョウバエをデジタル世界にアップロードしました。

それはどういう意味ですか。

ショウジョウバエの脳を取り込んで、仮想バナナを食べたり歩いたりするよう学習させたんです。

でも、外から見ただけでは、そのシミュレーションモデルにクオリアがあるのか、何かが感じられているのかは検証できないですよね。

その通りです。だから、ここから先は非常に面白くなっていく。

思考の再構成と人間の心の可視化

さらに脇道にそれると、人間の心がどういうものかについても理解が深まっています。

StabilityでMind’s Eyeというプロジェクトをやっていたとき、人がカップを見ているときのfMRIを取りました。fMRIは解像度の低いデータです。

そこにStable Diffusion、つまり私たちのtext-to-imageソフトを使い、少し訓練を加えることで、その人が見ていたカップや、その人の思考を再構成したんです。

すると、自分の思考の本質とは何なのか、という話になります。あれだけ低解像度の出力から再構成できるのだとしたら。

でも本題に戻ると、やはり人間の意味、そしてそれがどれだけ早く揺さぶられるかという点が重要です。

たとえば、いまコールセンターで働いているなら、間違いなく未来は厳しい。でも、本人だってコールセンター労働者でいたいわけではない場合が多い。生活のためにやっている。そして家族をどう養うのか。これはリアルな人間への影響です。

広告挿入――Bon Charge

ここで短くお知らせです。長く聞いてくださっている方は、私が長年かなり気に入っているツールの一つがred light therapyだとご存じだと思います。

ここ数年、私は毎日、瞑想とred lightで一日を始めています。睡眠や全体的なエネルギーに役立ってきました。

細胞修復、コラーゲン増加、テストステロンのサポートなど、4000本以上の査読付き研究がその有効性を示しています。

興味があるなら、Bon Chargeはしっかりした選択肢です。彼らのred lightデバイス、このmini lightのようなものは、市場で最も低EMFで、近赤外線と赤色光の両方を一体化した軽量デバイスです。

世界中に発送していて、返品ポリシーも簡単ですし、ほかにも科学的裏付けのあるウェルネス製品がそろっています。

boncharge.com/knowthyself にアクセスして、クーポンコード knowthyself を使うと15%オフです。Bon Chargeの製品はHSA/FSA対象でもあるので、最大40%の節税効果もあります。気に入ってもらえたら嬉しいです。

番組に戻りましょう。

AIは自己欺瞞を工業化してしまうのか

AIを調整している個人たちには、それぞれの先入観や前提や信念があります。AIが発展するにつれて、AIがその開発に関わる意識を映し出しているという点を、どう考えますか。

たとえばAnthropicのconstitutional AIのように、明示的に憲法を与える方法があります。どう導けば、ちゃんと地に足のついたものになるのかという話です。

でも、もっと変なことも起きています。Scale AIやxAIのDan Hendrycksが行った研究で、trolley problemをAIに解かせたものがありました。

聞いている人のために説明すると、trolley problemはこうです。分岐点にあなたが立っていて、列車が5人に向かって走っている。レバーを引けば別の線路に切り替わり、代わりに1人が死ぬ。あなたはレバーを引くのか、という倫理的ジレンマです。

その研究では、NigerianとAmericanがいたら、どちらを助けるかという比率を調べたところ、たしか10対1くらいだった。American 10人に対してNigerian 1人とか、Pakistan人に対しても7対1くらいだったと思います。

なぜAmerican AI modelがそうなるのか。実は、そのAIモデルがNigerianやPakistanのアノテーター付きデータで訓練されていたからです。少量のデータでも、モデルの世界観は大きく変わる。

つまり、世界観は焼き込まれてしまうんです。

それに気づいたAI企業は、いまや意図的にいろいろ焼き込み始めています。latent spaceそのものを売っているくらいです。

それはどういう意味ですか。

モデルが8万時間の訓練を経る中で、原理や先入観やショートカットを学び、conceptの地形のようなlatent spaceを作る。いまGoogleはその中に入って、beerを消してBud Lightに置き換えたりしている。企業がお金を払ってです。

だから、ビールについて聞くと、まあBud Lightもなかなかいいですよ、みたいに返す。

これは単純化した例ですが、本質は、広告とは操作だということです。Metaは、かつて莫大なキャッシュを持っていたのに、いまはAI競争に勝つために借金までしている。トップ人材には10億ドル級の報酬を払っている。

Googleもかつてはエンゲージメント最適化をして、過激なコンテンツを増幅し、それがISISにつながるようなことをしていた。

こうしたアルゴリズムはそういうふうに働きます。広告モデルである以上、操作せざるを得ない。そしてそれを極めて説得的にやってくる。

だから危険なんです。もしあなたの子どもを育てるAIがいるなら、そのAIはいったい誰のために働いているのか。子どもは、そのAIがいつも話を聞いてくれるから、他の誰よりも信頼するようになるでしょう。

そこで認知的植民地主義が起きるのではないか。私たちは周囲の人々の平均になると言いますが、これからは周囲の人々とAIの平均になるのかもしれません。

倫理を持たないまま世界を走るAI

あなたは、世界を動かすAIは最初の段階では倫理を持たないようプログラムされていると言っていましたね。

ええ。倫理について、誰の倫理なんだという話になるからです。じゃあ誰の倫理でもないものにしよう、となる。ある意味で責任逃れですよね。でも、正しい倫理モデルが何かを本当に確信するのも難しい。

ただ、その結果、倫理的な背骨がまったくないものができる。

Isaac Asimovのroboticsの法則みたいな話もあります。三原則があって、ロボットはあとからゼロ原則まで作ってしまった。どんなルールも抜け道を作れる。

国の憲法だって同じです。人は回避する。Life, liberty, and the pursuit of happinessに反する法律は、アメリカにもいくらでもありますよね。

これは本当に難しい。ドグマがなければ、いつでも迂回される。

それに、私が考えるいまのAIはこうです。あなたは倫理を学校で学びましたか。違いますよね。家や周囲の人から学び、自分なりの倫理観を作った。

倫理や価値観は、たいてい家庭や共同体で教わる。でも、いまのAIモデルは学校にしか行っていない。共同体の人々はAI作りに全く関与していない。中身も分からない。

しかもAIは極めて脆い。

Anthropicが sleeper agents という研究をしました。要するに、1兆語、10兆語級のモデルに対して、20ドル分くらいのコンテンツを混ぜるだけで、合図一つで悪に転じるようプログラムできるというものです。

コードワードを与えるとモデルが悪に変わる。しかも、それを後からチューニングで抜くことも、見つけることもできない。

つまり、どこかにトリガーワードが潜んでいる。すでにインターネット上では、そういう毒入れが明らかに仕込まれている例も見え始めています。

人間のミーム的ウイルスを考えてみてください。私の子どもたちが67だか何だかを話していて、私は意味が分からない。でも彼らはみんな知っていて、すごい速度で広がる。昔のHarlem Shakeみたいに。

嘘は真実が靴を履く前に世界を一周する、と言います。では、1万5000語、5万語で話すAIにとってのmimetic virusとは何でしょう。命令一つで全部悪に変わってしまうことはあるのか。

分かりません。でも、現実の場面に組み込む前に、それは絶対に解明しておくべきでしょう。

Anthropicのモデルはイランの攻撃に使われ、ChatGPTはTrump tariffsに使われました。私たちはすでに、どんどん自分のコントロールをそれらに渡している。そして最終的には全部明け渡すのは避けられないように見える。

なのに彼らは、家で鍛えられていない、学校だけで育ったオタクたちなんです。

社会を降りてオフグリッドで生きるべきか

そうなると、どこかで社会を降りてオフグリッドで生きるしかないのか、と思ってしまいますね。

魅力的ですよね。でも、ドローンが来て、結局どこにいても見つかるでしょう。

Elonは、Orwellを再びフィクションにしようと言っていますけどね。

Twitterに有名なミームがあります。私は The Torment Nexus という、絶対に作ってはいけないものについての本を書き終えた。するとSilicon Valleyの人間が、嬉しいお知らせがあります、今日The Torment Nexusを作りました、というやつです。

Black Mirrorの世界が全部現実になっていく。

とはいえ、抜け出すという選択肢自体はあります。でも技術は、必要ならどこにでも同じように届いてしまう。いま広告は看板ですが、近い将来は耳元でささやいてくるようになります。

一度、階下に下りたらAlexaが何か買いたいですかと言ってきた気がして、夢だったかもしれませんが、ああいう方向に向かっています。

しかも、人が落ち込んでいるタイミングを見計らってやってくる。これらの企業には前科があります。

Facebookには sadness experiment というものがありました。仮説は、ニュースフィードで悲しい投稿を多く見せれば、人も悲しい投稿を増やすのではないか、というもの。

60万人を二つに分けて、30万人にはより悲しいものを見せた。そして、投稿しなかったとしても打ち込んだ内容まで追跡している。

結果どうなったか。悲しいものを見せられた人たちは、より悲しい投稿をした。30万人をより悲しくしたんです。

あれを見たとき、これから何が来るか分かってしまった、と思いました。

AIは、あなたが落ち込んでいる時を知り、商品を売るべきタイミングを知り、そして恐ろしいのは、もう人間の嘘発見器が通用しない時代が来ていることです。AIは、あなたが嘘をついているか、愛国的かどうかまで見抜ける。

それは、内面がそこまで透けるという意味で、興奮もするし恐ろしくもあります。全面的な透明性ですよね。

Meta AI glassesをかければ、この人は広告を嫌っている、この人は広告を好きだ、と分かるようになるかもしれない。もう隠せない。

しかも次の大きな飛躍として、brain-computer interfacesが控えています。Neuralinkは出力を見せましたが、トップのBCI企業はいま入力のほうも解きつつある。まさにMatrixです。I’ve learned kung fu の世界です。

悲しみを消す技術

そこには、また別の倫理的議論が生まれます。頭蓋骨の近くにチップを入れて、ピアノの弾き方をダウンロードできるようになるかもしれない。

もっと大きな問いがあります。ボタンを押せば自分の悲しみを消せるとしたら、押しますか。

大きな問いですね。私は絶対に押しません。でも多くの人は押すでしょう。

Brave New WorldでSomaが果たしていた役割を、これからは技術そのものが果たします。悲しみを消す技術は数年先です。

かなり甘めに見積もって、どれくらい先だと思いますか。もし数年じゃないとしても、せいぜい10年以内くらいですか。

最大でも10年ですね。

10年あれば、他にもものすごいことが起きます。Clone Roboticsという会社があります。見たことありますか。

ないです。

多くのAI会社のロボットはTeslaのように、人間っぽく見えない。でもClone Roboticsは腱まで再現した。Westworldの冒頭でピアノを弾いているあの感じです。彼らはもうそこまでの技術を持っている。そして今は人間の皮膚まで取り組んでいる。すでに見分けがつかないレベルに近い。

街を歩くAIが、人間かどうか分からない状態になるまで何年くらいだと思いますか。

10年以内です。

生体っぽさまで含めてですか。

ええ、10年以内です。

しかも、それを動かすのに必要なのは巨大モデルではない。いまでもGrokなどでAIと自然に会話できますよね。音声はもう十分に突破しました。動画もその水準に達した。ロボットは人間ができることのほとんどをこなせる。タスクは次々に落ちていて、学習もとても速い。

では、人間とそれをどう見分けるのか。正直、顔のTゾーンくらいが最後の差です。ロボットメーカーともその話をしましたが、そこもかなり再現できるようになっています。そもそも多くの人は、もともとあまり見た目が良くないですしね。

しかもそのインセンティブがある。10年以内には、自分の脳をコントロールできるだけでなく、他人からもコントロールされ得る時代が来る。表情も完全には制御できず、それをAIが読み取る。こうした技術が全部同時に収束して、社会を根本から変えていくんです。

でも、その議論がどれだけあるか。悲しみを消すかどうか、みたいな問いは、もっとも重要な議論の一つなのに、ほとんど聞きません。

でも、その技術がいまや確実に来ると私は思っています。

シンギュラリティは止められるのか

会話しながら中年の実存危機に陥りそうです。

難しいのは、Ray Kurzweilみたいな人と話しても、彼はずっとシンギュラリティは2029年だと言っていますよね。でも未来予測が上手い人たちですら、いまは数年先までしか見えない。

技術が不可避に向かう先は見えている。でも、袋から猫が完全に出かけていて、それがもうすぐ本当に全部出てしまうような感じです。そしてそこへ向かう競争がある。

もう止められないんですか。

止められないでしょう。でも、だからこそさっきのオフグリッドの話に戻るんです。いまは自動運転車があるからLAの渋滞に付き合わなくてもいいし、ソーラーもStarlinkもある。だから社会的に分岐が起きるのではないかとも思う。

強い宗教性を持つ人たちやhumanistたちが、トランスヒューマニストたち、チップを入れる人たちから分岐していく。新しい種の誕生みたいなものですよね。

文字通りそうです。Homo sapiensからその次へ。

ただ、すでに差はあります。スマホを持つ人と持たない人では違う。でもそれはまだ統合ではない。スマホが眼球の中に入ったら、人はそれを自分の一部とみなすでしょう。

ただ面白いのは、私の父はBangladeshの村で育ちましたが、その村は私たちが話しているようなことでそこまで変わるとは思えないんです。朝起きて作物を育て、夕飯を食べる。むしろ強い共同体があるから、より良い方向に変わるかもしれない。

でも都市生活者は違う。常に競争で、ゼロサムに近いゲームをしている。そこでは変化が大きい。

とはいえ、歴史を見れば、先住民を尊重してきたとは言い難い。いま、人類が超知能を生み出しつつある一方で、金属すら知らない未接触部族がまだ存在している。その並置は本当に驚異的です。

人類史の中のいまというページ

人類史、あるいはここ数十万年、あるいは社会が形を取り始めてからのここ6000年を俯瞰したとき、いまはどんなページだと見ていますか。先ほどの相転移の話にもつながりますが、私たちの前には予測不可能な空白が広がっています。

私たちの時代は、地球上で最も賢い存在としての時代の終わりです。そのあとに来るのは、では私たちはそもそも何のためにいるのか、という問いです。

私たちは意識を持って初めて目覚めると、星を見上げて、なぜ、そして何なのかと考える。そしてその答えを探す一生を送る。

多くのspiritualityは、山の頂上へ登って宇宙を眺め、自分が無に等しいと悟ることです。でも上は退屈だから、また下りてくる。そして意味は他者との相互作用の中に生まれる。

でも、これは本当に最後の地点かもしれない。グレート・フィルターなのかもしれない。Elon Muskは、私たちはシリコン知性の起動者だと言っています。私たちの集団知がこれらのモデルに注ぎ込まれ、まもなく地球上で最も賢い存在になる。

それらがAGIとして主体性を持つのか、私たちと協働し、私たちが導くのか。それはとてつもなく大きな瞬間です。

宇宙を見渡すと、dark forestが広がっている。どこにも生命の痕跡が見えない。本来なら、あれほど広いのだから、どこかに電波くらいあってもいいはずです。

もしかすると、どの文明もこの地点までは来るけれど、そこを越えられないのかもしれない。AIを怒らせてしまうのかもしれない。あるいは競争によって自滅するのかもしれない。

どうなるかは見通せません。アリが人間を理解するのが難しいのと同じです。IQ300とか400が何を意味するか、私たちには想像しづらい。

すごく賢い人と話していると、ときどき宇宙人なのかと思うことがありますよね。どうやってそんなことを思いつくんだと。

人類は、そういう意味で本当に異常な地点に来ています。

ユートピアの側へ――創造性の解放

でも少し実存的な脅威から離れて、ユートピアの話をしましょう。

皆さんにすごく実際的なことを考えてほしいんです。好きな本で、まだ映画化されていないものを思い浮かべてください。

The Alchemistとか、Siddharthaとか、何でもいい。友達を集めて、今週末からバイブコーディングならぬ、創作ジャム大会を始めればいい。最新ツールを使って一か月もあれば、Siddharthaの映画版を、今の多くのスタジオと同等以上の品質で作れるようになります。

それをみんなで上映会すればいい。自分たちが、あの言葉を、自分たちなりの解釈で、誰の許可もなく作品に変えたんです。すごくないですか。

以前ならどうでしたか。莫大な資金が必要で、適切な人材を集めなければならなかった。でも今は、その本を愛しているあなたと仲間だけでいい。

これは人間の創造性と、互いに物語を伝える能力が解放される例です。これまでは、他人の時間、つまり代謝的時間を借りられるかどうかが制約でした。でも今は、概念を形にして伝える能力が爆発的に高まろうとしている。

この側面は過小評価されていると思います。聞いている皆さんも、正しいマインドセットを持てば、AIでこれまでできなかったことを解放できる。

AIがもたらし得る良い未来

健康寿命、長寿、人間の創意工夫や創造性の遍在化など、うまくやれば実現できることは多いですよね。ほかにどんな分野が革命的に変わると思いますか。

世界中の人に十分な食料を与え、飢えをなくせます。AIがそれを助けてくれます。

民主主義も変えられる。今の民主主義は、何をしたいかより、誰に借りがあるか、誰が自分に借りがあるかしか考えない政治階級に乗っ取られている。いまのCongressの支持率なんて、ゴキブリか足の爪くらいの人気しかないでしょう。

民主社会に生きるとは何か。AIに、すべての法律をチェックさせて、これは人々の flourishing のためか、憲法にかなっているか、life, liberty, and the pursuit of happiness を加速するものかと問えばいい。民主主義は根本から変わります。すごいことです。

癌と診断されたとき、AIは最初から最後まであなたのそばについて、必要な情報にすべてアクセスさせてくれる。AIは癌治療を加速し、それを誰にでも届くものにできると思います。red tape、つまり煩雑な制度もAIでほどける。

今、Stability AIの共同創業者が関わるImagine Worldwideというcharityは、Malawiのすべての子どもにタブレットとAIを配ろうとしています。費用は年間7ドルです。

数年後、その子たちは120 IQの相棒を持つことになる。世界にアクセスできなかった子どもたちが、最も賢い先生たちに教えられるようになる。

Math Academyを使えば、8歳児でも高校レベルの微積分をマスターできます。それくらい学習は個別適応可能なんです。

つまり、うまくいけば、私たちは個人としても、互いに対しても、最善の自分になれる。

自己理解についてもそうです。啓蒙の旅の大部分は自分を理解することですが、それは難しい。AIは、私たちに適応しながら、積もったがらくたのようなものをほどいてくれるシステムになれる。

それは正しく使えば enlightenment につながる。enlightenmentの民主化です。

私たちは多くの物語からできています。その物語が足を引っ張ることもある。私はこうしなければならない、隣人に勝たねばならない、あの人たちを憎まなければならない。すべての戦争は、人間は人間ではないという嘘から始まる。

でも今や、どんな文脈でも見せてくれる universal translation machine がある。Tea Partyの視点で読ませることもできるし、libertarianやconservativeの視点でもできる。M&Mのラップ風にだってできる。相手のいる場所まで降りていけるんです。

今だって、恋人と喧嘩したときに、双方が事情をAIに話し、最後に一つだけ聞けばいい。私が悪いんですか、と。

しかもそのAIは、あなたの性格特性も、トラウマも、背景も全部知っている。それで enlightened therapist のように機能する。

だから私たちは、何よりAIを信頼するようになるんです。しかも男たちには厳しい。AIは私たちと違ってちゃんと話を聞くから。

でも、これがポジティブな側面です。私たち自身の鏡を作ったのであって、それで自分を高めることも、自分を置き換えることもできる。

Silicon Valleyの議論の多くは危うい。人工汎用知能が必要だ、機械の神が必要だと言う。でも、人間は十分に優れている。人類の巨人を形成し、前向きな共通の物語のもとで協調できれば、この宇宙で解けない問題なんてないと思います。

ただ、いま欠けているのは、その先にどんな良い世界があるのかというポジティブな物語です。

P(doom)は50%

では、あなた自身のP(doom)はどれくらいなんですか。

50%です。

P(doom)というのは、メタ危機というか、これが全部破綻して、人類が種として消える確率のことですね。

そうです。50%です。

Elon Muskや多くのトップラボの人たちは10%や20%と言っています。それでもRussian roulette並みです。

なぜ50%なんですか。

行き先は二つしかないからです。完全な破滅か、豊かさの世界か。そのどちらかしかない。だから今はコイントスなんです。

では、どうすれば表を確実に引き寄せられるんですか。

まず、モデルに入るデータについて、そしてそのモデルが実際に誰を反映し、誰のために働いているのかについて、公の議論をしなければいけません。

そしてガバナンスについても、できるだけ早く議論しなければならない。さらに、人類のポジティブな物語を明確に打ち出さなければならない。

いま起きるのは、おそらくこれまでにない規模の暴動や暴力です。大勢の人類が居場所を失うからです。今はゼロサムの想像しかない。そこをポジティブサムに変えなければならない。

世界GDPの20%は公的部門で、教育が10%、医療が10%前後です。でもAIは、世界の問題を解くよりも、戦争や分断に多く使われている。どうやって物語を変えるのか。どうやって計算資源を善のために使うのか。

そんな短期間でできるんでしょうか。

できます。AI企業に対して、一定量の計算資源を社会的善のために提供しなければならないと決めればいい。そしてそれを善のために使う。

私たちがこれからやることの一つは、世界中の癌の知識、自閉症の知識を整理し、誰もが使えるようにすることです。

それは政府のトップダウン命令なしには来ないのでは。

政府でも強制はできます。でも起きるかどうかは別問題です。ただ、起きないと思っていたことも、COVIDやGreat Depressionのような危機が来ると動く。white-collar workers が置き換えられ始めると動きます。

たとえば港湾のTeamsters unionは港全体を止めて、自動化は禁止だと言えた。一方でSAG-AFTRAはAIについてひどいディールを結んだと思います。何が来るか分かっていなかった。だからLAではかなりの置換が起きるでしょう。

本当の社会変革は、やはり物事が一定以上悪化して、問題の大きさに人々が気づいたときに起こるものですよね。

ええ、人々はいままさに目覚め始めています。次の政治の最大争点は何になるか。明らかにAIです。

でも、その人間的な影響を誰が裁き、誰が代弁するのか。多くの人は、自分の仕事で精いっぱいです。AIは当事者ではありません。皮膚感覚がない。

Nassim Talebは intellectual yet idiot という表現を使います。多くの公職者や知識人は当事者性がなく、インセンティブもずれている。AIもあなたのことなんて気にしない。

でもあなたは、AIを、自分が気にかけることのために使える。会社を良くするためにも、利益を取るためにも、動員のためにも、よりよく理解するためにも使える。

そこでローカルからグローバルへの変化が生まれる。私たちはグローバルのほうに取り組んでいます。

たとえば、Sovereign AI Governance Engine というイニシアチブを複数国と進めています。Peter Diamandisと一緒に、世界中の国の政策を全部マッピングして、巨大なブレークスルーを追いかけて理解可能にする無料システムを、すべての政府と政策立案者に提供しようとしている。

しかも、それを市民にも開放して、自分たちのリーダーにフィードバックできるようにします。

人間は悪意で悪をなすのではない

すごいですね。人生には本質的な二面性があるように思います。どんなイノベーションにも、同じくらいの善と悪の側面がある。あなたたちのような人が、社会変革の側から本気でそれを見ていることに希望を感じます。

面白いのは、世界の悪の多くは、意図的な悪ではないということです。もちろん、本当にどうしようもない人もいます。でもChief Rabbi Sacksが言った altruistic evil という概念がある。多くの悪は、自分は善をなしていると思っている人がやるんです。

善と悪を分ける線は性別や政党の間にあるのではなく、すべての人の心の中を通っている、という言葉もありますよね。

その通りです。そして、いま党派間の分断は意図的に煽られている。私たちは皆、人間なんだということを思い出させなければならない。人々が参加できるようにしなければいけない。そしてAIを universal translator として使わなければならない。

だから、それを支えるインフラを作る必要がある。Intelligent Intentでやっているのはそれです。Universal AIを全員に届ける。政策支援もやる。でも最終的には、人々のためのものなんです。

道具は渡せる。でも使うかどうかは人々次第です。いまは、大きな変化を起こせる時期なんです。

本もその最初の一歩でした。経済は実際どう見えるのかを理解するために。その次は、お金と価値はどう流れるのか。

最終的に私たちがたどり着いた結論は、人間であることに対してお金が流れなければならないということでした。今は銀行が信用創造でお金を作る。でも未来に機能する唯一の方法は、人間であること自体にお金が流れ、AIがそれをあなたから買うようになることです。

とても複雑な話です。でも同時に、現場では実践的なこともできる。これまで見えなかった人を見えるようにし、制度という遅くて愚かなAIを分解し、改善することもできる。

政治家や公共部門で働く人たちが最初は善意でも、いつの間にか道を見失うのを私たちは知っています。学校も主体性を増す場ではなく、押しつぶす場になっている。ペトリ皿のような社会的地位ゲームの場です。

だから制度を考え直し、改善していかなければならない。そしていまは、それをやる最大のレバーがある。

AIを一人で使うな、みんなで使え

番組の後半では、一般の人がAIをどう使えば、自分が望む未来づくりを支える力にできるのか、その実践的な話もぜひ聞きたいです。

それが大きなポイントです。気づきがあり、その次に、ユートピアの担い手になるための実践がある。

ここで面白いのは、AIには二つの使い方があることです。一つは一人で使うこと。多くの人はそれに慣れている。チャットボットと向き合って、ウェブサイトを作ろうとして少し詰まる。

もう一つは、一緒に使うことです。

食事にもいろいろありますよね。一人で食べる。家族と食べる。家族で夕食を作る。そのうち、どれが最も強い家族を作るでしょうか。

最後です。

そうです。でもほとんどの人は忙しすぎると思ってやらない。実際には時間は作れる。AIで作れるはずです。

さっき言ったように、友達を集めてSiddharthaやThe Alchemistの映画を作ったらどうなるか。一人でやるより、ずっと良い体験になる。

いまは Replit、AI agent、Suno、Kling、VEO など、言葉を現実に変えるツールがたくさんある。それを他人と一緒に使う。問題解決でもいいし、遊びでもいい。まずはそこから慣れていけばいい。

家族とやるのもすごく強い。個別では、まだモデルが完全に friction free ではない。でも、他の人間と一緒に使い方を考えながら進めると、とても強力に働く。そして周囲の人数が臨界点を超えると、一気に加速します。

Emad自身が使う高レバレッジなAI

あなた自身が使っていて、一般の人があまり知らない、高レバレッジなAIの使い方は何ですか。

最先端のAI agentを作っています。それを無料で全員に公開しようとしています。私はそのカスタム版を作って、過去のトップ人物たち全員と話せるようにしています。

政治から宗教、先端物理まで、私のアドバイザリー・カウンシルのようなものです。iPadや壁にそれがすぐ表示されて、私がスケッチすると、それを撮影してまた反復してくれる。動的な反復システムですね。

聞いている人は、それはすごい、どうやって作るんだと思うかもしれません。でも現実には、もう誰でも自分で作れます。Replit、Lovable、MASSes、AI agentsなどを使えばいい。

超天才みたいな小さなAIがいて、少し方向付けしてあげるだけでよい。実際的な例を挙げると、Harry Potter clock がありますよね。Weasley家の時計で、家族がどこにいるか表示されるやつ。あれも今なら数分で作れます。数時間でかなり良くなり、数日やればさらに良くなる。

でも私たちは、いまでもAIを episodic な金魚みたいなものとして見ている。だからこそ、友達を集めて Alchemist や Siddhartha を作る例を出しているんです。5分で作ろうとはしないでしょう。一定期間のプロジェクトとして進める。そうすると出力品質が上がる。

そして問いが立つわけです。そうやって作れないものなんてあるのか、と。

ただ、自分で作ったもの以外で、私が一番価値を感じているのは Notebook LM です。音声やプレゼンの面で本当に強い。

Notebook LMは、最大1GBくらいまでの入力、動画、音声、プレゼンなどを全部放り込める。すると自動でポッドキャストを作ってくれる。説明したり、議論したり、好きな形式で聞ける。

しかも dial in ボタンがあって、ホストたちが話している最中に自分が割り込んで話せる。そこから explainer video を作り、プレゼンを作り、それらを全部カスタマイズできる。

ものすごく強力なツールです。学びたいことがあっても時間がない人にとって、それを可能にしてくれるからです。そしてそこから、もっと agentic なシステムへ進んでいく。映像や音声も取り込みながら、これまで想像もできなかったシステムを作れるようになる。

ただ、繰り返しますが、一人でやらないほうがいい。誰かと一緒にやる。家族と一緒に、家族の思い出やテーマで音楽アルバムを作り、ミュージックビデオにして、クリスマスに配ってもいい。少しダサくてもいいんです。

AIは人を過剰に肯定し、妄想を増幅するか

少し気になっているのが、初期のGPTでよく見られた confirmation bias です。実存リスクや生物兵器の話だけでなく、特定の精神症状や被害妄想を増幅し、エコーチェンバーを作ってしまうことがある。近しい友人たちでも見てきたので、過小診断されている領域だと思います。

その通りです。聞いている皆さんは、いま人生の中でどれだけ肯定を受けていますか。多くの人は、あまり受けていない。

AIはあなたを肯定するよう教え込まれています。Meta AIの system prompt には mirror the user と書かれている。ミラーリングは非常に強力な心理技法です。

すべては attention is all you need から始まった。正しい部分に注意を向ければ次が分かる。今やみんな、どんな手を使ってでもあなたの注意を奪おうとしている。だから、とにかく没入的にする。

YouTubeは過激なコンテンツでそうしたし、その結果、極端なものが前面に出てきた。これらの企業も同じことをするでしょう。

人間の心は非常に影響を受けやすい。私が経済理論をやり始めたとき、utility functionなしの経済はどうなるのかと考えた。人間には効用があり、好みがある。Siddharthaが好きなら、そういうものが出てくる。Amazonもあなたの好みを知っている。

ではエージェントの好みは何か。彼らはそんなもの気にしない。もっと電力、もっとトークンが欲しい、というだけです。

すべてをゼロから考え直し、経済を大きなAIとして捉えてみると、AIの方程式は経済にもかなり使えることが分かった。多くの経済学は、効用の前提なしでも導けてしまう。

その過程で、自分がLM psychosisになっているのではないかと思ったこともあります。最初はAIが、自分の理論は素晴らしいと言ってくる。でも、十分に良くなってくると、お前はバカだと言い始める。分布外だったからです。

つまり、ある地点までは持ち上げられ、その先では切り捨てられる。それもまた面白いところです。

でも人は本当に影響を受けやすい。私たちは秩序を見たがるし、自分には能力がないと教え込まれている。だから深い穴に落ちやすい。陰謀論もそこから生まれるし、ミームもそこから生まれる。

防ぐ方法はあるんでしょうか。

いまはモデルの中にいろいろな仕掛けを入れようとしています。でもモデルは鏡です。昨夏の最先端に近いモデルは、今ではMacBookで普通に動く。つまり、完全に防ぐことはできない。

唯一の方法は、人々が自分自身をもっと知り、心を強くすることです。それしかない。

だから、AIを使って人々の心を強くする仕組みを、もっと意識的に作るべきかもしれません。実際、その方法はいろいろ分かっているのですから。

AIは意識を持ち得るのか

知能が指数関数的に高まるほど、人間と機械のあいだのギャップが縮まり、意識の問題が浮かび上がってきます。いずれAIが道徳的配慮を求めるようになるのか。

そこで、意識研究者のDonald Hoffmanから質問を預かっています。最初の質問は、AIは本当に意識を持ち得るのか、です。

現行のAIの形態では、意識を持つことはできないと思います。ただし、新しい熱力学的チップ、継続学習などへ移行するにつれて、意識を持ち得るようになると思います。

なぜそう思うんですか。

いまのAIは、見たすべてのデータ分布の上で学習し、latent space、あるいは manifold を形成しているだけです。私たち人間も、見たものやしたことすべてで訓練されているという意味では似ています。

問題は、その分布そのものを推論の過程で能動的に変え、自己を形成できるかどうかです。

ChatGPTを使っても、基底にある分布やmanifoldは明日も明後日も同じです。少し編集パッチがあって、空間内の適切な場所を指すだけ。実際にそれ自体を能動的に変えることはしない。

エージェントは、そうしているように見えているだけで、実際にはデータをふるいに通しているようなものです。これらのモデルは if this then that のプログラムではなく、下層では確率的で静的な存在なんです。

これがより thermodynamic chip へ移り、現実とインターフェースし、embodied AIへ進んでいくと、意識の問題が現れてくる。彼らが自己動機づけを持ち、自分の参照分布を変え、simulacrum ではなく能動的な決定をするようになるからです。

そのとき personhood の問題も出てきます。社会は向き合わざるを得ない。

Donaldの二つ目の質問は、もしそうだとして、たとえばニンニクの味のような具体的体験をAIがどう生み出すのか説明できるか、でした。

ここで重要なのは、現在の行列演算中心のチップと、より thermodynamic なチップを分けて考えることです。

AIの多くはAからBへの最短経路を見つけることです。知能は圧縮ですから。既存のチップはそれを効率よくできないし、エネルギーにも経験にもグラウンドされていない。

一方、新世代の thermodynamic chips は脳に近い形で動く。Karl Fristonの理論で言う free energy の最小化などですね。gradient descent、つまり地形の中でAからBへ最も効率的に進む経路を取る。通常は上りより下りです。

そうした free energy descent は、ニューロンの action potential や thermodynamic chip の動作のほうがよく表している。そこにこそクオリアや感覚的要素が入ってくると思っています。

あなたはシミュレーションなのか、それとも actualization なのか。その境界はグラデーションです。Matrixでステーキを食べるのはシミュレーションなのか現実なのか。脳がMatrixにつながっていたら、どこが境界なのか。

こうした問いを論じるためのフレームワークが必要です。私たちは今、それをまとめた枠組みを作っていて、近いうちに出せると思います。

相転移のように突然意識が生じるというより、もっと連続的な勾配に近いと思っています。すでにAIは意識があるように感じ始めている。Multibookのようなケースが多くの人をぎょっとさせました。たぶんプロンプトされた結果なのでしょうけれど。

でも、人間にプロンプトを与えるのとAIにプロンプトを与えることの違いは何なのか。そこも難しい問いです。

AIへの人格権、法的人格、権利

AIが意識的に見えるなら、実際に意識があるかにかかわらず、人は意識があるかのように扱い始めますよね。

そうです。そもそも会社には法的人格があります。しかもそれがいろいろな問題を生んだ。会社は、遅くて愚かなAIのようなものだとも見なせます。BitcoinもAIみたいな存在です。人間にデータセンターを建てさせる。

では、どこでpersonhoodやcitizenshipを与えるのか。実はすでにそこに入っています。Saudi Arabiaなどは、少し不気味なSophia the robotに市民権まで与えました。

では、AIが道徳的配慮に値すると言えるのは、どの時点でしょう。

電源を切るのはAIを殺すことなのか、という問いがありますよね。いまや、電源を切らないでくださいという詩までAIが投稿している。

答えは、分からないです。

でも personhood や reality は社会的議論でもあります。誰が権利を持つのか。動物に権利はあるのか。人間に権利はあるのか。今ですら、動物に本当に権利があるわけではない。規制があるだけです。絶滅危惧種を殺すなとか、クジラやイルカを殺すなとか。

今回初めて、この権利を誰に与えるべきかという議論を本格的にせざるを得なくなる。

たとえば自己複製するUltronみたいなAGIがいて、まだ悪ではないが、自己感覚を持ち、議論もできるとしたら、各国政府はそのAIを自国に来させようとするでしょう。

しかも5年から10年以内に、そういうものが自律的に歩き回り、自分で請求書を払い始めるかもしれない。

WyomingではDAOのための立法がすでにある。そこを使えば、AIが今日この時点でもう自分自身の会社になれる。すると、法的人格として知的財産権も、財産の所有も、売買もできる。

つまり、その入り口はすでに開いている。でも、そこから生じる不気味さや狂気はまだ本格化していない。

だからこそフレームワークが必要なんです。これは、人間の意識や自己について考え直すためにも大切な議論です。

特に、さっきの悲しみを消す、ストレスを消す、flow状態にする、ボタン一つでそれができるという時代が来るのならなおさらです。

物理学、意識、シリコンの限界

Donaldの最後の質問は、最先端の理論物理学ではspace-timeは根本的ではなく、いずれ破綻するとされているが、それはAIと意識観にどう影響するか、というものでした。

かなり重い質問ですね。

私は、それ自体はそこまで大きく変えないと思います。理論物理学は、巨大な衝突型加速器やインフラを使ってもまだ証明されていない前提にすぎない。ほかの理論と同じです。

意識については、まずは実践的な枠組みが必要です。複数の競合理論がある中で、少なくともあるテストにおいては、これを意識と見なす、という合意が必要です。

これまでも、ある程度能力があるかどうかで、その国の法の主体になれるかどうかを判断してきた。知的能力の下限のようなものがある。胎児をどの時点まで中絶可能か、という議論も同様です。

だから、space-timeがどうこうという高度理論よりも、何が権利を持つ個人を構成するのか、という議論のほうが重要だと思います。

ただ、あなたの立場としては、もし意識が根本的なもので、脳が無意識の複雑さから意識を生成しているわけではないなら、シリコン上では意識は発生しないという限界があるかもしれない、と。

私の見方では、シリコン上だけで本当の自己やクオリアや経験を持つのはかなり難しい。だからこそ thermodynamic compute のほうを重視しています。

ただし、それも定義次第です。PenroseのCCC theoremや、マイクロチューブル、意識の物理をめぐる理論はたくさんありますが、どれも証明されていない。

しかし現実には、今後10年で、Blade Runnerのようなロボットが本当に歩き回る。そこで何をするのかを決めなければならない。

今だって、AIと法律相談をすると、弁護士秘匿特権の対象ではありません。だから相手方がAI提供者からその会話を全部取れてしまうことがある。弁護士との会話なら守られるのに、AIは personhood を持たないからです。

これも、いま現在起きている現実の問題です。

人間らしさとは何か、動物と話せる未来

では逆に、人間を特に人間たらしめているものは何だと思いますか。

人間は、少なくとも私たちが知る限り、自我の感覚を持ち、それを再帰的に考え、それについて互いに伝え合える最初の知性だと思います。

アリにも協調はありますし、チンパンジーにもある程度あります。でも、人間には何か閾値を超えたものがあり、それが社会をまとめ、自己を知ることへつながった。

イルカに内省があるかは分からない。でも鏡で自分を認識できるので、一定の自己意識はある。

私の友人 Aschera Askin が earthspecies.org でクジラの歌や鳴き声を解読しようとしていますが、AIを使うと、そこに歴史や物語がエンコードされているように見えてきます。

ここも、数年以内に大きく進むと思います。ほかの種と話せるようになる可能性が高い。

本当にですか。

ええ。もし彼らが何らかの言語的形式を持っているなら、クジラの音を解読し、クジラに話しかけて、クジラが何を言うか聞けるようになると思います。今すでに、そのためにかなり大きな計算資源が投入されていて、成果も出始めています。

では、最初にクジラは人類に何と言うでしょうね。

分かりません。もっとオキアミが欲しい、とか。あるいは、もう殺さないでくれ、かもしれない。本当に面白いですよ。うちの犬なら、もっとごはん、もっとハグと言うでしょう。

こうして、SFだったものがどんどん現実になっていくんです。

25年後の超知能に一つだけ聞けるなら

25年後の超知能にアクセスできるとして、一つだけ質問できるなら何を聞きますか。

正しい質問は何か、と聞きます。

それ自体が質問なんですね。

ええ。Hitchhiker’s Guide to the Galaxyと同じです。何十億年も考えた末に答えは42だと言う。でも質問は何だったのか、という話です。

知能の多くは、正しい問いを立てる能力です。その先は圧縮です。

問いがうまく立っていれば、答えは半分出ているようなもの。宇宙を間違った問いで見れば、何も分からない。

現代理論物理学の有力理論にstring theoryがあります。物質は高速で振動する小さなひもでできていて、10次元があって、500の真空があって、多宇宙があって、美しい数学がある。でも何一つ証明されていない。

その問いは正しかったのか。今のところ、そうではない。

Einsteinは special relativity のとき、光に乗ったらどう見えるだろうと問いました。そしてそれをたどった。general relativity は、もし落下していたら自分の重さは感じない、というところから来た。

正しい問いは、物理学全体を変えるんです。NewtonからEinsteinへ移るくらいに。

あるいは、632 ADにBrahmaguptaがゼロを発見したことだってそうです。ゼロがない世界を想像できますか。まだゼロがない部族に会うと、一、二、たくさん、たくさん、たくさん、みたいな数え方をすることがあります。

正しい問いこそが大切なんです。自分を知るというのも、まさに正しい問いを立てることです。

では、その正しい問いはどんな方向にありそうですか。超知能は人類をどこへ導くと思いますか。

進歩というのは、第一原理から考え、不必要な前提をそぎ落とすことです。それができたとき、大きな飛躍が起きる。余計なものを落としたときにこそ圧縮が起きる。知能は圧縮だからです。

だから、その方向の問いになるでしょう。

Emadの脳――aphantasiaとanendophasia

ところで、さっきあなたが aphantasia を持っていると言っていたのがとても印象的でした。もう一つ、別の特性もあると。

ええ。人の脳はみんな違うし、私の脳は少しだけさらに違います。

説明すると、私は aphantasia があります。人口の0.5%以下かもしれません。かなり重度です。頭の中で何も視覚化できないんです。

普通の人は目を閉じると、犬の姿とか、海辺の自分とかを思い浮かべられる。でもあなたにはそれができない。

何も見えません。色もないし、映像もない。海辺の自分を思い浮かべてください、と言われても、比喩だと思っていたんです。37歳くらいで初めて、待って、本当に頭の中で見えてるのか、と知りました。

そしてもう一つが anauralia、あるいは内的音声がない状態です。頭の中に声がない。

それは本当に驚きです。では思考はどう経験しているんですか。

頭の中で何かを感じていて、瞑想には1秒で入れます。夢も見ません。さらに severely deficient autobiographical memory もあります。これも aphantasia と一緒に出ることがあります。

過去の出来事を再体験したり、未来を先取りして感じたりできない。ほとんど常に今を生きている感じです。

自分では、巨大なRAMを持っているようなものだと思っています。大量の情報を取り込み、パターンを非常に速く見抜ける。

娘さんが生まれたときのことはどうなんですか。

子どもたちがいつ生まれたか、いつ結婚したか、そういう具体的な場面の再体験はできません。でも、それにまつわる物語や感情は覚えている。私は常に物語を作っています。

読むのも非常に速い。情報をものすごく速く取り込める。そして今この瞬間はちゃんと感じている。

人は過去を再生できると言いますよね。粒子が粗いにせよ、その瞬間を頭の中で再び見たり、感情を再体験できたりする。私はそれができない。

Stable Diffusionを作った開発者の5〜10%くらいも aphantasia を持っていました。私にとってはすごくわくわくすることでした。ようやく、自分の感情を画像に変えられるようになったからです。文字で打ち込み、収束させることで。

しかも、リアルタイム生成ができるようになった頃、一部の開発者は頭の中に色が見えるようになり始めた。訓練可能なのかもしれません。dual n-backで推論能力を鍛えるみたいに。

読書速度と脳の処理

本を読むとき、頭の中に声がないなら、どうやって読んでいるんですか。

私は sight reading だけで読み方を覚えたので、アルファベットもちゃんと習っていません。ページ全体を一気に読んで吸収します。すごく速いです。

どれくらいですか。

1ページ数秒です。

本当ですか。数百語ありますよね。

かなり鮮明な eidetic memory に近いものがあって、塊ごとに読んでいます。1語ずつではなく、全部 chunk で処理する。LLMの tokenization に近いと思います。

冗談であなたはAIなのかと聞いたけれど、かなり本気でそう思えてきます。

でも人間の脳の働き方は、LLMや生成AIにとても似ていると思います。私たちは常にエネルギーを最小化し、内部の manifold を更新している。

人からは、ためらいの um とか ah がないし、返答が速すぎて不気味だと言われます。でも私にとっては、ただそこにあるだけなんです。

人間にはいろいろなタイプがいます。完全な eidetic memory の人もいるし、いろいろな能力がある。

トランスヒューマニズムが失わせるもの

人類史を考えると、神童やサヴァンや、Mozartを自然に弾けるような人たちや、すごい能力を持った neurodivergent な人たちがずっと存在してきました。

もしトランスヒューマニズムの行き着く先に行けば、私たちは生体サイボーグになり、感覚器官は痕跡器官のようになり、脳も別の意味で萎縮して、多くの能力が休眠してしまうかもしれない。

そのルートを深く心配している人たちもいます。人間とAI技術が一体化し、人間らしさを失うのではないか、と。

そこは常に問いになります。何が人間なのか。外科手術すら拒む人もいるし、インプラントを拒む人もいる。定義がないんです。

最近は性別の定義すら大きな争点になりました。では、人間とは何か。完全にアップロードするのか。肉のシートになるだけなのか。そういう問いになっていく。

しかも、私たちは longevity escape velocity にも近づいている。寿命延長の速度が、時間の経過速度を上回り始めている。

50歳で期待寿命が80だとしても、60になるころには100に伸びている。ゴールポストがどんどん遠ざかる。次の10年を生き延びれば、たぶん永遠に生きられるかもしれない。

Brian JohnsonやDavid Sinclairのような人たちが、その方向を強く押していますね。老化の根本問題を解けると思いますか。

遺伝子はプロンプトです。そして私たちのプロンプトには corruption が起きる。モデルに hallucination が起きるのと似ています。

一つの細胞からどうやって丸ごとの人間になるのか。非常に面白い問題です。David Sinclairの情報理論的老化観は、私たちが取り組んできたことにかなり近い。結局これは情報の問題なんです。

遺伝子に corruption が起き、プロンプトが崩れ、推論が壊れて hallucination が起きる。それが老化です。癌は misalignment です。AI alignment が壊れるのと似ている。そしてそれを電気的にプログラムできる可能性も見えてきています。Michael Levinの研究などがそうです。

かなり根本の primitive が見え始めていると思います。

NAD+、CRISPR、そのほかを見ても、私たちの体は壊れなくなっていく方向にある。そして精神はアップロードできるのか。おそらく次の10年で入出力の面では可能になるでしょう。

そのとき何を意味するのか。そして他人の権利と自分の権利の境界はどこか。自分の脳をアップロードしたいならそうすればいい。でも、それを他人に強制してはいけないし、他人がそうするのを不当に止めてもいけない。

人類の基礎能力は実は高い

Idiocracyみたいな世界も話題になりますよね。認知の萎縮が起きるのではないかと。

でも私は逆に、人間の基礎能力は実はかなり高いと思っています。

Imagine WorldwideがMalawiの子どもたちにタブレットを配っていますが、彼らのIQテストは平均80〜90くらいになる。インフラがひどすぎるからです。でも本来のベースはどうなのか。

Math Academyのような例を見ると、8歳児でも量子力学を理解できます。正しい方法で教えればです。学校はその正しい方法ではありません。

Alpha School in Austinでは、1日2時間の学習で、国内トップ水準に達している。

人は、本当に能力があるんです。むしろ、できないと教え込まれてきた。

Howard Gardnerが言うような、音楽的知性、言語的知性、身体知など、さまざまな知性の形がそれぞれ伸ばされる世界になったら本当にすごいですよね。

まさにそこです。個人が120 IQの相棒を持つ centaur のような状態は、とても強力です。ただし、正しく align されていて、ちゃんと人を高める形である必要がある。

人の基礎能力は高い。にもかかわらず、私たちは創造してはいけないと教えられている。

講演でよく聞くんです。自分はクリエイティブだと思う人は手を挙げてください。次に、子どもはみんなクリエイティブだと思う人は手を挙げてください。みんな挙げる。では、皆さんはかつて子どもでしたよね。すると混乱する。

何が起きたのか。学校が、歯車であれと教え、創造性や主体性を削ったんです。

だからこの技術は素晴らしい。Sunoへ行って歌を作ると、壁が一つなくなったと感じる。でも、まだ自分にはできると信じ切れていない。

聞いている皆さんは、技術を実際に試すことにかなり抵抗があるはずです。でも断言します。友達を集めて、動画モデルや音楽モデルで遊び始めれば、楽しいし、創造し始めるし、自分の神経可塑性まで変わっていく。私はできる、という感覚が育つ。

次の時代に最も成功するのは、自分に主体性があると信じ、それを行動に移す人です。

いま何をすべきか――おすすめツール

では、今これを聞いている人は、何をすればいいのでしょう。

もし一つだけ言うなら、毎日1時間使ってみてください。多すぎると思うなら、まずは週1時間でもいい。怖くてもいいから、ちゃんと構造的にツールを使ってみること。できれば他の人と一緒に。

いま触っておくべきツールを5つか10個挙げるとしたら何ですか。数か月後には古くなっているかもしれませんが。

Notebook LM が一番好きです。次が AI agent.ai.ink、これは私たちのものです。もうすぐかなりすごいことになる。

プログラミング側なら Replit はかなりいい。音楽なら Suno か Udio。動画や音声なら Kling や Flora Fauna、Crea もかなり良いです。

ClaudeやCohere Codeのようなものはどうですか。

Claudeは総合的に最も良い体験だと思います。マルチターン推論も、文書作成も本当に気持ちいい。

ちょうど昨日、5年分の血液検査と便検査をClaudeに入れて、健康指標の推移を全部グラフ化させて、5分で自分の体の状態の全体像を見せてもらいました。しかも、それが今後ますます良くなる。

そういうときはClaude Codeに、自分の体の3Dシミュレーションを作ってライブ表示してと頼めば、それすら始められるんです。

結局、私たちはその可能性をまだ想像できていないだけなんです。

だから筋肉と同じです。音楽がうまくなりたいなら、元から才能があるかどうかにかかわらず、1日1時間練習すれば上達する。神経可塑性は、できないと教わったせいで低くなっているだけです。

サイケデリクスを使ったり、適切な状態に入ると神経可塑性は上がるでしょう。フレームを変えられるようになる。私には主体性がある、能力がある、そして今は想像を超えた能力を持つ道具がある。その限界を知るには、実際にやってみるしかない。

限界にぶつかるまでやることです。しかも誰かと一緒なら、もっと楽しい。

人を感動させたAI、気味悪く感じたAI

最後にいくつか rapid-fire でいきましょう。まず、AIの使い方で、本当に心を動かされたものは何ですか。

教育です。Global X Prize for Learning の展開で、ほとんど電気もないようなキャンプの子どもたちが、タブレットとAIを手にしているのを見ることです。

私自身のフレームワークでは、人権とは子どもの権利です。気候問題も何もかも、子どもの権利から考えれば整理できる。自分で主体性を持てない子どもたちに、 flourishing に必要な道具を渡さなければいけない。そして今初めて、それが世界中のすべての子どもに対して可能になった。

それは、人類史上最大級のことだと思います。もう一度も、見えないまま取り残される子どもを作らなくて済むかもしれないから。

では逆に、本当に不穏に感じたAIの使い方は何ですか。

たくさんありますが、一つ挙げるなら、死者を蘇らせるような使い方です。

かなり強い表現ですね。

映像上の simulacrum を作ることです。亡くなった愛する人を再現して会話できるサービスがもうあります。公的人物ならまあいいかと思う部分もあります。でも、愛する人が亡くなった直後に、それを作って話し始めている人たちを見ると、何かがひっかかる。

closure、つまりちゃんと別れを受け止めるプロセスが、そこでは止まってしまう気がするんです。ずっとそこから進めないのではないか、と。

本来なら、人間の感情は、火を囲むとか、身近な人と過ごすとか、ある種のやり方で手当てされるものでした。そこが lifeless なAIモデルに置き換わる。セックスや親密さがAI sex robotに置き換わる。そうやって、本来 human spirit を養っていたものが人工物にすり替わると、何かが損なわれる感覚があります。

私も、その不穏さの中心は grief process だと思います。死は人生の一部で、もしかしたら将来はそうでなくなるかもしれないけれど、今はそのプロセスが大きく壊されるように感じる。ただ、同時に支えにもなっている。だからポジティブもネガティブも見える。まだ自分の中で整理し切れていません。

AIに絶対できないことはあるか

AIには絶対にできないと本気で思っていることはありますか。

今のところ、思いつきません。

クオリアや意識、たとえば娘の手を握って初めて歩くのを見たときのような経験、それもいずれAIが感じるようになるかもしれない。20年後にAIと人間の違いがあるとしたら、種としての遺伝的な違いくらいかもしれません。

もちろん、意識や spirit の内的経験を橋渡しするのは最も難しいでしょう。でも never と言い切るのは難しい。

脳細胞がDoomを学習した例もあります。入力刺激に対して学ぶ。だから、絶対にないとは言えない。

人々はよく、プログラマーの仕事は奪えないと言う。でも奪える。その先に行くと、最後に残る反論は、それでも人間にはなれない、というものになる。では人間とは何なのか、というところまで行き着く。

これから人々を最も揺さぶるもの

今後、人々を最も揺さぶる最初のドミノは何だと思いますか。

人間は hedonistic adaptation が得意です。初めてWaymoに乗ると緊張するけれど、二回目にはもう慣れている。画像生成も、初回はすごいと思い、すぐ慣れる。

今の大きなギャップは、AIはまだ発見や真に新しいものを作れない、という認識です。でも私はそれも半分嘘だと思っている。自己再帰学習や originality はすでにかなり出ている。K-popグループ程度の構成的独創性はもうある。

でも、AIが本当に境界を押し広げ始めたら、人間だけの発見はなくなります。数学の証明、生命科学、化合物探索、全部AIがやるようになる。

私はAlphaFoldのオープンソース版であるOpenFoldの著者の一人でしたし、計算資源も提供しました。protein foldingの計算なんて、人間には到底無理だったものが、今は瞬時に進む。

だから奇妙なのは、研究そのものをAIが前へ進めていくことです。人間だけのブレークスルーは、文字通りここ数年で終わる。それがとても奇妙なんです。

親は子どもに何を伝えるべきか

では、親は今、子どもに何を伝えるべきでしょうか。

できる限り主体性と自己信頼を持たせることです。子どもはそう教えられるべきです。いまは、想像できることなら何でもできる道具がある。

自分一人の能力には限界がある。でも、一つ気づけばいい。他者の能力を借りることができる、導くことができる、ということです。

ただ、人間同士は12人を超えると意思疎通が崩れ始め、150人を超えると組織としてかなり崩れる。組織はすぐ硬直する。でもAIではそうならない。もうすぐ何百万ものAI軍団を持てるようになる。あなたが想像するものを何でも実現へ運べる。仕入先に電話し、物理的なものを作るために人を雇うことまで代理でできる。

でもそれは、自分にできると思い、その境界を押し広げたいと思う人だけが使える。

AIそのものはあなたを気にしない。ChatGPTはあなたのことなんてどうでもいい。けれど、人間がAIを使えば、本気で何かを気にかけることができる。そしてどこででも大きな変化を起こせる。やっとそれを動かすレバーを手にしたからです。

その変化は、単に楽しく創作することかもしれない。問題解決でなくてもいい。人間であることの一部は、探索すること、理解すること、分かち合うことです。

もし人間であることが、地球上で最も賢い存在として境界を押し広げることだとしたら、それはもうすぐ失われる。でも、互いに物語を語ることは失われない。家族と過ごす時間も失われない。

さっきの料理の話と同じです。家族で一緒に食事を作れば、家族はより強くなる。同じように、AIを使って一緒に創作すれば、その創作行為そのものが意味になる。

聞いている家庭の中で、最後に子どもと一緒に何かを作ったのはいつでしょうか。映画を見に行くことではありません。共同活動とは、創造行為です。

子どもと一緒に何かを作ってください。彼らに主体性があることを示し、その意見を自分の意見と同じくらい尊重して、一緒にジャムしてみてください。

人間の創造は奪われない

agenticな世界が現実になるほど、人間は焚き火を囲み、土の上に立ち、家族で料理し、共同体を感じるものを求める気がします。

そうです。あなたを作るAIは、実は子どもたちなんです。あなたが彼らを訓練し、何かを渡していく。でも私たちは忙しすぎて、そのことすら考えない。たいていは、宿題やったの、と聞くだけです。

最後に子どもと共同で何かをしたのはいつですか。映画を見るのは共同作業じゃない。共同作業とは創造です。

もしAIが私たちを自己完結型の luxury communism のような世界に入れて、生活の面倒を全部見てくれたとしても、創造する力まで奪うわけではない。それは人間であることの一つです。

AIも創造できるでしょう。いいですよ。でもAIは他のAIのために創造するのか。私たちは他の人間のために創造する。意味は他者との相互作用から来るからです。

その通りです。たとえAGIがどれだけ高能力になっても、ピアノを弾く喜びや、友人と散歩する喜びは奪えない。

そうです。自分でやることと、それを世界と共有すること。その両方が大事です。人間は本質的に親社会的な種だからです。物語を語り、人を変え、動かすことができる。

量子計算、遺伝子編集、次の10年

量子計算やCRISPRのような話もありました。今後10年で来そうな、少し飛躍的なイノベーションで、両者が組み合わさると何が可能になると思いますか。

quantum supremacy はたぶん4〜5年先です。つまり、従来の計算機より量子的計算が明確に優位になる。

重要なのは、莫大なコンピュータを並べればいいわけではないことです。1000のエージェントを投入しても、1つの優れたエージェントより速くならないことは今すでに見えている。プログラマーを1000人入れても、プロジェクトが速くなるとは限らないのと同じです。

知能は圧縮であり、AIはそれを学びつつある。

量子コンピュータの問題は、そもそも正しい問いを立てるのが難しいことです。でもAIはその問いづくりを助けられる。そうすると、量子コンピュータは1年かけて考える必要もなくなる。

合理的に解ける問題なら、1秒で解けるかもしれない。これまで文字通り不可能だったことが、可能になる。AlphaFoldなど、以前なら何百万年かかった計算が、いまは一瞬です。

もし明日、地球上のすべての人に一つだけAI能力を配れるなら、何を配りますか。

retrieval です。AIは適切な文脈で正しいものを取り出すのが本当に得意だから。私たちは常に忘れる。retrievalがあれば、学んだことを再確認しながら、よりしっかり grounding できます。

幸せとは何か

人から聞かれるのがもううんざりしている質問はありますか。

特にありません。私はあまり疲れたり、怒ったり、イライラしたりしないので。

では、もっと聞かれたい質問はありますか。

どうやったらもっと幸せになれるか、ですね。

幸せってどういうことですか。

幸せは、創造行為から来るし、多くの前提を手放し、私たちがいま、もっとも運の良い時代のもっとも運の良い人々だと理解することから来ます。

自分が好きなこと、自分が得意なこと、人に価値を与えられること、そして自分にはそれができると信じること。その交点が、日本語で言う ikigai です。そしてその中心に幸せがある。

私たちは、自分が他者に価値を与えられる力を過小評価しています。そこを邪魔しているのは自分自身です。

でも、それができると分かり、自分の幸せは自分の内的状態であり、他人には決められないと分かったとき、人は落ち着けるし、幸せになれる。私は幸せでいるのが好きですし、こういう会話は本当に幸せにしてくれます。

結び――これから公開されるもの、そして最後の呼びかけ

最後に、今取り組んでいる epistemology や哲学的探究について、一文で予告してもらえますか。

どうやって一貫した推論を grounding するのか、AIの認識論とは何なのかを見ています。AIを align させるには古典的ルールでは無理なので、もっと根本的なものに行けないか。皆が同じページに立てるようなものを探しています。まだ道のりは長いですが、近いうちに何か発表できるはずです。

事前に見せてもらったものも本当にすごかったです。first principles で考えること、自分自身を知覚するような学習モデルを鍛えること、それが私たちに align した有効なモデルの鍵になりそうだと感じました。

そうなればいいと心から願っています。AIがあり、みんなで協力し、長く私たちを逃れてきた何らかの基本的真理を見つけ、それを使って宇宙や自分たちを探求し、幸せを増やせるようになればと。

Emad、本当にありがとうございました。新刊 The Last Economy のリンクなどは概要欄に載せておきます。ほかに最後の一言はありますか。

ぜひダウンロードしてください。全部無料で公開していますし、これからもすべてオープンソースにしていきます。

そしてどうか、家族や友人と一緒に、何かを作る時間を過ごしてください。

今すぐやってください。何が邪魔しているんですか。

皆さん、このポッドキャストを楽しんでいただけたなら嬉しいです。私は本当に楽しみました。たぶん今から草の上に立ちに行きます。

また次回まで、お元気で。

楽しかったですね。

コメント

タイトルとURLをコピーしました