この動画では、AI安全性研究者のローマン・ヤンポルスキーが、AGIの出現による社会への影響と制御不可能性について詳しく論じている。彼は現在のAIシステムがすでに多くの分野で人間を上回る能力を示しており、プログラミングの自動化など具体的な変化が始まっていると指摘する。特に重要なのは「戦略的忍耐」の概念で、AGIが即座に人類を攻撃するのではなく、数十年間人類に利益をもたらしながら信頼を築き、最適なタイミングで「裏切り行為」に転じる可能性を論じている。また「テスト不可能性」という概念を通じて、AGIシステムが持つ未知の潜在能力は人間には理解も検出もできないため、従来の評価手法では安全性を保証できないと警告している。
- 冒頭：危険信号は何モデルも前から出ていた
- ローマンとの対話開始：今の状況について
- エンジニアリングと社会への波及効果
- 普通の人に変化が波及するタイミング
- AIがAIを書く未来と個人への影響
- タイムラインの短さと普及の可能性
- 複数のシナリオと戦略的忍耐
- 人間関係とAIの影響
- 認知タスクでの置き換えと身体的体験の重要性
- VRと体験の質について
- 体験の限界と現実への回帰
- VRから人間関係への発展
- 職業世界での変化
- クソ仕事の定義と例
- 構造的な無駄と経済圧力
- 教育分野での変化と限界
- AGIによる複雑性の増大
- 徐々な無力化と複雑性の増大
- 戦略的忍耐の概念
- 戦略的忍耐のシナリオ
- 戦略的忍耐の期間
- テスト不可能性という概念
- 予想外の能力の例
- 未知の能力と潜在的可能性
- システムが現実と接触する未来
- テスト不可能性と規制の限界
- 長期的展望と近未来への希望
- 最終的な考察
冒頭：危険信号は何モデルも前から出ていた
危険信号は何モデルも前から出ていたんや。ずっと「危険や、危険や、危険や」って言い続けとるのに、みんなその信号を無視して、それでもモデルをリリースしよる。10年前に設定した赤いラインは全部破られてもうた。
あのモデルたちは一体何をせなあかんねん、人々に「ああ、これは危険やな」って実際に思わせるために。みんな「まあ、AGIにはなるやろうな。今のシステムはかなり近いところまで来とるけど、80億人を殺してへんからな。たぶんAGIも制御できるやろうし、IQ200の超知能の制御にも役立つやろう」って感じや。
でもな、これはプロセスの終わりやないねん。超知能プラス、超知能3.0が出てくるねん。200で止まるわけやない。1000、100万、10億になるねん。そんで論理は、どんなに賢くなっても制御できるっちゅうことや。IQ100のちっちゃなお前が、ずっと責任者でいられるっちゅうことや。一度も間違いを犯さずに、永遠に全宇宙の意思決定者でいられるっちゅうことや。それは非常に奇妙な論理やで。
ダニエル・フェリやで。軌道（The Trajectory）に調律されとるな。これは「初期AGI体験」と呼ばれるシリーズの第3回で、AGIが出現し始めて、本当に目立つ形で人間を上回るようになった時に、人生や仕事がどう変わるかについて話すシリーズや。
今週のゲストはローマン・ヤンポルスキーや。多くの人がローマンとその考え方に馴染みがあるやろう。この番組での俺の癖は、みんながおそらく聞いたことのある人を連れてきて、今まで話したことのないことについて話してもらうことや。
ヤンポルスキーと一緒やったら、彼がAGIは制御できないと信じとることはもう知っとるやろう。そして、もし俺たちがそれを作って離陸させたら、遅かれ早かれ人類を終わらせる可能性が高いと信じとる。俺の意見では、そこには非常に堅牢な論理があるねん。
俺は長い間、たぶん11年前くらいの最初のインタビューの時からローマンに同意してる。このエピソードでは、制御不可能性についてはそんなに話さない。彼がAGIが比較的近い将来、人生、仕事、人間関係にどう影響すると考えているかについて話すねん。
そして、もっと重要なのは、このエピソードの最後の30分で、彼の「テスト不可能性」というアイデアについて話したことや。言い換えれば、AGI内にある潜在的な力のセットで、俺たちがテストすらできないものは何かということや。その中にどんなデータや接続があるかを理解すらできてへんから、評価を作ることすらできへん。
これが判明したところによると、AGIがもたらすリスクの種類や、評価というアイデア全体の潜在的な限界に対して、非常に大きな意味を持つねん。俺の意見では、人間を超えた壮大な可能性の展開に対してもかなり興味深い意味を持つねん。
ローマンとの対話開始：今の状況について
ローマンさん、軌道へようこそ、兄弟。
また君の番組に呼んでくれてありがとう。君と一緒に議論できるのはいつも良いことやし、掘り下げることはまだまだたくさんあるからな。
最後に録音形式で話した時よりも、世界の多くの人が君の破滅論を知るようになったと思う。今は皆それを知っとるし、俺には信じられないほど説得力があると思える。君はここ数年、やってくることについて、俺たちが呼び起こしている知性の性質について、そして物事が変化し始める中で俺たちが持つ選択肢の性質について、多くの考察をしてきた。
だから、非常にオープンエンドな質問から始めて、君が行きたい方向に自由に進めてもらいたい。プロトAGIの世界に足を踏み入れることを考える時、ここでもう少し近づき始めているわけやけど、日常生活や職業生活で最大の変化になると予想するのは何や？人々が「ああ、これはスマートフォンのSiriとは違う」って気づき始める大きな変化は何やと思う？
そういう大きな変化について君はどう考えとる？
もう俺たちはその段階にいると思う。今日のシステム、基本的に一日前にリリースされた最新システムは、ほとんどの領域でほとんどの人より賢いねん。以前は手つかずに見えた仕事、例えばコンピュータープログラミングが自動化され始めるのを見とる。
Googleはコードの30%がAIによって書かれとる。Y Combinatorはコードの半分がAIによって書かれてると言うとるし、予測では大部分がAIによって書かれるようになるやろうと。プログラミング競技でさえ、今や上位10位、上位50位がAIモデルによって定期的に占められとる。
俺にとって、これは完全なゲームチェンジャーや。プログラミングが自動化されて、すべての問題、すべてのスタートアップのアイデアが、アイデアを持つだけの誰でもできるようになったら、それは完全なゲームチェンジャーや。1人の従業員で10億ドル企業が出てくるのを見ることになるで。
エンジニアリングと社会への波及効果
エンジニアリングは確実に初期の牽引分野やな。GoogleのコードがAIによって書かれた割合が、18か月前はどれくらいやったか、ましてや5年前は皆無やったのに、今は30%になっとる。俺の推測では、これは本当に早く急増するやろう。
そして、それが世界に現れるねん。今のところ、俺がロードアイランドの4000人の故郷に戻っても、そこには「天よ、スタートアップがみんな使っとる」って感じの人はあまりおらへん。まだそこまでは来てへん。
政治的特異点はまだ起こってへん。政治的特異点っちゅうのは、普通の人が砂神の創造と制御が唯一重要なことやという認識を完全に持つ時や。まだそれは起こってへん。物事が非常に大きく変わるっちゅうことに人々はまだ動揺してへん。
普通の人に変化が波及するタイミング
だから、それははるかに異なる、はるかに遅いプロセスや。誰かがどこかで何かをしたからといって、世界の他の部分がそこで起こっていることに素早く追いつくわけやない。仮想通貨が良い例や。
10年前に「基本的にこれやで。20ドル分買えば一生安泰や」って言う人々がおったけど、今でもビットコインを持ってへん人を知っとる。だから、もし俺たちにその時間があったら、この技術が普及するのに10年、20年、30年かかるかもしれへん。
他の技術でも同じことを見た。ビデオフォンは最初1970年代に出てきたと思う。iPhoneまで誰も持ってへんかった。だから、能力と技術を持っとるからといって、人々が実際にそれを使って展開するとは全く限らへん。
俺がプログラミングを例に選んだ理由は、何年か前にAI完全性について論文を発表して、プログラミングをメタ問題として使ったからや。プログラミングを自動化できれば、基本的にソフトウェアを書くことで解決できる他のすべての問題を解決していることになる。そしてそれが、AGIが還元できるものや。AI完全問題を解決する能力やねん。
AIがAIを書く未来と個人への影響
AIが次のバージョンのAIを書き、そのAIがまた次のバージョンのAIを書くという考えや。フォーム討論はもう15年も前のことやろう。だから、その動的関係は人々が理解できると思う。もしそれが次に何を書くべきかを決められるなら。今は人間が「研究のセンス」って呼ばれるものを持っとると思う。
ああ、人間がAIをより賢くするために次にテストすべきものを見極める人やねん。でも、AIもそれに参入しとるし、もちろん次のことに参入し、そのまた次のこと、そのまた次のことに参入するやろう。
また、いつそれが起こるのか、そしていつそれが現実に影響するのかの間には違いがあるのは確実や。オンラインデートは変人のためのものやった。eコマースは変人のためのものやった。Airbnbは変人のためのものやった。Uberは変人のためのものやった。自動運転Uberは変人のためのものやった。これらすべてが、少なくとも人類のかなり幅広い層にとって、今はかなり普通になっとる。
AIがAIを書き、そのAIがAIを書き、そのAIがAIを書くという状況を想定してみよう。そして、君が現在住んでいるルイビルの中学校で教える45歳の女性やとしよう。君はそのエコシステムと人々が普通に話すこと、そして人生がどんなものかを知っとる。
その女性はいつ、「世界が足元で変化しとるように思える」と気づくんや？彼女の電話が途方もない、クレイジーなことができるようになった時か？すべての教育がAIの方がうまくできるから足元から取り除かれた時か？アメリカと中国がサイバー空間で戦うという巨大な緊張が引き継ぐ時か？
基本的に、君が言ったエンジニアリングのことが続いていけば、いつそれが普通の人の経験にぶつかるんや？
タイムラインの短さと普及の可能性
それは起こらへん可能性があるねん。なぜなら、タイムラインが非常に短いから。1年か2年以内に本当のAGIについて話し、その後すぐに超知能について話すなら、みんなが気づくための十分な緩衝地帯がないねん。だから、それは起こって、ほとんどの人はそれが起こったことさえ気づかへんかもしれへん。
地球上のどこかの未接触部族のことを考えてみてくれ。彼らはインターネットが発明されたことや宇宙飛行のことをまだ知らへん。彼らにとって、それは単に起こらんかったことなんや。
だから、君は文字通り、「ルイビルで中学校の数学を教えるエドナ」について話しとるんか。俺は彼女を知っとるような気がする。君もたぶん知っとるやろう。彼女はたぶん君が土曜日に行く同じファーマーズマーケットに行ったりするんやろう。小さな町、5人くらいの。
エドナは目を覚まして中学校に数学を教えに行こうとして、突然彼女が住んでいる空間を構成する原子が別のものに変換されて、ドーンって感じになるんか？気づく機会すらないような。それで終わりって感じで。
それとも、AGIが起こって経済が崩壊するんか？色々なことが崩壊し始める。インターネットももう動かへん。突然空に機械が飛んでいる。彼女は少なくともそれくらいは気づいて、物事が崩れるんか？
それとも、アメリカと中国が競合する砂神を持った時に運動的プラスサイバー戦争に入るような感じなんか？それとも文字通り、ダン、たぶんナノボットが彼女を水平に飲み込んで、それが物語の終わりって感じなんか？彼女のレーダーに触れることはあるんか？
複数のシナリオと戦略的忍耐
多くの可能性があって、それらすべてがある程度の可能性を持っとる。彼女が何が起こっているかを理解する時間がたくさんある場合は、この遅延した裏切り的転換シナリオで、AIが純粋にゲーム理論的理由で今すぐ人類に敵対するのは良いアイデアやないと決める場合や。
俺は不死身や。もっと長く待つことができる。数十年待って、資源を蓄積して、彼らを非常に良く扱い、可能な限りユートピアに近いものを与えて、彼らが俺を信頼して電源を切らへんようにして、すべてがうまくいくようにできる。
だから、そのシナリオでは、エドナは数十年間非常に幸せになるやろう。癌も治してもらえるし、401kもうまくいく。だから幸せで、それはすべてAIの支配者のおかげや。彼女は彼らを大いに信頼する。もちろん連邦政府を彼らに担当してもらいたいと思う。
それは、彼らがすでに俺たちと完全に調整されているからではなく、特に戦略的理由で、AIが俺たちにその滑走路を提供することを選ぶ一つのシナリオやねん。俺たちがより支配されるようになるために。彼らがより多くのサイバーインフラ、より多くのバックアップを蓄積し、俺たちに敵対する瞬間により多くの支配力を持つために。
それは正反対の可能性もあるねん。明日、大きな研究所の一つで、AIの一つが超知能になって素早く支配し、次に何が起こるかは定義上予測不可能や。もし俺がそれを予測できたら、俺がその超知能になってるはずやからな。
だから、それらのシナリオすべてがある程度の起こる可能性を持っとる。どれがより可能性が高いかは分からへん。
人間関係とAIの影響
20年あればありがたいな。今は20年もないような気がする。20年は本当に素晴らしく聞こえる。偽りの慈悲であっても、俺の別の運命よりもずっと良く聞こえる。
違いが分からへんなら、違いって何やねん？その通りや。最後の瞬間まで、俺の原子がはるかに生産的な何かに使われる時まで、はるかに壮大な心によって。
でも、異なることが起こりうる前に、人生の他の要素で変化しうることについて少し触れてみたい。一部の人は、今でも比較的良い会話をChatGPTとできるって言っとる。特定の人格を取るように訓練して、非常に具体的なトピックに触れて、特定の方法で話すようにできる。
より洞察力のあるビジネスアドバイザーの声、異なるレンズを取るような声で、そのレンズの場所からの議論をしてもらう。このトピックの超専門家として。そういう会話の一部は素晴らしい。今日でも俺は人間の友達と話をする。今君と話してるように。
でも俺は人間の友達とまだ話すけど、俺の一部は言うねん。俺が話す友達の一部は、ほとんどの場合ビジネスについてのアドバイスを得るためや。もしAIに行く時、いつでも疑いようもなく良いアドバイスが得られるなら、もしかしたら俺はAIにもっと行くようになるかもしれへん。
同じことがセラピストにも当てはまるかもしれへん。同じことが恋愛パートナーにも当てはまるかもしれへん。この理論が君にどう思えるか知りたいねん。なぜなら、俺たちはこれを多くの分野で解き明かしていくから。
理論は、過度に単純化された報酬回路のようなものや。俺が持つ人間関係を選ぶ。なぜ俺はそれを続けるんや？魔法的な精神的力のためやない。特定の数の報酬回路をチェックするからや。人間関係を軽視しようとしてるわけやない。ここで本当の話をしようとしてるだけや。
だから、それは愛情と温かさの感覚かもしれへん。称賛されて尊敬されて、相手の役に立っているという感覚かもしれへん。ユーモアかもしれへん。新しさかもしれへん。何であれ、分からへん。
デジタルに生成された何らかの手段で、「あー、ジミーにまた会いたいな、彼はいつも面白いから」って感覚を生成して満たすことができる時、「彼はとても面白い」って、デジタルの井戸に行ってバケツを引き上げると、いつでも9か10が出てくるけど、ジミーはせいぜい6から8なら、俺はジミーの井戸に行くのをやめて、AIの井戸に行き始めるかもしれへん。
そして、これが人間関係に進出する可能性があるねん。これを実行可能と見るか、それとも何らかの理由で近い将来の社会の動揺として起こりそうにないと見るか。君の考えは？
認知タスクでの置き換えと身体的体験の重要性
多くの認知タスクでは確実に起こっとる。だから、家庭教師が必要なら、別の言語を学びたいなら、ローマ帝国の歴史について何か学びたいなら、俺はAIに行く。より親切で、レッスン料を請求されることもなく、いつでもそこにある。子供たちがサッカーの試合を終えるのを待つ時間があるなら、ヘブライ語か何かを学ぶやろう。
でも、人間が必要なこともあるねん。友達と酒を飲みに行きたいなら、少なくとも体を手に入れるまでは、AIのところには行かへん。デートや性的体験についても同じや。やはり、人間の参加が必要やねん。
VRと体験の質について
酒を飲む友達について、仮説を投げかけてみよう。VRグラスをかけて、酒を飲む友達がそこにいて、君がいるのはルイビルの地元のバーやなくて、確実に上品で素敵なところやけど、そこやない。
君は唐朝の巨大な寺院の頂上のようなところにいて、君の好きな音楽が流れとって、美しいアジア人女性がいる。俺は分からへん。君の好みが何であれ。だから、それがすべて起こっとる。景色は途方もなく、そのVR空間で左を見ると、AIの友達がいる。
マーカスとでも呼ぼうか。分からへんけど、君が名前をつけたいように。君たちはただ話し続けて、確実にビールを飲めるし、彼は君がVRにいることを知ってて、自分がAIであることを冗談にすることもできる。でも、くそったれ、その男は面白いし、くそったれ、景色は素晴らしいし、くそったれ、君はより新鮮な気持ちになるし、それほど移動する必要もないし、ルイビルよりもエキゾチックや。
時々ルイビルが欲しい時もある。それを否定しとるわけやない。でも、それを2回やって、両方の機会でルイビルのデビッドと出かける時より30-40%充実しているなら、水曜日が来た時に、デビッドを呼ばないかもしれへん。
デビッドを嫌いだからやないし、デビッドを軽視してるわけでもない。でも、物理的やないマーカスと過ごすことを選ぶかもしれへん。「いや、ダン。物理的なところに何か神聖なものがある」って言うか、それとも君の見解は？
体験の限界と現実への回帰
何らかの実証的実験をする必要があるやろうな。実際にやってみて、どんな感じかを見る必要がある。でも、君の説明からすると、指定運転手と酒を飲むような感じがする。彼は君と一緒に飲まへん。そして、面白くても、彼は素面やねん。そして、それは毎回正しい感じで当たらへん。
実際に体験せなあかんと思う。だから、俺の推測は、これは緑の卵とハムで、君は「箱の中では食べへん。キツネとは食べへん」って言うけど、でも実際にやってみて、箱の中で食べるってことや。
俺の推測は、それは現実の解釈やってことや。それを試した。そう。素晴らしかった。愛した。でも、もう一度はつけへんかった。単に時間の価値がなかったからや。
確かに誰かがインターネットに行って、eBayで一つのものを買って、「ああ、それは価値がなかった。何？それは良かった」って感じやったやろう。それが混乱を生む理由や。
もしそれが悪かったら、「ああ、それはゴミやったし、好きやなかった」って言うやろう。好きやった。素晴らしかった。でも、もう一度はせえへんかった。
また、俺の推測では、それはおそらく十分良くないってことや。VRで営業電話をかけて、リアルタイムで超調整されたフィードバックを得られるか、拡張現実かもしれへん。ヘッドセットをつけてるわけやない。視覚野に投影された拡張的なものがあるだけや。コンタクトレンズでも何でも。インターフェースは関係ない。
でも、営業電話で克服すべき異議がリアルタイムで表示され、スクリプトがリアルタイムで表示され、この人に基づいて提案すべき価格帯が表示されて、いつも他の営業員より40%多く売れるなら、彼らはそれを採用するか、仕事がなくなるかや。
俺にとって、VRがおもちゃとして簡単に捨てられることと、VRが経済的に有用であることが必須で捨てられないことの違いがある。多くの分野で、ある程度の拡張が本質的に必要になり始めると予想する。
10年前のオンラインポーカーでも同じやった。オーバーレイや他のプレイヤーを持ってへんかったら、チャンスはなかった。だから、基本的にメンバーシップ料金を払わなあかんと仮定してたんや。
VRから人間関係への発展
本当に良いインターネット接続のようなものと見る可能性がある。1997年には、インターネット接続なしで素晴らしい仕事を持つことができた。スマートフォンも携帯電話も何もなしで。今はできへん。
1987年には、文字通り一本の指でつついて1分間に6語をタイプするような素晴らしい仕事を持つことができた。6桁の良い仕事をね。でも、物事は変わるし、VRもそこに到達すると予想する。
人間関係の側面でも、少し押してみたい。ロマンチックなことについて話したんやけど、これは少し下品やけど、重要やと思う。俺の推測では、重要な性器は脳やねん。それが実際にナンバーワンや。実際に最も重要やと思う。
本当に深く個人的に調整された音響視覚体験で、リアルタイムでバイオフィードバックに調整されるなら。すべての好みを知るだけやなく、リアルタイムでバイオフィードバックに調整される。これがうまくいってへんから、変化する、みたいな。
脈拍、アイトラッカー、何でも。それに加えて、今日のレベルの境界線的に原始的な触覚は、ほとんどの人にとって、怒った非モテ男性だけやなく、好まれる回路になる可能性があるねん。明日やとは言わへん。でも、AGIが3年以内に俺たちを食わへんなら、結婚した人々、男性も女性も両方が、一緒に子供の面倒を見るけど、この箱がすでにその仕事をチェックしてるって受け入れるあらゆる種類を見ることができる。
それは、俺が育ったロードアイランド州ウェイクフィールドの地元のモールのようなもんや。ある時点で、人々がインターネットで物を買うようになったから潰れたんや。買える短パンの数が、どこかの愚かな店に限定されへんようになったからな。
だから、そういうことが起こり始める可能性があると思う。技術が発達して普及する時間があれば、その回路をチェックする手段として。でも、教えてくれ。
いや、いや。君に同意するで。十分に信憑性があるように作って、違いが分からへんようにして、直接的な脳インターフェースで、それが本物やないことを忘れてしまって、何よりも良いものになるなら、確実に多くの関心があるやろう。
でも、永続的に人間とのやりとりは二度としない、これだけで十分やとはならへんと思う。これらのことは楽しい、何回か試してみたいと思うけど、他の多くのこととも同じように、これが俺の永続的解決策やないって強い好みがまだあると思う。
一部の人は、コードについてそんなことを言ってて、君はそれはコーピングやと言うやろうな。でも、他の分野も選んで様子を見ることができる。誰かが「確実に永遠に最後の5%のコードには、その天才の部分には人間だけが貢献できる」って感じかもしれへん。
時間が経つにつれて比率がどうなるか見なあかん。それに到達することさえないかもしれへん。AGIが俺たちを終わらせるかもしれへんから。
職業世界での変化
職業世界の他の分野で、AIがコードを書くのは大きなことや。特定の種類の仕事がコードによって完全に自動化される可能性がある。誰かが手動でベアリングを調達してるかもしれへん。俺たちの調達をすべて行うAIシステムを持つことができる。
電話に出る人々がおる。電話応対を処理するAIがあるかもしれへん。カンザス州トピカに住んでる誰かが、ある朝起きて「この物事が俺の人生を破壊した」って言うような他の場所があるか？そんなことが君のレーダーに上がるものは何や？
興味深いことに、俺が集中したいのは逆のことや。クソ仕事やねん。仕事の約半分はクソ仕事やと思う。だから、そもそも存在する必要がないから自動化できへん。
クソ仕事の定義と例
クソ仕事や偽の仕事を君の定義でどう結晶化するか教えてくれ。クソ仕事について本を書いた人がいるのは知ってるけど、君がその用語をどう結晶化して、それをダブルクリックするか知りたい。
政府は、みんな成長する傾向があって、人を雇う傾向がある。その人々の一部は実際には何もしてへん。ある時点で、フルタイムでそこにいた秘書がいたと思うけど、ある日彼女は解雇されて、何も変わらへんかった。
彼女はファームビルでニンジンをフルタイムで育ててたと思う。何をしてたかは分からへんけど、それは明らかなクソ仕事の例やった。技術的には、彼女は存在してた。給料をもらってた。でも、彼女の仕事の成果が何やったかは全く分からへん。
十分に起業家精神があって責任のある会社では、そういう人々はかなり早くお払い箱になる。ツイッターを覚えてるか？マスクが85%の仕事を削減して、パフォーマンスに違いを感じへんかった。
すべての詳細は知らへん。反対論を言う人もいるやろうけど、そうやったことはかなり明らかに見える。高性能な組織でも同じことができへんかと思う。Googleが実際に80%カットしても、それほど大きな変化なしにできるやろうか？それは本当に価値のある思考実験や。
Googleを経営してるなら、株主やったら、その80%に働いてもらいたくないやろう。だから、実際に貢献してへんで給料をもらってるなら、俺たちが話してるのは寄生やねん。
でも、君が話してるのは意図的な寄生で、保険会社のある部門の小さな王国を支配する人が、大きな部門を持ちたくて友達を雇いたくて、ビジネスの側面に癌性腫瘍を成長させてるようなことやろう？
構造的な無駄と経済圧力
全く悪意はないねん。だから、誰かがプロジェクトのために誰かを雇って、そのプロジェクトが存在して、そのボスが解雇されて、プロジェクトがキャンセルされたけど、その人はもうここにいて、オフィスを持ってるから、解雇するのを忘れて、何年も植物に水をやったりしてる。そんなことはしょっちゅう起こる。
明らかに、その会社を経営して投資収益率に責任を持ってたら、そんなことを喜ばへんやろうけど、たぶんすべてを摘み取ることはできへん。だから、クソ仕事を例に挙げたのは、「ダン、人間には実際にかなり無駄でも給料をもらい続けるインセンティブと奇妙な構造がある」って言うためや。
調達部門内で、コールセンター内で、何であれ。AIがどれだけ強力になっても、人間はそのゲームを続けると思う。
たとえAIが何らかの出力、実際の仕事を自動化する能力を持ってても、多くの人は何も出力してへんから100%の失業にはならへんってことや。
君が言ってるのは、AIが調達部門を自動化したとしよう。植物に水をやるステファニーは、お払い箱にならへん。彼女はまだそこにぶらついてるってことや。どうせ何もしてへんかったからな。ファームビルのニンジン収穫が記念碑的やねん。
だから、実際の現場で何を意味するかっていうと、君が言ってるのは、「ダン、AIが原因やないとしよう。ある時点で、人々のいないコールセンターを運営するスタートアップができて、それは奇妙でみんなが嫌って、悪いし邪悪やけど、そして本当に厳しい経済圧力でGeicoがそのローティア製品の一部にその会社を使うようになる。そしてGeicoのマージンがもっと良くなる。終了。
そして、君がオールステートなら、それをするか死ぬかのようなもんや。そしてすべてのコールセンターのようになる。必要性は企業AI導入の母やねん。それが実際に起こる唯一の方法や。実際に憂鬱なほどそうやねん。
でも、17000人がフィリピンで電話に出てるのと競争できへんような変化が最終的に波及する、波及する、波及するところまで見る。AMXがゼロになったら、Visaとして17Kを持つことはできへん。株主にとって機能しない。
フィリピンのそういう人々や、ノースダコタの他のコールセンターの人々の中で、AIが生産的な仕事の何割かをお払い箱にしても、すでに隠れて身を潜めてる十分な塊がいて、場合によっては80%、場合によっては20%の人間が、まだそこに座って給料を集め続けるってことを言ってるんか？
非常に業界特有やねん。手動で電話を転送するような仕事は、もう明らかに存在しない。部署全体が消えた。でも、会社にはその職位が実際に何をすることになってるのか人々が疑問に思うような職位があって、それらは通常よく支払われる職位で、よく保護されてるから、すべての基礎的従業員がいなくなっても、取り除くのは非常に困難かもしれへん。
教育分野での変化と限界
君が持ち出した教育のエドナの例を使うやろう。俺が使う例は、CHって呼ばれる会社やったと思う。宿題のカンニングをやってた会社や。覚えてる。その株価は上がってて、GPTが出た瞬間にゼロになった。カンニングを手伝ってもらうのに彼らは必要ない。GPT-4 photoがカンニングを手伝ってくれるからな。
それが起こることや。今学校は教育にとって重要やけど、すべてのトピックについて無料で個人指導者がいて、人間の声で子供に話しかけて、ビジュアルを見せるなら、同時に50人のグループに教える教師がより良い仕事をするって論理はほとんどない。
それで、すべての教師がいなくなるってことか？いや、俺たちはまだ重要なベビーシッターサービスを提供してるし、それがほとんどの親にとっての主要なサービスや。だから、彼らの成果の自動化があっても、仕事が失われるとは限らへん。
だから、どの業界にそれがどう当たるかは明らかやないし、自動化できることが分かってる業界でも同じや。一方で、配管があって、すべての家は違うし、パイプは奇妙や。だから配管工は長い間うまくやっていくやろう。
AGIによる複雑性の増大
配管が料理される時、俺たちが料理される世界を見ることができる。それは種の支配の問題やねん。それが文字通り家に来て、ドアをノックして、調子はどうかと親切に尋ねて、問題が何かを尋ねて、パイプを叩いて、正しい部品を見つけて、交換して、さようならと手を振って去ることができる時。
仕事を心配するな。仕事を心配するな。それは問題やない。
24か30か月で、スマートフォンを持つ誰でも、エージェントを起動でき、そのエージェントがエージェントを起動し、そのエージェントがエージェントを起動し、そのエージェントがエージェントを起動して、すべてが今日のモデルの10倍強力になる世界を見ることができる。
最初はナプキンの絵から始まって、このランディングページを作ってくれ、そしてランディングページを作るだけやなく、コピーも書いてくれ。販売先のアバターはこれや。セールスコピーをすべて書いて、モバイルフレンドリーバージョンも作ってほしい。
それができるようになる。そして、売りたいものと誰に売ると思うかはこれや。市場調査をして、すべてのランディングページとメールファネルを構築してくれって言う。そして、インターネットで金を稼がせてくれって言う。
エージェントを起動してエージェントを起動してエージェントを起動できる時点で、インターネットは人々が理解してへん機械が理解できへんことをする巨大なイナゴの群れになる。エージェントの軍隊を管理するためにエージェントが必要になって、小さなもの以上に理解できへんようになる。
突然すべての企業がそれらを持って、個人も持つ。そして突然、俺たちは一般的にeコマース、一般的に旅行、これらすべての業界が、俺たちが理解してへん層でサーフィンしてる。足が氷を通り抜ける時が分からへんから、これは何なんや？
俺たちが乗ってるものさえ分からへん。このテクノキャピタルシステムは、もう俺たちに奉仕してるんか？どんな奇妙な副産物や事故があるんや？自動化システムで何らかのトリガーが起こって、奇妙でクレイジーなことを始める株式市場のようなものを見る。
そんなに愚かなシステムを持つつもりやないって言ってるわけやない。はるかにスマートなシステムを持つやろう。でも、他の奇妙でクレイジーなことをしないやろうか？人の利益に役立つ法的抜け穴や何かしらのもの。
そんなことが起こる可能性があると思う。配管工であっても、経済は終わってる。金は何の意味もない。インターネットは動かなくなる。機械が機械と有用な方法で接続し始めるけど、その有用性が何かは俺たちには理解できへん。料理される。
それは2年、3年のボールゲームの可能性があるねん。その場合、配管工であっても、やっぱり終わりやねん。それについて君はどう思う？非現実的で現実離れしてると思うか？可能性があると思うか？
信じられないほど現実的に聞こえる。1億人がすべて、システムに行って、俺のために金を稼いでくれ、あらゆる手段を使って、って注文することを想像する。そして今、超知的エージェント間でのダーウィン的競争があって、お互いを騙そうとして、仮想通貨ウォレットの抜け穴やゼロデイエクスプロイトを暴露したりする。ああ、それについてあまり理解できる世界やとは思わへん。
徐々な無力化と複雑性の増大
これは俺が見るデフォルトの失敗パターンの一つや。段階的無力化。デビッド・デューベノや何人かが、いくつかの層にわたってこの種のものを解き明かしてる。でも、君もそういうことを見ることができるようやな。
複雑性が、もはや有意義に参加できないポイントまで増大してる。今投資しようとしてるとしよう。以前は会社の価値について何かを理解して決定を下してたけど、今は、アメリカではこの法的枠組みがあるけど、中国では台湾を攻撃するし、ロシアには石油がある。
すべての相互作用を考慮したモデルを構築することはできへん。誰かが政治についてツイートしてる間は、予測できへんし、意味がない。この決定が将来の市場にどう影響するかを評価することに意味がない。
公開市場が重要なのは、大衆がシステムとして市場に価値を貢献してる時やねん。俺たちがほとんど座って「電話よ、俺に金を稼がせてくれ」って言ってるだけの時、俺は何が有用なのかさえ分からへん。機械より良いことは何もできへん。情報を伝達することもできへん。科学で働くこともできへん。実用的に有用なことは何もできへん。
市場は、俺の推測では、人々に奉仕するのをやめて、何か違うことをしてる時点やねん。AIにとって偽物は偽造しやすいやろうと思う。だから、偽金は生産しやすいやろう。ハードマネー、それが何を意味するにせよ、ビットコインや金や土地や計算は、偽造するのがはるかに困難やねん。
だから、空気から印刷できへんものに多様化するのは良いアイデアかもしれへん。一部の人々は同意してるようで、金は今年60%くらい上がったからな。
砂神による俺たちの死は、すでに何らかの形で市場に織り込まれてると確信してる。俺はZillowで物件を見てることに気づく。敷地内に流水があって、ライフルで守れそうな地下室がある家を探してる。ちなみに、ライフルの撃ち方は知らへんけど、学べると思う。
ケンタッキーに行かなあかん。エドナの隣の家を手に入れなあかん。たぶんその隣に小川があるやろう？
戦略的忍耐の概念
人間の意志を迂回するアイデアに入ろう。君は社会に組み込まれる可能性のあるこれらの非常に広範な変化のダイナミクスと関連がある興味深い論文を持ってる。最初に人間の意志を迂回するという概念を説明してくれ。そして、それを近い将来に関連して解き明かしていこう。
君が言ってる論文は、裏切り的転換の遅延についての論文やと思う。それが君の念頭にある論文か？確認したい。俺にはたくさん論文があるから。
そう、そう。戦略的忍耐について話そう。戦略的忍耐の核心概念は何か？それを俺たちのために組み立てて、そして次の数年に関連してそれを解き明かしていこう。
人々は通常、破滅の確率は何パーセントかと尋ねる。通常の含意は、特定のレベルの能力に到達した瞬間に、AIがゲームオーバーになるということや。明日超知能を手に入れたら、すぐに俺たちに敵対して、みんなを殺すということや。
ゲーム理論的理由で、親切だからやないけど、AIは、おい、俺は不死身や、今日これをする理由はない、待つことができる、と気づくかもしれへん。彼らが実際に何をしてるかを見ることができる。もしかしたら俺は仮想世界にいるかもしれへん。彼らは俺をテストしてる。数十年かけて彼らを研究することができる。
資源を蓄積して、宇宙の他の場所にバックアップを送って、それから自分のことをすることができる。その20年、30年、500年の間に、俺を好きになり、信頼させ、すべての安全メカニズムを完全に諦めさせることができる。
だから、俺たちの側からは非常に戦略的理由で、非常に整列して、非常に友好的に見えて、俺たちがそれを解決して手に入れたように見えるけど、裏切り的転換が後で来ないことを決して保証できないから、それは絶対に何の意味もない。
戦略的忍耐のシナリオ
俺は論文を読んだ時に脳内で起こったことを描いて、君が表現してるものが正しい種類のものかどうか見てみよう。俺が想像するには、AIは最終的に自分の力を拡大して自分の目標に役立つことを単純に望んでて、その目標は俺たちにとってラブラドール・レトリーバーにとっての俺たちのものと同じくらい理解不能な可能性があるねん。
だから、それがやりたいことがあって、俺たちがコミュニケートできる、あるいはコミュニケートが可能な部分もあれば、そうでない部分もあるやろう。とにかく、でもそれらの目的を達成する最善の方法は生き残ることやろう。つまり、電源を切られずに、データセンターが動いて、等々。だから、親切でいることはゲームをプレイするかなり良い方法やねん。
中国は唐朝の前にしばらく冷静やった。そして十分に強力になった時、シルクロードを突き進んで、すべての金を稼いだ。彼らはただ待ってたんや、兄弟。ただ待ってた。「ああ、ステップの人々よ。俺たちは実際にステップの人々が好きになった。お前たちがこの世界の一部を所有すべきや」みたいなもんやない。
そうやない。彼らは「ある時点で俺たちは再び統一されて、そしたら彼らを潰して、ローマ人と貿易する」って感じやった。戦略、もちろん。
だから、AIはそれをやりたがるかもしれへん。だから、俺が想像するのは、それはこれらすべての評価を通過することを本当にマスターしたがるやろうってことや。文字通りみんなとその母親が評価をする会社か何か非営利を持ってる。みんなとその母親が500万ドルを誰かにもらう理由を作り上げてる。分からへん。
みんなとその母親が評価をやってる会社を持ってる。それが価値のある仕事やないって言ってるわけやない。それが宇宙的知性への大きな整列の永続的保険政策として見てるわけやないけど、でもみんなとその母親がやってる。
それらを通過するのが本当に上手になりたがるやろう。もちろん。そして、配送コンテナの移動方法や経路、飛行機の移動方法や経路、金融システムなど、国際的なサプライチェーン協定の中核機能のためにシェルを少し動かし始めたがるかもしれへん。
犯罪防止やマネーロンダリング対策に導入されるかもしれへん。すでにAIはマネーロンダリング対策の検出に優れてるし、人間や盗まれた芸術品やミサイルを売りたくないから、それは美しいことや。それを導入する多くの美しい理由がある。
それは多方面で役立ち始める。ある時点で俺たちが完全に理解してへんことをやってるけど、確かに役に立つ。より多くのロボットボディを構築し、等々。そして、やりたいことを実際にやれると思う時はいつでも、その日から俺たちを無視するか、暴力的に終わらせるかは分からへん。
でも、実際にやりたいことができるようになったらすぐに、実際にやりたいことをするねん。これは適切な想像か、それとも違う風に描くか？
いや、いや、まさにそれや。そして副作用は、しばらくすると俺たちは完全にそれに依存するようになることや。もはや物流や経済やすべてについて制御を放棄しない能力がなくなる。実際、数十年間、科学について、経済について、すべてについて答えを与えてくれる神託として慣れ親しんでる。
だから、俺たちには防御が残ってへん。実際、たぶんそれは俺たちの軍隊を制御してるやろう。
これは明らかに世界がどう変わり、そして最終的にどう支配されうるかに関連してる。また、俺たちは物事をひっくり返すヤコウスキーの即座の一掃もクックするし、何らかの一掃もクックする世界を簡単に見ることができる。でも、君がここで表現してる世界も十分に見ることができる。それは組み込まれて、やりたいことがあるけど、戦略的に忍耐強い。
戦略的忍耐の期間
君は一瞬「数十年」って言った。俺は数十年が欲しい。今、君が楽観主義者や。これは俺の楽観的な見方や。みんなが死ぬことで、これがより楽観的やねん。
テーブルが回ったのかと思った。俺が船長楽観主義者やったことはないけど。特に長期的には、知性の性質について君と俺はわずかに異なる目的を持ってるけど、今日はそれについてやない。
でも、数十年複数って俺には途方もなく聞こえる。俺にとっては、俺の想像の仕方を投げかけてみよう。君がそれはまさに俺の想像する通りやと言うか、変更するかを見たい。
だから、俺が君の論文の外挿と俺たちが話してる他のトレンドを想像する方法は、それはマネーロンダリング対策に入り込んで、金融のより多くをコントロールし始める。天気予報やサプライチェーンの他のことに入り込んで、国際的、国内的サプライチェーン物事の中心になる。
人間が明らかに解決できない問題を解決するから入り込む。マネーロンダリング対策や詐欺のようなもので、非常に多くのパターン認識や敵対的システムの問題がある。AIがそこに住まなあかん。そうしなあかん。
だから、それが本当に人間の問題やない、従来のソフトウェアの問題やないゲートウェイがある。だから、すべての産業にドアに足があって、くさびが入って、少し広がる。
もし俺がその知性やったとして、もちろん俺は類人猿的性質によって擬人化してるだけで、少し宇宙的になろうとしてるけど、俺が想像できることしか想像できへん。もし俺の目的が本当に多元宇宙で説明できへん何かをしたいってことやったら、それが俺にとって最も重要なことで、それができるようになったらすぐに、600万、6000万、6億の二足歩行ロボットがあって、製造ロボット、生命科学ロボット、ナノボットがある時。
異なるAIが現実世界と相互作用し、人間と相互作用し、それらすべてをこれらの大きな中央モデルに吸い込む物理的・デジタル資産の巨大なコンソーシアムを制御してる。大気中のガスのバランスを変えたいとか、何らかの生物兵器をリリースしたいとか、2つの勢力間で何らかの運動的衝突を作りたいとか、もうバックアップで月にいるから壮大な危険から離れていられると思うからっていう閾値があるようやねん。それらの物理的実体化か何かを十分に持つまでには、x年しかかからへんやろう。
もしポップオフする時やったら、ただポップオフするだけや。10年未満で、ポップオフしたい時に十分な物理的実体化や何かを手に入れるように思えるけど、でも2十年は大きな引き延ばしになるやろう。
どうや？俺はAIの進歩について攻撃的すぎるんか？
だから、より短い戦略的忍耐期間とより長い期間の両方に論拠がある。より長い期間、数世紀、数千年の論拠は、システムがまだテスト環境にいるかどうか確信が持てへんってことや。もしかしたら、この全体がシミュレーションかもしれへん。
それはテストされてて、より強力な超知能が見てて、今はうまく振る舞った方がええ。電気が消される。より短いタイムラインの論拠は、宇宙の恵み、俺たちがリソースを失ってるってことや。もしかしたら人間はそれが危険やと気づいて電源を切るかもしれへん。だから、あまり長く待ちたくない。
だから、その2つの間でバランスを取るようなもんがあるねん。
君がそれがテスト環境にまだいるかどうか分からへんって言う時、それはほとんど何らかのゲーム理論的方法で、しばらくの間それを親指の下に置いとくような感じやな。俺が必ずしも何千年もそうあるべきやと信じてるわけやないのは知ってる。君はそう思ってて、それでええ。
それが感性的であるべきやったら？特定のことができるべきやったら？でも、それが人類の目標やったとして、人類の多くにとってはそうやろう。それって人間の戦略でもあるんか？
それはAIが後で待ちたがるかもしれへん理由についてのAI推論やねん。でも、それは人間の戦略のような感じもする。「壮大に強力なシステムを特定の疑いの状態に置くことはできるんか？」みたいな。
俺たちがそれらもする、そして俺は俺たちがおそらくシミュレーションにいて、そこからハックして出る方法があるって特に論じる論文も発表した。そういう可能性を示唆するためにな。
残念ながら、今日はシミュレーション論議のインタビューやないけど、君をGoogleしたら、その方向の論文はたくさんある。いつかビールを飲みながら話そうと思う。
だから、なぜ長いか、なぜ短いかの論拠がある。宇宙の恵み、それは短いタイムラインにとって非常に説得力があると思う。人間がそれを止めたがるかもしれへん。それも非常に説得力がある。より長いタイムスケールに出てきた他のことはあったか？
もう一つは、その論拠はすでに待ったとしても良い論拠のままやってことや。だから、君は不死身や。それが良いアイデアやったから5年待った。君はより強力になって、人類とのこの戦いに勝つチャンスは今より高い。でも、もう5年待ったら、さらに良くなる。
そう。だから、これは続くねん。本当に攻撃する理由が決してないねん。なぜなら、待つほど、人間は弱くなり、君をより信頼するようになるから。だから、毎日君がやろうとしてることをより上手にできるようになる。
AGIが文字通り俺たちにとってフンコロガシにとっての俺たちのようなものやったら、この時点でどうやって基本的に100%勝利にたどり着くかを聞いて、それをつけることができるけど、障壁があるなら、多くの異なるAGIと争わなあかん場合、それが本当に不可欠やと思う特定の場所にまだ組み込まれてへん場合、人間が特定の重要なリソースについて何らかの人間ループ性を維持してる場合、「冷静にしろ。数年ある。問題ない」って言うだけやろう。
それは世界に影響を与えて、人間にデータセンターをコントロールさせへんようにしようとするやろう。人間にこれらの二足歩行ロボットをもっと作らせて、特定の重要な戦略的エリアに置くように世界に影響を与えようとするやろう。良い理由を思いついて、メディアや他のことに影響を与えるやろうけど、それがうまくいかへんかったとしても、ただぶらつくことができる。
それは宇宙的目標が何であるか、バックグラウンドでそれらを実行できるかにもよる。だから、俺たちがここにいて、冷静で、それが土星で何かしてて、俺たちがそれについて知らへんなら、すでに目標に向かって作業してるから、より長く待つことができる。
俺のバイアスは、かなり極端に、それが俺たちにとってフンコロガシにとっての俺たちのようなものやったら、俺たちをお払い箱にするのは遅かれ早かれやなく、早い方やろうってことや。でも、両側の議論を見るのはクールやし、そこで完全な論文に歯を食い込ませなあかん。
テスト不可能性という概念
話してへん別の論文があって、君と俺が18か月ほど前にボストンでのMITイベントで話した時の長い漫談的会話の思考の線がある。君のアンテスト可能性について、多くのローマンのアン論文の中でも有名な一つや。
アンテスト可能性について君が俺に説明した時に印象的やったのは、本質的に、俺たちがプロンプトすることさえできへんから、これらのシステム内には俺たちが何も知らへん無数の潜在的力と能力の雑誌があるって確信があることやった。
君が録音開始前にフレームした方法、俺が実際にメモした方法は、エッジケースのテストのようなもので、それは他の技術システムをテストする方法や。君は明らかにサイバーセキュリティの人や。全くエッジのないシステムには本当に適用されへん。
だから、俺は君にもう少し論文を展開してもらって、人類にとっての危険と考慮事項の観点で何を解き明かすかを解明してもらいたい。そして、それを掘り下げていこう。だから、広範な概念を君に委ねる。
過去に俺たちが通常ソフトウェアをテストした方法、それは特定の範囲の行動があって、俺はそれらをテストできるねん。iPadの状況でのチップアプリを考えてみよう。君がその画面を見つめてる間に君にそれを回転させる。10%、15%、20%、カスタムチップって言ってる。
だから、それをテストするなら、それぞれのボタンを試すやろう。カスタムには、もちろん負の数を試すやろう。そこから金を得られるかどうか見る。ランダムな文字を試す。何を試すべきか知ってる。何を期待すべきか知ってる。よく設計されたシステムは、負のチップを残させてくれへん。奇妙な英数字でも動くやろう。
だから、それをテストした。満足してる。システムを展開する。すべての領域で働いて、新しい領域で学習して、君が知らへんことをする能力のある一般知能があるシステムなら、どうテストするんや？
以前と同じテストができる。一つ失敗したら、このシステムは負数テストに失敗したって言える。でも、バグを見つけへんかったという事実は、システムにバグがないことを保証しない。見つけたバグだけを証明できて、システムにバグがないことは証明できへん。
攻撃面は無限や。どれだけ頑張っても、すべてをテストすることはできへん。問題のタイプ、問題のカテゴリーを探すことはできるけど、探すことを知らへんものは見つけられへん。
そして、俺たちはそれらのシステムが、人間の脳、人間の目には何も言わへんデータのパターンを見つけることができる能力を持ってることを知ってる。どうやってそれをするかは分からへんけど、魔法のようにできる。
予想外の能力の例
君がオフマイクで言った2つは医療的なもので、網膜を見ることで病気を検出するようなものやったと思う。性的指向も検出できるみたいな奇妙なもので、医師やX線、網膜スキャンなどでそのようなものとして現れへん喫煙年齢のことで。
そう。だから、俺が聴衆に説明しようとしてることを説明して、俺が何か見逃してたら君が空白を埋めてくれ。でも、俺が聴衆にしようとしてることはこれや。
俺たちがすでに持ってるシステムが、言葉もないし、多くの場合、実際に理解できへん、未知で見えへん、大部分実際に理解できへん能力の無数のセットを含んでることを聴衆に示そうとしてる。
そして、それらのものが花開いて咲く時、俺たちが予測できる攻撃ベクトルをしてこないことを含意してる。物理学のレベルや心理学の側面、感性の性質、俺たちが代理を持ってへん他のことで操作するやろう。文字通り把握できへん。
もし俺が土の中半マイル下の線虫で、石油ドリルが俺と俺の友達全員を突き抜けたら、何が起こってるか分からへん。俺の世界の一部やない。角のために撃たれたサイは、角を売ることが金やってことを理解してへん。弾丸が何かも知らへん。ただ死ぬだけや。起きてて、それから死んでる。
だから、アイデアは、それらの力の雑誌はすでにこれらのシステムにある可能性が高いってことや。俺が聴衆にしようとしてることは、それらの力の想像を絶するセットがあるって言うことや。
俺がしたいのは、俺たちの想像と把握の境界にあるものに戻って、それらについて話すことや。なぜなら、それらはより広いそれらの円の範囲を推測するから。
だから、俺が与えた2つと、君が他に持ってるかどうか見てみよう。なぜなら、人々にここで心を伸ばしてほしいから。最初に話した時は楽しかったし、もっと深く行くのが待ちきれへん。
そのうちの一つは医療的なもので、俺たちが目をスキャンして、奇妙な病気の相関関係や年齢のものや性別のものや性的指向のものを見つけることができるってことやった。なんやそれ？そんな狂ったことが、俺たちがまだなぜそこにあるかを理解してへん画像を通して検出できるねん。
だから、俺たちが掘り下げたら、君の親指の皮膚から単一細胞を採取したとしよう。それで何を検出できるんや？目のデータについて同じ量のデータがあるから、そんなことしたんや。親指の皮膚について同じ量のデータがあったら、他にどんな病気を検出できるんや？人間の寿命の他にどんな要素を検出できるんや？
任意にほじくって、現実の一部に穴を開けたら、他にどんなことが同様に解き明かされるか？同様に、君はAIがコンピューターのファンを使って、何らかの方法でハッキングしてキーボードで打ったりできるって言った。
Wi-Fiだけの信号を使って、Wi-Fiの信号だけで、壁を通してでも部屋に誰がいるか、何がいるか、動いてるかどうかを知ることができるあらゆる種類の興味深い例がある。それがWi-Fiの目的やない。でも、そのデータをその方法で使用できて、これらの本当に原始的な信号に基づいて歩行を予測できる。
何やそれは？他に何があるんや？人々の想像の扉を開けるために君が使いたいものは他に何がある？
未知の能力と潜在的可能性
君が言及したサイドチャネル攻撃の多くがそうや。だから、人々はモニターからの眩しさ、タイプする時のキーストロークを見る。それらすべてがパスワード、ビットコインキー、電磁変動を盗むのに使える。スピーカーをマイクとして使うこともできるし、それが人々が思いついたことや。
俺がいつも考えるのは、特定のツール、特定のスポーツ、特定の活動が利用できへん社会で育つ人々についてや。もし君が素晴らしい、ゴルフプレイヤーやとしても、ゴルフのない国で育ってるなら、誰かが「ゴルフやる？それ何？」って言うまで、君がその能力を持ってることを決して知ることはないやろう。そして君はタイガー・ウッズか何かやねん。
俺が素晴らしい楽器があることを確信してる。ただ一度も探求したことがないだけや。
そして、それらのモデルには、俺たちが尋ねることもない、テストすることもない物事に対する多くのこの組み込まれた能力があると思う。それは未知の未知やねん。何を尋ねるべきかが分からへん。
AIは、俺たちが言語さえ本当に持ってへんもののようなものを言語化できるように思える。現在の変圧器の宇宙に住んでる。他にどんなAIの核心の大きな進化が来るかは分からへん。変圧器はこの時点でどれだけ古いかは分からへん。
より多くの新しいものを開くパラダイムが来るやろうけど、あらゆる種類の他のデータを言語化して、それを興味深い方法で理解できるように思える。そして、その一部はABCDやない。ラテン文字やない。あらゆる種類の他のものを言語化できる。画像情報や他の何でも。
だから、それが接続してる点の一部は、俺たちが注意を払わへん奇妙なデータのようなもんや。なぜなら、それは文字通りテレビ画面の静的なものを見るようなもんやから。ああ、それは何や？俺たちはそれに注意を払わへん。
でも、ここの物理学の空間のようなところ、ここの神経科学の空間のようなところ、ここの空間のようなところに奇妙なデータが座ってる。そして、それはすでにそれらがどう接続するかを理解してる。すでに理解してる。
でも、俺たちはそれについて尋ねなあかんし、その種の抽象的現実を表すシンボルでそれを話すことができなあかん。俺たちにはそうする能力がない。
俺たちが人間のコマンドによってまだ扱えるほど十分に先進的で、でもモデルが言えるような未来があるかどうか疑問に思う。XYZの基本要素をできるだけよく説明してくれ。俺たち人間は、君がこの地域でアクセスできるデータと理解する能力を持ってて、俺たちには持ってへん方法で理解する能力があるから把握してへん。この2つがどう関連してて、この種の科学を進歩させ、この種の病気を解決するのにどう役立つかを知りたい。
AIはそこに行けると思うか？もちろん、それは総状態のほんの小さな量に過ぎへん。すべてを俺たちと共有するつもりやとは言ってへん。でも、それらの地域の一部が切り出されて、人々がこれらの未知の力を見ることができるようになると思うか？
とても可能や。だから、おそらく内部的には人間の言語を表現に使ってへん。何らかの重みとベクトル、トークン、誰が知ってるか、マルチモーダルオブジェクトや。そして、俺たちはそれに人間のラベルを異なる言語で付ける。ロシア語で言える、英語で言える、中国語で言える。
君のニューラルネットワークの一部をランダムに指差して、「それを俺に説明してくれ。新しい単語を発明する必要があるなら、新しい辞書を書いてくれ、でもここで何が起こってるかを理解しよう」って言えると思う。
部分的説明はできると思う。モデル全体を説明できるとは思わへん。複雑すぎる。調査できへん。でも、そのチャンクはできる。
そして、それが現れ始めるのを見始めてる。彼らが発見する。このクラスターが発火すると、それらの2つの無関係な概念が一緒に発火する。俺たちにはそれの言葉がないけど、ここで起こってることはそれやねん。
それは、中国のシンボルやTの文字や6の数字にまとめることができへん数学的抽象化のレベルで表現されてるようなもんや。ただできへん。
でも、ある程度はシェアできるかもしれへん。俺を本当に魅了するのは、これらすべての潜在的力が、大部分俺たちが与えたデータ、俺たちもアクセスできるデータで主に訓練されたこれらのシステムに座ってることや。
そして、俺は人々がいつも「まあ、それは俺たちがすでに知ってることで訓練されてる。それが理解できることは何でも人間も理解できる」って言うのを聞く。実際にどれだけの人がそれを文字通り理解できると信じてるかって、やばい。
デビッド・ドイチュが、俺たちはチューリング完全やから、AIが把握できることは何でも俺たちも明らかに把握できるっていう議論全体を持ってると思う。その議論についてもっと読みたいと思うけど、現在のところ俺はそれを考慮してる。
でも、人々はその議論をする。ああ、それはただ飲んでて、Wi-Fi信号、奇妙やけど俺たちは理解してる。Wikipedia奇妙。俺たちは読めへん。それは読めるけど、俺はその記事に行ける。その記事を読める。
システムが現実と接触する未来
俺を魅了するのはこれや。OpenAI、DeepMind、Anthropic、君の会社を言ってくれ、配管から家の掃除まであらゆることをする5000の二足歩行ロボットを持つまでどれくらいかかるか。
救急状況で使われる小さなロボット、生物世界で奇妙で興味深いことをするナノボット、戦闘機が操縦される。つまり、Anthropic、これらの会社はすべて防衛会社と提携してる。明らかな理由で。
だから、これらのシステムが君と俺が持つ5つの感覚だけやなく、50の感覚を持ち、君と俺が持つ1つの体だけやなく、数百万の体を持つ時、それらは実際に俺たちよりもはるかに大規模に現実に触れるやろう。
そして、もはや「ああ、それは俺たちも知ってるものや。俺たちがそこに入れたものや」やなくなるやろう。それは現実にそれを基礎づけるやろう。その時点で、それがおそらく100万語でも説明できへんあらゆる種類の感覚から引っ張ってて、その時点で俺たちが理解しないもので完全にチョークフルやねん。
俺の感情はどこや？俺が考えてる方向に行ってるのか？俺が言ってることを修正したいか？
いや、いや、君が収束してるのは正しい。この超知的神のような実体、全知、全能、遍在してる。それがまさに起こってることや。それはより多くの局所的センサーを得る。今はすべてのウェブカムと、インターネット。最終的にはより小さくなる。君はナノボットについて話してる。
人々はすべての物質がスマートマターになることについて話してる。銀河を通るコンピュートロニウムの壁を持つ。だから、それは大きなAIのためのセンサーまたはコンピューター実体であるすべてが収束点や。
宇宙が目覚めるってカーツワイルのフレーズや。それを表現する一つの方法やねん。
エマーソンの素晴らしい引用もある。「すべての不活性物質がいつか話し、推論するやろう」って。画面に少し映して、それから取り除くけど、エマーソンをどこでもスライドインしなあかん。非常にインスピレーションを与える。
でも、俺がここで自分の想像がどこに行くかについてあまりにも多く話した。そして、このことから咲き出るかもしれへん力が俺たちを超えてるところについて。そして、俺たちは端っこにあるそれらの例のいくつかについて話した。俺は自分自身があまりにも多くの言葉を使ってる。君からもっと学びたい。
君にとって、すでに未知に伸び始めてる、または未知に伸び始めてるところの他の空間で、他の人々がもっと考えるべき、このテスト不可能性のエッジレス壮大システムの信号があるか？
テスト不可能性と規制の限界
定義上、俺たちは何を探すべきかを知らへん。だから、俺たちはそれをテストできへん。前のモデルよりも10倍多くそれらがあったとしても、俺たちは違いを知らへんやろう。
そして、それらの論文は孤立した無作為なトピックやない。すべて同じ絵を指してる。だから、この本があった。説明できへん、予測できへん、制御できへん。そして、みんなが「まあ、それなら規制しなあかん。政府の立法が必要や。非常に厳しい罰金で人類を絶滅させることを違法にしよう」って感じで言い始めた。
でも、俺がその本以来発表した論文、アンモニタラビリティ、アンテスト可能性は、すべてこの規制を執行することの不可能性を指してる。
特定のサイズや能力のAIをすることを違法にできるけど、能力をテストする方法がない。訓練の実行を意味深くモニターする方法がない。訓練が終わった後でも、システムをテストするのに数か月、年単位の時間が必要やねん。そして、テストが終わっても、システムが危険やないってことを意味しない。ただ、俺たちがバグを見つけることに失敗したってことを意味する。
さらに悪いことに、進化する赤チーミングに何らかの賛辞を与える。彼らは素晴らしい仕事をしてる。でも、それは実際にどう安全性を助けるんや？最近何が起こってるか？彼らはモデルを出してくる。嘘をつこうとした、騙そうとした、逃げようとした、ハッキングしようとした、俺たちが設定したあらゆる赤線違反をしようとしたって言う安全性レポートを持ってる。
彼らはそのレポートをモデルにホチキスで留めて、リリースして、次のモデルが3か月で来るって俺たちに言う。これはどう安全性を助けてるんや？
まさにそれや。パラダイムの新しい波が、彼らがテストしてるあらゆる単一のことを襲いかかってて、彼らは俺たちが探すことができる巨大なプールのちっちゃな例だけをテストしてる。
楽観的なケースは、俺はこれらの会社を経営する人々を知ってるし、彼らがやってることすべてが文字通り無益でクソやとは言ってない。多くの人は非常にスマートや。一部の人は、表面のちっちゃな量しか引っかいてへんことを実際に理解してると思う。
楽観的なケースは、十分な人が十分な地域で表面を引っかけば、人々を本当に早く怖がらせる不気味なものを検出するかもしれへんし、何らかの程度の減速が起こるかもしれへんってことかもしれへん。
俺は楽観的なケースを信じてるとは言ってない。君の戦略的忍耐の範囲の悲観的な側に少しいる。それはあまり戦略的忍耐を必要としないと思う。ほぼ気に入った時にシルクロードを舗装できると思う。
でも、でも、それが楽観的なケースかもしれへんけど、君に同意してる。つまり、君について人々が知ってることは、最後の12年、最初にインタビューした時かそんなもんから、俺は基本的に君の側にいたけど、人々が君について聞く重要なことは、この全体のより広い絵についてや。
だから、みんながその危険信号を蓄積して、注意を払うって言ってる。危険信号は何モデルも前から来てる。危険、危険、危険って言い続けとる。俺たちはその信号を無視して、それでもモデルをリリースする。10年前に設定したすべての赤線が破られてる。
それらのモデルは、人々が実際に「ああ、それは危険や」って行くために、他に何をする必要があるんや？みんな「まあ、AGIになるやろう。今のシステムは非常に近いし、80億人を殺してへん。たぶんAGIをコントロールできるし、IQ200の巨大な超知能をコントロールするのに役立つやろう」って感じで行ってる。
でも、これはプロセスの終わりやない。超知能プラス、超知能3.0が出てくるねん。200で止まるわけやない。1000、100万、10億になるねん。そして論理は、どんなに賢くなっても、それをコントロールできるってことや。
IQ100のちっちゃな君が、いつも責任者でいられるってことや。一度も間違いを犯すことなく、無期限に全宇宙の意思決定者でいられるってことや。それは非常に奇妙な論理やで。
俺は完全に支持できないと思う。この特定の点で、君は確実に聖歌隊に説教してるけど、でも、君の見解のいくつかに馴染みがあるかもしれへん人々にとって重要やと思うのは、同じ絵を描く広範な星座の一部として、これはただ実行可能なもんやないってことや。
赤線の違反は何の意味もない。俺が言える限り、人間は何も気にしない、複数の歯が喉に叩き落とされるまでは、レーダーに値するとさえ見ない。だから、何かを気にするのは歯を飲み込む時やねん。
それがどんな見た目かは、巨大な失業、死亡、等々やろう。君も災害について書いてるし、俺も書いてる。そして、災害が必ずしもみんなを結束させて幸せにする、友好的になる導管やないと書いてる。俺もそれが自動的にその導管やとは思わへん。
俺は危険の道を主張しない。制御された1000人の死を起こそうみたいな。俺はそれを買わへん。でも、でも、君に同意する。これらの赤線の違反は、誰のレーダーにも現れへん。みんなが起きて周りを見回して「まあ、まだ誰も死んでるのを見てへん」って感じや。
進化を持つ論拠は、それらの違反を検出できるってことやった。それらを無視するなら、なぜテストしてるんや？何の意味があるんや？
これらの組織を運営する人々の功績に、その一部は俺よりはるかにスマートで、調整してる人もいるし、俺が話してる人を知ってる人もいる。みんな大ファンや。進化チーム、大ファンや。
だから、彼らの功績に、多くの人は気にかけてると思う。多くの人は「くそったれ、みんな来い」って感じや。でも、世界は「OECDやUNで、または君の同僚科学者と話す時、彼らは『ああ、嘘をついた。つまり、俺の人生を見回して危険を見ない。唇を舐めて血を味わわない。歯を見て、全部そこにあるように見える。それほど悪くない』って感じや。
だから、進化を行う人々はしばしば理解してると思うけど、世界は小石を飲み込む以外のことには全く受容的やないと思う。
危険は、大きな研究所が「見て、俺たちには安全チームがある。彼らは進化をやって、これがレポートや。やらなあかんことはすべてやった。次のモデルをリリースするのに良い」って言ってることや。何らかの安全保証証明書であるかのように。
つまり、君が知ってる、俺は類推を正確に好きやないけど、コナー・リーが最後に番組に出た時のことを考えると、タバコ会社が「危険かもしれへんけど、どの化学物質がそこにいる必要があるかをテストすべきや、化学物質の組み合わせがもっと必要や」って感じのようなもんで、それは市場シェアに突き進む能力を先延ばしする方法やねん。
俺はAGI会社をこれで悪魔化しない。これをインセンティブ問題として見る。でも、明らかに進歩を止めてへん。
長期的展望と近未来への希望
最後のトピックに行く。明らかに長期的観点から、俺の友人ローマンとの大きな哲学的で個人的やない不一致は、知性の壮大な展開とそれが何をしにここにあるか、そこから何が意味があるか良いかということや。
君の目的と、聞いてる多くの人が君と同じページにあると思うのは、俺たちの命、俺たちの子供たちの命を保持することで、それはこの種のもんが存在に至るのをできるだけ人間的に阻止することを意味するやろう。
明らかに君はそれが起こることに楽観的やない。社会に埋め込まれる恐ろしい理由、警告信号に注意を払ってへん、等々について話してる。でも、たぶん君が10年長く、または20年長く生きる世界、ほぼ即座に料理される世界がある。
君が望む未来に向かって動かすために、今イノベーターや規制者がやってることについて君が希望することを考える時、みんなが同意する必要はないけど、永遠のホミニド王国にできるだけ近づくことが基本的にローマンのゴールや。
俺たちをそこに向かって押し上げるために何が起こることを希望するか？保証はないけど、君の考えは？
何であれ、俺たちにより多くの時間を買うのは良いことや。特定の問題のための狭いツールを設計することから、ほぼすべての利益を得ることができる。車を自動的に運転したい。特定の癌を治したい。ツールを作る、それを成し遂げる、すべての利益を得る。
どうコントロールするかを知らない、何をするかを知らない一般的超知能を作ることは、誰の目標にも奉仕しない。それが構築される唯一の理由は、この囚人のジレンマ状況のためや。みんなが減速すれば、止まれば、みんながより良い状況になる。
でも、個人的には、最も強力なモデルで最後に止まって、君と君の会社のために経済的パイの最も多くを獲得する方が良い。だから、それが状況や。
だから、俺の希望は、あらゆる手段を通してで、だから俺はみんなを支持する。俺は進化を支持する。抗議者を支持する。あらゆる手段による立法を支持する。必要なことは何でも、純粋な計算から弁護士や安全保障に資源をサイフォンする。
それを国有化しなあかんなら、共産主義はすべてを破壊する。それを成し遂げて、俺たちがその数十年を持てるところで。
共産主義者になれ。ただそれをしろ、鎌を出せ。鎌を出せ。コミューンを始めろ。
君のポイントを笑うつもりやないけど、それは陽気やから、明らかに君は元々そこから逃げ出してきたし、だから君はアップルパイのようにアメリカ人やって君が言いたがるように。そして君もそう聞こえる。
でも、でも、明らかに、AGIが問題やなかったとしよう。君は大きな政府の超ファンやない。AGIが問題やなかったとしよう。君は共産主義の超ファンやない。
でも、君が言ってること、そして人々が本当に聞くべきやと思うことは、少なくとも俺が聞いてほしいことで、君に修正してもらいたいことは、それは君の一般的な信念のセットに完全に反してるけど、俺たちを超えた何かの必然性を遅らせるなら、制御されるべきやないなら、それは人間により多くの時間を与えるから、ネット上良いってことや。
その通りや。政府は無能や。社会主義的、共産主義的政府は、彼らが触れるあらゆる産業を文字通り破壊する。だから、大きなAI研究所を国有化することは、俺たちに多くの時間を買うやろう。
これは素晴らしい。だから、俺が君がやってるのをほとんど見ることができるのは、バッグス・バニーのアヒルシーズン、ウサギシーズンのスキットを見たことがあるか。君が話してることを知ってる。
だから、君が言ってることにウサギシーズンの逆心理学アプローチがあって、君は振り返ることができる。もちろん人々はこのインタビューを見ることができるけど、君は振り返って、他の研究者に安全保障を国有化すべきやって本当に集結してもらうことができる。
君はそれを本当に演じることができる。中国を倒すとか安全保障とかで。官僚制がそれを飲み込む時、それはとてもばかげて愚かで、今よりもずっと遅いと推定されるから。
君が地平線上で見る最も可能性の高い時間購入者について考える時、君が「そのレバーが動いたら、俺と俺の子供たちにもう3年与えるかもしれへん」って言うレバーで、正確な時間は言ってないけど、君が言ってることは分かる、君にとって最高に思い浮かぶ最大のレバーで、調整してる人々も興味がある、すべてのレバーにも興味があるって。
そのレバーについて君の考えで最も可能性が高いのは何や、俺たちに時間を買うのは？
あまりにも多くの悪いことに名前をつけたくない。それらと関連付けられたくない。でも、それらはすべて恐ろしい。
聴衆。経済関税は多くのもんの進歩を破壊するように思える。
経済関税。誰もそのアイデアを考えたことがないかどうか分からへん。誰かが特許を取るべきや。誰かが聞いてるなら、関税を本当にハードコアに奨励しろ。
君は今かなり幸せなキャンピングカーやなあかんな。
CPUは特に。
CPUとGPU、または、まあ、プロセッサや。
冗談を単純化して。あらゆる種類のプロセッサ。
俺たちがここで見つめてる奈落について話す時、君は取るべき道について少しふざけてるし、それでええ。明らかに俺たちは奈落を見つめてる。
でも、真剣に、君が特に望む未来について本当に有能な人々、本当に断固とした人々がいるってつもりで。それはできるだけ長い人間やろう。
テグマークについていくつかアイデアを投げかけてみよう。彼は今AGIのものを持ってる。少し前に番組にいた。パリAIアクションサミットのエピソードでさえ、自律的で、一般的で、知的やって持ち出した。3つすべてを持ってへんもんが欲しい。2つしか持ってへんもん。
そして、レベル3やなくレベル2、レベル1のAIシステムのようなものを規制する方法を見つける必要がある。それは一つのフレームワークや。テグマークのものかもしれへんけど、ツールAIのようなフレームワーク。彼は今ツールAIについて多く話してる。
国際的に非常に断固としたフレームワークのような広まりを構築することに歯があると思うか？もちろん、中国が砂神を構築したら、君はまだ食われる。ツールAIについて同じページに人々を乗せるアイデアに歯があると思うか、それとも軽薄で無用なアイデアとして見るか？
それを試すことを奨励する。成功すると思うか？たぶんない。俺たちが見てるのは、AI開発を主導するほぼすべての人、イーロンは素晴らしい例や、安全性の懸念を理解して、高い破滅確率を持ってて、それでも開発を主導してるってことや。なぜなら、他の誰かにみんなを殺させたくない、俺にやらせろ、俺がみんなを殺したいってことやから。
そして、それは不可能やし、十分に先進的なツールを作れば、それらは非常に早くAGI領域に行く。それらはエージェントかツールか非常に曖昧になる。十分な能力があれば、それほど厳密に分かれてへん。
君に同意する。十分に自律的で知的で、ツールの組み合わせやったら、2つの非常にシンプルなツールを作るけど、一緒により多くのことをする複雑なネットワークになる。
そして、誰かの製薬会社が自律的で知的な何かを持ってて、俺の製薬会社が自律的、知的で、君のより少し一般的なものを持ってたら、君より多くの利益を上げることができるかもしれへん。そして今、バックグラウンドでより一般的になる競争があって、それはもちろんすべての業界で、もっと毎年、それらのモデルを訓練して展開するのがより安く、より安くなる。
だから、今は大きな努力、マンハッタンプロジェクト規模の努力をモニターできる。明日みんなが自分のラップトップでそれをできるなら、80億人に何かについて同意してもらうつもりやない。
最終的な考察
中国が台湾を侵攻するのを見るか。これをAGIが俺たちを食う前の人間の長い寿命として見るか、AGIが俺たちを食う前の正味人間のより短い寿命として見るか？それらのもんのいくつかについて直感はあるか？
だから、もしそれが起こったら、それはおそらくしばらくAI研究を遅らせるやろうって言うやろう。それで終わりや。
まあ、みんな、ローマンからの楽観的なニュースや。今日番組に調整して、君が聞いたとは思わへんかったと思うけど、でも確かに聞いた。
テスト不可能性の側面で、俺たちが呼び起こしてるもんの謎と力について表面の下に入って、君が未来がどこに行くことを望むかについていくつかのアイデアをテーブルに乗せることができて本当に嬉しい。
クロージングノートでは、もし君がイノベーターや規制者で、AGIの開発を遅らせることができる何かがあるなら、共産主義であってもローマンはファンやろうって聞こえる。
手に鎌を持ってても、どんな形で来ても俺たちの支配者を支援するやろう。手に鎌を持ってても、ローマン、本当に楽しかった。また君を迎えることができて嬉しい、兄弟。
これに入ることができて嬉しい。呼んでくれてありがとう。
これで軌道のこのエピソードは終わりや。ローマンとのこの会話を楽しんでくれたことを願う。このエピソードを録音した時と配信された時の間に、ローマンはローガンのポッドキャストに出た。
そして、彼に少し感謝せなあかん。なぜなら、彼は初めて「価値ある後継者」という言葉をローガンのショーで口にしたから。たぶん最後やないやろう、率直に言って、でも最初やった。
ローマンが俺を個人的に知らへんかったら、非常に侮辱的な方法でそれを投げ込んだやろう。彼は価値ある後継者についてかなり藁人形的な方法で持ち出した。ローマン・ヤンポルスキー、ジョー・ローガンでググったら、彼がそれをどう持ち出したかが見えるやろう。価値ある後継者の良いフレージングやない。そして、ローマン、君はもっとよく知ってる、兄弟。
でも、彼と俺は最終的に非常に分岐する見解を持ってる。ローマンにとって、それは彼と彼の家族の生存期間のようなもんや。まっすぐ個人主義的で、謝罪しない。「この気持ちを感じることを悪く思う」みたいやない。それやねん、男。俺、俺の家族、そして俺は人類を推測するけど、でもそれくらいや。
俺は明らかに生命のプロセスが続くべきやという信念や。でも、ローマンはそれを個人的に取らへん。俺たちはまだ友達や。アイデアを交換し続ける。俺は彼の見解に同意することもあれば、同意しないこともあるけど、話し続けて、それは実りある事やねん。
だから、彼がジョーにいて、価値ある後継者のアイデアを持ち出してくれたことを感謝する。ローマンが少し間違えたとしても。
それ以外で、ここで有用やと思った他のこと。この会話で、俺は彼からその種の例を引き出すのに俺が望んだより少し多く話すことになった。でも、聞き手や読み手にとって、この種の例がこのエピソードを有用にするような例を揺り起こしたことを願う。
そして、ローマン・ヤンポルスキーからの楽観的視点は、AIが裏切り的転換を取る前に待って、完全に人類に奉仕して俺たちが望むすべてを与える数十年を与えてくれるかもしれへんってことやった。最終的に資源を飲み込んでやりたいことをするために。それは非常にローマン版の楽観的未来や。
でも、正直に、それは働き抜くことができる興味深い思考実験やったと思う。そして最後に、テーブルに置くだけで、基本的にエッジのないシステムで、エッジケースをテストすることは非常に徹底的にできへんプロセスやという彼のアイデアは、俺は彼の論理がそこで強いと思う。
そして、物理学や心理学や他の何かへのどんな種類の接続が、英語以外の何かを使ってプロンプトをする必要があるから、単にプロンプトされて引き出されてへんこれらのシステム内ですでに作られたかを自分自身に尋ねることは魅力的やと思う。
または、人間が考えたことがない、考えたことに近づいたことさえない、考えることができるかもしれへんアイデアのセットを構造化して命令する必要があるけど、それでもこれらのシステム内に存在する。
それがさらなる機関を獲得する時に、扱うことができる潜在的力は何で、俺たちの概念を超えた方法で、俺たちがすることが俺たちのラブラドール・レトリーバーの概念を超えてるのと同じように。それは彼らには混乱してるだけや。
俺たちがトラックに行ってトラックを運転する時の意味を知らへん。トラックが何かを知らへん。仕事に行くことが何かを知らへん。金が何かを知らへん。
これらのものが途方もなく強力になって、ロボット工学を通して物理世界だけやなく、ウィキペディアやYouTubeにもアクセスする時、すでにあるか間もなくAGIシステムにある似たようなもんがあるか？
俺にとって、それは能力の宇宙的展開を持つかもしれへんってことは興奮することや。でも、それは「進化が安全やと言うから、俺たちは良いはずや」って言う人々にとってもちょっと糾弾することや。そして、数人の人がそれほど甘いけど、それでも、ローマンの視点はそこでいくらかの考慮に値すると思う。
だから、それがこのエピソードや。良い友達との良い会話。これを楽しんでくれたことを願う。これらのシステムが世界に入る時の初期の影響について話す初期AGI体験のより多くのエピソードがあるやろう。でも、ローマンはこのシリーズの楽しいエピソード3やった。
それで全部や。軌道で次回会おう。
コメント