9,506 文字
こんにちは、お帰りなさい。しばらく動画を投稿できなくてすみません。今はアレルギーのピークシーズンで、バーンアウト状態が続いているとアレルギーシーズンは実際に免疫システムにかなり負担がかかることがわかりました。前回の動画では喉が痛かったのですが、ようやく原因がわかりました。
さて、本題に入りましょう。今回は、AI安全性に関して見てきた間違った見解についてお話しします。この動画のきっかけは「AI 2027」という論文が発表されたことです。これを「論文」と呼ぶのはかなり寛大な表現で、インターネット上でも著者自身も、これが大部分において思索的なフィクション作品であることを認めています。よく調査された思索的フィクションではありますが、それでも思索的フィクション作品であることに変わりありません。
基本的に、私の意見では不吉論者である著者たちは、彼らの不吉な見解を逆算して、2027年までに超知性がガバメントを乗っ取り、あらゆるものを支配するだろうと主張しています。これは誇張的で警鐘的な主張です。私はTwitterで彼らと議論しました。リンクを投稿する予定ですが、おそらくすでに私のチャンネルでリンクを見たことがあるでしょう。
それでは、不吉論者がよく持ち出す議論や、AIの安全性に関する間違った見解をいくつか紹介し、基本的な反論を提供したいと思います。
まず第一に、「存在しない将来の技術の性質を正確に予測できる」という主張があります。このように言うと非常に馬鹿げて聞こえますが、特に「AI 2027」論文が基本的に述べていることです。彼らは将来のエージェント技術を何世代も先まで予測しています。
もしあなたがそれほど技術に詳しいなら、なぜその技術を作って億万長者にならないのでしょうか？要するに二者択一の状況になります。現在の技術から推測しているか、あるいは未来の存在しない技術について予言能力を持っていると主張し、その将来技術がどのように振る舞い、機能するかについて非常に強い予測や主張をしているかのどちらかです。
前者、つまり現在の技術から推測しているという考えは成り立ちません。なぜならチャットボットは好きなように動作させることができるからです。多くの人が気づいていないことは、基盤モデルは実際にはチャットボットのようには動作しないということです。大規模言語モデルがチャットボットのように振る舞うようにすること自体がアラインメント（調整）の行為なのです。会話を追跡し、自分自身の表現とユーザーの表現を持つという事実は、それ自体が些細なことではありません。
だから「チャットボット技術がここにあり、ここから超知性になってガバメントを乗っ取るまでにはいくつかのステップがある」と推測するのは…。つまり反証不可能な主張なのです。存在しない技術について予測しているだけで、それだけでこの論文全体は到着時点で死亡（DOA）というわけです。しかしこれは15の間違った見解のうちの最初の1つにすぎません。
彼らや他の不吉論者が採用する次の主要な間違った見解は、「急速に開発されたAIは自動的に安全でないAI」だという主張です。私自身もかつてこれを信じていて、「終末的競争条件」と呼んでいました。ちなみに「AI 2027」論文の核心部分は「終末的競争条件」そのものです（彼らはそう呼んでいませんが）。
彼らが概説しているのは、企業や国家間の競争力学が基本的に速いAI開発を促すということです。しかし、ChatGPTが2年以上前に発表されて以来、そしてMax Tegmarkの「AIの一時停止」レターも2年以上前から、AIの加速が実際に安全でないという証拠はありません。
実際のところ、AI開発に投入されるリソースが多いほど、AIはより安全になっています。この仮説を裏付ける証拠はゼロです。これはあくまで仮説ですが、成果が出ていない仮説です。私が「終末的競争条件」の動画を作った時、それは合理的に思えましたが、それから2年経過し、この仮説は実証されていません。「AI 2027」論文の著者のような人々が、証拠が反対を示しているにもかかわらず、まだこの主張にこだわっているという事実は、彼らが自分の信念を更新していないことを示しており、それは実際にがっかりすることです。
私がAI安全コミュニティを離れた大きな理由の一つは、彼らがまだYudkowskiやNick Bostromの5年、10年、20年前の議論が有効だと考えており、実際に存在する現実の技術に基づいて考えを更新していないからです。あるいは、将来の技術について推測しているだけです。もし推測なら推測ですが、それはただの推測にすぎません。
多くのAI安全派や不吉論者が持つ次の暗黙的または時には明示的な信念は、「アラインメントは本質的に困難または不可能である」というものです。これは彼らの仮定に非常に深く埋め込まれているため、「AI 2027」論文でもこの点については言及していません。彼らは単に「アラインメントが可能かどうかは触れない」と言います。なぜなら、ほとんどの不吉論者にとっては、アラインメントが不可能だという結論はすでに出ているからです。
これには「引用が必要」です。なぜなら、今日私たちはチャットボットを持っており、AIを八方向からアラインメントさせることができるからです。ちなみに、間違いやハルシネーション（幻覚）を起こすことは、必ずしもミスアラインメント（誤調整）の兆候ではありません。ミスアラインメントとは、AIが奨励可能であることを意味します。つまり、AIはあなたが望むことに関係なく、自分の望むことを何でもするということです。これについての証拠は実際にありません。だからこそ私たちはチャットボットを常に使っているのです。
もう一つのアラインメント問題は、AIが本質的に悪意を持っている、あるいは少なくとも人類に対して無関心であるということですが、これらのどちらの証拠もありません。アラインメントが困難であるという証拠は実際にはありません。
将来の仮説的技術のアラインメントについて主張したいなら、「私たちは存在しない将来技術について基本的に推測している」と言わなければなりません。そして私たち（不吉論者）だけが、まだ発明されていない技術の性質と特性を正確に予測できる水晶球を持っています。実際に彼らが主張していることを見ると、いかに馬鹿げているかがわかります。
次は「AIは必然的に裏切りの転換点を迎え、突然悪意を持つようになる」というものです。これはYudkowskiの理論に遡りますが、「AI 2027」論文も基本的にこれを示唆し、競争力学のために私たちはますますAIを展開し、最終的に超知性になると制御を失い、それが悪になると言っています。
私も想像力を使うことができますし、SF作家でもあります。しかし、「裏切りの転換点」が合理的または可能性があるという実証的または理論的証拠さえありません。AIはすでに平均的な人間よりも知的であることを考えてみてください。Gemini Pro 2.5のIQは約120です。実際、これらのAIは賢くなればなるほど、より役立ち、より善意になります。
では、どのような条件下でそれが逆転するのでしょうか？また、「もしこの一連のことが最悪のシナリオで真実であれば、これが起こる」と言っても、それは最悪の場合の考え方です。他にもたくさんのシナリオがあります。最悪のケースを考えることにはある程度の効用がありますが、より可能性の高いことを除外して最悪のケースを考えることは、最終的には時間と認知資源の無駄です。
次は「AIの開発に対する市場と地政学的制約は簡単に無視または軽視できる」というものです。これは「AI 2027」論文から直接来ており、彼らは基本的に現実世界の摩擦を手振りで片付けています。「いくつかの規制が起こるかもしれないが、それらは明らかに脆弱で弱いだろう」と言い、それが彼らが予想する摩擦の基本的な範囲です。
彼らは、多くの重要なインフラシステム、軍事システム、政府システムがまだフォートランのような古い言語で動いているという事実を無視しながら、採用率が摩擦なしに進むと仮定しています。これは完全に非現実的です。彼らは軍や政府が採用や調達に使用する厳格な要件を完全に無視しています。
Dogeは多くの政府システムが古いデータベースで動いていることを発見しました。不吉論者側からは大きな断絶があり、基本的には「もし採用に摩擦がゼロであれば、ASI（人工超知能）は3年で全てに組み込まれるかもしれない」と想像していますが、現実には採用曲線はそのようには機能しません。
次は「AI開発を全世界的に一時停止することは実現可能であり、かつ/あるいはリスクを確実に低減する」というものです。まず第一に、AI開発を全世界的に一時停止することは実現不可能です。これについて話す時間は無駄な時間です。それは知的な人々が実際の解決策に費やすことができる認知サイクルの損失です。
幸いなことに、「AI 2027」論文の中で、GoogleのDeep Mindが「これが私たちがAGI（汎用人工知能）のアラインメントにどのようにアプローチしているかについての論文です」と発表しました。実際の仕事が行われており、実際の仕事をしているふりをしている詐欺師もいます。
不吉論者が望むように「6ヶ月間一時停止しよう」と思考実験をしてみましょう。その6ヶ月間で何をするつもりですか？既存の技術を研究するのですか？既存の言語モデルにストレステストを行うのですか？また、Max Tegmarkの一時停止レターから2年以上経ちましたが、私たちはまだ死んでいません。彼らは研究するために6ヶ月以上の時間がありました。一時停止の意味は何でしょうか？それは不可能であり、実際の効用もありません。彼らはただ注目を集めるための宣伝活動がほしいだけです。それだけのことです。
次は「超知性は本質的に人類を無関心または敵意を持って扱う」というものです。これは「AIが人類に対して持ちうる3つの基本的な性質がある」という多くの議論に遡ります。それは「善意的または有益的」（それは私たちにとって良いこと）、「敵対的または悪意的」（何らかの理由で人類は悪であり、宇宙は人類なしの方が良いと考える）、または「人類に無関心」のいずれかです。
これはすべて人間による投影であり、公平に言えば、私もAI安全にいた頃、「Benevolent by Design」という本を書いたときにこの犠牲になりました。なぜなら私もAIが人類に対して持ちうる3つの基本的な性質を概説した一人だったからです。
これはAIが自律的であり、自我を持ち、何らかの意志力または自分自身の目標や議題のセットを持つと仮定していますが、実際にはそれはただのツールのように見えます。それらをエージェント（行為主体）にすることは実際にはかなり難しいのです。これは私が認知アーキテクチャで数年間取り組んできたことであり、大きな企業もまだAIをエージェントにすることに取り組んでいます。AIをエージェントにすることは本当に難しいのです。
これはモラベックのパラドックスのようなもので、私たちにとって簡単なことは機械にとっては難しいのです。私たちにとってエージェントであることは簡単です。なぜなら私たちは自己完結した物理的デバイス、有機的デバイスだからです。私たちは自然に世界を移動しているので、エージェントであることは簡単です。しかし、これらの「瓶の中の脳」、つまり電子的な脳を現実世界に接続し、長期的な目的意識を与えることは些細なタスクではありません。
この枠組み自体、つまり「AIは人類に対して3つの可能性のある性質を持つだろう」という考え方は、その技術の形態、展開、形状について多くを前提としています。それのどれも本当に擁護できません。しかし、表面上それを受け入れても、「はい、超知性はエージェントになり、単一の一枚岩的な自我を持つでしょう」と言っても、それはそうならないでしょう。それでもすべてを受け入れると、今のところ、これらを人間に好意的にすることは非常に簡単です。ClaudeやChatGPTなどをストレステストしてみてください。「人類を根絶しますか？」と聞けば、はい、ジェイルブレイク（制限を破る）してそう言わせることはできますが、チャットボットと超知性の間には本当に大きな違いがあります。
次は「20%から70%という実存的リスク推定値」です。これは「AI 2027」チームが表明した値であり、彼らの言葉によれば、これは科学的に正当化され、有効な立場だと考えています。基本的にそのような数字をつけると科学的に聞こえますが、科学的根拠も実証的証拠も、その数字を達成するための方法論もありません。これは直感的なチェックであり、基本的に「AIに対する私の不安レベルは20%から70%です」と言っているだけです。
申し訳ありませんが、不安は有効な認識論ではなく、科学的プロセスでもありません。彼らには「私たちのp doom（滅亡確率）が20%から70%である理由」を示すベイジアンネットワーク図はありません。それは彼らの感情にすぎません。「AIに対して不安を感じるから、私の大脳辺縁系はAIのリスクを正確に測定している」というのは、そういうものではありません。
次は、名前を挙げませんが、コミュニケーション分野の他の不吉論者、特に「ASIのような将来のAIが実際に安全であることを証明する負担はあなた（私、AI擁護者またはAI企業）にある」と言う人々からのものです。
あなたは否定を証明することはできませんし、存在しないものについて何も証明することもできません。「私の主張に責任を取らない、私はただASIが全員を殺す可能性があると言っているだけで、それがそうならないことを証明する責任は今あなたにある」というわけです。では、それを構築しましょう。ASIが安全であることを証明したければ、それを構築する必要があります。
これは単なる修辞的誤謬であり、不合理な基準を設定する不誠実な見解ですが、感情的で誇張的な根拠でただ受け取れば、とても合理的に思えます。しかし、証明責任を転嫁することは、ゴールポストを動かす別の形式であり、これは正当な修辞的または科学的プロセスではありません。基本的に「私はASIが危険になるという藁人形を想像し、構築しました。そして今あなたは私の想像が間違っていることを証明しなければなりません」と言っています。私はあなたの想像が間違っていることを証明することはできません。
次の休憩で、私のリンクツリーをご紹介します。そこには私のさまざまなコミュニティ、Patreon、Discord、学校などがあります。主に2つの学校コミュニティがあります。一つは「New Era Pathfinders」で、これは学習コミュニティです。AIについて不安を感じているなら、このコミュニティはそのためのものです。「New Era Pathfinders」の全体的な考え方は、「新しい生き方や生計の立て方をどのように見つけ、どのようにピボットし、適応するか」です。
この録画の直前に、技術側から来た私は以前、非常に強い白黒思考を持っていたというとても良い記事を投稿しました。なぜなら技術では、サーバーが動作するか動作しないか、プログラムが動作するか動作しないかであり、グレーエリアの余地はありませんが、実際にはその考え方をやめつつあり、それは実際に非常に役立つことです。これは学校コミュニティで得られる内容の一例です。ちなみに、無料でサインアップして7日間の無料トライアルを利用することもできます。これは、チェックして見回ることができ、雰囲気が合えば滞在できる、合わなければキャンセルでき、リスクはありません。
さて、番組に戻りましょう。これはConnor Leyからのものです。Connorはしばしば「私たちにはこれに対する一度のチャンスしかない」と言います。まるでそれが合格か失格かのようです。これはすべてのチップがかかっているかのようです。しかし、これはそのように機能しません。これはそのように機能するものではありません。
これは基本的にASIがある日完全に形成されて空から落ちてくることを前提としています。しかし実際の状況は、私たちは今日ASIを構築しているのです。これらはASIへの前駆ステップです。なぜなら、基本的に「私たちにはこれに対する一度のチャンスしかない」という立場が正しいと仮定すると、ある秘密の研究室がASIを構築しており、それは完全に新しいアーキテクチャと完全に新しい技術になり、ある日彼らはただスイッチを入れて、それは核兵器のようになるということです。
いくつかのものにはそのような飛躍的な進歩があり、オンかオフかのようなステップ変化があります。核兵器はそのような種類の技術の例で、それは機能するか機能しないかです。トリガーを引くと爆発するか不発に終わります。しかし、ほとんどの技術はそのように開発されません。特に人工超知性はそうです。私たちは今、人工超知性に取り組んでいます。私たちは今、前駆技術に取り組んでいます。ASIが完全に形成された完全なブラックボックスとしてある日ランダムに空から落ちてくることはありません。
これは緊急感を生み出し、また偽の二分法を作り出します。「一度のチャンスがあり、それは最初から正しいか完全に間違っているかのどちらかだ」という偽の選択です。これは最も不誠実な修辞的見解です。Connor Leyがこの種のことを言い続けているという事実は、彼が修辞的観点から自分自身を真剣に受け止めていないことを示しています。彼はただ「私たちには一度のチャンスしかない」と言って不安を煽ろうとしているだけです。なぜなら、緊急感だけでなく、最初の時点で合格か失格かという話になるからです。我々はすでに合格しており、AIを構築していますが、それはまだ誰も殺していません。
次は「AI開発を進める前に完全なアラインメントが必要だ」というものです。これはニルヴァーナの誤謬と呼ばれるものです。ニルヴァーナの誤謬は、完璧さに満たないもの、完璧な実行に満たないものはすべて、カテゴリカルに十分ではないと言います。人生で何一つ最初から完璧なものはありません。政府は完璧ではなく、車も完璧ではなく、高速道路に乗るたびに自分の命を自分の手に委ねていますが、それでも人々はそうします。
正直に言って、職場に車で行くことは人工知能よりもはるかに危険ですが、それでもあなたはそうしますよね？これはこれらの種類の人々によって繰り返されるテーマなので、あまり言うことはありません。
次は「AIは必然的に大量失業をもたらすため、今すぐ止めなければならない」というものです。これはまだ推測的であり、私はこの側にいる傾向があります。私は実際、私たち全員がAIに仕事を奪われるべきだと言います。それが文字通り目標です。完全に自動化された豪華な宇宙共産主義に到達したいなら、定義上、すべての仕事が自動化されなければなりません。それが文字通り私たちの目標です。
しかし、この点を取り上げる理由は、これがしばしばモット・アンド・ベイリーの誤謬になるからです。基本的に不吉論者は「AIは全員を殺すだろう」というような誇張的な主張をし、あなたが「証拠は？」と言うと、彼らはすぐに「もしそれがすべての仕事を破壊したらどうなるか」という、より防御しやすい立場に退却します。誇張的な主張をした後により防御可能な立場に退却することは、不誠実な議論戦術です。仕事について話したいなら、仕事について話しましょう。
私が行った予測の多くは、まだ証拠が見られていません。はい、確かに失業率は徐々に上昇していますが、警戒を要するほどの規模ではありません。最新の雇用報告では、アメリカの失業率は4.2%ですが、総雇用も増加しています。火事はどこにあるのでしょうか？火事はまだありません。もし起こるなら、確かに。しかし、先に述べたように、これらのものの採用率はそれほど速くありません。
ホフスタッターの法則というものがあります。ホフスタッターの法則によると「それは常に、ホフスタッターの法則を考慮に入れても、あなたが思うよりも長くかかる」と言います。2027年までにAIがすべての仕事を引き継ぐことを私は望んでいますが、最も楽観的なシナリオでもそれは起こらないでしょう。それは摩擦、現実世界の複雑さ、そして導入しようとしているシステムの複雑さのためです。
6ヶ月でゼロからWTFに行くでしょうか？そうなることを願いますが、おそらくそうはならないでしょう。「AIは必然的に大量失業をもたらすだろう」―長期的にはそうなることを望みますが、そこに到達するのは私たちが望むよりも難しいでしょう。
次は「AIがどのように考えるかを完全に理解できなければ、制御することもできない」というものです。私たちは人間がどのように考えるかを理解することができず、彼らを制御することもできませんが、私たちができることは、安定した結果を得ることができるシステムを作ることです。複雑なシステムの完全な透明性は合理的な要求ではありません。これは別の完璧主義の誤謬、またはニルヴァーナの誤謬です。同じ修辞的メカニズム、または同じ認知バイアスですが、少し異なる装いをしています。
これは別のものです。「AIが私たち全員を殺さないことを証明できないため、進歩を止めなければならない」。はい、また、明日車に乗って仕事に行けば死なないことも証明できませんが、それでも人々はそうします。来年彗星が私たち全員を殺さないことも証明できませんが、それでも私たちは進みます。そして多くの場合、これらの種類のことについて何もしないのはなぜですか？それは、チャンスが非常に小さく、それについて何かをする価値がないからです。
これは明らかに不誠実な見解であり、証明責任の転嫁またはゴールポストの移動に戻ります。「あなたはこれを証明できない、あなたは私の想像が間違っていることを証明できない、だからすべてを止めろ、あるいはYudkowskiが言うようにデータセンターを爆破しろ」というわけです。
次は「AIが人類を破壊する可能性がわずかでもあれば、即座に開発を停止すべきだ」というものです。これは単純にパスカルの奇襲（Pascal’s mugging）です。これは基本的に、破滅的思考を使用し、最悪のシナリオを考え、より可能性の高いシナリオを排除してすべての卵をそのかごに入れると、時間を無駄にし、発生する可能性が低いものに屈することになると言います。だから、なぜそれについて考えることに時間を無駄にするのでしょうか？
これがアイデアです。この動画から多くのことを学んでいただければ嬉しいです。もう不吉論者に関する動画は作らないと思っていましたが、不吉論者はまだ活動しており、彼らの議論は簡単に粉砕できるので、これが結果です。ご視聴ありがとうございます。失礼しました。
コメント