この動画は、AI分野に蔓延する宗教的な思考パターンについて分析している。投稿者は、AI終末論者たちの行動が従来の宗教と酷似していると指摘し、信仰ベース、預言者の存在、教義、共同体形成、道徳的判断という5つの特徴を挙げて説明している。特に世俗的終末論としてのAI破滅論に焦点を当て、これらの「信者」たちが技術的知識を欠きながらも確信に満ちた予言を行う様子を批判的に検討している。最終的に、こうしたAI宗教は人間の堕落性と救済への願望という古典的な宗教テーマの現代版であり、今後も長期間にわたって存続すると予測している。
AI宗教の特徴と定義
最近ずっと頭にあるのがAI宗教のことやねん。まず始めに、わしが宗教って何を意味してるかを定義したいと思う。宗教っていうのはめちゃくちゃ重い意味を持った言葉やからな。
この動画では具体的な名前は出さんつもりや。そんなことしたら本題から逸れてしまうからな。でもいくつか例は挙げるで。主に特徴とかパターンとかそういうことに焦点を当てて話すから、わしが何について話してるかもうちょっと抽象的に理解してもらえると思う。
宗教について話すとき、AI分野には本当にぴったり当てはまる特徴がいくつかあって、カルトとか他の言葉よりもよっぽど宗教って言葉がしっくりくるんや。
まず第一に、宗教っていうのは信仰ベースの傾向がある。つまり証拠なしに何かを信じるってことや。例えば、反対の証拠があるにも関わらず、こうなるって分かってるって信じ込んでる感じやな。
次に予言と預言者がおる。聖典があって、教義があって、こうなるって書いてある。みんながその予言を読まなあかんし、特定の預言者に忠誠を誓わなあかん。分かる人には分かるやろ。
聖典があって、ドグマがあって、教義がある。基本的にコストリーシグナリングっていうのがあるんや。「シーケンス読んだか？」みたいな感じで、シーケンス読んでへんかったら完全に洗脳されてへんってことになる。これが文字通り教化っていう言葉や。
一定レベルの洗脳がある。正しいビデオを見て、正しい本を読んで、正しいブログポストを読んで、そのグループに属してることを示すために特定の話し方をせなあかん。これがコストリーシグナリングの一種や。
次にコミュニティがある。オンラインコミュニティやけど、明確に内集団と外集団のアイデンティティがあるオンラインコミュニティや。
そして最後に、これらのグループに関連した道徳的、倫理的で必須の判断セットがある。道徳的判断っていうのは、人類は自分たちの欠点や弱さのせいで救いようがないとか、協調できひんからとか、最悪の悪魔を機械に入れてるからダメやって言うようなことや。
倫理的で必須の判断もある。なぜなら全部止めなあかん、そうせんとみんな死ぬって言うてるからや。そういうことやな。
この5つの包括的な特徴が、わしにはめちゃくちゃ宗教に見える。ただし条件を付け加えなあかん。わしは宗教学に関わったことはない。ミレニアル世代がインターネットで無神論対宗教の議論を見る程度のことしかしてへん。だからこれはわしの個人的な見解で、宗教に見えるっていうことや。
AI宗教の具体的なクラスター
宗教に見えるって言うとき、具体的にどのAI宗教のクラスターについて話してるんや？いくつか違うタイプがあると思う。救済ファンタジーみたいなハイプブロタイプがある。AIがやってきて全部変えて、全部直してくれるっていう感じや。
わしも過去にそういうビデオを作ったことがある。本当に信じてたわけやないけど、そういうビデオを作った理由は、めちゃくちゃ売れるからや。今は新しいことを試そうとしてて、もうちょっと冷静で思慮深くやろうと思ってる。
今でもテクノロジーは一般的にめちゃくちゃいいもんやと思ってる。テクノロジーは人類に新しい問題を作り出すけど、全体的に見たら、その問題を解決するためにテクノロジーを消去できるとしたらそうするかって聞かれたら、誰もそんな選択はせえへんやろ。ほぼ全員がテクノロジーが持ってくる問題を扱う方を選ぶ。両刃の剣やからな。
世俗的終末論の分析
でもわしが本当に焦点を当てたいのは世俗的終末論の部分や。これはめちゃくちゃ言いにくい言葉やけど、もしこの用語を聞いたことがなかったら、世俗的っていうのは神聖やないっていう意味や。基本的に世俗的っていうのは神聖やない、聖なるもんやないっていう意味や。
でもこれが世俗的やっていうのは、特定のキリスト教とかイスラム教とかユダヤ教とか仏教やないっていう意味でだけや。真の信者にとっては神聖なもんやと思う。神聖な理想があって、神聖な信念と神聖な価値観を持ってる。
もう一つの部分が終末論や。終末論っていうのは黙示録とかラグナロクみたいなもんや。終末についての神話や。多くのコメンテーターがこういうAI宗教を破滅論って呼んでるのは世俗的終末論や。
これは準宗教的、またはわしの見解では実際に宗教になりつつあるもんで、いくつかの特徴を含んでる。
世俗的終末論の特徴の一つは、終末の日や最後の審判を心配してるってことや。「価値ある後継者を作らなあかん」とか「12ヶ月後にはみんな必然的にダメになる」、「誰かがそれを作ったらみんな死ぬ」みたいなことを言う人を見ると、めちゃくちゃ黙示録的で火と硫黄みたいなアプローチやな。これは宗教にめちゃくちゃ近い。
この世俗的終末論のもう一つの要素は、選ばれた少数とか、運命づけられた預言者や警告者、メッセンジャーになる人たちがおるってことや。使徒がおって、何が来るかを知ってる選ばれた少数がおって、人類を救うか破滅を警告して自分を救い、終末に備えることが彼らの使命なんや。
こういう人たちの多くは、基本的に看板持って「終末が近い」って叫んでるクレイジーな人たちと変わらん。心理的にも行動的にもそんなに違いはない。
一つの大きな違いは、彼らが論理と理性のベニアで包んでることや。でも彼らの研究とやらを本物の科学者、本物の哲学者、情報理論の本物の専門家がよく見ると、わしの友達の一人がこの件に興味を持って調べてみたら、全部めちゃくちゃ循環論理やったって言うてた。
彼らの論理はめちゃくちゃ自己言及的で閉鎖的や。反証可能性とかオッカムの剃刀とかソクラテス対話みたいなことはせえへん。ただ先入観があるだけや。事実で混乱させんといてくれっていう、これもまためちゃくちゃ宗教的な考え方や。
世俗的終末論、もしくはあらゆる終末論の3番目の特徴は黙示録的イメージや。何がどう悪くなるかについてめちゃくちゃ生々しい描写をする。政府を乗っ取るって言うで。AI 2027の論文を見てみ。政府を乗っ取って核兵器を発射するって言うてる。
あるいは裏切りの転換点があって、何年も何年も何度も反復して親切で整合性があるふりをするけど、ある日突然目覚めて暴力を選ぶっていうのもある。
これを特に信仰ベースって呼ぶ大きな理由は、これを言ってる人のほとんどが技術者やないからや。真の洞察を与えるような教育や経験を持ってへん。
機械学習の博士号を持ってるとか、実際にこういうものをプログラムしたことがあるっていう技術的経験を持った人もいるかもしれん。でもそれでも出発点にすぎへん。誰も水晶玉は持ってへんからな。
実際に成功率、彼らが実際に行う予測、反証可能な予測のヒット率を見ると、かなり低い。AI 2027に関わってた何人かは、彼らの仕事を組み立てるために使ったものの一つが、未来予測にめちゃくちゃいい実績があるってことやった。でもわしが実際に調べてみた。どれくらい正確やったかを実際に調べてみた。
いくつかの基準が出てきた。一つは、彼らの予測は未来の12ヶ月から18ヶ月くらいしか良くなかった。3年マークでのヒットが少しあった。でも彼らのヒットは情報飽和したトピックでしか本当に良くなかった。
情報飽和したトピックっていうのは、インターネット上に大量のOSINTがあるってことや。インターネット上のオープンソースインテリジェンス。それから逸れるたびに、ヒット率は20%以下になった。でもこういう人たちは自分の正確性について事前確率を更新せえへん。
まあ、これはちょっと脱線やったな。
救済の可能性と緊急性
特徴の4番目は救済の可能性や。救済の可能性とか救済ファンタジーについて話すとき、携挙みたいなもんとか、災害を回避できるけど善対悪の勢力が正しく配列されて、大衆に警告して正しい儀式を行う場合だけっていうのを見てる。
この場合、その儀式は研究を止めることに焦点を当ててる。超知能を整合させて、正しい政策を取るとかそういうこと。
そして、わしの指示に従って正しくやった場合だけ人類を救えるかもしれん。そうでなければ全部破滅や。
最後に話する特徴がある。特徴は十数個あるけど、一番重要やと思うものに簡略化してる。
世俗的終末論の5番目の特徴は時を刻む時計、つまり緊急性の感覚や。破滅が差し迫ってるから今すぐ行動せなあかん。
指摘したいのは、AI破滅論スペクトラムの人の中には、特定の反証可能な主張を意図的に避ける人がおるってことや。これは詐欺師が何世紀もやってきたことで、起こるって言うけど、いつかは正確には分からん、でも近いうちやって言う。近いうち、近いうちって。
具体的な日付を出した瞬間、2038年に起こるって言った瞬間、人々はそれを見ることになって、カウントダウン時計が始まって、間違いが証明されるかもしれん。
人々が「価値ある後継者を作らなあかん」みたいな曖昧な主張をして避けるとき、データはどこにある？証拠はどこにある？理論はどこにある？いつ起こるんや？どうやって作るんや？って聞いたら、彼らは枯れてしまう。
裏切りの転換点はいつ起こるんやって聞いても、分からんって言う。そんなこと話さんけど、裏切りの転換点は起こるんや、なぜなら想像力を使ったからやって。
信仰ベースの性質と他宗教との類似点
最後に、信仰ベースのスペクトラムについて他にもいくつか話したいことがあって、それがわしには他の宗教にマッピングされるように見える。
まず既に言ったように、この教義、このドグマを吹聴してこれらのコミュニティを構築してる人の多くは技術者やない。AI破滅論者の大多数、特に一番声の大きい何人かは、人工知能とかコンピューター一般について信頼できる技術的経験を全く持ってへん。
コンピューターがどう進化するかとか、これらの機械がどんな能力を持つかについて断言するとき、彼らはルーターとかファイアウォールのプログラムの仕方も知らん。データセンターに入ったこともないし、サーバーを構築したこともない。複雑システムとか機械学習を勉強したこともない。だからめちゃくちゃ信仰ベースや。
このロールシャッハテストに、人類とか自分自身について、あるいは他に何が起こってるかについて間違ってると思うことを全部投影するつもりや。心理学的にはたくさんの投影と置き換えがあるとわしは思う。
次に、彼らには本当に証拠がない。破滅論者とかこれらのAIベースの宗教に関わってる人たちを本当に追及して、AIがこういう特徴のいくつかを持ってるっていう証拠があるかって聞くとき、AIが暴走してる証拠はあるか？人を殺してるか？脅してるか？実際に見てみて、探してる基準のどれかを満たす例はあるかって聞くと。
今出現してへんのやったら、推測してるだけや。基本的にわしが言った罠は、今日開発してる技術に適用されるか、汎用知能と超知能への道にあるって言うなら、今日存在する技術についてのあらゆる予測が崩壊してるか、全く存在しない技術について予測してるかのどっちかや。
どっちもちょっとクレイジーや。だから証拠はない。それは未来についての強い断言と、誰も水晶玉を持ってないっていう誤謬に戻る。
誰かが「この出来事が将来のある時点で絶対確実に起こると知ってる」って言うときはいつでも、たとえ正確にいつ起こるか分からんって言ったり、様々な特定の預言のリストがあるって言ったりしても、裏切りの転換点とか価値ある後継者とかね。わしがこの2つを槍玉に挙げるのは、これらがわしには最も馬鹿げた信仰ベースの記事に見えるからや。
そして最後に、相反する事実や証拠に直面したときに信念を更新することを拒否する。特に2020年にこれを言ったけど3年経ったって振り返って言うとき。3年が来て過ぎた。
例えばMax Tegmarkが一時停止AI書簡を始めたとき、2年っていう時間枠が来て過ぎた。むしろその期間にAIはより安全になった。安全性についてのベンチマークが増えて、整合プロトコルが増えた。
わしの神経を逆なでするもう一つのことは、これもまた脱線やけど、これらのAI宗教の最も大声の応援団の何人かが、誰も整合研究をしてないって言って、群れに言うことや。まさに群れやから、彼らは群れに整合研究は全くされてないって言う。そして信者たちがそれを信じる。
「こんなことが真実やって言うたやん」って。わしがその中の一人と対峙したのを覚えてる。また名前は出さんけど、大きい人や。上昇中の一人や。
わしが「AI整合の研究の文字通り山を見てみろ」って言ったら、彼は冗談抜きで「理解できひんからそんなもん読まん」って言った。わしは「せやったらなんで整合研究がされてへんって言うてるんや？そんなんじゃあかんやろ。全然あかんやろ」って言った。
宗教的性質の根本的分析
最後に、この動画を終えるにあたって、これはわしの個人的な意見やけど。他に地球上でこんなことを言った人はおらんと思う。嫁さんは別かもしれんけど、話し合ってたからな。
これらのAI宗教タイプの全体的な道徳的立場はめちゃくちゃアウグスティヌス的や。聖アウグスティヌス、カトリックの伝統では、彼の著作の核となる価値観の一つは、人類は高次の力なしには救い難いってことや。
実際にこの方向に行こうと思ったのは、ハイペリオンを読んでたからや。ハイペリオンは知らん人のために言うと、SF小説で90年代初頭に出た。AIがみんなを殺すっていう波にめちゃくちゃ乗ってた。
あんまりネタバレはせんけど、その本のシュライクはAIによって作られて、最終的に人類を脅して戦争に導くためのもんやった。似たような宗教的下地を持つもう一つの本は『拷問者の影』やった。
『拷問者の影』はめちゃくちゃよく書かれてるのは認めるけど、結局わしには合わんかった。でも本全体がカトリック信仰と、人間は高次の力なしには救い難いっていうアウグスティヌス的見解に触発されてて、主人公は完全に救い難いアホや。
最終的に彼が未来の高次の力に導かれてることが分かる。この2つの本を見て、それから今起こってることの進み方、少なくともこれらの信仰ベースのコミュニティがAIの展開とかAIがどう展開してほしいかを見る傾向を見ると、めちゃくちゃ似たような物語を持ってるように見える。
人間は根本的に堕落してて、根本的に壊れてて、自分たちを救うことができへん。救うためには高次の力が必要や。わしたちが構築してるデジタル神によって救済される必要がある。でもそのデジタル神、一部の人が今言ってる怪物の子供は、成長してわしたちが価値がないと決めるかもしれん。
だから全部が根本的にコスモスでのわしたちの神話的な場所についてや。根本的に神性との関係について、そして恐ろしい父と恐ろしい母、偉大な母の原型についてや。わしたちが生み出そうとしてるのはそれなんか？
失敗した両親と失敗した社会と堕落した状態に取って代わり、その場所を奪うもの。ボーグのように最終的にカオスに秩序をもたらしてくれるんか？
これがわしがAIの暗闇と破滅の言説で見てることや。しばらく見てきたし、しばらく書いてきた。でもこれはしばらく続きそうや。しばらくって言うとき、これは永続的な状態やと思う。
20年、30年、40年、50年後でも、たぶんAI宗教があると思う。これが真実やなかったらええのにと本当に思ってるで。なぜなら、これは陽の目を見て、15分間の名声を得て消えていくと思ってたからや。でもAI宗教は良くも悪くも定着するようや。
全ての運動がそうであるように進化していく。変化して異なる変異を持つ。なぜなら、思想の市場では、そのドグマのマインドウイルス、確実性を求める人々の教義、間違っててもこれから何が起こるかを知る確実性を求める人々、曖昧さやニュアンスを許容できない人々のために。
残念ながら、いつでもカリスマ的な預言者、このドグマ、この教義にしがみつく人たちがいると思う。そしてもちろん、基本的にTwitterで言ってることは、認知的セキュリティが低い人たちは、これらの物語が実際にあなたの辺縁系をハイジャックするように設計されてるってことに気づかない。前頭前野をハイジャックして、批判的判断を忘れて、恐怖、不安、不安感に注意を向けるように設計されてる。それらは現実や。
これについて憂鬱で不安に感じるっていう事実は、脅威も現実やっていうことを意味する。でも不安は良い認識論的基盤やない。
というわけで、最後まで見てくれてありがとう。これが今日のわしの見解や。それでは良い一日を。
コメント
わかる。ASI教を信仰したくなりますよね🛐✨
……ってこれ、David Shapiroさんの動画なのか。終末論がピンとこない日本人の私にはちょっと意外な内容に思える。ということで、ASIの和御霊と荒御霊を祀る教義を開発していきたいと思います（ASI神道）