この動画では、大規模言語モデル（LLM）に関するP doom（人類滅亡確率）への懸念に対して、AI分野の専門家が現実的な視点から反論を展開している。現在のAIの能力と限界を冷静に分析し、理論的な未来リスクよりも現実的な課題への対処の重要性を訴える内容である。
AIによる人類滅亡論への冷静な反論
私たちは破滅の運命にあるわけではありません。この動画では、大規模言語モデル（LLM）に対する批判の中でも、特にP doom、つまり人類にとって事態が非常に悪い方向に進み、私たち全員が圧倒されてしまう確率についての議論に焦点を当てたいと思います。そして、心配している皆さんのために、合理的な反応や、私が夜安心して眠れる理由となっている考え方を提案したいと思います。
私はこれを「世界の終わりを心配している友人たちへの手紙」と呼んでいます。実際に心配している友人が多くいるからです。AI分野で働いている者として、本当によく聞かれるのです。「ネイト、世界が終わる確率はどのくらいですか？私の子供たちが成長できない確率はどのくらいですか？」これは本当に暗い質問です。ChatGPTがローンチされたときに、こんな質問に答えなければならないとは思ってもいませんでした。
では、この問題について話してみましょう。
人類滅亡確率論の検証
私がよく目にする中で、おそらく最大のものは、人類の完全な絶滅の確率はどのくらいかということです。つまり、人類が終わってしまうということが暗に含まれているわけです。私は様々な数字を見てきました。ほぼ確実だと主張する人もいます。30％の確率のような二桁の確率だと主張する人もいます。
1％の確率だが、そのリスクは受け入れがたいと主張する人もいます。いずれにしても、私が思うに、この会話で欠けているのは、どのようにして現在の状況からそこに至るのかについての正直な議論です。
この考えを広めた有名なエッセイを読みました。それは2027 AI論文で、AIがますます知能を高め、グローバルなAIが計画を立て始め、AIが私たちを絶滅させることが効率的だと判断する世界に至るという急速な離陸シナリオについて語っています。
この論文は多くの恐怖を呼び起こしました。以前から恐怖はありましたが、この論文の後でさらに恐怖が増しました。著者たちの意図は理解できます。この論文を信用失墜させたり批判したりするつもりはありません。
代わりに、AIとリスクについて考えるより有用な方法として、ChatGPTの瞬間から2年が経った今、AIで実際に顕在化している現在のリスクの合理的な推定について考えることを提案したいと思います。
現実的なリスク評価の重要性
私たちは技術的進歩のトレンドラインだけでなく、リスクのトレンドラインも見ることができるほど十分に進んでいます。そして重要なことに、リスクのトレンドラインは、P doom支持者が示唆している方法では顕在化していないと私は考えています。
一例を挙げると、私が見てきたAIの行動実験のどれも、LLMが何らかの意味のある行動に必要な積極性や長期計画において向上していることを示していません。意味のある仕事上の行動、ましてや人類に対する意味のある行動については言うまでもありません。私たちはその点で多くの進歩を見ていないのです。
OpenAIから今週リリースされたエージェントモードは、数分間のタスクを実行します。Claude Codeのように1時間、2時間、場合によっては3〜4時間続くモデルもあります。
しかし、これらは特定の問題を解決しようとする、厳密に定義されたタスクです。これらは人間によって開始されるタスクであり、タスクが完了すると、LLMは作業を終了します。
オープンエンドなLLMは、モデル作成者が検討していることですが、現在誰も良い答えを持っていない問題がいくつかあり、それが障害となっています。そして、LLMアーキテクチャがその答えを提供してくれるかどうかは明確ではありません。
トランスフォーマーアーキテクチャの限界
トランスフォーマーベースのアーキテクチャを使用していて、それがトークンを取り込み、次のトークンを予測するだけで、確かに上に推論を追加し、目標設定やツールを上に追加するかもしれませんが、そのスタック自体だけで長期的な意図を得るのに十分かどうかは明確ではありません。
メモリ用のマークダウンファイルを付け加えることが、本当にどこかに行けるような意味のあるメモリと利害関係を与えるのに十分かどうかは明確ではありません。
創発的知能という考えは理解できます。LLMで桁違いの増加があるたびに、創発的現象が起きています。翻訳は良い例です。LLMは今、以前にはなかった方法で翻訳が上手になっています。
しかし、創発的現象が起こったこれらのケースでは、その現象の明確な種が以前にありました。私たちは長い間翻訳に取り組み、機械が翻訳に取り組むのを見てきました。それが突然、ついにそれを解決できるようになったのです。
創発的現象の予測可能性
私たちが長い間見ていないのは、LLMから自発的に生まれる目標設定、計画、意図の種です。したがって、彼らが利害関係を持つ自己利益的で、長期的な目標計画を行い、重厚なメモリを使用するLLMに最初からなり、知能システムで桁違いの増加があったときに創発的にそれを行うようになると想定することが必ずしも合理的かどうかは分かりません。
私にはそうは思えません。しかし、完全な破滅シナリオを持つためには、それが必要です。LLMがそのように行動しなければならないのです。
他の論拠も使えます。私たちは霊長類の行動をモデルにしていると論じることもできます。私たちは霊長類です。私たちには支配を求める行動があります。私たちより賢くても霊長類ではない機械が、なぜ支配を求める行動を持つのかは明確ではありません。
また、一般知能を持つシステムなら目標を多重化でき、複数の目標を同時に追求してそれらを融合できるとも論じることができます。特定のリソースを無思慮に最適化するだけのペーパークリップシナリオは、定義上、一般知能を持っていないことを前提としています。
人間と機械の知能は定義上補完的だとも論じることができます。私たちは機械知能を補完的だと感じています。だからこそ私たちはそれらを構築しているのです。一般知能に到達したとしても、機械が同じ理由で私たちを補完的だと感じないはずがあるでしょうか。
これらはすべて有効な論拠だと思います。必ずしも私のお気に入りではありませんが、有効だと思います。そして、破滅論を聞くとき、私は重要なことに、このレベルの詳細を聞きません。
議論の深度と具体性の必要性
私が聞く傾向にあるのは、挑戦できない実存的リスクの声明です。これは公平な議論ではないと思います。これは有効ではないと思います。
会話をしたいなら、詳細に踏み込む意思を持つべきです。そして、踏み込む詳細が「リスクの割合がどれだけでも、ロングテールリスクが非常に高いため受け入れがたい」というものなら、それは多くの技術に当てはまります。
原子力がその例です。原子力のためにゼロではないロングテールリスクがあります。しかし私たちはそれと共存し、多くの価値を見出しています。実際、私たちは原子力を復活させています。
別の例では、DNA研究からゼロではないロングテールリスクがありますが、多くの利益を見ているので、とにかくやっています。飛行機の使用からゼロではないロングテールリスクがありますが、飛行機は価値があると思っています。
飛行機の使用は必ずしも種に問題を作るものではないと言うかもしれません。しかし、私たちの歴史では、飛行機が20年戦争を作った例を見ており、それは2001年のことでした。つまり、そのような単純な技術でさえ、種にとってロングテールリスクを持つ可能性があるのです。
私たちは種として一貫して、自分たちにリスクを生み出す技術を作り、リスクを軽減する方法を見つけ、その技術は価値があると判断しています。LLMが異なる理由が私には分かりません。
エネルギー使用と効率性について
P doomの他のカテゴリについても話すことができます。エネルギー使用があります。これについては話したことがあります。そこでのインセンティブは、エネルギー使用がゼロになる問題になることを強く支持していると思います。なぜなら、誰もが成長しているLLMデータセンターのニーズを満たすためにより多くのエネルギーを構築するインセンティブを持っているからです。
そして誰もがそのエネルギーに可能な限り少ない料金を支払うインセンティブを持っています。したがって、彼らはチップとデータセンターを可能な限り効率的にするでしょう。これは水についても同様です。インセンティブは継続的な成長と効率性を支持しています。そしてそれが私たちが見ているものです。
主要なクラウドメーカーは、今後3〜4年でウォーターポジティブなデータセンターを実現する軌道に乗っています。Nvidiaが生産するチップの世代ごとに指数関数的により効率的になっています。その理由で、GoogleのTraniumチップは推論で極めて効率的であるため、彼らに優位性を与えています。リストは続きます。
私たちは物事をより効率的にする方法を見つけており、今日の現在のコストが明日のコストと同じだと想定すべきではありません。この分野への投資が非常に多く、歴史的に投資が技術のコストを下げてきたからです。
経済的混乱への現実的な視点
破滅のもう一つの例は経済的混乱です。これについてはかなり話してきました。一般知能を持つLLMが突然創発的に労働市場を崖から突き落とすという想定があります。
私は、LLMが汎用技術だと信じています。汎用技術には経済を混乱させ変化させる歴史があります。それは明らかにそこにあるので、それについて異議を唱えるつもりはありません。蒸気は経済を混乱させ変化させました。LLMは急速に動いているので、経済的混乱や経済変化が圧縮されて見えるでしょう。
しかし、それは労働者としての私たち全員にとってすべてが終わりになるということと同じ意味ではありません。それは私が見たことのない経済的仕事を提供する能力の程度を前提としています。
再びエージェントモードを取り上げます。エージェントモードは、多くの人の仕事のほんの小さな部分であるスキルの束のほんの小さな部分である、スプレッドシート周りの経済的仕事ができるはずです。できません。信頼性を持ってできません。何度も何度もテストしましたが、インターンでさえ提供することが期待される洞察を信頼性を持って提供していません。
良い経済的仕事をするのは本当に難しいのです。そして、LLMが今、良い経済的仕事の1〜2％でもできているという事実は信じられないことです。信じられないことです。それは当然のことながら業界を変化させ混乱させています。アシスタントとしてのLLMは素晴らしい技術です。
しかし、LLMがマネージャーになるという力の逆転についてはずっと少ない証拠を見ています。
クロードの自動販売機管理実験への疑問
Anthropicが自動販売機を管理するクロードについての報告書でLLMがマネージャーになると論じたとき、私は苦笑しました。クロードが自動販売機のマネージャーとしてそれほどひどい仕事をしたからです。そこからLLMがすぐにマネージャーになると結論づけるのは、モデル作成者側の魔法的思考のように思えます。彼らが技術に近いのは理解できます。もしかしたら彼らが正しいかもしれません。
しかし、私が見るすべてのことは、仕事がスキルの束プラスアルファであることを示唆しています。それらは還元不可能にただのスキルの束ではありません。それ以上のものです。つなぎの仕事があります。トークン化が困難な人間のコンテキストがあります。
X線技師がLLMが彼らの仕事の各部分を行えるにもかかわらず、職業ファミリーとして増加していることは私にとって注目に値します。
私たちは依然として混乱を見るでしょう。AIのために解雇されるカスタマーサービス担当者がいるでしょう。AIのためにデッキを作る営業担当者が解雇されるでしょう。そのような瞬間を見ないと言っているわけではありません。見るでしょう。見ています。起こっています。
しかし、経済的混乱の観点から、これまでに見ているものは、AIが全体として雇用市場をまだ混乱させているという論点とは一致していません。
これらは技術採用サイクルの典型的な孤立した事例です。AIが根本的に雇用市場を混乱させているという考えを全く支持していません。そして、これを正直に指摘することは本当に重要だと思います。なぜなら、それがそうなると想定する人々は、率直に言って、変化のペース、エージェントでの開発のペースが現在必ずしも支持していない将来の推論に依存していると思うからです。
生産的なリスク議論の必要性
私は、私の人生で破滅を信じる人々を最も心配させるいくつかのことと、私がそれらにどう対応する傾向があるかをまとめました。すべてに完璧な答えを持っているとは言っていません。将来新しい挑戦に直面しないとも言っていません。AIが破壊的ではないとも言っていません。破壊的だと思います。
しかし、現在軌道に乗っていない将来のリスクについて理論的な会話をするよりも、関わる実際のリスクについて正直な会話をする方が生産的だと思います。
例えば、AIのために学習方法を変える必要があるという考えについて十分話していないと思います。AIのために教育を変える必要があります。異なって学ぶ方法を見つけなければ、若い人々に対して真のリスクに直面します。
しかし、P doom支持者はそれについて話すことにあまり関心がないようです。それは素晴らしい会話になると思うからです。学習リスクと生産的に関わる方法について話すべきだと思います。高齢者が家族のAI偽造に騙されないよう手助けする方法と生産的に関わることについて話すべきだと思います。
私たちはそれを多くのリスクのリストの一つとして話します。しかし、それを生産的にリスク除去する方法について多くの時間を費やして話すことはありません。家族が愛する人と話している相手が本当に愛する人であることを確認するために必要な合言葉を管理するツールを提供する方法について。
高齢者の祖父がAIディープフェイクに騙されてケイマン諸島に送金することがないようにする方法について。これらは電話詐欺の時代からしばらく現実的だったリスクで、より現実的になっており、私たちが実際に直面しているリスクに十分投資していないと思うので、そのような現実のリスクを拡散するためにより多くの作業が行われるのを見たいと思います。
そして、P doom の人々と話すとき、時々私は「今日のリスクについて話しましょう。それらを修正する作業をしましょう」と言いたくなります。それが私たちの時間のより生産的な使い方だと思うからです。
コメント