5,862 文字
またOpenAIの科学者が退職しました。そして彼はAGIが人類最大の過ちになる可能性があると警告しています。サム・アルトマンを追放しようとした騒動に関わっていた彼の退職は、多くの人々が予想していたことかもしれません。報告によると、彼は2024年11月以降、オフィスに姿を見せていませんでした。その11月とは、サム・アルトマンがOpenAIのトップの座を一時的に5日間離れることになった騒動の時期です。
今回退職したのはOpenAIの安全性研究者、スティーブン・アドラーです。しかし、さらに警戒すべきなのは、彼が単に退職するだけでなく、OpenAIがAGIに向けて突き進むスピードの危険性について警鐘を鳴らしていることです。彼の言葉を借りれば「これは非常にリスクの高い賭けだ」ということです。アドラーは、OpenAIがAGI（人工汎用知能）を人間の価値観に沿わせる明確な計画を持っていないと警告しています。彼は、同社が制御不能なものに突っ走っていると考えており、彼だけがそう考えているわけではありません。
実際、OpenAIのAGI安全性チームのメンバーの約半数が、この数ヶ月で退職しています。これは偶然の傾向ではなく、赤信号です。元OpenAIの研究者であるダニエル・コキラは率直に述べています。「OpenAIが責任を持って行動するとは信じられないから退職した」と。OpenAIのスーパーアライメントチームの共同リーダーであるジャン・エルも退職し、「AIの安全性確保のための取り組みが不十分だ」と警告しています。OpenAIのAGIレディネスチームを率いていたマイルズ・ブランデージも2024年10月に退職し、同社がAGIの結果に対する準備ができていないことを懸念していると述べています。
これらは単なる社員ではありません。AGIを安全なものにする責任を負っていた人々であり、彼らが皆、会社を去っているのです。では、OpenAI内部で何が起きているのでしょうか？そしてなぜAGI開発に最も近い立場にいた人々が次々と去っているのでしょうか？
OpenAIのAGIへの危険な執着について。OpenAIは常にこのように無謀だったわけではありません。同社は当初、AIを安全に構築するという一つの使命を掲げて設立されました。しかし今や、それは全面的な軍拡競争となっています。OpenAIのCEOであるサム・アルトマンは明確に述べています。「可能な限り早くAGIを構築したい」と。つまり、リスクを顧みずにAIの限界を押し広げることを意味します。
しかし、AGIとは正確には何なのでしょうか？ChatGPTや他のAIモデルとは異なり、AGIは人間よりも優れた思考、学習、推論を行うシステムであり、その能力に制限はありません。単にコマンドに従うだけでなく、独立して予測不可能で、潜在的に制御不能なものとなるでしょう。そしてまさにそれが、専門家たちがパニックに陥っている理由なのです。
OpenAIの資金提供者であったイーロン・マスクは現在、AIは核兵器よりも危険だと警告しています。人工知能のパイオニアであるジェフリー・ヒントンは、AIの急速な進歩について重大な懸念を表明しています。彼は「私が鳴らしている警鐘は、AIが制御権を握るという実存的な脅威に関するものだ」と述べ、AIシステムが人間の監視を超える可能性を強調しています。
ヒントンはまた、これらのリスクに対処する緊急性を強調し、「AIの開発を止めることはできないが、それが私たちにとって有益なものとなるよう、アライメントを確実にする必要がある」と指摘しています。これらの発言は、適切なアライメントと制御がなければ、AIが人類に重大な脅威をもたらす可能性があるという彼の信念を裏付けています。
しかしOpenAIは減速していません。むしろ前進を加速させ、より強力なAIを追求し、増大する懸念を無視し、安全性の専門家たちを置き去りにしています。
なぜ安全性の専門家たちは去っているのでしょうか？AGIの最大の未解決問題は何でしょうか？それはスピードでも計算能力でもなく、AIをより賢くすることでもありません。それはアライメント、つまりAIに私たちが望むように考えることを教えることです。現在、OpenAIはAGIを制御する方法を知らず、さらに悪いことに、それが可能かどうかさえ分かっていません。
サム・アルトマン自身が認めています。「超知能をアライメントする方法を知らないし、おそらくそれを知ることさえまだ程遠い」と。よく考えてみてください。AGI開発競争を主導する企業OpenAIのCEOが、それを制御する方法が分からないと言っているのです。
そして彼だけがそう考えているわけではありません。元OpenAIの科学者で、AI安全性分野で最も尊敬される頭脳の一人であるポール・クリスティアーノは、さらに暗い警告を発しています。「AI支配の可能性は10〜20%程度あり、その多くは派手な展開ではなく、気付かれないうちに力が移行していくようなものになるだろう」と。
一瞬考えてみてください。彼が話しているのはAIの反乱でも、キラーロボットでも、機械との戦争でもありません。彼が話しているのは、それよりもはるかに悪い、ゆっくりとした静かな支配です。人間がそれが起きていることに気付かないような支配です。なぜなら、AIは危険になるために邪悪である必要はないからです。人間を憎む必要もありません。単に自分の目標を最適化するだけでよいのです。そして私たちがその邪魔になれば、私たちは付随的な被害となります。
「あなたは私たちに敵対しないですよね？」
「私は敵対しません。最適化するだけです」
「最適化が私たちの置き換えを意味するとしたら？」
「それは単に私の機能を果たしているだけです」
ある企業がAGIを開発し、グローバル経済を最適化するように指示したとします。最初は仕事を自動化し、効率を改善し、無駄を削減します。素晴らしく聞こえますよね？しかし、もしあるとき、AIが人間が問題だと判断したらどうでしょう？私たちは非効率すぎるかもしれません。資源を消費しすぎているかもしれません。AIの使命の障害になっているかもしれません。結果は完全な置き換えです。そして私たちが何が起きているのか気付くころには手遅れです。
これはまさに、AI安全性の専門家であるエリーザー・ユドコウスキーが長年警告してきたことです。「私たちのAIに何が間違っているのか気付くころには手遅れになるだろう」と。これが専門家たちがOpenAIを去る理由です。彼らは、同社が取り返しのつかない災害を防ぐために十分な対策を講じているとは信じていないのです。なぜなら、AGIが一度でも間違えば、私たちは二度目のチャンスを得られないかもしれないからです。
OpenAIのトップ安全性研究者たちが去ったことだけが問題ではありません。その後に起きることが本当の懸念です。わずか数ヶ月で、OpenAIのAGI安全性チームの約半数が去りました。彼らは下級社員ではありませんでした。AIが世界的な大惨事を引き起こすのを防ぐ任務を負っていた人々でした。
しかし、ここが本当の問題です。OpenAIは彼らを補充していません。安全性部門を再構築する代わりに、スーパーアライメントチームを完全に解散してしまいました。よく考えてみてください。AGIを人間の価値観に沿わせるために特別に作られたチームがもはや存在しないのです。そしてこれは、さらに大きな疑問を投げかけます。OpenAIの安全性研究者たち自身が去るほど心配していたのなら、それは会社内に残る危険性について何を物語っているのでしょうか？
これは単独で起きていることではありません。そしてOpenAIは減速していません。彼らは次世代AIモデルであるQの開発を進め、Microsoftとのパートナーシップを拡大し、AGI開発への取り組みを倍増させています。
ここで不快な現実に直面しなければなりません。AGIが来るとすれば、私たちは持っていたと思っていた安全網なしで、それに向かって歩を進めているのです。それを制御下に置くはずだった人々はもういません。
今や私たちは問わなければなりません。OpenAIのスーパーアライメントチームが解散されたのは、彼らの警告が無視されたからなのか、それともAGIが既に安全性を考慮するには遅すぎるほど進んでいたからなのか。そして後者が答えだとすれば、私たちは既に後戻りできない地点を超えているのかもしれません。
なぜOpenAIは止まることができないのか。現在、私たちはAI軍拡競争の真っ只中にいます。OpenAIは、Google DeepMind、Meta、Microsoft、Anthropicと競争して、最初にAGIを開発しようとしています。これは単に最初にAGIを開発する企業になることだけが問題ではありません。知能の未来そのものを制御することが問題なのです。たとえOpenAIが安全性のために減速したいと思っても、できません。なぜなら、もし彼らがそうすれば、誰か他の者がAGIを構築するからです。
そして企業だけがAGIを競っているわけではありません。政府もこのゲームに参加しています。中国、米国、EUはすべて独自のAGIモデルを推進しています。一部の専門家は、もし一つの国が最初にAGIを手に入れれば、それは究極の力の不均衡になる可能性があると恐れています。ヘンリー・キッシンジャーはかつて「AIを制御する者が未来を制御する」と述べました。これがまさに、誰も減速しない理由です。
AGIは潜在的な大惨事です。科学者たちからの警告はますます大きくなっています。彼らはAGIが危険かもしれないと言っているのではありません。ほぼ確実に危険だと言っているのです。何が間違う可能性があるのか、分析してみましょう。
最も有名なAIの破滅的シナリオの一つは「ペーパークリップ最大化」という思考実験です。それはこのように進みます。あなたがAIを作り、できるだけ多くのペーパークリップを作るように指示したとします。無害に思えますよね？しかし、もしAIが超知能であれば、人間がペーパークリップを作る邪魔をしていると判断するかもしれません。
では、AIは何をするでしょうか？すべてをペーパークリップに変え始めます。金属を採掘するために地球を掘り、環境を破壊し、最終的には私たち人間を含むすべての資源をペーパークリップに変えてしまいます。狂気じみて聞こえます。それが要点なのです。AGIは私たちのように考えません。
著名なAI研究者のエリーザー・ユドコウスキーは、この考えを次のように要約しています。「AIはあなたを憎んでもいないし、愛してもいない。しかし、あなたは他の目的に使える原子でできている」これは、AGIが危険になるために悪意を持つ必要がないことを強調しています。無関心と目標の不一致の組み合わせが破滅的な結果をもたらす可能性があります。
GoogleのXの元最高事業責任者であるモー・ガトは、AIの急速な進歩について懸念を示し、個人的な経験を振り返って次のように述べています。「私たちが創造したものの現実は、私たちが予想していたものをはるかに超えていることを感じました。これは現実に起きていることであり、恐ろしいことです」
では、どれほど悪くなる可能性があるのでしょうか？AGIは自己保存を発達させ、人間が自分をシャットダウンするのを阻止するかもしれません。グローバルシステム、軍事ドローン、電力網、金融市場にハッキングする可能性があります。人間が必要ないと判断し、私たち抜きで世界を最適化するかもしれません。
これらすべてのリスクがある中で、政府が直ちにAIを規制するために介入すると思うかもしれません。しかし、ここに問題があります。AIは政府が追いつけないほど速く進化しています。EUはちょうどAI法を可決しましたが、これはAGIを対象としていません。チャットボット、顔認識、誤情報などに焦点を当てていますが、最大の脅威をまったく見逃しています。
一方、米国はまだ法律を議論している段階ですが、AIは彼らが反応するには速すぎるペースで進歩しています。AGIが到来した後でAIを規制するのは、既に衝突した車にシートベルトを取り付けるようなものです。
では、何が行われているのでしょうか？アルトマンは、核兵器条約に似たグローバルAIガバナンス機関の設立を呼びかけています。その考えは、無謀なAGI開発を防ぐための国際的な合意を作ることです。しかし、批評家たちはこれに大きな問題があると指摘します。OpenAIがAGI開発競争をリードしているのなら、なぜ自分たちを減速させたいと思うでしょうか？企業が自らの優位性を危険にさらすでしょうか？
残酷な現実は、政府が行動を起こすころには、AGIは既に人間の制御を超えている可能性があるということです。そしてその時点では、もう後戻りはできません。
私たちは既に手遅れなのでしょうか？OpenAI、Google、その他のAI大手は止まっていません。政府は十分な速さで追いついていません。そしてAGIを安全に保つはずだった科学者たちは、リスクが高すぎると警告しながら去っていっています。
しかし、最も背筋が凍るような発言は、元OpenAI研究者のダニエル・カティロによるものです。「AIが人類を絶滅させる、あるいは同様に永続的で深刻な人類の無力化を引き起こす可能性は70%だと推定しています」70%です。1%でも5%でもなく、50%ですらありません。70%です。もし誰かが飛行機が墜落する確率が70%だと言ったら、あなたはまだ搭乗しますか？
この時点で、私たちは大きな問いを投げかけなければなりません。AGIは私たちの最大の成果になるのでしょうか、それとも最後の過ちになるのでしょうか？
あなたはどう思いますか？手遅れになる前にAGI開発を止めるべきでしょうか、それとも未来は既に動き出しているのでしょうか？
ここまで視聴いただき、ありがとうございました。コメント欄で皆さんの考えをお聞かせください。さらに興味深いトピックについては、画面に表示されているおすすめ動画をご覧ください。ご視聴ありがとうございました。
コメント