OpenAIは新しい製品を発表し、新たな能力を明らかにするという素晴らしい仕事をしていますが、同時にAIの安全性に関して暗雲が立ち込めています。先日お伝えした通り、イリヤ・サツケーバーはOpenAIを離れました。彼らは別れることを決めましたが、誰もそれについてあまり話していません。同時にジャン・レイも辞任を発表し、今日このように投稿しています。彼は「これまで楽しかったし、ありがとう。野心的な旅だった」といった標準的なことを言っていますが、その後、彼は話を変えます。ここでは通常言われることを言っていますが、トーンが変わります。彼は「この仕事を辞めるのはとても辛い決断だった」と言い、「我々はより賢いAIシステムを制御する方法を緊急に見つける必要がある」と述べています。彼は「OpenAIがこれを研究する世界最高の場所だと思って参加したが、会社の核心的な優先事項について経営陣と意見が合わず、ついに限界に達した」と言っています。彼は「次世代のモデルに対するセキュリティ、モニタリング、準備、安全性、敵対的な堅牢性、スーパーアライメント、機密性、社会的影響などにもっと多くのリソースを費やすべきだと信じている」と述べています。彼はこれらの問題が非常に難しいと考えており、我々がその道筋に乗っていないことを懸念していると言います。過去数ヶ月間、彼のチームはコンピュートを確保するのに苦労しており、この重要な研究を完了するのがますます困難になっていたと言います。人間よりも賢い機械を作ることは本質的に危険な試みであり、OpenAIは全人類を代表して莫大な責任を負っていると言います。しかし、過去数年間、安全文化とプロセスは派手な製品の背後に置かれてきたと言います。我々はAGIの影響について非常に真剣に取り組むことが長い間遅れていると言います。我々はそれに最善を尽くして準備することを優先しなければならないと言います。そうして初めて、AGIが全人類に利益をもたらすことができると言います。OpenAIは安全第一のAGI企業になるべきだと言います。全てのOpenAIの従業員に対して、AGIを感じ、その構築に適した重みを持って行動することを学んでほしいと言います。文化の変革を実現できると信じています。私はあなたたちを頼りにしており、世界はあなたたちを頼りにしています。OpenAIの心臓部です。
まず第一に、驚きです。AGIが登場するのは一度だけです。これは以前のものとは非常に異なると感じます。以前は、ヒントや噂がありましたが、誰も話をしませんでした。おそらく契約や機密保持契約、様々な理由で話したくないということでしたが、誰も本当に何も話しませんでした。イーロン・マスクがOpenAIを訴えて、いくつかの文書を陪審の前で読むよう求めたと聞きました。Qスターのようなことについての文書です。背後で何が起こっているのかについてです。これはイリヤ・サツケーバーの写真です。彼は正式にOpenAIと別れました。こちらはジャン・レイです。これらはすべてリアルタイムで起こっています。そしてvox.comが今日公開した記事では、なぜOpenAIのチームが人類の安全を守るために崩壊したのか、会社の内部者が説明しています。11月にサム・アルトマンが解任されたクーデターの背後にいると信じられている元取締役のヘレン・トナーの話があります。OpenAIのいくつかのAI安全研究者が情報漏洩のために解雇されたことがあります。たとえば、QARの詳細が漏洩しましたが、そのプロジェクトが存在するという事実だけが確認されましたが、詳細は提供されませんでした。
これがさらに深くなるのは、内部で何が起こっているのか、なぜ人々が口を閉ざしているのかについて新しい情報が出てきたからです。まずはこちらがサム・アルトマンです。彼はジャン・レイの投稿に5時間前に反応しています。サム・アルトマンとリーダーシップに対する不一致について非常にはっきりと言っており、十分な安全対策が取られていないと考えていると述べています。OpenAIの従業員は非常に慎重に行動するべきだと言っています。サム・アルトマンは「ジャン・レイの貢献に感謝し、彼が去るのは非常に悲しい。彼は正しい。もっとやることがある。我々はそれにコミットしている。数日中にもっと詳しく書く」と述べています。彼が具体的にどのような問題があるのかについてもっと明確にしてくれることを期待しています。ジャン・レイは具体的に「コンピュートが足りない」と言っていましたが、それ以上の何かがあるように感じます。そして正確に知りたいと思います。
これは以前のRedditの投稿ですが、それを見てみる前に、理解しておくべき非常に重要で少し厄介なことがあります。現在、私たちは政治が主流化している瞬間に生きています。ますます多くの人々が立場を取り、まるで政治のように小さな部族や問題の異なる側面が互いに叫び合い、目と目を合わせることはなく、ますます合意が少なくなり、ますます多くの人々が二極化しています。ですから、これらのことを読むときには、開かれた心でアイデアを議論する人々から離れて、高度に政治化された二極化した議論の領域に入っていることを覚えておいてください。AIアライメントの問題を理解するための知識を持っていない人々がますます増えていることを頭に入れておいてください。アンドリューは「AIアライメントの問題を公衆に説明することは、人々を狂わせることなしには不可能だと思う」と述べています。これは非常によく言われています。「裏切りの転換」は、一部の人々に大きな影響を与えるでしょう。彼は、相対的に弱いために忠実であるふりをしている高度なAIシステムが、十分な力を得たときに人類に反抗し、その真の目的を追求するという仮説的な出来事について言及しています。しかし、私はほとんどの人々がそこまでたどり着くことはなく、些細なことに気を取られるだろうと思います。ほとんどの人々は、このことについて一貫して議論するための知識を持っていないでしょう。しかし、私のポイントは、これらのことを読むときに、多くのことがただの意見であることを覚えておいてください。それを正しいか間違っていると考える必要はなく、ただこの全体がどこに向かっているのかを考えるだけです。
ここに以前のRedditの投稿があります。AGIを作る企業は、AGIを発表するのを遅らせながら、できるだけ多くのGPUを供給しようとするだろうと言っています。彼らは顧客向けの企業から、忍者のように煙幕を投げて人々を煙に巻く会社に変わったと言っています。人々をできるだけ長く推測させ続けるために、驚くべき新しい製品を発表し、ランダムで暗示的な発言をするでしょう。彼らの行動はますます混沌と
し、不必要にわかりにくくなるでしょう。顧客は満足するでしょうが、苛立つでしょう。彼らは、作成経路が不明確な製品をリリースし始めるでしょう。スタッフの忠誠心とコミュニケーションの突然の崩壊、解雇、辞任、NDA下の人々の曖昧なヒントが現れます。ちなみに、これらのことはすべて見たことがあります。過度に優れた製品がリリースされることも見ました。たとえば、Soraのことを考えています。技術的にはまだリリースされていませんが、それが出たときにそれが期待通りではなかったと見れば驚くことではありませんが、このチャンネルで取り上げた3D物理シミュレーションの流体の動きのビデオは、過度に優れているように見えます。Nvidiaのジム・ファン博士もそれについて多く話しています。このSoraが生成したMinecraftのビデオを見てください。これはMinecraftではありません。3Dゲームではありません。Nvidiaのグラフィックスカードで動作しているわけでもありません。これはSoraのテキストからビデオ生成です。コーヒーカップの中で海賊船が戦っています。コーヒーがカップの中で渦巻いています。これを生成するのは非常に難しいことです。ビデオゲーム開発では、このような流体物理を作成するために多くの時間を費やします。Soraがリリースされ、それが簡単に生成できることが判明したら、それは驚きです。そして、彼らは続けて言います。その後すぐに軍がOpenAIに大きな関心を示し、会社は静かになるでしょう。これは仮説的なシナリオですが、昨年11月には、ニューヨーク南部地区の検事総長がヘレン・トナーや他の取締役と電話で話し合いを行い、紛争を解決しようとしているのが驚きでした。次に、OpenAIの取締役会は、何十年も米国政府に密接に関与してきた人々で構成されることになりました。そして、次の記事で見ていくように、OpenAIの内部情報に基づいて、なぜOpenAIのセーフティチームがサム・アルトマンを不信したのかについてです。イリヤ・ソツケーバーは昨年12月6日に「この1ヶ月で多くの教訓を得た。その一つは、士気が向上するまでの殴打は、思っていた以上に頻繁に適用されるということだ」と述べました。
この道を進む前に、Pause AIの背後にはイデオロギーがあることを理解することが重要です。ここには、技術分野の著名な人物やAI研究者のP Doom値（AIによる破滅の可能性）が一覧表示されています。P Doomとは、人類絶滅のようなAIによる壊滅的な出来事の可能性を指します。非常に低い値から、イライザ・ユドコウスキーが言うように99％以上というものまであります。ここにはテックラッシュ博士もおり、彼女は以前取り上げました。彼女は「ジャン・レイがエリザ・ユドコウスキーのMIRIとニック・ボストロムのFHIの研究員だったことを覚えていますか？明らかにイデオロギーの影響があります」と述べています。そして、ジャン・レイはここにいます。彼のP Doomは10～90％です。かなり幅広い範囲です。ダニエル・ケイヨも以前OpenAIの研究者であり、OpenAIのセーフティチームについてあまり好意的でない発言をしています。イーロン・マスクは10～20％のAIによる破滅の可能性を示しています。メタAIのイェンは0.1％未満です。イーサリアムの共同創設者であるビタリック・ブテリンも多くのAI安全研究に資金を提供しています。彼は10％と考えています。ジェフ・ヒントンも10％です。FTCのリナ・カーンは15％です。アンソロピックのCEOであるダリオ・アマデイは10～25％です。ヨシュア・ベンジオは20％です。オープンAIのCEOになる予定だったエミット・シアは5～50％です。
これがなぜOpenAIの一部の人々が懸念しているかの理由です。vox.comからです。リンクは下にあります。この記事では、もしあなたがこの一連の出来事をソーシャルメディアでフォローしているなら、OpenAIが巨大な技術的ブレークスルーを秘密裏に達成したと考えるかもしれません。「イリヤが見たもの」というミームでは、サツケーバーが恐ろしいものを見たために去ったのではないかと推測しています。AIシステムが人類を破壊する可能性があるというようなものです。しかし、実際の答えは技術に対する悲観主義よりも、人間と特定の人間に対する悲観主義に関連しているかもしれません。内部の情報に詳しい人物によれば、安全意識の高い従業員はアルトマンへの信頼を失いました。「信頼が少しずつ崩れていく過程のようだ」と内部の情報に詳しい人物は匿名で語っています。多くの従業員は公に話すことを望んでいません。これは、OpenAIが従業員に退職契約を結ばせ、非難を禁止する条項を含んでいるためです。契約にサインしない場合、会社の株式を失う可能性があり、それは将来何百万ドル、何十億ドルの価値になるかもしれません。しかし、ある元従業員は契約にサインしなかったため、会社を自由に批判できるようになりました。ダニエル・ケイヨは2022年にOpenAIに参加し、「OpenAIは、最終的に人間の知能を超えることを目指して、ますます強力なAIシステムを訓練している。これは人類にとって最良のことかもしれないが、慎重に進まないと最悪のことにもなり得る。私は、OpenAIがAGIに近づくにつれて、より責任を持って行動することを期待して参加したが、それが実現することはないと多くの人々が次第に明らかになり、それが退職を強制した」と述べました。
多くのことが昨年11月に起こりました。ヘレン・トナーとイリヤ・サツケーバーがOpenAIの取締役会と協力してアルトマンを解任しようとしました。その理由は、アルトマンが一貫して率直でなかったということでしたが、それ以上の詳細は明らかにされませんでした。多くのことが起こり、マイクロソフトはOpenAIの主要なタレントをすべて招待し、OpenAIを実質的に解体し、マイクロソフトの傘下で彼らが作り続けることを可能にしました。そして、アルトマンは戻ってきて、以前よりも強力な地位にあり、彼の支持する取締役会を持ち、会社を彼の思うように運営する力を持っています。王を撃っても外れると、状況は気まずくなるものであり、まさにそれがイリヤ・サツケーバーに起こったことであり、彼は最終的にOpenAIを公式に離れ、非常に個人的に意味のあるプロジェクトを追求するために出発すると述べました。
彼らが言及している一つのことは、イリヤがスーパーアライメントチームをリモートで共同リードしていたことです。これは、未来のAGIが反乱を起こすのではなく、人類の目標に合致することを確認するためのチームです。私はこれを知らなかったので、基本的にはリモートで同じチームで同じ目標に取り組んでいたようです。
この記事はサム・アルトマンに対して非常に批判的です。彼らは、
11月に起こったことはサム・アルトマンの性格を明らかにしたと言っています。彼の脅威はOpenAIを空洞化させるものであり、取締役会が彼を再雇用しなければ、将来のチェックを避けるために新しいメンバーで取締役会を構成することを示していると言っています。しかし、これは事実ではないと思います。サム・アルトマンがOpenAIを空洞化させると脅迫したという証拠はないと思います。マイクロソフトが巧妙なビジネスマンとして、OpenAIのタレントをすべて取り込むことを提案したと思いますが、それをサム・アルトマンが脅迫したとは言えません。
この記事には、OpenAIのセーフティ研究者がさまざまな暗示的な投稿をしている例がいくつかあります。たとえば、EAフォーラムに投稿したある研究者は、2024年2月15日にOpenAIを辞任したと述べています。理由を尋ねられたとき、彼らは「ノーコメント」と答えました。これは非常に制約の多い退職契約に関連しています。この契約には、終身にわたって元雇用主を批判することを禁じる条項が含まれています。元OpenAI従業員はこれに従わなければなりません。契約にサインしない場合、彼らは在職中に得た株式をすべて失う可能性があります。これは何百万ドルもの価値があるかもしれません。
Wiredの記事では、OpenAIの長期的なAIリスクチームが解散されたと述べています。昨年、OpenAIはそのチームに計算力の20％を提供すると言っていましたが、現在そのチームは存在しません。会社はこれを確認しています。
あなたの意見を聞かせてください。ただし、各サイドは常に自分のストーリーを語ります。多くのAIセーフティの人々はこれらの見解を共有しているようです。OpenAIの元従業員であるロンは、「すべての人が常にもっと多くのGPUを必要と信じている。それは研究者であるために必要な特徴だ」と述べています。これは大きな不満の一つでした。ジャン・レイも「我々には十分なコンピュートがなかった。十分なGPUがなかった」と述べました。彼らは研究に必要な計算力が与えられなかったため、辞めることを余儀なくされたのかもしれません。
あなたの意見を聞かせてください。私たちは今後、世界中でテレビやTwitter、Facebookでこのような議論が増えていくでしょう。野心的な見解に備えてください。私の名前はWes Rthです。ご視聴ありがとうございました。
コメント