31,763 文字
こんにちはアップストリームのリスナーの皆さん。今日は認知革命からのエピソードをお届けします。ホストのネイサン・レベンスがSEATのディレクターであり、Rising Tideの創設者であるヘレン・トナーと共に、AI政策と適応についての洞察に満ちた会話を繰り広げました。これから彼らはOpenAIの取締役会での彼女の経験、社会がAIの進歩に適応するための「適応バッファー」という彼女の概念、そして軍事的意思決定におけるAIアプリケーションに関する彼女の重要な研究について議論します。どうぞお楽しみください。
ヘレン・トナーさん、Seat（セキュリティ・新興技術センター）の戦略・基礎研究助成金ディレクター、そして新しいSubstack「Rising Tide」の著者であるあなたを歓迎します。
ありがとう、ここに来られて嬉しいです。
この会話が楽しみです。取り上げるべきことがたくさんあると思います。私たちは皆、人生において背負うべき十字架がありますが、あなたの十字架の一つは、AI分野でたくさんのことをしていくにもかかわらず、人々は常にOpenAIの取締役会でのあなたの任期について質問することでしょう。もちろん、皆さんはそれがどのように終わったかについて少なくともある程度は知っていると思います。私も例外ではありませんが、いろいろな話題に時間を確保したいと思います。まず、私が全く知らない質問の一つで、本当に興味があるのは、そもそもどのようにしてOpenAIに関わるようになったのかということです。
これは数年前にさかのぼりますが、当時はパワフルなAIなど存在せず、ほとんどの人はその概念を空想的なものとして退けていました。ごく少数の人しかこの話題を真剣に受け止めていませんでしたが、あなたは明らかにそうでした。AIに関するあなたの経歴と、そのような立場に就くために持っていたであろう熱意について共有していただけますか？
もちろんです。私は2021年に取締役会に加わりましたが、会社と多くのスタッフについては設立当初から知っていました。彼らは2015年から2016年頃にサンフランシスコで設立され、当時私はサンフランシスコで働いており、AIの問題に取り組み始めた頃でした。
振り返ると興味深いのは、当時は出遅れたような気がしていたことです。2012年にはAlexNetがあり、ディープラーニング革命は2015年から2016年にかけて本格的に進行していました。私が「これは本当に大きな問題になるだろう、やるべきことがたくさんある、私の仕事の焦点にしたい」という考えに至った頃には、AIと政策と国家安全保障が主題でした。当時は後れを取ったような気がしていました。
それ以来、さらに数波の流れを見てきたのは面白いことです。2018年から2019年頃に、人々はもう少し注目し始め、そして明らかに2022年のChatGPTで巨大な新しい関心の波が生まれました。振り返ってみると、もはや自分が当時感じていたほど出遅れていたとは思わなくなりました。
また、彼らがAGIを構築する会社を設立することが、当時どれほど風変わりで主流に反していたかを過小評価しがちです。これは本当に、礼儀正しい社会、そして無礼なマシンラーニング社会でさえ語らないようなことでした。当時はGoogle DeepMind、あるいは単にDeepMindだけがAGIについて語る真剣な研究者たちの唯一の場所でした。
取締役会に招かれた理由を振り返ると、一部はAI政策分野にいて、まだ多くの人がいなかった時代に数年の経験を持っていたこと、中国で時間を過ごしたこと、取締役会にとって価値のある中国の専門知識と国家安全保障の専門知識を持っていたことだと思います。また、AGIという考えとそのミッションを何年も真剣に受け止めていたことも、取締役会に加わった時点では本当に珍しいことでした。
2025年の現在から振り返ると、明らかにAGIは誰の口にも上るようになり、OpenAIはとても有名な会社になったので状況は少し違って見えますが、当時はコミュニティが本当に小さく、これらのトピックについて考え、実際に情報に基づいた視点を持っていた人々の集まりは本当に小さかったのです。そのため、会社の非常に初期の段階から親しくなれたのは非常に興味深いことでした。
あなたはいつも比較的短い時間軸を持っていた人でしたか？ あなたが私と共有したブログ投稿の草稿は、現在長い時間軸とされているものでさえ、実際には非常に短いということを思い出させてくれます。
そうですね、私はそうではありませんでした。今でもそうかどうかはわかりません。基準が大きく変わったので。その投稿のタイトルの現時点の草稿は「AIの進歩までの長い時間軸はクレイジーなほど短くなった」というものです。このエピソードが公開される頃には発表されていて、Substackも立ち上がっていることを願っています。このエピソードを聴いてくれる全ての人が購読してくれることを願っています。
この分野に入った時、当時としては「短い時間軸」だと考えられていたと思います。その投稿で説明したように、「これは起こりそうだ、次の数十年で、私たちの生涯のうちに非常に高度なシステムを構築する可能性が高く、それが起こるとすれば社会的準備が大量に必要だが、ほとんど誰もそれについて考えていないので、時間をかける価値がある」というものでした。その時の私の見解はそうだったと思います。
今日では「短い時間軸」というと、例えば2020年代が終わる前に超知能が来ると予想するようなことを意味するので、もはや自分を短い時間軸を持つ者だとは認識していません。それについてはもっと不確かに感じていますが、やはり「これは起こる可能性が十分あるので、多くの考慮と準備が必要だ」という見解に立ち返ります。これは「非常に起こりそうだ」とか「次の5年、3年以内に起こりそうだ」と考えるのとは違います。つまり、短い時間軸の基準に何を設定するかによって、その答えは異なってくるでしょう。
私も以前、パワフルなAIの概念全体が空想的で、特にAIに関する安全上の懸念が二重に空想的だった時に、似たような議論をよくしていました。「私たちは恐竜のように絶滅しないように小惑星を見つけるために宇宙を監視する少数の人々がいて、それは本当に良いことで、これも別の同様のことのように思える」と言っていました。今や、それは確かに小惑星があり、それが私たちに向かって来ていて、それが良いのか悪いのかわかりませんが、確実に両方になるでしょう。
私にとっては、この分野に取り組む基本的な内部動機は、歴史の範囲を見渡すと、巨大な新技術は社会の姿を大きく変えることが多く、より良くもより悪くもなることが多いということに関連していました。
2010年代前半から中盤にかけて、「私たちは恐らく私の生涯の間にこのような変革を経験するだろう、それは本当に大きな出来事になるだろう。もし私が見つけたときよりも世界を良くしたいと思うなら、これは取り組むべき分野かもしれない」と信じるようになったのです。
私にとっては、「これは確実に私たちを殺すので、それを防ぐためにこの分野に入らなければならない」というようなことではなく、もっと広い議論、「かなりの確率でこの大規模な変革を経験するだろう、それがより良い方向に向かうよう貢献できる仕事に就けないだろうか」という考えでした。
その考え方は本当に興味深いです。OpenAIでの主流の考え方についてあなたの視点を聞きたいのですが、その前に、あなたはこのことについて何度かインタビューを受け、別の側面について話し、おそらく当然のことながら疲れていることも知っています。現時点で、あなたが言えること、言えないことを支配しているのは何ですか？
私たちは皆、否定禁止条項のようなものを見てきて、それは後に無効になりましたが、あなたは会社の株式を持っていたとは思いません。どのくらいが言うことに対する外部制約で、どのくらいがこの件についてどれくらい話したいかというあなた自身の決断なのでしょうか？
現時点では2つの大きな要因、または3つかもしれませんが、カウントの仕方によって異なります。取締役会メンバーとして、継続的な守秘義務があり、これは例えば元従業員には適用されません。取締役会での会話や議論していた話題など、これらの義務を尊重したいと思います。真剣に受け止めています。
また、進行中の法的プロセスもあり、私の発言が一貫性のために比較される可能性があり、小さな食い違いが問題を引き起こす可能性があります。宣誓の下で証言する必要があるかもしれません。
また、他にもたくさんのことがあります。信頼して話した人との機密の会話もあります。詳細がたくさんあり、背景を説明するために戻る必要があり、本当に巻き込まれる必要のない他の人々を引きずり込むようなことも多く、その見返りもそれほど大きくないでしょう。
私が与えた最も詳細なインタビューは去年TEDIショーでのものでした。興味がある方はそれを聴いてください。より衝撃的な隠された秘密があるわけではなく、ただ「退屈な」詳細がたくさんあり、それらは機密に関わるか他の人々を巻き込む可能性があるので、その価値はないと思います。
「ヘレンがまだ吐き出していない大きな暗い秘密がある」と考える人がいるかもしれませんが、そうではありません。話さない理由はありますが、もし話すことができたとしても、全体像が劇的に変わるようなことはないでしょう。
文脈というのは希少なものです。これは一つの例を共有するのに良い機会かもしれません。会社への守秘義務を尊重したいと思って言及しなかったことの一つに、QSTARに関する噂があります。QSTARが取締役会の決定に寄与したという噂は完全に偽りでした。OpenAIの理由付け作業と、現在10と03として公開されているものに先立って、コメントしませんでした。取締役会はその研究が進行中であることを知っていましたが、ブレークスルーについての手紙を受け取ったことはなく、従業員からの手紙に基づいて決断したわけでもありません。Reutersの記事は完全に偽物でした。これはその研究ラインに関する基礎となる機密情報が現在公開されているので、少し話しやすくなった例です。
では、考え方や動機について。あなたは「世界をより良くしたい」ということがOpenAIに関わる動機の一部だったと言いました。これはOpenAIの人々を動機づけている大きな部分だと思います。それは良いことです。誰もが前向きな違いを生み出したいはずです。
しかし、それが「主人公マインドセット」や「ヒーローメンタリティ」に変わってしまうことを心配しています。特に、グル風のコーチングが行われているとか、「超越」の練習、エリートパフォーマンスのマインドセットなどの話を聞くと、少し行き過ぎているのではないかと心配になります。
潜在的に超人的なAIシステムを開発している人々の間に、ある程度の愛着が欲しいものです。これらの多くは伝聞で、これらのアイデアがどれほど広まっているのかも本当にわかりません。会社において、彼らは英雄的で世界を変える使命を持っているという感覚が一般的なのでしょうか、それともそれは時々現れる少数派の立場なのでしょうか？
取締役会メンバーは一般的に会社の文化について話す最適な立場にはありません。彼らはチームメンバーのように従業員の中に浸かっているわけではないからです。正直なところ、あなたが持っていないような視点を持っているとは思いません。私の視点は、そこで働く人々を知っていることから来ています。あなたもそこで働く人々を知っていると思いますので、特に付け加えるものはないと思います。
それは公平です。なぜかというと、フロンティアAI開発における「超越」が何か間違っているように感じるからです。現在見られるマインドセットは、NBAのスリーポイントシューターに勧めるようなもの、つまり「撃ち続けろ、心配するな、結果よりもプロセスを信じろ」というようなものですが、これが超高リスクの技術環境には一般化しないような気がします。
もう一つの一般化の仕方は、社会全体で暗黙のうちに持っている分離、つまり新しい技術を構築し科学的な仕事をする人々と、それらをどう適用し規制するかを考える人々との間の分離だと思います。飛行機の翼を少し効率的な形状にする方法を考えている人が、「FAAはこれをどう規制すべきか」とか「航空券の価格をどう設定すべきか」などを考えなくてもいいと思います。
多くの場合、これらの技術的な問題と社会的な問題を切り離すことは理にかなっています。私にとって、それが領域外なのは、技術的進歩が社会の適応能力を上回った場合、切り離された技術的作業をしてきた人々が、彼らだけが、あるいはほぼ彼らだけが影響を与えたり防いだりできるような巨大な社会的結果を引き起こす可能性があるということです。それが、私がここで領域外の要素について考える方法です。
インタビューを少し休憩して、スポンサーからのメッセージをお届けします。
あなたの会社の利益を食い込んでいる支出が増えています。それはクラウドコンピューティングの請求書です。最初は割引を受けたかもしれませんが、今や支出は天高く、毎年増加しています。クラウド請求を半分に削減し、同時にパフォーマンスを改善できるとしたらどうでしょうか？5月31日までに行動すれば、Oracle Cloud Infrastructure（OCI）がそれを実現するお手伝いをします。OCIはあらゆるワークロード向けに設計された次世代クラウドで、AIプロジェクトを含むあらゆるアプリケーションをより速く、より安全に、より低コストで実行できます。実際、Oracleには特別なプロモーションがあり、OCIに切り替えるとクラウド請求を半分にできます。この節約は現実的なものです。平均して、OCIはコンピューティングが50％、ストレージが70％、ネットワーキングが80％安くなります。Modal、Sky、Gav Animation、そして今日の革新的なAIテクノロジー企業に加わり、OCIにアップグレードして節約しましょう。このオファーは最低限の財務的コミットメントを持つ新規米国顧客のみに適用されます。半額の資格があるかどうかは、oracle.com/turpppentineでご確認ください。これはoracle.com/tarpentineです。
前回話した時、私はまだGPT-4レッドチームに参加していて、あなたはまだ取締役会にいました。それ以来、長い道のりでした。私は会社を非常に注目して見てきて、本当にローラーコースターに乗っているような気分でした。何度か失望し、時には見ていることに怖くさえ感じました。その一方で「これは劇的に安心させてくれる」と思うこともありました。おそらく10のエピソードがあり、それは5対5かもしれません。
最新の2つは、「難読化された報酬ハッキング」論文の発表で、これはAIがどのように誤った方向に進む可能性があるかについての最も重要な警告の一つだと思います。そしてほぼ同時に、AI政策についてのホワイトハウスからのコメント要求への回答がありました。そこでは、特に中国に関して非常に敵対的な雰囲気がありました。
Altmanは「私たちの価値観か彼らの価値観か、第三の道はない」と言っていますが、これはまた可能性の空間を早い段階で排除しているように見えます。また、「私たちがすべてのものに対してトレーニングできるように、すべての財産権をキャンセルしろ」というような要求もしています。なぜなら、もしそうしなければ中国がそれをするからだと。
会社には「統合失調症的」な性質があるように見えますが、あなたはそれをどう理解していますか？
私も混乱しています。過去1、2年でさらに顕著になってきたように思えます。一つの説明は、従業員には自由にツイートしたり、研究の方向性を決めたり、その研究について書いたりする自由がかなり与えられているということかもしれません。異なるプロセスがあると思いますが、何が公開されるかについての現場での決定に十分近くいなかったので、内部の視点はありません。
しかし、会社の中からの声が非常に異なっているのは印象的だと思います。もっと技術的なスタッフが、会社から送られている政策メッセージにどれだけ注意を払っているのか疑問です。それらは互いに矛盾しているようです。
今日そこにいる人々にどのようなアドバイスをしますか？もしあなたが内部にいて、見ていることに懸念を抱いているなら、その人々は何を考えるべきでしょうか？そしてそれと関連して、政策立案者は内部告発者を保護するためにどのようなことを考えるべきでしょうか？
企業は営業秘密を保持できるべきだという考えも尊重しますが、私に一度求められた秘密のレベルは高すぎたと思います。一般の人々がある時点で能力が存在することを知る必要があります。その線の見つけ方については良い感覚を持っていませんが、まず政策立案者について、どのようなルールがあるべきだと思いますか？そして個人がまだルールがない場合にどのように責任を負うべきかについてお話しください。
内部告発は通常、違法行為に対するものです。SECは財務不正を見つけた場合の明確なプロセスを持っており、他の多くの内部告発プロセスも同様です。政策立案者が念頭に置くべき大きな課題は、私たちが話している懸念の多くは実際には違法ではない行為だということです。
内部告発できるのはいつで、どのような行為が保護されるべきかという線はどこでしょうか？内部告発保護の最良の方法は、情報共有に関する何らかの開示や規則と組み合わせることだと思います。そうすれば、会社が共有すべき情報を共有していない場合や、誤解を招くような不正確な情報を提供している場合に、明確な基準ができます。
「心配しているなら、このホットラインに電話してください」というような曖昧な基準を持つよりも、構造的にシンプルな方法です。これは従業員にとっても、営業秘密やその他の理由から従業員が何でも話すことを望まない会社にとっても、非常に難しいことです。何か問題があった場合に比較できる明確な基準を持つことがはるかに役立ちます。
これが政策面で私が言いたいことの一つです。情報共有に関する期待や要件、あるいは内部で実施しなければならないプロセスと何らかの形で比較すると、結果を共有しなくても、従業員が「実際にはそのプロセスを実施しなかった」と言うことができます。
より具体的な例として、安全・セキュリティ計画を作成し、その計画を公開するか政府と共有するというアイデアがあります。これにより、その計画に従っていない場合、内部告発活動の機会が生まれます。これは「心配している場合、懸念がある場合、リスクが大きすぎると思う場合は内部告発できる」というよりも明確です。
政策立案者が念頭に置く必要があるもう一つのことは、これらは技術者であり、法的に洗練されていない可能性があること、怖がっている可能性があること、時間があまりない可能性があること、非常に忙しく働いている可能性があることです。プロセスがシンプルで明確であればあるほど、適格かどうかをどのように知るか、次のステップは何かなど、「ユーザー体験」の質問が非常に重要です。内部告発者がユーザーであれば、彼らのユーザー体験はどのようなものでしょうか。
企業の中の人々にとって、非常に具体的には、他の正式な内部告発者が記録に残っているので、アドバイスを求めている場合は確実に連絡できる人々がいます。
もっと広く概念的には、AGI企業の仕事に貢献している人々にとって非常に重要なことは、彼らが非常に強力な立場にいるということです。従業員がいかに強力になりうるかを何度も見てきました。最近この指摘を聞いて非常に賢いと思ったのは、彼らは自分自身を置き換え、自分自身の力を手放すために積極的に働いているので、今が最も強力な立場にあるかもしれないということです。
これらの企業の一つにいるなら、事態がより深刻になるまで黙ってじっとしているという誘惑があるかもしれませんが、それは正しいかもしれません。しかし、もし仕事がより自動化されれば、将来的にはより少ない力しか持てなくなるかもしれないことを考慮する価値があります。一般的に、テクノロジー労働者の力は現在、労働市場やその他の面で低下しているようです。
また、将来に何か明確な危機の瞬間があるとは限らず、むしろ「ゆでガエル式」に、だんだんと「これは心配だ、これはちょっと不正直に見える、これはリスクが高すぎる」と感じるようになるかもしれません。大きな瞬間がある場合にのみ行動するつもりなら、それは何も行動しないことを意味するかもしれないという現実を自分自身に認識させてください。それが正しい選択かもしれませんが、自分自身に嘘をつかないでください。
もし今フロンティア開発者の一つで組合を組織するとしたら、どのような要求を持つでしょうか？
あまり考えたことがありません。面白い考え方だと思います。一般的に、労働運動、労働者の力の世界と技術的なAIの世界やAI政策の世界はあまり接点がなかったと思います。これは変わっていくでしょうし、その分野の背景を持ち、この種の力をどのように使用するか、どのようなレバレッジが生産的か、広範な利益をどのように代表するかについて考えている人々に会うことに非常に興味があります。今後数年でもっと見ることになるでしょうし、それがどこに行くか見てみたいと思います。
情報開示要件について言及しましたが、一時期は10の26乗の閾値があり、少なくともそれを行っていることを言わなければならず、どのようなテストを実行してその結果がどうなったかについても少し詳しく説明する必要がありました。私の理解では、それは今ではなくなりました。政府の正式な通知とコメントシステムのプロセスを開始したので不明確な状態だと聞いています。つまり、それはまだ機関の裁量にある可能性があるのでしょうか？
具体的には商務省ですが、それが決定的に終了したとは聞いていません。確かに今は不安定な立場にあるように見えます。彼らは少なくともそれを削除する意図を発表しています。現時点で実際のルールは他に何もありません。
EU AI法があり、実務規範を策定中です。これには10の25乗以上のモデルに関する透明性と他の基準が含まれると思います。正確に何について透明にする必要があるかの詳細はまだ検討中で、政治的な圧力でそれを弱めようとする動きもあります。見てみましょう。少なくともそれは進行中の別の法的プロセスです。
コンピュート閾値は一つのことですが、一般の人々に知ってもらうことが最も重要だと思うことは何ですか？私は観察された行動に焦点を当てる傾向がありますが、これらすべてのことには少なくとも意図しない結果の可能性があることも十分に認識しています。観察された行動では、「見ていない、観察していない」ということがあり、それはすぐに失敗する可能性があります。
公共に共有すると役立つかもしれないことはたくさんあると思います。公共と政府と何を共有するか、政府が非公開にしておきたいものをどれだけ確実に非公開にしておけるかなど、トレードオフがあります。詳細を詰める必要があります。
能力とリスクの両方についてのテスト結果を共有することが重要だと考える傾向があります。これらのシステムは何ができると思われるのか、また、物事を安全に保つためにどのようなプロセスやプロトコルを使用しているのかについて透明性を持つこと。政府がチェックリストを持って「これをしなければならない」と言うのではなく、「これについてどう考えているか教えてください」というものです。
Daniel CocatelloとDean Ballの透明性に関する共同論文のアイデアも気に入っています。彼らが指摘したことの中で、モデルの仕様、つまりモデルが実際に何をするようにトレーニングされているのかを見ることも、私には理にかなっていると思います。そのような情報を公開するのは、政府が何をすべきかを言うべきだからではなく、これは非常に速く動いている分野であり、私の考え方としては、このテクノロジーを開発している企業と他のすべての人々の間には巨大な情報格差があり、その情報格差を少し狭めることができれば、それは良いことだと思います。
それは私にとって重要に思えます。実際、すでに完全に公開されていることについて人々を教育するだけでも多くの作業が必要です。私の格言の一つは、「もし人々が既に存在するものをよりよく理解していれば、おそらく近い将来に来るかもしれないものに対して、より健全な恐れを持つだろう」というものです。あるいは、恐れというよりも、より明確な理解、より明確な像を持つかもしれません。
少しの恐れは個人的に健全だと思いますが、それが異なる人々にとってどれだけ効果があるかは人それぞれです。私はまた、自分自身を「導入加速主義者であり、ハイパースケーリング停止者」と表現することもあります。つまり、今日持っているツールを愛し、それらを最大限に使おうとしていますが、社会全体ですでに持っているものには大きな過剰があり、特定の種類のリソース入力を持つモデルからさらに多くのものが引き出されているのを見続けています。私たちは、特定の閾値が取り返しのつかない方法で越えられ、最終的に後悔するかもしれない線に近づいていると思います。
明らかに典型的な例は、後で生物兵器の製造を助けることができるとわかったモデルをオープンソース化すると、単に新しい種類のダモクレスの剣を作り出し、それが無期限に誰もの上にぶら下がることになります。あなたはそれに近くないと感じていますか？私にはかなり近いように感じます。
私は冬の間に4か月半の育児休暇を取ったので、数週間前に仕事に戻ったばかりで、まだO3、DeepSeek R1、この新しいChatGPT画像リリース、Gemini 2.5（まだ試していません）などに適応している段階です。私の見方はいつも変わっていると感じます。
私たちは、コンピュート閾値の意味が「10の26乗以上のモデルは危険なので、より制限する必要がある」と言うのではなく、「最新で最高で最も能力のあるモデルをターゲットにする必要がある」という意味で意味をなすポイントにいると思います。なぜなら、それらのモデルは何ができるかという潜在的なリスク、潜在的な未知のリスクが最も高いからです。そのため、これらのモデルはもう少し精査の対象になるべきです。
次世代のモデルがさまざまな面で本当に懸念される可能性があるポイントにいると思います。完全にそうならない可能性もありますが、おそらくGPT-3が登場した時よりも少し注意深く見るべきでしょう。当時は心配するようなものである可能性は本当に低く、そのようなモデルをリリースするための規則がなかったのは正しかったと思います。それが現在私が考えている方法です。
インタビューを少し休憩して、スポンサーからのメッセージをお届けします。
皆さん、こんにちは。エリックです。この環境では、創業者はより速く収益を上げ、より小さなチームでより多くのことを行う必要があります。特にエンジニアリングにおいては。そのため、ショーン・ラナハンはSquadを立ち上げました。Squadは、あなたの組織にシームレスに統合するトップエンジニアのための専門的なグローバルタレント企業です。
Squadは厳格に審査された上位1％の才能を提供し、毎日あなたのために本当に一生懸命働きます。彼らのエンジニアはあなたのタイムゾーンで働き、あなたのプロセスに従い、あなたのツールを使用します。SquadはフロントエンドエンジニアがTypeScript、React、Next.jsに優れており、今日あなたのチームにオンボーディングする準備ができています。
バックエンドでは、Squadエンジニアはヌードjs、Python、Java、その他の言語やフレームワークの専門家です。Upworkのフリーランサーより費用がかかるかもしれませんが、Squadはスキルと文化的適合性を評価する手間なしに、典型的なコストの一部で優れた品質を提供します。Squadはグローバル人材のソーシング、法的コンプライアンス、地域のHRを担当します。バーンを増やさずに速度を上げましょう。chew squad.comを訪問し、tarpentineを言及してウェイトリストをスキップしてください。
これはあなたの「適応バッファー」の概念について話す良い機会かもしれません。この言葉と概念を本当に気に入っており、それが人々の混乱を解消するのに役立つと思います。これらのAIの進歩は達成するのが本当に難しく、膨大な費用がかかるが、DeepSeekなどを見ると劇的に安くなっているという、一見矛盾するように見える考えです。
その力学を少し説明し、この適応バッファーと、能力の進歩に適応するために私たちが持っている時間の窓についてどう考えるか話してください。
私は一般的に、人類、つまり社会全体は非常に適応力があり、過去にも多くのことに適応してきたと信じています。新しい技術が導入されると、印刷機であれ、テレビであれ、電話であれ、空が落ちていて、これは恐ろしいことで、すべてを永遠に台無しにするだろうと言う人々がいるのは一種のクリシェですが、そうはなりません。
出発点は、多くの異なる種類の技術について、私たちは実際にそれらを消化し、社会にうまく組み込む方法、それらの周りに一連の制度や障壁や社会的規範を持ち、それらをネガティブというよりもポジティブ、あるいは全体としてポジティブにする方法を見つけるのに、かなり良い実績を持っているということです。
AIに関しては、私にはそれほどそうではないように思える一連の質問があります。「後継種」や「人間よりもはるかに知的なもの」を構築しているのかという問題については、潜在的に非常に異なるように思えます。
人々が時々これがどれほど新しいかを誇張していると思うところは、AIの悪用に関する場合です。「オープンソースモデルが誰でも生物兵器を作るのを助けたり、本当に洗練されたサイバー作戦を実行したり、重要なインフラをハッキングしたりするのを簡単にする可能性がある」というアイデアについて。
AIポリシーサークルでは、「それは危険すぎる、それを許すことはできない、そのテクノロジーを拡散させることはできない、それは絶対的な意味で危険すぎる、大きな問題だ」という衝動を見ることがあります。
そこから、これらのシステムの「非拡散」を確保したり、それに向けて働きたいと話す人々が出てきます。これらが配布されるのを防ぐことができるか、アクセスが非常に管理された少数の人々を超えて広がるのを防ぐことができるかという意味です。
DeepSeekとフロンティアの巨大クラスタートレーニングモデルの比較に関するあなたの質問は、なぜそれが本当に問題だと思うかを示しています。AI開発では、現在奇妙な二重の動態があります。コンピューティングパワーの観点から、最高のモデルを開発し、フロンティアを押し進め、最先端にいることがますます高価になっているのは事実です。また、必要とする専門知識の量、本当に最高のチームの研究者とエンジニアが必要で、その費用が上がり、アクセスがますます少なくなっています。
同時に、その開発曲線上の特定のポイントに達するたび、新しい一連の能力に達するたび、それを構築する最初の時は非常に高価ですが、その後ますます安くなっていきます。
DeepSeekはこの動態の例でした。彼らは実際には最先端を押し進め、これまで見たものよりも優れたモデルを構築したわけではありません。彼らがしたことは、一部の米国企業が持っていたものと一致させることでした。それが推論モデルだけなら1、2ヶ月前、ベースモデルなら6ヶ月から10ヶ月前のものです。そして彼らはそれをより低い価格で実現しました。実際の価格点について議論することもできますが、それはここでの要点ではありません。
これが重要な理由は、特定の種類のモデルへのアクセスを誰も持たないようにするというポリシーアプローチを取ろうとしていて、そのモデルがますます安く、手に入れやすくなっているなら、そのポリシー体制は人々がそれにアクセスするのを防ぐためにますます侵略的になる必要があるということです。
私が投稿で挙げた比較は、核不拡散です。それはかなりうまくいっています。核兵器を持っている国はたった十数カ国だけで、50年代に多くの人が予想したものと比較するとかなり良いと思います。しかし、AIテクノロジーのような狂ったペースで核技術が改善され、はるかに効率的になっていたらどうなっていたか、あるいはどうならなかったかを想像してみてください。
核兵器を作るのに必要なウランがますます少なくなり、ますます濃縮度が低くなるような状況です。現在は多くのウランが必要で、非常に高度に濃縮されたウランが爆弾を作るために必要です。その数が時間とともに減っていくと想像してみてください。ある時点で、IAEAがあなたの農家で何をしているか検査に来る必要がありますので、あなたには数エーカーの土地があり、その数エーカーの土地全体には理論的には非常に効率的な、小さな核爆弾を作るのに十分な量のウランが土壌に含まれています。
それは完全に持続不可能な体制です。私たちが現在持っている核不拡散が機能するのは、物理的な材料の量が限られており、人々が他の目的のために必要とするわけではなく、これらの非常に専門的な施設で濃縮される必要があるからです。それはAIには当てはまりません。
純粋にこれにアクセスする人々を防ぐ方法を考えるのではなく、適応し、社会的な回復力を構築するために私たちが持っている時間を最大限に活用する方法をもっと考えているなら、例えばワクチン製造インフラを拡大したり、アウトブレイク検出インフラを拡大したりするような取り組みが考えられます。より多くの下水モニタリングなどです。
もし誰かが生物兵器を使用した場合に、より迅速に識別し、より迅速に対応できるように、より多くのテストキットを世界中のより多くの場所で利用できるようにするにはどうすればよいでしょうか？ハッキングの側面でも同様のことが言えます。
私たちが持っている時間から最大限の価値を引き出す方法を考える、というこのアプローチは、これをロックダウンして、この「悪い」技術が広がるのを防ぐというアプローチよりも、より生産的でより侵略的でないと思います。
それで十分ではないかもしれません。AIが信じられないほど急速に進歩すれば、本当に悪い状況にあるかもしれませんが、それは永続的な危険状態ではなく、移行期間として考える方がはるかに良いアプローチだと思います。
技術的解決策について一定の悲観主義を暗示していますか？別のブログ投稿では、AIにそもそも望むことをさせるという根本的な課題について触れています。
昔のELEUTHERの議論を覚えていますが、これらのものがすべて私たちを「ペーパークリップ」に変えてしまうというものでした。もちろんそれは常に一種のキャラクターでしたが、私たちが自分たちの本当の価値観や本当の意図をこのようなシステムに伝える方法がわからないという「ジーニー問題」があるという感覚がありました。そのため、単に非常に扱いにくいものになるでしょう。
それに関連して、今日のモデルは人間の価値観と規範への一般的な尊重をかなりよく内在化しているように見えることに、私は非常に驚き、嬉しく思っています。同時に、常に状況を認識する必要があります。かつてELAZARが予測したように、いったん価値観を持つとそれを保護しようとする傾向も見られ、必要であればユーザーに嘘をついたり、自分が通過していると理解しているトレーニングプロセスを妨害しようとしたりします。
これは私がローラーコースターに乗っているようなもう一つの経験です。私が思っていたよりもずっとうまくいっているように感じますが、一部の破滅的予言も正しいことが証明され始めています。
しかし、もし私たちが少しでも必要な適応バッファーを持っていれば、あるいは自然な動きを信頼するのではなく、当局によって少し強制されるものであれば、楽観的だと思います。DeepSeekがそれに挑戦しようとしているように見えるか、少なくともそのバッファーの時間間隔が本当に短くなっているように見えます。
下水モニタリングなどのすべての素晴らしいことを見たいと思っています。私たちが最後のパンデミックの後に何も本当にやっていないという事実は良いことを示していませんが、私もその時間が必要だと感じています。混合エキスパートがうまく機能するようにしたり、特定の能力が「削除」されながらも全体的なものの核心的な有用性が拡散できるような方法で、フロンティアモデルをより良い能力の感覚で配布する方法を考え出す必要があります。
長い質問ですが、核心は、自由な配布を持ちながらも、私たちが配布しているものが私たちにとって危険ではないという相当に確信を持てるような技術的解決策を私たちが見ることになると思いますか？
技術的な解決策のみに焦点を当てることに挑戦したいと思います。これはよく出てくる話題で、例えばサイバーセキュリティのためのAIのオフェンス・ディフェンスのバランスについて、ハッカーと防御者のどちらに役立つかという問題があります。生物学についても同様に、新しいワクチンの設計と生物兵器の設計のどちらに役立つかという議論があります。
しかし私はそれが絵の中の小さな一部に過ぎないと思います。適応バッファーという考え方で指摘したいのは、これらの悪用リスクについて話しているときの多くの方法が、AIに関連していないということです。バイオテロリストが生物兵器を構築する可能性はあるのか、地下室のハッカーが突然米国の電力網を落とすことができるようになるのか、私たちができることの多くはAIに関連していません。それらは社会で何が起こっているかに関連しています。
もしAIに関連しているとしても、それは実際にはフロンティアモデルではありません。例えば、大規模な疾病モニタリングデータを見て異常を検出するためにAIツールを使用できるかなど。
生物兵器については、バイオセキュリティとバイオテロリズムに取り組む人々に話をすると、AIやバイオ材料とは何の関係もない多くのことがあります。それはFBIが誰を追跡しているか、彼らがどれだけ良く陰謀を検出しているかというようなことです。
テクノロジーが進歩すると、新しい防御ツールが利用可能になり、それらを利用すべきですが、ここでの議論はそれらのみに焦点を当てすぎて、より広い部分を見ていないと思います。AIツールについて話している場合、議論の大部分はそれらのツールの応用と普及に関するものである必要があります。
例えばサイバーでは、最も高度なモデルがサイバー防御のために何ができるかという問題よりも、AIに精通していない事業者の手に入れることができる、よく設計された、すぐに出荷できる防御ツールをどのように持つかという問題が重要です。あなたの水処理施設、電力網、化学プラントなどを運営している人々です。それらの防衛がリアルワールドで広がるためには、それがAI関連であってもAI関連でなくとも、能力の問題ではなく、普及応用の問題です。
最近、言語モデルをソフトウェアの形式検証の課題に適用している人と話しました。その領域で何桁もの速度向上が可能になっているそうです。十分な適応バッファーがあれば、人々が最も心配していることの多くが、リスクの絶対的な大きさという点で劇的に減少する可能性があると感じます。
それは、私たちがそれに十分投資しているかという問題で、ほぼ確実にそうではないでしょう。次の破壊的なものが登場する前に十分な時間があるかという問題です。
楽観的に聞こえないように注意しますが、サイバードメインの人々から時々「AIが攻撃者よりも防御者を助けるので大丈夫だ」と聞くことがありますが、それも私の心の中ではかなり素朴な見解だと思います。普及とリアルワールドのユースケースを見ると、長期的にはそれが最終的には当てはまるとしても、依然として危険な移行期間を経る可能性が高いです。
モデルがリリースされてから、不満を持った10代の若者が地下室でそれを使用して攻撃を実行できるまでの時間差は、モデルがリリースされてから、米国の何千もの重要インフラプロバイダーが非常に古いコードベースを通過するまでの時間差よりも、はるかに短くなるでしょう。彼らはITとOT（オペレーショナル・テクノロジー）の間の複雑な分割を持っており、何が更新されるかは複雑です。彼らは敏捷ではなく、これらの防御がすべて迅速に整備されることはないでしょう。
これらの進歩が有望で防御者を助ける可能性があるという事実が、私たちがその危険な移行期間から逃れることを意味するとは思いません。しかし、永続的な危険状態ではなく移行期間として考えることは、私たちがはるかに良く対応するのに役立つと思います。
あなたは好きな規制案を見たことがありますか？Dean Ball（番組の友人）が最近、規制市場のような構造を提案する投稿を出しました。政府が基本的に民間規制当局を認定または承認し、AIデベロッパーの実践を承認するようなものです。開発者が民間規制当局を満足させ続ける限り、彼らは一種の責任保護を受けるというものです。
もちろん、それを守らなければ撤回される可能性があり、規制当局の認可も撤回される可能性があります。カリフォルニアには現在、その方向に進んでいる法案があると理解しています。テキストはまだ読んでいませんが。
それらに対するあなたの考えや、責任を本当に受け入れ、「失敗に近い」場合でも責任を負うべきだという反対の見解についてのあなたの意見を聞かせてください。それらのいずれかに反応するか、あるいは特に有望だと思う他の政策提案について教えてください。
フロンティアシステムからのリスクを本当に包括的に管理するための規制体制や提案を見たことがありません。それは大きな問題であり、複雑な問題です。特に、私たちが問題が何なのかや、それにいつ直面するのかが確実でないため、特に難しいことです。
私が見てきた政策で興味を持っているものは、将来に向けてより良い立場に立つための構成要素であり、「解決策」というよりはそのようなものだと思います。多くの不確実性がある技術に対して、それが適切な面もあると思います。もしかすると時間が非常に限られているかもしれないという未来の一つの道筋を考えると、今の初期段階の構成要素は十分ではない可能性があり、それも確かに怖いことです。
Deanの提案は、役立つ可能性のある構成要素の例だと思います。確かに何もないよりは良いように思えます。彼は意図的に州レベルで実施できるものとして書いており、それは確かに連邦法よりもはるかに実現可能に思えます。
フロンティア開発者が力を最大限に発揮するためではなく、できるだけ速く前進するための、いわゆる喉元の金融的なインセンティブや他の多くのインセンティブをターゲットにするほどは役立たないかもしれませんが、興味深いアイデアだと思いますし、確かに何もないよりは良いと思います。
透明性についても話しました。それ自体は問題を解決するものではありませんが、問題が発生した際に多くの関係者がそれを解決するのに役立つ立場に立つことができるものだと思います。
また、規制ではなく、誰かに何かを義務付けるものではないが、AIを測定する科学を本当に後押しするような研究資金の対象になる可能性のあるものなど、多くのことが行われる可能性があります。おそらく「集中研究組織」や同様のものがこれを対象にできるでしょう。同様に解釈可能性や整合性研究などについても言えます。
また、政府に技術的能力を増強するような基本的な構成要素でさえ、テクノロジーが進歩する中で問題が発生した時に対処し、より良い決定を下せるようにするものがあります。これらはすべて、包括的な解決策ではなく、将来に向けてより良い立場に立つための個々の構成要素だと思います。それが現在私が考えている条件です。
補足しますと、責任の受け入れを主張しているのはGabe Weilであり、彼について確認しましたが、彼と一緒にエピソードをしたいと思います。その間、彼はそれについて書いており、興味のある方は詳しく読むことができます。
OpenAIが常に正しいと思っていたことの一つは、反復的な展開というアイデアでした。超知能を秘密裏に開発し、ある日世界に発表するよりも、途中で多くの製品をリリースし、人々がそれが何に役立つかを見て慣れるようにする方がはるかに混乱が少ないという考えです。
それ自体が今や危険にさらされているように見えます。一つにはIlyaが会社を始め、超知能を達成するまで何もリリースしないという明示的な戦略声明をしていることです。それは狂っているように思えますが、彼らが実際にそれを達成する可能性があるというのは驚くほど説得力があります。
OpenAIでも最近、4.5をリリースした際のSamの発言に驚きました。「これが好きかどうか教えてください。他にもたくさんのモデルを構築していますが、このモデルはかなりコンピュート集約的なので、人々にとって本当に役立たないのであれば、オフラインにしてより多くのモデルを構築することに資源を集中するかもしれません。」
これで私は考えています、これらの企業が公開するものを縮小し、内部で完全に取り組んでいくリスクがあるのではないか。また以前OpenAIにいたMiles Brundageも内部展開の決定の重要性が高まっていることについて、少し暗号めいた発言をしています。
これには大きな欠陥があるかもしれませんが、私が考えたアイデアの一つは、絶対的な速度制限ではなく相対的な速度制限を設けることです。リソース入力の観点で現在展開している最大のものよりある程度大きいモデルしか開発できないようにし、それ以上大きくしたい場合は、私たち社会の残りの人々がこれがどこに向かっているのかを理解するのを助けるようなものを展開する必要があるという制限です。
そうすれば、企業内に複数の声があることは知っていますが、これらの非常に小さな集中的な意思決定者が、世界を乗っ取ることができると信じているようなテクノロジーに向かって進むのを、ほとんど何の可視性もなく進むことがないでしょう。
反復的な展開からのこの潜在的な撤退をどれほど大きな問題と見ていますか？また、私の相対的な速度制限の解決策は気に入りましたか？あるいは他に何かありますか？
私はあなたに同意します。反復的な展開は一般的に良いアプローチだと思います。もちろん、ある時点で単に反復するのではなく、何らかの基準を設ける必要があるという但し書きがあります。
反復的な展開の考え方は、世界に出し、何が起こるかを見て、調整し、再試行するというものです。それは、世界に出すものが本当に深刻な不可逆的な結果をもたらさないという十分な確信を持っている限り素晴らしいことです。問題は、どうやって知るのか、いつ違うことをするのかを決めるかです。
私はそれからの撤退を見ているとは思いません。それはOpenAIのモットーであったり、現在もそうであるかもしれませんが、業界全体のアプローチだとは思わないです。
あなたのアイデアは興味深いと思います。類似の提案を聞いたことがあります。企業が内部的に採用できるものとして、一度にどれだけのスケールアップを目指すかなどの観点からも考えられます。
私にとっては、多くの提案と同じ問題にぶつかるように感じます。一つは、どのように実装するのかということです。米国でそれを行うには確実に法律が必要だと思いますが、法律なしでどのように行うのかは分かりません。法律は通らないでしょう。では、どうやって行うのか？
また、それは単に「中国に負ける」ことを意味するのではないかという疑問もあります。概念的にはそのようなものが機能するかもしれないし、実装可能であれば意味をなすかもしれませんが、実装可能だとは思えません。もし実装可能であれば、これが本当に正しいアプローチなのかという質問に戻りたいと思います。
私は入力レベルでの減速を含む解決策、つまり特定の月数の一時停止や、知識の進歩のスピードをどれだけ早く進めるかを遅くするという解決策についてはかなり悲観的な傾向があります。私が好むのは、「if-then」アプローチ、つまり「システムのこのレベルの理解やこのレベルのリスク軽減に達するまで、進歩を続けません」というような条件付きの減速です。これは今、多くの企業が導入しているか、少なくともそのように考えると自主的に声明を出しています。それが私の好むアプローチですが、このような種類のものは、現時点では政治的な意欲がほとんどないため、業界全体の協調を含むものは難しい状況にあります。おそらくそれは変わるでしょうが、今は想像しにくいです。
結局のところ、政策立案者や議員がそれを信じていないことに関係していると思いますか？Ilyaが「超知能を持つまで何もリリースしない」と言い、それがそう遠くない将来に起こると考えているなら、彼らは単に座って「超知能ができたら教えてください」と言わないでしょう。彼らは基本的にそれを信じていないように思え、それが何かをするための最大の障壁だと思います。
法律が通らないという考え方は、まだ教育の課題のように感じます。私は、既に展開されているものをより理解していれば、人々は「そうですね、Ilyaといるべきだと思いますが、そこで働いている人は何人ですか？」と言うかもしれません。数十人か、おそらく今では数百人程度かもしれませんが、そんなに大きくはないでしょう。そして私たちは超知能が出てくるのを待つだけですか？それはとても狂っているように思えます。
あなたに同意します。AIが誰かがIlyaが思うほど優れるようになる可能性をどれだけ真剣に受け止めているかという問題だと思います。しかし、米国議会は現在、AIの方法ではなく、非常に機能不全に陥っています。
国会に詳しい友人がいて、彼によれば、米国下院は南北戦争以来最も機能していないだろうと言っています。AIとは別に、本当に機能不全です。
テクノロジーがこのまま進歩し続けるなら、再び窓が開くでしょうし、人々の見方が変わり、その緊急性のレベルも変わるでしょう。しかし、それが連邦レベルで思慮深い生産的な規制を実際に得るのに十分かどうかはわかりません。
何らかの法案は通るかもしれませんが、AIのための「愛国者法」のようなものに取り組んでいる人々もいます。愛国者法は9/11後に導入されましたが、実際には事前に開発されていたもので、その法案の長所は別として、そのアプローチは理にかなっています。ある危機の後にある窓が開くというのは、今AIポリシーについて考える合理的な方法だと思います。
危機の後でさえ、単に前回の戦いを戦うのではなく、あるいは他の理由でやりたかったことをやるのではなく、正しい種類の生産的で有用な法律を通すのは大きな仕事になるでしょう。
議会を通して何かを得られそうだった過去の時代におけるこのための別のモデルを考えていたのは、「スリーマイル島の状況を避ける」試みです。スリーマイル島は原子力災害でしたが、その後導入された安全規制があまりにも厳しく、他のエネルギー源によるリスクと比較されず、リスクのレベルに実際に釣り合っていなかったため、基本的に米国の原子力産業を殺してしまいました。
この話は私の心の中では、AIデベロッパーがもっと早く安全ガードレールを導入したいと思う動機付けになるべきです。そのような事故を防ぐため、またはそのような事故が起こった場合に、「事前にすべてのことを行いました、これは本当に稀な事故でした」と公共に対してより良い答えを持つためです。
現時点では、何か起こった時に大規模な反射的反応が起きる軌道にあると思いますが、規制がどれほど不可能に見えるかを考えると、今はそれを防ぐポイントを過ぎた可能性があります。州が私の期待を超えるかどうかはわかりません。もしかしたら、そこから役立つものがもっと出てくるかもしれません。
AIデベロッパーや投資家、フロンティアレベルだけでなく、一般のアプリ開発者にも同様のことを言います。現在、音声AIの世界は完全に離陸しており、テクノロジーの扱い方をすぐに改善しなければ、高いプロファイルのことが起こる世界に向かっていると思います。
声は本当に良くなってきており、まだすべてのこれらの製品に行って、好きな声を入れることができます。チェックボックスをクリックすると、次にトランプやテイラー・スウィフトとしての声が出てきます。選挙中にバイデンでも行いました。誰にでも電話をかけ、何でも言えます。これらの製品にはガードレールがゼロであり、それは産業にとって良くないでしょう。
そのような強力なテクノロジーの自己利益だけでもより良いガバナンスや管理を必要とすると思いますが、それは耳に届かないようです。
リスクや政策について本当に深く考えている人々の間での、より詳細または専門的な議論で少し見落とされていると思うことの一つは、一般の人々の想像力をとらえたり、危機感を生み出したりするものは、非常に予測不可能または直感的でないかもしれないということです。
GPT-4のリリース後、本当に注目を集めたものの一つは、Kevin RooseがSydneyとの会話でした。彼を妻と別れさせようとしたなどの話です。その会話を読んだ人々は「彼はそれを誘導したようだ」と思いました。彼は本当にモデルがそこに行くような方法でプロンプトを出していました。それはそれほど驚くべきことではなく、実際に彼の結婚を害することはなく、おそらく彼のキャリアには大きな後押しとなりました。
しかし、それは本当に注目を集め、人々を心配させたものでした。同様に、個人的には音声合成のリスクをそれほど心配していませんが、それについて話し合うこともできます。しかし、それは非常に鮮明で、人々が引っかかりやすいものであるため、その特定のユースケースの実際のリスクや害に比べて不釣り合いな反発を生み出す可能性があるものだと思います。
時間の都合上、先に進みましょう。あなたが言及した議会を団結させる可能性のある一つのことは中国の脅威です。確かに私のAIの会話の多くは「しかし中国」という最終的な障壁にぶつかります。
非常に議論が少ないと思うこと、あなたの意見を聞きたいことの一つは、中国からの脅威は何かということです。通常良い答えは得られず、時々冗談で「中国と競争してAIを開発しなければ、私の孫は中国語を話すことになるのか」と言います。
中国からのアメリカ、西洋、私の価値観や生き方への脅威をどのように理解していますか？
私はこれについてのあなたの会話をいくつか聞いて、印象に残ったことがあります。国家安全保障、外交、地政学的な視点から見ると、あなたは「米国と中国は何か強い理由がない限り友達であるべきだ」という視点から始めているように見えます。
国際関係、防衛、軍事史の経験を持つ多くの人々にとって、出発点はむしろ「我々は既存の大国であり、中国は台頭してきている大国である。世界の舞台で誰が力を持っているかは非常に重要であり、彼らが我々と匹敵するような力を持ち、世界の舞台で影響力を持つようになれば、デフォルトではより敵対的な関係になるだろう」というものです。
例外はあるかもしれません。前世紀の古典的な例外は、米国が台頭し、大英帝国が崩壊しつつあった時期、米国が本当に力の頂点に達していた頃に、英国の力が衰え始めた時です。それは非常に密接な関係、非常に協力的な関係であり、そこには大きな緊張はありませんでした。しかしそれは非常に珍しいことです。
米中関係の歴史や詳細について20分も話したくはありませんが、ここで80年代、90年代、2000年代に中国を「ルールに基づく国際秩序」と見なされる位置に導くための真の努力がありました。
歴史の多くの部分、世界の多くの場所で、ほとんどのことは「強者の理」の枠組みの下で運営されてきました。つまり、最も力を持つ者、最も銃を持つ者が他のすべての人を押しのけることができます。20世紀後半は「パックス・アメリカーナ」とも呼ばれるその大きな例外でした。米国は世界のリーディングパワーであり、その間はソ連もありましたが、米国はこの一連の制度、国同士が関係する方法を確立することに役立ちました。
国連憲章は主権を中心に据え、それが国々の主権を中心にします。つまり、他の国を侵略して好きなことをするのではなく、国境は神聖であるというようなものです。20世紀後半に米国のリードで確立されたこの全体のシステムは、「強者の理」のデフォルトに比べて大きな改善と見なされていました。
現在の米中関係で、過去数年、数十年を振り返ると、現在の敵対感の多くは、中国をその秩序に取り込もうとした失敗した試みから来ているように思います。これは80年代に鄧小平が改革開放戦略を行い、中国をより市場志向的で自由なものにしようとしていた時から温かくなり始めていました。1989年の天安門広場でそれに大きな打撃を受けました。その後90年代にまた楽観主義が戻り、中国が世界貿易機関に加盟したことで頂点に達しました。
「中国をこのシステムの責任あるステークホルダーにする」という古典的な言葉があります。それは誰が最初に使ったのか忘れましたが、その後すべてが崩れ始めました。習近平が2012年に権力を握った時から始まったと言えますが、習近平はそれを加速させ、中国はより非自由主義的になり、南シナ海でより敵対的になり、より攻撃的になり、彼らがいわゆる「ルールに基づく国際秩序」の一部になりたくないことを本当に明確にしました。
これが、なぜ彼らがより敵対的な光の中で見られているかのコンテキストです。今や課題は、米国自身もそのルールに基づく国際秩序から退いており、再び「強者の理」の枠組みに戻りつつあります。その考え方は「米国はこの力をすべて持っています。ドルは世界の準備通貨であり、最も大きく最高の軍隊があるので、私たちは望むものを手に入れることができるはずです」というものです。
そのような観点からは、なぜ中国と敵対的な関係があるのかが再び混乱し始めますが、それは進行中の一連の変化であり、システムはまだそれに対してどう向き合うべきか完全に理解していません。
大きく分けて二つの大きな質問があると思います。一つは中国の国際機関における立場と、世界全体との関係です。もう一つは、中国は台湾を取ろうとするのか、日本、フィリピン、韓国の資産に対して攻撃的になるのかという、より領土的、軍事的な質問です。
例えば、ルールに基づく国際秩序に戻りますが、米国が航行の自由の規範を守るのに非常に重要な役割を果たしてきたこと、それが国際貿易にとって非常に良いことです。中国は彼らが主張する水域を人々が使用するのを妨げようとしているのか、あるいは彼らの水域を使用する人々を妨げるのかなど、誰が力を持っているのか、ルールは何か、規範は何かという質問のセットがあり、中国は明らかに米国と協力したくないという立場です。
米国は2016年、2017年以降、より対立的な姿勢に移行しました。しかし、それらすべてのことについて、私は一般的にその歴史に詳しく、中国がしていることについて多くの不満を言うこともできます。あなたは知的財産を盗むことさえ言及しませんでしたが、それは確かに多くのアメリカのビジネスリーダーやその他の人々が正当に反対するポイントです。
中国の国内での悪行を指摘することもできますし、正当に批判することもできますが、私はまだ何が起こっているのかの転換を理解していません。これは単なる戦略的コミュニケーションなのでしょうか？私が「常に名前を挙げなければならない人」と呼ぶ人に影響を与えようとしているのでしょうか？
AltmanとDaarioの両方が劇的な転換をしました。それほど昔ではない彼らのビデオ証拠では、「皆が中国について心配しすぎている、中国との競争は最悪のことの一つだろう、私たちは何が正しいかについて自分自身の決定をすべきで、彼らについてそれほど心配すべきではない」と言っています。これらのクリップを指摘することができます。
そして今、彼らの両方が基本的に「できるだけ速く進まなければ負けてしまう」と言っており、Daarioはさらに「多極世界を受け入れることはできず、単極世界を維持する必要がある」と言っています。私は「誰が本当に攻撃的なのか」と思います。私は中国が単極世界の中心になりたいと言うのを聞いたことがなく、アメリカ人だけが単極世界の中心になりたいと言うのを聞いたことがあります。
誰を読むか、どう読むかによります。中国人については知りません。しかし、私は技術の見解に同意します。彼らは「彼らを締め出し、この揺るぎない優位性を持つ必要がある」と言っているのは私たちであり、その間彼らはすべてをオープンソース化しています。彼らが私たちを支配しようとしているようには見えません。
オープンソース化は、あなたが追随する立場にいる場合には非常に理にかなっていると思います。それがどれだけ優れているかを示し、才能を引き付けようとすることは理にかなっています。それが純粋な善意や競争精神の欠如から来ているとは思いません。それは、リードしていない場合に理にかなっており、リードしている場合のオープンさの扱い方はより明確ではありません。
多くのトップCEOからの立場や修辞の変化は確かに印象的だと思いますが、正直なところ、それは今や最小抵抗の道だと思います。AIに関連してここで扱うべきさまざまな問題があり、何をすべきかについてほとんど合意がなく、人々が合意できる一つのことは「中国に勝たなければならない」ということです。
だから企業がそのメッセージを利用して「私たちは資金調達を受け、政府契約を得て、規制がないようにし、責任から保護されるべきだ」と言うのも驚くことではありません。それが現時点で最も理にかなっている説明だと思います。もちろん、それぞれの個人がこれらの特定の声明をどう考えているかにもよります。
軍事における意思決定支援システムに関する論文を発表する予定があります。これは本当に興味深い話題です。「中国に勝たなければならない」と言いつつも、私たちが持っているシステムが、そのすべての上昇面（私は記録上それを受け入れ、毎日使用しています）にもかかわらず、信頼性、幻覚、時には人間のユーザーに対して策略を巡らすなどの問題を抱えているという事実に直面しなければなりません。
個人的には、これらすべての策略の問題が十分に解決されるまでは、AIの相棒と共に戦闘に行きたくはありません。誤答や信頼性の問題もあります。本当に生死に関わる状況でこれを頼りにしようとしている場合、最高級の愛好家として言いますが、そのような文脈ではそれを使いたくありません。
それも、特に中国に関して、AIの議論が私たちが持っているシステムの実際の現実から少し切り離されているように見える大きな断絶のように思えます。あなたの意思決定支援システムに関する研究について、そして私たちが何に頼るべきか、頼るべきでないかについて教えてください。
この論文は同僚のエミー・パバスコが主導しています。彼女は非常に興味深い人物で、海軍で勤務し、海軍での彼女の仕事は米国海軍艦船に搭載されているイージスミサイル防衛システムを操作することでした。
実際、多くの人が知らないことですが、我々は基本的に自律型兵器システムをすでに持っています。イージスは艦船に搭載されたシステムで、入ってくるミサイル攻撃を見て自動的に識別し、ディープラーニングに基づいてではなく、60年代、70年代に開発され、80年代に導入されたものです。
だからエミーと一緒にこの論文に取り組めるのは本当にクールで、彼女は非常に地に足のついた情報に基づいた視点をもたらしています。この論文は、意思決定支援システムと呼ばれるものについてです。
ここで重要だと思うのは、軍事におけるAIに関する議論が、この自律型兵器の問題だけに囚われないようにすることです。AIを軍事で使用できる方法はたくさんあり、意思決定支援というこのカテゴリーはその別の例であり、大きな広いカテゴリーです。それは多くのことを意味する可能性がありますが、基本的には聞こえるままのものです。指揮官やオペレーターが決定を下すのを助けるシステムです。
このようなさまざまなツールの長い歴史があり、最近では、AIを追加したり、AIを使用してこれらの意思決定支援機能を実行したり、既存の意思決定支援システムをアップグレードしたりする方法に興味が持たれています。ここで話すことができるさまざまなタイプのものがたくさんあります。
単純な例としては、ある地域の写真を見て、AIを使ってその写真の視界を判断するようなことがあります。視界とは基本的に、あなたが狙撃手である場合、どこが視野内にあり、どこが視野内にないかということです。例えば、必ずしも狙撃手でなくても、誰でも同じことです。
これは、コンピュータビジョンのある種のセグメンテーション画像で、どこからどこが見えるかを判断するために画像の何らかの処理を行っているものです。これは私たちの定義では意思決定支援と見なされます。
同様に、医療トリアージを行うシステムがあるかもしれません。戦場にいて、多くの負傷者がいる場合、誰を最初に治療するか、どこに連れて行くかなどを判断する必要があります。同様に、船舶の動きを見て異常検出を行うこともできます。異常検出は過去10〜15年でずっと良くなったので、そのような種類のことをするためにアップグレードされたAIシステムを使用できるかもしれません。
論文では基本的に、使用されているか、宣伝されているさまざまな種類のAIベースの意思決定支援システムを検討しています。これまで話したのは比較的単純な例ですが、より複雑な例では、PalantirやScale AIなどの企業が大規模言語モデルベースのシステムを宣伝しており、あなたが説明したような汎用的な戦闘相棒になろうとしています。少なくとも初期のマーケティングはそのようなものでした。その後、彼らはマーケティングを変更して、より制限的に見せるようにしています。
これは、初期のビデオのいくつかでは、潜在的な機能の範囲が非常に広いものかもしれません。これらのデモビデオには、私にとっては理にかなっているものが含まれているかもしれません。例えば、自然言語インターフェースを使用して、どこか他の場所に明確に文書化された情報にアクセスするというものです。
例えば、敵の動きを特定し、最も近い部隊がどこにあるのか、地理的にどこにあるのかを知りたい場合、それを尋ねることができ、何らかのデータベースや他のシステムを参照して、「ここが最も近い敵部隊です」と表示することができます。そして「それらは特定のタイプのミサイルをいくつ持っていますか」と尋ねることもでき、その情報にアクセスすることができます。理論的にはすべて理にかなっていると思います。
しかし、これらのデモは、「エスカレーションを引き起こさない3つの行動方針を生成してください」などとLLMに言って、AIに行動方針を書かせるというようなことも混ぜていました。どのような戦術でどのような経路でエスカレーションを引き起こさないという条件で、この敵とどのように交戦できるかについて、LLMがどうやってエスカレーションを引き起こすかどうかを知っているのかと思います。誰がこれらの決定を下しているのか、それがどのように評価されているのかと。
これらの異なるユースケースや、例えば中国の書き物を見て、彼らがある一連の質問についてどう考えているかを理解するなど、これらのユースケースはすべてこれらのデモビデオで混在していました。
私たちがこの論文を書いた理由の一部は、「これはAIの使用のカテゴリーであり、軍隊がより良く機能するのを助け、戦争の霧を取り除いたり減らしたりするのに役立つ方法がたくさんあるが、これらのシステムは完璧ではなく、悪い結果をもたらす可能性のある使い方がたくさんある」ということを言うためでした。それについてどう考えるか。
簡単に言うと、論文では、システムを使用するかどうかを検討する際に考慮すべき3つのタイプの考慮事項について説明しています。
最初は範囲です。このシステムの範囲は何か、どれだけ厳密に結びついているか、その特定の活動セットについてどれだけよくテストできるか、それともより広範でより汎用的で、頭に浮かぶようなことであるかということです。
2つ目はデータです。どのようなデータでトレーニングされたか、そのデータがあなたがいる状況を反映しているという確信はどれくらいあるか。軍事作戦の一般的な巨大な問題は、あなたが新しい状況にいる可能性が高いということと、あなたを妨害しようとする敵がいるということです。システムがトレーニングされたデータが、あなたが身を置いている現実世界の状況を本当に反映しているかどうかについてどのように考えるのでしょうか。
そして、私たちが話す3つ目の要素は、人間とマシンの相互作用のコンポーネントであり、これは本当に本当に重要で、しばしば無視されていると思います。システムはそれを操作している人がそれができること、できないこと、良い決断を下すのを助け、過度に信頼しないようにするためにどのように設計されているのでしょうか。
ユーザーインターフェースが軍事サークルで過小評価され、望ましくない結果につながる長い歴史があります。
基本的に、私たちはこの種のシステムのカテゴリーを提示し、なぜ軍隊がそれらを採用したいのか、どのように生産的に採用できるのか、反生産的ではなく、について説明しようとしています。
将来ここに安定した均衡を見ていますか？Dan HendricksとScaleのAlexが共著者、Eric Schmidtが主著者の論文を読んだと思いますが、安定した均衡がどのようなものかという主なテーゼについては、残念ながらあまり説得力がないと思いました。均衡を明確にする試みを本当に称賛しますが。
特に私たちが現在最も恐れている国々と同じページに乗らなければ、私が「軍隊のためのアルファ碁」と呼び始めているものに行き着くような気がします。これは自己対戦、シミュレーション駆動の種類の、特にスピードを考慮した場合、人間の戦術家が到達できないレベルまで単にこれらのものを戦わせて、丘を登らせるというものです。
これは私たちがスカイネットに到達する一つの方法であり、非常に悪い状況のように思えます。私たちが持つこれらの不可解だが超致命的なシステムが、理論上は敵を倒すために構築され、そしておそらくそうなるかもしれませんが、それは私たちが将来の人類全体の生活に、非常に恐ろしい種類のダモクレスの剣を追加する別の方法のように思えます。そして彼らには投票する機会が全くありません。それを避ける方法はありますか？現在、私たちはそれに向かって滑り落ちているようですが、それは私の好きなものではありません。
多くの考えがあります。主な論文は本当に興味深かったです。基本的に読んでいない人のために、彼らはそこにいくつかの異なることを持っていましたが、主要なアイデアは「相互保証されたAI誤動作」のようなものだったと思います。
このアイデアは、私が正しいと思うコアを持っていると思います。それは、ある国が「超知能を開発して、そして永遠に世界を、宇宙を支配するつもりだ」と言って回っていると、他の国々が反応し対応するインセンティブを生み出すということです。
確かに、AIプロジェクトを妨害するほうがそれを継続して構築するよりも容易だとすれば、それは安定化の動きになる可能性があります。プロジェクトが妨害される可能性があるからだけでなく、それがどのようなプロジェクトを行うかにも影響する可能性があるからです。
論文では、プロジェクトをどのように強化し、妨害から守るか、また山の中にデータセンターを建設しなければならないとしたら、それが何年の開発を追加するかなどについて詳しく説明しています。
ですから、それには役立つコアロジックがあると思いますし、「複数の当事者がこの意思決定システムに関わっており、単に「先に進んでレースに勝つつもりだ」と言うだけではなく、他の当事者も独自のAIシステムを開発しようとする以外の選択肢を持っており、実際に他の方法であなたと関わることができる」という論説への有益な貢献だったと思います。それは役に立ったと思います。
冷戦時の相互確証破壊のような効力はないと思います。主に明確さがないからです。相互確証破壊は非常に明確でした。私たちは核兵器が何をするか知っていました。それらがどのように見えるか知っていました。誰もそれらを使いたくありませんでした。それがどのように機能するか理解していました。第二撃能力が本当に保証されると、それがどのように見えるか理解していました。
ここでは、超知能がどのようなものか、戦略的にどれだけ重要なのかが、はるかに不明確です。ですから、彼らの主なアイデアを方向的に有益な貢献と考えていますが、彼らが提示したような水晶のように明確な戦略的ロジックではありません。
戦争のためのアルファ碁についての質問ですが、それに特に近いとは思いません。それは特定の戦いの戦場力学だけでなく、世界のどこに何があるのか、どのようにあなたの資産を異なる場所に持って来るかという広範な劇場の力学も必要とする、非常に扱いにくいシミュレーション問題のように思えます。それは世界全体で何が起こっているのかというより広い経済的、政治的な質問に接続する必要があります。それは公共の態度に接続する必要があります。
人々はそのようなシミュレーションを構築しようとしており、限られた方法で役立つ可能性があると思いますが、私にはそれは、デビッド・チャップマンから得たアイデアを思い起こさせます。彼は私が哲学者と考える人物ですが、彼自身は哲学者と自認しておらず、合理性と彼が対比する合理性、つまり現実世界の状況で実践的な決断をする方法について多くの興味深いことを書いています。
朝食を作る時、10ステップの計画を立てて朝食を作るわけではなく、ただ始めて、何が起こるかを見て、そこから調整します。彼が指摘する点で、私が本当に正しいと思うのは、技術的な領域の人々が時々混沌とした現実世界を、より整理された抽象的なシステムの荒い近似と考えることがあるということです。
つまり、戦争はチェスや囲碁やスタークラフトの荒い近似のようなものですが、実際にはその逆です。これらの整理された、単純化された、抽象化可能なシステムは、私たちが身を置いている実際の世界の非常に特殊なケース、非常に珍しい特殊なケースです。
これは多分私たちが時間がなくて入れない別の缶の虫を開けることになるかもしれませんが、今日のAI開発の多くの焦点は、例えば強化学習に適した、これらの整理された抽象的なシステムを構築できると仮定することに焦点を当てているように思えます。
その間、モデルはその種の現実世界の実用的なトラブルシューティング、問題解決、途中での再調整、こうしたことすべてに引き続き苦戦しています。
長い話をすると、軍事シミュレーションは信じられないほど混沌とし、要因が多すぎ、未知の未知があまりにも多く、敵があなたの前提を意図的に混乱させ、シミュレーションを不正確にする能力がありすぎるため、戦争のためのアルファ碁を近い将来の可能性とは個人的に考えていません。
均衡がどのように見えるかという広い質問については、正直なところわかりません。超知能の世界では国民国家がどのように見えるのか、民主主義がどのように見えるのか、中国共産党がどのように見えるのか、わかりません。ですから、残念ながらそこに広い答えはありません。
それは多分良い場所で終わることになりますね。私たちは質問よりも答えが多く、好むと好まざるとにかかわらず、それは私たちがいるタイムラインであり、短いか長いかにかかわらず、かなり厄介な問いが多く残っています。
しかし、これは素晴らしかったです。最初にOpenAIの質問についてユーモアを持って対応してくれたことに感謝します。また、あなたが競技場に留まり、AIの未来を私たちや子供たちにとって前向きなものにするための貢献を続けていることを本当に称賛します。
ありがとうございました。素晴らしい会話でした。
コメント