本動画は、ワシントンDCを拠点とする新興技術安全保障センター(CSET)の暫定事務局長であるHelen Tonerへのインタビューである。2023年にOpenAI取締役会でサム・アルトマンCEOの解任に投票したことで知られる彼女が、AI地政学の複雑な現実について率直に語る。半導体輸出規制の効果と限界、中国のAGI開発への本気度、湾岸諸国における大規模データセンター建設の戦略的意味、AI能力の軍事応用における課題、そして技術の進歩が必然的にもたらす権力集中のリスクまで、幅広いトピックが議論される。特に注目すべきは、AI開発における「レース」という比喩の危険性、非拡散アプローチの限界と「適応バッファ」という代替概念、そしてAIが単なるツールであり続けるのか、それとも独自の主体性を持つ存在になるのかという根本的な問いである。インタビューを通じて、AI政策における様々な利害関係者の視点の違い、そして技術的楽観主義と存在リスクへの懸念の間でバランスを取ることの困難さが浮き彫りになる。
OpenAI取締役会の決断とその後
ロブ・ウィブリンです。今日のゲストは、ワシントンDCを拠点とする安全保障・新興技術センター、通称CSETの暫定理事であるヘレン・トナーさんです。CSETは、人工知能の進歩がもたらす安全保障上の影響を分析し、政策対応を提案する最も影響力のあるシンクタンクの一つです。
ヘレンさんは、2023年にOpenAIの非営利法人の取締役会メンバーの一人であり、サム・アルトマンをCEOの座から解任する投票をした4人の取締役のうちの一人としても広く知られています。番組に戻ってきてくれてありがとうございます、ヘレンさん。
戻ってこられてうれしいです。
2023年にサム・アルトマンをOpenAIのCEOから解任しようとされましたね。当時は人々が混乱していましたが、今では、あなたと他の3人の取締役がなぜそうしようとしたのか、人々の理解も進んだと思います。当時は、その動機が必ずしも理解されていませんでした。
しかし、私が人々から聞く話、そしてあなたも聞いているでしょうが、たとえ目標が高潔なものであったとしても、その対応はやや素朴で素人っぽかったのではないか、スタッフがどう反応するか、投資家がどう反応するか、一般の人々がどう認識し理解するかについて、十分な事前の検討がなされていなかったのではないかという意見があります。その結果、不意を突かれ、最終的にアルトマンを解任することができなかったのではないでしょうか。
ここには多くの守秘義務の問題があり、あなたが心の内をすべて、言いたいことをすべて言えないことは理解していますが、この指摘についてどう思われますか?
そうですね。私たちが下した決定とその理由について、完全に納得のいく説明ができるとは思いません。ただ、2点お伝えしたいことがあります。
一つは、人々がそういう結論に達することは完全に理解できます。外から見てそう見えることは本当に理解しています。この時点で私は、そのように見ている人々に対して、内側から見ると違って見える理由を伝えることはできないだろうと、ほぼ受け入れています。
ただ、当時、そしてある程度はその後も、特に当時は多くの反応がありました。「なぜ取締役会はXをしなかったのか? なぜ取締役会はXについて考えなかったのか?」と。そして、ほぼすべてのXについて、それは私たちが考えていたこと、慎重に検討したこと、しなかった理由があることでした。そしてほとんどの場合、私は今でもその理由を支持しています。
非常に複雑な状況で、急速に展開する状況でした。ですから、私の視点を外部の人々に完全に伝えることは、おそらくできないことだと思います。守秘義務のためだけでなく、起こった具体的なことの多くの小さな詳細、関与した特定の人々、それらについての最善の推測と判断、そして多くの異なるトレードオフがあるからです。
これに興味がある方で、実際にどう展開したかについてより多くの情報が出てきたのを見ていない方には、それが私たちの決定のいくつかを説明するのに役立つと思います。一つは、昨年5月にThe TED AI Showで行ったインタビューです。すべてを共有することはできませんでしたが、何が起こったかの基本を明確に説明しようと最善を尽くしました。
また、今年出版された2冊の本があります。一つはキーチ・ヘイギーによる『The Optimist』、もう一つはカレン・ハオによる『Empire of AI』です。両方とも取締役会で何が起こったかについての報道が含まれています。彼らの報道のすべての詳細を保証するわけではありませんが、大まかなところでは両方ともほぼ正しいと思います。
特にカレンの本はかなり詳細に入り込んでいます。ですから、興味があって混乱していて、その資料を見ていない人々にとっては、それが理解の助けになるかもしれません。
つまり、あなたはいくつかの間違いを犯したかもしれないが、何をすべきかが明白だと思うなら、もしその立場にいればとても簡単だったと思うなら、おそらくその立場がどれほど難しかったかを完全には理解していないということですね。
ええ。つまり、私たちはその週末の間に何百もの小さな決定を下しました。大きな決定については、基本的に私は今でも支持しています。そして、もっと悪くなる可能性もたくさんありました。
2023年当時、あなたと他の取締役会メンバーは、かなり厳しい批判を受けましたね。特にテック業界からで、大方は驚き、混乱し、その決定に落胆していました。しかし私の印象では、ワシントンDCの政策関係者の間では、より同情的な反応を得ました。そして報道機関やメディアでもです。というのも、彼らはこの状況をかなり異なって理解する傾向があったからです。おそらく企業内の公的な権力闘争として。ただし、これは完全に企業ではなく、実際には非営利法人なのですが。
この2年間、あなたのキャリアにどのような影響がありましたか? 人々はあなたがしようとしたことを尊重していますか?
ええ、私たちがしたことについて、本当に幅広い反応を見ていることは確かです。私が見るもう一つの大きな違いは、注目度の高い取締役会の決定における経験がある人々とない人々との間です。ただ、あなたが言ったテック業界対より政策寄りの人々というのは確かに真実です。
少し推測すると、この海岸、この都市では、一つには創業者崇拝がはるかに少ないと思います。シリコンバレーでは非常に顕著で、創業者やCEOは天才で常に正しく、取締役会の仕事は後ろに立って声援を送るようなものです。
それはここでは文化的な期待でも組織的な期待でもありません。企業が常に正しいことをしているとは限らないという傾向が、もう少しあるかもしれません。それが一因となっているでしょう。また、私が本当に気づいたのは、デリケートで複雑な状況からどれだけの情報が共有されるかについての期待の違いです。
私の視点から見て、おそらく最も重要なことは、私がその取締役会で西海岸以外に強力な職業的基盤を持っている唯一の人物だったということです。そして、シリコンバレーでの評判を破壊されることに対して脆弱でないことが、この件についてもう少し話せている唯一の人物が私である理由だと思います。そして、それが私たちが最初に決定を下せた一因になったと思います。
この時点では、私の評判はある程度回復したと思います。あなたが言ったように、私たちの決定に対する認識の変化によって。しかし、会社内外の多くの他の人々にとっては、彼らはその一つの特定のコミュニティでの認識に対して非常に脆弱なのです。ですから、その影響を受けない、こちら側でのネットワークと尊敬と、私の仕事を知り理解し価値を認める人々がいたという事実は、本当に重要でした。
今でも、CSETを知っているが私の名前を知らない人々に会います。ですから、彼らは私たちの組織を知っていて、AIと国家安全保障について非常に高品質な仕事をしていることを知っています。それが彼らの知っていることです。これは西海岸とは非常に異なります。西海岸では、私について取締役会からのみ知っていて、私がほとんどの時間何をしているかまったく知らない人々に会う可能性がはるかに高いのです。
OpenAIのおかげであなたのことを聞いた人は増えたかもしれませんが、あなたは2年間取締役を務めていました。それは無給のパートタイムの役割です。間違いなく、あなたが2019年以来最も取り組んできたことは、安全保障・新興技術センターです。
この会話の目的のために、CSETとは何か、そして実際にあなたは何をしているのか、人々は何を知っておくべきでしょうか?
ええ。ですから、おっしゃるように、私たちは2019年に設立されました。実は、私が前回番組に出たのは、私たちがちょうど設立されたときでした。
その時のインタビューを振り返ってみたのですが、興味深かったです。当時、CSETを説明するとすれば、基本的にはAIと国家安全保障、新興技術と国家安全保障という大きなトピックについて言っていました。センターを設立すべきだと決めた、それは本当に重要だと。当時としては、それはやや斬新な考えでした。
最近では、CSETを理解する方法は、それが私たちが今でもやっていることであることに変わりはないのですが、私たちを特別にしているものをもう少し説明すると、私たちはジョージタウン大学内に拠点を置いていますが、学者ではありません。学術誌への掲載はせず、終身在職権を持つ学者もいません。私たちは非常に政策志向で、政策立案者や他の意思決定者にとって関連性があり有用であることに非常に焦点を当てています。そして私たちの仕事では、独立性、証拠主導、技術的な情報に基づくことを本当に追求しています。それはどういう意味でしょうか?
独立性とは、超党派で、アジェンダを持って来るのではなく、主に擁護活動をするためにいるのではなく、本当にありのままを伝えるということです。
証拠主導とは、可能な限りデータ駆動型だということです。素晴らしい仕事をするデータサイエンスチームがいます。論文や出版物、資金の流れ、求人情報など、さまざまな種類のデータを大量に保有しています。社内翻訳チームもあるので、データと証拠を使って世界で実際に何が起こっているかを示すことに本当に焦点を当てています。
そして技術的な情報に基づくというのは、私たちの仕事が本当に少数の技術、主にAI、半導体、バイオテクノロジーに特化しているということです。つまり、それらの技術を本当によく理解しているスタッフを持つことができるのです。
例を挙げて、私たちの仕事の感覚をお伝えすると、最近出た作品は、データと中国の翻訳能力を組み合わせて、中国軍、人民解放軍からのAIに関する数千件の契約を見て、それを分析したものです。
そのデータセットからさらに多くのものが出てきますが、この場合は人民解放軍と協力している組織と、それが中国の軍民融合戦略について何を教えてくれるかを見ていました。これは彼らが公共部門の防衛エコシステムと民間部門を統合しようとする戦略です。
約3,000件の入札というこの大きなデータセットを見ると、本当に興味深い発見があります。新しい非伝統的なベンダーの種類について、伝統的に防衛エコシステムとつながっていなかった大学や、伝統的に中国の防衛を担ってきた巨大な国有企業ではない、より小規模で新しい企業などです。
これが私たちが好んで行う種類の仕事です。これらの問題により明確さをもたらし、より多くの光を当てて、政策立案者がより情報に基づいた決定を下せるようにするのです。
CSETが与えた大きな影響の一つは、中国への半導体と半導体製造装置の輸出規制の導入につながった多くの情報、分析データ、提案を提供したグループの一つだったと思います。それは2019年の最初の頃に始まり、今年はさらに激しくなり、非常に話題になっていると思います。
後知恵で見て、その影響についてどう感じていますか?
解きほぐすべき技術的なニュアンスがいくつかあります。時間があると思うので、解きほぐしましょう。
ですから、CSETの仕事では、2019年に最初に見たことの一つがAIの進歩へのインプットでした。人材について多くの仕事をし、データについていくらか仕事をし、そして計算、半導体を重要な要素として見て、半導体へのアクセスがAIの進歩にどう影響するかを理解したいと思いました。
あなたが言及した2種類の輸出規制、つまり半導体、チップ自体と、半導体製造装置、つまり工場に置かれる巨大な機械を区別することが本当に重要です。私たちの研究は本当に半導体製造装置、そのサプライチェーンに焦点を当てていました。
それが重要な理由は、特定の種類の半導体製造装置を規制すべき理由について、本当に単純明快で、本当にしっかりしたケースがあると私が思うからです。
この分野をフォローしている人々にとって最も有名なのは、EUVリソグラフィ、極端紫外線リソグラフィです。これらはオランダの1社が製造し、複数のジャンボジェットで台湾に空輸される機械です。非常に複雑で大型の機械であり、世界の他の誰もそれらを作ることができないからです。他にも例があります。
もう一つのチョークポイントはEDAソフトウェア、「電子設計自動化」の頭字語です。これは主に米国のプロバイダーが製造しています。
これらの重要な点は、何かを規制しようとするなら、誰かがそれにアクセスするのを防ごうとしているなら、そしてあなたがそれを彼らに供給でき、それに規制をかけたいなら、問題は、彼らは代わりに何をするのかということです。
ある国が電球を持つのを防ぎたいなら、本当に難しい時間を過ごすでしょう。なぜなら、あなたの電球を買うのを防いでも、彼らは他のどこからでもそれらを買うことができるので、それはちょっと無意味です。ただ自分の足を撃っているようなものです。
ですから、これらの半導体製造装置、リソグラフィ機械やEDAソフトウェアなどの重要な点は、それらが本当にチョークポイントである場合、つまり本当に1つまたは非常に少数のプロバイダーしかいない場合、そしてそれを置き換えることができる新しい会社を始めるのは簡単ではない場合、中国が独自の国内サプライチェーンを構築する努力を潜在的に本当に遅らせることができるということです。つまり、彼らは米国のチップに依存し続けることになり、これは戦略的に非常にしっかりしていると思います。それは実際に彼らを非常に敵対させたり、彼らの経済に問題を引き起こしたりすることはありませんが、米国と同盟国に重要な戦略的優位性を与えます。
2019年に、CSETでの私たちの研究に基づいて特定したのはそれで、それは規制されてきました。半導体製造装置、つまりこの分野の人々が言う「SME」、そのSME規制がスポットライトから外れたり、チップをめぐる多くの議論があったため主要な焦点にならなかったのは、ちょっと残念なことです。チップについては後で話すことができますが、チップに関するものは少し複雑で、少しトレードオフがあり、変化理論も少し異なります。
理想的には、もしそれに手を出すつもりなら、SME規制をこの非常に明白なベースラインとして保ち、本当にそれに焦点を当てるでしょう。しかし代わりに、限られたリソース、限られた焦点のため、これらの規制は実際にはあまりうまく、あまり厳格に実施されていないと思います。一方でチップについては多くの議論がありましたが、これはちょっと間違いだと思います。
機械が中国に密輸されていると思いますか?
詳細を見なければなりません。ライセンス供与があり、多くのライセンスが付与されています。この分野でより深い私の同僚たちは、「なぜこれらのライセンスを付与しているのか?」と言っています。そういったことです。ですから、必ずしも密輸だけではなく、どの行為者がどのものにアクセスできるかという焦点の問題でもあります。
輸出規制が中国を敵対させていないとおっしゃったのは驚きです。彼らは非常に脆弱な立場に置かれていると感じているだろうと思いました。安全保障上も、そしておそらく彼らの経済的野心もこれによってある程度制約されているでしょう。また、これらの機械、チップへのアクセスを拒否することは、かなり敵対的な動きだと思うでしょう。私は何か誤解していますか?
ですから、繰り返しますが、SMEとチップを区別すべきです。私はSMEは必ずしも非常に敵対的ではないと言っていました。
チップの問題は本当に興味深いと思います。ここでの背景を見ることが重要です。
半導体自体への輸出規制については、中国がそれを好まなかったことは明らかです。しかし背景は、彼らは2015年、もしかしたらそれ以前にも、米国がこの種のことをするだろうと想定していると既に言っていたということです。彼らは国産化する必要があると想定していて、米国は信頼できない敵対的な行為者だと、彼らに対抗していると想定していました。
そして最初のトランプ政権で、半導体と技術産業全般に関する一連の行動がありました。よく知られたケースとしてはファーウェイを標的にしたものですが、ZTEという別の会社もその前に標的にされていました。ですから、2018年だったと思いますが、既にその時点で、中国が既に信じていたことの確認のようなものでした。つまり、米国はこのように振る舞うだろう、彼らは国産化しなければならない、彼らは自分たちのために警戒しなければならないということです。
ですから、異なる規制の限界効果が何だったのかは本当に疑問だと思います。SME規制の限界効果はおそらくそれほど大きくなかったと言えるでしょう。チップ規制の限界効果はもう少し議論の余地があるかもしれません。確かにある程度の限界効果はあります。
しかし、この分野に非常に焦点を当てていて、米中関係に焦点を当てていない人々から、時々聞くことがあります。それがまるで青天の霹靂のような、巨大な敵対的行動だったかのように、そして関係では何も悪いことが起こっていなかったかのように行動しています。それは正しくないと思います。効果が何だったかを言うのは少しトリッキーだと思います。そして注目すべきは、中国の反応は、今年の初めから少しやり取りがありましたが、確かに当時の反応は実際にはあまり報復的ではなく、あまりエスカレート的ではありませんでした。
これが大きな反発を生むのではないかと人々が心配していたことの一つだったことは知っています。
ですから、すべてが仲良く何も問題なかったとは言いたくありませんが、誇張することも可能だと思います。
今年起こった奇妙なことは、米国でNvidiaのチップをもっと中国に売るべきかどうかという大きな議論がありました。明白な国家安全保障上の理由から、それは悪いことだと主張する人々がいて、他の人々は、いや、実際には良いことだと反論していました。なぜなら、私たちがしたいことは、中国に基本的に彼ら自身のローカル半導体産業を開発することを強制し、実際には奨励するのではなく、これらのチップへの中国の依存を維持することだからです。
そして最近、中国は米国が中国自体に許可するかどうかを議論していたNvidiaチップを、中国に入れないという決定をしました。ある意味で、中国は少なくともこれらの特定のNvidiaチップについて、自らに輸出規制を課したのです。
米国が中国にチップを拒否することが戦略的に賢明な動きであり、中国が自らチップを拒否することが良い動きであることが可能でしょうか? これはかなりゼロサムな状況のように思えるので、両方の利益になることはどうしてできるのでしょうか?
ええ、ここで起こっていることはたくさんあります。ですから、一つの直接的な質問は、中国は本当に本気なのか、それとも野心的な主張なのか? それは交渉のポジションなのか? この時点で、世界中のほとんどの国は、トランプ大統領が取引を愛し、取引について巨大な開始入札をしてから、より合理的に見えるものに後退することを愛していることを知っています。
ですから、これは中国政府からの主にシグナリングである可能性が非常にあります。「私たちのチップを買うために私たちに懇願しなければならないだろう、とにかく私たちは気にしない」と言っているのです。そしてこれまでのところ、その修辞が米国の議論に与えた効果は、「私たちは彼らに買わせるべきだ」というもののようです。もしそれが中国によるチップを買えるようにするための動きであれば、これまでのところうまくいっているようです。それが一つの可能性です。
しかし、この広範なこと、そしてあなたが言った米国の議論がどのようにシフトしたかについても、これらの輸出規制の目標が何であるか、そして変化理論が何であるかについて、非常にわずかな明確さと非常にわずかな合意しかなかったことを本当に示しています。
これが複雑な技術であり、AIに関連していて、AIは多くの異なる要素を持つ汎用技術であることから、部分的にそうなっていると思います。また部分的には、過去数年間の米国の政策におけるこの状況から来ていると思います。人々が合意できた数少ないことの一つは、本質的に「中国は悪い」ということでした。ですから、あなたの政策が「中国は悪い、だから中国を傷つける何かをする」というものなら、人々は政策目標のニュアンスや、それらが成功しているかどうかをどうやって見分けるかについて、必ずしも非常に明確な立場を持つ必要なく、それを支持することができました。
この問題に関する最初のメッセージングは、本当に中国のチップの軍事用途と人権侵害への使用についてでした。そして、鋭い観察者はすぐに「ちょっと待って、軍事用途については、そのために必要なものの多くははるかに小さなチップになるだろう。ドローンや何らかの機器に何かを載せる場合、これらの巨大なデータセンタースタイルのチップは使わず、はるかに小さなものを使う。だから、主に彼らの軍隊を標的にしているなら、これはちょっと奇妙なやり方だ」と言いました。
同様に、人権侵害については、それは画像認識、音声認識、その他のことが多く、これらの巨大なクラスターは必要ありません。
そして修辞は、実際には中国が非常に高度なAIシステムを構築する能力についてだ、という方向にシフトしました。それが最も理にかなっている、あるいはそれは実際に理にかなっていると思います。もしそれがあなたが防ごうとしていることなら、最も高度なチップの大規模な蓄積を防ぐことは、それを行う良い方法です、または少なくとも試みる合理的なことです。
しかし、修辞は今や「勝つ」ことが何を意味するかに再びシフトしました。そして、ホワイトハウスのAIと暗号の責任者であるデビッド・サックスは、これを非常に明確に言っています。中国に対して勝つことの意味は、チップでより多くの市場シェアを持つことです。ですから、私たちが彼らにチップを売っている限り、私たちは勝っているのです。そして、それは「勝つ」の全く異なる変化理論です。「勝つ」とは、私たちが彼らが構築できない戦略的優位性を与える何かを構築するために国内でチップを使っていること、または私たちが彼らが持っていない計算能力の広範な基盤を持っているので、私たちの経済を助けること、だから私たちは何らかの戦略的優位性を持っているということを意味します。
ですから、本当に多くの混乱があり、正確に私たちがここで何をしているのか、そしてそれがうまくいっているかどうかをどうやって知るのかについて、ほとんど足元をすくわれるような状況があります。
AI覇権とソフトパワー
今年、私はこれをよく聞きました。米国が世界の他の国々に自国のAIモデルの使用を開始させ、自国のAIスタックの一部になることが戦略的に本当に重要だと。私にとって、それが国家安全保障の優先事項であること、あるいはオーストラリアや南アフリカやブラジルの誰かがChatGPTを使っているのか、中国のモデルがどんなものであれそれを使っているのかが本当に大きな違いを生むことは、直感的には明白ではありません。
皮肉屋は、これはAI業界の利益であり、政府に対して、彼らが製品をより多く売り、市場シェアを競うことができるように支援を提供することが本当に重要だと納得させることだと言うかもしれません。もしそうできるなら、なぜ彼らはそれを説得しようとしないのでしょうか?
この議論はある程度意味をなしますか? その議論はどのくらい強力で、どのように考えるべきでしょうか?
ええ、私にとって意味をなすバージョンは、基本的にソフトパワーのプレイとして、CSETの私の同僚たちが書いたことです。つまり、技術の歴史と誰が何を提供しているかを振り返ると、重要な技術の提供者であることから、ある種の広範で拡散したソフトパワーの利益を得るケースがたくさんあります。
別の例はハリウッドとアメリカの音楽でしょう。世界中の誰もがハリウッド映画を楽しみ、アメリカの音楽を聴くことが、正確になぜアメリカにとって良いのでしょうか? それを特定するのは難しいですが、明らかに良いことだと思います。それは典型的なソフトパワーの例の一つです。
同様に、アメリカのAIが世界中で使われているなら、影響力や標準設定、期待、関係という点で、幅広い理由でそれは良いことだろうというのは正しいと思います。
しかし、大きな注意点があります。それがあなたの焦点であるなら、必ずしもこれらのフロンティアシステムに焦点を当てることは意味がありません。つまり、何十万もの最も高度なチップを持ち、最も高度なモデルをトレーニングまたは実行するために使用されている計算クラスターのことです。
AIスタックを売ろうとしたり、AIスタックとの政府パートナーシップを得ようとしたりして回っている人々と実際に話すと、人々が望むことは、よりターンキーソリューションのようなもので、「これは私に何をしてくれるのか?」というものです。そしてそこでは、巨大な計算能力は必ずしも必要ありません。非常に高度なモデルは必ずしも必要ありません。代わりに、あなたにとって興味深い特定のユースケースのためにモデルを使用する方法を理解するための何らかのサポートが必要かもしれません。
または、政府の使用や大規模企業の使用について話している場合、必要なサポートは、「これは私たちの既存のIT調達ポリシーにどのように適合するのか? そしてUXは何か? これを私たちのスタッフ向けの既存のオファリングにどのように組み込むべきか?」というものかもしれません。または、それが政府なら、「これを私たちのオンラインデジタル政府イニシアチブにどのように適合させるべきか?」というものです。そして、それはあなたが本当に何十万ものチップを必要とする種類のものではなく、むしろ組み込みソフトウェアエンジニアが入って問題を理解し、進展を助ける必要がある種類のものです。
ですから、議論は基本的に合理的だと思いますし、なぜ技術界から出てきた人々が「この完全なスタック、アメリカのAIスタックアプローチをやろう」と言いたがるのか理解できますが、「だから彼らに自分たちの世界クラスのスーパーコンピューターを構築させるべきだ」と使われることがありますが、それは続かないと思います。
ええ、この議論について私にとってさらに混乱させることは、人々がその議論をして、「だから米国で開発された主要なオープンソースAIを持つことが非常に重要だ」と言うと思うことです。しかし、MetaがAIの本当に良いモデルをオープンソース化すれば、世界中のどこでも誰でもそれを使って自分の機器で実行でき、どんな種類の特性、どんな性格、どんな価値観でも好きなように微調整して、米国にない何らかの機器でローカルに実行できます。これは本当に米国の国家安全保障目標にどのように役立つのでしょうか?
繰り返しますが、ソフトパワーの観点からは、もっと意味があるかもしれません。また、オープンソースエコシステムの人々はしばしば関与し、やり取りをすると思います。彼らはオープンモデルをつかんで洞窟に隠れて自分のことをするだけではありません。代わりに、より豊かなやり取りと関与があることが多いです。
ですから、本当に高品質のオープンソースモデルを生産するためのより多くの努力があることに私は非常に賛成する傾向があります。私はNathan LambertによるATOMプロジェクト、American Truly Open Modelsプロジェクトに署名しました。彼はシアトルのAI2の研究者です。
私の考えでは、重要なことは実際には2つの異なる質問を分離することです。主要なオープンモデルを持つことを試みるべきか、対、最もフロンティアなモデルをオープンソース化またはオープンウェイト化することを試みるべきか。そして、それらは別々の質問であるべきだと思います。
ですから、米国企業が最高のオープンモデルと少なくとも大体同等のモデルをオープンに提供しようとすることは理にかなっていると思います。
しかし、必ずしも彼らが最高のモデルをオープンソース化するために競争すべきだということにはならないと思います。
セキュリティリスクを生み出すからですか?
ええ、ええ。オープンソースに対する私の全体的な立場は、出発点として考えることです。オープンソースは素晴らしい。すべてをできるだけ広く共有することは素晴らしいことであり、数え上げるのは難しいが本当に意味のある、説明責任、アクセス、広範な利益という点での多くの拡散した利益があります。しかし、私の考えでは主な例外はこれらのフロンティアモデル、最も高度なモデルです。なぜなら、私たちはそれらを最も理解しておらず、それらがもたらす新しいリスクを緩和する最も良い立場にないからです。
ですから、ある程度の、確立されたフレーズは「予防的摩擦」ですが、少しのラグを持つことです。6ヶ月、12ヶ月、18ヶ月かけて、それらのシステムをテストして理解し、本当に限界まで押した場合に何ができるか、どんな予期しない効果が現れるかを把握することです。そして、それがAPIからそれらを引き戻し、ファインチューニングをし、新しいセーフガードをかけることができる時期に起こることです。完全にオープンであるよりも。
中米AI競争の現実
DCでの修辞は、本当に米国が中国に対してAGIとAGIを開発する競争にあるということです。中国は実際にAGIを構築するために競争していますか?
素晴らしい質問です。私たちは実際に最近これについて短い投稿を出しました。なぜなら、最近2つのオピニオン記事がありました。一つはEric Schmidtによるもの、もう一つはJack Shanahanによるもので、両方とも非常に賢くよく情報を持っている人々ですが、米国は間違ったやり方をしていると言っています。なぜなら、私たちはAGIに焦点を当てているのに、中国はアプリケーションと普及に焦点を当てているので正しいことをしているからです。
そして、CSETの最も上級な中国研究者の2人である、William HannasとHuey-Meei Changが、実はそれは正しくないという投稿を出しました。実際、中国はすべてを行っています。ですから、中国の今の大きなプッシュ、あるいは彼らの大きな政府のプッシュの一つが「AI Plus」計画と呼ばれていることは確かに真実です。そして、それは「AI Plus」です。なぜなら、それはAIと他の何らかのセクター、AIプラス製造業、AIプラスヘルスケア、それらの交差点と有用なアプリケーションを探しているからです。
ですから、それは大きな焦点ですが、彼らは同時に歩いてガムを噛むことができ、AGI、汎用AIを引き続き強調しています。
ここにいくつかのしわがあります。一つは、中国語では、AGIの単語は汎用AIの単語と同じです。ですから、それはただ通用人工智能です。それは一般的な使用を意味します。非常に不便です。米国、あるいは西側、あるいは英語圏の議論では、私たちは長い間AGIについて話してきました。そしてChatGPTが出た後、この汎用AIというアイデアが確立されました。これは多くのことに使えるが、完全に人間レベルではないか、超知能に向けて構築していないという、より平凡なものです。中国語では同じ単語なので、少し不明確です。とはいえ、彼らは時々英語の文字「AGI」を使い、時々超知能について話します。
彼らが今両方を推進していることは非常に明確だと思います。あまり明確でないことは、中国のリーダーシップがどれだけ「AGI pilled」であるか、私はこれ以上良い用語を知りません。つまり、彼らはAGIが巨大な出来事になるだろう、それがすぐに起こるだろう、そしてそれを行う方法はスケールアップすることだということに本当にオールインしています。
私がこれについて見た最良のものは、実際にはChinaTalkのJordan Schneiderからのもので、彼のSubstackに投稿された議論があります。「ChinaTalk AGI debate」とか何かを言えば、おそらくGoogleで出てくると思います。それは基本的に信者と懐疑論者の間の議論として定式化されています。信者は明らかに中国は非常にAGI pilledであり、ここにすべての証拠があると言い、懐疑論者は明らかにそうではないと言っています。
私はその議論では懐疑論者側に傾く傾向があります。つまり、彼らが主要な米国企業と同じように、あるいは主要な中国企業と同じように、本当にAGIや超知能を目指しているという証拠は見当たりません。DeepSeekは企業として確かに非常にAGI pilledだと思います。
ですから、「中国はAGIに向かって競争しているか?」と言う場合、何を意味するかに程度があります。
また、私は米国政府が今非常にAGI pilledであるとも思いません。そして、それには良い理由があるかもしれないと思います。それが意味することにバンドルされている多くの仮定があり、実際には正しくないかもしれません。ですから、彼らがAGI pilledではなく、それが間違いだとは言いたくありません。それについて多くの異なる見解のための多くのスペースがあることには理由があると思います。
DCは中国に対してかなりタカ派的な態度を持っていると言えます。これは中国の振る舞い方を考えると適切だと思いますか? 私の心配は、「中国のためにXやYのことをしなければならない」と言うことが非常に簡単になったことです。そして、「中国に対してこれほど敵対的である必要があるのか?」と反論することは人々にとって不快です。何かがそれほどの通念になり、言うのがとても簡単で、反対するのがとても気まずいとき、それは基本的に決して挑戦されず、議論がおそらく見かけよりも弱いにもかかわらず、みんなに受け入れられます。あなたはどう思いますか?
ええ。つまり、集団思考は悪いと思います。人々が自己検閲する必要があると感じることは悪いと思います。
良いニュースがあります。過去3ヶ月から6ヶ月にかけて、これは少し和らいでいると思います。トランプ大統領の中国に対する立場はかなり不明確で、控えめに言っても、あるいはおそらくやや流動的であり、それがいくらかのスペースを生み出しました。また、確かにAI側では、彼にAIについて助言しているトップの人々は、中国との商業的関与、米国のチップを中国に売ることにはるかに興味があるように見え、それは伝統的な中国タカ派の立場とはあまり両立しません。
ですから、議論に多くの声があり、多くの視点があることが本当に価値があると思います。そして、過去数年間、おそらく少し欠けていたと思います。中国とどのように関係できるかについての創造的な思考が。すべてがタカ派対ハト派に崩壊します。これはおそらく20年、30年前を想起させるもので、中国が責任ある利害関係者になる道を歩んでいると仮定するのか、より政治的に自由で、良好で、友好的な国になると仮定するのか、または米国との戦争に向かっていると仮定し、最大限タカ派的でなければならないのか。もちろん、その間には非常に広範な可能性があるので、より広範な選択肢を考えることができることが価値があると思います。
米中外交の不在
私が少し混乱していることは、AGIのガバナンス、AIが軍事に統合されることを防ぐために米国と中国との間で何らかの条約や合意に近づくような直接的な外交が行われていないように見えることです。どちらの国も、この技術を本当に把握し、その長所と短所を理解する前に早まってそうしてしまうことを防ぐために。あるいは、超知能を統治する条約はさておき、今経済で望むすべてのアプリケーションを進めている場合でも、それについては慎重であるべきだと言うことです。
国家間での議論がほとんどないというのは正しいでしょうか? もしそうなら、それは間違いだと思いますか?
あなたは正しいと思います。特にトラックワンレベルと呼ばれるもの、つまり公式な政府対政府の会談では。いくつかの理由があると思います。一つの基本的な理由、一つのAI特有の理由は、問題としてのこれについての懸念、または優先すべき主要な問題としてのこれについての懸念という点で、基礎が整っていないと思います。AGIとは何か? 超知能とは何か? それらは私たちがこれまでに構築できるものか? 近いうちに構築するかもしれないものか? それは良いことか悪いことか、そして誰にとってか? これらの質問については、特に政府レベルでは、非常にわずかな合意しかないと思います。たとえば、AI安全性コミュニティの視点とは対照的に。
または企業。
または多くの企業。そうです。企業では、「私たちはこれを構築できる。私たちはすぐにそれを構築するだろう」というものです。そして、AI安全性コミュニティでは、「…そしてそれは本当に悪いことになるだろうから、それについて話すべきだ」というものです。しかし、それは比較的孤立した一連の信念だと思います。それがAI特有の理由で、基礎が整っていないということです。
より広範な関係も見ることが本当に重要だと思います。そして、外交官の視点から、または確かに大統領や議長の視点から、これは関係で起こっている他のすべてのものとスロットインしなければならないことを理解することです。
では、関係で他に何が起こっているのでしょうか? まあ、一つは米国と中国政府がほとんど話していないということです。過去数年間、いくつかの小さな問題について直接国対国の会談がありましたが、完全に停止されることもよくありました。ですから、ある期間、ナンシー・ペロシが台湾に行った後だったと思いますが、基本的にすべての会談が停止されました。
それはただクレイジーではないでしょうか? 私には驚きです。これは世界で最も強力な2つの国です。彼らには話すべきことがたくさんあります!
ええ。私の理解では、通常、米国が話す意欲をより多く持っているということです。そして中国はそれを知っているので、それが中国の交渉カードになります。「私たちはあなたと話したくない。非常にデリケートで重要な問題について、これらの軍対軍の会談をするつもりはない。なぜなら私たちは怒っているからだ。そしてあなたが私たちにそれらをしてほしいなら、私たちがこれらの会談に戻って参加するために、あなたは見返りに何かを私たちに与えなければならない」と言います。
そしてあなたはそれに屈したくないと思います。
まあ、ええ。つまり、要点がそれが相互に有益であるということなら、私たちは自分たちが譲歩をしているかのように、または彼らが私たちに話をさせることで譲歩をしているかのように振る舞いたくありません。ここには多くの文脈があり、多くの荷物があります。
私が挙げる文脈と荷物の他のいくつかは、一つは米国の外交官の間でかなりの懐疑論があると思います。外交官は一般的に通常、関与賛成、交渉賛成、会話賛成です。それが彼らが外交官になる理由です。米国の外交官の間で、中国とのそれの価値についてかなりの懐疑論を聞きます。それをしたときに何が起こるかについての彼らの実績に基づいています。
重要な例は、2015年にオバマ大統領と習近平国家主席が、中国が米国企業をスパイし、米国企業から企業秘密を盗むというこの問題について長い議論をしたことです。これは、長年確立された「国が戦略的理由で互いにスパイする」こととは異なります。中国は異なることをしていました。すなわち、企業スパイ活動、彼らが企業秘密を取り、経済的に利益を得て、自分たちの企業に渡すことです。非常にOKではなく、国際的に非常に規範外です。
2015年に、長い一連の議論の終わりに、オバマと習近平の間で、中国がそれをやめるという大きな取引が署名されました。そして、コンセンサスは、彼らが基本的に数ヶ月後に再び始めたということです。彼らは非常に短期間停止し、その後再開しました。それはサイバースペースでの一つの象徴的な例です。
AI関係をする多くの人々は以前サイバースペースで働いていたので、それは彼らにとって非常に顕著な例です。
彼らが良い交渉パートナーであるかどうかについても懐疑論があります。私がそこに追加するもう一つの例は、昨年ジュネーブでのAIに関するトラックワン政府対政府会談の大きな例で、この会話への最初の試みです。私の感覚では、それはひどくは行きませんでしたが、素晴らしくも行きませんでした。
そして、その理由の一部は、これも米中交渉全般の象徴的なものですが、米国は非常に技術的で、よく情報を持った、最高のAI政策担当者の何人かを送ってかなり深い会話をしました。そして中国は彼らのアメリカ専門家を送りました。つまり、AIについてほとんど何も知らない、アメリカ人を扱うことを専門とする米国外交官です。
時々使われる用語は、彼らが「野蛮人ハンドラー」を送ったということです。つまり、彼らは外国人と上手くやることを専門としています。
ですから、繰り返しますが、その対話はひどくは行かなかったと思いますが、良いスタートではありませんでした。そして繰り返しますが、それは中国政府が実際に望んでいる優先事項として、この点で基礎が整っていないことを示唆しています。
なぜ中国が会談に同意するかというデフォルトの説明とは対照的に、それは彼らを大国のように見せるからです。そして彼らは米国とAIについて二国間会談をしています。それは彼らがAIでとてもうまくやっていることを示していないでしょうか? ですから、それも彼らが話す動機です。そしてもしそれが彼らがそこにいる理由なら、それは本当に非常に生産的にはなりません。
つまり、彼らは大国であり、かなりうまくやっています。
確かに、ええ。しかし、彼らがそこにいたい理由がそれについて自慢できるようにすることなら、リスクを減らすことについて多くの進展をするつもりはありません。
ですから、あなたはこのような交渉がより多くないのは主に中国にあると言うでしょうか? または共有責任ですが、米国よりも中国にあると?
中国には十分な過失があると思います、はい。
記録に残しておきますが、私は中国にこれについて失望しています。彼らに私がイライラしていると伝えられます。
米国は、最高のAIモデルが最後の最後に中国に奪われ、ウェイトが流出して中国軍に使われることを防ぐ軌道に乗っていますか?
いいえ。
何をしていないのに、何をすべきでしょうか?
今の最良の希望は、中国が最高のオープンソースモデルと最高のクローズドモデルの間のギャップを小さいと認識している限り、彼らはウェイトやモデルを盗むことに投資しないかもしれないということだと思います。そして、それは今かなり広範な視点だと思います。だから多分彼らはただ気にしないでしょう、基本的に。それが最良の希望だと思います。しかし、わかりません、サイバーセキュリティは本当に難しいです。
しかし、あなたが中国と競争していると言い、AGIに最初に到達しようとしている、でも作っているものを盗むことさえ気にしないほど近いなら、ちょっと矛盾がありませんか? これらのことはどのように共存できるのでしょうか?
中国とAGIに向かって競争しているかどうかは、それほど明確ではないと思います。
ここには特定の主張を推し進めるために支払われていると感じさせる、競争の言語の周りの一連の背景仮定があると思います。私は、中国とAIで競争していると言うことは完全に満足しています。競争の問題は、ゴールラインがあり、最初にゴールラインを越えた人が本当に勝つということです。そして、2位でゴールラインを越えたら、それは役に立たず、重要ではありません。
そして、一部のAIサークルでは、AIやAGIが明確なゴールラインを持つ本当の競争であるという仮定があると思います。そしてゴールラインは、最初に自己改善AIを構築した人です。なぜなら、特定のレベルのAIに到達すると、あなたのAIが自分自身を改善できるか、次世代を改善でき、この種の複利的な改善があれば、最初に特定のポイントに到達した人が最終的に勝つという本当の状況になる可能性があるからです。
それが実際にどのように見えるかはまったく明確ではないと思います。システムがますます高度になり、ますます多くの方法で使用され、複数の異なるアプリケーションに拡散するのと比較して。そしてその場合、私たちは中国との継続的な競争の状態にあると思いますが、必ずしも激しい競争ではなく、最後のゴールラインでわずかに先行している人が最終的に未来を勝ち取るようなものではありません。
競争の形は実際にはかなり不明確だと思います。そして人々がそれが非常に明らかに勝者総取りの競争であるかのように扱うとき、それはかなりリスクの高い提案です。なぜなら、特定の種類のトレードオフと特定の種類の決定が明らかに良いアイデアであることを意味するからですが、実際にはまったく明確ではないと思います。
2年前、私の記憶では、態度はセキュリティを強化しなければならない、彼らがウェイトを盗めないようにしなければならないというものでした。あなたは今、態度にやや変化があり、人々がより運命論的になっていると言っているようです。
つまり、当時でも問題は、洗練された国家行為者がオンラインで何かを盗むのを止めることは本当に難しいということです。あるいはオンラインではなくても、あらゆる種類のデジタル侵入、あらゆる種類のデジタルシステム、本当に、本当に難しいです。
これについて最もよく知られている仕事はRANDによるもので、彼らが考案したセキュリティレベルがあります。
より広範な行為者が高度なAIモデルやアルゴリズムの秘密やその他の独自情報を盗むことをより困難にするために努力すべきであることは非常に明確だと思います。なぜなら、それについてただニヒリスティックであれば、それは中国だけでなく、北朝鮮かもしれないし、テロリストグループかもしれないし、あるいは不満を持った若者かもしれないからです。今世代のChatGPTではなく、これから2世代後のChatGPTを使ってやや洗練されたサイバー攻撃を実行する。
ですから、セキュリティを改善することに非常に焦点を当てるべきだと思います。しかし、これらのシステムを洗練された国家ベースのハッキング試みに対して抵抗力のあるものにしようとすることは、本当に大きな挑戦になると思います。
もしそうなら、米国で最高のモデルをトレーニングしなければならないという考えを本当に損なうようです。なぜなら、それが本当に大きな戦略的優位性を提供するなら、トレーニングされてからかなりすぐに中国がそれを持つと完全に予想できるか、それがかなり可能性が高いと考えることができるからです。残るものは、米国により多くの計算能力があることを確保したい、中国が大量の推論を行う能力を拒否されることです。
たとえ彼らがウェイトを盗めても、それはまだ戦略的優位性を提供する可能性があります。しかし、彼らが先に進むためにすぐにそれをトレーニングする必要があるなら、その議論ははるかに弱く感じられます。
繰り返しますが、これは競争の形が何か、またはここでのパラメーターが何かという質問だと思います。おそらく別の言い方をすると、それが純粋に誰が最も高度なモデルを持っているかについてであるなら、確かに中国がおそらく最も高度なモデルを盗むことができるという事実は、それがどこで開発されるかはあまり重要ではなく、最初に開発するために競争することの利益を少なくします。しかし、あなたが言うように、展開の問題もあります。
おそらく、最も高度なモデルが欲しい理由の一部がより高度なモデルを構築できるようにすることであれば、そのためには計算基盤が必要かもしれません。これは、たとえばAI 2027シナリオでの計算モデリングのいくつかに反映されていると思います。そのシナリオでは、中国はモデルを盗みますが、実際にはそれを使って同じだけの進歩を遂げることができません。なぜなら、進歩を遂げるのに十分な計算能力を持っていないからです。
繰り返しますが、それは進歩がどのように見えるか、どの種類の優位性がどのリソースを持つどの行為者に生じるかについての多くの仮定を焼き込んでいます。ですから、中国がモデルを盗めるから、私たちは最高のモデルを持とうとすべきではないと言う決定的な議論だとは思いません。しかし、その主張を和らげるべきだと思いますし、私たちがどの程度速く動くことが理にかなうかを考えるとき、常に前景にあるべきだと思います。特に、私たちは速く動かなければならないと言っているなら、たとえそれがリスキーであっても、なぜなら私たちは最初に到達しなければならないからです。すると、それはどのリスクか、そしてあなたのモデルがただ流出する可能性に対してそれらをどのように比較検討しているかということです。
数年前、あなたは中国がAIのフロンティアで2〜3年遅れていると書きました。それは今では多く感じます。今では、その数字はもっと低いと想像します。今は何だと言いますか?
ええ。これはこの時点で2年前のことで、Foreign Affairsの記事でした。その記事の要点は、実際には、中国が先に進むだろうという懸念を、AI部門を規制しない理由として使うべきではないということでした。私は今でもそれを非常に支持しています。そして、その記事にはそれを裏付ける他の多くのものがあります。
しかし、ええ、そこで使った推定値は、実際には中国の投資家や向こうの人々から来ていたもので、2〜3年でした。それが今ではもう正しくないことは明らかだと思います。同時に、DeepSeekは1月に大きな瞬間がありました。明らかに大きな話題を呼びました。そしてその後、この記事を振り返って、「なんてこった、2〜3年。なんて冗談だ。彼らは私たちのすぐ後ろにいる。ギャップはまったくない」と言う人々を見ました。それもまた誇張していると思います。
私たちが観察した最小のギャップは3ヶ月です。これはOpenAIが最初の推論モデルであるo1を出した時と、DeepSeekが最初の推論モデルであるR1をリリースした時との間の時間です。それは非常に印象的でした。私は驚きました。DeepSeekによって本当にうまく行われました。
しかし、たとえばMiles Brundageという元OpenAI研究者は、当時、これがどのように機能するかは、これは新しいパラダイム、この推論パラダイムであり、今彼らはそれの非常に低い計算能力、最初の段階にいると言いました。これはこのo1レベルを再現する最も簡単なインスタンスになるでしょう。
そしてそれ以来、OpenAIがそのアプローチをスケールしてo3とo4-miniを作成したのを見ました。そしておそらくo4もだと思いますが、確信はありません。o4は今GPT-5の思考ですか? 多分。不明確です。
そして中国にはDeepSeekがあります。これは推論スペースでは本質的にリーダーです。おそらくAlibabaのQwenシリーズには競争できるものがあるかもしれません。
私の知る限り、彼らはo3と同じくらい良いものをプレビューしていません。混乱しますが、これはOpenAIモデルの第2世代です。なぜなら、o2は電気通信会社なので、商標紛争を望まなかったので、OpenAIは彼らの第2イテレーションを出しました。彼らは12月にそれをプレビューし、1月にリリースしました。私たちが録音しているのは今9月です。
そして私の知る限り、中国企業は同様に洗練されたモデルをプレビューしていません。つまり、私たちは今約9ヶ月のギャップにいます。そしてそれは彼らがそれにどれくらい時間がかかるかによってはもっと長いかもしれません。
また、o4をどのように説明するかも明確ではありません。これはOpenAIの第3世代モデルで、確かに彼らは競争していないように見えます。ですから、すべて非常に曖昧で、正確なタイムラインを置くことは難しいです。私は今6〜12ヶ月のようなものを言っています。o3パフォーマンスと競争力のあるものを持つのにどれくらい時間がかかるかによっては、それをもっと長く押し出すことを想像できます。
また、OpenAIはこれを製品として、完全なシステムとしてリリースしているので、比較するのが難しいです。たとえば、o3はツール使用が本当に得意であることでよく知られています。
そしてDeepSeekまたはAlibabaはオープンソースモデルを出すでしょう。これは少し異なるので、ツール使用についてどう考えますか? だから比較するのは非常に難しいです。
しかし短い答えは、今私はおそらく6〜12ヶ月のようなものを言うでしょう。
CSETは、AI進歩の国家安全保障への影響を認識する点で、数年先を行っていたと言えます。そしておそらく、輸出規制が大きな出来事になることを理解する点でも数年先を行っていました。
今あなたがやっていることで、CSETが先を行っている次のことになる可能性があるものはありますか? 他の人々がその問題の重要性をまだ理解していないような。
実際にはまだこれについての仕事を立ち上げていませんが、私が思い浮かぶのはロボット工学と高度な製造業です。これは時々2つの別々のトピックとして扱われますが、非常に密接に関連していると思います。基本的には、本当に洗練された産業機械を大規模に生産することです。これはロボットを含むことができますし、他のものを含むこともできます。
これはもっと学びたいことで、もっと調べたいことです。米国での製造業についての会話は、製造業の雇用についてあまりに多くなる可能性があると思います。そして、それは戦略的な観点から、国内で、あるいは同盟国やパートナーの間で実際に生産できるものという点で、本当に洗練された大量製造能力をここに持つことの戦略的重要性を無視しています。
ですから、私が考えていることは、この用語がどこから来たか忘れましたが、私のものではありませんが、「産業爆発」というこの考えです。つまり、AIが本当に成功しているなら、エネルギーの巨大な構築、データセンターの巨大な構築、ますます高度なロボット工学とそれらを生産するために必要な製造業の巨大な構築を見るでしょうか?
そして、物事が本当にその方向に進むなら、中国は今それを最大限に活用する良い立場にあると思います。ですから、その技術の軌道とその構築はどのように見えるかについていくつかの興味深い質問があります。そして、米国がより良い立場に身を置くにはどうすればよいでしょうか?
トランプ政権のAI政策
AIについてかなり強気であるにもかかわらず、トランプ政権はAI競争に勝ちたいという意図と矛盾するようなことをいくつかやってきたと思います。
熟練労働者を含めて人々が米国に移民することをより困難にしました。そして一般的に科学者や学生が来ることに敵対的に見えます。
エネルギー生成のロールアウトには否定的でした。少なくとも再生可能エネルギー生成には。
関税は、基本的に海外から輸入する可能性のある機械、産業投入物のコストを増加させるため、いくつかの点で製造部門にとってより困難にしました。ヒュンダイのバッテリー工場への襲撃があったと思います。
トランプがそれを実際には支持していなかったと言ったので、おそらく彼らはその一つをある程度撤回したと思います。
しかし、少し矛盾があるように感じます。高技能移民を奨励するなど、中国に対してできるだけ先行したいなら、おそらくやっているであろうことがたくさんあります。それらのことは起こっていません。実際、それはむしろ逆の方向に行っています。これをどのように理解できますか?
私はそれを理解する方法は、トランプ政権内に異なる派閥があることです。異なるアジェンダと異なる優先事項を持つ異なる特定の当局者がいて、彼らは必ずしも一貫した政策ビジョンにまとめられていません。
たとえば、移民については、それはCSETが最も早く見たトピックの一つでした。そして2019年にこの分野にいたとき、高技能移民は経済的に良いという一般的な通念がありました。なぜなら、それは米国企業に利益をもたらし、経済成長を助けるからです。しかし、国家安全保障の観点からは下げ面だけでした。なぜなら、人々が情報を漏らしたり、情報を盗んだり、最低限でもここで教育を受けてから母国に戻って母国に利益をもたらす可能性があるからです。
そして、私たちの最初の仕事のいくつかは、高技能移民がここにいることの国家安全保障上の利益を実際に理解することでした。米国のハイテクエコシステムが移民によって非常に推進されているという事実を含めて。どの数字を見ているかによりますが、最低でも30%か40%、時には50%以上の任意のプールです。トップスタートアップの創業者の約半分が外国生まれだと思います。そういったことです。
そして、米国が国際的に競争するつもりなら、それは理にかなっています。中国やインドのようなどこかよりもはるかに小さな国内労働者のプールを持っています。ですから、私たちがそれらを輸入でき、最高の才能をこの国に引き寄せることができるという事実は、巨大な非対称的優位性です。
しかし、それはトランプ政権とトランプMAGA運動の移民に対する一般的な視点と明らかに対照的です。ですから、長所と短所に関するその政策オタク的な考慮のセットは、移民に対する反対のより広範なプッシュの中で失われていると思います。
トランプ政権が取った政策行動の中で、高技能移民がここに来ることを抑止する多くのことは、科学資金の削減と並んで、米国の競争力に最も損害を与えるものの上位にあると思います。この国が過去にそうであったように技術的に洗練されているという点で。
そして私の理解では、それを説明する明確で、よく考え抜かれた戦略があるわけではありません。それはただ連合のこれらの異なる構成要素が自分たちのことをしているだけです。
Center for a New American SecurityとLennart Heim(実際に2年前に番組に出演した計算ガバナンスの専門家)は最近、米国はチップ自体を売るのではなく、他の国に計算能力をレンタルすべきだというラインをかなり強く推進しています。基本的には明確なセキュリティの勝利があるからです。ただレンタルしているだけなら、人々が基本的にクラウド上の計算能力へのアクセスを購入しているだけなら、彼らがそれを何らかの悪意のある目的や何らかの理由で米国の利益に反して使っているなら、いつでも遮断できます。それは良い議論だと思いますか?
かなり良いと思います。
あなたの目的が何で、それを達成したかどうかをどうやって知るかという質問に戻ると思います。ですから、中国企業がAIを使い続けて利益を得ることができ、懸念される使用を監視して遮断できると考えているなら、それは素晴らしいと思います。代わりに中国市場から最大限に利益を得ようとしているなら、おそらく売りたいでしょう。そして代わりに中国のアクセスを最大限に制限しようとしているなら、レンタルしたくありません。
ですから、関与するトレードオフを満たす良い方法だと思う傾向がありますが、繰り返しますが、この議論は目的についての合意と、あなたの政策が機能しているかどうかをどうやって知るかについて非常に欠けているので、これが関与する異なる人々にとってスポットを当てるかどうかを知るのは少し難しいです。
「レンタルで、売らない」アプローチに対する最良の議論は何ですか? 一つは、もし英国がNvidiaチップをまったく買えなかったら、つまり米国の同盟国でさえチップを買えなかったら、彼らは非常に脆弱な立場にあると感じるでしょう。基本的に、いつでも遮断される可能性があるからです。それは実際にどの国も喜んで受け入れる安全保障状況ではありません。ですから、それは多くの圧力や、他のどこからでもAIチップを調達することへの多くの熱意を生み出すでしょう。特に、中国が主な代替ソースになると思います。それが持つ可能性のある負の副作用かもしれません。
ええ。チップ管理の多くで、大きな問題は、それが中国エコシステムをどれだけ助けるかです。そして、それはただの経験的な質問で、非常に良い答えを見たことがありません。これは元の2022年10月の管理に当てはまります。大きなマイナス面、避けたい大きなことは、彼らが米国のチップを買うことを防ぐことで、ファーウェイを過給し、彼らの最高のチップ製造会社であるSMICを過給することです。
そして、チップ管理に反対する人々は、彼らが米国のチップを買うことを防ぐことが彼らの国内産業への恩恵になると仮定することが多いと思います。そしてチップ管理に賛成する人々は、それが彼らをあまり助けないと仮定することが多いです。なぜなら、たとえば、これは真実ですが、中国政府にとって国内半導体エコシステムを支援することは既に巨大な優先事項であり、それを補助するために何千億ドルもの資金を注ぎ込んでいました。そして彼らは既に苦労していました。
同様に「レンタルで、売らない」でも、これが実際にサプライチェーンの国産化をどれだけ助けるかはただの未回答の質問だと思います。異なる国がただレンタルするだけでどれだけ満足し、それは全く問題ないと言うか、対して彼らは他を探しに行くか。そして彼らが他を探しに行くなら、それは助けるか? それともこのサプライチェーンを再現することは技術的にただ非常に困難なので、大きな違いを生まないか?
米国は湾岸諸国、サウジとUAE、おそらくカタールでも、Nvidiaチップを使った大規模データセンターの建設を承認しました。あなたの考えでは、それの長所と短所は何ですか?
あなたが話している取引は、私が理解する限り、暫定的なものだと思います。詳細が固まっていない、初期段階で発表された種類のものなので、それらの取引の詳細が何であるかに本当に依存するでしょう。
大きな長所は、AIへの異なるインプットを見ると、計算能力が重要なインプットだと考えるなら、そのために何が必要ですか? チップが必要です、土地が必要です、許可、構築する許可が必要です、そしてエネルギーが必要です。
ですから、あなたができる自然な取引があり、米国では、私たちはたくさんのチップを持っている、許可は悪夢だ、そして私たちの電力網は苦労している、と言えます。しかし湾岸では、彼らはたくさんの土地を持っている、たくさんの日光を持っている、たくさんの石油を持っている。だから私たちはチップをそこに持って行き、彼らは私たちに構築させ、たくさんのエネルギーを与えてくれる、素晴らしい取引です。ですから、それが主な長所だと思います。そうでなければできなかったより多くの計算能力を構築できることです。
短所は取引の詳細に大きく依存すると思います。あまり短所がないかもしれません。湾岸の米国データセンターと湾岸の米国軍事基地との比較を聞いたことがあります。これは米国の資産であり、米国の領土であり、完全に米国の管理下にあるようなものです。もしそれがその場合なら、多分それほど多くの短所はありません。
しかし、国自身がチップに対する所有権や使用権や施設にアクセスする能力をより多く持つほど、2つの大きな潜在的な短所があります。
一つは、これらの国が中国と持っている接続です。これは共同軍事演習をすることや、中国の政治指導者やビジネスリーダーと非常に緊密な個人的および商業的関係を持つことを含みます。つまり、これは中国がチップをリバースエンジニアリングしたり、私たちが望まない方法で高度な船へのより多くのアクセスを持ったりするのを助けますか?
もう一つの大きな短所のセットは、これらの国が独裁国家であるという事実に関するものです。彼らは良い政府ではありません。
UAEでの抑圧の程度について読んだブログ投稿があり、私は驚きました。
ええ、ええ。サウジアラビアが民主主義ではないことを人々は知る傾向があると思います。女性に運転を許さないことで有名です。サウジ大使館でジャーナリストのジャマル・カショギを刻んで暗殺したことで有名です。これは彼らが言論の自由と報道の自由についてどのように考えているかを象徴しています。
しかしUAEについては、ドバイとアブダビは訪れるのにちょっと良い場所のような感覚を人々が持っていると思います。少し暑すぎますが、大きな超高層ビルと楽しい屋内スキーか何かがあります。しかしUAEは独裁国家です。Freedom House民主主義指数のスコアは100点満点中約18点のようなもので、本当に、本当に低いです。
政党は禁止されています。半分が選出され、半分が王室によって任命される一つの組織がありますが、実際には正式な権力はとにかくありません。だから選挙の種類がありますが、偽の選挙のようなものです。彼らは明らかに適正手続きと実際の法の支配ではない反体制派の大量裁判を行います。彼らは反体制派の家族を迫害します。
経済は移民労働で成り立っており、それらの人々は非常に少ない権利しか持っていません。最低限、彼らは政治的に参加する能力がほとんどない非市民労働者です。最悪の場合、彼らは本質的に強制労働です。
ですから、これは法の支配を尊重しない、その国民のエンパワーメントに興味がない国です。メディアが王室について何を言えるかについてかなり厳格な規則があります。それは権力を維持し続けるだろう王室との世襲的独裁国家です。
これらの取引の形はまだ確定していません。誰が何を得るかは明確ではありません。しかし、もしあなたが、これらの取引をしている主要企業のいくつかが言ったように、計算能力へのアクセスが将来の国家権力の巨大な決定要因になると信じ、取引が独裁政府、王室が本質的に世界クラスのスーパーコンピューターにアクセスできるような方法で構成されているなら、それはかなり懸念されます。なぜなら、その利益が一般の人々と一致していない、あるいは長期的な戦略的見通しという点で米国とも一致していない行為者に大量の権力を引き渡しているからです。彼らの優先事項は本質的に権力を維持することです。
ええ。ですから、これらの取引の一つが発表されたとき、UAEのデータセンターだったと思いますが、それはOpenAIとのコラボレーションでした。そして彼らは民主主義とデモクラティックAIの大きな勝利のようなプレスリリースを出したと思います。
これをどう解釈すべきでしょうか? これはただの限りない皮肉ですか、それとも他に何か起こっているのでしょうか?
確かに私には皮肉に見えます。民主主義が何を意味するか、デモクラティックAIが何を意味するかについて、本当に速くて緩いプレーをしていると思います。一行ずつ読むと、彼らはUAEが民主主義であるとは決して暗示していませんが、民主的なレールの上に構築することや国際的にデモクラティックAIを促進することについて話しています。
これを解釈する方法は2つあると思います。両方とも原則的には合理的かもしれませんが、この取引には実際には存在していません。
一つは、AIへのアクセスは一般的に良いことのための民主的な力になり得るということです。例えば、もしOpenAIが以前に言論の制限や情報へのアクセスの制限があった国でChatGPTを自由に利用できるようにしたなら、質問できるAIシステム、情報を得られる、物事を学べる、自分の目標を進めるために使えるものを持つことは、明らかに民主主義と両立する方法で個人をエンパワーすることだと思います。
しかし、それはUAEとの取引の一部であるようには見えません。その取引が発表された直後、彼らの幹部の一人がステージに立ち、UAEに住んでいた米国のジャーナリストから質問されました。「私はUAEに住んでいました。メディアが言えることと言えないことの赤い線があります。あなたはそれらの赤い線をChatGPTとUAEに組み込むつもりですか?」そして彼は「まあ、見てみよう」のようでした。これはあまり励みになりません。ですから、この最初の変化理論、より多くの人々にAIへのアクセスを与えること、そしてそれがこの民主的な、草の根をエンパワーする力であることは、そうではないようです。
もう一つは、彼らがより売り込もうとしていると思うもので、アメリカのAIは本質的に中国のAIよりも民主的だというアイデアです。だからアメリカのAIを促進する、またはアメリカが中国に勝つのを助けるものは何でも民主主義にとって良いのです。
そして繰り返しますが、それは原則的には意味をなすかもしれません。この話の大きな長所に戻ると、国内ではできなかった方法でより多くのデータセンターを構築できることです。
問題は、一方で、繰り返しますが、もしUAE政府がこの取引によってエンパワーされる、彼らが本当に洗練されたAIへのアクセスを持つことになると考えるなら、彼らは非常に独裁的であることを考えると、それが中国がアクセスを持つことよりも正確になぜ良いのでしょうか?
しかし第二に、取引のパラメーターは正確に何で、米国はこの戦略的利益を得るために何を諦えなければならなかったのでしょうか? 繰り返しますが、もしそれが本質的に米国軍事基地のようなデータセンターで、完全に米国所有で管理されていて、すべてが米国に生じるなら、素晴らしい。しかし企業が言う大きなことは、米国が売らなければ、中国が売るということです。だから中国はドアの外で待っています。もし米国との取引がうまくいかなければ、彼らはただまったく同じ取引を提供するでしょう。
中国はチップさえ作れません!
その通り、その通り。だからそれは彼らができることの現実から完全に切り離されています。そして実際、これはチップ管理と米国対中国の能力についての議論で繰り返されるテーマだったと思います。発表される仕様と実際の生産能力と実際の仕様との違いを本当に無視しています。
UAEの取引についての思考を締めくくると、報告されたことの一つはUAEが何十万もの次世代Nvidiaチップを手に入れることでした。それはただ信じられないほどの量の計算能力で、中国は絶対に匹敵できません。彼らは自国の需要を満たすのに本当に苦労しています。その取引がうまくいかなかったとしても、彼らがドアを通って入って、UAEに同じものを提供できる方法はありません。ですから、それはただ本当に悪い動機だと思います。
一般的なチップ管理についての議論では、私たちはどれくらいの数のチップについて話しているのかが本当に無視されてきたと思います。中国がそれらを製造する能力は何ですか? そして彼らが製造を実証するとき、彼らはどのようにそれを行いましたか? 例えば、今ではかなりよく実証され、かなり明確になっていますが、ファーウェイの最も高度なチップの1世代か2世代か忘れましたが、彼らはこのかなり印象的なパフォーマンスを実証しました。そして彼らがどのようにそれを行ったか知っていますか? この話を聞いたことがありますか?
いいえ、聞いていません。
基本的に、彼らはTSMCをだまして彼らのためにチップを作らせました。これは最も高度なチップを作る台湾の半導体製造会社です。これは管理が実施された後でした。TSMCはファーウェイのためにチップを製造することは許可されていませんでした。
ファーウェイはフロント会社を立ち上げ、明らかにファーウェイのチップのためのチップ設計をいくつか送りました。しかしTSMCはただ見て見ぬふりをしたか、プロセスが整っていなかったか、他の何かで、先に進んで大量のチップを製造しました。あるいは正確な詳細は忘れましたが、ダイを与えました。しかし基本的に彼らのチップ製造プロセスのための非常に高度なインプットのこの巨大な備蓄を彼らに渡しました。ですから彼らは今それらのチップを販売してマーケティングし、まるでそれが彼ら自身の洗練であるかのように振る舞っています。しかしそれは、まあ、違います。
それがあるなら逆を示しています。
その通り。ですから、しばしば「なんてこった、ファーウェイがこのチップを発表した。ファーウェイがこのパフォーマンスを実証した。ファーウェイがその中に高度なチップを使った少数の電話を製造した」というような見出しがあります。それは本当に、待って、彼らはそれをどうやって作ったのか、そして将来彼らはどれだけ作ることができるのかを見ていません。それはこれらの管理の実際の効果とトレードオフを理解しようとするために行う必要があることです。
超知能の地理学
ほぼ常に、私たちはフロンティアモデルが米国または中国で開発され、最初に展開されると仮定します。それらが2つの主要国です。
しかし、AGIや超知能をどう定義したいにせよ、それがサウジやUAEで最初に訓練される可能性があると考えるのはクレイジーでしょうか? 多くの不利な点があると思いますが、もし彼らが膨大な量の計算能力にアクセスできて、彼らが持っている利点は、基本的にこの問題に投げかけることができる巨大な現金の蓄えを持っていることです。彼らは米国ほど多くはないかもしれませんが、より多くの可処分所得を持っています。米国ほど多くはないかもしれませんが、独裁的であるため、はるかに少ない制約で、はるかにお金を指図できます。超知能がまずサウジで開発される可能性はありますか?
可能だと思います。私の印象では、サウジよりもUAEの方だと言いたいです。
確かにすべての報告によると、UAE政府はいわゆる非常にAGI pilledです。AGIが大きな出来事になるだろうというこの考えに非常に入れ込んでいて、そこへの道は計算能力をスケールアップすることなどです。もしそれが真実なら、彼らは有利な立場にあります。なぜなら彼らは既にそれを信じているからです。
すべてのAIの質問と同様に、それはタイムラインに依存します。どれくらいの期間について話しているかに依存します。今後数年間では、彼らは本当に競争力のある努力を立ち上げるのに苦労すると思います。しかし、もう少し長い規模について話しているなら、それなら潜在的に。
また、彼らは米国が高技能エンジニアと科学者を拒否することから利益を得る非常に良い立場にあると思います。彼らは本当に素晴らしい報酬パッケージ、素晴らしい生活の質を提供でき、彼らがそれをしようとしていることは確信しています。まだしていなくても、既にしているなら。
ですから、最も高度なモデルが湾岸で開発されるだろうと私が賭けるものではありませんが、それは確かに可能だと思います。そして確かに、もし私たちがこれらの巨大な取引を続けて、本当に巨大な量の計算能力をそこに構築するなら、さらに可能性が高くなります。
AGIへの移行、潜在的に超知能への移行を、一部の企業、おそらく一部の政府、おそらく一部の個人の手に権力が不条理に集中することなく経験するための提案はありますか? それが自然な結果になり得るように感じられる理由を人々に説明してもらえますか?
AIが非常に権力集中的である可能性があると思う理由はいくつかあります。
最も明白なものは、最近のように資本集約的であり続ける場合です。ですから、過去10年、15年間のAI開発の最も明確なトレンドは、この計算スケーリングのアイデアだと思います。進歩を遂げる方法は、最大の計算クラスターを持ち、個々のAIシステムの訓練にますます驚くべき金額を費やすことです。それが真実であり続けるなら、大量の資金にアクセスできる行為者を自然に持つことになります。それが非常によく資本化された企業であれ、豊かな政府であれ、彼らがAIを開発する者になるでしょう。
それがそうなる別の方法は、トッププレーヤーを保護する規制エコシステムがある場合です。ですから、AIを開発する方法について非常に厳格な要件があり、それを突破するのが非常に困難なので、規制捕獲があり、少数のプレーヤーがいます。おそらくそれらの規制は良い意図で導入されましたが、権力を集中させることになれば、それは素晴らしくありません。
そして、存在リスクからのAIについて、本当に悪い結果について、AI安全性について非常に懸念している一部の人々の間にも自然な緊張があると思います。少数のプレーヤーしかいない場合、それは実際に役立つという感覚があります。なぜなら、一つには、彼らはより良く調整できるからです。だからもしレースが
よりリスクの高い結果につながるなら、2つのトッププレーヤーだけがいれば、3つ、4つ、または10持つよりも直接調整できます。また、少数のプレーヤーは外部機関が規制するのがより簡単になります。ですから、少数の企業だけがあれば、規制するのがより簡単になります。
ですから、その集中は実際に価値があるという感覚がよくあると思います。そこにロジックは見えます。しかし問題は「それから何?」という質問です。もし本当にそれらの最悪のケースの結果のいくつかを避けることに成功し、そしてこの信じられないほど強力な技術が非常に少数の人々の手にあるなら、歴史的にそれは本当に悪かったと思います。非常に強力な小さなグループがあるとき、それは本当に悪く、典型的には世界の残りと人類の残りにとって良い結果にはなりません。
これはすべて、どのようにこれを避けるかというあなたの実際の質問への前置きだと思います。私は本当には知りません。もっと多くの仕事があることを望みます。これについて起こった考えの多くは、リスクが本当に大きいと言う人々の間で行われてきました。だから私たちは集中を試みなければならない。なぜならそうでなければ私たちは皆死ぬからです。そして、それは馬鹿げている、私たちは明らかにみんな死なない、だからしたがって私たちは最大限に権力を拡散すべきだと言う他の人々です。そして、それらの人々に実際に互いに関与させて、もしかしたら…
もし両方のリスクが中程度だったら? それなら私たちは本当に厳しい立場にいます。
または両方のリスクが高い、対でしょう? ええ。時々私がこれについて話すと、人々は私が楽観的だと思います。そして私は「すべて良い、大丈夫、ただ権力集中を少なくしよう」のようです。しかし実際に私の見解はより悲観的な見解だと思います。集中が解決策だとは思いません。そして最大拡散がおそらく解決策だとも思いません。だからどのようにその中間を航行するのでしょうか? 本当に難しいと思います。
一つの答えは、技術がどのように発展するかという点で、私たちは幸運になるかもしれません。物事が比較的徐々に発展する場合かもしれません。速い追随者が追いつく時間があり、能力への比較的広範なアクセスがあり得、集中した方法で管理する必要があるこれらの本当に決定的な、巨大な文明的マイナス面リスクはありません。ですから、私たちはただ幸運になるかもしれないと思います。それが私の最良の希望のようなものです。
また、これをターゲットにするツールについて考える価値があると思います。非常に基本的なレベルでは、AIリテラシーのようなものがあります。より広範な人々にこの技術で何が起こっているかを理解させ、それに関与できるようにし、トレードオフ、長所と短所、リスクと利益について考えることができるようにするにはどうすればよいでしょうか? 労働者のエンパワーメントや労働者の役割について、フロンティア企業の労働者を含めて、技術の発展を形作る上でどう考えるでしょうか?
また、企業への課税のような非常に基本的なこともあります。唯一の問題が、それがただ自然に資本集約的な技術であるだけで、だから大きな行為者がそれを構築することになり、マイナス面のリスクについて心配する必要がないなら、税と独占禁止のような非常に伝統的なツールが入ってきて、その権力の集中を拡散させるのを助けることができます。しかし、それは安全性の課題を解決しません。
権力の集中の心配は、ある程度、輸出規制に対しても、または計算能力の「レンタルで、売らない」に非常に激しくすることに対してもポイントします。なぜなら、ほぼすべての計算能力が米国に集中していて、ヨーロッパやオーストラリアや英国や基本的にどの国も重要なデータセンターを持つための足場を得ることができないなら、それは彼らを米国による搾取に対して非常に脆弱なままにすると思うからです。または米国を悩ましく強力な立場に置きます。それに同意しますか?
ええ、それはおそらく方向性的に正しいと思います。あまり考えていませんが、ええ、興味深い点です。
AIの根本的な不一致の一つは、分散化とダイナミズムを支持する人々と、ダイナミックでオープンなAIエコシステムについて不安を感じる人々との間にあるかもしれないと最近書きました。そのアイデアを説明してもらえますか?
ええ。これは昨年遅くにVirginia Postrelによる『The Future and Its Enemies』という本を読んだことから来ました。素晴らしいタイトルです。実際には90年代からのもので、環境主義とサイバースペースがちょうど物になる時代です。
そして、私がそれを本当に役立つと感じたのは、AI安全性の議論についてワイロをかける何かに指を置くのを助けてくれたからです。AI安全性コミュニティの人々が必ずしも気づいていないことが多いです。それは基本的にこの本能です。もしこれらの大きなリスクがあるなら、解決策は集中です。ですから、AIがすべての人間を殺すリスクがあります、またはAIが乗っ取るリスク、そのようなものです。そして解決策は、まあ、正しい人々がそれを構築し、それが非常に小さなグループであることを確認しなければなりません。
そしてそこでロジックは理解できますが、欠けているものの種類があります…
人々を気味悪がらせます。
欠けているものには異なる方法があります、対でしょう? 時々私がこれについて話すとき、また私がそれについて書いたときも、人々は戻ってきて「待って、だからあなたはそれについてまったく心配しなくてもいいと思うのですか? ただみんながAIを構築させて、それは全く問題ないだろう? なぜあなたはそう思うのですか?」と言います。そして、それは実際には私の見解ではありません。私の見解はもっと、私たちはもっと心配すべきで、これらのバランスを取らなければならない要因についてもっと悲観的であるべきだというものです。
別の言い方をすると、AIからの存在リスクについて非常に懸念している人々が、これらのリスクを管理するために集中しなければならないだろうと言うとき、私はロジックを理解します。しかし、それには「ああ、技術へのアクセスを集中させなければならないと思います。このリスクを管理するために。それはひどいです。どのようにそれに対処しますか? どのようにすべてのマイナス面について考えますか? それが人類の大部分の大規模なディスエンパワーメントに終わらないことをどのように確認しますか?」という「ああ、やばい」がありません。
そして、特にテック界の多くの人々が、しかしもっと一般的にも、Postrelの本が「dynamist」な見方と呼ぶものを購読していると思います。成功の巨大な源、人間の繁栄と幸福の巨大な源は、より多くの試行錯誤を可能にする世界を持つことです。分散実験を可能にし、物事が失敗することを可能にし、すべての問題を最初に予防することに焦点を当てるよりも、レジリエンスと問題からの回復に焦点を当てることです。なぜなら、すべての問題を予防しようとするなら、より権威主義的で、集中化された、彼女が「stasis」と呼ぶもの、つまり安定性重視、管理重視の体制になってしまうからです。
そして繰り返しますが、したがって私たちはそれについて心配すべきではない、人々が好きなことをさせるべきだと言いたいわけではありません。私が言いたいのは、もし本当にこれらのより「stasist」な、管理と安定性の解決策が本当に必要だと思うなら、それについて本当に不安を感じる必要があります。そして、もし本当にこの方法で権力を集中させることが必要だと思うなら、最後にどのようにそれを再び分散化するか、どんなガードレールが設置されているか、そしてどのくらい確信しているかについて本当に慎重に考える必要があります。異なるAIリスクの性質について、そしてそれがこのトレードオフに値するかどうかについて、どんな証拠を集めることができますか? AI安全性コミュニティの雰囲気とは対照的に、それはしばしば「大丈夫、解決策はただ集中で、それで私たちは大丈夫になる」のようになることがあります。
それが過去数年間でかなりシフトしたと思います。
そうだと思います、ええ。そうだと思います。しかし、多くの考え方にはまだ強い底流があると思います。
権力の集中のリスクや等々についてもっと議論がありましたが、答えが一つのプロジェクトを持ち、それからプロジェクトをうまく管理できるというのがまだ強いデフォルトだと思います。
これは焼き込まれている他の多くの仮定の一つだと思います。2000年代まで遡ると思いますが、これがどのように展開するかの絵は、それほど多くの計算能力に基づいていない、潜在的に非常に急速な再帰的自己改善ループでした。それが圧倒的に最も可能性の高い方法だと考えていました。
ですから、権力は好むと好まざるとにかかわらず集中することになります。
そして、非常に強力な再帰的自己改善ループで終わる可能性はまだあり得ますが、人々が15年前よりもはるかに少なくそれを信じていると思います。
しかし、最初から言語や問題の考え方に焼き込まれていたすべての仮定を戻って削除することは非常に困難です。
ええ。過去数年間の私の小さな趣味馬は、個人的に、このスペースで本当に必要だと思うものは、これらのアイデアを真剣に受け止めることを望んでいる人々です。だからAGI、超知能、存在リスク、人類の絶滅、ディスエンパワーメント、AIの乗っ取り、これらの種類のSFワッキーリスクのアイデアに関与することを望んでいます。しかし、私とあなたの両方が出てきたと思う、その社会的および知的環境から来ていない人々です。そして、集団思考とバブルダイナミクスに寄与すると思います。バブルというのは金融バブルとしてではなく、社会的バブルの中にいるということです。
それは私がCSETで本当に価値を置いていることです。その世界からではない人々の周りにいること、そして主にすべてのそれらの焼き込まれた仮定を持ち込まない人々。あなたが言うように、戻って焼き込みを解除することは難しいです。個人的に、私はこのスペースでそれがただ本当に役立つと思います。
時々、これらの問題に興味を持っている人々に会います。そして彼らは「まあ、私は他の一部の人々ほど長くそれらについて考えていなかった」のようです。そして、それは実際には本当の利点になり得ると思います。なぜなら、あなたは新鮮な目、新鮮な視点を持ち込んでいるからです。そして私にとって重要な部分は、これらの質問に興味を持つことから恥じないことです。特定の背景に対して、特定の答えのセットに特定の背景を持つことに対して。
私たちは非常に困難な立場にいると感じます。なぜなら、コントロールの喪失に対処するために持つかもしれない明白な解決策やアプローチの多くが、権力の集中問題を悪化させ、その逆もあるからです。ですから、あなたが支持する政策、支持しない政策は、これら2つのものの相対的なリスクにかなり敏感に依存します。物事が一方の方法で否定的に進む相対的可能性対他の方法で。
そして、少なくともコントロールの喪失のことについては、人々は可能性について非常に意見が分かれています。同様に情報を持っている人々、これについて知るべきすべてを知っている人々が、1000分の1のチャンスから2分の1のチャンスまで行きます。何らかの壊滅的なコントロールの喪失イベントを持つ0.1%の可能性から50%のチャンスまで。そして、それについて議論することは時々ある程度の収束につながりますが、人々はこの結果がどのくらい可能性が高いかについての共通の感覚に収束していません。
ですから、何らかの壊滅的なコントロールの喪失イベントを持つことが50%可能性が高いと思う人々にとって、「まあ、私たちはただ最善を尽くさなければなりません。残念ながら、私たちは集中しなければなりません。それが唯一の方法です。そして権力集中のことは非常に悲しく、対処するのが困難な問題になるでしょう、しかし私たちはそのコストを負担しなければなりません」と考えるのは理解できます。そして1000分の1だと思う人々は、「これはあなたが行っているひどい動きです。なぜなら、私たちは実際に排除しているよりもはるかに多くのリスクを受け入れている、はるかに多くのリスクを作り出しているからです」と言うでしょう。
アイデアは、両方を同時に助ける、または少なくとも他を害することなく一方を助ける政策対応を見つけることができれば。win-winsまたは少なくともwin-neutralsのようなものを見つけることです。
人々はおそらくwin-winsまたは少なくともwin-neutralsを見つける試みを過小評価してきたと思いますが、それは言うは易く行うは難しです。単純なことではありません。
確かに。つまり、私が本当にこれを少し航行するのに役立つと思う一連の政策勧告があります。ですから、これらはみんなの好きなコンセンサス勧告のようなものです。より多くの透明性、AI企業からのより多くの開示です。それは本当に役立つと思います。
わかりません。私のスタンスがここにあるのは、私たちが想像するこれら2つの未来があり、未来がそれらのトラックの一つを下っていくということは非常にありそうもないと思います。予期しない曲がりくねりがあり、予想していなかった新しいことが発展すると思います。技術は私たちが思う通りに正確に発展することはありません。ですから、ここでの私たちのスタンスは、これら2つの陣営のどちらが正しいかについてだけではなく、多くの異なる可能性にオープンで準備ができていることであるべきです。
ええ、透明性はそのために役立つと思います。それは実際に何が起こっているか、システムが開発されているか、どんなリスクをもたらすか等々についての情報が伝播することを可能にします。
このAIリテラシーの点、または政府における技術的能力は同じようなことです。これらのすべての決定を下している企業の内部の非常に小さな専門家のグループだけではないことを確認することです。より広範な一連の目がそれにあることです。
そしてレジリエンス重視のアプローチ。サイバー防衛、バイオ防衛、AIコントロールタイプのアプローチ。つまり、他のAIシステムを監視できるAIシステムを構築することに投資するにはどうすればよいでしょうか、そのようなものです。
そして、私が役立つと思うもう一つの要素は、本当にAIの科学に投資することです。ですから、人々は時々政府がAI安全性に資金を提供すべきだという話をします。なぜなら企業がAI能力に資金を提供しているからです。実際には、私がこれで言おうとしている異なることがあります。それは、AIシステムがどのように機能するかのより根拠のある理解があれば、私たちははるかに良い立場にあると思うということです。彼らはどのようにトレーニングデータから一般化しますか? なぜ彼らはそんなにギザギザなのですか? なぜ彼らはこれらの奇妙な方法で失敗するのですか? どのようにして、所与のシステムがただそれを試さずに所与の設定で成功または失敗する可能性があるかどうかを理解できるでしょうか? なぜなら今私たちは基本的にただそれを試さなければならないからです。解釈可能性は「AIの科学」アプローチのもう一つの例です。
今、私たちはAIの科学に本当に過小投資していると思います。より良いAI、より多くのことができるAIを作る工学とは対照的に。
ですから、それらは役立つと思ういくつかのアイデアです。時々、AI安全性コミュニティは完全な解決策ではないものを拒否することができると思います。彼らが証明できる完全な解決策を望むような、コミュニティの数学やコンピューターサイエンスや哲学における背景から何かがあるように感じます。そしてそうでなければ、彼らはそれを拒否したいのです。それは本当に間違っていると思います。私たちは最善を尽くし、進みながら物事を理解しなければならないだろうと思います。そして、今から1年後、5年後により良く対応できるようにより良い立場に身を置くためにリソースを投資することは本当に価値があり、私たちができる数少ないことの一つだと思います。
実際の完全な解決策のためのより精巧なプランを考え抜くことも価値があると思います。しかしそこでも、完全な解決策のアイデアは明確な終状態があることを示唆します。このダイナミズムのアイデアに戻ると、それは間違った考え方だと思います。一つの最良の方法、私たちが目指すべき最適なエンドポイントがあるとは思いません。代わりに、私たちはダイナミックでオープンで自由でエンパワーメントする世界に到達しようと努力する必要があると思います。そして、それは私たちがそれを修正したようには見えないでしょう。代わりに、おそらく急性リスク期間を通り抜けたか、そのようなもののようにただ見えるでしょう。
ええ。完全で包括的な解決策への欲求は、YudkowskyとMIRIのビジョンに遡るこれらの仮定のもう一つだと思います。If Anyone Builds It, Everyone Diesのリリースの週に話しています。それはタイトルの中にあります。私たちは本当にこれを完全に、包括的に解決する必要があると言っています。どうにかして切り抜けることは確かにうまくいかないでしょう。彼らの見解では。そして、それはまだ正当化されるかもしれませんが、それは明白からは程遠いと思います。多くのもっともらしい見解では、どうにかして切り抜けることは選択肢です。多くの半分の対策がうまくいくかもしれません。
最近では、より多くの人々がそれを理解してきたと思います。少なくとも完全な解決策を望む人々は、コントロールの喪失が圧倒的に可能性が高い、技術的問題が圧倒的に困難だと思っているからそうしていると思います。ただそれを疑問の余地のない仮定として作ったからではなく。
ええ。そして、あなたがどれだけ有能にどうにかして切り抜けるかの大きなスペクトラムがあります。「どうにかして切り抜ける」。そのフレーズは本当に好きではありません。なぜなら、「私たちはただそれを来るままに受け取り、なんとなく見て、それは大丈夫になる」のように聞こえるからです。もっと有能なバージョンのどうにかして切り抜ける、異なるバージョンは、「計画は役に立たないが、計画を立てることがすべてである」というこのアイデアです。つまり、必要に応じて引くことができるたくさんの異なる可能なレバー、必要に応じて棚から取り出すことができる棚の上のたくさんの異なるもので自分自身をセットアップし、また、あなたがいるように見える道を見分けることができる可視性と理解でself自分をセットアップするにはどうすればよいでしょうか?
ある意味で、それも「どうにかして切り抜ける」です。なぜなら、「ここに私たちの12ステップの計画があり、私たちはそれを包括的に実行するつもりです」でトリガーを引いていないからです。しかし、どうにかして切り抜けることがどのように見えるかの大きな範囲があると思います。つまり、私たちは核兵器でどうにかして切り抜けたと主張できますが、それには大規模な国際条約と巨大な監視装置が含まれ、それは本当に価値があります。そして、それは世界の核兵器の数と世界の核リスクの量を明確に減らしたと思います。
技術研究アジェンダのほとんどは、これについてwin-winまたはwin-neutralだと思います。
win-winの一つは、モデルを検査し、意図せずに現れたか、意図的にそこに挿入された隠された目標や隠されたアジェンダを検出する能力です。それは権力の集中を避けるために本当に役立つと思います。Tom Davidsonが今年初めのエピソードで、この秘密の忠誠心の問題が実際に権力奪取のための脆弱性をどのように生み出すかを説明しました。基本的に。しかし、同じテクニックが、トレーニングを通じて意図せずにモデルに焼き込まれてしまった意図しない目標をただ明らかにするために機能するかもしれません。
モデル生物、AI不正行動の理解、それがいつ生成されるか、いつそうでないか、それを減らすためにできることは何かについて、ほぼ全面的に、そのような種類の研究アジェンダすべてへの資金提供は、私の考えでは本当に明白なことのように見えます。
ええ、それは正しいと思います。しかし、win-neutralに対してwin-winとは対照的に、異なる軸があると思います。私がリスクについての不一致にとって本当に中心的だとますます考えているのは、AIがただのツールになるのか、それともツール以上の何かになるのかというこの質問です。これは、しかし完全な不一致ではありませんが、「通常の技術としてのAI」の著者であるArvind NarayananとSayash Kapoorとの不一致の一部です。彼ら両方とも本当に優秀で、これらの問題を真剣に受け止め、真剣に関与している素晴らしい例だと思いますが、非常に異なる一連の仮定を持って来ており、議論に本当に追加していると思います。
そして、もしAIがツールとして留まり、人々が自分の目的のために使うものであり続けるなら、時々それが壊れたり失敗したりするかもしれませんが、それは自分のアジェンダを持っていない、自分の目標を持っていません。それでもあなたは非常に心配することができます。その場合、権力の集中について心配することは理にかなっています。すべての乗っ取りのことは本当に働きません。ですから、異なる仮定、異なる期待があり、異なるトレードオフがより良く見えたり悪く見えたりする別の場所だと思います。
しかし、その「通常の技術としてのAI」の見解が明確にされたことが本当に価値があったと思います。なぜなら、彼らが超知能の見解が支配的だと見ているために書いたのは一種の面白いことだからです。しかし実際には、彼らが明確にしたものは、はるかに広範な、明確にされていない見解でした。ほとんどの人々がAIについて考えるとき、私は思います…
確かに圧倒的にそれが最も一般的なアプローチです。
ええ、ほとんどの人々はそれがより通常の技術のようになるだろうと仮定します。それはツールになるだろう、そして私たちがそれをどのように使うかを決めるだろう。そして、これは明示的に彼らがその論文を書いた理由の一部でした。「私たちはこれが一般的な見解だと思う、私たちはそれに言葉を置きたい、私たちはそのコンポーネントを記述したい」と言うためです。
あなたはどこに来ますか? AIはツールですか、それとも新しい形態の生命ですか?
まだわかりません。彼らが明確にしたことのいくつかには同意します。能力と権力の間の区別を明確にしたことが本当に有用だったと思います。ですから、何かをすることができるAIシステムは、実際にそれができるように設定されているという意味ではありません。そして、私たち人間には、AIが実際に権力を持って何をできるかを決定する多くの主体性があります。
彼らは論文の冒頭で、それは現在の説明であり、AIがどのように扱われるべきかについての彼らの処方であり、どのように扱われるかについての予測であると言っています。そして、それらの3つのこと、時々私はAIが特定の方法であるという彼らに同意します。たとえば、私たちは現時点でそれを比較的慎重に展開している、比較的ゆっくりと展開していることに同意します。そして、私たちはおそらく続けるべきだ、特に高リスクの設定では、比較的ゆっくりと慎重に展開し続けるべきだということに同意します。しかし、私たちは明らかにそうするだろうとは同意しないかもしれません。
そして特に、そして彼らが今積極的に取り組んでいることを知っていますが、彼らはその論文から軍事AIを完全に除外しました。彼らはまた、私が本当に未探索だと思う別の議論についてのセクションを含めました。それは、AIが異なる分野でどのくらい超人的になることができるかです。異なる能力で人間レベルより上に非常に高い天井があると信じる理由は何かをもっと引き離そうとする仕事をもっと見たいです。
ArvindとSayashが彼らの論文で言うことの一つは、たとえば、人間より速いことは多くの設定でそれほど有用ではないということです。高速取引では有用ですが、それほど多くの他のことではありません。私にとって、戦場管理では、速度は絶対に巨大な利点です。軍の人々はOODAループ、観察、方向付け、決定、行動ループについて話し、相手のOODAループの「内側に入る」ことを望みます。つまり、彼らより速くなること、そのループをより速く回ることができることです。
それは、「通常の技術としてのAI」の見解が、たとえば速度のような利益を得るために自律性を引き渡す、権力を引き渡すインセンティブを必ずしも考慮していない分野の一例です。
ええ。AI安全性エコシステムが核兵器や生物兵器からの非拡散の言語をしばしば流用してきて、あなたはそれがおそらく間違った方向転換だったかもしれない、または少なくとも人々の範囲を少し狭めたと書きました。そして代わりに、私たちは「適応バッファー」という観点から物事を考えるべきです。それはあなたが導入したと思う用語です。なぜあなたはそれが間違いかもしれないと思うのか、そして代わりに適応バッファーが何であるかを説明してもらえますか?
ですから、これは特に誤用への懸念に対応してのことです。アイデアは、私たちがこれらのより強力なAIシステムを構築していて、それらは特定の方法で誤用可能になるだろうということです。人々が持ち出す最も一般的な2つは、生物兵器を作成するために使われることやサイバー攻撃、ハッキングに使われることです。そして対応は、AIシステムは非常に強力になり、非常に悪い攻撃を可能にするだろうから、非拡散をしなければならない、つまりそれらが広がることを防がなければならないということです。
これの課題は、それがうまくいかないだろうということだと思います。そして、それは非常に侵入的で非常に権威主義的になるでしょう。
その理由は基本的に、この非常に明確なトレンドのためです。フォローしていない人々には、やや矛盾して見えるこのトレンド。一方で、より高度なシステムを構築するにつれて、最初に特に高度なシステムを構築するために必要な計算能力の量は時間とともに増加しています。ですから、フロンティアで何かを構築するにはますます多くの計算能力が必要です。
しかし、フロンティアで何かを構築するとすぐに、ソフトウェア工学インターンと同じくらい良いAIシステム、あるいはいくつかのテストで何らかのスコアを得ることができるAIシステムを言うと、その何かを最初に構築するとすぐに、それを構築するために必要な計算能力の量、そしてただ広く技術的洗練も、時間とともにかなり急速に落ちるでしょう。
たとえば、AlexNet論文がAlex Krizhevsky、Ilya Sutskever、Geoff Hintonによって2012年に公開されたとき、それは非常に難しく、非常に複雑でしたが、今では信じられないほど簡単で、信じられないほど安いです。同様に、当時のGPT-3タイプのモデルにとっては、本当に最先端で、かなり高価で、非常に困難でしたが、今では再現するのが非常に簡単です。
これが誤用にとって意味することは、ハッキングで非常に強力なAIシステムや生物兵器で役立つことで非常に良いAIシステムを持つというこのアイデアのために、最初はおそらく素晴らしいモデルを構築できる少数の企業や研究グループになるでしょうが、数年後、5年後には、多くのグループがそれを行うことが非常に簡単になるでしょう。
ですから、非拡散を行うためには、人々がアクセスできるチップの数を制限することや、AIシステムで何をしているかを監視することについて非常に侵入的になる必要があります。そして、それが実際にうまくいく可能性は本当に低いと思います。決意した行為者、これらのモデルを誤用しようとする悪い行為者がいれば、彼らはそれを行う方法を見つけるでしょう。そしてその間に、多くの通常の人々が完全に問題ないだろう方法でAIシステムを使用し構築する能力を本当に制限することになるでしょう。
私にとって、私たちが持っている最良の代替案は、私が「適応バッファー」と呼ぶものです。基本的に、懸念される特定の能力がある時点で将来非常にアクセス可能になることを知っている時と、それが実際にアクセス可能になる時との間のこのバッファー期間を意味します。
私たちは今、初心者が既知のバイオ脅威を作成するのを助けることができるAIシステムのためにこの期間にいると思います。もしそれが理にかなっているなら。生物兵器の会話では、2つの脅威モデルが混同されることがあると思います。一つは初心者が既知のバイオ脅威を作成すること、つまり地下室のティーンエイジャーが天然痘を作るようなことです。そして、それは専門家がはるかに洗練されたバイオ脅威を作成するのを助けることとは異なります。それはしばしば生物学的設計ツールの使用を含むか、異なるプロセスです。
私たちは明らかに最初のものの適応バッファーにいると思います。そして、その時にすべきことは、その能力が広く利用可能になったときに大規模な負の影響を持つことを防ぐために、できるだけ多くの社会的レジリエンススタイルの努力を配置しようとすることです。それを広く利用可能にならないように締め付けて防ごうとすることとは対照的に。
ですから、それがこのバッファーのアイデアです。かなり具体的に予測できる時、「生物兵器、何とか何とか」ではなく、かなり具体的な何か、そしてそれを手に入れることができる時との間の期間です。
今、これは完璧なアプローチだとは思いません。特に、バッファーが短い場合、それらに到達するのに十分な時間がないかもしれません。そしてそれは誤用に非常に焦点を当てていて、より不整合に焦点を当てた脅威モデルには焦点を当てていません。しかし、それが基本的なアイデアです。
ええ、人々が適応バッファーのフレームワークに必ずしも引き寄せられてこなかったと思います。そして、それには理由がないわけではないと思います。それは彼らが良い適応がないと考えることが多いからです。特にバイオについて。これは、もしアマチュアが新しいパンデミックを作成することが簡単なら、それらと戦うことは非常にコストがかかるので、最初に作成されることを止めなければならないという見解でした。
最近、Andrew Snyder-Beattieとのインタビューをしました。そこで彼は、誰かが放出しようとするあらゆる新しいパンデミックに対して社会を非常にレジリエントにする可能性のある適応があるかもしれないという計画を提示しました。しかし、それは重いリフトで、挑戦的で、うまくいくかもしれないことは完全に明白ではありません。
ですから、私たちは適応バッファートラックを下って、後から振り返って、実際にそれは悪いアイデアだったと言う可能性があります。なぜなら、実際には適応があまりにも困難で、非拡散が残念ながら唯一の選択肢だったからです。
繰り返しますが、ここでの私の要点は、非拡散が楽しく聞こえないということではありません。私の要点は、非拡散はうまくいかないだろうと思うということです。彼らはとにかく拡散するでしょう。
つまり、時が教えてくれます。この場合、私が正しいことを願っています。時々私はリスクについて話していて、自分が間違っていることを願っています。しかし、時が教えてくれます。
人々が本当に深刻な誤用の必然性を過大評価することがあると思います。私がこの適応バッファーについて投稿を書いたとき、たとえば、コメントの一人が「これはすべて絶望的ではないですか? 大学のときに私の教授が、ダンプトラックで処理が終わった直後の水処理施設まで行って、たくさんの有毒化学物質を投棄することがいかに簡単かについて教えてくれたのを覚えています」と言っていました。そして他の誰かは、彼らがセキュリティを通過した後に空港で爆弾を作ることができる、2000年代のある映像を見たと言っていました。セキュリティを通過してから爆弾を作ります。
しかし、これらの例は両方とも素晴らしいです。非常に励みになります。私の知る限り、誰もそれらを行っていません。水処理のものについては知りません。多分それは起こりました。もし彼らがそれをしたなら、彼らは捕まって、防がれました。ですから、時々実際にすべての選択肢が何か、ツールキットが何かについての少しの無視があると思います。FBIがテロリストグループを監視することを含めて。
それは本当のことです。あるいはCIAも。それは本当に起こることです。または材料を見ること、核酸の合成を見ること、それは明らかに議論の一部です。世界のChatGPTsで、彼らはあなたを助けることを拒否するだろうというところで、ただ階層化されたアプローチを持つことができるかどうかを見ることです。今、それにはかなり良いコントロールがあるので、それは人数を減らします。
そして、もし最終的に攻撃者が実際に本当に生物兵器を生産しているなら…わかりません。存在リスクコミュニティでは、それがこの絶対に恐ろしいイベントになるだろうという仮定があると感じることがあります。もっと早く封じ込めることができる可能性のある何かとは対照的に。
ですから、わかりません。私はこれについて心配していないわけではありません。本当に防ごうとする、緩和しようとする価値があると思います。しかし最低限、私たちが感じる懸念、バイオ攻撃を防ぐために持っているリスク管理エネルギーとリソースは、主にモデルを締め付けることに焦点を当てるのではなく、このレジリエンスに焦点を当てたことをたくさん行うべきです。繰り返しますが、私たちのモデルを締め付けることが実際にうまくいかないと思うからです。
それは長期的な解決策ではありません。
対、対。ですから、適応バッファーが失敗するかもしれないと言うことには同意します。しかし、「…だからしたがって私たちはモデルの拡散を防ぐことに焦点を当てるべきだけだ」と言うことは間違った判断だと思います。
あなたは最近、CSETのレポート『軍事的意思決定のためのAI:利点を活用しリスクを避ける』に関与されました。軍がAIを不適切に展開することになるのではないかと、どのくらい心配していますか?
ですから、このレポートは意思決定支援システムと呼ばれる特定の種類のAIについてでした。そして、私たちがそれについて書いた理由の一つは、軍事AIの外部認識と、軍が実際に実際に見ているものとの間に時々少しギャップがあると思うからです。
たとえば、外部的に人々は致命的自律兵器に本当に焦点を当てていると思います。特に顔認識を持つドローンは、一般市民が心配する非常に説得力のあるユースケースです。しかし、内部的に見ると、軍が真剣に考えている他の多くの潜在的なユースケースがあり、彼らがそれらをどのように採用するか、どのくらい早く採用するかは、実際に何が起こるかに大きく影響するでしょう。
ですから、この論文は実際には意思決定支援システムと呼ばれる特定の種類のシステムに焦点を当てていました。そして、そこで私たちがしたかったことは、本当にこの「軍でのAIは悪いことで、禁止されるべきで、それをすべきではない」、または「軍でのAIは不可欠で、できるだけ早く採用するために競争すべきだ」というこの種の二項対立に入り込まないことでした。しかし代わりに、これらのシステムが何か、なぜ軍がそれらを使いたいのか、そしてどのようにそれらを効果的に使用でき、AIシステムの潜在的な落とし穴に巻き込まれないかについて冷静な見方をすることでした。
ですから、それは意思決定支援システムを使用することの実際の利点を見ることを含みます。それはシステムの詳細に少し依存します。潜在的な落とし穴は何ですか。ですから、特定の意思決定支援システムの範囲、それが何のために訓練されたか、それが分布外になる可能性がある場所、つまりそれが訓練されなかった状況で失敗する可能性がある場所の明確な理解を持っていますか? またはオペレーターをどのように訓練して、彼らが効果的に使えるようにしますか? ですから、それがそこで探求していた一連の問題でした。
AIを軍に急速に統合することに対する欲求はどのくらいありますか? 昨日Dean Ballにインタビューしました。そして私は彼に、軍でのAIの早すぎる応用、危険なものを見るかもしれないと提起しました。そして彼は「それをすること自体が非常に難しいでしょう。実際にはおそらく非常にゆっくりと、非常に寄せ集めの方法で起こるだろう」のようでした。あなたはどう思いますか?
ええ、私は同意する傾向があります。多くの欲求があると思いますが、制度的にAIシステムを調達または構築し、それを大規模に展開する能力は厳しいです。
CSETには、私が関与していなかった別の論文があります。それは『Building the Tech Coalition』と呼ばれ、AIの成功した採用のケーススタディです。そして本当に、それは例外で、規則ではありません。彼らがこのシステムを実際に実際に使用されている運用状態にしたということは。このケーススタディは、その場合に実際に成功することができた要因は何かを見ています。
そこでの重要な部分の一つは、軍は時々技術と軍事作戦の両方に有能なバイリンガルリーダーを持つことについて話すことです。そして、そのケーススタディで本当に特定したことの一つは、実際には三か国語のリーダーが必要だということでした。技術と軍事作戦とこれらの取得・調達の問題、契約、すべての法的言語を乗り越えることに有能です。
ですから、それは厳しいです。多くの障壁があります。軍はそのために設定されていません。それが研究開発を行う方法は、ソフトウェアのために設計されていません。それがテストを行う方法は、非決定論的AIシステムのために設計されていません。ですから、欲求は非常にそこにあると思いますが、実際には、それがゆっくりと断片的で苦労になるだろうというDeanに同意する傾向があります。
軍がバックドアされたり、秘密の忠誠心やアジェンダを持つAIについてどのくらい心配しているかについて何か読みはありますか?
彼らはそれについて最も心配していると思います。軍は敵対者について考えるように自然に設定されています。
妨害工作。
対、妨害工作、その通り。ですから、彼らは敵対者、それが中国であれ異なる潜在的敵対者であれ、何ができるかの文脈でそれについて確かに心配していると思います。
それは確かに中国のモデルを使わない理由、または広いインターネットで訓練された米国のモデルを使うことについてさえ非常に慎重である理由です。既にロシアのグループによる証拠があります。たとえば、本質的にデータ中毒のバージョンを行っています。親ロシアの見解でオンラインデータセットに種をまこうとしています。ですから、彼らは主にそのレンズを通してそれについて考えていると思います。
AI操作された軍事機器を持っている場合、それが何が戦争法だと考えるかに基づいて命令を受け入れるかどうかを決定すべきか、それともただそのオペレーターが誰であれの命令に従うべきかというこの質問について、何か議論を聞きますか? それぞれに問題があると思います。もしあなたの戦車が戦争法、軍法について独立した判断を下さなければならないなら、多分それはそれを行う装備がありません。そして、それはまた、敵対者があなたに対して使おうとするかもしれない多くの脆弱性を作り出します。
一方で、もしあなたの機器がただ与えられたどんな指示でも絶対に従うなら、それはクーデターのための多くの機会を作り出します。以前はあなたはただ一緒に行く人間の協力者を得ることができなかったでしょう。
これについて何か考えはありますか?
ほとんどこれは、AIを非常にツールではないと考えている限りにおいてのみ関連すると思います。ですから、それが自分の主体性を持っている、自分の決定を下していると考えています。そして、軍のサークルでの議論は、AIツールに非常に焦点を当てていると思います。
彼らはまだ独立したエージェントについて考えていません。
それはまだ議論の一部ではないと思います。
それは受け入れられないからですか、それとも技術的にまだ実現可能ではないからですか?
軍にとって今の時点ではあまりにもSFだと思います。そして、彼らが採用に関してどこにいるか、彼らが見ているツールの洗練度のレベルに基づいています。
これらのトピックが出てくるときに私が言いたいのは、AIがより主体的で、独立した、自律的な方法で動作する限り、人間のオペレーターにより等しい場合、軍人のための制度的期待、標準、規則、法律の全体のセットがあり、理論的にはAIにも移植できます。たとえば、
下級の軍人は指揮官の命令に従うことが期待されていますが、命令が違法である場合はそうすべきではありません。しかし、彼らがする、うまくいかないことは、指揮官に反映されます。
ですから、AIシステムの使用に対する説明責任と責任が指揮系統をどのように流れ戻るかについての継続的な質問があります。もし何かがうまくいかないなら、誰が説明責任を負いますか? それは、もしAIが主にツールであれば実際にうまくいくことができますし、ツールのようではない方法で動作している場合も潜在的にうまくいくことができます。しかし、ええ、ツールではないAIについての会話はかなり初期段階だと思います。
まだ来ていません。
ええ。
あなたは最近、「AI alignment」という用語をほとんど使うのをやめて、代わりに「AI steerability」について話すべきだと書きました。最近これをツイートしたら、かなり注目を集めました。多くの人々が原則的にこれに賛成しているようです。ただ、用語は本当に粘着性があるので、それは起こらないと疑っています。何かを言うことに慣れていたら、それを言うのをやめるのは非常に難しいです。なぜAI steerabilityの方が良いのか説明してもらえますか?
いくつかの点でより良いと思います。投稿を公開して以来、それも完全に正しくないと思うようになりました。そして、私たちがこの時点で語彙から「alignment」という単語を取り出せるとは決して期待しないでしょう。ですから、それを説明しようとしている人々や、それに関する別のレンズを望む人々のためにもっと投稿をしていました。
基本的なアイデアは、「alignment」という用語は、単語の中にこのアイデアを埋め込んでいると思います。つまり、整合させるべき明確なものがあるということです。ですから、alignmentを考えるとき、車のタイヤを整列させることを考えます。それらはまっすぐであるべきです。壁に絵を整列させることを考えます。それは何かに対して垂直であるべきです。
ですから、alignmentについて話し始めるとき、人々の心は非常に自然に何に整合させるかに向かうと思います。ここでの標準は何ですか? それは重要な質問だと思いますが、それ自体に先走っています。根底にある問題がより、まあ今「AI control」は別の何かを意味します、しかし、それはより制御可能性またはsteerabilityの問題です。つまり、AIを実際に指示できますか? あなたが望むように振る舞うように構築できますか、そもそも?
ですから、steerability、AIはsteerableかどうか、これをより良く伝えると思います。
steerabilityの挑戦は、私が投稿を書いたときよりも問題だと思うようになりましたが、それは、AIをトレーニングしているとき、セットアップしているとき、あなたが望む種類のAIシステムになるようにそれをsteerできるかという開発段階でのsteerabilityと、それが運用中のときに、介入してあなたが好きな方法でそれをsteerできるかとを区別していないことです。
ですから、その投稿を読んだ一部の人々は、steerabilityによって、私はたとえばチャットボットとチャットしているときに、ある方法や別の方法でロールプレイするようにそれを「steer」できることについて話していると思いました。ですから、それはあなたと一緒に行きますし、多くの異なる方法であなたのリードに従います。現在のチャットボットは非常に得意です。それは、たとえばjailbreakされないことを保証することとは異なるものです。それは私たちがあまり得意ではないことです。
ですから、わかりません。全体として、私たちは実際にそもそもAIシステムをsteerする方法を知らない、またはあまり得意ではないというアイデアは、問題を提起するより直感的な方法だと思います。私たちはそれらを整合させる方法を知らないよりも。しかし、完璧な用語はないと思います。
私の印象では、過去1、2年で議会でのAI議論に大きなシフトがあったということです。毎週か2週間ごとに、新しい議会公聴会を見るように感じます。そこで、下院議員または上院議員が、MIRIレポートのページからほとんど出てきたような質問をしているように感じるか、非常にYudkowsky的なエネルギーを持っているように感じます。彼らは超知能について非常に心配していたり、「あなたは超知能を構築しようとしている。それはどうなるでしょうか? 私たちはコントロールを失わないでしょうか?」と言っていたりします。
私はただ偏ったものを選択しているだけですか、それとも少なくとも一部の人々はその心配に対してよりオープンになり始めていますか?
ええ、ChatGPTのリリース後に見た本当に巨大なシフトは、ChatGPTが2022年後半に出て、2023年と2024年に、あなたがそう言うことができる、AIがCapitol Hillでメインキャラクターであること、以前には本当になかった方法で巨大な議論のトピックであることの巨大な急増が確かにありました。
興味深いです。過去6ヶ月または12ヶ月にわたって、より多くの超知能タイプの懸念についてより多くの議論があったとあなたは正しいと思います。なぜそうなのか正確にはわかりません。それが談話がもう少し洗練されてきたという特徴の一部なのではないかと思います。2023年には、「AIとは何か? AIで何が起こっているのか? そもそもAIについてどのように考えるべきか?」というこの基本的な理解をする必要があったと思います。多くの人々が、議会の議員だけでなく、一般市民の多くが行う必要がありました。
そして今、過去数年間で、AIについて考え話す私たちの能力がより洗練されてきたと思います。AI 2027や「通常の技術としてのAI」が公開されるようなことも、これら2つの異なるビジョン、アイデアの種類と不一致の種類を結晶化し具体化するのに非常に役立ちます。
ですから、それが私の推測でしょう。同時に、CEOの一部が彼らが予想する破壊のレベルについてより明確になっているのも見ました。確かにAnthropicのDario Amodeiは雇用喪失やそういったことについて率直に話しています。OpenAIのSam Altmanは、彼らが超知能への道にあると思うと書いています。ですから、これらの注目度の高い人物が自分の言葉でそれについて話していなかったときには存在しなかった、これらのトピックについて尋ねることができる正常化と能力がおそらくあると思います。
一部の人々は、AIの進歩が遅くなっているという印象を持っています。少なくとも一部の人々は、GPT-5が少し軌道を外れていたという印象を持っていました。やや期待外れでした。それは遅くなっていると思いますか?
本当には信じていません。測定基準が非常に悪いので、本当に言うのは難しいです。AIの進歩を測定したり、測定しようとしているものが何かを知ったりすることが本当に悪いです。
とはいえ、ChatGPT以降にAIに注意を払い始めた人々にとって、AIで何が起こっているかの主観的印象は、本当に何も起こっていないようなものだと私にはよく思えます。時間のX軸とAIがどのくらい良いかのY軸の小さなチャートがあります。本当に何も起こっていません。そして突然、ChatGPT:大きなジャンプ。
ですから、それらの人々にとって、それはかなりドラマチックで、かなり警戒すべきことでした。そして問題は、次の数年で別の大きなジャンプを見るつもりですか? そして私たちは見ていません。ですから、その方法で期待が設定された人々にとって、それはただこの1回の大きなことだったように見え、今は通常に戻り、ここには何もないように見えます。
もっと長く this space をフォローしてきた人々にとって、それは明らかにこのかなり着実な上昇傾向で、ますます増える方法でますます洗練されてきました。そして、もしあなたがそのトレンドをフォローしてきたなら、それは続いているように見えます。基本的に2012年以降、ディープラーニングが本当に機能し始めて以来、本当に巨大なブレークスルーはありませんでした。最大のものは2017年のtransformerのようなものです。
しかし、それはディープラーニングの新しいアーキテクチャでした。はい、それは本当に大きな出来事でしたが、また、[long short-term memory networks]や[recurrent neural networks]、このより長い伝統の上に構築されていました。
またはインターネット規模の事前トレーニングをうまく機能させること。それは大きな出来事ですが、巨大なブレークスルーではありません。大きなパラダイムシフトではありません。
ですから、このレベルを見続けていると思います。推論モデルが出てくることは別の例です。ある意味では非常に大きな変化で、別の意味では、私たちが持っていたパラダイムの上に構築されているだけのようなものです。
ですから、私の kind of ズームアウトした見解は、GPT-5がそのトレンドを続けているように見えます。そのトレンドは、明確にするために、私たちの目を大きく見開かせるべきもので、私たちは本当に注意を払うべきものだと思います。わあ、これは非常に短い時間で起こっている巨大な量の技術的進歩です。人々がただChatGPTの一つに気づいただけなら期待するかもしれない、狂ったほどドラマチックなレベルではないだけです。
そして、私たちはまた、その軌道上の任意の所与のステップについて、どんな実世界の効果が結果となるかを知りません。ですから、本当に遅くなっているようには見えない傾向があります。また、明らかに加速しているようにも見えません。
また、今年の初めかもしれませんが、推論モデルが実演されていたときに、最初のo1からo3へのジャンプがあったときに、一部の人々からのコメントを見ました。「なんてこった、2025年の終わりまでに本当に高度なシステムができるだろう、そして2026年の終わりには、さらにそうなるだろう」のようなものがありました。そして、それは実現していないので、あなたの信頼区間の上位から最速の進歩シナリオのいくつかを削ることは理にかなっていると思います。
しかし、それは物事がただプラトーに達しているか、壁に当たっているという意味ではありません。
ええ。人々は今はるかに頻繁にリリースが来るので、少しtrickedされていると思います。リリースはしばしば少し期待外れに感じたり、増分的に感じたりすることがありますが、最後のモデルが出たのはおそらく3ヶ月前だったことを覚えておかなければなりません。
もっと定期的なリリースだったので、ジャンプははるかに大きく、はるかにstarkでした。
ええ、それは正しいと思います。人々は、GPT-4があり、それから4o、4.1、4.5があり、4oへの異なる更新があったのを見ました。そしてそれはただOpenAIスペースにあるだけです。異なるGoogle GeminiとClaudeバージョンは言うまでもありません。
ですから、ええ、それはもっとdrip, drip, dripです。
Epochは本当に良いチャートを持っていました。あなたはおそらくこれを見たことがあります。GPT-3から4、GPT-4から5のためのいくつかの例示的なベンチマークを取っています。それらは異なるベンチマークです。なぜなら、彼らは基本的に飽和するからです。しかし、両方の場合で、当時の重要なベンチマークで本当に重要なジャンプがあったことを示しています。そして、あなたが言うように、6ヶ月前または3ヶ月前に出たものと比較しているから、それがあまり印象的でないように見えるだけです。
あなたは、AIに関する複数の異なる陣営があり、self-consistentで、非常に異なる世界観を持っていて、それらの両方が、物事がどのように進歩しているかについて私たちが行っているすべての経験的観察を満足に説明できると感じることができるという面白い現象があると書きました。それがどうしてあり得るか説明してください。
これは、CSETでAI R&Dの自動化に関して開催したワークショップから出てきました。これは、知能爆発や再帰的自己改善、またはAIがAI研究をする者である時点で、物事がtake offするかもしれないし、しないかもしれないかに関連するアイデアです。
そして、そのワークショップで本当に興味深かったことは、かなり異なる見解を持つ人々がいて、潜在的に非常に自動化された研究への導入で何が起こるかについて異なる予測を考え出すことが驚くほど困難だったということです。そして、なぜこれがそうなのかの一部は、これらの異なる世界観が反対の証拠を説明し、それが彼らの期待に収束し戻る理由についての良い方法を持っていると思うからです。
一つずつ行くと、あなたが非常に超人的なシステムを得るつもりはない、物事を完全に自動化できるつもりはない、これらの自己強化ダイナミクスを持つことができないつもりはないと期待する世界観、その世界観は複数のことを期待します。
発生するボトルネック:もし一つのことが加速されるなら、それは同じように加速できない他の要因によって引き留められるでしょう。
能力のプラトー:多分AIシステムははるかに良くなりますが、それは特定のレベルまでしか良くなれません。生物学のスキルやコーディングスキルや何かのような特定のレベルにしか到達できません。
ですから、その世界観にとって、物事が速く進んでいるという証拠や、物事がより自動化されてきているという証拠を見るなら、あなたの期待はただ彼らが限界により早く到達するだろうということです。確かに、今はより速く進んでいますが、限界がそこにあることを知っているので、それはただそれらにより早く到達するだけです。
反対に、AIの自動化で本当にドラマチックな増加率があるだろう、またはAIが異なることで far超人的になるだろうと期待する人々は、道路の凸凹やしゃっくりや困難を見ると、それらをより多くの速度につながることで説明できることが多いです。
ですから、最近聞いた例は、AI Villageを見たことがありますか? これが大好きです。AI Villageを見ると、これは異なるエージェントがコンピュータ使用環境に置かれて、いくつかのタスクを行うように求められる素晴らしいデモです。非常に楽しいです。見ていない人には強くお勧めします。問題のエージェントの多くは、最高のモデルのいくつかです。Gemini 2.5とGPT-5とClaude 4.5です。インターフェイスをクリックしたり、何かがうまくいっていないことを理解したりするような、本当に基本的なコンピュータ使用タスクで苦労しています。
そして、「すべてが非常に速く進むだろう」という見解を持つ誰かがそのようなものを見ると、「わあ、実際にモデルは私が思っていたよりも良くない」と言う代わりに、時々彼らは「それはただモデルに提示されているUIがあまり良くない、または彼らがクリックのためにピクセルを正しくするためにまだ十分に訓練されていないことを示しているだけだ。しかし一度彼らがそれを得たら、さらに多くのスピードアップが得られるだろう」のように言うでしょう。
または同様に、計算能力についてもこれを見ることができます。「もし彼らが計算能力によって制限されるなら、それはただ一度私たちがより多くの計算能力を構築したら、彼らは本当にtake offするだろうということを意味する」のようなものです。
ですから、それはやや意気消沈させるものです。なぜなら、物事が完全に狂うかもしれない潜在的なポイントがあるか、ただしないかもしれないかについて、ある種の合意を得ることが実際には驚くほど困難だということを意味するからです。
導入で何を見るでしょうか?
導入で何を見るでしょうか? 私たちが実際に区別するつもりのものを見るでしょうか? ですから、ええ、まだいくつかのアイデアがあると思いますが、両方の見解が引き寄せられるベイスンのようなものがほとんどあります。そして、たとえ彼らが他のベイスンへの少しのロールを見ても、彼らはただ自分の見解への非常に重い重力的引力を持っていて、私が思うに完全にself-consistentな方法で、それが本当に区別することを非常に困難にします。
昨年10月頃、OpenAIは非営利団体をスピンオフし、基本的に非営利団体をdisempowerし、もうビジネスに対して多くの管理を持たせないと言いました。今年3月には、非営利団体が管理を保持するだろうと言って、見かけ上のabout-faceをしたと思います。
しかし、その頃Tyler Whitmerとエピソードをしました。彼は、彼はかなり懐疑的で、実際には非営利団体は実質的な管理、おそらくほとんどすべての重要な管理を失うだろうと思うと説明しました。
OpenAIのリストラクチャー努力について、今何か考えはありますか? 私たちはそれらについてどう考えるべきでしょうか?
つまり、私はTylerほど密接にこれをフォローしていません。いくつかの考えがあります。
彼らがその見かけ上のabout-faceをしたことは本当に良かったと思います。それは明らかに外部グループからの圧力の結果でした。今ではOpenAI監視グループの小さなエコシステムがあります。そして州検事総長からの圧力もありました。それは本当に適切です。なぜなら、州検事総長は法的に、非営利団体がその非営利ミッションを遂行することを保証する責任を負う当事者だからです。
そのリストラクチャーがどのように見えるかについてはまだ多くの未解決の質問があると思います。そして、非営利団体がPBC、for-profitの20%の株式を得るという最近の更新について、私は特に励まされていません。
彼らが非営利団体が管理を保持すると言う方法はたくさんあると思いますが、それがどのように見えるかについての可能性の広い範囲があります。現在の設定の重要な特徴は、非営利ミッションへの義務が取締役会メンバーの主要な法的義務であるということです。取締役会メンバーは最終的に会社全体の運営に責任を負います。
その設定を維持しようとすること、つまり非営利ミッション、AGIがすべての人類に利益をもたらすことを保証するというミッションが主要な法的義務として残ることが重要だと思います。株主の小さな部分が追求している何かであることとは対照的に。または典型的なPBC、public benefit corporationが機能する方法は、PBCは両方のミッションを追求することが許可されているということです。利益を最大化することもできますし、社会的に有益なミッションを追求することを選択することもできます。それははるかに、はるかに弱いです。ですから、非営利団体が管理を保持するとはどういう意味かというこの質問です。
また、州検事総長が、同じ取引の両側に非常に多くの同じ人々がいることについて、これを見ているときに本当に真剣に考えることを本当に望みます。特に、取締役会メンバー、おそらく特にSam Altmanは、非営利団体が何を保持するか、誰が取締役会の席を得るか、誰が株式を得るかについて、本質的に自分自身と交渉しています。それは本当に腕の長さで行うことが困難な取引だと思います。
それは法的に要求されていますよね? 腕の長さの取引であることが意図されていますか?
私の理解では、ええ。ですから、州検事総長が、会社が彼らに誰が除外されたか、誰が意思決定に関与したか、そして非営利団体の利益が実際に本当に代表されていることをどのように保証しているかについて、本当に非常に注意深く見ていることを望みます。
ええ。英国の慈善法によりなじみがあるので、この慈善組織の事実上の受託者がその組織の資産を自分自身に売却しているということは、私にとって mind-blowing です。それ以上何を言えばいいかほとんどわかりません。このようなtransa
ctionで両側にいることができるということは、どんな意味でも異常だと思います。英国では決して許可されないと思います。
つまり、何が許可されるかまだわかりません。彼らはまだ最終承認を得ていません。ですから、ええ、待って見ましょう。
聴衆のメンバーがこの質問を書いてきました。
トナーは非常に普通だと、褒め言葉として説明されるのを聞きました。これは本当ですか? もしそうなら、彼女はどのようにして非常に多くの非普通の人々の周りで普通でいることを管理していますか?
非普通の人々が誰を指しているのかはわかりません。多分私です。わかりません。
あなたの周りで普通でいることは非常に困難です、Rob。私が普通かどうかはわかりません。自分自身を非常に普通だとは思いません。
グループ間を翻訳することを楽しむと自分自身を考えています。文字通りの意味でも、私は常に言語を愛してきました。家で夫と、ドイツ人ですが、子供たちともドイツ語を話します。北京に住んでいたときに中国語を学ぶことを愛しました。しかしまた、より比喩的な意味でも、ベイエリアの奇妙な存在リスクコミュニティとDCのより堅苦しい国家安全保障コミュニティの間で翻訳することです。ここに入ってくる異なる視点が何か、仮定が何かを理解しようとすること、社会的規範が何かを理解しようとすることが本当に楽しいです。ですから、それが私がそれを説明する方法だと思います。
普通対奇妙で正確に何を意味するのかはわかりません。私は確かに少なくともやや奇妙だと自認します。私がいる社会的文脈によりますが。
ベイエリアには奇妙さの度合いがあると思います。そして、ベイエリア基準では奇妙ではないと思います。
それは正しいです。しかし、そこに住んでいて、奇妙さが完全に受け入れられ、判断されない社会的環境にいることが本当に好きでした。それは私がベイについて恋しいことの一つです、確かに。
実際、これが思い起こさせるもう一つのことは、おそらく以前に私が話すのを聞いたことがある人々は、私のアクセントに混乱しているでしょう。これはよく起こります。多分翻訳者のことに関連しています。ですから、私は元々オーストラリア出身です。あなたが知っているように、あなたもそうです。そして通常、私はアメリカ人と話しているときにアメリカ的に聞こえます。基本的にある時点で、米国に複数年住んだ後、ただアメリカのアクセントで話す方がより自然で、より楽しく感じました。
しかし、オーストラリア人の周りにいるとき、アメリカの方法で話し続けることは本当に人工的に感じます。
あなたはアクセントが変わることを意識していますか? なぜなら、オーストラリア人と話すとき、私のオーストラリアのアクセントがはるかに出てくると思うからです。この時点で、私は長い間イギリスに住んでいて、私のオーストラリアのアクセントは本当に弱まったと思います。しかし、おそらくこの会話ではいつもよりも少し出てきたと思います。しかし、私はそれを意識していません。
もし私がそれを聞くなら、聞くことができます。やや意識的だと言えます。そして、私がいる設定に依存します。しかし、一部の人々はそれを奇妙だと思うようです。自分のアクセントを自分が誰であるかの重要な部分として非常に密接に同一視する人々がいると思います。そして私はそのように感じたことはありません。
つまり、多分子供のときに、異なるアクセントをつけることや、それらについて学ぶことを楽しんでいました。また、最近では、家で毎日ドイツ語を話しているので、とにかくコードスイッチングをしています。ですから、本当の私と偽の何かがあるようなものではありません。私の声が聞こえる異なる方法があるように本当に感じます。
しかし、ええ、「待って、あなたのアクセントはどうなっているのですか?」のような多くの人々を確かに得ます。
人々はすぐにあなたがオーストラリア人だとわかりますか? 米国での通常の生活で?
もし私がアメリカ的に聞こえるなら、いいえ。
興味深い。人々は通常、その程度までアクセントを諦める、またはその程度までアクセントを変えることができますか?
わかりません。ドイツ語を話すとき、人々は私がドイツ的に聞こえると言います。
ですから、わかりません。広い範囲があると思います。別の似たようなものは、南部出身のアメリカ人がかなり頻繁に家族や友人の周りでより南部的に聞こえ、それから北部の人々と話しているときに、より標準的なアメリカのアクセントに向かうことです。
ですから、多くのバージョンがあると思います。そして異なるコミュニティや文化がそれを異なって扱います。
別の聴衆の質問は次の通りでした。
この分野は非常に急速に変化しています。技術的改善と半導体サプライチェーンに影響を与える変化する世界的地政学的関係の両方を通じて。
起こっているすべてのことにどのようについていっていますか?
つまり、それは挑戦です。これは私のフルタイムの仕事で、物事についていくのは難しいです。Twitter/Xがニュースのソースとして依然としてかなり有用だと思います。
良くも悪くも。
受信トレイに入るSubstackのセットがあり、読もうとしています。
それらのいくつかは本当に一生懸命にすべての投稿を読もうとします。他のものはただざっと見て、続けます。そして、helentoner.substack.comの私のSubstackに行くことができます。そこに本当に有用だと思う異なるsubstackの推奨リストがあります。
もし追いつくためのより軽いタッチの方法が欲しいなら、CSETは最大のAIニュースについての月刊ニュースレターを公開しています。私は実際にそれを一種のroundupとして役立つと思います。なぜなら、日々は消防ホースのようで、月に一度は「ここに本当に重要な大きなストーリーがあります」のようだからです。
しかし、難しいと思います。そして、私が働いている分野で働いていて、受け入れてきたことは、私は多くの異なる分野の交差点にいるということです。AIがあり、国家安全保障があり、中国があり、米国の政治があり、米国の政策がより広くあり、ビッグテック規制があり、プラットフォーム規制があり、ソーシャルメディアがあり、経済があり、などなど。ですから、私の仕事に触れるすべての単一のことについて専門家になることは決してないだろうと受け入れました。「追いつかなければならない。追いついているか、はいかいいえか?」のようなことは決してありません。それは常にただ優先順位付けの問題であり、どこに重点を置くか、どこに時間を費やすことを確実にするかを選ぼうとすることです。それは進行中の作業です。
中国で何が起こっているかについて、最新情報を保つ、またはある程度の感覚を持とうとするにはどうしますか? 特に測るのが難しいように思えます。
いくつかの異なる答えがあります。私が知っている限りで最良のSubstackは、Jordan SchneiderによるChinaTalkで、本当に良いです。
CSETには実際にScoutというツールがあります。ですから、Emerging Technology Observatoryと呼ばれる私たちの公開データプラットフォーム、eto.techに行くと、Scoutというツールがあります。それは中国からの自動翻訳され要約されたが、人間がキュレーションしたニュースをします。それは非常に役立ちます。そして、他の多くの雑多なソースです。
一つ言いたいことは、もし中国とAIに興味があるなら、中国と非AIトピックのいくつかの基礎を築くことが本当に価値があると思います。それが『The Beautiful Country in the Middle Kingdom』を読むことであれ、これは米中関係の一種の包括的な歴史ですが、または共産党の歴史について学ぶこと、または80年代以降の中国の技術開発と経済発展の歴史のいくつかを見ることであれ、本当に価値があると思います。
人々が時々純粋にAIの角度からこのトピックに入ってくることがあると思います。そして、それがAIに関連する限りにおいて中国についてだけ知っています。そして、それはやや浅い基盤を残すと思います。また、常にニュースについていこうとするだけでなく、基礎に戻って読むこともしようとします。
あなたはCSETの創設チームの一部で、今それを率いていると思います。
CSETがユニークにできること、またはDCでの政策理解にユニークに追加できることについてのあなたのビジョンは何ですか?
今は私たちが始めたときよりもはるかに混雑した空間だと思います。そして、私はそのために部分的にクレジットを主張したいです。私たちが新興技術と国家安全保障の問題に関する深い、技術的に情報に基づいた分析に早かったということです。他の多くの組織がそのバンドワゴンに乗りました。それは素晴らしいことで、世界にとって本当に良いことで、本当にポジティブです。
CSETがまだユニークに提供できることは、本当に独立した、中立的な、厳密であることの組み合わせだと思います。ですから、押し進めようとしている特定の視点を持って来るのではなく、本当にただ現実で何が起こっているかに光を当てようとするだけです。ボールとストライクを呼ぶようなものです。
私たちのデータチームが巨大な資産だと思います。これは一連のデータサイエンティストとエンジニアとデータ重視の研究者で、私たちの研究アナリスト、研究フェロー、シニアフェローが異なる種類の研究質問のために異なる種類のデータセットを利用するのを助けます。
たとえば、半導体サプライチェーンを見るようなことです。eto.techの同じ公開データ観測所に、半導体サプライチェーンのこれらの異なる部分すべてを見ることができるインタラクティブツールがあります。たとえば、どの企業と国がその非常に複雑な、非常に大きなサプライチェーンのどの部分に関与しているか。
または翻訳を見ること。機械翻訳は本当に良く、多くの機械翻訳を使いますが、重要な文書については、人間の編集者が通って、それらの重要な用語が適切に翻訳されていることを確認することも非常に役立ちます。すべての奇妙なCCPの専門用語が正しい用語を使っていて、過去の文書に接続できるようにするなど。ですから、それも大きな資産だと思います。
そして、ええ、AIと新興技術に焦点を当てたチームを持つこと、そしてより大きなシンクタンクの小さな部分だけではなく、本当に組織全体がそれらの質問に専念していることです。
ええ、会話は今より混雑しています。残念ながら、特定の主張を推し進めるため、特定のアジェンダを推し進めるために、利害関係者によって支払われている行為者がますます増えていると感じます。
つまり、テック企業がDCで何が起こっているかに興味を持ち、望むもののケースを作るためにロビイストを雇うことを非難することはできません。私にとって際立つ一つは、Nvidiaの輸出規制をめぐるロビー活動です。彼らは理にかなったことを言うために人々に支払いました。彼らは私が極めて理にかなっていないと思うこと、そして常に真実でもないことを言うために人々に支払いました。
より明確なアジェンダ、より明確なイデオロギーも持つ人々が物事を自分たちの方法で進めようとしているという事実によって、会話が少し劣化している、または少し腐敗していると感じますか?
企業がスタッフを増やしていて、AI政策トピックについてますます活発になっていることは確かに見ていると思います。そして、それは企業の利益に向かって物事を引っ張るという点でかなり予測可能な効果があると思います。ですから、はい。
一つの反論を挙げると、私たちが録音しているとき、これはまだ最終確定されていませんが、カリフォルニアにはSB 53と呼ばれるこの法案があります。これは歪んだ修辞を超えた賢明な政策立案の驚くべき勝利だと思います。
これは昨年のSB 1047の後継法案です。それは非常に論争的で、巨大な量の怒りと恐怖煽りと憎悪の対象でした。そして1047の後に起こったことは、Gavin Newsom知事がそれを拒否しましたが、規制する適切な方法は何か、そしてSB 1047が助けるために設計された種類の問題についてどのくらい懸念すべきかを研究する委員会を設立しました。
そして彼は専門家委員会を作りました。専門家委員会は本当に高品質のレポートを書きました。そして、昨年SB 1047を提出したカリフォルニア上院議員のScott Wienerは、このレポートから大きく引用した新しい法案を提出し、多くの支持とより多くのコンセンサスを得て、議会を通過しました。そして私の知る限り、Newsom知事はそれに署名すると示しています。そこで先走りたくはありません。
しかし、それははるかに論争が少なくなっています。
はるかに論争が少なくなっています。そして、SB 1047がしたであろうよりも確かに小さなステップになると思います。良い意味でも悪い意味でも。
うまくいかない可能性のある方法ははるかに低いと思います。そして、1047が本当にその支持者が望んだ通りにうまくいったら潜在的な利益も低いです。しかし、わかりません。良い政策がまだ作られる方法の例としてそれを出します。
そして、この分野にははるかに多くのロビー活動があり、はるかに多くの企業の影響があり、それはおそらく残るだろうと思います。しかし、良い政策がまだ作られる方法があります。
また、CSETが提供できる大きな付加価値だとも思います。政策立案者が企業と話すことが多いのは、企業が彼らに何が本物で、何が現実的で、技術が実際にどのように機能するかを伝えることができるからです。そして、技術が実際にどのように機能するかから切り離されているために、意図しない副作用がすべてあるこれらの規則を作成する、ヨーロッパのGDPRのようなことをしたくありません。ですから、もし彼らがその本物の話をしてもらうつもりなら、業界のロビイストと話したいと思うことは理にかなっています。
そして、それはCSETもステップインできる場所です。私たちのような組織も。そして、「ここに現実的なものがあります。ここに潜在的な意図しない副作用があります」と言うことができるその技術的深さを持つことができます。しかし、最終的に企業の利益を促進するのではなく、代わりにより広範な公共の利益を念頭に置くことです。
CSETの研究が資金提供者の意見によって影響されること、そして多分彼らに過度に迎合したいことを心配しなければなりませんか?
すべての組織はそれに注意を払わなければならないと思います。何かに依存しています。私たちは、証拠がどこに向かっても従う、独立している、特定のアジェンダを追求していない、というモデルと互換性のある資金を持ち込むために本当に一生懸命働いています。ですから、業界の資金を取るとき、それは私たちの予算の非常に小さな額ですが、どの資金提供者とも同様に、私たちの調査結果に影響を与えることが非常に困難になるように、本当にコルドンオフされていることを確認します。
私たちは業界についてはそれについて特に慎重ですが、慈善資金提供者についてもそうです。Open Philanthropyから大量の資金を持っています。そして、私たちの研究と調査結果が、彼らが私たちに示してほしいと思うと私たちが思うものを示そうとしているだけではないことを確認するために本当に一生懸命働きます。代わりに、私たちが真実だと思うものです。
そして、それが本当に私たちの評判も築いたものです。この時点で、資金提供者から定期的に聞くことは、それが彼らが私たちを支援したい理由だということです。なぜなら、彼らは私たちがそれをするつもりだと知っているからです。私たちは、私たちの財政的後援者が傾くかもしれない場所に行くのではなく、本当に独立して、私たちが見るままにそれを伝えることを確認するつもりです。ですから、それ自体が付加価値です。
人々はしばしば、特定の主張を推し進めるために支払われているときに見分けることができると思います。なぜなら、入ってくる証拠が何であれ、更新が何であれ、結論が常に同じになるようなものであり、人々はチューンアウトするからです。
ええ、それは正しいと思います。また、財政的なことでなくても、方法があると思います…たとえばAIリスクの議論では、もし人々があなたの結論がリスクが本当に高く、本当に深刻な介入が必要だということになるだろうという感覚を持っているなら、もし彼らがそれがすべてのケースで、すべての論文であなたの最終ラインになるだろうと感じるなら…
そして、あなたは心を変えたり、新しい何かを学んだりすることに好奇心がありません。
ええ、ええ。それなら彼らもあなたをチューンアウトします。そして、それも私たちが持ち込む強みだと思います。その方法で私たちの仕事をしないことです。
DCには特定の才能のボトルネックがありますか? 会話に持ち込むことができる、CSETや他のどこでも働ける、人々の理解を改善する、物事をよりスマートな方向に押し進める他のスキルや知識はありますか?
あらゆる種類のものがあります。技術としてのAIの基本的な理解を持つこと、それは必ずしもコンピューターサイエンスの博士号を意味しないということです。しかし、微積分と線形代数とちょっとしたプログラミングに十分快適で、自分でモデルをいじったことがあり、それらがどのように機能するかの基本的な直感を持っていることです。そして、他の何らかの種類の専門知識を持ち込むこと、本当に何でも種類の専門知識です。
AIで少し過大評価されていると思うことは、純粋にコンピューターサイエンティストが入ってきて、それを政策側を学ぶことと組み合わせることです。なぜなら、AIは非常に多くの異なる分野に触れるので、もしあなたが経済学者なら、歴史家なら、人類学者なら、会計士なら、教師なら、非常に広範な異なる種類の専門知識のための多くのスペースがあると思うからです。
できる限り、AIのその基本的な理解を得ようとすることは理にかなっていると思います。主に魔法のように見えないようにするため、それがどのように機能するかの大まかな感覚を持つために技術に十分深く入ろうとすることです。しかしそれを超えて、巨大な範囲のニーズがあると思います。
多くのリスナーがDCでのAI政策discourse について間違って理解しているかもしれないことは何ですか?
一つは、政策立案者がAI問題について本当に情報がないか、一種の愚かだと考えることかもしれません。つまり、確かに異なる政策立案者がこれらのトピックと異なって関わりますが、私は思います…
これは広範な認識ですか、あなたは思いますか?
多くの人々が政策立案者にはアイデアがないと思っていると思います。そして技術トピックについて本当に無知です。
覚えておくべき本当に重要なことが2つあります。政策立案者がどれだけ忙しいか、そして政策立案者によっては、どれだけ多くのトピックをカバーする必要があるか、どれだけ多くの問題、本当に緊急の危機を含めて処理する必要があるかです。ですから、もし彼らが何かを知らないか、何かを誤解しているなら、それは彼らが愚かだということを意味しません。それは彼らが他の何かをするのに忙しかったということを意味します。
そして、もう一つ人々が過小評価していると思うことは、会話のいくつかと一連のアイデアのいくつかがどれだけ孤立しているかです。DCの多くの人々の視点からは、彼らは、たとえば輸出規制がなぜ良いのかについての議論や、AIが特定の方法で発展すると期待すべき理由についての議論に本当に出会ったことがありません。なぜなら、これらの会話の多くはこれらのかなり自己完結した社会グループやオンラインネットワークで起こるからです。
ですから、概念のより accessible な、前提条件のない紹介を作成しようとすること、または重要な概念の説明者を作成しようとすることには巨大な価値があると思う傾向があります。私たちもCSETでかなり多くの説明者を作ります。それは人々をこれらの重要なアイデアに持ち込み、彼らが自分の頭の中でそれらを理解し、それらと遊べるようにします。友人の間で口頭で議論されるだけではなく。
あなたは多くの人々と関わります。そして非常に生産的に、full spectrumの人々と関わっていると思います。AIについて非常に楽観的であることから、非常にdoomy、未来について非常に悩んでいることまで。どのくらい心配すべきかについて、あなたの心の中で解決するのを助ける、または大きな更新を与える特定の証拠はありますか?
おそらく一つの証拠ではないと思いますが、今後数年間で見ることができる異なることです。
私たちが触れた2つのことですが、再度言うと、一つはAIがツールになるのか、本当に主体的で、自律的で、そこにあって自分のことをしているような何かになるのかというこの質問です。それは私たちが証拠を得ることを期待することです。今年の更新は主に、フライトを信頼性高く予約するようなかなり基本的なことさえできるAIエージェントを持つことが、人々が予想していたよりも挑戦的であることが判明したということだと思います。彼らはそこに到達すると確信しています。しかし、最も強気な人々が予想していたよりも少し挑戦的であることが判明しました。
しかし、実際に外に出て、実際に、定期的に、より長い時間範囲のタスクができる、あるいはよりmessyなタスクができるAIシステムをより多く見るほど。「ここにあなたのためにきれいにチャンク化されたものがあります」のようにきれいに箱詰めされて指定されていないもの、しかし代わりに「ここにsquishierなものがあります。それについて何か進展を遂げることができますか?」それは一つの大きな要素です。
そして、もう一つの要素は、物事がどれだけ超知的になれるかというこの質問です。これについてもう少し議論が始まっていると思います。証拠を探すこと、または異なるタイプの能力を分解すること、所与のことで人間レベルをどこまで上回ることができるかです。それについてもっと見たいです。なぜなら、物事が人間レベルでプラトーに達すると仮定することは明らかに間違っているように思えるからです。しかし、Bostromも『Superintelligence』でこれらのスーパーパワーについて話しています。AIがこれらの異なることすべてでスーパーパワーを持つだろうと。そして、それも私にはかなりありそうにないように思えます。ですから、私たちがどこに着地するかを理解しようとすることは本当に重要に思えます。
CSETは、聴衆の人々が、この世界に飛び込みたい、あるいは既にこの世界にいるが、CSETやDCに移ることを考えているなら、考えるべき役割のために雇用していますか?
これが正確にいつ公開されるかによりますが、フロンティアAIに焦点を当てた研究フェローまたはシニアフェローのポストをかなりすぐに用意することを望んでいます。ですから、これはCSETで研究をリードする役割で、大学院の学位、最低でも数年の研究経験、多分複数年、シニアフェローのポジションのためには多分いくらかの政府経験が必要です。
これは本当にエキサイティングな役割になると思います。本当に素晴らしい応募者をたくさん見たいです。
もしその役割が閉じているか、あなたにとって正しい役割でないなら、私たちはまた2026年を通じて追加の研究役割、データ役割、コミュニケーションと外部関係役割、潜在的に運営役割のために雇用する可能性があります。ですから、確かに私たちのキャリアページに目を光らせ、私たちのニュースレターにサインアップし、ループに留まってください。
CSETは一般的に成長していますか?
私たちは大体私たちのサイズに満足しています。2019年のインタビューは、DCの30人の研究グループについてでした。今は50人のようなものです。その周辺で少し変動するかもしれませんが、サイズにはかなり満足していると思います。
CSETのモデルの大きな部分は、チーム間で協力している一貫したチームculture を持つことができることです。そして、組織として、私たちの重要な優先事項は何かという感覚があります。それはそのレベルをはるかに超えてスケーリングすると困難になります。
2019年の私たちの会話以来の過去6年間はかなり波乱に富んでいました。これから6年間はそれと同じくらい波乱に富む、あるいはそれ以上になると想像するだけです。
2031年に話しましょう!
うまくいけば2031年より前に話すことができます。しかし、ええ、今日のゲストはHelen Tonerでした。80,000 Hours Podcastに来てくれて本当にありがとう、Helen。
ありがとう、Rob。
コメント