16,182 文字
さて、ベン、オープンソースは「責任あるAI」や「人間中心の技術」のような言葉と同様に、一般的にはポジティブな意味合いを持ちますが、その定義は無限に広がる可能性があります。オープンソースAIの詳細に詳しくない聴取者のために舞台を整えたいと思います。
オープンソースAIとは実際には何を意味するのでしょうか？そして最も重要なことは、なぜオープンソースAIの意味について気にする必要があるのでしょうか？
そうですね、ケビンが指摘したように、オープンソースの定義を100万人に聞けば、100万の答えが返ってくるでしょう。オープンソースの定義を巡って、非常に興味深く重要な部族間の戦いが行われています。オープンソースイニシアチブ、つまりオープンソースの標準的な定義の番人は、かなり特定の定義を持っていて、それについては後ほど詳しく話せます。
しかし、政策立案者と規制の観点から広く見れば、重要なのは単純に「重み」—モデルの特徴的な設定やパラメータが公開されていることです。これは、開発者がそれらの重みをダウンロードし、そのモデルを自分のシステムに統合したり、モデルを修正したり検査したりできることを意味します。政府や公的機関にとって最も重要なのはこの点だと思います。
このオープンソースアプローチが非常に物議を醸している理由、なぜAIに対してオープンソースのアプローチを支持する派閥と閉鎖的なモデルアプローチを支持する派閥が存在するのか、その分断線を強調していただけますか？オープンとクローズの間で生じる可能性のある経済的な懸念や、オープンとクローズから生じる可能性のある国家安全保障上の意味について、1万フィートの高さからの一般的な見解を教えてください。
はい。あまり広く筆を動かし過ぎないように気をつけながら、この議論で浮上してきた3つのグループを特徴づけることができると思います。
スペクトルの一方の端には、これらのアーキテクチャやモデルについて十分に知らない、能力を予測できない、そもそも開発すべきではないし、まして公開すべきではないと考える人々、市民社会団体、研究者がいます。私はその立場に多くの敬意を払っています。それは独自の価値観と前提の中で理にかなっていると思います。
スペクトルの反対側には、効果的な加速主義者たちがいて、彼らは「開発するだけでなく、これらのモデルとテクノロジーを絶対にオープンにリリースすべきだ」と言っています。パトロン聖マーク・アンドレがこの政権、あるいはこの政権の一部で支持を見出しています。繰り返しますが、私はその立場に多くの共感を持っています。その立場も独自の価値観の中では非常に理にかなっていると思います。
そして、非常に興味深い中間地点が現れています。そこでは企業、市民社会組織、研究者のグループが「これらのモデルを開発すべきだが、リリースしてオープンに利用可能にすること、つまり重みをオープンに利用可能にすることには非常に慎重であるべきだ」と言っています。私はこの立場は多くの精査に値すると思います。これは私が最も時間と注意を費やしている領域です。
これを分解すると、モデルへのアクセスを制限したり、モデルの能力を制限することが、最悪のリスクに対する主要で唯一効果的な緩和策であるという根本的な前提があります。我々が話しているのは誤用の壊滅的リスク、偶発的または暴走行動のリスクです。このグループの人々は、モデルがこれらの介入の主要なチョークポイントであると見なす傾向があります。
私はこのオープンソース議論をAI関係者向けの議論と考えています。より良い表現がないですが、知っている人はオープンソースについて知っていて、他の人々はただAIのリスクや加速について話しているだけですが、内情に詳しい人々がこの会話をしています。しかし突然、オープンソースAIについての見出しが出てきました。国家安全保障関係者がオープンソースについて話しています。
火曜日の午前10時にAIについてポッドキャストで話すほどオタクな人々だけが気にするような問題から、オープンソースがどのように進化してきたかを説明していただけますか？なぜこれが今そんなに重要な問題なのか、そしてどのように国家安全保障の観点からも、AIラボ間の国内競争という点でもより一般的な会話の中でより大きな問題になっているのかをどのように見ていますか？
常に規制と国家安全保障の領域では、二重用途技術に関するこの潜在的な議論がありました。90年代、さらにそれ以前に遡ると、結局多くは訴訟に至り、その多くは未解決のままですが、有用で能力のある無形技術へのアクセスを政府が制限することにはどのような制限があるのかという興味深い議論の系譜が見られます。
我々は船舶や物理的インフラ層の部品などではなく、研究、ソフトウェア、データ、さらには最近ではモデルの重みへのアクセスについて話しています。これは著作権領域、刑法、金融規制など様々な形で泡立ってきました。政府が能力のあるソフトウェアや無形のシステムについて、つまり良いことにも悪いことにも使える可能性のあるものについてどう対処するかという問題に直面する瞬間が時々ありました。
そして生成AIへの関心が爆発的に高まった時、これらの懸念が本当に会話を支配し始めました。生成AIを解体すると何があるのでしょうか？それは多くのことができる多目的なシステムであり、その一部は意図されたもの、一部は意図されていないものです。我々は解釈可能性を解決していません。システムを観察できますが、入力がどのように出力を生み出すのかを必ずしも理解しているわけではありません。
そして、それらは基本的に非拒否的です。つまり、モデルと基礎となるモデルの重みにアクセスがあれば、そのモデルを特定の目的や特定のタスク向けに修正できます。これは良いことであり、もっと話せますが、拒否行動を解除して、より悪意のある方向にそれらの行動を向けることもできます。
私にとって、その議論の変化する顔への最初の導入は、安定性AIのパブリックポリシーをリードしていた時でした。安定性AIはステーブルディフュージョンを開発しました。ステーブルディフュージョンは画像生成モデルで、非常に人気があり、ある時点ではAIで生成された画像の約80%を占めていました。
しかし、そのモデルの最初のイテレーションがGitHubとHugging Faceに出ると、議会のメンバーが当時の国家安全保障顧問に書簡を送り、「このモデルは国家安全保障と公共の安全に脅威です。輸出管理権限を使ってこれらのモデルの配布を防止する必要があります」と言いました。
そこで、ステーブルディフュージョンがリリースされ、Chat GPTが注目を集め始めた頃、政策立案者たちはこれをモデルのコンテキストで考え始めました。
幸い、私がこのポッドキャストを聞くように説得できた家族のメンバーの中には父もいますが、彼は釘のように技術的ではありません。つまり非常に技術的ではありません。これらの国家安全保障上の懸念の技術的根拠は何なのでしょうか？
ステーブルディフュージョンのようなものでさえ、すぐには「ああ、人々が月の上を飛ぶ豚の画像を生成できる、国家安全保障上の懸念に注意しろ」とは思わないでしょう。なぜこれが技術的に、AIの規制方法についてのこの種の議論で国家安全保障に関心のある人々が取り上げる問題なのでしょうか？
ケビン、おそらくその点をもう少し詳しく説明すると、政策立案者の間でこれらの種類の介入を正当化すべきリスクについてのコンセンサスは実際にはないと思います。前回の議会セッションを思い出すと、AIに関する350の法案がありました。バイデン政権下では米国史上最長の行政命令がAIについて出されました。さらに州レベルでは750もの法案がありました。それらすべてを解きほぐすと、その動機は政策立案者によって非常に異なります。
バイデン政権とトランプ政権の国家安全保障関係者と話をすれば、懸念は基本的にCBRNとサイバーリスクについてです。化学的、生物学的、放射線学的、核兵器化リスクです。AIがこれらのモデルが大量破壊兵器の製造を加速するために使用される可能性があるのでしょうか？あるいは大規模な攻撃的サイバー攻撃を加速するために使用される可能性があるのでしょうか？これらが行政の国家安全保障コミュニティの根本的な懸念です。
そして、オープンソースに関する特定の懸念は、重みが公開されていない閉鎖モデルとは対照的に、オープンソースモデルでは—ここで間違っていたら訂正してください—悪意のある行為者、特に監視や取締りがさらに困難な非国家の悪意のある行為者が存在する可能性が高くなることですね。これがオープンソースに関する重大な懸念だと思います。
その通りです。モデルのパラメータにアクセスがあれば、三つのリスクがより顕著になります。一つ目は誤用です。そのモデルを自分のアプリケーションに統合し、それらのアプリケーションをデプロイできますが、上流の開発者はあなたが何をしているかについてほとんど可視性や制御を持っていません。
また、修正の可能性も生じます。誰かが能力のあるベースモデルを取り、ファインチューニング、強化学習、他のシステムやツールとの統合を通じてそのモデルを修正する可能性があります。その修正により、最初にGitHubやHugging Faceにリリースされた時点ではモデルにはなかったかもしれない望ましくない、または安全でない能力が露出する可能性があります。
そして3つ目の同様に重要な点は、事故の可能性です。おそらくモデルには、リリース時点では明確ではなかった特定の方法で使用できる何らかの能力があり、それがイーサに出ていき、人々がその方法でモデルを使い始めたり、モデルの行動が明らかになった時には、それについて何かをすることは手遅れです。世界中の何百万人もの人々がダウンロードしているデジタルファイルなので、そのモデルを簡単に撤回することはできません。
これが国家安全保障関係者の根本的な懸念でした。オンラインの安全性の領域でも同様です。画像、ビデオ、音声生成に関する懸念を駆り立てたのは、大量破壊兵器を作成するという懸念ではなく、説得力のあるディープフェイクを作成し、それらのディープフェイクを虐待的、詐欺的、または政治的に誤解を招く欺瞞的な目的で使用できるという懸念でした。
バイデンのルーコールを考えてみてください。米国、EU、インドの選挙を混乱させるために画像、ビデオ、音声モデルが使用されるという恐怖がありました。基本的に、特に多くの立法者にとって、彼らの最大の懸念はそれです。彼らはCBRNとサイバーリスクにそれほど懸念を持っておらず、これらのより日常的なオンライン安全リスクに懸念を持っています。
これが課題の一部だと思います。これらの議論と懸念を駆り立てるものは、誰と話しているかによって、そして月ごとに変わります。3ヶ月前に遡れば、オープンウェイトモデルとAI一般に関する国家安全保障の会話は、主に非国家主体による壊滅的リスク、CBRNとサイバーリスクでした。
そして今日では、懸念は単に中国、中国です。戦略的競争、国家主体による誤用です。これらの反対意見を駆り立てるものがなぜこのように不均一なのか、私たちは注意を払うべきです。
あなたにこの議論の中で私が「重要な点」あるいは「分岐点」と呼ぶ3つのポイントを説明していただきたいと思います。
初期の頃にLlamaに関する会話がありました。LlamaはMetaのオープンソースモデルです。「ああ、マイガッシュ、Metaよ、基本的に中国の進歩を促進しているんだ。中国のラボが主要なAI企業に追いつくのを容易にしているんだ」と言っていた人々が多くいました。Metaに多くの熱が集まっていたと思います。まずそのパラダイムから始めたいと思います。
それからあなたが言ったように、DeepSeekの瞬間がありました。それがオープンソースにとって何を意味するのか分析したいと思います。
そして3つ目のポイントとして話したいのは、突然、有名にOpenAIが閉鎖モデルのチャンピオンとなったことです。彼らはおそらく自分たちをそのように表現しないでしょうが、私は彼らに新しいトロフィーを与えています。閉鎖モデルのチャンピオンです。突然、サム・アルトマンが「注意してください。我々は近々オープンウェイトモデルをリリースするだけでなく、今後もオープンモデルと閉鎖モデルのバランスを取っていくことを期待できます」と言っています。
まずはそのLlama期間と、オープンソースのそのような熱心なチャンピオンであることに対するMetaへの嫌悪から始めましょう。その期間はどのようなものでしたか？「オープンソースをする人は誰でもアメリカを嫌い、我々の敵を愛している」という最初の議論の特徴は何でしたか？
Llamaの最初のリリースは一つの命題を表していました。「誰かが能力があり、高価なモデルをオープンにリリースする意思がある」ということです。
課題は、オープンソースにはすでに多くの逆風があったことです。それは分散したコミュニティで、動員するのが難しいです。我々が議論したすべての方法で誤用され、修正される可能性があります。
特に立法者の間で、行政ほどではありませんが、オープンソースの重要性についての認識が非常に低いという状況がすでにありました。オープンソースは我々のすべてのデータセンターにあり、世界のほとんどのスマートフォンを動かし、ロケットの飛行制御システムにあり、核潜水艦にもあります。オープンソースは検査でき、修正でき、安全確保できるので良いものです。
すでにこれらの逆風があり、そして本当に大きなプレイヤーで最初に本当に良い最先端または準最先端モデルを出したのが、アメリカで最も信頼されていない企業の一つであるMetaでした。
Metaはその時点でバイデン政権内で本当に困難な評判を持っていたことをおそらく非常にオープンに認めていると思います。そして彼らがこのかなり挑発的なリリースを出してきたことで眉をひそめさせ、すぐに上院議員からの怒りの手紙、超党派の手紙が出ました。「何をしているんだ？オープンソースが重要なことは分かるが、あなたがしていることは無謀だ。リリース前にリスクを評価し、それらのリスクを軽減するための体系的なプロセスが存在しているようには見えない。それについてどう言うか？」というものでした。
しかし、広く言えば、それはこの分水嶺の瞬間でした。誰かがこれらのモデルの基礎となる重みをリリースするために数千万または数億ドルを費やす意思があるということです。
私の見解では、それは主に非常に良いことです。現在までずっと、多くの人々がこれは革命的な技術であり、経済を変革するだろうと言っています。そして、この変革的な技術をシリコンバレーの3〜4社が囲い込み、能力のあるオープンな代替案がそれらのモデルと並行して存在するべきではないという考え。それは非常に恐ろしい世界です。長い間見られなかったデジタル経済と実体経済における力と管理の集中です。
LLamaのリリースが分岐点を示し、良いオープンな代替案が並行して存在することを示したと思います。
また、その瞬間について魅力的だったのは、モデルをオープンソース化することの経済学についてのより堅牢な分析を含めなかったことです。Metaは戦略的経済の観点から、モデルをオープンソース化することにはたくさんのインセンティブがあります。あなたのモデルが最も一般的なもの、最も普及しているものであれば、より多くのデータを得て、より多くの採用を得て、より多くのユーザー採用を得ることはすべて非常に価値があることです。特に、データへのアクセスと質の高いデータがこれらのモデルを改善するために不可欠であることを知っているので。
それらの経済学についてはもう少し話せますが、オープンソース議論のこの最初の期間が非常に「アメリカを愛するか、敵を助けたいのか」という白黒の会話だったことは魅力的です。そしてDeepSeekが起こりました。
なぜそれがこのオープンソース議論の長所と短所に関する会話を混乱させ、いくつかのニュアンスを加えるのにそれほど重要だったのかを説明していただけますか？
DeepSeek全般について言うべきことはたくさんありますが、政策立案者にとっての重要な事実に焦点を当てると、DeepSeek R1のリリースは基本的に3つのことを示しました。
一つ目は、トレーニングと開発パイプラインにおける一連の馴染みのあるイノベーションを通じて、多くのパフォーマンスと効率を得ることができるということです。より詳細に入ることもできますが、R1モデルとDTIが数ヶ月前にリリースしたV3のようなベースモデルは、以前に様々な研究者や企業によって先駆けられた多くの技術を一つにまとめました。しかし、彼らはそれを本当に興味深いパイプラインに組み立てました。
専門家のアーキテクチャの混合、強化学習、つまりモデルが推論を学習するようにします。モデルは思考の連鎖を通じて推論を説明することを学びます。推論における効率を向上させるためのいくつかの技術。そして、それらは6710億のパラメータを持つこのモデルを生み出しました。そのうちのわずか300億ほどが一度に活性化していました。このモデルは特定のベンチマークで最先端または最先端に近いパフォーマンスを示していました。
政策立案者にとっての疑問は、「ワオ、米国産業はどれほどの優位性を実際に持っているのだろうか」ということです。おそらく優位性はコンピューティングでさえなく、お金でさえないのかもしれません。彼らはこれを、少なくとも600万ドルの限界コストでやったと言われています。これは国家安全保障政策と産業政策にとって今後何を意味するのでしょうか？これらのブレークスルーのどれだけが効率性や馴染みのある技術、馴染みのあるイノベーションを通じて来るのでしょうか？
二つ目は、DeepSeekが米国の輸出規制されたハードウェア技術やインフラとは独立してこれを開発した可能性です。DeepSeekは2,000個のH800チップでこのモデルを開発したと言っています。彼らがそれらのチップを調達した時、それらは輸出規制されていませんでした。その後、バイデン政権によって輸出規制されました。
そして、DeepSeekは、これらのモデルの開発に600万ドル弱を費やしたと主張しています。彼らを額面通りに受け取れば、政策立案者への疑問は、ハードウェアやチップの輸出規制がどの程度効果的なチョークポイントであるかということです。それは今後機能するでしょうか？
それに対する多くの反発があります。AnthropicのMuskや他の人々が、彼らは実際には数万のA100、H100、H20チップを持っていたという強い主張を出しています。その一部は合法的に入手したかもしれませんが、他はそれほど合法的ではなかったかもしれません。彼らの総支出は600万ドルよりもずっと高かっただろうという分析もあります。しかし、これは政策立案者にとって大きな目覚めの瞬間でした。
また、他のコンテキストで中国が新しい技術パラダイムを支配し、新しい影響圏拡大の取り組みを支配するのを見てきたという懸念もありましたか？例えば、アフリカで建設している港、東南アジアで建設している道路などを考えると。彼らのオープンソースへの傾倒を、世界のデフォルトAIになるための手段として考えることができますか？これは国内でのオープンソースの視点も調整するように人々を動かす懸念ですか？
完全にそうです。政策立案者にとって3つ目の、そしておそらく最大の懸念のバケットは、中国がオープンウェイトモデルを使用して、基本的に彼らの技術、彼らの無形の技術を世界中に出荷し、中国産業への依存関係を作り出す可能性があるという点です。
それは戦略的競争にとって重要なことです。しかし、課題はこれらのモデルに脆弱性が埋め込まれている場合、有名にこれらのモデルが北京の規制下で中国共産党に関する質問について検閲されている場合、デジタル経済の未来にとって何を意味するのでしょうか？
私が挙げる例は、米国と欧州の外で次のデフォルトの検索エンジンがGoogleでもなく、複雑さでもなく、BaiduやAlibabaやTencent、DeepSeekなどによって開発されたモデルによって動作するアプリだと想像してください。台湾やウイグル人についての質問に答えられないモデル、そしておそらくあらゆる種類の他の埋め込まれた脆弱性があるモデル。その一部はより明白で、一部はそれほど明白ではありません。これが政策立案者が持つべき懸念の種類です。
では、それについて何をするのかという疑問です。DeepSeek R1がリリースされてから48時間以内に、中国共産党に関する下院特別委員会が出て、「この検閲されたオープンウェイトモデルは再び国家安全保障への脅威だ」と言いました。上院ではホル上院議員が実際に法案を起草し、本質的に中国の国民が利用できる場合にオープンウェイトモデルをアップロードする誰かを犯罪化するような方法で輸出規制を拡大するものでした。
中国からのDeepSeekモデルのような無形のAI技術をダウンロードしたり、輸入したりする誰かを犯罪化し、中国国民との研究協力を禁止するものでした。これは機械学習研究者が欧州のICMLに行って、前年に取り組んだことを共有できないことを意味します。
これが極端なタカ派バージョンの対応です。より良い対応は、「私たちは何が起こっているのかを理解しています。オープンウェイトモデルは経済全体でAIの採用を加速させる可能性があるだけでなく、米国産業への依存関係を作り出し、米国主導、米国規制、米国に合致したモデルが世界のAIアプリケーションを動かすことを確実にする方法でもある」と言うことだと思います。
だからこそ、DeepSeekの発売に対する最悪の反応は、「能力のあるオープンモデルのリリースを停止すべきだ」と言うことだと思います。中国は、あなたが言ったベルト・ロードについてのポイントのように、これが国外でソフトパワーを投影する方法であることを理解し始めていると思います。そして米国が撤退し、跳ね橋を引き上げ、チップの強化された管理を通じて、あるいは無形技術の管理を通じて、このオープン技術の流れを遮断しようとすれば、そこには真空が生じ、中国は分離し、他の管轄区域がその真空を埋め始めるでしょう。
そして現在または近い現在に早送りすると、私たちは4月初旬に話していますが、あなたが言ったように、ベン、おめでとうございます、人々はあなたのアドバイスに耳を傾けているようで、少なくとも業界の人々の間では、最良の対応はオープンソースモデルを抑圧することではなく、それに傾倒することだと言っています。
私が示唆したように、有名に長い間オープンウェイトモデルのリリースを避けてきたOpenAIは、サム・アルトマンが会社のポリシーを「ピボット」することを発表しました。このピボットは米国のAI開発にとって何を意味するのでしょうか？オープンソースが新しいモデルになる可能性があると期待すべきでしょうか？
そしてもしそれが当てはまるなら、私が持つ一つの懸念は、あなたが以前に言及した、シリコンバレーのほんの一握りの企業がこのAI努力を主導しているという場合のAIラボの集中に関する問題です。我々はこのプレイブックを前に見たことがあります。『ソーシャルネットワーク』をもう一度見れば、そこに表れた欠陥が分かります。オープンソースが新しいデフォルトになり始める、または少なくともこのAIポートフォリオのより大きな混合になり始めるなら、経済とより大きなAIエコシステムにとって何を意味するのでしょうか？
その発表を動機づけたかもしれないことの一部は、モデル層が商品化されつつあるという認識の高まりだと思います。これらのブレークスルーの多くは複製可能です。基本的に、それらはすべてオープンリサーチにさかのぼることができます。十分なコンピューティングと十分なドルがあれば、おそらく他のチームも比較的短期間で同じパフォーマンスを達成できるでしょう。
そこで疑問となるのは、トレーニングと開発に膨大な資金を費やしたこれらの企業はどのようにこの空間を収益化し、優位性を作り出すのかということです。そして、これはますますプロダクト層とアプリケーション層に焦点が当てられると思います。それは単に生のモデルを一種の濃密な知識のダイジェストとしてではなく、モデルを他のツールや他のシステムとどのように統合し、それをどのように製品化して、それを実際の世界に出して、それを使用して喜んで対価を支払うデプロイヤーの手に渡すかということです。
ある程度、これがその決定を動機づけたかもしれないと思います。広く言えば、それは非常に有望だと思います。彼らが言ったことはまさに正しいアプローチだと思います。それはオープンか閉鎖かではなく、オープンと閉鎖です。そして両方が役割を持っています。
リリース前のリスク評価へのコミットメントは期待されています。素晴らしいことです。彼らはオープンウェイトモデルを評価する際の最先端技術を本当に進める可能性があります。棚から降ろしたリスクだけでなく、修正リスクも評価します。つまり、最適化と修正を通じてこのモデルに対して最悪の場合何ができるかということです。
しかし、その発表についての私の残りの懸念があります。その発表周辺の多くのシグナリングと、OpenAIやAnthropic、その他の企業がバイデン政権、そして潜在的にはトランプ政権に以前に言ったことは、オープンソース化は遅いか小さい限り問題ないということです。つまり、最先端から遅れているか、非常に小さく、その能力が非常に低下しているので気にする必要がないということです。
これは私がオープンソースの「貧しい従兄弟理論」と呼ぶものです。これは本当に悩ましいです。一方では、難しい質問を別の日に延期しているからです。モデルに関して我々が実際に気にするリスクは何か、受け入れ可能なリスクを誰が決定するのか、開発者か規制当局か裁判所か、これらのモデルを世界に送り出す前の緩和のための注意基準は何か、そして開発者はどのようにその注意基準を満たすのかといった難しい会話です。我々は何年もの間これらの周りでダンスしてきました。「小さなものをオープンソース化する、最先端以下のものをオープンソース化する」という考えはただそれを遅らせているだけだと思います。
もう一つは、能力のあるAIから本当に恩恵を受けるためには、それをペイウォールの後ろに閉じ込めるだけでは十分ではないことを見過ごしています。安全な封じ込めは米国経済を本当に加速させず、米国に敵に対する戦略的な後押しを与えません。
それをするのは安全な拡散です。可能な限り多くの経済全体のデプロイヤーの手に良い能力のあるモデルを得ること、リスクを評価するのを助けること、特定のタスクのためにそれを修正するのを助けること、そして彼らのすることに安全に統合するのを助けることです。
だから私はこれらの発表が結局ただの「いくつかの小さなものをオープンソース化します。最先端から1年遅れているものをオープンソース化します」というだけになる可能性を心配しています。しかし能力のあるもの、経済的に変革的な技術は、引き続きペイウォールの後ろに保管され、そこにとどまるべきだという立場です。それは私が心配する立場です。
技術的な拡散の歴史という観点から興味深いですね。例えば、農村電化局が完全な電気を農場に利用可能にする代わりに、「あなたはただ例えば30ボルトに制限されています。あなたは納屋を明るくすることができますが、寝室を明るくすることはできません」と言ったことを想像できますか。または何であれ、それは都市の住民のためだけです。
私があなたのポイントを正しく理解しているなら、そのような限られた能力を見ることは、オープンソースの全ポイントを損なうでしょう。それはこれらのモデルの能力、リスク、潜在的な利益について広範な分析を可能にすることです。そして、ただ去年の技術を渡しているだけなら、新しいリスクや新しい利益を発見する可能性は大幅に低下します。なぜなら、あなたは単に2004年のソナタのタイヤを蹴っているだけで、サイバートラックとその潜在的な長所と短所を見ているわけではないからです。それを理解する一つの方法ですか？
はい、それは単に次のことを言っています。経済全体のデプロイヤーの99％、彼らが個々の労働者、消費者、クリエイター、または大企業であるかどうかにかかわらず、タンパク質を折りたたむ必要はありません。彼らは最先端の最先端モデルを必ずしも必要としませんが、経済的に有用なタスクを行い、それをうまく、安く行うことができるもの、そして理想的には精査され、修正され、安全なプライベート環境に実装できるものを必要とするでしょう。それがオープンウェイトモデルが提供するものです。
今、それらの能力のあるモデルをオープンに利用可能にすれば、これが有用な技術を経済全体に拡散する最速の道であり、最終的に生産性とイノベーションに影響を与える方法だと思います。
特に規制当局や立法者が、能力のあるモデルをオープンに利用可能にするべきではないという見解を取れば、このテクノロジーの経済的な利益を得られないか、または少なくとも重要な技術のために少数の企業に高度に集中した依存関係を作り出します。
それはすべての通常の理由から良くありません。レントシーキングがリスクを導入します。それは人々が敏感なデータを2つまたは3つのAPIとの間で永遠に送受信することを意味します。これらのモデルの行動とパフォーマンスについてほとんど可視性がなく、修正してそれについて何かをする機会もほとんどありません。
だから、それは課題です。あなたもこの幅広い質問に言及しました、オープンか閉鎖かについて。我々は全コミュニティ、全エコシステムがOpenAI、Anthropic、Metaのような少数の企業に依存する世界に向かっているのでしょうか？それは本当に興味深い質問です。
AIではネットワーク効果がインターネットのように働くとは思いません。基本的に、大きなインターネットプラットフォーム、検索とソーシャルメディアは、ネットワークに接続された追加のユーザーごとに価値が増加するため、大きくなり、大きいままでした。AIでは、特にモデルでは、計算は少し異なります。
基本的には、インターネット上に巨大な公開利用可能なデータセットがあります。それについて議論することはできますが。巨大な、非常に高価なモデルが大量のコンピューティングでトレーニングされています。現時点でその資本を投入できる唯一の企業や組織は、インターネット経済で非常にうまくいき、広告収入などを通じてその資本を蓄積した企業だけです。
しかし、彼らがそのモデルをリリースすると、特にMetaがLlama 4をリリースした場合など、そのモデルはイーサ内に出ます。彼らはそれをどのように使用し、どのようにデプロイできるかについて限定していますが、モデルが出ると、誰でもそれをいじり始め、自分のシステムに統合することができます。
だから、まだその集中リスクはあると思いますが、それはネットワーク効果からではなく、この研究の固有のコストとコンピューティング集約性からくる集中リスクです。
これは非常に魅力的です。なぜなら、AI研究所自体は、ソーシャルメディアプラットフォームと同様の経済的インセンティブを持っていると思うからです。つまり、より多くのユーザーを持てば、より多くのデータを持つということです。その意味で、彼らにとってはネットワーク効果の要素があります。
しかし、ユーザーにとっては、ベン、あなたがどのモデルを使用するかは気にしません。私の法律事務所の同僚アラン・ローゼンスタインがどのモデルを使用するかは気にしません。Chat GPTに入って「アランはちょうどヘルスケア制度について調べた」と言っても、それは私に追加の利益を与えません。私はアランの投稿に「友達」リクエストを送っているわけではありません。
ソーシャルメディアとの類似点があるのは興味深いですが、取り組まなければならないのは異なる質問のセットです。そのことを念頭に置いて、ホリー上院議員がポッドキャストに電話してきたとしましょう。ホリー上院議員、もしこれを聞いているなら、いつでも歓迎します。そして彼が言います、「ベン、私は同意します。中国のオープンソースモデルが世界の残りの部分のデフォルトモデルになってほしくありません。」
しかし、これらのCBRN問題、これらのサイバー懸念、これらの核に関する懸念、私はそれらを振り払うことができません。オープンウェイトモデルが悪意のある行為者が生物兵器をデプロイし、混乱を引き起こすリスクの大幅な増加につながることを恐れている人々のために、あなたが推奨する中間地点の政策はありますか？例えば、オープンソース政策に関するAIアクションプランで、その利益を促進し、いくつかの有効な懸念を認識する点で、どのようなものが見たいですか？
安全な拡散が生産性とイノベーションを促進し、AIで「勝つ」方法であるという明確な認識を見たいと思います。実際にはそれは何を意味するのでしょうか？いくつかのことを意味します。
まず、有用で、能力のある、無形の技術への制限は最後の手段であるべきで、最初の手段ではありません。私はすべてを常にオープンソース化すべきだという絶対主義的な立場を取りませんが、それは最後の手段であるべきです。そしてあまりにも頻繁に、これらの制限は最初の手段として話されてきました。その前に取り組むことができる低いぶら下がった果実がたくさんあります。モデル開発における透明性の規制、デプロイヤー、ユーザー、下流のプラットフォームの規制など。
そこにはたくさんの作業があり、私たちの既存の規制および立法インフラがどこで不足しているかを決定するためのギャップ分析さえ行っていません。実際、これを体系的に行った唯一の政府の一つは前の英国政府でした。彼らは規制機関を回って、「あなたの領域で新たに発生するリスクに対処するための法的権限とリソースを持っていると感じていますか？」と尋ねました。そして12〜13のうち、1つを除いてすべてがイエスと言いました。そして、FTCやCFPBなどもバイデン政権下で同じことを言ったと思います。
だから、モデル層の介入を最後の手段として扱い、最初の手段としないことです。オープン性を前提にした準備を構築してください。それは、防御的な加速主義から下流の緩和とセーフガードのエコシステムを構築することまで、あらゆることを意味します。そこには連邦の支援を含めてより多くの作業ができます。
そしてこれすべての裏側は、政府に良いモニタリング能力が必要だということです。我々はモニタリング能力を持っていません。それが本当に反応的な規制と立法を見始める時です。だからこそ、米国AI安全研究所のようなものが非常に重要なのです。なぜならそれは米国政府のモニタリング能力だからです。
彼らは超党派の関心と超党派の重要性の傾向をモニターすることができます。可能な比例した形の緩和を特定し、行政、そして潜在的には立法者にも助言を与えることができます。
一方では、この政権を含めて、無形技術管理のようなモデル層の介入をより厳しくすることについての囁きがまだあります。一方で、米国AI安全研究所に何が起こるかはまだ非常に不確実です。我々が最大限にオープンな規制環境を維持するためには、そのモニタリング能力が必要です。
これが世界のホリー上院議員に私が言うことです。しかし、これの多くは率直に言って州レベルで起こると思います。今年の最初の四半期、つまり4月に我々は前の2年間の立法セッション全体よりも多くの州法案を見ています。そこではたくさんのことが起こっており、その多くは本当に微妙ですが非常に重要な方法でオープンソースとオープンウェイトに影響を与える可能性があります。
あなたが指摘している鶏と卵の問題が大好きです。透明性とモニタリングへの基本的なアプローチを設定するのにかかる時間が長いほど、オープンソースを本当に締め付ける反応的な立法の可能性が高まります。なぜなら、あなたが州レベル、連邦レベルで指摘した理解の不足があるからです。
我々が単に中国が何をするかに対応して立法しているだけなら、それは素晴らしい政策の姿勢ではありません。理想的には、オープンソースが我々の広範なAIポートフォリオにどのように適合するかについての明確な国家ビジョンがあるべきです。しかしそれですべてです。
そして、これらの多くの提案を考え出している非常に思慮深い立法者や政策立案者に敬意を表して、最も劇的で介入主義的な提案のいくつかは、何らかのメディアの瞬間に反応して枠組みが作られたものでした。
前のセッションで上院で起草された少なくとも2つの開発者ライセンスのフレームワーク、上院で起草された超党派のフレームワークがあったことを考えると、モデルの重みに輸出規制を拡大する下院の法案がありました。もちろん、私が前に言及したDeepSeekに関するホリー法案もありました。
これらの多くはLlamaのリリースやDeepSeekのリリースに対する反応として飛び出し、私はこれらが調整され比例するようにするためにもっと多くのことができると思います。人々は、バイデン政権が米国の歴史上最長の行政命令を出したことを忘れていますが、実際には規制的な性質のものはあまりありませんでした。
実際、あなたがモデル開発者なら、実際にはたった一つの義務があるだけでした。つまり、10^26 FLOP以上のモデルをトレーニングしている場合、あなたはレッドチーミングの結果について連邦政府、商務省に報告する必要があります。政府は彼らにどのレッドチーミングを実行するかさえ指示しませんでした。彼らはただ「報告してください、そうすれば我々が地平線上に何があるか分かります」と言いました。物事の計画の中で、これらのフレームワークはスペクトルの問題が少ない端に位置付けると思います。
しかし、モデルの重みの輸出規制体制、開発者のライセンス要件、またはオープンソースと根本的に互換性がない方法で責任規則を修正する州の立法、オープンソース環境では実現不可能なモデルへの可視性、制御、および保管のレベルを要求するようなものが出てきた時、それらの介入は本当に開かれたイノベーションを妨げるでしょう。具体的には、第三者が検査、修正、独立してデプロイできるように、優れた能力のある技術をオープンに利用可能にすることを意味します。
ベン、これがオープンソースに関する最後のニュースの瞬間やメディアの瞬間になることはないでしょう。そのため、将来的にまたお話を伺うことになると思いますが、今回はここまでにしましょう。またお越しいただきありがとうございました。
ありがとう、ケビン。感謝します。
コメント