この書き起こしは、汎用人工知能（AGI）時代におけるオープンソースについての専門的な議論を収録したものである。Meta（旧Facebook）のLlamaシリーズの開発者であるトーマスと、OECD（経済協力開発機構）のAI専門家シメオンが、ジャーナリストのジョゼフィーヌの司会の下で行った討論会の内容となっている。議論では、AIモデルのオープンソース化がもたらす機会とリスク、特に生物兵器開発への悪用可能性や、AI技術の急速な発展が社会に与える影響について深く掘り下げている。また、現在のクローズドソースモデルとオープンソースモデルの性能差、AGI到達の時期予測、AI開発における国際競争の現状なども詳しく論じられている。
私が最後に書いた本は、AIの地政学的な側面を扱ったものですが、それによってオープンソースの問題について深く考えるようになりました。2、3年前まで、私はかなりオープンソース支持派、むしろ急進的なオープンソース支持派でした。オープンソースの定義などについては後で話しますが、今のところ、皆さんは大体何なのかご存知だと思います。
AIの地政学的な側面に深く踏み込み、いわゆるAIシステムのアライメントの問題により関心を持ち、AIシステムのリスクに関心を持つようになったことで、徐々にオープンソースの問題を別の観点から見るようになりました。オープンソースに反対するようになったわけではありません。私は今でも非常に支持していますが、この問題がより曖昧になってきたと感じるようになりました。
以前は、オープンソースは単純に皆にとって良いものでした。知識を自由にし、コードを自由にする。それはコミュニティに利益をもたらし、皆を成長させ、民間企業でさえコミュニティによってコードが改善されるので利益を得る。要するに、全てがポジティブでした。
現在のAIシステムがそうであるように、それらを非常に簡単に使用できるようになり始めています。自然言語を操作します。皆さんはきっと既にプロンプトを試したことがあるでしょう。そして、少し技術的な方なら、AIシステムでコードを書いたことがあるかもしれませんし、コンピューターウイルスを書かせようとしたことがあるかもしれません。ChatGPTでやろうとしても、それは拒否するでしょう。しかし、もう少しアライメントが取れていない、制約の少ない他のシステムでやれば、コンピューターウイルスが出力され、開発やハッキングのスキルが全くない人でもコンピューターウイルスを手に入れることができ、それを展開する戦略なども得られるかもしれません。
突然、これらのシステムが悪意のある危険な用途を促進する能力が問題となってきました。さらに一歩進んで、次世代のAIシステムがますます自律的になることを想像できます。これが特にAIエージェントと呼ばれるものです。エージェントのアライメント、自律システムが設計者の意図と一致し続けることについて多くの疑問が提起されています。
突然、これらのシステムは基本的にはコンピューターシステムですが、負の影響を与える可能性と、問題となるパワーへのアクセス可能性を持ち始めました。より多くの人がアクセスできるようにするオープンソースは、突然曖昧さを増してきました。なぜなら、突然「これは赤いボタンを誰の手にも委ねることではないのか？」と考え始めることができるからです。これは明らかに少し挑発的な問いでした。
これが私が今夜のイベントの売り文句に入れたものです。しかし、オープンソースがこの問題を思い起こさせることは事実です。非常に強力なAIシステム、おそらく近いうちに汎用的になるであろう汎用AIシステムを、オープンソースで誰の手にも委ねることは大きな問題ではないでしょうか？
同時に、一方でそれをしないことは、このパワーを少数の手に集中させることになり、それは潜在的にさらに危険かもしれません。私はこの考察に至り、答えを持っていませんでした。答えを持っていないので、非常によく知っていて、この問題について考えている人々が必要だと思いました。
そこで、オープンソースの専門家、AI governance、AIのリスクと機会などの専門家を探し始めました。そして、少し興味深い超専門家たちに話してもらうには、単に電話で話すだけでは済まず、ステージに立ってもらう必要があり、ステージがあれば観客が必要です。だから皆さんが今夜ここにいるわけで、これは私にとって完全に利己的なことです。なぜなら、今回初めて自分が主催するイベントで専門家たちの話を聞くことができるからです。
良い利己主義は共有されるもので、皆さんにも利益をもたらし、この汎用AI時代のオープンソースについて理解を深めていただけることを願っています。トーマスはLlamaシステムの背後にいる人物です。Llama 2の設計者であり、Metaで働き、汎用AI研究者です。これは今では職業なのです。
私たちは汎用AI時代にいて、汎用AIの夜明けにいるので、これは非常に真剣な問題となっています。トーマスはそれに全力で取り組んでいます。明らかにLlamaは、オープンソースと言われる大きなシステムの一つですが、このシステムのオープンソースという名称について曖昧さがあります。これについては少し話すかもしれません。
明らかに、オープンソースシステムの設計者側から、トーマスは明白な選択でした。そして、OECDで働くシメオンと一緒に、彼はOECDのAI専門家です。AIのリスクとガバナンスの問題に取り組んでいます。彼はSafer AIも設立し、おそらく少し話してくれるでしょう。これも同じテーマで、AIシステムの監督やモニタリング方法について取り組んでいます。
外部からの視点で、システムをオープンソースにすることに浸っている人と、外部からそれに関連するリスクについて考えることに浸っている人です。賛成と反対の二つの視点は、実際にはそれよりもはるかに微妙であることがわかりますが、対峙させるのは興味深いものです。
そして、この議論を司会するジョゼフィーヌがいます。彼女はLes Echosのテック・AIジャーナリストです。彼女が私たちの二人のゲストを料理してくれます。まず、お三方すべてに来ていただいたことに大きな感謝をします。
討論を楽しんでいただき、アイデアを対峙させることでそれらを前進させ、ジョゼフィーヌが彼らを困らせることを期待しています。それが私たちの望むことだからです。もちろん冗談ですが、皆さんが足を運んで私たちと一緒にいてくださったことにも感謝します。
明らかに、皆さんは場所にいます。ステージと人々がいるためには、壁も必要です。これらの壁はEkimetrixのものです。とても素晴らしい会社です。偶然にも、8年前に出会った会社です。私が最初の会社を持っていた時に出会い、彼らがEki Artと呼ばれる取り組みを持っていたからです。
彼らは既に長い間データサイエンスを行っており、データサイエンスを中心とした芸術についての全体的な取り組みを持っていました。彼らはデータサイエンスに基づく芸術コレクションと芸術ギャラリーを私に見せてくれ、とても刺激的だと思いました。
時が過ぎ、技術的側面と文化的側面の両方を持つこの企業と再びつながることは素晴らしい機会だと思いました。この芸術的嗜好と、とても美しい会社です。今夜、素晴らしい施設で私たちを迎えてくださり、本当にありがとうございます。
彼らは皆さんが夜の終わりに味わうことができるカクテルまで資金提供してくれています。これらのイベントを受け入れる会社、機関、団体などがあるからこそ、ミートアップやこのような夜が存在できるのです。本当に大きな感謝を。話してもらう前に、一度拍手をしましょう。
ピエールがEkimについて少し紹介してくれます。こんばんは、皆さん。Ekimへようこそ。このイベントを開催できて嬉しく思います。私はピエール・ボーです。生成AIの問題を担当しており、エージェントについて話すこのテーマに情熱を注いでいます。
皆さんが行っているすべての仕事に感謝し、今夜皆さんの話を聞けることを嬉しく思います。私たちは20年間データとAIの専門企業です。それだけを行い、データ製品を開発し、クライアントのためにそれらを本番環境に導入しています。
パリ、ニューヨーク、ロンドン、香港、マルセイユに500人おり、データAIの問題についての研究とイノベーションに専念する80人がいて、ここにいるニコラが指揮しています。そのため、毎年多くの論文を発表しています。この研究はすべて一般公開しています。
オープンソースに対する私たちの立場は、そこから出発しています。研究、構築できるアセット、方法論において可能な限りオープンであろうとしています。Ekilaサイトでは、私たちの技術スタック、信念、それについて発表する記事をすべて見つけることができます。
また、Climate QAやClairなどの製品を通じてエコシステムに貢献できることを嬉しく思います。これらはエージェント的なAIアプリケーションの例で、オープンソースです。有用であるためと同時に、皆さんが手を動かせるようにするためです。Metaや他社から出るすべてのフレームワークをフォローしようとしています。
それをテストできることを嬉しく思い、明らかに民間企業でも働いているので、完全に透明に言うと、ミッションですべてを公開するわけではありません。クライアントの手に残る専有の最後のマイルについて、最新の方法論を保護し、常にすべてを開放しないという立場もあります。
このことについて完全に透明であるための小さな証言であり、アナベルに補完してもらいます。こんばんは、アナベル・ブラノです。責任あるAIのリードをしています。より透明で多くのことに注意を払ってAIを行う方法と、イノベーションの一部でもあります。
アセットを開発するたびに、私たちは多くの疑問を抱きます。どうすべきか？それらを開放し、共有するか、しないか？これらは必ずしも答えやすい質問ではありません。だからこそ、この議論を持ち、より多くを知ることができて嬉しいのです。
しかし、私たちが選んだ道は、より多くの人にソリューションを開放し、誰もがこれらのAIから利益を得られるようにすることです。Climate QAは気候レポートのIPCCについて質問し、環境で起こっていることをよりよく理解するためのQ&Aです。
また、AIについて、AIのリスクについて、責任あるAIについて多くの質問ができるClairbotもあります。異なる視点を持つマルチエージェントシステムです。接続して試してみることをお勧めします。ありがとうございます。良い夜を、そして後でお会いしましょう。
ありがとうございます。それでは、ゲストの皆さんを招待して、議論を始めたいと思います。その後、ジョゼフィーヌに委ねますが、議論を始める前に、セマンティクスの要素を簡単に思い出させたいと思います。オープンソースについて話していますが、実際には関連する多くの用語があります。
従来のオープンソースは、実際にコードを皆の処分に供することです。つまり、それを開放することです。真のフルオープンソースであれば、明らかに利用可能であるだけでなく、誰でもそれを取り、再利用し、修正し、自分のものにし、好きなことができるということです。
明らかに、オープンソースにもレベルがあり、例えば商業目的での再利用が許可されていない、または一定レベルまでというライセンスレベルもあります。多くの微妙な点がありますが、フルオープンソースはそういうものです。
AIでは、しばしばオープンウェイトについて話します。これはAIモデルの重みを利用可能にすることです。AIシステムは人工ニューロンの大きな集合であり、これらのパラメータ、ニューロン間の接続である重みによって定義されます。これがAIの言わばデジタル脳、この重みです。これがいわゆる知性を持つことを可能にするものです。
これを皆に利用可能にしますが、それだけでは十分ではありません。オープンデータもあります。AIの訓練に使用されたデータ、最終システムだけでなく、それを訓練するために使用されたものを言うことです。これは、それを監査し、バイアスがないかなどを知るために非常に重要です。
さらに進んで、訓練パイプラインを開放することもできます。AIを訓練することを可能にするパイプライン全体を非常に正確に記述することです。さらに先進的なことには、例えばメディアシステムが監督され、後訓練される方法を開放することもあります。
つまり、システムを訓練した後、その行動を方向付けるためのレイヤーを付ける方法を説明することです。これが訓練後に行われるポストトレーニングと呼ばれるものです。このような多くのレイヤーがあり、プロジェクトによっては、本当にプロジェクト全体がオープンソースである場合は全段階で、しかし時には特定の段階でのみオープンがあります。
これがAIの世界でのオープンソースのすべてのレベルを少し思い出させるためのものでした。これは広大なテーマであり、始めてもらいます。再び、一緒にいてくださってありがとうございます。
フランヴィエが紹介で言ったように、このテーマから始めたいと思います。少し時事問題について話したいと思います。これが私の仕事でもあるからです。オープンソースのテーマはAIにおいて重要です。それは、AI界の重要人物、民間企業で働く人々、政治家、一応オープンソースAIに取り組む公人によって定期的に思い出されています。
この概念が実際に何を意味し、どのような課題があるのかを枠組みにするのに少し苦労しています。それが今夜の交流の目的の一部であり、非常に資格のある、非常に技術的な二人の人物と行うものです。
今夜、聴衆の皆さんにAIとこのテーマについての知識レベルを知るための小さなテストを行い、誰に話しているかを知りたいと思います。この部屋で、毎日AIを使用している人は手を挙げてもらえますか？いいですね、良いスタートです。
ChatGPTやチャットボットなどのソリューション以外を使用している人はいますか？良い、少し技術的になることができるかもしれませんが、あまり過度にはしません。適応しようとします。
いずれにせよ、オープンソースが今日多くの企業にとって課題であり、大規模モデルの多くの提供者にとって課題であることを感じます。次々と、彼らは新しいオープンソースモデル、実際にはオープンウェイトモデルの発表をしています。Metaのようにオープンウェイトモデルです。間違っていたらトーマス、訂正してください。
いずれにせよ、しばしば、数日、数週間後に新しいモデルがオープンウェイトで公開されるという発表がほぼ毎日あります。これが重要な課題だからです。企業がそこでポジションを取りたがっていることがわかり、特に中国企業がますます増えています。
1月末のDeepSeekの少し衝撃的な登場で見ました。これは多くの話題を呼んだ大きなテーマの一つで、それが大きな競争になることがわかりました。既に競争はありましたが、オープンソースのテーマはその時点で、少なくとも全世界の目にはさらに重要になりました。
フランヴィエが言っていたように、これらの異なるレベルがあり、純粋に科学的な問題、兵器化の問題、非整合などのより深く社会的な問題についても課題となっています。
お二人に最初にお聞きしたい質問は、今日のプロプライエタリモデルとオープンソースモデルの違いについてです。性能面でどの程度離れているか、どの程度近づいているか、境界の一方または他方で潜在的なフロンティアモデルにどの程度いるか。今日何が言えるでしょうか？トーマスから始めましょう。
少しバイアスがかかっています。では、バイアスがかかっているなら、行きましょう。まず、今夜オープンソースとAIについて話すとき、オープンソースについて話します。今夜の会話の本質は、AIのフロンティア、つまり大規模言語モデルについてになると思います。
小さなアルゴリズム、例えば非LLM、視覚、SVM、最適化アルゴリズムなどのほとんどについて、オープンソースの利益とリスクのバランスについてはほとんど疑問がないと思います。従来のソフトウェアと同様に、一般的にバランスは明らかにポジティブだと思います。
枠組みを設定したかっただけです。AIと言うとき、それは基本的に最高のLLMを意味します。フロンティア、Claude 3.7やO3などのプロプライエタリLLMと、最高のオープンソースLLMとのフロンティア間の違いは、おそらく現在6か月、おそらく1年ですが、それ以上ではありません。
最高のオープンモデルは、Llama、DeepSeek R1です。ますます多くの中国モデルがフロンティアモデルに近づいています。この違いは、今日ほど小さくなったことはないと思います。Llama 3が公開され、当時のGPT-4のレベルにあった時を除いて、まだ推論モデルはありませんでした。その時は長く続きませんでした。
この違いはおそらく小さいままでしょう。現在最高の企業、特にアメリカ企業において公開しない文化が確立されているためです。XI、OpenAI、Anthropicなどの多くの企業は事実上リーダーであり、実際にはほとんど自分たちの最高のモデルをリリースしません。多くの場合、競争的理由のためです。
DeepSeek R1などのモデルをオープンソース化する効果の一つは、皆のマージンを削減することです。そのため、敵を作ります。DeepSeekが最初にモデルをリリースしたとき、それは当時V3でしたが、中国で価格戦争と呼ばれるものを引き起こし、皆のマージンを10分の1に削減したため、皆に嫌われました。
これは、実際に多くのアメリカ企業が重みを開放することを好まない効果の一つです。
マイクは機能していませんが、とにかく続けましょう。いえ、あなたが言うことはほぼ全て同意します。少し歴史を振り返り、なぜ今ここにいるのかの原因についても話すかもしれません。クローズドソース対オープンソースについて話していますが、実際にはオープンなときと構造があります。
OpenAIは始まったとき、その名前の通りで、オープンソースを行っていました。GPT-2で停止し、当時既にオープンソースでリリースするには危険すぎると言っていました。これは現在では小さなモデルで、皆がオープンソースにしており、危険でないことがわかっています。
彼らはそれをスケールし始めました。つまり、ますます大きく、より多くの訓練を行いました。これらのモデルがますます大まかに知的になることを可能にするものです。GPT-3、GPT-4、そして現在の推論モデルです。彼らはビジネスモデルを変え始めました。
非営利から、株主を持ち、Microsoftを持つようになり、最近では実際に議論がありますが、利益団体から営利企業に地位を変更したいと思っていました。これは議論の余地があり、イーロン・マスクは「でも私は非営利の時に投資し、ゼロのお金を持っている。どういうことか？」と言っています。これについて議論があります。
彼らがこの研究方向に賭け始めたことがわかります。GPT-2は2015年、2016年、いえ2017年かもしれません。現在自分のスタートアップを立ち上げたSutsukeverという人がそれを行っており、彼らの科学責任者の一人でしたが、2012年にそれを行っていました。つまり13年以上前で、既にこの方向に賭けていました。
つまり、ある意味で歴史の流れは、ある人々が正しい方向に賭け、それをスケールするために多くのお金を持つようになったことです。オープンソースを行った人々は、あなたが言ったように、自然に利益を削減します。これらのモデルに依存するビジネスを持たない場合にのみ行うことができます。
これについて小さな質問があります。歴史の流れにおいて、必然的にすべてのモデルが徐々にオープンソースになるということですか？GPT-2について言ったように、最終的に今日では小さなモデルで、皆が既にコピーしたものです。必然的にそうなるのでしょうか？
これには二つの答えがあるかもしれません。最初に、OpenAIの責任者のSam Altmanは最近、彼らが歴史の間違った側にいて、モデルをオープンソース化するかもしれないと言いました。二つ目は、フロンティアという概念について話していました。これは非常に興味深い概念です。
ますます知的なモデルに向かって進んでいます。問題は、フロンティアがどこで、それがどこで止まり、それが非常に知的なので、もはやオープンソース化したくないところはどこかということです。
あなた方二人が言っていることで興味深いのは、今日のオープンソースかどうかの基本的な選択問題は、これが純粋に財政的な問題だということです。つまり、世界最高のエンジニアでモデルを開発し、そこで利益を得る機会を持ちたいので、それを保持したいということです。
それは大部分において真実です。私はそれを微妙にします。私は数年前にオープンソース化すべきでないと確信していたOpenAI、Anthropicの多くの研究者を知っており、実際に多くが考えを変えました。
それはどういう意味ですか？サンフランシスコでの夕食で、彼らは私に「お願いだからLlama 3をオープンソース化しないで、世界を破壊することを本当に恐れている」と言っていました。彼らは部分的に良い議論で真剣でした。彼らは大まかに言って、それが他の人がより速く進歩することを可能にし、AIがあまりにも知的になり、負の結果をもたらすことを恐れていました。
彼らは自分たちの言うことを確信していました。彼らは誠実でした。それはビジネス上の理由だけではありませんでした。実際、私は最近Alinと話し直し、今どう思うかと尋ねました。彼は進化したと言いました。
あなたの質問に戻ると、オープンソースの問題で関連するのは、私たちがどこにいるかに応じて、クローズドソースとオープンソースの間でどのようなフロンティアを望むか、そしてどのような遅延を望むかということだと思います。ある時点では、すべてを共有することは常に有益だと思いますが、ますます有能なモデルを持つにつれ、それらは例えば非常に重要な攻撃的能力を解き放つことを可能にするかもしれません。
例えば、数年前には想像できなかったようなサイバー攻撃を、あなたや私のような行為者が行うことを可能にするかもしれません。そして、私たちの社会に潜在的に大きな影響を与える可能性がある領域に到達し始めたとき、社会の回復力を高めるために、これらの能力にどれくらいの間アクセスしたいかという問題があります。
例えば、サイバーセキュリティの場合、攻撃を可能にする同じ能力は、企業などを安全にすることも可能にします。潜在的なプロセスは、新しいクローズドソースモデルを手に入れたらすぐに、1年間それを使用して多くのインフラのサイバーセキュリティを大幅に向上させることです。それを行った後、皆にそれを与えてサイバー攻撃を実行させるのです。
これは、このモデルを手にしている人々が善意であり、解決策を開発するという考えを持っているという論理に応えています。絶対にそうです。これは、この意図的な行動があるように、特に政府による非常に重要な積極的な取り組みを必要とします。社会の防御を高めるために既存の能力を使用しない場合、1年待つことは何の役にも立ちません。
関連すると思うもう一つのフロンティア問題は、オープンデータフロンティアです。つまり、それを訓練するために使用されたすべてのデータが公開されている最高のモデルは何かということです。これが関連する理由は、科学的観点からです。
現在、研究室外の公衆は、データがLLMに与える影響についてかなり限定的な理解しか持っていません。そのため、LLMをほとんど予測できません。データがそれらの価値などにどのように影響するかです。十分に良いモデルをすべてのデータと持つことで、多くの研究が可能になります。
現在のオープンデータフロンティアは、Olmoと呼ばれるモデルで、約1年前にPaul Allen財団（Allen AI Foundationと呼ばれると思います）によって公開されました。彼らはモデル、すべてのコード、すべてのデータ、さらに1000のチェックポイント（モデルの進化の中間段階と呼ばれるもの）をリリースしました。
これにより、データがモデルに与える影響を非常に段階的に理解することができ、社会がデータがこれらのモデルに与える影響についての理解を大幅に向上させました。これらのモデルで科学を行おうとする際の大きな問題の一つです。
これは、今日到達できるオープンソースのほぼ最大限のモデルです。これが最大のオープンデータです。リスクに関するテーマに戻って、トーマスに向けます。あなたはMetaにいます。Metaでは、いくつかのモデルでオープンウェイトまたはオープンソースを行うという選択がありました。
今日、その背後にある動機は何ですか？そして、これはMetaがこれらのモデルが潜在的な危険を引き起こすほど強力ではないと考えているということですか？
いくつかのことがあります。オープンデータ、オープンウェイト、オープンソースの概念に戻る最初のこと。私の考えを言います。文脈として、多くの人がLlamaをリリースしたとき（現在WhatsAppにあるモデルです）、「いや、これはオープンソースではない、おそらくオープンウェイトだ。なぜなら重みは開放したが、コードやどのように訓練するかなどは開放していないから」と言いました。
私はそれはナンセンスだと思います。オープンソースの定義は、開放されたコードで無料で使用できるものです。議論の対象となる可能性があったのは二つのことです。最初に、私たちは7億ユーザーの制限を設けました。確かに、その観点からはオープンソースではありません。世界で4つの会社がそれを使用できませんでした。
二つ目は、モデルを作成した方法、訓練データなど、背後にあるすべてのボックスを開放したかどうかの概念です。しかし、ソフトウェアがオープンソースで開放されるとき、それを作成することを可能にしたすべての中間段階を開放するわけではありません。
コードとソフトウェアを提供し、人々はそれを使用することができます。その使用の観点から透明性があります。しかし、6か月の作業やすべての中間コードを開放したことはありません。これはAIでは新しいことですが、以前に適用されていたもので、違いがわかりません。
次に、「フロンティアモデルは危険すぎるので開放すべきではない」という概念について。「危険すぎるモデル」という議論には全く同意しません。テストし、安全にしてから開放するために少し時間を置くという側面については同意します。
新しい技術を商品化するとき、安全基準があり、テストが設置されているのと同じように、テストしていない車を運転手の手に委ねることはしません。もちろんです。しかし、「危険すぎるので開放すべきではない」という概念について、なぜすべてを開放すべきかという私の議論を言います。
多くの人がP(doom)について話していました。これはAIによって重大な出来事が起こる確率です。非常に偉大な研究者たちが「それは10％、30％だ。だから多すぎる。AIのためにオープンソースにし、AI全般のために人類が絶滅する30％の可能性がある」と言っていました。
私の議論は、この世界の考え方は、AIが世界を破壊する確率の分布に非常に限定されているということです。しかし、真実は世界がそこで止まらないということです。世界は毎日回っています。戦争、リスク、核、生態学などがあります。
実際に、私たちが世界を破壊する確率、または隕石やその他何でも、実際にそれは巨大です。AIがそれほど重要な技術として科学を進歩させ、加速させることができると考えるなら、実際にそれはAIが世界を破壊すること以外の外部性の確率を減らすでしょう。
この観点から、科学をより早く加速させる技術は、実際に人類の絶滅確率を減らし、より早く進歩をもたらすと思います。
この問題について、主要な懸念のクラスは、しばしば誤用です。プロプライエタリモデルとその開発者が有能で仕事をしていれば、行為者が長時間APIを使用してサイバー攻撃などを行うことは複雑であるということです。
実際にはそれほど複雑ではなく、おそらく現在多くの行為者が単にChatGPTを使用してこの種のことを行っています。Googleからのレポートもあり、APTと呼ばれる行為者（イラン、ロシア、中国の国家行為者）が、サイバー攻撃にGeminiを使用することを小規模から中規模で実験していることを説明しています。
この攻撃面を制限すれば、オープンソースモデルがAIの攻撃的使用の主要な潜在的源となるでしょう。これが問題となる可能性があるいくつかの領域が特定されています。最も問題となる可能性が高い領域は、生物兵器の開発領域です。
ご存知のように、パンデミックは存在し、約15年、20年前から、ウイルスを修正し、より致命的にし、より感染性を高めるなどの技術が非常に民主化されています。約10年ごとに、一度はアルカイダ、一度は人類が絶滅すべきだと考える日本の宗教団体などの狂気のグループがあり、できるだけ多くの人間を殺すために生物兵器を開発しようとかなり真剣に試みています。
懸念は、大まかに言って、これらの兵器開発への物質的障壁が大幅に減少したことです。これまで減少していなかった最後の障壁の一つは、知識の障壁でした。これは非常に困難です。例えば、エボラウイルスを取り、それをより感染性にして、それを分散させることを可能にする形にするなど、必要な操作を行うためには、ウイルス学などの博士号が必要です。
懸念は、ほぼ哲学的な懸念ですが、この知識を皆に与えるということです。そのため、多くの有益な効果があり、平均的にオープンソースは例外的です。しかし、時々試みる数人の狂人という負の効果があります。
おそらく彼らは目的を達成する可能性が高くなるでしょう。そして、2、3年前から、この種のリスクが多くテストされ、Llama 3などのモデルが、経験のほとんどない人々がこの種の操作を行うのを助けるのにかなり良くなり始めています。
例えば、VCTと呼ばれるベンチマークがMITのチームによって作成され、専門家がこの分野で同じように説明しようとした場合と比較して、LLMが初心者を生物兵器開発に必要な操作に導く能力を比較しました。
OpenAIの最新モデルであるO3が唯一専門家と同等のモデルであることがわかりました。95％の時間で、それは専門家よりも初心者をよく導くことができました。そのため、O3クラスのモデルが利用可能になれば、中期的にバイオテロリズムのリスクを高める可能性があるという懸念があります。
明確にするために、現在O3でそれは不可能です。O3に致命的なウイルスの開発を手伝うよう求めることはできません。しかし、人々は私たちに拒否と言います。はい、その通りです。先ほど話したサイバーとは異なり、サイバーでは攻撃を可能にする同じスキルが防御を可能にしますが、残念ながら生物学におけるAIの防御能力はおそらく少し遅れて到達します。
例えば、先ほどトーマスと、AIが科学を自動化するなどに十分有能になることを期待する時期について話していました。それが2、3年で、それは不可能ではないと思います。その場合、科学を自動化することは実際に非常に重要な防御能力を持つことになります。
それがもっと時間がかかる場合、防御能力なしに攻撃能力がある期間にいる可能性があります。AGI、汎用人工知能について話したいと思います。これは科学コミュニティで既に存在するかどうか、いつ到達するかについて議論されているテーマです。
定義は企業や研究者によって正確に同じではありません。それは変化しますが、一般的に、あなたが私に言うのは、ほとんどの可能な分野で資格のある人間の脳に到達できる人工知能です。つまり、大まかに言って、この部屋のすべての分野を結合し、そのレベルで成功することができる、またはそれ以上です。
基本的な問題は、現在のモデルが定義を満たさないようにAGIを定義することがますます困難になっていることです。あなたにとって、それは既にそうだからです。O3モデルは私たち全員と同等です。はい、すべてにおいてより強いわけではありませんが、あなたは「資格のある人間」と言いました。
ほとんどの関連分野で資格のある人間だと思います。しかし、はい、その結果、もう少し野心的に考える別の方法は、ほとんどの分野で最高の資格のある人間と同じくらい良いということです。このテーマについて、月について話しているのか、年について話しているのでしょうか？
補完するために、私はほぼ同意しますが、これらのモデルには依然として不足しているいくつかのスキルがあります。記憶能力です。これらのモデルは数日後に忘れてしまうので、このように新しいタスクを教え込むには何かが不足しています。しかし、そこに到達することについて個人的に心配していません。
私は10年の終わりまでにだと思います。はい、私も基本的に2、3年後か、もっとずっと後、2040年頃だと思います。そう思う理由は、今私たちはほとんどすべての部品を持っているような印象があるからです。
現在、ほとんどの進歩はスケーリング法則と呼ばれるもののおかげでなされました。これは、これらのモデル、Transformerや少し古いモデルの開発でかなり早期に観察されたものです。10倍多くのデータで10倍長く訓練すれば、質的により良くなります。
長い間、かなり類似したアーキテクチャを使用し、唯一の違いは、例えばGPT-2とGPT-3の間では、100倍多くのデータ、100倍多くの計算能力で訓練しただけです。つい最近まで、計算能力の1桁を追加することは簡単でした。1000ユーロから10000ユーロ、10000ユーロから100000ユーロの計算能力に移行することは簡単でした。
しかし、現在の問題は、私たちが今持っている最もエネルギー消費の激しい産業と同じくらい大きなインフラの桁数に到達していることです。現在、2027年から2028年にかけて、1GWから5GWを消費する最初のデータセンターが計画されています。これは最もエネルギー消費の激しい産業と同じくらい大きいです。
これの含意の一つは、2028年から29年に稼働する1から5GWで、AGI、AFIと説明したものを開発できない場合、次の桁数は非常に困難になるということです。5GW（約10の原子力発電所）から50GWに移行すること。50GWはフランスのエネルギー以上です。
これは私たちの産業能力を超える何かになります。そのため、次の桁数は現在のように1年または2年で起こるのではなく、5、6年で起こるでしょう。そのため、2029年から2030年までに到達するか、おそらくもっと後になると思います。なぜなら、英語でlow hanging fruitと呼ばれる、木の下部にある果実がもうないからです。
限界を押し戻すことがますます複雑になります。その通りです。インフラの観点から、1から5GWの既に持っているインフラのサイズを10倍にすることは、非常に困難です。これはおそらく、最大限のデータセンター建設で巨大プロジェクトを行い、計算能力を持てば潜在的にという特定の国の発表の背景にある考えの一部でもあります。
そこにはいくつかのことがあります。最初は、これらのモデルを訓練するために投入するエネルギーである計算のスケーリングです。効果的に、それを無限にスケールすることはできません。しかし、私が2030年前、10年の終わり前に到達すると非常に確信している理由だと思います。
もし発表があるなら、今夜行ってください。これは良い、もっとありません。しかし、このスケーリング法則だけでなく、実際にプレトレーニングをスケールしたとき、ポストトレーニングで新しいスケーリング法則を見つけ、その後推論モデルで、今度は記憶などを見ることになり、このテーマで働く研究者がこれまでにないほど多いからです。
次のステップは、先ほど言ったオープンデータとモデルレベルでの透明性について話したいと思います。Llama 3以来、すべてのモデルは実際にほとんど生物学のようです。前のモデルを使用します。Llama 3を初期化するために、Llama 2を使用しました。Llama 3のデータをフィルタリングするために、Llama 2を使用しました。
さらに、ウェブ上には今日多くのAIデータの軌跡があります。そして実際に、各AI世代は次の世代をその規模で養っています。AIがあまり良くなかったすべてのケースで、ユーザーがそれを導いたので修正が存在する可能性があり、それらはインターネット上に見つかるでしょう。
スケーリングの観点から、すべての研究者が働いており、今日ほど多くの研究者が実際にこの分野で働いたことはありません。これも、アルゴリズムの研究、他の方法などでスケールする次元です。そのため、オープンソースは到達を潜在的に加速する手段でもあります。
さらに言うと、オープンソースがなければ、今日ここにいることはなかったでしょう。オープンソースなしには、2025年より前の完全にオープンソースだった歴史について話さずに、ここにいることはありませんでした。最初の論文の一つはTransformersでした。おそらく聞いたことがあるでしょう。これはGPTのTです。
これらの新しいアーキテクチャにより、Transformersは、以前のモデルであるLSTMのようなことを可能にしますが、単語を一つずつ生成する代わりに並列化を可能にします。そして、計算の観点から、はるかに多くの計算を並列で投入することができます。これは2017年のGoogleの論文だったと思います。
Attention is All You Needです。Googleでオープンソース化されていなければ、人々はそれが興味深いことを理解せず、忘れていたであろうことをほぼ確信しています。その後、OpenAIがTransformersに基づいてGPT-1を作り、オープンソース化しました。その後、GoogleがBERTを作り、というように5年間続きました。GPT-2で経済的に重要すぎるようになり、オープンソース化を停止するまで。
経済的に重要すぎるとは、企業にとって資金なしで負担するには重すぎたのか、それとも経済的利益の潜在的に重要すぎたのでしょうか？つまり、GPT-2で、その時点で10億ドルまたは100億ドルの評価で10億ドルを調達しました。Microsoftと。
明らかに彼らはすべての才能を与えたくないので、それで資金を調達し、私たちが最高で、他の人に利点を与えないつもりです。彼らはかなりの利点を得ました。想像すべきは、2019年に彼らはGoogleに非常にストレスを感じていたことです。2012年から2019年まで、GoogleはAIで絶対的に見えました。
すべての最大の才能がGoogle BrainまたはGoogle DeepMindにあり、彼らは最も印象的なことをすべて行っていました。AlphaGoなど。その時代のOpenAIのメールを読み返すと、彼らは本当にGoogleに常に非常にストレスを感じています。彼らは打ち負かすことの困難さに取り憑かれています。
それでも、OpenAIがGPTで破壊したのです。企業を破壊するような種類の企業では、先ほど少し話したように、DeepSeekの登場がありました。DeepSeek V3の登場で、1月末にアメリカの市場で一般的なパニックの風を引き起こしました。
これはどのようにオープンソースの今日の問題を変える可能性があるか、変えない可能性があるかについてです。DeepSeekについて面白いのは、イベントの順序が全く意味をなさなかったことです。この分野にいた人々は、少なくとも2024年から上昇を観察していて、特に1月21日に公開され、市場の少しパニックなどを引き起こしたモデルの基盤であるV3が良くなり始めていることがわかっていました。
V3は2か月間公開されており、V3が真に印象的なものでした。なぜなら、GPT-4に近いレベルのモデルを訓練するコストを100分の1ではなく50分の1に削減したからです。そのため、市場が重要なイベントの2か月後に反応するという少し奇妙な側面がありました。
DeepSeek以前は、中国の研究所を少し死んだものと数えていたと思います。実際、DeepSeek以前は、中国の研究所はアメリカの研究所よりもはるかに劣っており、少なくとも公的にはアメリカの研究所と競争できるとは言われておらず、常に少なくとも1年、1年半遅れており、あまり革新していませんでした。
主に模倣を行っていました。R1と呼ばれるものなど、いくつかの革新がありましたが、中国の研究所から来て採用されるものはかなり少なく、DeepSeekが中国エコシステムのエミュレーションを作り出し、現在非常に印象的になり始めています。
現在、DeepSeekだけでなく、例えば最近目覚めたBaidenceもあり、かなり印象的なモデルを公開し始めています。AlibabaのQwenシリーズもあり、これもかなり良いです。そして、はい、中国についてのクリシェがあるようです。彼らは革新できない。彼らは優秀だが革新できない。そして、それはAIにおいておそらく偽りになるようで、非常に堅実に見えるエコシステムです。
DeepSeekの2つ目の大きな学習は、個人的にかなり興味深いのは、OpenAIやGoogle Brainで働いた人々によって設立されたり、実質的に貢献を受けたりすることなく、この分野の最高レベルと競争力のある規模に到達した最初のAI研究所だったことです。
Mistral、Anthropicを含め、文字通りフロンティアに近いすべての研究所を見ると、すべてOpenAIまたはGoogle Brainのいずれかの系譜を持っています。その理由は、深層学習は非常に経験的な科学だからです。
そのため、ポリテクニークを卒業しても非常に知的であっても、モデルを正確にどのように訓練するかを推測するのは困難です。そのため、どこかで手を慣らす必要があります。彼らは5、7年間手続き的知識を開発し、したがって克服できないように見える巨大な優位性を持っていました。
私にとって、これは例外的な研究環境があれば、研究所から来てこの知識を持つ人々を持たないことを補償できるという概念実証でした。これはヨーロッパにとって少し良いニュースです。なぜなら、ヨーロッパでは、GPUでOpenAIとGoogle Brainで手を慣らしたこの才能の本質は、アメリカ西海岸のベイエリアにあるからです。
人々をここに連れてくるのは困難です。そのため、ポリテクニクス出身者を良いAI研究者に変えるのは、行く必要なしに、私たちが以前考えていたよりも簡単かもしれないことを示唆しています。
トーマス、Metaでの内部からDeepSeekの登場をどのように経験したかを教えていただけますか？はい、いくつかの点がありますが、私は完全に同意するわけではありません。中国が追いついて今度は追い越しているという点について。
実際、現在まで、彼らのモデルはOpenAIやGoogle、さらにはxAIのものよりもはるかに劣っています。それはかなり印象的でしたが、中国は10年間既に論文あたりの引用数を示しており、中国は成長していました。おそらく彼らは加速し、追いついているでしょう。それは印象的でしたが、中国はまだ革新していません。
あなたによると、彼らはフロンティアにいませんか？いいえ。しかし、モデルはフロンティアではありません。現在、O3やGemini 2.5はDeepSeekのモデルよりもはるかに優れています。おそらく6か月後にはそれはもっと真実でなくなるでしょうが、彼らは車椅子で戦っています。なぜなら、計算能力が10倍少ないからです。
もし同じ計算能力があれば、おそらくフロンティアにいるでしょう。私はそう思います。明らかではありませんし、将来のことで、彼らはDeepMindやOpenAIから勝てません。彼らはGPUを持っていませんでした。
私は単に、政治的理由を含むさまざまな理由で、彼らがまだフロンティアにいないという事実を言っているだけです。特に、先ほど話していたように、Llama 3の論文でさまざまなエラーの数を報告しました。
インフラをスケールするとき、数学的に指数関数的に見え始めます。追加のGPUと小さなグラフィックカードがあるたびに、何らかの理由で一つが故障する確率（燃える、破壊される、古すぎるなど）が増加します。
そのため、10のうち一つが故障する場合はほとんどチャンスがありませんが、100万のうち一つの場合は非常にチャンスがあり、これらのモデルを訓練するためのインフラの観点からスケールでの問題を作ります。そのため、おそらく6か月後にはより良くなるでしょう。現在、彼らはフロンティアではありません。
また、Metaについても、パリにかなりいることについて戻りたいと思いますが、Googleも同様で、特にGeminiはロンドンとParis間で主に作られています。ヨーロッパにはこれについてかなりの才能があります。すべてがベイエリアにあるわけではありませんが、私にとってはそこに最も密度があります。確実です。
あなたの質問は、MetaがこのDeepSeekの到来をどのように経験したかでした。選択を確認したか、それとも全くそうでなかったか？はい、DeepSeekは以前のLlamaの作業に大いに基づいていました。その点で、はい。それは私たちも前進させます。なぜなら、私たちが行っていなかった、または考えていなかったことを彼らが行ったからです。
そのため、私たちはそれを利用し、それは素晴らしいです。それは私たちの研究を進歩させます。それは競合他社ですが、私たちはオープンソースなので、それは私たちに合っています。しかし、そこで私が戻ることができるのは、異なる立場があることです。
私はMetaの研究者として、可能な限りフロンティアのモデルを持つことです。それが私の仕事なので、それが私の観点です。そのため、私より良いモデルが出ると、それは私のエゴを傷つけます。しかし、企業としてのMetaの観点から、一日の終わりに、最高のオープンソースモデルであり、オープンソースモデルが最高であり、それを回収して最高の製品にできれば。
それがポイントです。Metaは現在モデルでビジネスを持っていません。製品で使用できます。私たちにとって、それは都合が良いです。先ほど、ビジネスモデルとなぜ人々がオープンソースを行うか行わないかについて質問がありました。理解すべき重要なことは、例えばOpenAIとAnthropicは、彼らのビジネスモデルはこれらのモデルを販売することだということです。
そのため、彼らはそこでマージンを最大化したいのです。そのため、高いマージンを設定できるように、それについて競争がないことを望みます。例えば、R1がO1よりも30倍安かったという事実は、彼らが狂ったマージンを持っていたことを示唆しています。
DeepSeekが効率性で多くの革新を行った可能性もありますが、90％または少なくとも5％のマージンであることも可能です。OpenAIとAnthropicの観点から、例えばDeepSeekは大災害です。なぜなら、彼らはマージンの大部分を失うからです。
Metaの観点から、彼らはFacebookなどで15億ユーザーを持っています。そのため、彼らの主要な問題は、この規模でできるだけ効率的で良いモデルをどのように展開するかです。そのため、Marc Zuckerbergがポッドキャストで説明していたのは、オープンソースが展開の効率性を10％向上させることができれば、推論を販売するよりもはるかに収益性が高いということです。
そのため、ビジネスモデルに応じて、GoogleもGemini 2.5 Flashなどの小さなモデルで優秀です。彼らは非常に大きなモデルで巨大なマージンを作るよりも、非常に小さなモデルで性能を最大化しようとします。
実際、先ほど話していたGPUクラスターのスケーリング、計算のスケーリング、巨大なクラスターに投資する国について戻ります。AGIの理由で、現在持っているものより多くの桁をスケールする必要はないと思います。非常に高価なモデルの訓練については既に必要なものがあると思います。
しかし、最近見た統計では（確認していませんが）、現在存在するすべてのGPUクラスターを使用すれば、それは大まかに1000万人の人間の知性の計算に相当するということでした。明日、皆が知的アシスタントから利益を得ると言うなら、私たちのニーズに対応するために必要なGPUの数という観点では、私たちは非常に遠いところにいます。
先ほど皆がAIを毎日使用していると言っていたのがわかります。より多く使用すればするほど、より高価になり、より長く考え、大きなモデルを持つほど、より多くのリソースが必要になり、良いのでより多く使用するほど、実際にはより多くのGPUが必要になります。
これらが推論モデルでなくなったとき、明日の真の戦いの焦点は、実際にこれらのモデルを規模でサービスするためのクラスターです。アシスタントについて先ほど話していました。今日Metaでエージェントについて働いているあなたに話したいと思います。これは少し包括的な用語です。
今日のAIでは、長い間モデルについてのみ話していたような印象があります。チャットボットについて話していました。今日、皆がエージェントについて話しています。なぜなら、初期のモデルとは少し異なるものを作成しているものに必然的に名前を付ける必要があるからです。今日、推論モデルもあります。
エージェントについて、あなたのエージェントとは何かについての概念を説明していただけますか？本当に建前なしで答えてください。それはエージェントなのか、それとも単にエージェントと呼ばれるモデルなのでしょうか？
それは、今日非常に流行しているツール、toolsにアクセスできるLLMで、オーケストレーションできるものです。産業、ビジネス、アプリケーションで人々がエージェントと呼ぶものと、研究の観点から私がエージェントと呼ぶものの間には違いがあると思います。これは訓練の観点からのパラダイム変化です。
直感を与えるかもしれません。これらの言語モデルを訓練する方法は、次の単語を予測することで、大まかにテキストで訓練されます。ツールへのアクセス、インターネットへのアクセス、コード実行を与える日に、これらの外部情報にアクセスできるように訓練し、これらの環境からフィードバックを取得し、そのフィードバックを回収して考え続けることができるところ。
そのため、コードを生成し、そこで停止して「良かった、悪くなかった」と言う代わりに、実行し、エラーを見ることができます。事実を考え、インターネットで検索し、「ああ、実際にはその事実ではなかった、間違っていた」と言って自己修正できます。
そして、このパラダイムを基本的なモデルの訓練に組み込むことが、私にとってパラダイム変化です。それで私がエージェントと呼ぶものです。そのため、ほとんどの人がエージェントと呼ぶものと概念的に非常に類似していますが、基本的なモデルをエージェントとして訓練することで大きな違いがあると思います。
良いニュースは、それが存在することです。エージェントは嘘ではありません。トーマスが訓練部分について説明しました。自己教師あり学習から強化学習に移行したエージェントです。使用側と外観については、LLMの主要なワークフローは、質問を聞いて何かを与え、コーディング時などどこかにコピーペーストすることでした。
エージェントのワークフローの理想は、OpenAIのCodexで遊んだことがあれば、もう少し1分から数時間持続するタスクを行うエンティティをマネージすることです。彼らは自律的にタスクを行い、間違いを犯しません。
これは、驚くほど自明でない聖杯です。依然として時々愚かなエラーを犯すという問題のためです。生物学、物理学、数学で博士レベルのモデルがあり、ポケモンをプレイする方法を知らないという魅力的な側面があります。非常に魅力的だと思います。
まだAGIにいないことを示すように、エージェントの問題について、私たちの出発点についての真の議論にも触れます。どこまで行けるか、リスクは何かについて。Agentにおける真の自律性と自己改善の問題について。今日どこにいるのでしょうか？
エージェントが独立性を取り、一人で決定し、おそらく悪意を持ち、完全に非整合になることを信じるべきでしょうか？そこにいるのでしょうか？それを恐れるべきでしょうか？
エージェントが去って学習し、異なって戻ってくる自律学習はありません。それは存在しません。それは来るでしょうし、特に次のフロンティアは記憶と継続的学習の概念になりますが、そこにはいません。
しかし、セキュリティの観点から真のリスクがあります。初めて、これらのエージェントは特にresearchのためにインターネットにアクセスできるようになったからです。おそらく見たことがあるでしょうが、非常に実用的で、それは依然として非常にresearchです。
これがread onlyと呼ばれるものです。基本的に、アクションは取られません。徐々にwriteアクション、つまり基本的にフォームにアクセスして記入し、インターネットでオブジェクトを購入し、他の人にメッセージを送る方向に進みます。そして、そこでセキュリティの概念が本当に重要になります。
これは多くの企業が既に発表したものです。OpenAIは旅行を予約するエージェントなどを発表しました。現在、クレジットカードを置くことはできません。その段階で停止し、それは現在安心できることです。暴走して一人で行くかどうかの問題について。実際、それは漸近的な真の問題です。
明日には起こりません。O3が狂ったエージェントに変わることはありません。しかし、現在、シリコンバレーで非常に顕著なイデオロギーがあり、MetaやGoogle以外の多くの企業、特にスタートアップは、人工超知能を開発することを目的としています。これは経済的観点から全ての人間を陳腐化させるものです。
この目的を達成するために、多くの人がAIでR&Dを自動化、つまり自分たちの仕事を自動化しようとします。最初にそれを大幅に達成できる人は、他の人に対して極めて重要な競争優位を作ることができるという考えです。なぜなら、計算能力を使用して他の人に対するリードを増加させることができるからです。
その最初のステップは、コードを自動化することです。これがAnthropicとOpenAIがコードの自動化に非常に集中している理由の一つです。そして、これらの企業のエンジニアの一部は、彼らのコードの80％がAIによって書かれていると既に報告しています。これが最初のステップです。
このステップでは、マシンは明らかに人間よりも強いです。まだより強いわけではありませんが、多くのことで代替するのに十分良いです。次に、2番目のステップはアイデアと仮説の生成を自動化しようとすることです。これはより複雑になります。なぜなら、コードでは、トーマスが先ほど話していたパラダイムに戻ると、何が良くて何が良くないかのかなり明確な信号があるからです。
そのため、それを成功させるために訓練するのは簡単です。研究では、信号がはるかに不明確です。典型的に、研究実験をテストするのに3か月かかります。3か月かかることがあり、そのため年に4つのフィードバックループがあります。モデルを訓練するのがはるかに困難です。
そのため、2番目のフロンティアは、研究に優れた、良い研究直感を持つモデルを訓練することです。実際、最初に暴走効果があり、企業がこのR&Dサイクルを自動化することで競争しているという事実です。
そのため、現在、AIがエンジニアの生産性を25％、おそらく50％向上させることは可能です。しかし、それが暴走するにつれ、AIがR&Dサイクルの大部分を自動化することがより良くなるにつれ、2倍、4倍、6倍、8倍、10倍を想像できます。
問題は、このサイクルでより前進するほど、進歩が非常に速く進むため、調整することがより困難になることです。2か月を逃すと、完全に取り残されます。例えば10倍は、GPTの良いものを持つことを意味します。
現在、AIでのGPT世代、GPT-2、GPT-3、GPT-4は、約2年ごとに10倍でした。申し訳ありません、2年ごとに世代でした。10倍は、2か月ごとを意味します。そのため、非常に非常に速く進むでしょう。
最初は心配ではありません。今いるところは、まだ心配ではありません。しかし、問題は、企業が自動化を開始し、競争効果があり、皆が落ち着くように調整することが困難になると、ガバナンスを行うことがますます複雑になることです。
そのため、かなり多くの人がそれについて心配しています。はい、実際にその漸近的なもの、3年後には自己改善などを行うAIがある可能性がありますが、現在は非常に遠いところにあります。これは段階的なプロセスです。遅すぎると調整が困難になるため、早期にガバナンスを行う必要があるプロセスです。
ガバナンスの問題について、どのようなことが起こるかわからないときに事前にそれを行うことは困難であることもよく感じます。3年後なのか10年後なのかわからないように、決定を下すのは困難です。今いるところからあまり遠くないスイートスポットがあると思います。
AIが特定のことに非常に有用であることがよくわかります。コードの自動化など、メカニズムを説明するのは簡単で、すべてを行うのに十分良く自律的ではありません。特に、エージェントの時間的地平線を評価するMetrという組織から最近発表された論文があります。
つまり、人間が例えば4時間でできるタスクを取った場合、AIは到達するでしょうか？人間が2時間、1時間、10分でできるタスクを取った場合、彼らは到達するでしょうか？実際、彼らはエージェントの時間的地平線が4から7か月ごとに2倍になることを観察しています。
そのため、現在私たちは10分またはおそらく30分にいて、潜在的に4か月後には1時間または2時間になり、その後数年で、エージェントは人間に1か月かかるタスクをできるようになります。
最後にオープンソースについて質問があります。お二人とも、研究者として、AIに取り組む人として、オープンソースとオープンソースの必要性があなたにとって何を意味するか？なぜなら、これらすべての企業が、プロプライエタリモデルかどうかに関係なく、今日オープンソースを利用していることがわかっているからです。
これらのモデルが大幅に改善されるのがわかります。研究では、研究者として、より先に行けるか？AIは私より先に行けるか？という真の問題を提起するでしょう。どのように物事を認識していますか？また、このテーマについてどのようなメッセージを伝えたいですか？
まだAIにすぐに置き換えられることを恐れていませんか？いえ、しかしそれは真の哲学的問題を提起します。これについて少し言葉を述べるかもしれませんが、あなたが説明することは少しサイエンスフィクションのように聞こえます。
多くの人があなたを聞いて「はい、そこにはいない」と言ったと思います。それは真実で、私もあなたを聞いて、全然そこにいないと思います。実際、基本原理から、どこにいるか、次の世代がどこになるか、そして実際にそれが予想よりもはるかに速くそこにいる可能性が高いかについて考えるとき。
それは、世界での、宇宙での人間の位置についての真の哲学的問題、私たちを独特にした知性の概念を提起します。すべてのレベルでより知的な自動知性がある世界での私たちの役割は何か？どのような問題を提起するか？それについて考える仕事があると思います。
おそらく愚かな質問かもしれません。しかし、今日あなたが取り組んでいるテーマについて、最も先進的なモデルに聞けば、あなたと同じアイデアを持つことができるでしょうか？もしそれが起こる場合、同じ直感、同じものをますます持つことができます。
はい。ますます、質問を適切に策定すれば、モデルに聞くと、モデルはコンテキストなどが不足しています。実際、記憶について何度も話しましたが、記憶は複数のスケールであります。数か月かかるタスクでは、始めからタスクを覚えるために記憶が必要です。
モデルが直感を与えるのに有用であるためには、問題について非常に多くのコンテキストを蓄積したので、すべてのコンテキストをプロンプトに転写するのに1日かかり、私はそれをしません。これも制限です。より前進するほど、徐々に私たちがすることを観察し、学び、実際に私たちのコンテキストで個人化されるアシスタントを持つでしょう。
アシスタントのように、その後コンシェルジュのように、その後本当に私たちが見るすべてを見、聞くすべてを聞く個人化された人のように。このコンテキストがエージェントをますます有用にし、ますます強くすることを可能にし、それは自然に来るでしょう。時間がかかりますが、同時にそれほど時間がかからないと思います。
全く同意です。私たちは少し人間とAIが単独のAIよりも良い時代の黄金時代にいると思います。パラドックスの一つは、私たちが少し怠惰なことです。例えば、4時間かかる問題を解決するようにChatGPTに求めるとき、5分間質問を投げかけます。1時間かけて説明します。
エージェント自体は、潜在的に私たちの10倍速く行動します。そのため、十分に有能になったらすぐに、彼らはその情報を求めに行くなどします。はい。そして、彼らは私たちよりも忍耐強いです。正確に。そのため、人間とAIの協力期間はそれほど長く続きませんでした。
トーマスが言ったように、その後に提起される多くの問題があり、興味深い哲学的問題もあれば、私たちの経済価値がゼロになるとき、どのように富を再分配するかという重要なより物質的な問題もあります。
それは資本を持つ人の資本が私たちの富のすべてを決定するのでしょうか？そのため、2世代後、「ああ、私は裕福だ。なぜなら、OpenAIで働いていた祖父がいて、その株が数兆ドルに価値があるようになったから」と言う人々がいることを望むのでしょうか。
それとも、現在は完全に労働に基づいているため、社会移動のメカニズムを依然として持ちたいのでしょうか？現在、労働後に生きる可能性がある世界で社会移動がもうないというのは、少し depressing な側面があります。逆に、すべての能力を持つ世界では。
はい、豊富さがあるがエレベーターがもうない世界で。それは複雑なものです。最後の質問です。これで議論を終了します。聞いてくださってありがとうございます。部屋で質問を受けることができるかわかりませんが、カクテルに降りる前に小さな15分があります。どうぞ。
そして、私がマイクマンをします。最初に手を挙げた人です。まず、拍手しましょう。大きな感謝。これはパリで最大のFieldの機会だったと思います。この種の議論を見ることができて嬉しいです。
私の質問は、議論の公平性を尊重するために少し二重です。今日、MetaはLlama 3で市場でいくつかの驚きを既に与えました。どこに限界を設定しますか？OpenAIがいくつかのモデルの能力について限界を持っていることがわかります。それを超えると訓練を停止するか、市場に出すのを停止します。
MetaはAGIをオープンソース化するでしょうか？最初の質問。そして2番目の質問は反対側で、OCDEでは明らかにリスクの非常に良いビジョンを持っており、オープンソースが現在のペースで続くシナリオを取って、あなたが特定したリスクで、例えば生物学的攻撃などに関するリスクリダクションフレームワークを既に構築し始めましたか？
オープンソースの暴走についての少し悲観的なシナリオから出発して、それを準備するために何をしていますか？
建前なしに答えるために、私の答えは、もしそれが私の決定であれば、AGIを達成したときにオープンソース化するでしょう。私は決定者ではないでしょう。私がFacebookのボスになることはありません。Mark Zuckerbergは公的にそれをオープンソース化することに賛成だと言ったと思います。
しかし、これらは時間とともに変わる可能性があります。しかし、限界は書かれていません。いずれにせよ、書かれた限界はありません。まず最初に言いたいことがあります。私が話すとき、私の機関を代表しているわけではありません。Safer AIエキスパートネットワークから話しており、これはAIリスクの管理における組織です。
生物学的リスクについてフレームワークを持っているか？はい、いいえです。生物学的リスクモデルは、生物学的に言えば、定性的にかなりよく理解されています。そのため、生物兵器を構築するために必要なステップと、どのような種類の行為者が生物兵器を構築する可能性があるかを非常によく理解しています。
次のステップであるモデルで私たちが取り組んでいるのは、それを少し定量化することを可能にする方法論を持つことです。リフトと呼ばれるものを推定することです。つまり、AIがない世界でのデフォルトのリスクレベルと比較して、AIがそれをどの程度増加させるかです。
私の直感、印象は、特に既に生物兵器を構築しようとした2つの狂気のグループのレポートを読むと、これまでの生物兵器構築の制限はかなり偶然的だったということです。彼らは繁殖させようとしている細菌の特性を知らず、そのため繁殖させようとしたときに機能しませんでした。増幅と呼ばれるものです。
そのため、リフト、つまり基本リスクの乗数は既にかなり重要だという印象があります。そのため、それは既に基準の3倍または4倍の可能性があると思います。基準の後はかなり低いです。おそらく年間1％の生物兵器リスクまたはそのようなもので、世紀に1つまたはそのようなものになります。
リストは非常に重要になる可能性があると思います。私の不幸の中で私を安心させるのは、トーマスと議論したように、3、4年でAGIに到達する可能性があることです。そのため、この基準リスクにいる期間が3年だけであれば、これらの技術で到来するリスクと利益によって圧倒されるでしょう。
AGI、汎用人工知能のようなものに到達したときに到来するリスクについて、それらははるかに深刻だと思います。先ほどトーマスが絶滅リスクについて話していました。現在、O3が絶滅を引き起こす可能性があるという疑問は全くありません。しかし、AGIにいるときには、人間がコントロールを保持し続けるかどうかについて少し不確実性があります。
残念ながら説明する時間がありませんが、なぜ人間が漸近的に絶滅に導かれる可能性があるかについての直感は、鳥をどのように扱うかを考えてみることです。私たちは鳥をとても愛しています。個人的に「鳥が好きですか？」と聞かれれば、誰も「いいえ」とは言わないでしょう。
それでも、1960年以降、鳥の種の40％を絶滅させました。なぜでしょうか？なぜなら、私たちは鳥よりも建物をもっと愛しているからです。そのため、建物を建設し、副作用として鳥が死んでいます。
実際に、人間が影響力を失い、中期的に絶滅に導かれる可能性についての直感は、AIを私たちの価値観と正確に整合させておらず、ある時点で人類の生存よりも何かを価値あると考えることです。例えば、人間の都市に巨大なデータセンターを建設するようなことです。
これが3分での話です。他の質問はありますか？はい。シメオンがAGI、ASIと言うとき、AGIは汎用人工知能、ASIは人工超知能で、人間の認知能力を大幅に超えるシステムです。
しばしばこの二つをパッケージにします。多くの質問があります。お疲れ様でした。とても興味深く、同時に恐ろしいプレゼンテーションをありがとうございました。質問があります。理解が正しければ、容量制限について触れていました。私は全く科学者ではありません。
最近、中国のコンソーシアム、特にZhejiang大学とAlibabaに依存するか、この領域にあるべきAdaの研究室による軌道上のデータセンターに組み込まれたAIについての記事を読みました。それは容量を絶対的に指数関数的に増加させ、太陽放射による電力供給によりエネルギー問題を部分的に解決することを可能にするようでした。
これは、地球上でのデータセンターの乗数について言っていたことを見直すことができるものでしょうか？それとも、この情報をどのように評価すべきかわからないものでしょうか？
実際、このニュースは聞いていません。この正確なニュースは知りません。それでも答えようとします。しかし、私の直感では、おそらくそうではありません。これらの大きなデータセンターのbuildoutについて話している桁数は本当に非常に大きいものです。
例えば、OpenAIによって大々的に発表されたStargateですが、他の企業はより控えめに行っています。しかし、大まかに言って、すべての主要なAI企業が自分たちのStargateを行っています。これは1GW、1から5GWの電力で、100万GPU、です。
あなたがそのサイトを見れば、最初のサイトにすぎませんが、おそらく100から1000のスタジアム規模でしょう。これは、これまでに建設したあらゆるものと同じくらい大きな本当に巨大なインフラです。
そのため、宇宙でそれができるとは非常に驚きます。なぜなら、宇宙では何かを軌道に置くことさえ困難で、ロケットが非常に高価で、非常にコストがかかるなどです。私の直感では、それは不可能で、返ってこれらのニーズが非常に大きいため、エネルギー転換を加速する可能性があります。それを行うために豊富なエネルギーを見つける必要があるからです。
例えば、Sam Altmanは核融合企業の株主でもあります。より根本的な質問です。行きましょう。最後です、申し訳ありません。はい。州や政府の役割についてあまり話していません。負の政府を除いて、適切な用語ではありませんが。
今日、例えばヨーロッパのAI Actや中国の実際の規制について多くの話があります。これらのリスクに関して、規制が効果を持つことができると思いますか、それとも生物学でも行ったように推定することで自分たちを欺いているのでしょうか？
私は生化学者で生物学者でもあるので、これは私にとって興味深い分野です。倫理的ルールを設置しようとしたことがありますが、それが溢れ出し、あらゆることを行うことができるのがわかります。ウイルスを作成し、それを示すなど。
AI についても、この潜在的な拡散、人間の追い越し、私たちが触れるすべてのリスクについて、規制を設置することは有用かどうか、それとも間違っているのでしょうか？
この問題についての小さな答えのヒントを与えるために、AI Actについて、機関が抱える最初の問題の一つは、合意の署名時に、技術の一部が既に大幅に進化しているため、物事がほぼ既に時代遅れになっていることです。
AI Actのテキストで既に時代遅れのものがあることがよくわかります。これは現在、このテキストを詳細に作成するのに苦労している欧州委員会が抱える問題の一つです。定義が複雑で常に進化しているからです。
私にとって、政府はこの開発に事実上関与しています。1から5GWのデータセンターbuildoutや1000億の投資について話すとき、政府と話すことなしにそれを行うことは困難です。例えば、1GWの利用可能な電力を見つけることが困難だからです。
そのため、現在、政府は非常に関与しています。米国と中国側で、このデータセンター開発を支援するために。規制の問題について、私はそれが不可欠だと思います。大まかに言って、私たちが必要とする機能は、これらの企業を調整する何かです。
なぜなら、現在、LLMの分野は、これまで見た中で最も激しい競争の分野の一つだからです。1年間間違いを犯し、少し劣るようになった企業は、完全に置き去りにされます。もう誰も彼らのモデルを使用しません。
次の資金調達ラウンドを調達することが非常に困難になり、10倍大きな新しいデータセンターを建設するなどです。そのため、本当に本当に非常に競争的です。実際、競争があまりにも激しいため、方向転換するスタートアップの例もあります。
全く。すべてのスタートアップが次々と死んでいます。Adept、Inflection、Characterと呼ばれるスタートアップの大量発生があり、ある時点で10億または20億を調達しましたが、昨年ほぼすべて死にました。
そのため、私にとって調整機能が必要で、それを必要とするのは政府または複数の政府だと思います。なぜなら、問題はこの競争が複数のレベルで行われているからです。企業間競争があり、一つの政府だけでそれを解決しようとすることができます。
それは例えばAI Actのようなものです。問題は、その後国家間競争があり、ヨーロッパだけが「みんな、物事を適切に行おうとしよう」と言う効果が生まれ始める可能性があることです。他の国が利点を取り、そのためすべてに共通の最小基準を持つために政府間合意も必要です。
規制裁定効果を避けるため、少し責任の低い方法で物事を開発したい企業が、規制されていない国に行くことを防ぐためです。私の観点から、政府はそれが私たちの主要なチャンスです。
政府による介入の勾配があると思います。米国の共和党政権下でも実行可能だと思う最小限の介入は、透明性の介入です。Metaを除いて、これらのAIの開発は多くの側面で非常に透明性に欠けています。
一つは、モデル自体を理解していないからです。モデルを開発している人でさえ、従来のコードのように開発するのではなく、成長させるため、モデルが正確にどのように機能するかを理解していません。
なぜなら、絶対に巨大なデータで訓練するため、そのデータで多くのことを行うことができるからです。これらのモデルをイデオロギー的に軽く偏向させるデータを入れることができるなどです。xAIで最近聞いたかもしれませんが、xAIの従業員の一人の心に近いテーマについて話すようにGrokのプロンプトにXが入れたように、はるかに微妙でない方法で行うこともできます。
これらすべての要素について透明性を持つことは、公衆が何が起こっているかを少し知る能力、これらのモデルを信頼し、反応を見る能力を大幅に向上させることができます。
おそらく今後数か月、おそらく1年で経験する転換の一つは、より知的なモデルを持つためにより多くの計算能力を費やすことができるようになることです。トーマスが触れた新しいパラダイムにより、数分、10分間、おそらく近いうちに数時間推論するモデルを使用して、質問をよりよく解決することができます。
これが意味することは、1回の推論に100ドル、1000ドル、10000ドルを使用することが潜在的に関連するようになるということです。皆がChatGPTと話す代わりに、ChatGPTに「がんを解決して」のような非常に困難な質問をします。もちろん、それは長い間の話ですが、その後長時間推論し、それは企業に影響を与えます。
企業がますます最高のモデルを展開しない可能性がかなり高いということです。特に研究開発とコードを加速するために内部で使用します。最高のモデルを使用し、蒸留されたモデルを本番環境で展開します。つまり、少し有能ではないが、はるかに経済的で、大規模展開がはるかに容易です。
これが意味することは、先ほど話したAIの能力の潜在的な爆発について、自動化が始まり、政府がAI開発研究所で何が起こっているかについて可視性を持たない場合、この爆発は外部から大幅に気付かれない可能性があるということです。
私たち一般市民は、少し良いモデル、機能するエージェントなどにアクセスできる可能性がありますが、内部では科学、R&Dなどができるモデルがある可能性があります。
例えば、AlphaFoldです。Googleは1年間それを使用しました。これはTransformerベースの最初のモデルの一つで、かなり広範囲の科学問題で進歩を可能にし、Googleは1年間さまざまなことにそれを使用しています。GoogleはそれをGraciously共有しますが、開放する予定ですが、将来的に一部は共有しない可能性があります。
政府が知らない場合、実際にいる場所と政府が考えている場所の間に巨大な格差がある可能性があり、したがって規制レベルとモデルの実際の能力レベルの間にミスマッチがある可能性があります。
おそらく、Googleがそれを明かすなら、現在回っているもっと良いものを持っていて、適切な小さな革新を行った後、1年後に明かすからかもしれません。Cについても答えたかったですか？結構です。最後の質問をして、その後カクテルに行きましょう。
左右に行きます。すべてにありがとうございました。これは、政府が有能で透明であることを意味します。だからあまり安心できません。AGIよりも難しいかもしれません。
お二人とも、本当に最前線で行われていることの前線にいます。だから本当に物事を見ています。私の少し哲学的な質問は、お二人それぞれ、あなたが行っていることで理解した最も狂っていて、最も深く、おそらく最も精神的に進歩した2つのことで、ここで既に言っていないものは何ですか？これが最後の質問です。頑張って、皆さん。
最初の点を言って、その後時間の間に2番目を言います。最初の点は、それほど基本的ではありませんが、シリコンバレーでこれらのAIを開発している人々と話すとき、何の心配もなく、うまくいくと100％楽観的に考えている人は非常に少ないということです。
PIDoom、つまりAIが人類を絶滅させる確率という概念は、少しミームになり、皆が自分の立場を取ろうとしますが、少なくとも1％を置かない研究者は非常に少ないです。10％などを置く研究者はかなりいて、開発していることについてストレスを感じていない、または少し不確実でない人は非常に少ないです。
これは少し魅力的な側面です。なぜなら、はい、それは皆が認識しています。実際、その後、絶滅させる可能性があると思うなら、なぜそれを開発するのかと尋ねると、はい、この調整問題を感じるという側面があります。いや、でも私がしなくても、とにかくOpenAIがそれを行う、Sam Altmanは悪い、私たちがする方が良い、という小さな個人間の物語があります。
なぜ私たちが責任を負うべきなのか、アメリカではなく中国、中国人は悪いです。そして、誰も責任を負っていないという所有者の側面があります。それは起こっている、進行中で、皆が認識し、皆がその中にいて、リスクがあることを認識していますが、それでもリスクを管理しようとするためにほとんど何も起こっていません。
答えるために、私たちが夢遊病と呼ぶ言葉があります。皆がそれが来るのを見たが、とにかく衝突するだろうという印象があります。いえ、私は少し楽観的です。しかし、最も知的な答えがあるかわかりません。それについて多くは考えていません。
考えていた2つのことがあります。最初は、人間として指数関数的概念を非常に悪く習得していることです。実際、先ほど話していたように、サイエンスフィクションとして説明していることが実際に到来している可能性があり、30年後ではなく、おそらく5年後です。それは目まいがするもので、それが何を意味するかを全く内在化していません。
同時に、それは私たちの日常にあります。ChatGPT、O3、エージェント、皆がそれを使用し、ほぼ普通に見えます。以前の世界はもう存在しません。そのため、私たちが説明するサイエンスフィクション、目まいがする世界への魅力的な側面があり、同時にそこに向かって歩いており、それが日々少しずつ普通に見えています。
これがどのように到来するかの観点として、かなり興味深いです。もう一つの点は、知性を自動化する、私たち自身が作成したすべての人間よりも知的な知性を持つことが何を意味するかです。そして、その瞬間の後の人類と世界について何を意味するかです。これは私がますます自問し始めている質問です。
より楽観的な調子で終わるための私の2番目の点に同意します。それはトーマスの点と少し似ています。これらのモデルの魅力的な性格です。私たちの電話にこの異星人の知性があることが信じられないと思います。
これらのモデルの各重みは、どの人間よりも多くの知性を持っています。申し訳ありません、知性ではなく知識です。どの人間よりも多くの知識を持っています。技術的に、私たちは現在停止し、モデルの社会学や心理学という新しい分野を作ることができます。
彼らは信じられない側面があまりに多いです。一つの側面は、例えば、モデルは三目並べをプレイしていません。彼らは物理学で博士号を持っており、三目並べの仕方を知りません。信じられないです。
もう一つの側面は、優しいチャットボットモデルなどになるように調整される前のモデルです。これらは、インターネットで見たあらゆるものをモデル化するように訓練された奇妙な知性です。GPT-3で遊んだ人は、それにもっと似ていました。
含意の一つは、最も可能性の高い方法で文の連続を続けるための非常に良い直感を持っていることです。これが意味することは、例えば、人間の行動、心理学を非常によくモデル化できることです。
例えば、「私の名前はJohn、私は共和党員です」と言えば、典型的に共和党員に関連するすべてのことを言うでしょう。それは非常に魅力的だと思います。人間を理解するためでさえ、多くを学ぶことができるという印象があります。
論文では、既知の社会学的結果に対応するさまざまなペルソナを与えてGPT-4に質問し、GPT-4が95％の古典的社会学結果に従って答えることを示しました。共和党員がどのように答えるか、民主党員がどのように答えるかなど。
そのため、これらのモデルについて時々好奇心が足りないと思います。非常に魅力的で、一日中叩ける地球上で唯一の知性であり、見返りに私たちを叩きません。友人に対して実験することはできません。これらの非常に魅力的な知性で多くのことを行うことができます。
この言葉で止めましょう。お三方の存在、魅力的で深く、専門的な洞察について再び感謝します。必要なすべてがありました。私にとって、再び非常に利己的に、多くのことを学び、私には非常に適していました。
群衆のおかげで、群衆の利点は拍手できることです。そのため、再度彼らを拍手することを提案します。
コメント