知識の未来について　サー・デミス・ハサビス

AI研究の巨匠デミス・ハサビスが高等研究所で行った講演の翻訳である。本講演は人工知能の現在と未来について、ゲーム理論から科学的発見、そして人類の存続に至るまでの広範な議論を展開している。ハサビスは自身の経歴を振り返りながら、チェスから始まってコンピュータゲーム、そして最終的にDeepMindの創設に至った道筋を説明し、AlphaGoやAlphaFoldといった画期的な成果について語る。特に注目すべきは、自然界のパターンを古典的学習アルゴリズムで効率的に発見・モデル化できるという独自の予想を提示している点である。また、AGI（汎用人工知能）の実現に向けた展望と、それに伴う技術的・社会的リスクについても深く考察している。

私はデイビッド・ナーンバーグです。高等研究所のレオン・レヴィ教授であり所長を務めております。本日は、人類の過去、現在、そして未来における芸術と科学の位置と実践について議論する所長対話シリーズの最新回にご招待いただき、ありがとうございます。これまでこのシリーズでは、伝記、大学、オペラ、博物館、ダンス、そして哲学について議論してきました。

これらの対話では、人間の発見の重要な形がどのように出現し、持続し、変化するかに焦点を当ててきました。部分的には、研究所独自の発見の形とそれが未来に提供できるものをよりよく理解するためです。本日の対話は、まだ今のところは人間による発見の形についてです。

これは笑いを誘う表現ですが、人工知能、機械学習という名前自体が、そのカテゴリーを破ろうとしていることを示しています。私たちの疑問は、計算の力とは何か？それらはどのように機能するのか？どのような機会と危険をもたらすのか？人間の知識、そして実際に人類をどのように変革するのか？といったものです。これらが、私たちの著名なゲストであるサー・デミス・ハサビスに答えていただくことを期待している質問の一部、つまり簡単な部分です。

研究所とその教員は、これらの疑問についてほぼ一世紀にわたって考え続けてきました。ジョン・フォン・ノイマンがここで構築した先駆的なプログラム可能コンピュータは、フォン・ノイマン・アーキテクチャを21世紀まで続く計算操作の標準として確立しました。彼にとってそれは、同じく彼が貢献した原子爆弾や水素爆弾と同じくらい変革的に見えました。ロスアラモスでの爆弾の仕事から帰宅した後、妻クラリに言ったのは、これは引用ですが、「フォン・ノイマンの声と私の声、またはオッペンハイマーの声と私の声は通常区別できるものですが、私たちが今作り出しているものは、歴史が残されている限り、歴史を変えるであろう影響力を持つ怪物です」。

その後、彼は当時構想していた計算機械の話題に変わり、クラリの伝記によると、さらに興奮状態になりました。人々が自分たちの創造するものに追いつけなければ災難が訪れると予見していたのです。彼女は彼を落ち着かせるために睡眠薬を一握りとウイスキーを2杯与えなければなりませんでした。

クリストファー・ノーランの映画でご存知のように、1947年から1966年まで研究所の所長を務めたロバート・オッペンハイマーは、フォン・ノイマンの興奮状態と、酒への愛好も共有していました。マティーニを好んでいた彼は、「国家や世界の安全は、科学的・技術的優秀性のみ、あるいは主としてそれに依存することはできず、倫理、価値観、政治的・社会的組織の形態、感情、情動への注意も必要である」と信じていました。

彼は研究所を、これらの多様な発見と思考の形が接触し、今日の私たちと同様に人類を保護することを目標とする場所にしようとしました。彼の努力の一環として招いた人々のリストは、全分野にわたって驚異的です。もちろん物理学もありましたが、詩、政治、心理学もありました。これらはPで始まるもので、まだ一部に過ぎません。

これらの分野すべてが今日の研究所に存在するわけではありません。例えば、フルタイムの詩人はいないと思いますが、現在の教員は、思考と人類の可能性の探求において、異なる方法論を活用するという任務に等しく献身しています。

これらすべてが意味するのは、オッペンハイマー、フォン・ノイマン、そしてすべての研究所の同僚たちが、今晩ここに立ち会ってサー・デミス・ハサビスの話を聞くことを強く望んでいたであろうということです。彼はGoogle DeepMindのCEO兼共同創設者、2024年ノーベル化学賞受賞者、そして人間の知識の歴史において最も重要な技術的変革の一つとなる可能性があるものの指導者であるだけでなく、それらの変革が人類に与える結果に注意を払う必要性を雄弁に告知する学者でもあります。

サー・デミスの業績リストに飛び込むのは躊躇われます。子供時代のチェスでの驚異的な成果から、ティーンエイジャーとして1990年代で最も人気があり影響力のあったコンピュータシミュレーションゲームの一つ「テーマパーク」の共同制作、記憶と想像の神経科学における影響力のある博士論文、2010年のDeepMind創設まで、「知能の問題」を解決し、それを解決することで「他のすべてを解決する」ことを意図していました。

DeepMindの人工知能における画期的成果は正当に有名です。その中には、囲碁の世界チャンピオンを破った最初のプログラムAlphaGo、50年間の偉大な挑戦であったタンパク質構造予測を解決したAlphaFold、そして最近の薬物発見を推進する姉妹会社Isomorphic Labsの立ち上げに影響を与えたものがあります。

しかし、これ以上は続けません。業績のリストがあまりにも長いからだけでなく（簡単な概要はプログラムをご覧ください）、サー・デミスの経歴があまりにも驚異的で、続ければ私をフィクション作家や虚言者と間違える可能性があるからです。実際、作家ベンジャミン・ラバトゥトは既にそのようなフィクションを制作しています。

彼の最近の小説『The Maniac』は、ジョン・フォン・ノイマンとその思想のフィクション伝記で、それらの思想が世界をどのように殺戮したかを探求しています。『The Maniac』は、「Brainchild」と題されたサー・デミスのフィクション伝記（だと思います。サー・デミスに聞いてみましょう）とAlphaGoの説明で締めくくられ、そのプログラムの力を人類にとって恐ろしいゲームオーバーとして描いています。

それでは、これ以上前置きなしに、サー・デミス・ハサビスを研究所のステージにお迎えしましょう。

最も人間的な話題、あなたの経歴から始めさせていただきたいと思います。いくつかの場所で読んだのですが、人工知能への移行は、13歳のときにヨーロッパチェス選手権から走って出てきて「ゼロサムゲームは単純すぎる。私は知能について働きたい」と考えたエピファニーから始まったと。これは本当でしょうか？あなたの経歴全体のアークを教えていただけませんか？

まず、デイビッド、その素晴らしい紹介をありがとうございます。ここにいられることは素晴らしいことです。ここは私が時間を過ごすのに世界で最も好きな場所の一つです。多くの理由でユニークな場所だと思います。後で議論するかもしれませんが、IASの学際的性質を愛していますし、それは世界で重要な役割を果たしていると思います。もちろん、その歴史はとても刺激的で、敷地を歩き回るだけでそれを感じることができます。ここに戻って来られて素晴らしいです。

私がAIを始めたきっかけについてですが、実際に私にとってそれはゲームから本当に始まりました。フォン・ノイマンのような、ここの多くの伝説的人物たちと同様に、チェスから始まりました。

4歳のときにチェスを始めて、非常に真剣に取り組み、プロのチェスプレイヤーになるつもりでした。しかし、本当に私に思考のプロセスについて考えさせるきっかけになりました。子供の頃、イングランドのジュニアチームなどでプレイして、自分の思考プロセス、自分の意思決定を改善しようとするとき、少なくとも私は、それらの思考プロセスに何が含まれているかを検討し、それに魅了されるようになりました。

その後すぐに、8歳頃から、最初のチェスコンピュータが登場し始めました。イングランドチームとの訓練キャンプに行くとき、彼らはこれらのチェスコンピュータを取り出していました。覚えているでしょうが、これは80年代のことです。それらは物理的なチェス盤で、LED のスクエアを押し下げて、それがピースを動かす方法でした。

もちろん、私と他のチームメンバーは、チェスのオープニングやその他のことについて訓練することになっていました。しかし、この無生物のプラスチックの塊を、誰かがこの非常に高いレベルでチェスをするようにプログラムしたという考えに、私ははるかに魅力を感じていたことを明確に覚えています。そして、実際に私が勉強することになっていたチェスよりも、それをより興味深く感じました。そしてそれを魅力的に思いました。

そして、いくつかのチェストーナメントでの初期の賞金で、英国で最初の家庭用コンピュータを購入しました。大きな家庭用コンピュータ趣味ブームがありました。それはZX SpectrumでしたそしてCommodore Amigaでした。それが私がプログラミングを始めたときでした。

そして本当に、コンピュータとゲームへの愛が一緒になりました。おっしゃるように、私の最初の専門的キャリアはコンピュータゲームの設計とプログラミングでしたが、テーマパークのように私が作ったすべてのゲームは、AIをコアゲームプレイコンポーネントとして持っていました。

それらは通常、プレイヤーのプレイ方法に反応しなければならない知的キャラクターを持つシミュレーションゲームでした。そのため、私が取り組んだゲームの一部が非常に成功したのは、すべてのプレイヤーがゲームと個別の体験、異なる体験を持ったからです。なぜなら、ゲームがあなたのプレイ方法に適応したからです。

もちろん、これは90年代のことなので、非常に初歩的なAIでしたが、もしそれをスケールアップして、今日見ているレベルまで到達させることができれば、AIがどれほど強力になるかを私にすでに確信させていました。それがどれほど素晴らしいツールで技術になるかは、私が10代前半の頃には既に明らかでした。

あなたはゲームを経歴から流れ出るものとして提示しました。子供の頃から始まったなどと言って、ジョン・フォン・ノイマンのような人々も、彼らの思考についての思考の中心にゲームを置いていたという事実を指摘しました。彼の初期の論文「パーラーゲーム理論」だけでなく、ここでオスカー・モルゲンシュテルンと書いた有名な「ゲーム理論と経済行動」でも、ゲームへの特定のアプローチを使用して人間の行動をモデル化しました。

13歳で放棄したというエピファニーによると、ゼロサムゲームのようなこれらの種類のゲームについて、それらを思考についての良いテストケースにするものは何でしょうか？

実際、AIとゲームの歴史は最初から絡み合っていたと思います。フォン・ノイマン、クロード・シャノン、チューリングなど、この場所を通った創設者たちと言えるような人々も、皆実際にチェスコンピュータを書くことを試みました。もちろん非常に初歩的なものでしたが、非常に有名なのは、チューリングがプログラムを書いたことですが、当時彼のプログラムを実行できるコンピュータがなかったので、彼は自分の心でそれを実行しなければなりませんでした。ゲームをプレイするのに2日ほどかかったと思います。

その理由は、ゲームは人生の興味深い部分のミクロコスモスのようなものだからだと思います。それが私たち人間の設計者がそれらのゲームを設計した理由であり、私たちがチェス、囲碁、ポーカーのようなものに魅了される理由です。それらは人生のある側面を非常に便利な形でカプセル化しています。便利で楽しく、挑戦的だと言えるでしょう。

私たちはこれらすべての理由でこれらのゲームを設計し、これらのゲームをプレイします。しかし、それらがAI開発に本当に適している理由でもあります。なぜなら、それらは人間の思考のミクロコスモスであり、私たちの文化について何かを表しているからです。

私の好きな本の一つは『ホモ・ルーデンス』です。それは実際に、ある意味で私たちはゲームをプレイする動物であるという考えについて論じています。それが私たちがすることです。ツール作りとゲームプレイは、社会と人間が持つ特性の2つです。

とても基本的なことだと思います。そして私はすべてのゲームを愛しています。チェスから始めて、最終的に多くのゲームをプレイするようになりました。実際に、言語と同じように、文化の核心に到達する別の方法だと思うからです。

囲碁に関して言えば、それは日本、中国、韓国でプレイされています。アジアでは、それは西洋でチェスが占めるエシェロンを占めています。そして、文化が物事について本当に何を考えているかを深く知ることができます。戦略、戦争についての考え方のすべてが、これらのゲームのルールに体現されています。

したがって、AIがそれを構築しようとするのは魅力的なことです。そして私たちがDeepMindの開始時にそれを使用したもう一つの理由は、システムが自分自身と対戦して、効果的に多くの合成データを生成できるため、必要なだけデータを生成できることです。それから学習することができます。

また、非常に明確なメトリクス、勝利条件、スコアの最大化があります。それはAIの観点から最適化するのにも非常に有用です。

私は中世史家です。『ホモ・ルーデンス』の著者ホイジンガは中世学者で、ここでAIについての対話でなぜか中世についての本が出てきました。しかし、『ホモ・ルーデンス』は多くの異なる種類のゲームがあることを指摘しています。ゼロサムゲーム、競争ゲーム、勝者総取りがあります。また、想像ゲーム、シャレードのような単なる想像ゲームもあります。

ゼロサムゲームと、より規則に統制された創造性ゲームが、AIの初期の成功にとって非常に有用だった理由があると想像します。シャレードはより困難な挑戦でしょうか？そしてもしそうであるなら、それは人間の思考と、コンピュータ思考、人間思考の関係について何を教えてくれるでしょうか？

ゼロサムゲームがAI開発の初期段階でより有用だった唯一の理由は、メトリクスがオープンエンドゲームや協力ゲームよりも明確だからです。勝利条件やこれらの種類のことを指定するのは、通常ゼロサムゲームの方が簡単です。

もう一つの大きな区別は、チェスのような完全情報ゲーム対ポーカーのような隠れた情報で、これはより困難です。もちろん、現実世界はポーカーにより似ています。それは隠れた情報であり、それらの幅広いゲームセットに一般化しなければならないと思います。この時点で、確実にあらゆる2人用完全情報ゲームをプレイできますが、実際にはそれより広く、ポーカーにも良いプログラムがあり、これらのより挑戦的なゲームもあります。

シャレードやその他のことを言うとき、もちろん、システムは世界の物理学と視覚を理解し、マルチモーダルになる必要があります。実際に、私たちが今日構築するシステムの種類、つまりGeminiと呼ばれる最新の基盤モデルは、最初からマルチモーダルに構築されました。

つまり、テキストや数学やコードを扱うだけでなく、ビデオや画像も扱い、ビデオで起こっていることについての直感的な物理学のようなものを理解できるということです。実際に、私たちの最新システムの一部、Project Astraと呼ぶプロトタイプシステムでは、シャレードのようなものにかなり良くなることができると思います。

あなたが取り組む問題をどのように選ぶかについて一連の質問をしたいと思います。これは非常に印象的だからです。あなたは非常に異なる問題を選択し、異なる種類の問題にわたって非常に成功を収めています。そして今、その答えの一部を与えたと思います。それは明確なベンチマーク、明確なベンチマークが重要だということです。

しかし、AlphaGoがイ・セドルをソウルで破ったその日に、ほぼ即座にAlphaFold用に生物学者を雇い始めました。では、その問題を焦点を当てることに決めた特徴は何だったのか教えていただけますか？

ゲームは決してそれ自体が目的ではありませんでした。それは手段でした。私たちは、あなたが読み上げたDeepMindの元のミッション・ステートメントのように、一般化できてから、実際に重要な現実世界の挑戦的な問題を解決するのに役立つ一般的学習システムを構築したかったのです。

ゲームは、そのような一般的アルゴリズムを開発するための入り口のようなものでした。しかし、私たちはゲームで良いだけでなく、実際に一般化できると思われるアルゴリズムの開発にのみ興味がありました。チェスで勝つだけのためにDeep Blueのような専門システムを構築しても意味がありませんでした。なぜなら、それは他の何にも一般化できなかったからです。

そして「他の何でも」の部分で私が念頭に置いていたのは、具体的には科学、科学、医学、数学、これらのAIシステムで人間の知識を進歩させることでした。

子供時代を振り返ると、ゲームへの執着と専門訓練、そしてコンピュータへの愛以外に、私が魅了されていたもう一つのことはすべての最大の疑問でした。

SFだけでなく、偉大な科学者の伝記や彼らについての本も貪欲に読みました。リチャード・ファインマンは私の永遠のヒーローの一人でした。最大の疑問に魅力を感じ、もしかすると取り憑かれていたと言えるかもしれません。明らかに、現実の性質、意識の性質、物理学の統一理論のようなものです。

物理学は学校で私の好きな科目でしたが、ファインマンやスティーブン・ワインバーグの『最終理論の夢』のような偉人を読んでいるとき、私はおそらくそれらの本から反対のインスピレーションを受けました。それは、研究所と関係のある多くの人々によって、40年代、50年代、60年代などに途方もない進歩がなされていたが、実際に80年代、90年代後半を見ると、この統一理論に向けてどれほど進歩していたのだろうかということでした。聴衆の人々は私に反対するかもしれませんが、実際に私はスティーブン・ワインバーグの本を読んで、世紀前半の素晴らしい仕事に比べて、私たちがそれをしていなかった、少し失望していたと感じました。

そして、なぜそうなのかを考えていました。そして、たとえあなたが非常に幸運で、一生懸命勉強し、リチャード・ファインマンや彼の天才のような人になれるような種類のことができるとしても、それでも私たちが知らない、またはそれらの種類の心がそれに取り組んでも知ることができないほど多くのことがまだありました。

だから、私たちと世界最高の科学者が発見をするのを助けることができるツールを構築する方が良い選択肢かもしれないと思いました。

そして私にとって、これについて考え始めたとき、私は13、14歳だったと思いますが、偉大な物理学者や数学者が何世紀もの間考えてきたこれらすべての大きな疑問に向けて最も速い進歩を遂げる最良の方法になるかもしれないことは明らかでした。

さらに、知的人工物の構築それ自体が魅力的な話題であり、それ自体魅力的な知的追求です。知能を機械に蒸留し、それを人間の心の働きと意識の性質という別の大きな謎と比較することです。

私が明らかに神経科学とコンピュータサイエンスの学位を取得したことですが、知的人工物を構築し、それを科学的方法で分解し、人間の脳と比較することは、人間の心について何が特別であるか、そうでないかについて多くのことを教えてくれるであろうと常に感じていました。

少し政治的かもしれませんが質問があります。AlphaFoldは、タンパク質構造データバンクの約10万の既知構造を訓練セットとして使用しました。これらの既知構造は、基本的に多くの大学院生による一タンパク質一論文で決定され、その後、主に大規模な公的投資によって資金提供された科学者によって決定されました。国立科学財団や国立衛生研究所のことを考えてください。

AlphaFoldはその後、約10億大学院生年に相当するタンパク質構造決定を2、3年で行いましたが、その最初の訓練セットは、その人的資本投資の産物でした。そして、ゲノムを超えて、タンパク質を超えて、良い訓練セットがない生物学的複雑性の階段を上がるにつれて、そのような種類の訓練セットを作成するために必要な科学への公的投資が適切に行われないことを心配していますか？それとも、AIがそのような種類の訓練セットにシミュレーションによって到達できると思いますか？

PDBで15万ほどの構造を作成するために、50年間の構造生物学者の骨の折れる実験的作業の上に構築することは非常に重要でした。実際に、私たちには辛うじて十分なデータがあったことが分かりました。なぜなら、15万だけでは十分ではないことが判明したからです。

実際に、私たちは約100万の構造を予測する初期バージョンのAlphaFoldを作成し、その後、最も正確な30万ほどをトリアージして、それを訓練セットに戻す必要がありました。つまり、実際に訓練に合成データを追加しました。

そして私はそれを心配しており、そのような重要性を持つ問題で、そのような種類のクリーンなデータセットから作業できる問題はそれほど多くありません。それが私がタンパク質フォールディングを選び、それを念頭に置いていた理由の一つでした。

実際に、あなたが先ほど質問したのは、私が早い年齢から何があっても私の全キャリアをAIに取り組むことを知っていて、それを科学に応用したかったからです。私はキャリアを通じて、IASのような学際的環境を愛しており、遭遇したときに収集してきました。私たちのDeepMindはそのような環境の一つであり、私は常にそのような種類の環境で働くことを試みてきました。技術者だけでなく、アーティストやデザイナーなどとも一緒に働く環境です。それはコンピュータゲーム設計が行う素晴らしい訓練の一つです。なぜなら、アーティスト、エンジニア、ミュージシャンなどと一緒に働くからです。それは最高レベルの本当に素晴らしい創造的努力です。

問題について言えば、私たちのすべてのalpha xシステム、AlphaGo、AlphaFoldなどが行うことを振り返って考えると、3つのことが必要です。一般的に、それらがどのように機能するかを考えることができる方法は、いくつかのデータ、できれば多くのデータがあり、おそらく合成データ、合成データで補完するが、通常はシミュレーションを最初に作成するために実際のデータが必要であり、また合成データから出てくる分布が実際の分布と一致していることを確認するためにも必要です。

そうでなければ、データセットでいくつかのバイアスやエラーを悪化させる可能性があります。通常、実世界のデータが必要です。

また、明確なメトリクスも必要です。メトリクスとゲームに戻ると、ゲームには明確なものがありますが、正しい方法で考えれば、科学の多くのこともそうです。システムの自由エネルギーを最小化する。多くの自然問題でヒルクライムできるメトリクスについて考える方法はあらゆる種類があります。

そして最後に、大規模な組み合わせ空間として記述できる問題を本当に好みます。一般的に言えば、あまりにも多くの選択肢、あまりにも多くの可能性があるため、総当たり法、例えば総当たり検索は、それらの問題空間では機能しません。

そして、これらのことがすべて真実であれば、それは私たちが持つ技術の種類にとって本当に興味深いものになります。囲碁やタンパク質構造などのデータに基づいて問題空間のモデル、ネットワークモデルを構築し、そのモデルを使用してモンテカルロ木検索や強化学習などの知的検索プロセスを導く技術と考えることができます。これにより、メトリクスを最適化する針を干し草の山から見つけるソリューションを実行可能に見つけることができます。

基本的にはそれだけです。それがこれらすべてのシステムの中核で行うことであり、実際に非常に、数学でもそのように組み立てることができる多くの問題に対するかなり一般的なソリューションであることが判明しました。

あなたはGoogleとDeepMindが数学用AIに注意を向けたと言いました。実際、Google AI for mathチームの多くがここにいます。ようこそ。彼らは研究所と地元の数学コミュニティと一週間協力しており、私たちはここにいることをとても嬉しく思います。

私の質問は、あなたが説明した3つのこと、問題をあなたにとって興味深いものにする3つのことは何かということです。そして数学がどのように適合するかを疑問に思っています。その分野を興味深いものにするものは何で、それから後で数学がどう違うかを尋ねるかもしれません。

AlphaProofのような私たちの数学プログラムを見ると、少なくとも私の考え方では、チームの異なる人々は異なる方法で考えており、チームの多くは実際にAlphaGoやAlphaZeroなどでも働いていました。数学予想や何かを解こうとすることについて考えるとき、あなたが最適化しようとしているいくつかの方程式や公式があり、いくつかの問題の解決策を見つけようとしており、次のステップとしてその公式を何らかの方法で調整できると考えることができます。

そして、それをゲームでの次の手とほとんど考えることができます。そして、あなたが達成しようとしているいくつかのメトリクスがあり、またはそれの優雅さやそれが記述できることについて最適化しようとしており、それがどこに向かうかの指導目標として使用しています。

そして、それは私たちが行うことができる種類のことと非常に同型に感じられます。数学やコーディングのようなことでのもう一つの利点は、答えを検証できるため、多くの合成データを生成できることです。実際に、生成したデータが本当に正確であるかどうかをチェックできるので、合成データの分野では非常に有用です。

それもゲームやコーディングと非常に似ており、最終位置、誰がゲームに勝ったか、またはゲームの異なる側面の価値を検証できます。これらは、予測を結果と正確に比較できる非常に精密なことです。

数学にもそれらの特性の一部があります。少なくともいくつかの方程式については、私たちはかなり困難な問題を解決できるシステムを構築しています。Leanのような形式論理言語を使用しています。つまり、翻訳プロセスがあります。自然言語で記述されているかもしれない数学問題を、その問題の形式化されたバージョンに変換できるでしょうか？そして、その形式化された論理のルールを使用して進歩を試みることができます。

多くの数学の同僚が考えていることは、AIの数学における力は何になるのか、そして人間により残る数学の分野とAIアプローチにより敏感な分野があるのかということだと思います。それは数学者にとってだけでなく、私たち全員にとって燃える疑問だと思います。

一年前、あなたは私に、もしサバティカルを再び取ることがあれば（可能性は高くないでしょうが、様子を見ましょう）、それが終わった後に何をしたいかを言いました。もしサバティカルを取ることがあれば、研究所でP対NP問題に取り組んで過ごしたいと言いました。

なぜ研究所なのかは聞きません。答えは明らかだからです。そして、それを良い場所にするすべての同僚の名前をチェックしませんが、なぜP対NPなのかを聞きたいと思います。その問題を私たちに説明して、なぜあなたがそれを魅力的に思うのかを教えていただけますか？

それはミレニアム懸賞問題の一つだと思います。コンピュータサイエンスと応用数学における私にとって常に最も魅力的な問題でした。

古典的機械で何が可能かという計算の核心に迫ると思います。P等于NPのPの部分ですね。Pというのはpolynomialの略で、ある種の扱いやすい時間で実際に解ける問題を分類できることを意味し、NPの問題は、少なくとも古典的コンピュータでは、ある合理的な時間で解くことが不可能、扱いにくいと考えることができます。

それは常に私にとって魅力的で、ますます魅力的になってきました。学部時代から愛してきましたし、実際に基本的なコア基盤的質問だと思います。そして、私たちがDeepMindで行ったこと、そして私の全キャリアを通じて調査してきたことの一つは、私は自分たちをアラン・チューリングのチャンピオンだと考えているということです。

チューリングとアロンゾ・チャーチ、そしてここと関係のある多くの他の人々も、チューリングマシン、チャーチ・テーゼ、計算とは何か、何を計算することが可能かについての重要なこれらすべてのアイデアを思いつきました。コンピュータサイエンスの基礎と計算可能なものです。

もちろん、チューリングは有名にチューリングマシンを発明し、計算可能なものはすべて計算できることを示し、したがってチューリングマシンを模倣したり近似したりできるものはすべてチューリング強力でもあることを示しました。

そして、この分野として、そして私たちが行った作業を通じて過去15、20年で示したことは、古典的手法と古典的コンピュータで動作する古典的計算は、おそらく私たちが以前考えていたよりもはるかに遠くまで行けることです。囲碁の世界チャンピオンを破ったり、科学に知られているすべてのタンパク質を一年以内にフォールディングしたりするようなことをです。

これらは非常に賢い人々を驚かせたであろうかなり驚くべきことです。ロジャー・ペンローズのような人々とこれについて多くの対話を持ったことを印象深く覚えています。

明らかに彼は脳で起こっている量子的なもの、量子意識などの大きな支持者でした。そして彼は結果としてAlphaGoに驚いたと私に言いました。彼は私たちが囲碁で最高の人間を打ち負かすことができるシステムを作ることができるとは予測していませんでした。古典的システムでです。

古典的システムで、量子システムか何かが必要かもしれないということです。そして、そのような人がそれをあなたに言うとき、彼は長い間これについて考えてきたので、このシステムを持つことが何を意味するのか、これらのシステムを持つことが何を意味するのかを本当に考えなければなりません。今日いくつかの興味深いランチタイムディスカッションをしましたが、もし私がここにいて、この素晴らしい刺激的な場所で物事について考える夏の贅沢があれば、私が取り組むであろうことは、私たちが何をしたのか、そしてそれがP対NPについてのこの基本的質問にどのように影響するかについて進歩を試みることです。

研究所を宣伝しなければなりません。今朝、デミスに1956年にフォン・ノイマンが死にかけていたときにグッドがフォン・ノイマンに書いた手紙のコピーを渡しました。グッドは「あなたが良くなっていると聞いています。とても嬉しいです」と言って手紙を始めます。

そして、典型的な研究所の方法で、すぐに数学的質問や知識についての記号的質問に飛び込みます。そして彼はP対NPの最初の提案を提示します。残念ながら、フォン・ノイマンは返事を書きませんでした。もし書いていたら、フェルマの最終定理のようになっていたでしょう。しかし、あなたのサバティカルが来るときは歓迎します。

ノーベル講演で、あなた自身も予想を提案しました。ここに表示できると思います。自然界で生成または発見できるあらゆるパターンは、古典的学習アルゴリズムによって効率的に発見およびモデル化できる。これはあなたが言っていたことから生まれます。この特定の予想を考えるきっかけになったものと、その潜在的含意は何でしょうか？

それはまだ形成段階にあると言えるでしょう。これは初期バージョンで変更される可能性がありますが、これらのクラスのシステムが何ができるかを分類しようとする私の最初の試みです。

私が問題を選ぶ方法の説明と、なぜタンパク質フォールディングが私にとって山の頂上になったかに戻ると、実際に私は学部時代、90年代のケンブリッジでタンパク質フォールディングに出会いました。生物学者の友人の一人がタンパク質フォールディングに取り憑かれており、今日でもケンブリッジで構造生物学に取り組んでいます。

彼はバーで、テーブルフットボールやプールをしているときなどにいつもそれについて話していました。彼はこれがどれほど革命的で、可能であるべきかについて話していました。そして私は非常に注意深く彼の話を聞きました。いつものように、そして私は最初にそれが本当に基礎的で、薬物発見などの多くの新しい研究分野を開くであろうことに気づきました。したがって、基礎研究だけでなく、本当にインパクトのある突破口になるでしょう。

しかし、今日持っているようなAIの種類がその時発明されていなかったにもかかわらず、いつかこの信じられないような究極のジグソーパズルのような問題のタイプだとも思いました。タンパク質が取ることができるすべての可能な構成から、タンパク質の形を見つけることです。平均的なタンパク質で10の300乗という異なる形を取ることができると推定する人もいましたが、自然界では自然に、あなたの体で、ミリ秒でその機能を決定する複雑な3D形状に折りたたまれます。

魅力的な問題に思えましたが、将来のAIアプローチに適したものでもありました。私はそれを約20年間、AlphaGoを行うまで持ち歩いていました。そして、おっしゃるように、AlphaGoの翌日、私たちはゲームAIの頂点に達したと感じました。それは常に聖杯のようなものでした。私たちが発明した最も複雑なゲームである囲碁で勝つために、学習する一般的なシステムを構築できるでしょうか。

そして、それは勝っただけでなく、何百年も囲碁をプレイしていたにもかかわらず、これまで見たことがない新しい囲碁戦略も発明しました。そして、それが私にとって、科学に適用できる十分に興味深いアルゴリズムを持っているという合図でした。それは常に本当の目標であり、その後、タンパク質フォールディングが私たちが取り組んだ最初の大きな問題でした。

この予想に戻り、私が与えた記述をまとめると、大規模な組み合わせ問題があり、古典的システムでは総当たりできない、あまりにも大きい。そのモデルを学習しなければならず、モデルが正確であれば検索を導くでしょう。これが私たちが行ったことの最も基本的な方法で記述できることです。

では、なぜこれが重要なのでしょうか？この予想の背後にある私の提案は、自然界の最も興味深いもの、ほとんどの自然システムは、何らかの進化プロセスを経てきたということです。これは非常に一般的に意味しており、生命だけを意味するのではなく、地質学的風化、さらには宇宙論的、惑星の形や軌道などのようなものでもかまいません。それらは時間の経過とともに安定になってきたのです。空間的時間的安定性を生き延びてきました。そうでなければ、実体として存在しないでしょう。

そして、それはそこにランダムでない、均一でない何らかの構造があることを意味し、十分な例があれば学習できる可能性があります。これにはおそらく十分なデータがあり、ある解像度レベルまでという注意書きが必要でしょうが、その自然システムのモデルを構築することが可能かもしれません。

その場合、その自然システム内で特定の状態やある問題への特定の解決策を見つけようとしている場合、典型的な針を干し草の山から見つけるタイプの解決策が必要な場合、私が記述している種類のシステムがそれを行うのに適しているかもしれません。

私たちが取り組んでいる他のことや可能だと思うことには、例えば、それが物理学に存在すると仮定して、室温超伝導体材料を見つけることがあります。これらのタイプのプロセスの一つがそれを行うことができるかもしれません。

もう一つの例は、私たちが薬物発見で行っていることです。今、私たちはタンパク質の構造を知っています。タンパク質の正しい部分に結合するが、体内の他の何にも結合しない化合物を設計できるでしょうか？なぜなら、他の何かに結合すれば、それは毒性のようなものだからです。それは望まないことです。

私たちは姉妹会社のIsomorphicで、薬物発見のこれらの他の部分を行うために、よりAlphaFoldのような技術を構築しています。

これらすべてのことを、巨大な空間を通る巧妙に導かれた検索の観点から組み立てることができると思います。そして、この予想を洗練し、今後数年間でより数学的に精密にすることに取り組みたいと思います。

サバティカル前でもということですね。

理想的にはサバティカルが助けになるでしょうが、深夜3時の余暇に取り組むかもしれません。

予想を非常にもっともらしくしているものの一つは、計算複雑性の観点から非常に困難だと思われていた問題に対処するニューラルネットワークの驚異的成功です。その成功はあなたを驚かせましたか？そうでなければ、またはどちらにしても、それをどう説明しますか？そして友人のために聞いているのですが、ニューラルネットワークとは何ですか？

ある意味では驚いていません。なぜなら、これは私たちが構築しようとしていた一般的学習システムの試みの全体的なポイントだったからです。なぜこれが可能であることに希望を持つことができるのでしょうか？

そこで私の神経科学のバックグラウンドが入ってきます。再び、チューリングマシンと共に。チューリングは彼のチューリングマシンについての証明を証明しました。神経科学を通じて私たちが知る限り、ペンローズのような人々は反対するでしょうが、脳では古典的でないことは何も起こっていません。少なくとも誰も何も見つけていません。

スチュアート・ハメロフや他の大きな生物学者は脳での量子効果を探しましたが、そこにあるようには見えません。私の最良の推測と私の最良の推測は、私たちも古典的システムであるということです。しかし、私たちは非常に一般的に見えます。

チューリングは彼の心でチューリングマシンとそのすべての理論を思いつきました。それはチューリングマシンの一種と考えることができます。しかし、私たちは現代世界を含む科学、数学、チェス、囲碁、これらすべてのものを発明するなど、素晴らしいことをすることができます。これは、私たちの狩猟採集者の脳では非常に驚異的です。

私たちがそれがどれほど素晴らしいかを十分に考えていないと思います。大西洋横断飛行で来るたびにそれを行います。私たちの猿の脳でこれらの747機をどのように構築したのでしょうか？それは驚異的です。

そしてマンハッタンの上を飛んで、2万年前のことを考えて、狩猟採集者に、ここに1万年後にマンハッタンがあると伝えるのです。そして同じ脳がそれを生産し、基本的に同じ脳がそれに対処するつもりです。

脳プラス文化は非常に適応性があります。

しかし、文化は私たちの集合的な脳の出力ですよね？それは魔法ではありません。それはかなり驚異的で、私たちの心、人間の心の極端な一般性を物語っていると思います。

そして、脳がそれを行うので、チューリングマシンについて知っているので、もしそれを模倣できれば、チューリングマシンが実際に何を見つけることができるかの限界が何であるかわからないと思います。それは非常に興味深い質問で、私が見つけたいと思うことです。

もしそれが予想であれば、そこには限界がないかもしれません。

自然的限界はないかもしれません。しかし、もちろん、人間が作成した抽象化があるかもしれません。つまり、数学のすべてやランダムノイズやそのようなものを記述できるという意味ではありません。効率的に学習できるパターンやモデルがなければ、検索を導くことができないからです。

それが本当に均一またはランダムであれば、総当たりする以外に選択肢がなく、古典的システムは機能できません。量子システムが必要になります。

しかし、それは量子コンピューティングの同僚が取り組んでいることでもあります。その場合、量子コンピュータが必要になるからです。

あなたはこれまで、特定の問題、特定のアプローチのためのAI for scienceである本当にモーダルなシステムについて話してきました。しかし、メディアは大規模言語モデルと汎用人工知能により焦点を当てているように見え、あなたもその種のモデルでの指導的作業を行っています。モーダルとマルチモーダルの間の違いと、あなたが見る挑戦と機会について話していただけますか？

DeepMindは、現在Google DeepMindとして継続しているアイデアで始まりました。私たちはAGIを構築したいのです。それが目標です。人間ができるすべての認知能力を示すことができるこの一般的システムです。

これまで議論してきたすべてのことのために、それは重要です。明らかに大きな経済的価値があるでしょうが、実際に私の観点からはそれが興味深いことではありません。理論的観点からは、それは完全に一般的なシステムがあることを知る唯一の方法だからです。少なくともその近似として、人間の心ができることを行うことができれば、私たちが知る限り、私たちはこの一般化された知能だからです。

それがDeepMindの主要な目標であり、常にそうでした。言語と世界についての一般的知識は非常に重要です。私たちはそれを世界モデルの構築と話しています。モデル構築についてたくさん話してきました。Atariゲームのようなコンピュータゲームのモデルを構築することから始めました。

それから囲碁のモデルを構築し、今は科学環境のモデルを構築しています。しかし、最終的には世界モデルが欲しいのです。世界の物事をシミュレートでき、直感的な物理学、あなたがいる視覚的な空間的コンテキスト、それを分解し、物体認識など、私たちが人間として努力なく行うこれらすべてのことができるモデルです。

伝統的に、機械がこの種の予測的世界モデルを構築することは本当に困難でした。実際に、それが私がPhDで勉強したもの、想像の部分でした。記憶と想像を研究し、想像が記憶と同じように海馬に依存していることを示しました。記憶を再構成プロセスとして考えていたからです。

ビデオテープの記憶ではありません。それはその構成要素から再構成されます。そして、それが真実であれば、学習した構成要素から新しい方法で、認識である記憶の目的とは対照的に構成する想像も同じ脳プロセスに依存するべきだと考えました。

私たちの心には、他の人々についての心の理論や、彼らが状況で何をしようとしているかを含む、あらゆる種類の精神シミュレーションと精神モデルがあります。それが私たちが常に計画するために行うことです。来週重要なビジネスミーティングや面接があることを想像してください。重要な人とのランチがあることを知っているでしょう。あなたはそれを心の中でリハーサルします。何を言うつもりか、何について話すつもりか、どうなるかもしれないか。先に計画を立て、精神シミュレーションを使用して先に計画を立てることができます。

おそらくそれが進化的に生まれた理由は、生存と計画に有用だからです。そして同じ方法で、機械、私たちのAIシステムが現実世界での真に導かれた計画を行うことができるその能力を持ってほしいと思います。

そして、ロボティクスが機能するために、または私たちが時々ユニバーサルデジタルアシスタントと呼ぶもののために必要なものです。

あなたの日常生活で非常に有用で、管理を手伝い、推奨事項であなたの人生を豊かにするアシスタントを想像してください。そして、それがあなたの電話やメガネにあることを想像でき、本当に良いアシスタントになるためには、あなたがいるコンテキストを理解し、あなたの周りの世界を理解する必要があります。

私たちのProject Astraプログラムでそれを行うことに非常に近づいており、最近でもVoと呼ばれる私たちの主要なモデルセットGeminiを作成しました。現在世界で最も強力なモデルですが、サイドプロジェクトもあります。

ビデオのチューリングテストのようなものがあります。これは、フィールドにいない場合は面白いと思うでしょう。人がまな板でトマトを切っている10秒のビデオを生成できるでしょうか？

そして、Voがそれを本当にうまくやることを誇りに思いますが、初期のビデオのものでは、トマトが自然に再び一緒になったり、ナイフがハンドルから切り離されたり、指を通り抜けて再び戻ったりすることが起こりました。しかし、今私たちのものは完璧にそれを行います。

しかし、実際にそれについて考えると、ピクセルレベルでそれを生成しており、何らかの方法でスライスの一貫性を保ち、丸いトマト、トマトの小さな水滴に再形成されません。ナイフとは何か。システムが実際に世界の直感的な物理学について何かを理解できることに驚嘆します。

実際に観察だけで。10年前、私は世界で行動する必要があると言ったでしょう。もしかすると、私たちがするように、実際に物理学を感じ、物理学を行うロボットが必要かもしれません。これの重さ、もし私がここでそれを押せば何が起こるか、それは粉砕するでしょう。実際に、私たちのシステムは今それを予測できます。そして非常にすぐに、彼らはそれのイメージを生成することができるでしょう。何が起こっているかを考えると、それはかなりそれはかなり素晴らしいです。

今、このすべての進歩についての懸念から質問をします。あなたは本当の愛情を持って話します。今日既にケンブリッジ大学でのあなたの経験について行いました。チューリングとバベッジについて。チューリングをケンブリッジと関連付けたと思いますが、プリンストンを忘れました。

私はそれをケンブリッジのために主張しています。

今日、AIで働くあなたのような人々は、主にケンブリッジや研究所のような場所で働いているのではなく、Google DeepMindで働いているか、競合他社のOpenAI、Anthropic、Metaなどに言及すべきでしょうか。その変化の理由は何で、生産される知識の性質に結果があるでしょうか？

その変化があった理由は、いくつかのことのためだと思います。私がDeepMindを始めて、学界でそれを行わなかった理由の一つは、ゲームのバックグラウンドとゲーム会社での作業、若い頃に自分のゲーム会社を始めた経験から、リソースを得ることができる速度と、したがって進歩を遂げることができる速度を、会社でより速く行うことができることを知っていたからです。

私の共同創設者の一人であるシェーン・レッグに言っていました。私たちは両方ともその時UCLでポストドクでしたが、彼は学界でそれを行いたがっていましたが、私は実際にそれを追求するリソースを与えられる前に、実際に50歳になるだろうと言いました。私たちが20代後半から30代前半だったときのことで、スタートアップであるときは10倍それを加速できると思いました。一つは、官僚主義やその他のことを扱う必要がないときの速度です。明らかに大企業も独自の官僚主義があります。それを克服しなければなりません。

しかし、主な理由は、AIが進んだ方法は多くのリソースが必要であることが判明したことです。主に計算です。実際には誰もがアクセスできるオープンウェブを主に使用しているため、実際にはデータではありません。しかし、スケーリングが進んだ方法のための計算力だけで、非常にエンジニアリング重視になっています。

それでも、学界の同僚に提案することは、先ほど議論したことですが、学界がそれに直交して行うべき多くのことがあります。私たちのような場所がやっているようなことを構築しようとしないでください。私たちは数十億ドルを費やして機械を構築し、素晴らしいエンジニア、世界クラスのエンジニアと研究で、これらのGemini基盤、トップ基盤モデルを構築していますが、それらは誰でもペニーで実行できます。実際に非常に良いオープンソースモデルがあります。

モデルで非常に安価に多くの実験を行うことができますが、それらが何をするかを理解する、それらが何をするかを解釈する、おそらくその行動を制約するベンチマークを構築するなどの点でさらに進むために。私たちは分野として、そして世界として、これらのモデルをより良く理解することを切実に必要としています。

もちろん企業もこれを行っています。私たちには非常に賢い部門とグループがこれに取り組んでいますが、私たちはモデルも構築しており、それが業界が行っていることの主要なトラックです。

だから私は学界、市民社会が、会社が既に行っていることを追いかけるのではなく、次に何が起こるかをある意味で理解すべきだと思います。基本的に数十億ドルのR&Dを利用してください。それを活用して、これらの他の領域に移り、IASに完璧な哲学、経済学の分野を含む学際的な領域に移ってください。人間の状態の未来に何が起こるのか、目的、経済的利益をどのように公平に広めるか、そして技術自体に内在するリスクです。

例えば、欺瞞のような私たちが望まない特性をどのようにテストするか？私たちのAIシステムがその能力を持っていれば、それはかなりひどいことでしょう。どのようにそれをテストするのか？どのようにそれを取り除くのか？そして、彼らにポーカーをプレイすることを教えようとしているのでしょうか？

まさにそうです。ポーカーは、それがどのように見えるかを見るための良いテストケースかもしれません。私は常に神経科学の同僚の何人かに言っています。過去20、30年間に神経科学と認知神経科学とシステム神経科学で発明したすべての素晴らしいことを、これらの人工的な心に活用すべきです。

人工的な心での単一細胞記録やfMRIの同等物は何でしょうか？理論的には、私たちは人間の心について理解する以上に、これらの人工的な心について理解できるはずです。なぜなら、私たちができるように、お互いに自然言語で質問し、彼らが答え返すことができるだけでなく、同時にその人工的な心のすべてのニューロンを見ることができるからです。

そこでは多くの革命的な作業が行われると思います。おそらく学際的で、学術環境に非常に適していると思います。ある意味では、業界がそれを行うよりも学界が行う方が良いでしょう。なぜなら、業界がベンチマークを行い、私たちはそれを行っていますが、それは自分の宿題を採点するようなものです。業界が構築しているものを実際に見て分析するのは、学界や安全研究所や独立した何かであった方が社会にとって良いと思います。

計算理論と複雑性理論も学界から多くを提供できると思います。先日、シャフィ・ゴールドヴァッサーがここで、暗号学の敵対的モデルをAIの妥当性テストに適用できる方法について話していました。エンジニアリング以外の小さな分野でも多くの可能性を見ています。

あなたは最近ノーベル賞を受賞しました。以前に遺伝子編集での画期的成果でノーベル賞を受賞したジェニファー・ダウドナは、あなたが生命を理解するだけでなく、賢明に形作るのに役立つツールを構築していると言いました。「賢明に」の部分に焦点を当てたいと思います。生命を再形成する力を持つこれらの技術を作成するとき、リスクと危険についてどのように考え、それらからどのように保護しますか？ツールの例を提供して、それについてどのように考えるかを示していただけますか？

私たちは非常に長い間これについて考えてきました。DeepMindを始めているとき、その前からでも、私たちは念頭にこの非常に野心的なミッションを持っており、成功を計画していました。2010年に戻ると、業界では誰もいませんでした。この種のお金をほとんど得ることができませんでした。会社を始めるのに、学界では非常に小さなポケットの学界がこれに取り組んでいました。ジェフ・ヒントンのような人々ですが、本当にニッチで、誰も成功するとは思っていませんでした。

MITで多くの議論をしたことを覚えています。実際にMITでポストドクをしましたが、トマソ・ポッジオと神経科学ビルで過ごしました。部分的には、AIビルでは歓迎されないことを知っていたからです。これは、それについて考えると非常に面白いことです。なぜなら、多分今でもそうですが、CSSAILは学界でおそらく最も有名なAIラボですが、論理的アプローチからAIへの伝統的な砦でした。チョムスキーやパトリック・ウィンストンなどと一緒に。

チョムスキーもここにいました。多くの人々が学習システムと一般システムのアイデアに反対していました。専門システムアプローチとは考える反対の方法です。

しかし、私たちはその時から成功を計画していました。もし私たちが正しくて成功すれば、そして私たちが希望するように影響力があり、インパクトがあるならどうでしょうか？本当に科学と医学の多くの分野に適用できるでしょう。すべてのポジティブな使用例です。いつかAIの助けでほぼすべての病気を治癒できるかもしれません。それは可能だと思います。

気候に役立つ素晴らしいこと、新しいエネルギー源を見つけること。私たちはトカマクでプラズマを封じ込めるためにAIシステムを使用しようと、核融合の協力者と核融合に取り組んでいます。材料設計、これらすべての素晴らしいことに取り組んでいます。気候予測、天気モデル。

これらはすべて、AIが社会にもたらすであろうすべての素晴らしいことですが、それほど変革的で汎用目的なものが来ることは明らかです。それは本質的に二重用途技術です。

そして、私が常に心配し、今でも心配している2つの大きなことがあります。一つは、個人であろうと悪意のある国家であろうと、悪意のある行為者です。医学などのために意図された一般目的技術を有害な目的のために再利用することです。それは可能です。

そして第二に、私が持っている第二の大きな心配は、AIがより自律的、よりエージェント的になるにつれてのAI自体の固有のリスクです。次の時代はエージェントになるでしょう。AlphaGoのような私たちのゲームプログラムのように、ゲームをプレイするだけでなく、世界モデルなどを持つより一般化されたエージェントのように、より自律的に物事を達成できるエージェントです。

そして、AGI自体に向かうにつれて、どのようにそれらのシステムを制御し、それらのシステムの周りに適切なガードレールを置き、それらをよく理解し、何のためにそれらを展開すべきか？そして、その技術の制御をどのように保つか？

これらは2つの本当に大きな挑戦です。そして、技術的挑戦の一セットがあります。私たちが人類として社会として、AGIのその転換点に慎重にアプローチするために十分な時間を与えれば、実際にそれらについてかなり楽観的です。

CERNのようなもののモデル、少し協力的科学的方法でそれを行うことを提唱します。しかし、それは現在世界が進んでいる方法ではありません。だから、それ自体がトリッキーになるでしょう。

しかし、実際に私は悪意のある行為者の問題の方が困難だと思います。これらのシステムを科学やそれらすべてのことに使用する良い行為者にアクセスを与えたいが、同時に本質的にデジタル技術である悪意のある行為者への制限をどのように行うかは、今日の地政学的世界では、より困難な挑戦となる可能性がある国際協力なしには困難だと思います。

私の最後の質問は、もう答えられません。ロバート・オッペンハイマーとの類似を引こうとしていました。彼の最初の行為はロスアラモスで、第二の行為はここで過ごし、人類が技術を生き延びるための可能性の条件を作り出そうとしていました。

本当の質問は、私の紹介で言ったように、それは科学と技術だけの問題ではないということです。私は、この技術を開発するにつれて、私たちの社会が取るべき最も重要な非技術的ステップは何かを尋ねようとしていました。

オッペンハイマーとマンハッタン計画について多くを読み、それについて書かれた多くの素晴らしい本があり、等しく変革的な技術を持つ私たちのような後から来る者として、そこから教訓を学ぼうとしています。

フォン・ノイマンがあなたの紹介でそれを言ったのは非常に現在的で、驚くべきことです。計算が核よりもさらに大きくなる可能性があると当時考えていたということです。そして彼はおそらく正しいと思います。

そして、新しい機関が必要だと思います。実際に、私はスウェーデンの式典で他のノーベル賞受賞者と議論していました。今年それを受賞した経済学者たちは皆、機関と、適切に構築すれば機関の力の専門家です。そして私は彼らに、おそらくあなたたちはAIのために私たちが何を必要とするかを考えることに時間を費やすべきだと言いました。

国際的なCERNタイプのことをすでに言及しました。CERNは正確には適切なモデルではありませんが、新しいものである必要があるでしょう。

しかし、IAEAの同等物、原子機関のようなものも必要かもしれません。悪意のあるプロジェクト、設計が安全でない危険なプロジェクトを監視するために。

そしてその上に、理想的には、世界を代表する賢明な評議会である何らかのガバナンス機関があるでしょう。ある種の技術的UN、それが私がそれを説明する方法です。しかし、UN自体は現在あまり機能的に見えません。だから、それはトリッキーなものになるでしょう。

しかし、これについて彼らは正しくやりました。なぜなら、彼らは私たち自身のアランドレ・ネルソンを彼らのAI政策についてアドバイスするために募集したからです。

そして、研究所への最後の宣伝で、私たちもこの問題に取り組んでいます。どうもありがとうございます。ありがとうございます。