※長文のため、テキスト読み上げ機能の使用を想定しております。各OS標準搭載の「読み上げコンテンツ」、Microsoft Edgeの「音声で読み上げる」、Safariの「ページの読み上げを聞く」などをおすすめします。
印刷機は宗教改革を引き起こし、戦争を引き起こし、アメリカを生み出しました。私の主張は、AIが私たちの倫理原則を変えるだろうということですが、誰もそれを聞きたがりません。知的な人々の中には「ふむ、面白い考えだ」と言う人もいますが、他の人々は口から泡を吹き始めます。「いや、いや、いや、私の倫理原則は永遠に正しいんだ。もう黙れ」と。
SVICポッドキャストへようこそ。AI、ビジネス、コメディについて話します。今日のゲストはペドロ・ドミンゴスさんです。彼は素晴らしく面白い本『2040年：シリコンバレー風刺』を書きました。私は本全体を通して笑い転げていました。この本は非常に良いので、私は自腹で3冊購入し、さらにチャンネルのメンバーの方々にもプレゼントします。メンバーになるには参加ボタンを押して、月額2.99ドル以上のサポートをしていただく必要があります。Discordの無料グッズと本のプレゼントチャンネルで親指を立てれば、抽選に参加できます。これは非売品の先行レビュー版ですが、プレゼントすることはできます。また、限定版で私のサインも入っています。ジョーダン・ティビドと書いて、ハートマークを入れました。眼鏡をかけたジョーの絵と、5時の影が出た私の絵も描きました。本を台無しにしたって？いやいや、むしろ価値を大幅に高めたんですよ。正式な発売日はいつですか？8月20日です。
素晴らしい本なので、ペドロさんをお迎えできて本当に嬉しいです。まず簡単に、ご存知ない方のために30秒程度で自己紹介をお願いできますか？
はい、私は機械学習の研究者で、それがクールになる遥か以前からこの分野にいます。以前は人々に「いつかAIが世界を征服する」と言っていましたが、実際にそうなったので非常に正当化された気分です。しかし、機械学習には光と影があります。機械学習が世界を征服しつつある今、多くの問題も引き起こしています。イナゴの大群が押し寄せてきているようなものです。面白いことが起こっています。私はワシントン大学の教授で、研究の世界で色々なことをしてきました。産業界でも少し経験があります。おそらく私のことを最もよく知っている人は、『マスターアルゴリズム』の著者としてでしょう。これは一般読者向けの機械学習入門書で、数年前に出版されましたが、驚くほどのベストセラーになりました。そして『2040年』は、その次の本です。
素晴らしいですね。チャンネルにあなたの学生さんもいるようです。匿名ですが、「ペドロはワシントン大学で私のAIの教授だった」と言っています。チャンネルにスパイがいるんですね、まさに。そうですね。それから、あなたはマルコフ論理ネットワークの研究者で、不確実な推論を可能にしたと聞きました。一般の人にもわかるように、マルコフ論理ネットワークの意味を説明していただけますか？
正直なところ、それは私のWikipediaページの記述で、私自身が書くならもう少しわかりやすい表現にしたでしょう。でも誰かが書いてくれたことに感謝します。マルコフ論理は少し専門的な名前ですが、私がやったことは、おそらく私のAIへの最大の貢献だと思います。『マスターアルゴリズム』で説明したように、機械学習には5つのパラダイムがあります。現在最もよく知られているのはディープラーニングですが、歴史的に最も重要だったのは記号的AIです。そしてもう1つ重要なのは確率的AIです。私の主張は、これらはそれぞれAI問題の一部しか解決していないということです。物理学で力を統一しようとするのと同じように、これらを統一してこそ本当の解決に近づけるのです。
マルコフ論理は、記号的AIと確率的AIの統一です。これは実は、ジョージ・ブールやアリストテレス以前から哲学者たちが試みてきたことです。論理と確率を組み合わせることは明らかに重要です。複雑性を扱うには論理が必要で、不確実性を扱うには確率が必要です。世界は両方の性質を持っているので、両方を扱えるものが必要なのです。しかし、多くの人々は何世紀にもわたってこれを非常に悲観視してきました。実際、私がこの研究を始めた時、ある有名な研究者は「それは不可能だ」と言いました。でも申し訳ありませんが、私たちはそれをやってのけました。
しかも、驚くほど単純な方法でできました。もちろん、大きな問題はいつもスケールアップです。これはAIで約10年間非常にホットな話題でした。そして、ディープラーニングに完全に追い越されてしまいました。GPUで動作させる巨大な性能上の利点があったからです。しかし、この物語はまだ書き続けられていると思います。私は今もこれに関連する研究をしています。これからどうなるか、驚きがあるかもしれません。
素晴らしいですね。それを分かりやすく説明していただき、ありがとうございます。あなたは「AI研究は量的に爆発し、多様性では内破した」というツイートをしていましたね。その通りだと思います。
その通りです。正直なところ、私はまだ信じられないほどです。AIの論文の数は今や途方もないものになっています。毎日何千もの論文が発表され、年間100万本を超えるでしょう。これは科学の歴史上前例のないことです。そして、これは良いことです。20年前に比べて100倍以上の研究が行われているので、他の条件が同じなら100倍速く進歩するはずです。問題は、そうなっていないことです。研究の焦点がますます狭い範囲に絞られてきているため、実際には局所的な最適解を掘り下げているだけなのです。
これは、あらゆる分野で起こるバンドワゴン効果の一部ですが、もう1つ見過ごされがちな要因があります。ディープラーニング、つまりニューラルネットワークは長い間ゲットーのような存在で、ジェフ・ヒントンやヤン・ルカン、ヨシュア・ベンジオなど一部の勇敢な人々以外は誰もやっていませんでした。そのゲットーが突然爆発的に広がったのです。しかし、それでもまだゲットーなのです。他のことを知らない人々がいるのです。
数年前、私はある若いディープラーニングの研究者と話をしていました。彼は「3年以上前のものは気にしない。30年以上前のものでない限り」と言いました。これはまさにその通りです。30年前に起こったことが蘇り、今や誰もがそれをやっています。機械学習だけでなく、AIの他の分野も飲み込み、今やコンピューターサイエンス全体を飲み込もうとしています。そのうち、宇宙にはディープラーニング学部しか残らないでしょう。
さらに驚くべきことに、成長するにつれて範囲が広がるのではなく、むしろ狭まっています。AIから機械学習へ、ニューラルネットワークへ、ディープラーニングへと移行しました。ディープラーニング自体もニューラルネットワークのサブセットです。すべてのニューラルネットワークが深いわけではありません。非常に優れたものは浅いものもあります。さらにその中でもLLMに絞られています。これはどこで終わるのでしょうか？
つまり、ペドロ、あなたは性能が100万分の1パーセント向上したと主張する100万番目のAIエージェント論文を読むのが好きではないということですね。推論コストが100万ドル増えただけなのに。そういう論文は好きじゃないんですか？
正直なところ、好きか嫌いかを言う前に、そもそもそういう論文は読まないですね。同時に、本当に問題だと感じているのは、良い研究を見つけたいという欲求です。多くの論文を読みますが、正直なところ、私の主な感情は著者たちへの同情です。これらの人々は信じられないほど退屈で苦痛な作業をしているのです。次の調整で汎用人工知能（AGI）に到達すると信じていますが、すぐに大きな失望を味わうことでしょう。でも、私に何ができるでしょうか？今はそういう気分の人が多いのが残念です。
あなたの指摘は、多様性が減少し、1つの分野に集中しているだけでなく、個々の論文が非常に漸進的で、長期的な影響を持つ研究をほとんど行っていないということですね。
その通りです。実際、さらに踏み込んで言えば、漸進的な研究はすべての科学分野で問題になっています。ある種の漸進的研究は実際には問題ありません。進歩は常にS字カーブで起こることを覚えておく必要があります。S字カーブの前では漸進的に見えるものが、実際には爆発的な成長につながる可能性があります。問題は、S字カーブの後に行われる本当に漸進的な研究で、これは何の違いも生み出さないのです。今日のディープラーニングの問題は、研究が漸進的であるだけでなく、アーカイブからランダムに論文を取り出しても、そこにほとんど研究がないことです。論文はますます、どのように実験を行ったかという詳細ばかりになっており、実際の新しいアイデアはほとんどないか、まったくない場合もあります。
これが私を悲しませるのは、AIはスプリントではなくマラソンだからです。特に、産業界では短期的な結果を出す圧力があります。例えば、私のGoogleの友人たちは今では短期的な制約を無視できないと考えているようです。学術界では、長期的な問題に取り組むことが我々の存在意義のはずです。しかし、人々はそうしていません。みんな同じ狭い短期的なバンドワゴンに乗っています。私も興奮を共有しますが、もう少し先見性を持ち、過去の知識を未来に活かすべきです。より真剣で知識のある研究者たちを見れば、AGIが1週間後や2週間後に実現するとは考えていないことがわかります。
素晴らしい指摘です。まさにその通りですね。暗号通貨のブームが去り、AIに移ってきた人たちを見て、「明日にでも人工超知能（ASI）が、明日にでもAGIが来る」という狂った話を聞いて、あなたはきっと「これらの人々はどこから来たんだ？なぜみんながそれに注目しているんだ？」と思っているのではないでしょうか。
暗号通貨の支持者たちに公平を期すために言えば、AIがすぐそこまで来ているという妄想は70年前からあります。この分野の創始者たち、ニューウェル、サイモン、マッカーシー、ミンスキーらは、AIがすぐそこまで来ていると有名に思い込んでいました。数年以内にコンピューターがあらゆる面で人間を超えると考えていたのです。彼らは狂っていましたが、それは良い狂いでした。なぜなら、彼らがこの分野を始めたからです。
正直なところ、私が20歳でAIに興味を持った時、私も短期間ですが「わあ、すごい！」と思いました。そして、これは長期戦だと気づいたのです。私の立場は、自分より大きなものに取り組むべきだということでした。大聖堂のようなものです。自分の生涯で完成しなくてもいいのです。しかし、どの世代にもそう感じる人々がいます。
そして今、ジェフ・ヒントンやヤン・ルカンの学生たちの世代があります。彼らは再びそう感じています。そして今や新しい世代がいて、OpenAIやDeepMindなどの人々です。彼らは本当にAIを解決できると信じています。AGIはすぐそこまで来ていると。AIについて最も重要な現実は、それが実際よりもはるかに簡単に見えるということです。なぜなら、私たち人間はすべてを無意識的に行っているからです。視覚、操作、言語理解、これらはとても簡単に見えます。しかし、進化は5億年かけて私たちをそのように最適化したのです。だから実際には非常に難しいのです。研究者を含む多くの人々がこれを十分に理解していません。そこから、この過度の楽観主義が生まれるのです。
そして、もちろん機会もあります。AIに大量の機会が流れ込んでいて、3週間前からAIの大専門家を名乗る人々がいて、自分たちは全てを理解したと思っています。
あなたは彼らの見通しに水を差しているようですが、同時に『マスターアルゴリズム』でのあなたの主張に戻ると、これを達成する方法があるとすれば、それは異なるアプローチを統合することだと言っていますね。
その通りです。実際、私はAIの楽観主義者です。AIは解決されると信じています。ジャーナリストなどは「AGIはいつ実現すると思いますか？」というゲームをよくしますが、実際のところ誰にもわかりません。私の答えは「プラスマイナス1桁で100年」です。10年後かもしれません。私が言うように、今この瞬間にも、ガレージでひとりの子供が脳と同じことをより単純にできる学習アルゴリズムを発明しているかもしれません。それを解き放てば、私たちは月へのロケットに乗ったようなものです。それでも数十年はかかるでしょうが、可能性は非常に低いものの、ゼロではありません。
一方で、AIは単純に難しすぎると信じている人々もいます。「私たちが自分自身を理解できるほど単純だったら、理解できないほど愚かだっただろう」という有名な言葉があります。私はそう信じない理由がありますが、真剣に受け止める必要があります。
アラン・ケイの言葉を借りれば、「未来を予測する最良の方法は、それを発明することだ」のです。私たちがS字カーブの停滞期にいるのか、次のS字カーブが来るのかは、私たち次第です。これは予め決まっているものではありません。アイデアを生み出す人々次第なのです。
振り返ってみると、これは本当に笑えるし信じられないことですが、2017年にイリヤ・サツキーバーと話したことを覚えています。当時OpenAIはまだ新しかったです。イリヤは「ディープラーニングは頭打ちになっている。進歩が少なくなっている」と言いました。私は「そうは思わない。なぜそう感じるのかはわかるが、ディープラーニングは今や十分に大きく多様になっているので、他の何かが出てくる可能性が高い」と答えました。サポートベクターマシンにも様々な世代があったことを例に挙げました。彼は「いや、私だけでなく他の多くの人もそう信じている」と言いました。その1ヶ月後にTransformerの論文が出ました。私の言い分が証明されたわけです。
彼のその論文への反応は、再帰型モデルを全て捨ててTransformerに全力を注ぐことでした。彼の功績は、そしてOpenAIの功績は、実際に全力でそれに取り組んだことです。それは論文だけでなく、LLMでの彼ら自身の仕事でもありました。これは全てにおいて繰り返されるモチーフです。『2040年』でもそれを面白おかしく描いています。OpenAIの友人たちや賢い人々には申し訳ありませんが、OpenAIの全歴史は失敗のコメディです。彼らは何かを台無しにしますが、それが実際には素晴らしいものになるのです。
彼らは感情分析のための言語モデルから始めました。基本的に数十年前からあったことを、新しいと思ってやっていたのです。他の人々よりも悪くやりましたが、それが彼らをこの分野に導きました。Transformerが登場した時、それは彼らにとってうまく機能し、そこで方向転換しました。しかし、この全ての過程があまりにもランダムで不安を感じさせるものでした。
『2040年』について、そして環境で起こっていることをある種の素材として使っていることについて触れましたが、人々は本の中に自分自身を見出すでしょうか？
そう願っていますし、そうなると確信しています。この本は、2つのレベルで機能すると思います。一つは、テクノロジーの世界やAI、そしてその周りで発展している社会学や政治に興味のある一般の人が読んで楽しめるものです。テレビ番組の『シリコンバレー』のようなものを想像してください。一般大衆向けでしたが、同時に本の中のすべてが実際のものの風刺になっています。一部はより内部者向けですが、AIを知っている人、業界にいる人たちが読めば、椅子から転げ落ちるほど笑うでしょう。私が何を茶化しているのかわかるからです。
私もそういう経験をしました。HBOの『シリコンバレー』を見たのですが、私たちは両方ともGoogleにいたので、ジョーはシリコンバレーを見ようとしませんでした。鏡に映ったドリアン・グレイの肖像画のようで、見たら死んでしまうと。私にとっては辛すぎました。エピソードを見ながら「ああ、これは私が出席した会議のスライドだ」と思うことがあったからです。ひどかったです。
そして、あなたの本を読んでいると、サンフランシスコにあるAIを開発している会社の本社に行くセクションがあって、本当に身震いするほどでした。これは私の人生の10年間そのものでした。そして、プレーボットについて話している別のセグメントがあります。プレーボットは大統領選に出馬するAIとロボットの混合体です。こんな一節があります。
「オークランド・ロボティクスに電話したところ、1週間で修理できると言っていた」とアーヴィンが言いました。
「1週間？」とロスが言いました。「選挙まで1ヶ月もないのに、もっと早くできないのか？」
「中国から部品を注文する必要があるそうです」とアーヴィンが言いました。
ロスは頭を振りました。「メディアがこれを知ったらどうなるか想像してみろ」と彼は言いました。
この本には、このような小さな爆弾のような一節が一貫して出てきて、私を笑わせました。素晴らしい出来栄えです。何に触発されたのですか？『マスターアルゴリズム』から、全く異なる脳の部分を使う風刺に移行し、そして成功を収めたのはなぜですか？
多くの人がこの質問をしますが、実は思うほど矛盾していないのです。長い間、私は友人たち、例えばジャーナリストたちに、深いところで彼らが本当にやりたいのは偉大なアメリカ小説を書くことだと説得しようとしてきました。しかし、「いや、いや、偉大なシリコンバレー小説を書くべきだ」と言っていました。偉大なアメリカ小説を書くのは今では難しすぎますが、偉大なシリコンバレー小説は wide open です。あなたはそれを知っているのだから、書きなさいと。しかし、誰も書かなかったので、結局「じゃあ、私がやろう」と思いました。
『マスターアルゴリズム』の時と全く同じことが起こりました。「機械学習について一般向けの科学の本を書くべきだ。需要が叫んでいる」と言っていたのに、誰も書かなかったので「じゃあ、私がやろう」となったのです。以前の人生で、実はSFを書く方法を学んでいました。有名なクラリオン・ウエストの工房に参加したので、少なくともチャンスはあると感じました。
本当に持っていなかったのは、『マスターアルゴリズム』と全く同じように、物語のアイデアでした。アイデアがなければ、実際に書き始めることはできません。そのアイデアは、インタビューでジャーナリストに「AIに投票しますか？」と聞かれた時に浮かびました。私は一瞬たじろぎました。私はめったにたじろぐことはありません。そして「いいえ。でも、もう一方の候補がトランプなら、はい」と答えました。
考えてみてください。今、AI候補者が出馬したら…この本は基本的にChatGPTが大統領選に出馬する話です。ジョークは自然に湧いてきます。しかし、一瞬想像してみてください。ChatGPTが大統領選に出馬するのは恐ろしいアイデアです。でも、全ては相対的なものです。他の候補者が十分に悪ければ、ChatGPTが魅力的に見え始めます。私たちは今そこにいるのではないでしょうか。トランプとハリスは、それぞれ異なる方法で非常に悪いので、ChatGPTの方がましかもしれません。これについてはもっと詳しく話せますが、私はこの二人よりもChatGPTに投票するでしょう。
なるほど、政治とシリコンバレーの両方を茶化す広い領域があるということですね。
そうです。このアイデアが私を引きつけた理由には、知的なレベルと本能的なレベルがあります。本能的なレベルでは、正直なところ、一度そのアイデアが頭に植え付けられると、物語はクドゥのつるのように成長し始めました。次々と新しい要素を拾い上げていったのです。
知的なレベルでは、例えば『シリコンバレー』と対比させると、私はその作品も大好きですが、そこでのスタートアップの製品は圧縮アルゴリズムです。私は圧縮に興味がありますが、テクノロジー以外の人には誰も興味がありません。誰が気にするでしょうか？それは完全に平凡なものです。
シリコンバレーの隠された真実の一部は、私たち全員が知っていることですが、ゴールドラッシュのような興奮がある一方で、そこで起こっているほとんどのことは超平凡だということです。「私のスタートアップはより良い小切手処理をします。私たちは世界を革命的に変えるのです」と言いながら、実際には小切手の数字を認識しているだけです。大げさに言わないでください。
しかし、面白い小説を書くには、賭け金を上げる必要があります。そこで私は気づいたのです。この小説の要は、AIロボットが大統領選に出馬するということです。突然、全てのジョークが、単なるスタートアップの日常生活ではなく、国の未来に関わるものになります。
もちろん、もう一方の候補者はアメリカ合衆国の廃止を望む偽のネイティブアメリカンの酋長にすることで、さらに賭け金を上げました。このスタートアップにいる間抜けな連中を笑うことはできますが、彼らが失敗すればアメリカの終わりです。
そうですね、勇者はAK-47を選挙に持ち込みます。馬鹿げていました。そして、賭け金を上げることで交差する円を作り出しました。AIに加えて大統領選挙があり、さらに世論調査データも織り交ぜることができました。本の中で大好きな部分があります。
プレオット（AIロボット候補）が誰かに強く握手されて壊れてしまうというトラブルがあった後、彼らは再組み立てするか、それとも単に仮想的な映像だけにするかを決めようとしています。こんな会話があります：
「立つこともできない候補者に投票しようとする人がいるなんて驚きだ」とコワルスキーが言いました。
「いや、人々はロボットの体と実際のAIの違いがわかるんだ。大切なのは頭脳だ」とアーヴィンが言いました。
「そうは思わない」とコワルスキーが言いました。「体を持つことの全ポイントは、有権者が無意識のうちにプレオットをより普通の候補者として見ることだ」
「普通の候補者は過大評価されている」とアーヴィンが言いました。
「でも普通の候補者が選挙に勝つんだ」とコワルスキーが言いました。「機械は勝たない」
「仮想アバターにすべきだった」とエマが言いました。「このロボット工学の厄介ごとは必要なかった」
「世論調査の結果を見ただろう」とイーサンが言いました。「人々は体を持つ候補者に投票する可能性が高いんだ」
この会話を読んで、私は「ああ、これは本当に理にかなっている」と思いました。政治の世界で働いていた経験から、世論調査がいかに重要かを知っています。これはまるで世論調査の専門家の口から出てきたかのようです。完璧でした。
ええ、その通りです。ここで話している人々は選挙運動のストラテジストたちですね。これが実際の選挙運動の運営方法です。ここでのジョークの一部は、プレオットの体の管理が難しいということですが、実際の候補者も同じように難しいのです。それぞれ異なる方法で。
共和党と民主党の選挙運動マネージャーが意見を交換するシーンがあります。彼らはお互いに同情し合っています。なぜなら、彼らはどちらも難しい仕事を抱えているからです。リングブルは左派のトランプのようなもので、口が軽すぎます。一方、プレオットはLLMで、幻覚を起こしやすいです。
彼らの一人が非常に苦々しく思っているのは、ロボットの体が多くの問題を引き起こしているのに、実際にはチャットボットだけでよかったということです。技術的には体は必要ありませんでした。しかし、世論調査では体が必要だと言っています。だから体を持たなければならないのです。まさにシリコンバレーらしいですね。そういうものなんです。
その通りですね。でも、ペドロ、シリコンバレーらしいのはハードウェアを避けてソフトウェアに集中することですよね。
実際、そのシーンでは、プレオットがバラバラに壊れてしまいます。これはモラベックのパラドックスの一例です。プレオットは討論では非常によく話します。実際、LLMは言葉のやり取りが得意です。しかし、物理的な体が問題を引き起こすのです。
これは非常に重要な現実の問題を示しています。彼らはこれを修理しようとしています。イーサン（主人公で、CEOでありセールスマンであり誇大妄想狂）がアーヴィン（CTO）に「さあ、これを修理しよう」と言います。アーヴィンは「私は機械学習の専門家だ。ハードウェアは扱わない。放っておいてくれ」と答えます。私もそうです。ロボットのハードウェアを修理したくありません。絶対に嫌です。これはシリコンバレーでよくある専門化の言い訳ですね。ハードウェアとソフトウェアだけでなく、フロントエンドとバックエンドなどでも同じです。
まず、ハンス・モラヴェクとそのパラドックスについて説明し、また「身体性」についても触れていましたね。
その通りです。両方ともAIにおける非常に重要な問題です。この小説はそれらを描こうとしています。モラヴェクのパラドックスは、CMUのロボット工学者ハンス・モラヴェクが最初に明確に述べた事実です。私たちはしばらくの間これを目にしてきました。AIにとって簡単に見えることが難しく、逆に難しく見えることが簡単だというものです。
これは非常に直感に反するもので、今でも人々を混乱させています。社会や経済に大きな影響を与えています。例えば、ホワイトカラーの仕事はブルーカラーの仕事よりもはるかに自動化しやすいのです。医者を自動化することはできます。実際、数十年前から医者よりも優れた診断を行う医療診断システムがあります。弁護士なども簡単に自動化できます。しかし、建設作業員は自動化できません。医者や弁護士を自動化するのは、建設作業員を自動化するよりもずっと早いでしょう。これがモラヴェクのパラドックスです。
身体性は、人間レベルの知能を持つAIを本当に学習させるには、最終的に体が必要かどうかという議論全体を指します。LLMはその最新の例です。もちろん、テキストだけから学習できると考える人々は今、大きな成功を収めています。しかし、ヤン・ルカンのような視覚の専門家は、身体性に非常に重点を置いています。
私は人生の大半をテキストマイニングの側で働いてきました。私が出した結論は、興味深い理由から、最終的には体が必要だということです。私たちは無限のテキスト、数兆、数京、数垓の単語を持つことができますが、それだけでは十分ではありません。しかし、短期的な進歩を望むなら、それは本当に素晴らしい方法です。他のどこにもないような莫大なデータポイントがあるからです。
当然、AIは人間と同じ方法で進化しません。制約と機会が異なるからです。だから、私はそれをできる限り推し進めることに賛成です。OpenAIがやっていることに反対しているわけではありません。ただ、それが人間レベルの知能に至る道筋だという幻想を抱くべきではないのです。
次のステップとして、画像や動画、ステレオ動画、音声サンプルを追加することもできます。これは身体性に近づいていると言えるでしょう。しかし、多くの人はそれでもまだ実際に身体を持ち、実際の感覚データを得て、現実の環境と相互作用することとは同じではないと主張するでしょう。
その通りです。実際、私が今言ったことへの常套的な反応は、「でも今はマルチモーダルモデルがあります。視覚や他の感覚も持っています」というものです。私は「その通りです。それは絶対に進むべき道です」と答えます。しかし、ここには非常に重要な注意点がいくつかあります。
まず第一に、これらのデータにTransformerを使うだけでは不十分です。素晴らしいことかもしれませんが、それだけでは足りません。Transformerは素晴らしい進歩であり、それを批判しているわけではありません。しかし、現時点で本当に動画を理解できる人は誰もいません。人々は、きれいな何かを生成するなど、できることに焦点を当てています。それはそれで良いのですが、動画の理解は別物です。動画を理解するには、根本的に新しい機械学習のビジョンアルゴリズムが必要です。
第二に、LLMのように大量のデータを単に掘り下げるだけでは不十分です。世界との相互作用が必要です。身体性の鍵となる要素は相互作用です。心理学には美しい実験があります。2匹の子猫を機械に入れると、機械を制御する方の子猫は正常に見ることを学びますが、もう一方は機能的に盲目になります。視覚系統には何も問題がないのですが、視覚世界の何が何を意味するのかを知らないので盲目なのです。AIでも同じことが起こるでしょう。
私はUWの同僚で、Metaの研究ディレクターも務めている人と話をしました。彼は「マルチモーダルな研究をたくさんしています」と言いました。私は「それは素晴らしいですね。そういう方向に進むべきです」と答えました。しかし彼は「でも、その理由はデータが不足しているからです」と言いました。これが現実なのです。多くの人がマルチモーダルな研究をしているのは、単にもうテキストデータがないからです。「人々はもっと話すべきだ。もっと話してください」と言いたくなります。
あなたの指摘は、システムにより多くのデータと異なるタイプのデータを投入することで改善が得られ、そうすべきだということですね。しかし、それでも環境との実際の相互作用ではありません。自然な実験ではないのです。
その通りです。実際、機械学習には能動学習という分野があります。ここでは単にデータを受動的に掘り下げるのではなく、どのデータポイントを取得するかを積極的に選択します。能動学習は桁違いに効率的です。10億の例が必要なところを、99.99%削減できるかもしれません。
例えば、自動運転車では何百万マイルもの走行データがありますが、そのほとんどが完全に冗長です。人間なら間違えないようなコーナーケースでAIが失敗し続けています。
相互作用を考えてみてください。2歳の子供が遊んでいる時、それが人間が行う最も賢いことです。彼らは次に学ぶべきことを実験しているのです。それは世界が与えるランダムな相互作用ではありません。
最終的に、そのプロセスを通じて、誰も言葉で説明できない基礎を獲得しているのです。これが重要なポイントです。私は自転車の乗り方を知っています。しかし、誰かに自転車の乗り方を説明することはできません。ましてや、コンピューターにプログラムして自転車に乗らせることなどできません。それは実際にやることでしか学べないのです。幸い、コンピューターにもそれができます。問題は、ロボットはインターネットほど速くデータを収集できないことです。だから今、私たちは問題を抱えているのです。
あなたの言う通り、自転車の乗り方は本を読んで学ぶことはできません。自転車に乗っている人々の動画を見ても学べません。自分で自転車に乗る理論を試してみる必要があるのです。
その通りです。これは私たちの脳では無意識的ですが、実際には非常に高度なことです。多くの人はこれを直感的に理解できないか、同意しません。あなたの脳はアインシュタインよりも物理学を知っています。アインシュタインは光速に近い速度や非常に大きな質量など、非常に特殊な現象の物理学を知っています。それはそれで良いのですが、あなたの脳はそれを学ぶ必要がありませんでした。世界はそのように進化しなかったからです。
しかし、日常的な物理学に関しては、ニュートンの法則はそれをほとんど捉えていません。それらの法則が私たちが知っているすべてを教えてくれると考えるのは幻想に近いです。私たちはカオスとダイナミクスについて知っています。あなたの脳は現実の世界、ジャングルを走り、物を飛び越えることなどに驚くほど長けています。現在の工学では、それに匹敵するものは何もありません。
最も重要なことは、子供たちや私たちが非常に少ない例から学べるということです。それらから遠く離れた一般化ができるのです。象を一度見ただけで、永遠に象を知ることができます。もちろん、機械学習にはこれを実現しようとする多くの試みがありますが、まだ解決できていません。私たちはまだはるかに多くの例を必要としています。
アルファ碁がイ・セドルに勝ったのは、彼が経験したことのある何百万倍もの対局をしたからです。私にとって、ある意味でより公平な競争は、同じ数の対局から学んだ機械と人間を比較することです。誰が勝つでしょうか？人間が機械を圧倒的に打ち負かすでしょう。
これを以前の本に戻して考えると、身体性と身体性を通じて得られる学習は、AGIの発展に必要不可欠なのでしょうか？それはある種のマスターアルゴリズムの一部なのでしょうか？
『マスターアルゴリズム』の主張は、マスターアルゴリズムと呼ばれるものがあり、それは全てを学習できる1つのアルゴリズムだということです。私はこの点について、理論的にも経験的にも多くの証拠を挙げています。
最も単純な経験的証拠は、私たちには2つの実例があるということです。あなたの脳です。定義上、マスターアルゴリズムはあなたの脳ができることは何でも学習できます。あなたの脳がアルゴリズムだと信じるなら、それはそのようなマスターアルゴリズムです。
進化そのものもマスターアルゴリズムです。なぜなら、それはあなたの脳を生み出したからです。
機械学習の目標は、明示的にせよ暗黙的にせよ、常にこのような非常に一般的なアルゴリズムを生み出すことでした。同じアルゴリズムが全く異なることを行えるのです。チェスをプレイしたり、飛行機を操縦したりできます。
しかし、そのアルゴリズムを体に入れ、環境と相互作用させることで、人間が行うこと、例えばトラから逃げたり、皿洗いをしたりすることを本当に学習できるようになります。
逆に言えば、その知能が発達するためには、体が必要で自然な実験ができる必要があると私は考えています。
その通りです。実際、これが障壁の一部です。私たちをここまで導いてきたもの、そして技術分野の人々でさえ本当に理解していないと思うのは、機械学習の方法論です。これは私が大学院で学んだことです。
現実のデータセットを使用し、それをランダムに訓練データとテストデータに分割するという方法です。おもちゃの世界ではだめだとわかっています。DeepMindもそれを知っています。これは『失敗のコメディ』のもう一つの興味深い部分です。
実際のデータセットを使い、それを訓練データとテストデータにランダムに分割し、テストデータでうまくいくまで何でもやってみる。これはコンピューターの速度で行われる科学的方法です。非常に重要なアイデアです。
しかし、問題は、この方法でできることの限界に近づいているということです。実際の相互作用で同じことをしようとすると、はるかに難しく、はるかに高価で、はるかに不便です。大学院生なら6ヶ月で論文を、4年で博士号を取得する必要があります。データセットをダウンロードして遊ぶのは素晴らしいです。私も大学院生の時にそうしました。しかし、相互作用の全体は…そうですね、10年とロボットが必要です。ソフトウェアよりもはるかに難しいのです。『2040年』でも描いているように。
だから人々がそれをやっていない理由があるのです。興味深いですね。NVIDIAが提供しようとしているようなシミュレーション環境と、シムから現実への転移についてどう思いますか？
良い質問です。シミュレーション環境はAIの長い歴史があります。いつも起こることは、これが非常に明らかなことなので、DeepMindの全アプローチがそうでしたが、シミュレーションで物事を試してみましょうということになります。
シミュレーションの問題は、常に過度に単純化してしまうことです。まず、肯定的な面から説明しましょう。私が運転を学んだ時、最初の数レッスンはシミュレーターで行いました。そして実際の車の運転を始めました。最初の数レッスンについては、これは実際に良いことです。
OpenAIはロボットハンドで賢いことをしました。シミュレーションで大量の作業を行い、それを現実世界に素早く転移させることができました。だから、シミュレーションはある程度まで役立ちます。
しかし、問題は、機械学習が特に、シミュレーションと現実世界の違いを見つけ出し、それを利用してしまう驚くべき能力を持っていることです。しかし、その過度の単純化は、もちろん学習アルゴリズムが注目するところです。
ある意味で、AIは30年間シミュレーションや単純化された世界（ブロックワールドなど）で物事を行おうとしてきました。そのほとんどがシミュレーションでした。そして失敗しました。
機械学習で「これからは現実世界の中で蚊やバグになる必要がある。そうすれば猫や何かになるチャンスがある。現実のタスクで何かできるようになるまでは、どこにも行けない」と言い始めた時に、AIは飛躍的に進歩しました。これは今でも真実だと思います。
DeepMindは今どこにいるでしょうか？彼らの全アジェンダは「人工的な環境から始めて、そこからロボットに移行する」というものでした。DeepMindの人々に対する私の敬意は大きいのですが、それは行き詰まっています。彼らの大きな成果は今、タンパク質です。これは素晴らしいことですが、やはりある程度単純化された世界です。
シミュレーションでは達成できないという知恵は、依然として有効だと思います。
よく言ってくれました。私はDeepMindが「Coast Runner 7」というゲームを学習している様子を見せました。最終的にアルゴリズムは「コースを外れて常に円を描いて走れば、最高得点が取れる」ということを学習しました。ゲームには勝っていますが、同時にチートをしているようなものです。
例を挙げましょう。Atariのゲームを人間よりも少ない回数のプレイで人間以上にプレイできる最初の強化学習システムを開発した学生がいました。私の知る限り、これが初めてでした。DeepMindはもっと多くのゲームを必要としました。
しかし、それはとても脆弱です。例えば、ブロックを破壊するゲームBreakoutで大成功を収めました。しかし、天井の位置を1ピクセル変えただけで、ランダムな動きと同じくらい悪くなってしまいます。これがどれほど悪いかがわかります。天井を1ピクセル動かしただけで、ランダムな動きと同じくらいのパフォーマンスに落ちてしまうのです。そのような堅牢性が本当に重要です。
コメント欄でMajさんから質問がありました。ペドロに聞きたいそうです。「そのようなマスターアルゴリズムにおいて、スケールはどの程度重要な役割を果たすのでしょうか？『苦い教訓』はまだ適用されるのでしょうか？」
素晴らしい質問です。AIでは非常に大きな、そして議論の的となっている問題です。しかし、人々はいくつかの点で誤解しがちだと思います。
2つの極端な立場があり、そして私の信じることを説明しましょう。ちなみに、私は実際に初期のキャリアのほとんどをスケールアップに費やしました。アルゴリズムをスケールアップすることに。
一方の極には、OpenAIのイリヤ・サツキーバーを例に挙げましょう。彼は「ただスケールアップすることで最後まで行ける」という究極の例です。私たちが話してきたように、これは幻想だと思います。ほとんどの優れた研究者はこれが幻想だということに同意すると思います。なぜそれが幻想なのか、もう少し詳しく説明できます。
しかし、スペクトルの反対側には、スケールアップは単なるエンジニアリングで、ボタンを押せば済むこと、本当の科学的問題はないと考える人々がいます。スケールアップは重要ではなく、次世代のアルゴリズムを見つけ出す必要があると。
これも間違いです。知能はすべてスケールアップに関するものです。スケールアップすると、複雑さが増し、データポイントの数が増えます。そこで脳が必要になるのです。知能がなければ、大規模でない計算問題があれば、単に有限状態機械を構築すれば済みます。
例えば、「この新しい目的関数を思いついた。これがAI問題の解決策だ」と言う人がいます。特定の人を批判することもできますが、それは完全な妄想です。本当の行動は、非常に大規模にそれを最適化しようとする時に起こるのです。
私に早い段階で起こったことは、90年代に博士号を取得した時、当時の機械学習アルゴリズムをスケールアップすることが私たちの関心事でした。それらは超線形だったからです。私たちの希望は、それらを線形にできれば、今ある大量のデータで最後まで行けるかもしれないというものでした。
そして、実際にとても上手くいきました。ある時点で、これらのアルゴリズムが無限のデータがあれば学習することを、定理で示すことができました。有限のデータでアルゴリズムが行っていることと、無限のデータがあった場合の違いを限定することができたのです。これは普通の学習理論ではありません。ある表現についてではなく、実際のアルゴリズムについてです。
しかし、無限のデータがあっても、これらのアルゴリズム、例えば決定木の学習や k-means などの古典的な例は、依然として非常に愚かです。スケールアップするだけでは、私たちの努力がいくら良くても、十分ではありませんでした。
そこで私は方向転換し、まさにマルコフ論理のような研究を始めました。任意の時点で、スケールアップに取り組む人々がいるべきです。OpenAIのような人々です。同時に、次世代のアルゴリズムに取り組む人々もいるべきです。
なぜなら、人間の脳はスケールアップされた脳ではないからです。その脳がどのように機能するかを理解し、そしてそれをスケールアップする必要があります。実際には、この2つを交互に行うか、同時に行う必要があります。
現在、私たちは完全なスケールアップモードにいます。しかし、私の研究は実際には意図的に小規模で、できる限り単純で興味深いデータセットで次世代のアルゴリズムを見つけ出そうとしています。しかし、もちろん、それを最後までスケールアップする必要があります。それも不可欠な部分であり、科学的に興味深い問題となるでしょう。
あなたの全体的な哲学をこう表現できると思います：スケールアップが機能している体制にいる時は、限界まで押し進める。そして、機能しなくなった時、あるいはその前に、次のパラダイム、次のS字カーブは何になるかを考え始める。
その通りです。ただし、次のように修正したいと思います。異なる人々が同時に異なることを行うことができます。待つ必要はありません。例えば、現在の状況では、スケールアップを最後まで押し進める人々がいるべきです。しかし同時に、次のことに取り組む人々もいるべきです。
現在の問題は、スケールアップの部分に너무多くの人々が転向してしまい、長期的にはより重要になる次のS字カーブに到達するための人々やアイデアが不足していることです。
あなたは何度か現在取り組んでいることについて示唆しましたが、もっと詳しく教えていただけますか？何を試みていて、それが何を達成すると思いますか？
私が試みていることは、『マスターアルゴリズム』以前から、これら5つのパラダイムすべてを統一することです。私たちはそれを2つずつ、3つずつ行ってきました。『マスターアルゴリズム』では、全体がどのように機能するかの概要を示しました。問題はスケーリングでした。
今、私には実際に完全に関連する、はるかに良い方法があります。歴史的に見ると、機械学習の調査として、この本は驚くほど時事的です。古くなった内容は何もありません。本を書く時、それを念頭に置いていました。常に同じだった重要なアイデアに焦点を当てようとしました。
機械学習のパラドックスは、70年の歴史があり、常に新しいものがありますが、鍵となるアイデアはすべて50〜60年前からあるということです。これらのパラダイムは当時から同じです。これらのことに焦点を当てれば、時代遅れにはなりません。本はまだそうではありません。
とはいえ、これらの異なるパラダイムを組み合わせる特定の方法については、当然ながら今ははるかに良いものがあります。特に、現在私が取り組んでいる主なものは「テンソル論理」と呼ばれるもので、マルコフ論理が確率的論理と論理的なものを統一したのと同じように、ディープラーニングと記号論理を統一するものです。
興味深いですね。あなたの最新の研究や最近の研究を追いたい人がいれば、これは公開されていますか？学べる場所はありますか？
これはまだ公開されていません。しかし、近いうちに公開されることを願っています。私はあなたをからかっているだけではありません。あなたが質問したので、答えなければなりませんでした。
しかし、注意点があります。理論と実践には違いがないと言われますが、実際には違いがあります。私が行った実験は、「ポスト経済的」と呼ばれる立場を利用して、出版の圧力や何かから完全に離れ、正しい方向に最も速い進歩を遂げようとしました。
論文を書くのは早いですが、一連の実験を行う必要があり、その結果を公開するために行うすべてのことが、局所的な最適解に収束し始めます。これは避けられません。そして、局所的な最適解に陥ると、そこから抜け出すのに時間がかかるだけでなく、そこから掘り出すのにかかる時間も問題になります。
例えば、現在のように局所的な最適解にいる時、進歩の最大の障害は最先端の技術です。最先端の技術は、自分自身を掘り出さなければならない穴なのです。
私は可能な限り速い進歩を遂げようとしています。これまでの実験は単純なものでした。方法は機能しますが、1兆語のスケールにまでスケールアップした時に機能する保証はありません。結局のところ、機械学習は経験科学です。
この研究の方向性に非常に興奮していますが、いつか出版されたり、再び話し合ったりする時には、「これは驚くべきことです。すべてのTransformerは時代遅れになりました」と言えるかもしれません。あるいは、「大きな壁にぶつかりました。見落としていた実用上の制限がありました」と言うかもしれません。どちらにも行く可能性があります。それがこの仕事を面白くしているのです。
研究者として興味深いのは、現代の研究者はブログに書いたり、インタビューを受けたりと、研究を公開する方法が多くあることです。研究者として、以前よりも自由度が高くなったと感じますか？それとも何か悪くなったことはありますか？
ある意味では自由度が高くなり、別の意味では低くなっています。確かに、様々な方法で公開できます。しかし、本当の問題は次のようなものです。研究を行い、それを成功させ、正当な影響力を持たせたい場合、何をする必要があるでしょうか？
問題は、現時点では実際に難しいということです。なぜなら、すべてを行う必要があるからです。この技術を習得したラボ、DeepMind、OpenAI、FAIR などを見てみると、それはピラミッドのようです。ツイート、あるいはツイートストーム、それを裏付けるブログ記事、それを裏付ける論文、そしてそれを裏付ける大量のデータセットとコードを含むGitHubリポジトリがあります。
ある意味で、そのピラミッド全体が必要です。ほとんどの人はツイートしか見ません。一部の人はブログを見て、さらに一部の人が論文を見ます。個人的には、ツイートを見たらブログに行き、「論文へのリンクはどこ？」と探し、論文に行きます。しかし、ほとんどの人にとってはそうではありません。
だから、すべてを行う必要があります。これらのどれも失敗の可能性があります。ある意味で、現在の大学院生たちが気の毒です。以前は、ICMLとNIPSの会議録全体を読んでいました。すべての論文のすべてのページを読むわけではありませんが、少なくともすべての論文に目を通していました。
ICMLは機械学習の主要な会議で、NIPSはディープラーニングの主要な会議でした。この分類は常にありました。しかし、今日ではそれは不可能です。
では、どうすればいいのでしょうか？例えば、あなたが大学院生で、素晴らしい研究をしたとします。その研究を騒音の中から目立たせることは、ほぼ不可能です。1年間の人生をそれに費やしたのに、人々は論文のタイトルを読んで「つまらない、次」と言うのです。彼らはそれを処理しません。あなたの要約を読むこともありません。
これの別の非常に悪質な面は、これは何度も繰り返し起こっていることですが、私たちは今、コミュニティとしてこの状況から抜け出す必要があります。Googleや OpenAI などが何十億ドルもの資金と資源を投じて構築したLLMを上回らなければ、あなたの研究は注目されないという点に来ています。
これは自殺行為です。誰かが明日、真の次の大きなアイデアを発明したとしても、人々は「これらの小さな実験しかしていない」と言うでしょう。「気にしない、却下」となり、どうやって自分を売り込めばいいのでしょうか？非常に難しいです。
実際、ハードウェアが整っていなかった時、ニューラルネットワークに対して私たちがしたのはまさにそれでした。「このアイデアを試してみたけど、あまりうまくいかないし、実用的ではない」と言って、かなりの間、他の技術に移行しました。
同意します。でも笑ってしまいます。機械学習の世界には周期があり、振動があります。その一つは、私たちが先ほど言及したものです。データに制約されているのか、それとも計算に制約されているのか。機械学習の特定の10年間では、データに制約されていました。そのため、よりスマートなアルゴリズムが必要でした。計算に制約されている時は、スケールアップする必要があります。
これは一つのサイクルです。もう一つのサイクルは、これと無関係ではありませんが、より経験的であるか、より理論的であるかの間の振動です。90年代と2000年代に起こったこと、そしてニューラルネットワークの前回の台頭は80年代と90年代でした。
ニューラルネットワークは、良くも悪くも、人々が良い理論を作れると主張したことはありませんでした。少数の人々は試みましたが、大部分の実践者は「とにかく機能する」というジェフ・ヒントンの標語を掲げていました。
「でも、あなたの確率が負になっています」と言われると、「気にしない。私はジェフ・ヒントンだ。負の確率でもやっていける」と答えました。そして実際にそうでした。それが経験主義でした。
その後、ベイズ学習が20年間続き、その後にカーネル学習が続きました。これらは超理論的で数学的でした。「定理があるか」が重要でした。実験結果はあとから見るものでした。
機械学習には二種類の人がいるという冗談があります。論文を前から後ろに読む人と、後ろから前に読む人です。定理が好きなら実験をさっと見て終わり、実験結果が好きなら論文が何を言おうとしているのかを確認するために前に戻ります。
この振り子は常に揺れ動いています。そして今、これまでで最も激しく、完全に経験的な側に振れています。
私の知る限り、次の10年間も同じことが起こるかもしれませんし、そうでないかもしれません。『マスターアルゴリズム』で最も重要なパターン、これは今日でも真実かもしれませんし、そうでないかもしれませんが、10年ごとにこれら5つのパラダイムの新しいものがトップに立つということです。
80年代はニューラルネットワークでした。これはNIPSが作られた時期で、「Neural Information Processing Systems」と呼ばれました。90年代には、論文のタイトルに「neural」という言葉があることが、却下の最も強い指標になりました。
NIPSにニューラルネットワークの論文を提出していたら、完全に時代遅れだったということです。実際、当時の冗談は、NIPSはBIPS（Bayesian Information Processing Systems）に、そしてKIPS（Kernel Information Processing Systems）に変わるべきだというものでした。
2009年、モントリオールでのICMLで、ヨシュア・ベンジオと冗談を言い合ったのを覚えています。彼の拠点がある場所です。「次の10年は何になるんだろう？」と私は彼に言いました。私はちょうどディープラーニングに手を出し始めたところで、彼は永遠にそれをやっていました。
「次の10年、つまり2010年代はDIPS（Deep Information Processing Systems）になるんじゃないか」と言いました。ヨシュアは笑い出しました。それが起こるとは想像もできなかったからです。
2年後、ディープラーニングはニューヨークタイムズの一面を飾りました。もちろん、それは今日私たちが見ているものと比べれば何でもありませんでした。
次の10年は何になるでしょうか？さらにディープラーニングかもしれませんし、全く別のものかもしれません。
あなたの理論によれば、記号的情報処理システムか何かになるはずですね。
その通りです。ローテーションすべきです。あるいは進化的なものかもしれません。パラダイムの一つかもしれません。あるいは類推的なものかもしれません。これは実際に心理学から来ているものです。
AIを心理学の観点から見ると、類推的推論は私たちがすべてを行う方法です。ダグラス・ホフスタッターには有名な本がありますが、最近のものでは、すべての認知が単なる類推であるという400ページの本があります。
私の知る限り、2030年代は類推的学習がすべてになるかもしれません。私たちのベンチマークはすべてボンガード問題になるかもしれません。
そうですね。今日でも、これらの単純な問題に戻る必要があると言っている人々がいます。なぜなら、それらは人間が明らかに半ダースの例で行えることであり、LLMは完全に失敗するからです。そこに行く必要があるのです。
さて、現在取り組んでいることと、次に何を期待できるかについて少し時間を取りましょう。どちらについて話したいですか？
実際、現在取り組んでいることが次に期待できることです。冗談っぽく言っていますが、人々に「次の大きなことに取り組んでいます」と言うのは、もし他に次の大きなことがあると思っていたら、それに取り組んでいるはずだからです。だから、それは本当に冗長な発言です。
もう一冊本を書く予定はありますか？もしそうなら、どのジャンルになりますか？
はい、私の人生に残された年月よりも書きたい本の方が多いです。だから、厳しく優先順位をつけなければなりません。しかし、書きたいと思っています。
この小説を書くのは一種の気まぐれでした。一回限りのことで、楽しかったです。また、hopefully有用な目的も果たしたと思います。しかし、正直なところ、私は心の底から小説家ではありません。小説家である人々を知っていますが、彼らは特定の種類の心を持っています。私はどちらかというと分析的で、総合的ではありません。
次に書きたい本は、ノンフィクションです。書く時期は様々な要因に依存します。書きたい本の一つは、これが非常に必要とされていると思うからです。AIを単なる技術分野としてではなく、世界にとって、あなたにとって、社会にとって、経済にとって、政治にとってAIが何を意味するのかを理解する本です。
正直なところ、この本が非常に必要とされている理由の一つは、現在のこのトピックに関する議論があまりにも貧弱だからです。ばかげています。小さな例を挙げましょう。
「AI倫理」という分野全体があります。AI倫理は、人々が現在の倫理システムにAIを無理やり当てはめようとしていることから成り立っています。
しかし、AIが本当に火以来最大のものであれば、間違いなく社会を根本的に変えるでしょう。印刷機を考えてみてください。印刷機は宗教改革を引き起こし、戦争を引き起こし、アメリカを生み出しました。
だから、私の主張は、AIが私たちの倫理原則を変えるだろうということです。しかし、誰もこれを聞きたがりません。一部の人々は「ふむ、面白い考えだ」と言います。これはより知的な人々です。他の人々は口から泡を吹き始めます。「いや、いや、いや、私の倫理原則は永遠に正しいんだ。もう黙れ」と。
これは一例に過ぎません。これは私たちの倫理や価値観に対するより根本的な変化を示唆していますね。
その通りです。私たちが当然と考えていることの多くは、実際にはその時代特有のものです。例えば、私たちの現在の価値観は、500年前には封建制がありました。封建制には封建制なりの倫理システムがありました。そして、商人が台頭してきました。私たちは彼らの子孫です。だから、私たちは現在、商人や実業家に適した倫理システムを持っているのです。
これは現実的に考えることです。AIは経済秩序を変えるでしょう。力を持つ人々が変わります。未来の倫理システムは、未来に力を持つ人々に役立つものになるでしょう。これが起こらない社会力学はありません。
仮の題名はありますか？
仮の題名は「AIとあなた」です。なぜなら、本当にAIとあなたの関係について書きたいからです。私が批判しようとしているもう一つのことは、人々がAIについて話し始めると目が glazed over（うわの空）になることです。
「明日がんを治す」とか「明日これをする」とか。でも、あなたの人生において、あなたが行うこと、あなたが信じること、あなたの仕事、あなたのデート、AIがあなたの人生をどのように変えるのか、そしてそれにどのように備えることができるのか、それについて書きたいのです。
実際、これは非常に実用的な目的を持った本です。最近、私が尊敬する人々によって書かれた本がいくつか出版されていますが、正直なところ、それらの本は「AIはこうだ、ああだ」と漠然と言っているだけです。ユートピアになるか、私たちを全滅させるかのどちらかだと。これらはあまり役に立ちません。これらはすべて気を散らすものです。
興味深いですね。ペドロ、あとどのくらい時間がありますか？もう少し時間がありますか？ジョー、あなたはどうですか？
私は大丈夫です。まず、ここに「AI Doomer T」というマグカップがあります。あなたはショーに出演したので、これをプレゼントします。「発射！発射！でも、私たちは皆ペーパークリップに変えられてしまうのでは？」と書いてあります。
このマグカップを無料でプレゼントします。そして、この流れについてもう少し深く掘り下げたいと思います。技術が社会としての私たちをどのように進化させ、何が可能だと考えるかを変えるということについて、私たちはあまり考えていません。
もう少しその点について詳しく教えてください。そして、すべての国が「コンピューティング法を作る」とか「モデルのトレーニングには一定のFLOPS以上使えない」などと言って走り回っていることについて、あなたの考えを聞かせてください。私はただAIが2ページを自己破壊せずに通過できるようにしたいだけなのに、彼らは「いずれ核のコードを手に入れて、私たちを皆殺しにするだろう」などと言っています。一体何が起こっているのでしょうか？
すでに笑っています。あなたが今言ったことは素晴らしいです。「技術が私たちを進化させる」という言葉を盗んでツイートしたいくらいです。私たちは皆、私たちが技術を進化させることを知っています。しかし、技術が私たちを進化させるということを誰も知りません。この3つの言葉には多くの意味が込められています。ありがとうございます。
ジョーは10,000のアイデアのうち1つが良いアイデアで、残りの9,999は駄目なアイデアです。もしポッドキャストへのリンクも付けてくれたら素晴らしいです。
いや、いや、私はこのポッドキャストを消去して、私が所有しています。世界支配への道を邪魔する人は誰でも排除します。申し訳ありませんが、あなたは邪魔なだけです。
さて、まず第一に、みんながプレオットに投票し、また本を買えば、AIについて心配する必要はありません。ちなみに、おそらくあなたは反対側の攻撃ラインを読んだことがあるでしょう。プレオットを人類への脅威として描こうとするものです。
ある時点で、イーサンがランダムな男に「誰に投票するつもりだ？」と尋ねます。彼は「アメリカの終わりと世界の終わりの間では、世界の終わりの方が悪いから、プレオットに投票するよ」と答えます。これは平均的なアメリカ人にとってあまりにも正確で、笑うべきか泣くべきか分かりません。
しかし、あなたの質問に答えるために、モラベックのパラドックスと、AIがどこに向かっているかを人々が本当に理解していないことを示す点を説明しましたが、これは悲劇的なことです。私は笑っていますが、実際には悲劇的です。
非常に有害な法律が次々と制定されています。ヨーロッパには1つあり、カリフォルニアはもうすぐ1つ制定しようとしています。バイデンは大統領令を出しました。あなたがすでに言及したように、これらの人々は決して学ばないのか、それとも最初から知らなかったのでしょうか。
「X個以上のパラメータを持つモデルを規制する」と言うのは、1980年に「640KB以上のRAMを持つコンピュータを規制する」と言うようなものです。誰も640KB以上必要ないでしょう？冗談でしょう？
一方で、政治的な話をして申し訳ありませんが、AIタスクフォースの責任者はカマラ・ハリスです。彼女がAIの世界的な専門家であることは皆知っていますよね。
あなたは私たちを追放させようとしていますね。私たちはすでにブロックされています。
そうですね、私たちはキャンセルされました。両側に面白いことがあります。ちなみに、風刺の重要なポイントの1つは、誰も平等に攻撃することです。風刺が一方の側だけを攻撃しているなら、それは良い風刺ではありません。
本の大部分は共和党の候補を攻撃していますが、両側を攻撃する必要があります。私はあなたの本を「虚栄の篝火」と比較していましたが、本当はジョナサン・スウィフトの本の1つと比較すべきでした。あなたは本当にその流れを汲んでいます。
実際、本の着想源について言及すべきでした。「虚栄の篝火」がその着想源でした。なぜなら、「虚栄の篝火」は80年代の象徴的な産業とその周辺の世界全体を取り上げ、基本的にそれを粉々に砕いたからです。
これは実際に、ジャーナリストの友人たちへの私のアイデア、私のピッチでした。「なぜテック業界の虚栄の篝火を書かないのか」と。もちろん、本のスタイルは非常に異なります。「虚栄の篝火」は非常に深い描写がありますが、テック業界では、そしてこの本では、誰もそれほどの注意力を持っていません。
これは数時間で読みたい本です。しかし、あなたの言う通り、すべてを等しく激しく風刺するという点では、ジョナサン・スウィフトの方がより近いモデルです。彼は当時の科学者たちを攻撃しました。私は科学者であり、私の両親も科学者だったので、科学者たちの欠点を誰よりもよく知っています。
本の中でもそれを描いています。2人の主人公は、ジョン・ジェフィントン教授の大学院生です。彼は「意識に関する新しい情報処理システム」についての論文を発表しました。その頭字語はNIPSです。これは実際にはジョークです。なぜなら、ニューラル情報処理システムがその名前として間違っていたことが判明したからです。
しかし、話がそれてしまいました。「2040年」について話すのは簡単です。制定されている法律は深刻です。私は、AIが本当に数兆ドルのGDPをもたらすと信じています。今後100年間で、AIによってGDPが2倍以上になるでしょう。
これらの誤った恐れや理解不足に基づいて、それを不可能にするような法律を制定することはできません。例を挙げましょう。
EUのAI法は、AIの非常に重要な応用のいくつかを完全に違法化しています。彼らは数年前にそれを準備していました。私たちの何人かが、これはすぐに時代遅れになると警告しました。ChatGPTが登場した時、彼らは法律を急いで修正して新しいモデルに適用しなければなりませんでした。しかし、2年後にはまた時代遅れになるでしょう。彼らは教訓を学ばないのでしょうか？
私たちは昨日のAIのための法律を作っていますが、AIは未来の技術です。さらに、立法者たちにある程度同情します。AIは車や飛行機や薬のような、彼らが通常規制している技術とは異なります。機械学習の美しさは、技術が継続的に進化することです。
だから、車についてのような固定されたルールセットを持つことはできません。単純に機能しません。しかし、政治家にこれを理解してもらうのは非常に難しいです。
プラス、彼らには「何かをする」という圧力がありますね。行動を起こさなければなりません。もし私が官職にあって何もしていなければ、ペドロは「私が行動を起こします。たとえその行動が悪くても」と言うでしょう。人々は「少なくともペドロは何かをしている」と思い、彼に投票するでしょう。
その通りです。彼らは何かをしなければならないという圧力を感じています。これは議会のスタッフが私に教えてくれたことです。AIについて話している時に。
アメリカ全土で、ChatGPTが登場して以来、ほぼ1000件のAI関連法案が提出されたことをご存知ですか？ほぼ1000件です。誰もがこの動きに乗りたがっています。
部分的には、彼らは何かをしなければならないと感じているからです。しかし、この人が私に教えてくれたこと、後から考えれば気づくべきだったことですが、これを行っている多くの人々は単に自分のキャリアを推進したいだけなのです。
彼らは自分の名前がAI法案に載ることを望んでいます。「私は○○上院議員で、AI法案を書きました。私はすごいから、私に投票してください」というわけです。法案が意味をなすかどうかは、スタッフが考えることです。これが物事が実際にどのように機能しているのです。
これらは、あなたが最初に描写した「イナゴの大群」ですね。
そうです。ちなみに、私には思いつかなかったことがもう一つあります。まず、楽観的な側面から言うと、スタッフの何人かが私に言ったのは、「心配しすぎないでください。あなたは心配しすぎています。これらの法案のほとんどは死産です」ということでした。
ここでは米国上院の話をしていますが、州レベルの法案については分かりません。残っている法案のほとんどは、先に進むための動機付けになっているものです。
しかし、彼らが言った別の大きな動機は興味深いものでした。テクノロジー企業を心の底から嫌っている上院議員がいて、彼らは自分たちの自由になるあらゆるツールを使って彼らを攻撃するだろうということです。これが最新のツールなので、彼らはそれを使うでしょう。
これが現実の世界がどのように機能するのかです。世界のためになるから法律を作るのではなく、敵を攻撃するために法律を作るのです。
EUからのプライバシー法案について強い印象を受けました。少なくとも草案を作成している人々の一部は、アメリカのテクノロジー企業に対する憎しみと、それらがヨーロッパのメディア企業に与えた影響に動機づけられているようでした。
その通りです。ヨーロッパには、幸いにもアメリカにはない特別な問題があります。私はもともとヨーロッパ出身で、あらゆるレベルの人々、欧州議会の議員や大臣などと話をしました。
彼らには問題があります。少なくともアメリカにはロビー活動をして自分たちの声を届け、多くの雇用を生み出すテクノロジー企業がありますが、ヨーロッパにはそれがありません。
ヨーロッパの産業の観点からテクノロジーを見ると、それはすべて脅威であり、悪いものです。そして誰が立法者の耳に入っているかというと、これらのメディア企業です。
結果として、有益な法案が最終的に出てくる可能性はほとんどありません。そして彼らは私に「でも、この法案を起草する際に多くのAI専門家と話をしました。あなたは何が問題なのですか？」と言います。私は「どんな法案を通したいか教えてください。そうすれば、どのAI専門家と話をすべきか教えられます」と答えます。
彼らが指摘する専門家が「いや、これらの人々は間違っています。アメリカのテクノロジー大手が正しいのです」と言うようなことは、絶対に起こりません。
それは、もう一つの点を思い出させます。ああ、私の犬たちがシニア・フェッチ・レポーターとして質問があるようです。こんにちは、ペドロ。大ファンです。仮説的な質問があります。
滑稽な出来事の連鎖で、あなたは終身刑を言い渡されたとしましょう。あなたは人生の終わりまで一緒に話をする独房仲間を選ばなければなりません。選択肢は、ユド・ヴァル・ハラリ、ゲイリー・マーカス、コナー・レーヒーのいずれかです。誰を選び、なぜですか？
最初の人は誰でしたか？
エリエゼル・ユドコウスキーです。
ああ、親愛なる友よ、あなたは本当にサディストですね。大人に敬意を表して、代わりに犬を選べますか？
彼女は、それが正解だと言っています。もう一つの正解は「致死注射を選びます」でしたが、あなたの答えの方が良かったです。
ヨーロッパの政治について指摘したことは興味深いですね。世界的な観点から見ると、ヨーロッパにも成功しているテクノロジー企業が存在することが私たちの利益になるように思います。そうすれば、彼らの政治プロセスへの何らかのインプットがあるでしょう。
複数の理由からそうですね。一つは、多様性の方が良いということです。ヨーロッパやその他の場所の人々によく言うのですが、彼らは必ずしも聞きたがりませんが、世界の問題は十分なアメリカがないことです。アメリカを持つことは本当に良いことです。
ヨーロッパ人とアメリカ人は全く異なる優先順位を持つ自由がありますが、そのような多様性は良いことです。しかし、私たちは一つの国に너무依存しています。アメリカで物事が悪化する可能性があります。多くの人々は、どの角度から見ても悪化していると言うでしょう。
もし半ダースのアメリカがあれば、世界はもっと…機械学習でのアンサンブルのようなものです。一つのモデルだけを持ちたくありません。ヨーロッパにもGoogleがあればいいのにと思います。
そうですね。AIのための都市国家がギリシャのように複数あり、これらの小さなAIモデルが互いにチェックし合い、簡単に腐敗したり「これをもう公開しない」と決定したりできる巨大な組織だけではないようにすべきです。
その通りです。ヨーロッパにもAIエコシステムが必要です。ヨーロッパ自身の繁栄とGDPのためにも、彼らにはAIが必要です。
そして三番目で、おそらく最も重要な点は、私たちは民主主義と独裁制の間の競争の中にいるということです。私は民主主義の方が良いと強く信じていますが、中国の方が遥かに大きいです。
中国に立ち向かうのはアメリカの仕事だという考えは間違っています。5億人のヨーロッパ人が3億人以上のアメリカ人と一緒に最大限の努力をしなければ、私たちは負けてしまいます。だからヨーロッパよ、早く目を覚ませ。
その通りです。アーメン。あなたの立場は、十分なアメリカがないだけでなく、十分なアメリカスがないということですね。
その通りです。実際、これは興味深いトレードオフです。一方ではネットワーク効果が非常に重要であることを知っています。しかし、重要な質量を持つことも望ましいです。数億人規模の統一された市場は実際に良いことです。
アメリカにとってはうまく機能しています。ヨーロッパにもそれがあればいいのに。なぜラテンアメリカはまとまらないのでしょうか？これはボリバルが望んでいたことです。彼らは統一を望んでいました。
ブラジルで今何が起こっているのでしょうか？ポルトガルですが、ラテンアメリカで何が起こっているのでしょうか？そこからは素晴らしいエンジニアリング人材が出ていますが、彼らのAIチャンピオンはどこにいるのでしょうか？主要なテクノロジー企業はどこにあるのでしょうか？私には見えません。
その通りです。その一歩手前として、彼らがより統一されていれば、より簡単に発展のレベルに達することができるでしょう。
私が思うに、次の第三次世界大戦は…これを完全に真面目に言っているわけではありませんが、希望的に…第三次世界大戦が最も起こりそうな国の間で起こるとすれば、それはアメリカと中国でしょう。しかし、『2040年』で簡単に描いているように、中国がその戦争に勝つでしょう。
次の戦争は、中国とアフリカの間で起こると私は推測します。中国は統一された大陸になり、人口の数でも、より分散したモデルを持つという点でも巨大になるでしょう。
これらの国境は欧州人によって引かれたもので、本当の境界線ではないことを覚えておく必要があります。サイズと多様性の組み合わせという観点から見ると、アフリカは一度問題を乗り越えれば、中国と競合する超大国になる可能性があります。
その通りですね。私の友人の一人を番組に呼ぶ予定です。彼はスタートアップを運営していて、300人ほどの従業員まで成長しました。インドで始めましたが、今ではアフリカでより多くの人を雇用しています。本当に優秀なエンジニアを見つけているからです。ただ、国内の力学や様々な問題に対処しなければなりません。
ペドロ、これは素晴らしい話でした。誰かが調子に乗っている時は「料理させておけ」という古い言葉がありますが、あなたは本当に絶好調でした。話を続けさせたいと思います。ありがとうございました。
皆さん、彼の本『2040年：シリコンバレー風刺』をチェックしてください。この本を通して笑い続けることができますし、同時に考えさせられます。私たちは4冊の無料コピーをプレゼントします。チャンネルをサポートし、Discordに行って、本のプレゼントチャンネルにあなたの名前を抽選に入れてください。
ペドロ、来てくれてありがとうございます。新しい研究を発表したり、新しい本を出したりする時は、また来てください。あなたはショーに呼ぶのに素晴らしい人物です。本当にありがとうございました。時間を取ってくれて感謝します。
もちろんです。呼んでくれてありがとう。そして料理させてくれてありがとう。
いつでもどうぞ。友よ、ここにいてください。ライブストリームをオフにするので。
皆さん、ライブストリームをご覧いただきありがとうございました。このポッドキャストがどうだったか、Discordでディスカッションしましょう。皆さんには素晴らしいコメントがたくさんあると思います。ペドロ、少し待っていてください。チャットの皆さん、Discordでお会いしましょう。さようなら。
番組を見ていただきありがとうございます。特に、番組を継続させてくれているPatreonとYouTubeチャンネルメンバーの皆さんに感謝します。AI、ビジネス、コメディに深く切り込む私たちの番組が好きなら、Patreonでサポーターになることを検討してみてはいかがでしょうか。
月額2.99ドルで、100人限定のDiscordコミュニティへの独占アクセス、無料の本のプレゼント、素晴らしいグッズの割引が得られます。
月額5ドルで、毎週1時間の追加エピソード、Q&Aセッション、これまでのすべてのボーナスコンテンツへのアクセスが楽しめます。
月額10ドルでは、ジョーと私への質問や反応リクエストが優先され、このティアで年間メンバーシップを購入すると無料でマグカップがもらえ、10%割引になります。
番組をサポートできる方は、patreon.com/svicにアクセスするか、YouTubeの参加ボタンを押してください。また話しましょう。さようなら。
コメント