2019/04/04
31,510 文字
以下はグレッグ・ブロックマンとの対話です。彼はOpenAIの共同創業者兼CTOで、OpenAIは世界クラスの研究機関として、最終的に安全で友好的な汎用人工知能(AGI)を作り出すことを目標にAIに関するアイデアを開発しています。その汎用人工知能は人類に恩恵をもたらし、力を与えるものです。OpenAIは単なる論文やアルゴリズム、ツール、データセットの供給源というだけではありません。彼らのミッションは、狭いAIと汎用AIの両方を含む私たちの未来についての重要な公共の議論を促進する触媒なのです。
この対話はMITとその他の場所での人工知能ポッドキャストの一部です。もし楽しんでいただけたら、YouTubeやiTunesで購読するか、TwitterでLex Friedman(@lexfridman)をフォローしてください。
では、グレッグ・ブロックマンとの対話を始めましょう。
高校時代とその直後に、原子の基本構造から量子力学までをカバーする化学の教科書の草稿を書いたと聞きました。化学や今ではロボット工学といった物理的な世界から、AIやディープラーニング、強化学習といったデジタルの世界まで、あなたには直感と情熱があることは明らかです。物理的な世界とデジタルな世界は違うものだと考えていますか？そしてその隔たりについてどう思いますか？
実際、その多くは反復速度に関係しています。私を本当に動機づけるのは物を作ることです。例えば数学を考えてみましょう。問題について本当に深く考え、理解し、それを私たちが「証明」と呼ぶとても難解な形で書き表します。しかしそれは人類の図書館に永遠に残るのです。それは私たちが発見した真実であり、たぶん同じ分野の5人くらいしか読まないかもしれませんが、何らかの形で人類を前進させたことになります。
実は私は数学者になるつもりでした。そして化学の教科書を書き始めたのですが、友人の一人が「博士号を持っていないと出版できないよ」と言ったので、代わりにウェブサイトを作ってアイデアを広めようとしました。そしてプログラミングを発見したんです。プログラミングでは、問題について深く考え、理解し、私たちが「プログラム」と呼ぶとても難解な形で書き表します。しかしまた、それは人類の図書館に残り、誰もがその恩恵を受けることができます。そしてスケーラビリティが非常に大きいのです。
デジタルの世界で私を本当に魅了するのは、このような途方もないレバレッジを持てることです。アイデアを持った一個人が地球全体に影響を与えることができる。これは物理的な原子を動かしているだけでは非常に難しいことだと思います。
でも数学と言いましたよね。私たちの心をここで見てみると、結局それは単なる数学、単なる情報処理だと考えていますか？それとも生物学や化学などを通じて見てきたように、他の魔法のようなものがあるのでしょうか？
人間を単なる情報処理システムとして考えるのは本当に興味深いと思います。それは実際、世界がどのように機能しているのか、私たちに何ができるのかを説明する上で、かなり良い方法のように思えます。時代を通じて見られる技術革新を見てみると、ある意味で最も変革をもたらした革新はコンピュータだったと言えます。ある意味でインターネットもそうです。インターネットとは何でしょうか？それは物理的なケーブルのことではありません。私が突然、地球上の他のどの人間とも瞬時にコミュニケーションを取れるようになり、人類が今まで持っていたあらゆる知識にアクセスできるようになったという事実のことです。それらは途方もない変革です。
社会全体、集合体を人間の知性の別の拡張として見ていますか？人間を情報処理システムとして見て、インターネットでのネットワーク化を考えた時、私たち全体を一つの文明として、ある種の知性システムとして見ていますか？
はい、これは本当に興味深い視点だと思います。社会全体の集合知を考えると、経済自体が何かを最適化している超人的な機械です。ある意味で、会社には独自の意思があります。個々人が皆、自分の目標を追求し、深く考え、正しいことを考えていますが、何らかの形で会社は創発的な何かを行っています。これは本当に有用な抽象化です。
ある意味で、私たちは自分たちを地球上で最も知的で力のあるものだと考えていますが、私たち全員が貢献するこれらのシステムという、私たちよりも大きなものが存在するのです。実際に面白いと思うのは、アシモフの『ファウンデーション』を読んだことがあるかもしれませんが、そこには心理歴史学という概念があります。これは実質的に、何兆もの存在がいれば、その巨大な存在が何をするかを、個々の意思とは関係なく予測できるかもしれないということです。
これについて興味深いもう一つの視点があります。それは技術決定論について考えることです。OpenAIで私がよく考えることの一つは、汎用知能という途方もなく変革的な技術に私たちは近づいているということです。それはいつか起こるでしょう。そして問題は、どうすればそれをより良い方向に導くための行動を取れるかということです。
科学者として、発明家として、クリエイターとして、一般的にどのような影響を与えることができるのかを考える必要があります。電話が同じ日に2人の人によって発明されたようなことを見ると、それは何を意味するのでしょうか？イノベーションの形について何を意味するのでしょうか？
私が思うに、起こっているのは、誰もが同じ巨人の肩の上に立っているということです。そのため、他の誰も思いつかないようなものを作ることは望めません。アインシュタインが生まれていなかったとしても、誰かが相対性理論を思いついていたでしょう。彼はタイムラインを少し変えただけです。たぶん20年ほど遅くなっていたかもしれませんが、人類がこれらの基本的な真理を決して発見しないということはなかったでしょう。
そうですね。そういった目に見えないモメンタムがあって、アインシュタインやOpenAIのような人々がそれに接続していて、他の誰もそれに接続できる。そして最終的にその波は私たちをある方向に導くということですね。
そうです。そしてこれは様々な形で現れます。乗っている指数関数があり、その指数関数自体が変化します。ムーアの法則について考えてみてください。産業全体が50年間それに時計を合わせていました。それがどうして可能だったのでしょうか？しかし何らかの形でそれは起こりました。
だから、他の誰も思いつかないようなものを発明することは望めません。タイムラインを少し変えることはできるかもしれませんが、本当に違いを生み出したいのなら、本当にできる唯一の自由度は、技術が生まれる初期条件を設定することです。
インターネットについて考えてみてください。同様のものを作ろうとする多くの競合がいて、インターネットが勝ちました。初期条件は、誰もが接続できること、非常にアカデミックなマインドセットでオープンで接続されていることを重視するグループによって作られました。そして私は、インターネットがその後40年間、本当にその方向で展開されてきたと思います。今日では物事は違う方向に動き始めているかもしれませんが、それらの初期条件が次の40年間の進歩を決定する上で本当に重要だったと思います。
本当によく言い表されていますね。その別の例として、最近私がWikipediaの形成について考えたのですが、もしWikipediaが広告を掲載していたら、インターネットはどうなっていたでしょうか。Wikipediaが広告を掲載しないことを選んだ理由について、興味深い議論があります。私はWikipediaはインターネット上で最も素晴らしいリソースの一つだと思います。これほどうまく機能し、これほど多くの良質な情報を集約できたことは非常に驚くべきことです。基本的に、Wikipediaの創設者は – おそらくそこには議論があるでしょうが – 初期条件を設定し、今やそれは自身で前進を続けています。それは本当に興味深いですね。
つまり、あなたがAGIや人工知能について考える方法は、進歩のための初期条件を設定することに焦点を当てているということですね。
そうです。
力強いですね。では未来を見据えて、もしAGIシステムを作るとしたら – チューリングテストに合格するような自然言語を扱えるようなものを – それとどのようなやり取りをすると思いますか？どんな質問をしますか？最初にそれに、あるいは彼/彼女に尋ねる質問は何でしょう？
その時点で、本当に人類の未来を形作ることができる強力なシステムを構築したのなら、最初に尋ねるべき質問は、これがどうすればうまくいくかということです。だからそれが、私が強力なAGIシステムに最初に尋ねる質問になるでしょう。
同僚に尋ねないのですか？イリヤに尋ねないのですか？
いいえ、私たちはすでにイリヤやここにいる全員と会話をしています。できるだけ多くの視点と知恵のかけらを得たいと思います。強力なシステムが何を言うかに必ずしも従う必要はありませんが、何をすべきかを理解するための一つのインプットとして使います。
基本的に、本当に重要なのは、もし本当に強力なものを作ったなら – 例えば核兵器の創造直後について考えてみてください – 世界で最も重要な質問は、世界秩序はどうなるのか、種として生き残れるようにどのように体制を整えるのかということでした。
AGIの場合、質問は少し違います。否定的な影響を避けるにはどうすればいいかという質問もありますが、ポジティブな側面もあります。AGIはどのようなものになるのか、何ができるようになるのかを想像してください。私は、AGIが強力で変革的になり得る中心的な理由の一つが、実は技術開発によるものだと考えています。
人間と同じくらいの能力があり、かつずっとスケーラブルなものを持っているなら、絶対にそれに科学文献全体を読ませて、あらゆる病気の治療法を考えさせたいと思います。物質的な豊かさを作り出すための技術を考え、環境をどのようにクリーンアップするかなど、私たちが苦労している社会的な問題を解決することを考えさせたいと思います。
例えば、生分解性で海洋のゴミを無害な分子に変えるような小さなロボットを発明してほしいと思うかもしれません。これがポジティブな側面であり、AGIがどのようなものになるかを考える時に見落とされがちだと思います。そのため、もしそのようなことが全てできるシステムがあれば、その能力をどうすれば人類にとってポジティブな方法で使えるかについて、絶対にアドバイスを求めたいと思います。
AGIシステムの可能な軌道を全て見る時、その多くは、おそらく大多数はポジティブなものであるにもかかわらず、ネガティブな軌道に焦点を当てる心理についてどう思いますか？あなたは人々と交流し、おそらく自分の中でもこのことについて考える機会があると思います。サム・ハリスなどを見ていると、失礼を承知で言えば、ネガティブな可能性について考える方が「面白い」ように見えます。それが私たちの心理の深いところにあるのでしょうか。AIに助けてもらいたいと思っているのに、どうすればいいでしょうか？
その質問には二つの問題が含まれていると思います。最初の問題は、新しい技術のある世界をどのように想像できるかという、より大きな質問です。1950年にいて、Uberについて誰かに説明しようとしているところを想像してみてください。アプリやインターネットについて…そうですね、それは非常に複雑ですが、想像はできます。しかし1950年にUberを予測することを想像してみてください。インターネットについて説明し、GPSについて説明し、誰もがポケットに電話を持っているという事実について説明する必要があります。
だから最初の真実は、変革的な技術が世界でどのように展開されるかを想像するのは難しいということです。AGIよりもはるかに変革的ではない技術でもそれを見てきました。だから一つには、その積極的なビジョンがどのようなものになるかを本当に想像し、自分をその世界に置くことは難しいのです。
二つ目は、私が思うに、積極的な側面よりも否定的な側面を支持する方が常に簡単だということです。物理的な意味よりも知的な意味で、創造するよりも破壊する方が常に簡単です。なぜなら、何かを創造するには多くのことを正しく行う必要がありますが、破壊するには一つのことを間違えるだけでいいからです。
そのため、多くの人々の思考は、否定的なストーリーを見るとすぐに行き詰まってしまうと思います。とはいえ、実際に私には希望があります。積極的なビジョンは、私たちが話し合い、考えることができるものだと思います。単にこの事実、つまり「ポジティブもネガティブもある、皆がネガティブな方に引きずられがち」と言うだけでも、人々は「そうだね、私たちが話していない、考えていない部分があるね」と反応してくれます。
これは実際、OpenAIでAGIについて考える上で重要な部分となっています。OpenAIがリスクについて話しながら、このシステムを構築しようとしているという二つの事実をどう調和させるのかと考えることができます。
AGIを開発する際に、それが存在の脅威に陥らないようにするのは難しいという、サム・ハリスやイーロン・マスク自身も持っている直感を共有していますか？開発をポジティブな軌道に保つことがどれくらい難しいと直感的に感じていますか？
その質問に答えるために、OpenAIがどのように構成されているかを見ることができます。私たちには主に3つの部門があります。技術的な作業を行い、これらのシステムが何をできるかを前進させる「capabilities」部門、構築するシステムが人間の価値観に沿うことを確実にする技術的なメカニズムに取り組む「safety」部門、そして誰の価値観なのかという問題に答え、ガバナンスメカニズムを確保する「policy」部門です。
技術的な安全性は、人々が最も話題にする部分です。ディストピア的なAI映画の多くは、適切な技術的安全性が整っていないことについてです。私たちが発見しているのは、多くの人々が技術的な安全性の問題を見て、それは手に負えないと考えているということです。「人間が何を望むのか、それをどうやって書き表せばいいのか、自分が望むことさえ書き表せるのか、無理だ」と考えて、そこで立ち止まってしまいます。
しかし、私たちはすでに人間が指定できないことを学習できるシステムを構築しています。画像にネコがいるかイヌがいるかを認識するルールでさえ、それを書き表すのは手に負えないことが判明しましたが、私たちはそれを学習することができました。OpenAIで構築しているシステムで見ているのは、まだ初期の概念実証段階ですが、人間の好みを学習でき、人間が望むことをデータから学習できるということです。これが私たちの技術安全性チームの中心的な焦点です。実際に、私たちが実現できたことについて、かなり励みになる進展がありました。
つまり、データから、つまり価値の整合性の問題をデータから見ることで、人間の本性のより良い天使たちと整合性のあるシステムを構築できるという直感と希望を持っているということですね。人間の倫理観や道徳観と整合性のあるシステムを。
別の言い方をすれば、人間をどのように整合させるかを考えてみてください。人間の赤ちゃんは悪人にも素晴らしい人にもなり得ますが、その多くはデータからの学習によるものです。子供が成長する過程でフィードバックを得て、ポジティブな例を見ることができます。
だから、データから学習できる汎用知能の唯一の例は、人間の価値観と整合性を持ち、価値観を学習することができるものです。AGIの価値の整合性を解決するために同じような技術、あるいは同じような技術が結局は使われることになっても驚くべきではないと思います。
もっと高いレベルで考えてみましょう。『サピエンス』という本を読んだことがありますか？そこには、集合体としての私たち人類が一緒に発展し、私たちが持つアイデアには、その文脈では客観的な真実はないという考えがあります。私たちはただ特定のアイデアに同意し、それらを集合的に保持しているだけです。世界には善と悪があるという感覚を持っていますか？第一近似として、いくつかの良いことがあり、システムにそれらを教えることができるという感覚はありますか？
これは実際に私たちの3番目のチーム、つまりポリシーチームと結びついていると思います。これは人々が話すべき以上に話している側面だと思います。なぜなら、オペレーターが望むことを何でもできる超強力なシステムを構築し、そのためのメカニズムを全て理解できたと想像してみてください。最も重要な質問は、誰がオペレーターなのか、彼らは何を望むのか、そしてそれが他の全ての人にどのような影響を与えるのかということになります。
この善とは何か、それらの価値観とは何かという質問は、私はそれらの非常に大きな実存的な場所に行く必要さえないと思います。世界中の異なる国々や文化を見るだけで、世界がどのように機能するかについて、社会がどのように運営されることを望むかについて、非常に異なる概念があることに気付き始めます。
だから本当に中心となる質問は、実は非常に具体的なものだと思います。そして私たちには準備された答えがないと思います。それは、アメリカ、中国、ロシア、そして他の何百もの国々が、自分たちが適切だと考える方法で運営を続けることができるだけでなく、これらの非常に強力なシステムが人間と並んで運営される世界が生まれ、それが人間により多くの力を与え、人間の存在がより意味のあるものとなり、人々がより幸せで豊かで、より充実した人生を送ることができるような世界をどのように持つことができるかということです。そのような強力なシステムを持つ一旦、その世界をどのように設計するかは明白なことではありません。
少し戻って考えてみましょう。私たちは本当に興味深い会話をしていて、OpenAIは世界のテクノロジーリーダーの一つであり、それでもこのような大きな実存的な質問について考えています。これは魅力的で本当に重要だと思います。OpenAIはこの分野のリーダーだと思います。それはAIが社会にどのような影響を与えるかを大局的に考える、本当に重要な分野です。
オスカー・ワイルドは「私たちは皆溝の中にいるが、星を見つめている者もいる」と言いました。私はOpenAIには星を見つめるチャーターがあると思います。知性を創造し、汎用知能を創造し、それを有益で安全で協力的なものにすることです。そのようなミッションがどのように生まれたのか、そのようなミッションを作り出す道筋についてお話しいただけますか？
私は思うに、それは本当に状況を見ることに帰着します。AIの歴史を考えてみると、基本的に過去60年から70年間、人間の知的労働を自動化できたらどうなるかという目標について考えてきました。コンピュータシステムを構築してそれができたら、何が可能になるのか。さまざまなディストピア的なものや、最近では「Her」のような映画のように、より少しユートピア的なビジョンを語るSF作品がたくさんあります。
私たちの心のための自転車であるコンピュータを持つことができる影響について考えてみると、コンピュータとインターネットの影響は、誰もが本当に予測できたものをはるかに超えていると思います。そのため、AIを構築できれば、それは人類が今まで作り出した中で最も変革的な技術になることは明らかです。
そこで問題となるのは、道はあるのか、希望はあるのか、そのようなシステムを構築する方法はあるのかということです。60年から70年の間、人々は興奮し、彼らに寄せられた期待に応えることができませんでした。そして2回のAI冬の時期を経て、人々はほとんど夢を見ることをやめてしまったと思います。AGIについて話すことや考えることは、コミュニティの中でほとんどタブーになりました。
しかし実際には、人々はAIの歴史から間違った教訓を得たと思います。1959年に遡ると、パーセプトロンがリリースされました。これは基本的に最も初期のニューラルネットワークの一つでした。それは過剰な期待を持って受け入れられていると認識されてリリースされました。
1959年のニューヨークタイムズには、「パーセプトロンはいつか人々を認識し、その名前を呼び出し、言語間の音声を瞬時に翻訳するだろう」という記事がありました。当時の人々はこれを見て、「ばかげている、あなたのシステムはそのようなことは何もできない」と言い、基本的に10年かけてパーセプトロンの方向性全体を信用失墜させようとし、成功しました。全ての資金が枯渇し、人々は他の方向に向かいました。
80年代に再興がありました。私はいつも80年代の再興はバックプロパゲーションの発明とこれらのアルゴリズムによるものだと聞いていましたが、実際には因果関係は、より大きなコンピュータを構築する人々がいたことによるものでした。コンピューティングパワーの民主化が突然、より大きなニューラルネットワークを実行できることを意味したと述べている80年代の記事を見つけることができます。
そして人々は素晴らしいことを始めました。バックプロパゲーションアルゴリズムが発明され、人々が実行していたニューラルネットは20個のニューロンという小さなものでした。20個のニューロンで何を学習できるというのでしょうか？もちろん素晴らしい結果は得られませんでした。
実際には2012年まで、50年代に、あるいはコンピュータが存在する前の40年代のピッツとマカロックのニューロンでさえ、人々が考え出した最も単純で自然なアプローチが、突然問題を解決する最良の方法になったのです。
ディープラーニングには、注目に値する3つの重要な特性があると思います。最初は一般性です。私たちは非常に少数のディープラーニングツール – SGD、ディープニューラルネット、おそらくいくつかのRLを持っていて、それが音声認識、機械翻訳、ゲームプレイなど、膨大な種類の問題を解決します。ツールは少数なのに。そこに一般性があります。
2番目の要素は能力です。それらの問題のどれかを解決したいなら、40年分のコンピュータビジョン研究をディープニューラルネットに置き換えてみてください。より良く機能するでしょう。
そして3番目の要素はスケーラビリティです。何度も何度も示されてきた一つのことは、より大きなニューラルネットワーク、より多くのコンピュート、より多くのデータを与えれば、より良く機能するということです。
これら3つの特性を合わせると、汎用知能を構築する上で不可欠な部分のように感じます。今持っているものをスケールアップすれば、AGIができるというわけではありません。明らかに不足している部分、推論のための答えが必要なアイデアが不足しています。しかし、ここでの核心は、私たちは初めて、汎用知能が達成可能だという希望を与えるパラダイムを持っているということです。
そして、それが可能だと信じた瞬間に、他の全てのことが焦点を合わせてきます。タイムラインは不確かなままだと思いますが、確実に私たちの生涯の中で、おそらく人々が予想するよりもはるかに短い期間で達成できる可能性があります。もし今まで存在した中で最も変革的な技術を構築できるかもしれないと想像すると、自分のことばかり考えるのをやめます。そして、これがうまくいく世界をどのように作るかを考え始めます。
組織を構築し、多くの人々とリソースを集め、人々がモチベーションを感じ、準備ができていると感じるようにする実践的な方法について考える必要がありますが、成功した場合のことを考え始め、成功した時に、私たちが存在したい世界が、ロールズの無知のベールの意味で、実際に私たちが望む場所になることを確実にする方法を考える必要があります。
これが大まかな状況で、OpenAIは2015年に、AGIが人々が考えているよりも早く可能になるかもしれず、うまくいくように最善を尽くす必要があるという高レベルな考えで設立されました。そして次の数年間を費やして、それが何を意味するのか、どのように実行するのかを本当に理解しようとしました。
通常、会社は非常に小さく始まります。共同創業者と一緒に製品を作り、ユーザーを獲得し、プロダクトマーケットフィットを得ます。ある時点でお金を調達し、人を雇い、スケールアップします。そして道の先で大企業があなたの存在に気付き、あなたを殺そうとします。
OpenAIについては基本的に全てが正反対の順序でした。少し待ってください、たくさんのことを言いましたが、OpenAIが象徴するものの驚くべき側面、つまり夢を見る勇気について感嘆させてください。あなたが言ったことは非常に力強いもので、私は不意を突かれました。なぜなら、ポジティブで安全な方法で知性を創造する可能性について夢を見る一歩は、AIコミュニティにとって本当に必要な新鮮な触媒だと思うからです。それが出発点ですね。
そうですね。OpenAIを立ち上げた時、最初の質問の一つは、できる限り最高の人々を集めた研究所を立ち上げるには遅すぎるのではないかということでした。それが実際の質問でした。2015年7月の夕食会で、私たちはその全時間をそのことについて話し合いました。
AIは学術的な追求から産業的な追求へと移行し、最高の人材の多くがこれらの大規模な研究所にいたからです。私たちは独自の研究所を立ち上げたかったのですが、どれだけのリソースを集めても、大手テクノロジー企業と比べれば比較にならないことは分かっていました。そして、本当にこれを軌道に乗せることができるのかという疑問がありました。臨界質量が必要で、共同創業者と一緒に製品を作るだけではできません。5人から10人のグループが本当に必要でした。
私たちは、それが明らかに不可能ではないと結論付けました。だから試してみる価値があると思えました。
そうですね、あなたたちは夢想家でもありますからね。誰が知っているでしょうか？その通りです。
さて、大手プレーヤーとの競争について話しましょう。このシステムを開発し、規模を拡大して競争できる方法を考えるプロセスの中で、いくつかの難しい点について。最近、OpenAI LPという新しい営利企業を設立し、現在はOpenAIという名前を持っています。元の非営利企業も依然として存在し、OpenAI非営利という名前を持っています。この会社が何であるのか、その目的は何か、そしてその決定にどのように至ったのか説明していただけますか？
OpenAI全体とOpenAI LPは、人工知能がすべての人に利益をもたらすことを確実にするというミッションを達成しようとしています。私たちがそれを達成しようとしている主な方法は、実際に自分たちで汎用知能を構築し、その利益が世界に分配されることを確実にすることです。誰か他の人がこれを行うことでも構いません。必ずしも私たちである必要はありません。
もし他の誰かがAGIを構築し、その利益が一つの会社や一部の人々に独占されないようにするなら、私たちは実際にそれで構わないのです。これらのアイデアは、私たちの価値観と運営方法を説明する基本的な文書であるチャーターに組み込まれています。それはまた、OpenAI LPの構造にも組み込まれています。
OpenAI LPの設定方法は、私たちが成功した場合、つまり私たちが構築しようとしているものを実際に構築した場合、投資家は収益を得ることができますが、その収益には上限があります。AGIをデータの観点から考えると、本当に創造できる価値について話すと、これまでに作られた中で最も変革的な技術であり、既存の企業よりも桁違いに多くの価値を生み出すことになります。そしてその価値の全ては世界のものとなり、法的にはそのミッションを遂行するために非営利団体に帰属します。これが構造です。
ミッションは力強いもので、私は多くの人々が同意するものだと思います。これは私たちがAIの進歩を望む方法です。では、どのようにしてそのミッションに自分自身を結びつけていますか？利益主導の他のインセンティブがミッションを妨げないようにするにはどうすればよいですか？
これは実際、過去数年間私たちにとって本当に中心的な質問でした。なぜなら、私たちの歴史を見ると、最初の1年は立ち上げ期でした。高レベルな考えはありましたが、それをどのように達成したいのかは正確には分かっていませんでした。
実際に2年前に、AGIを構築するためには非営利団体として調達できる以上のはるかに多くのお金、何十億ドルも必要になることに気付き始めました。そこで最初の質問は、それをどのように行い、なおかつこのミッションに忠実であり続けることができるかということでした。
私たちは存在する全ての法的構造を調べ、私たちが行いたいことには完全に適したものはないと結論付けました。クレイジーで前例のない技術を作ろうとするなら、クレイジーで前例のない構造を考え出さなければならないということは、あまり驚くべきことではないかもしれません。
私たちの多くの会話は、OpenAIの人々、このミッションを本当に信じて参加した人々との間で行われ、実際にリソースを調達し、なおかつ私たちが支持するものに忠実であり続けるにはどうすればよいかについて考えました。
始めなければならない場所は、私たちが支持するものは何か、それらの価値観は何か、私たちにとって本当に重要なものは何かについて本当に合意することです。私たちは約1年をかけてOpenAIチャーターをまとめ上げました。そこで最初の項目を見ると、巨大なリソースを集める必要があることを予期しているが、ミッションとの利益相反を最小限に抑えると述べています。
これらの全ての要素について合意することが、私たちが必要とすることを行うためのリソースを調達できる会社をどのように構築するかを理解する上で最も重要なステップでした。
OpenAI LPを創設する決定は本当に難しいものだったと想像します。あなたが言及したように1年間の議論があり、さまざまなアイデアがあったのではないでしょうか。OpenAI内部での反対意見や、取り得る異なる道筋などについて。それらの懸念は何でしたか？検討された異なる道筋は何でしたか？その決定を下すプロセスはどのようなものでしたか？
はい。実際にOpenAIチャーターを見ると、そこにはほとんど2つの道筋が組み込まれています。私たちは主に自分たちでAGIを構築しようとしていますが、他の誰かがそれを行うことでも構わないというものです。これは会社にとっては本当に興味深い、奇妙なことです。
そうですね、本当に興味深いですね。競争の要素があって、自分たちがそれを行いたいと思う一方で、誰か他の人が行うことでも構わないということですね。そのトレードオフについて、もう少し話しましょう。これは本当に興味深いですね。
私はこれがOpenAI LPを設計する際の、そして実際にOpenAIの戦略の中心的な緊張関係だったと思います。どうすれば主要なアクターになる機会を確保できるか。それには組織を構築し、巨大なリソースを調達し、本当に困難なビジョンを実行する意志を持つことが必要です。
長期間にわたって多くの苦痛とリスクを引き受けることに本当にサインアップする必要があります。通常、それを行うにはスタートアップのマインドセットを導入するだけです。どのように実行するか、みんなに非常に競争的な角度を与えることを考えます。
しかし、もう一つの角度もあります。本当のミッションはOpenAIがAGIを構築することではなく、AGIが人類にとってうまくいくことだということです。では、それらの最初の行動の全てを取り、実際にミッションを果たすポジティブな結果への扉を閉ざさないようにするにはどうすればよいでしょうか？
私はこれは非常に繊細なバランスだと思います。一方向か他方向に100%行くことは、明らかに正しい答えではありません。そのため、OpenAIについて話し、考える方法においても、常に私の心の中にあるのは、単にOpenAIの目標はAGIを構築することだと言わないようにすることです。
実際にそれはそれよりもはるかに広いものです。まず第一に、単なるAGIではなく、安全なAGIであることが非常に重要です。第二に、私たちの目標はそれを構築する側になることではなく、それが世界にとってうまくいくことを確実にすることです。
そのため、これら全てのバランスをどのようにとり、人々を本当にテーブルに着かせ、それら全てを包含する単一の文書をまとめ上げるかを理解することは簡単ではありませんでした。
ここでの課題の一部は、あなたのミッションは私が言うところの美しく、力を与え、研究コミュニティや単にAIについて考えている人々にとって希望の光だということです。そのため、あなたの決定は通常の利益追求企業よりもはるかに精査されると思います。チャーターの作成や運営方法において、この重荷を感じていますか？
はい。なぜそのような重荷を引き受けてチャーターを作るのでしょうか？なぜ静かにしておかないのですか？
それは単にミッションに帰着します。私も、他の全ての人もここにいるのは、これが最も重要なミッションだと考えているからです。夢を見る勇気を持つことです。
営利企業として良いAGIシステムを作ることができると思いますか？私の視点からは、利益が社会へのポジティブな影響を妨げる理由が分かりません。広告から収益の大部分を得ているGoogleが世界のために良いことができない理由が分かりません。他の企業も、Facebookなども同様です。これらが相反する必要があると理解できません。
私の見方では、利益は企業の影響を左右するものではありません。企業の影響を左右するのは、チャーター、文化、内部の人々です。利益はそれらの人々を支える燃料に過ぎません。これについてあなたの見解はいかがですか？
はい、それは本当に良い質問で、人類社会における長年の議論が含まれています。私の考え方は、世界で最も影響力のある非営利団体は何か、最も影響力のある営利企業は何かを考えることです。営利企業の方がはるかにリストアップしやすいですね。
そこには何か真実があると思います。私たちが設定したシステム、今日の世界がどのように組織されているかのシステムは、巨大な影響を可能にするものです。その一部として、営利企業は自立的で、独自のモメンタムの上に構築できる必要があります。これは本当に強力なことだと思います。
ガードレールを正しく設定していないことが判明した時、問題を引き起こす何かです。熱帯雨林を伐採する伐採会社について考えてみてください。それは本当に悪いことで、私たちはそれを望みません。営利企業からポジティブな恩恵を得る方法という質問は、実は AGI からポジティブな恩恵を得る方法とよく似ていると思います。非常に強力なシステムがあり、それは人間よりも強力で、ある意味で自律的で、多くの点で超人的です。どうにかしてガードレールを設定して良いことが起きるようにしなければなりません。しかしそれができれば、恩恵は巨大なものとなります。
非営利対営利について考える時、私は非営利では十分なことが起こらないと思います。非常に純粋ですが、そこで物事を行うのは本当に難しいのです。営利企業では、ある意味で多すぎることが起こりますが、適切な方向に形作れば、実際に非常にポジティブなものになり得ます。
OpenAI LPでは、その中間の道を選んでいます。重要だと思うのは、OpenAI LPについての私たちの考え方は、AGIが実際に起こる世界、つまり私たちが成功して今まで作られた中で最も変革的な技術を構築する世界では、私たちが創造する価値は天文学的なものになるということです。
その場合、私たちが持っている上限は、私たちが創造する価値の小さな部分となり、投資家と従業員に還元される価値は、かなり成功したスタートアップで起こることとよく似たものになります。これが私たちが最適化しているケースです。成功した場合に、私たちが創造する価値が独占されないようにすることを考えています。
他の営利企業でも同様のことが可能だと思いますが、それをどのように行うかは明らかではありません。営利企業として、株主に対する受託者責任が多くあり、取ることができない決定がいくつかあります。私たちの構造では、たとえ私たち自身のステークホルダーを犠牲にしてでも、チャーターにとって正しい決定を常にできるように設定されています。
そのため、非営利対営利について考える時、本当に重要なのはそれではありません。本当の問題は、AGIを構築し、人類が新しい時代に入った時、誰が恩恵を受けるのか、誰の生活がより良くなるのかということです。そして本当に重要なのは、その答えが「全ての人」であるということです。
これはチャーターの中心的な側面の一つですね。OpenAIに限らず、Google、Facebook、Amazon、実際に大規模な影響を与えている企業について人々が持っている懸念の一つは、チャーターが述べているように、AGIの使用や力の不当な集中をどのように避けるかということです。なぜOpenAIのような企業がAGIシステムの全ての力を自分自身のために保持しないのでしょうか？チャーターは日々の活動の中でどのように具現化されるのでしょうか？
まず大局的に見ると、会社の構造は、OpenAIが取る行動を指示する力が最終的に取締役会、つまり非営利団体の取締役会にあるようになっています。取締役会は特定の制限を持って設定されており、それについてはOpenAI LPのブログ記事で読むことができますが、実質的に取締役会はOpenAI LPの統治機関であり、非営利団体のミッションを遂行する義務があります。これが、これら全てのことをどのように結びつけるかです。
では、日々の活動において、ある意味で最も権限を持つ個人、つまり取締役会は高レベルで方向性を決定しますが、実際に実行している人々は従業員です。技術的な王国の鍵を持つ人々が日々どのように行動するかについて、答えは他の企業の価値観がどのように具現化されるかとよく似ています。
多くはそのミッションを本当に信じ、チャーターを信じ、たとえ自分たちにとっては悪くても、チャーターにとってより良い行動を取る意志のある人々が必要だということに帰着すると思います。それは文化に深く根付いていることであり、正直なところ、時間が経過しても保持していかなければならない重要な部分の一つだと思います。それは、人々を雇用しOpenAIに迎え入れる方法を考える上で本当に重要な部分です。
ここには、「ちょっと待って、これは私たちが支持するものと全く反対です」と声を上げることができる人々がいるということですね？文化的にそうなっているということですか？
はい、もちろんです。それは私たちの運営方法の重要な部分だと思います。チャーターやOpenAI LPの設計においても、最初からそうでした。ここでの従業員との多くの会話があり、従業員が「待ってください、これは間違った方向に向かっているように見えます。話し合いましょう」と言う機会が多くありました。
ここで私が本当に、小さな企業として非常にユニークだと思うことの一つは、巨大なテクノロジー企業にいると、価値観を共有する従業員がCEOに話しかけて「これは間違っていると思います」と言うのは少し難しいということです。Googleのような企業を見ると、Mavenのような倫理的な変更を求めて従業員が集団行動を取ることもありました。そのため、他の企業でも機能するメカニズムはあるかもしれませんが、ここでは誰でも私やサム、イリヤを捕まえて話すことができ、実際に頻繁にそうしています。
チャーターで興味深いことの一つは、後期段階のAGI開発において、競争から協力への移行を説明または解きほぐそうとしているという考えです。競争と協力のこのダンスについて、どのように考えていますか？
技術的なAGI開発を実際に行うことができると仮定すると、それを展開してうまくいくようにする上で2つの重要な問題があると思います。
最初の問題は、最初のAGIを構築するまでの過程です。自動運転車がどのように開発されているかを見ると、それは競争のレースです。競争のレースで常に起こることは、安全性を犠牲にする大きな圧力があることです。これは私たちが非常に懸念していることです。
複数のチームが「実際にそこに到達できるが、より安全が保証される遅い道を取れば負けてしまうので、速い道を取ろう」と考えることです。そのため、私たちが競争のレースを生み出さない立場にいることができ、レースが行われていて他の誰かが私たちより先を行っている場合、追い越そうとせずに実際に彼らと協力するという立場を取れれば良いと思います。
彼らが私たちのミッションを果たそうとしている限り、私たちは彼らの成功を手助けします。私たち自身がAGIを構築する必要はありません。これは私たちからの本当に重要なコミットメントだと思いますが、一方的なものであってはいけません。AGIの構築に真剣な他のプレイヤーも同様のコミットメントをすることが本当に重要だと思います。
誰もがAGIは全ての人に恩恵をもたらすべきものだと信じている限り、どの企業が構築するかは実際には重要ではないはずで、そこに到達しようとして너무急ぎすぎて何かが間違ってしまうケースを私たち全員が懸念すべきです。
では、この分野における政策やルールの設定について、研究から開発、初期段階から後期段階のAGI開発まで、私たちのお気に入りの存在である政府はどのような役割を果たすべきだと思いますか？
まず第一に、政府が何らかの形で関与することは本当に重要です。結局のところ、私たちは世界の仕組みを形作る技術を構築しようとしているのであり、その答えの一部として政府が必要なのです。だからこそ私たちは、いくつもの議会証言を行い、多くの立法者と交流してきました。
現時点での私たちの主なメッセージは、今は規制の時期ではなく、測定の時期だということです。私たちの主な政策提言は、NISTのような機関を通じて、技術の現状と進歩の速度を把握し、何を期待すべきかについての理解を深めることです。現在は測定に焦点を当てるべきだと考えていますが、それが変化する時期と場所も来るでしょう。ただし、その軌道を正確に予測するのは少し難しいと思います。
では、アメリカ合衆国の連邦政府が介入し、誰も越えてはならない厳格なルール、場合によっては保守的なルールを定める「部屋の大人」になる時期が来るということですか?
それには2つの側面があると思います。今日の狭いAIアプリケーションに関しては、すでに責任を持つべき既存の機関があります。例えば自動運転車の場合、道路交通安全局が担当するのは理にかなっています。つまり、人間がすでに行っている作業を行う技術システムを導入することになるので、そのための安全基準や考え方はすでにあるということです。
したがって、現在のそうした規制当局に権限を与えることも重要です。AGIに関しては、より良い答えが得られる時期が来るでしょう。おそらく同様のアプローチで、まず測定を行い、どのようなルールが必要かを考え始めることになると思います。進歩を早急に抑制しないことが重要で、萌芽期の分野を窒息させてしまうのは簡単ですから、それは避けるべきです。しかし、ただ突き進んで他のステークホルダーを巻き込まないというのは正しいやり方ではありません。
GPT-2の言語モデリングに関する論文を最近発表されましたが、モデルの悪用の可能性を懸念して完全版は公開されませんでした。その決定自体は非常に興味深く、社会レベルでの議論を生み出すという点で魅力的です。まずその具体的な点について、想定される悪影響と、もちろん良い影響についてもお聞かせください。
言語モデリングに関して私たちが考えたのは、モデルをスケールアップすれば質的により良いパフォーマンスが得られるという明確な軌道に今いるということです。GPT-2自体は、実は前年6月にリリースしたモデルをスケールアップしただけのものでした。それを大規模に実行したところ、これまで見られなかった一貫性のある文章を書き始めるという結果が得られました。
では今後どうなるのか?GPT-2を10倍、100倍、1000倍にスケールアップしていきますが、何が得られるかはわかりません。昨年6月にリリースしたモデルは良いアカデミックな玩具で、悪用される可能性のあるものではないと考えています。仮に悪用されたとしても、人々が遊べることのメリットの方がはるかに大きいでしょう。
しかしGPT-2からGPT-20に飛躍すると、その能力は本質的なものになると考えられます。安全性の側面について考え始める必要がある地点が、その間のどこかにあるはずです。GPT-2については両論あり得ました。実際、内部での議論でもメリット・デメリットがあり、どちらが上回るかは明確ではありませんでした。
モデルを公開しないと発表した時、「公開すべきだったのは明らか」という意見と「公開すべきでなかったのは明らか」という意見の両方が出ました。これは定義上、保留が正しい決定だったことを意味します。何かが有益か有害か明らかでない場合は、慎重を期すべきでしょう。
将来のモデルについては、おそらく予想よりも早く、野放しにはできないものが出てくるでしょう。これはある意味テストケースとして捉えています。安全上の理由で何かを公開しないという考え方自体が馴染みのない社会から、強力なモデルができた時にはプロセスを経て考える世界へと、どのように移行できるかを検討しているのです。
セキュリティコミュニティを例に取ると、責任ある開示の仕組みを作るのに長い時間がかかりました。セキュリティの脆弱性を見つけた時、企業に報告すると訴追されたり無視されたりする。では、どうすればいいのか。常に脆弱性を公開するという選択肢も良くありません。
結局、個人の問題を超えて、コミュニティ全体が「企業に報告し、一定期間内に対応がなければ公開してもよい。それは間違ったことではない」という考え方を持つようになるまでに時間がかかったのです。AIの分野では、GPT-2への反応を見ても、そうした概念がまだないことがわかります。
GPT-2自体について考えると、潜在的な悪用の可能性はどうでしょうか。インターネット上のデータで学習されたこのモデルには、非常に偏ったデータや不快なコンテンツが含まれています。任意のトピックについてコンテンツを生成できるのです。インターネット上のコンテンツのように書き、広告まで含めることもあります。
フェイクニュースや悪質なコンテンツの生成に使われる可能性について考える必要があります。私たちはGPT-2の小規模版をリリースしましたが、人々は自分のFacebookメッセージの履歴を基に新しいメッセージを生成したり、偽の政治家のコンテンツを生成したりしています。これらが世界にとって良いことかどうか、少なくとも考える必要があります。
一方で、素晴らしいアプリケーションの可能性もあります。SF作家がこのツールを使ってクールなアイデアを生み出すような創造的な使い方は素晴らしいと思います。より良いSFを書くためにこれらのツールを使うのは良いことでしょう。実際、様々な創造的な用途について問い合わせを受けています。通常のNLPアプリケーションも非常に興味深いですね。
Twitterでフェイクニュースが、より賢く複雑なボットによって拡散される世界について考えるのは興味深いですね。私たち人間のオリジナルの考えを圧倒するような情報の洪水が起こる。この世界についてどう考えますか?50年代にインターネットやスマートフォンを説明しようとするようなものですが、情報の性質についてどう考えますか?
可能性の1つは、常にロボットと人間を区別するシステムを設計し、それに成功することです。そうすれば人間であることを認証できます。もう1つの可能性は、フェイクニュースの海の中で泳ぐことを受け入れ、そこで泳ぐことを学ぶことです。
物理的なロボットアームでCAPTCHAの「私はロボットではありません」をクリックする、あのミームを見たことがありますか? 実は、ロボットと人間を区別しようとするのは最終的には負けの戦いだと思います。
負けの戦いだと思いますか?
究極的には負けの戦いだと思います。コンテンツや取れる行動の面で考えてみましょう。CAPTCHAがどう変化してきたかを見てください。以前のCAPTCHAはシンプルでした。OCRが苦手な画像に少し加工を加え、人間には判別できるけれどAIシステムには判別できないようにしていました。今では私もCAPTCHAがほとんどできません。
これは私たちが向かっている方向性だと思います。CAPTCHAは一時的なものでした。AIシステムが強力になるにつれ、簡単な自動化された方法で測定できる人間の能力のうち、AIにはできないものを見つけるのは、ますます技術的に難しい戦いになっています。
しかし、希望が全くないわけではありません。私たちは既にどのように自分自身を認証しているでしょうか?アメリカなら社会保障番号があり、デジタルIDと実世界のIDを結びつける方法があります。これはコンテンツそのものではなく、コンテンツの出所を認証する方向への一歩だと思います。
ただし、問題もあります。コンテンツを信頼できる唯一の方法が出所を確認することだとすると、プライバシーや匿名性をどう確保するのか。良い評判ネットワークを構築することが解決策の1つかもしれませんが、これは明確な答えのない問題です。
今でも私はよくツイートを読んで「これは本物の人間が書いたように感じる」とか「これは本物だと感じる」といった判断をしています。しかし将来的にはそれができなくなるでしょう。例えば、ネット中立性に関するFCCへのコメントの何百万もが自動生成されていたことが後で判明しました。研究者たちは統計的手法でそれを特定できました。
しかし、そうした統計的手法が使えない世界、人間とAIの区別が不可能な世界、しかもAIが最も説得力のある議論を書く世界ではどうすればいいのでしょうか。もはやSFではありません。リサイクルが世界にとって悪いという素晴らしい議論をGPT-2が書いたら「なるほど、その通りだ」と思ってしまうかもしれません。
それは非常に興味深いですね。結局のところ、物理的な世界が人間であることを証明する最後の砦になるということですね。つまり、物理的な世界で人間同士が互いを保証し、そこで認証が終わるということです。もし私があなたに「あなたは人間ではないかもしれない」と言ったら、あなたはどうやって人間だと証明しますか?また、私が人間だとどうやってわかりますか?
これまでの会話や私たちがした物理的な動作が、私たちとAIシステムの最大の違いです。おそらく物理的な関係が最後の砦になるでしょう。
しかし、別の質問があります。なぜこの問題を解決することが重要なのでしょうか?人間と話していることを知ることで、私たちは何を本当に求めているのでしょうか?結局のところ、アイデンティティの問題に帰着すると思います。
将来のインターネットには、私たちと対話する多くのエージェントが存在すると予想しています。しかし、それが本物の人間なのか自動化されたシステムなのかという問題は、それほど重要ではなくなるでしょう。
そこに行きましょう。GPT-2は印象的ですが、GPT-20を見てみましょう。なぜ私の友達が全員GPT-20であることが悪いのでしょうか?インターネット上で人間とだけやり取りすることが、なぜそんなに重要なのでしょうか?人間のデータで学習したモデルからアイデアが生まれる世界に、なぜ私たちは住めないのでしょうか?
これは本当に興味深い質問ですね。これは新しい技術のある世界をどう想像するかという問題に戻ります。1つ重要だと思うのは、例えば正直さです。チューリングテスト的な意味で、人間のふりをしてあなたを欺くAIがいるとすれば、それは悪いことだと感じます。
自分の環境を制御できていると感じること、誰と対話しているのか理解していることが重要です。それがAIであれ人間であれ、欺かれているべきではありません。
しかし、AIとの対話は人間との対話と同じくらい意味のあるものになり得るのか、という点については、映画「her」に見られるようなSFに目を向けることができます。herの素晴らしい点は、まず人間同士のバーチャルな関係がどれほど意味のあるものかを問いかけることから始まることです。
そして、人間がAIと関係を持ち始め、まるで電話の向こうに本物の人間がいるかのように、同じように感情的なボタンが押されていきます。つまり、私たちには意味のある交流ができ、面白いジョークが人間とAIのどちらが書いたものかは、ある意味どうでもよくなるのかもしれません。
ただし、明確な一線を引くべきなのは欺瞞です。私たちがAIシステムを構築する理由は、人間の生活を豊かにし、人間がより多くのことをできるようにし、人間をより充実させることです。そのようなAIシステムを構築できるのであれば、私は大賛成です。
言語モデリングのプロセスはどこまで私たちを導いてくれるでしょうか?映画「her」を例に取ると、チューリングテストで示されるような自然な対話は、このような教師なし言語モデリングによって達成できると思いますか?
チューリングテストは、本来の形では言語だけの問題ではないと思います。本当の意味でチューリングテストに合格するためには、誰かに微積分を教え、その相手が本当に微積分を理解して新しい問題を解けるようにならなければなりません。
したがって、チューリングテストを本当に解決するためには、言語モデルで見られる以上のものが必要です。推論を組み込む方法が必要です。ただし、それが現在のものとどれほど異なるかは未知数です。全く新しいアイデアの連続が必要かもしれませんし、既存のシステムを少し形を変えるだけで良いかもしれません。
言語モデリングがどこまで進むかについては、すでに多くの人が予想していた以上に進んでいます。GPT-2が物理的な世界をどれほど理解しているかを探ることは非常に興味深いですね。GPT-2で水中の火について少し読むと、これらの物事を完全には理解していないようですが、同時に炎から出る煙など、様々なことも理解しています。
GPT-2は体を持たず、物理的な経験もなく、ただデータを静的に読んでいるだけなのです。私たちはまだ答えがわからないと言えますが、これらの質問を実際のシステムに投げかけることができ始めているという事実は、とても興奮させられます。
同じメカニズムで言語モデリングを大幅にスケールアップすれば、推論が現れると思いますか?
GPT-2をただスケールアップするだけで、完全な意味での推論が得られるとは考えにくいです。型シグネチャが少し間違っているように思います。私たちが「考える」と呼ぶものは、多くの計算を費やし、より良い答えを得るプロセスです。より時間をかけて考えれば、より良い答えが得られます。その種の型シグネチャは、GPTには完全には組み込まれていません。
GPTは進化の歴史の中で長い時間をかけて、この予測プロセスに非常に長けるようになり、実行時には1回のフォワードパスで生成できるようになっています。ただし、本当は1回のフォワードパスではありません。シンボルごとに生成し、例えば思考の全シーケンスを生成して最後の部分だけを保持するような方法もあり得ます。
少なくともそのような変更は必要だと思いますが、そのような思考を生成することが、私たちが考えるプロセスと同じような方法だと考えられます。
もう1つ興味深い点があります。分布外の一般化です。考えることで、そうした一般化が可能になります。何かを経験し、その mental model を洗練させ続けることができます。これは推論に結びついているように感じられます。小さな調整で済むかもしれませんし、多くのアイデアが必要で数十年かかるかもしれません。
分布外の一般化の仮定は、新しいアイデアを作り出せるということですね。しかし、GPT-2をGPT-20にスケールアップすることで、人間が持ち得る全ての思考に一般化できる可能性もありますね。
シェイクスピア以降、本当に新しい物語のアイデアをどれだけ生み出してきたでしょうか?結局は愛とドラマの異なる形態に過ぎません。
レイ・サットンの最近のブログ記事「bitter lesson」をご存知ですか?
いいえ、知りません。
彼は、AIリサーチの長年の歴史から読み取れる最大の教訓は、計算力を活用する一般的な手法が最終的に勝利するということだと述べています。これに同意しますか?つまり、GPT-2のモデリングやOpenAI Fiveのドータ2など、専門家が微調整した手法よりも一般的な手法の方が優れているということについて。
そのブログ記事への反応で興味深かったのは、多くの人が「計算力が全てだ」という脅威的な考えとして解釈したことです。しかし、それは真実ではありません。進歩のために非常に重要なアルゴリズムのアイデアがあることは明らかです。AGIを構築するためには、計算規模でも人間の創意工夫でも、できる限り追求する必要があります。両方が必要なのです。
しかし、あなたの質問の表現は非常に良いですね。私たちがどのようなアイデアを目指すべきかということです。スケーラブルなアイデアを見つけ、そこにより多くの計算力とデータを投入すれば、より良くなる。それが本当の聖杯です。
ディープラーニングの力とAGI構築の可能性に私たちが期待を寄せる理由は、最も成功しているAIシステムを見て、それらをスケールアップすればより良く機能するということを認識しているからです。そのスケーラビリティこそが、変革的なシステムを構築できる希望を与えてくれるのです。
これは部分的に感情的な反応かもしれませんが、最先端の性能には計算力が非常に重要で、カンザス州のどこかにいる13歳の開発者が、GPUを持っていないか1台の1080しか持っていないかもしれない状況で、どうやって競争できるのかという感情があります。スケールが重要だとすれば、AIの世界にどうやって貢献できるのでしょうか?
また一般的に、将来は計算資源をアルゴリズムと同じくらい民主化することに焦点を当てる必要があると思いますか?
私の考え方は次のようなものです。進歩の可能な空間、つまり私たちを前進させる働くシステムやアイデアの空間があります。その空間の一部、おそらくますます重要な部分は、大規模な計算資源を必要とします。その部分については答えは明確で、大規模なクラスタやシステムを構築することが重要だと考えているからこそ、このような構造になっているのです。
しかし、大規模な計算に関係のない空間の部分もあります。それらは、スケールアップすれば小規模の時よりもはるかに良く機能するようなアイデアですが、大規模な計算資源がなくても発見できます。
最近の開発の歴史を見ると、GANやVAEなどは、大規模な計算資源なしでも思いつくことができ、実際に人々はそれらを思いつきました。先日イアン・グッドフェローと話しましたが、初期のGANはかなりひどい結果でした。それでも彼らは、何かを生成できること自体が非常に驚くべきことだと賢明にも理解していました。
これは楽観的すぎて夢想的かもしれませんが、計算資源が政府によって所有され、公共事業として提供される世界を想像できますか?
この質問は、以前ハーバード大学の教授の一人、システム分野のマット・ウェルシュのブログ記事を思い出させます。彼の終身在職権の講演を覚えていますが、終身在職権を得たばかりの彼は夏にGoogleで働き、その後アカデミアに戻らないことを決めました。
彼のブログ記事では次のような指摘をしています。システム研究者として、クールなシステムのアイデアを思いつき、概念実証を行います。最高の望みは、GoogleやYahoo(当時)の人々がそれを実装し、実際に大規模に動作させることです。それが私の夢でした。小さなものを作り、彼らが実際に動く大きなものを作る。
彼は「もうそれには飽きた。実際に構築してデプロイする人間になりたい」と言いました。ここにも同様の二分法があると思います。アイデアを生み出し、概念実証を行うことに価値を見出す人々がいます。それは価値のあることです。最高のGAN画像は生成できないかもしれませんが、GANを発明したのです。
そこには本当のトレードオフがあり、それは非常に個人的な選択だと思います。しかし、両方の側面に価値があります。
AGIの創造や新しいモデルで、プロトタイプレベルでも素晴らしさの兆しが見えると思いますか?つまり、スケールがなくてもそれらのアイデアを開発できると?
私は常に実際の例、実際の前例を見るのが好きです。2018年6月にリリースしたモデルを見てください。それをスケールアップしてGPT-2になりましたが、小規模な段階でもいくつかの記録を打ち立てました。元のGPTは、GPT-2ほど驚くべきではありませんでしたが、いくつかの素晴らしい生成結果を示し、有望で興味深いものでした。
多くのアイデアで、小規模でも有望性が見られることは確かです。しかし、ここには非常に大きな但し書きがあります。時々、小規模では見られなかった質的に異なる振る舞いが現れ、元のアルゴリズムの発明者が「こんなことができるとは思わなかった」と言うことがあります。
これは私たちがドータで見たことです。PPOはここの研究者のジョン・シュルマンが作ったものですが、ドータでは基本的にPPOを大規模に実行しました。動作させるためにいくつかの調整は必要でしたが、基本的にはPPOがコアです。
私たちは長期的な計画や振る舞いを、不可能だと思われていた時間スケールで実現することができました。ジョンはそれを見て「こんなことができるとは思わなかった」と言いました。これは3桁のスケールの違いで起こることです。
しかし、少なくとも期待された振る舞いの兆しはありましたね。GPTをさらにスケールアップすると、驚くべきことが起こるかもしれません。
ドータとPPOに関して、人々があまり注目していない非常に驚くべき点の1つは、分布外への一般化の程度です。AIは存在の全期間を通じて他のボットとの対戦でのみ訓練されてきました。
少し戻って、ドータの話、オープンAI Fiveに至るまでの話、そして自己対戦による訓練のプロセスについて話していただけますか?多くの訓練が必要でしたね。
はい、ドータは複雑なビデオゲームです。チェスや囲碁のような離散的な動きの盤面ゲームと比べて、より現実世界に近い一歩だと感じてドータの解決に取り組み始めました。ドータはよりリアルタイムで、様々な行動の選択肢があり、45分のゲームで多くのユニットがあり、これまでのゲームでは捉えられなかった多くの複雑さがあります。
有名なことですが、ドータの全てのハードコーディングされたボットは酷いものでした。あまりにも複雑すぎて、良いものを作ることは不可能でした。そこで、強化学習の最先端を押し広げるのに良い場所だと考えました。
最初は1対1のバージョンに焦点を当て、それを解決することができました。世界チャンピオンを打ち倒し、学習曲線は信じられないほど指数関数的でした。常にスケールアップし、バグを修正していました。スキル曲線を見ると非常に滑らかな指数関数でした。人間の反復ループが非常に安定した指数関数的な進歩をもたらしたことは実に興味深いです。
ドータは例外的に人気のあるビデオゲームなので、人間の優れたエキスパートが多数いて、達成すべき基準が非常に高かったという点も特筆すべきです。エージェントの訓練に使われたアプローチについて、また訓練全体を通じて使われた方法についてお話いただけますか?
はい、自己対戦というアプローチを使いました。2つのエージェントは何も知らない状態から始め、互いに戦い、何か良いことを発見すると両者がそれを学び、際限なく上手くなっていきます。これは非常に強力なアイデアです。
そこから1対1のバージョンから5対5への拡張に移りました。バスケットボールのようなチームスポーツを考えてみてください。多くの連携が必要です。同じ自己対戦のアイデアを押し進め、5対5の完全版でもプロレベルに到達することができました。
ここで興味深いのは、これらのエージェントがある意味で昆虫のような知能を持っているということです。昆虫が訓練される方法と多くの共通点があります。昆虫は長い時間環境の中で生きるか、その昆虫の祖先が長い時間存在し、多くの経験がエージェントに組み込まれています。
人間のような意味で賢いわけではありません。微積分を学んで解くことはできませんが、環境を非常にうまく操作することができます。環境で予期しないことが起こっても、かなりうまく対応できます。
私たちのドータボットでも同じようなことが見られます。進化的環境には存在しなかった人間と戦うことができ、ボットとは全く異なる人間のプレイスタイルにも非常にうまく対応できます。これは私たちにとって非常に驚くべきことでした。小規模なPPOでは見られなかったことです。
私たちが実行しているスケールは、10万個のCPUコアと数百のGPUを使用し、おそらく1日で数百年分の経験を積んでいます。そのスケールは巨大で、私たちが知り愛する従来のアルゴリズムから、非常に異なる種類の振る舞いが見られ始めています。
ドータでは1対1で世界最強を打ち負かし、その後5対5で今年世界一に挑戦したということですが、その興奮を呼んだイベントについて、そしてその後の数ヶ月と今年の展望についてお話しいただけますか?
はい、実は私たちは常に負けています。OpenAIのドータチームは、私たちのシステムよりも強いプレイヤーと常に対戦していました。少なくとも以前はそうでした。最初に公の場で負けたのは、The Internationalの舞台で世界最高のチームと対戦した時でした。両試合とも負けましたが、かなりの戦いを見せました。
両試合とも25-30分続き、一進一退の攻防が続きました。これは私たちがプロレベルにいることを示しています。あの試合を振り返ると、コインの裏表で勝つこともできたかもしれません。それは私たちにとって非常に励みになりました。
The Internationalは決まった日時に行われるので、私たちはその日までできる限り頑張りました。しかし、その2週間後には、TIで戦ったボットに対して80%の勝率を持つボットができていました。進歩は一つのスナップショットとして見るべきで、最終状態ではありません。
実際、近々最終戦を発表する予定です。このポッドキャストがリリースされる前に発表があるはずです。世界チャンピオンと対戦することになります。しかし、私たちにとってはプロジェクトの最後の競争的なマイルストーンとして捉えています。
私たちの目標はドータで人間に勝つことではなく、強化学習の最先端を押し広げることです。それは達成できました。システムから多くを学び、次に取るべき興奮するステップがたくさんあります。私たちが構築したものの最後のショーケースとしてこの試合を行いますが、コインの表裏がどちらに転ぶかは、私たちにとってそれほど重要ではありません。
ディープラーニングの分野は今後数年でどこに向かうと思いますか?強化学習の仕事はどこに向かうでしょうか?より具体的には、OpenAIの取り組んでいる全ての興奮するプロジェクトについて、2019年はどのような展望をお持ちですか?
大規模なスケール…ただし、それには注釈を付け加えなければなりません。アイデアとスケールの両方が必要だということです。両方が必要なのです。
それは良い指摘ですね。知能の異なる領域を探求する多くのプロジェクトがありますが、スケールについて考える時、それぞれのプロジェクトのスケールを大きくすることを考えているのか、それとも新しいプロジェクトを追加することを考えているのでしょうか?また、もし新しいプロジェクトを追加することを考えているのであれば、あるいは過去を振り返って、新しいプロジェクトやアイデアを生み出すプロセスはどのようなものでしょうか?
私たちにはプロジェクトのライフサイクルがあります。最初は数人が小規模なアイデアに取り組みます。言語は実際に良い例です。長い間、1人の研究者が言語に取り組んでいました。
そして生命の兆しが見えてきます。例えば元のGPTで興味深いものができ、「よし、これをスケールアップする時だ」と判断します。より多くの人員と計算資源を投入し、押し進め続けます。
最終状態は、ドータやロボティクスのような形になります。10-15人の大きなチームが非常に大規模に運営し、実質的なエンジニアリングと機械学習の科学が融合して、それ以外では不可能だった結果を出すシステムを作ります。
私たちはこのライフサイクル全体を何度も経験してきました。通常、end-to-endで約2年かかります。組織は3年目ですので、もっと長いライフサイクルのプロジェクトもあるかもしれません。
イリヤと私は「推論チーム」と呼ぶ新しいチームを立ち上げたところです。ニューラルネットワークに推論をさせる方法に取り組もうとしています。これは長期的なプロジェクトになると考えており、とても楽しみにしています。
推論は非常に興味深いトピックですね。どのようなベンチマーク、どのような推論のテストを想定していますか?椅子に座ってドリンクを片手に、このシステムが何かをできたら「印象的だ」と思うような、そんな例はありますか?
定理証明、特に数学的論理が改善されていると思います。定理証明に似た問題もあります。プログラミングや、コードのセキュリティ分析などを考えてみてください。これらは同じような中核的な推論と、ある程度の分布外への一般化能力を必要とします。
OpenAIの推論チームがP=NPを証明できたら非常に素晴らしいですね。P=NPでないことが証明されても面白く、ユーモアがありますね。
今年、コミュニティ全体とOpenAIにとって最も興奮させられ、挑戦的で影響力のある問題は何だと思いますか?推論について言及されましたが、それはかなりの難問ですね。
推論は重要な問題ですが、2019年に良い結果を得るのは難しいでしょう。ライフサイクルには時間がかかることを考えると、2019年は言語モデリングがその段階にあるように思います。働く技術があり、100倍、1000倍にスケールアップして何が起こるか見てみたいところです。
私たちはシミュレーションの中で生きていると思いますか?
正直な意見を持つのは難しいと思います。世界について実質的に異なる予測を生み出せることと、単に思索するのが楽しいことを区別しています。シミュレーション問題は、火星と木星の間に浮かぶティーポットがあるかどうかのような問題だと考えています。あるかもしれませんが、それが私の人生にどのような意味を持つのかを知るのは少し難しいですね。
そこには実用的な何かがありますね。OpenAIの最高の仕事の一部は強化学習の分野にあり、強化学習の成功の一部は、解決しようとしている問題をシミュレーションできることから来ています。
自動運転車や他のシステムについて話す時、強化学習の未来とシミュレーションの未来に希望を持っていますか?システムをシミュレーションでき、現実世界を反映したシミュレータを作れるようになり、結果として私たちがシミュレーションの中で生きていることが証明されると思いますか?あなたはそれを否定していますが。
そうですね。自動運転車のシミュレーションについての本質的な質問には、私たちのロボットシステムDactylを見てください。実際にドータシステムを使ってシミュレーションで訓練され、物理的なロボットに転移します。
誰もが私たちのドータシステムを見て「ただのゲームだ。どうやって現実世界に出ていくのか」と言います。答えは、物理的なロボットでそれを実現したということです。シミュレーションは、適切な技術を適用すれば、考えられているよりもずっと先まで行けるのです。
しかし、そのシミュレーションの中の存在が目覚めて意識を持つかどうかという問題は、はるかに難しい問題です。人間の意識や自己認識がどこから来るのかを本当に考える必要があります。十分に複雑なニューラルネットワークを持てば、エージェントの痛みについて心配する必要があるのでしょうか?そこには興味深い思索の余地がありますが、確実なことを知るのは少し難しいですね。
推測を続けましょう。一般的な知能を作るには、1)意識と2)身体が必要だと思いますか?それともそれらの要素は必要なく、知能は別物だと思いますか?
まず、大きな答えではない方から始めましょう。私たちが既に機能させているものを見てみましょう。GPT-2について、多くの人々は「こういう結果を得るには現実世界での経験が必要だ、体が必要だ、基盤が必要だ」と言っていました。
これらのことについて推論するには、それらを経験したことがなければどうやって可能なのか、煙や火についてどうやって知ることができるのか、と。しかしGPT-2は、そういった推論が予測するよりもはるかに先に進めることを示しました。
意識が必要か、体が必要かという点については、おそらく答えは「いいえ」でしょう。今持っているシステムを押し進めることができるはずです。それらは既に一般的で、AGIほど有能でも一般的でも、素早く学習することもできませんが、少なくとも何らかの形でプロトAGIのようなものです。それらにはこれらの要素は必要ありません。
では、大きな答えに移りましょう。私たちのニューラルネットワークが既に意識を持っているとしたら、私たちはそれを知ることができるでしょうか?どうやってわかるでしょうか?
ここから推測が始まり、少なくとも興味深くなるか、あるいは取り方によっては少し不安になるかもしれません。動物を考えると、意識には連続体があるように思えます。私の猫は何らかの形で意識を持っていると思います。人間ほどではありませんが。
小さな意識メーターのようなものを想像できます。猫に向けると小さな値を示し、人間に向けるとずっと大きな値を示す。ドータのニューラルネットワークに向けたらどうなるでしょうか?
この大規模なシミュレーションを訓練する時、ニューラルネットワークは痛みを感じるのでしょうか?答えが「いいえ」だとは断言できず、答えが「はい」だとしたら何を意味するのか考えるのも難しくなります。
例えば、人間が意識を持っている理由は、便利な計算上のショートカットだからかもしれません。この環境で生き残るために重要な痛みを避けたり、食事をしたりしたい存在がいるとすると、おそらく最良の方法は意識を持つ存在を作ることでしょう。
環境で成功するためにはそれらの特性が必要で、それらをどうやって実装するのか。おそらくこの意識は、それを実現する方法なのかもしれません。もしそうなら、実は有能な強化学習エージェントも意識を持つことを期待すべきかもしれません。しかし、これは大きな「もし」であり、他の方向に向かう多くの議論も可能だと思います。
GPT-2にも何らかの意識があるという考えは、犬の知能、猫の知能、人間の知能を作ることについて考える時に有用な考えですね。
最後の質問です。映画「her」のように、人工知能システムと恋に落ちることはあり得ると思いますか?あるいは人工知能システムが人間と恋に落ちることは?
そうなることを願います。愛で締めくくるのにこれ以上良い方法はないですね。
グレッグ、今日は話をしていただき、ありがとうございました。
こちらこそ、ありがとうございました。
コメント