No Priors Ep. 39 | OpenAI共同創設者兼チーフサイエンティスト、イリヤ・サツケヴァーとの対談

本動画は、OpenAIの共同創設者兼チーフサイエンティストであるイリヤ・サツケヴァーへのインタビューである。ディープラーニング黎明期から現在に至るまでのAI研究の変遷、OpenAIの設立経緯と目標の進化、ニューラルネットワークのスケーリングの重要性、そして汎用人工知能（AGI）や人工超知能に向けた展望について詳細に語られている。特に、AlexNetの開発背景、GPTシリーズの進化、スーパーアライメント問題の重要性、そして将来のAIシステムが人類に対して友好的であることの必要性について深く議論されている。

OpenAIの軌跡と深層学習の夜明け

OpenAIは、今では誰もが知る企業ですが、わずか1年前まで100人規模の会社でした。この会社が世界を変えつつあります。彼らの研究は汎用人工知能（AGI）への道のりを先導しており、昨年11月にChatGPTが消費者の注目を集めて以来、その勢いは衰えることを知りません。今週、エラドと私は、OpenAIの共同創設者兼チーフサイエンティストであるイリヤ・サツケヴァーと座談し、AI研究の現状、限界に達する地点、AGIの未来、そしてスーパーアライメントの達成に必要なことについて議論しました。

イリヤ、No Priorsへようこそ。

ありがとうございます。参加できて嬉しいです。

AlexNet以前の暗黒時代

始まりから話しましょう。AlexNet以前は、深層学習において実際に機能するものは何もありませんでした。そのような環境において、あなた方は非常にユニークな賭けに出ました。この方向に進む動機は何だったのでしょうか？

確かに、その暗黒時代において、AIは人々が希望を抱く分野ではありませんでした。人々はいかなる種類の成功にも慣れていませんでした。成功がなかったため、多くの議論があり、機械学習とAIがどうあるべきかについて異なる議論を持つ異なる学派がありました。

古き良き時代の知識表現に従事する人々がいました。ベイジアン手法を好み、ベイジアン非パラメトリック手法を好む人々がいました。グラフィカルモデルを好む人々がいました。そしてニューラルネットワークを好む人々がいました。

これらの人々は周辺化されていました。なぜなら、ニューラルネットワークには数学的定理を証明できないという性質があったからです。何かについて定理を証明できないということは、あなたの研究が良くないということを意味していました。それがその時代の風潮でした。

しかし、私が最初からニューラルネットワークに引かれた理由は、それらが小さな脳のように感じられたからです。定理を証明できるかどうかなど誰が気にするでしょうか。私たちは小さな脳を訓練しているのですから、もしかすると、いつかそれらが何かをしてくれるかもしれません。

GPU革命とスケールの発見

私たちがAlexNetを実現できた理由は、2つ、いえ3つの要因の組み合わせでした。第一の要因は、GPUが機械学習で使用され始めた直後だったことです。人々は直感的にそれが良いことだと分かっていましたが、今日のように人々がGPUが何のためにあるかを正確に知っていた時代ではありませんでした。「ああ、これらのクールで高速なコンピューターで遊んで、何ができるか見てみよう」という感じでした。それはニューラルネットワークには特に適していました。

私は非常に幸運だったのは、当時のニューラルネットワークが良くない理由が、それらが小さすぎるからだということに気づくことができたことです。例えば、千個のニューロンを持つニューラルネットワークで視覚タスクを解こうとしても、何ができるでしょうか？何もできません。学習がどれほど優れていても、その他すべてがどれほど優れていても関係ありません。しかし、もしはるかに大きなニューラルネットワークがあれば、前例のないことができるでしょう。

何があなたにその直感を与えたのでしょうか？当時、それはかなり逆張りの考えだったと思います。あなたがおっしゃる通り、人間の脳がある意味でそのように機能している、または異なる生物学的ニューラル回路がそうであることを指摘されますが、なぜ早期にこれが良い方向だと考える直感を持ったのか、単純に興味があります。

脳を見ること、特に次のようなことを考えることです。これらすべてのことは、もしあなたが次のアイデアを受け入れることを許すなら、非常に容易に導かれます。 このアイデアは今では合理的によく受け入れられていますが、当時は人々はまだそれについて話していましたが、実際には受け入れておらず、内在化もしていませんでした。つまり、人工ニューロンがある意味で生物学的ニューロンとそれほど違わないかもしれないというアイデアです。

大規模データセットと技術的洞察

そうすると、動物が脳で行っていると想像することは何でも、同じような大きさの人工ニューラルネットワークを組み立てて、もしそれを訓練すれば、似たようなことができるかもしれないと想像し始めることができます。

これにより、ニューラルネットワークによって行われる計算をほぼ想像することができるようになります。高解像度の画像があり、大きなピクセル群に対して1つのニューロンがある場合、そのニューロンは何ができるでしょうか？あまり多くのことはできません。しかし、多くのニューロンがあれば、実際に何かを行い、何かを計算することができます。

これは技術的な認識と組み合わさったものでした。技術的な認識とは、ニューラルネットワークの動作を指定する大きな訓練セットがあり、その訓練セットがその大きなニューラルネットワークを十分に制約できるほど大きく、さらに、そのニューラルネットワークを見つけるアルゴリズムがある場合ということです。

私たちが行っていることは、訓練セットをニューラルネットワークに変換することです。これは訓練セットを満たすニューラルネットワークです。ニューラルネットワーク訓練は、ニューラル方程式を解くこととほぼ見ることができます。すべてのデータポイントが方程式であり、すべてのパラメータが変数であるニューラル方程式を解くのです。

GPUマスターとの協力

それは複数のことでした。より大きなニューラルネットワークが前例のないことができるという認識、大きなデータセットと、ニューラル方程式を解く計算力があれば実現できるという認識。そこで勾配降下法が登場しますが、それは勾配降下法自体ではありません。勾配降下法は長い間存在していました。それを機能させる方法についての特定の技術的洞察だったのです。

当時の一般的な信念は、「あなたはそれらのニューラルネットを何も訓練することはできない、すべて絶望的だ」というものでした。サイズだけの問題ではありませんでした。たとえ誰かが「ああ、大きなニューラルネットを試してみるのはクールだろう」と考えたとしても、このアイデアを現実に変える技術的能力がありませんでした。ニューラルネットをコーディングするだけでなく、多くのことを正しく行う必要があり、そうして初めて機能するのです。

さらに幸運だったのは、私が一緒に働いた人物、アレックス・クリジェフスキーが、GPUを本当に愛していることを発見し、GPUに対して本当に高性能なコードを書くことを真に習得した、おそらく最初の人物の一人だったことです。そのため、私たちは2つのGPUから多くの性能を絞り出すことができ、前例のないものを生み出すことができました。

OpenAIの設立理念と進化

要約すると、それは複数のことでした。これまでに行われたものよりもはるかに大きな、多層の畳み込みニューラルネットワークである大きなニューラルネットワーク、この場合は視覚ニューラルネットワークが、非常に前例のないことができるというアイデア。なぜなら脳は見ることができ、脳は大きなニューラルネットワークであり、私たちは素早く見ることができるからです。私たちのニューロンには多くの時間がありません。

それから必要な計算力、実際にそのようなニューラルネットワークを訓練できるという技術的ノウハウ。そしてそれは全く広く配布されていませんでした。機械学習のほとんどの人々は、たとえ望んだとしても、そのようなニューラルネットワークを訓練することができなかったでしょう。

サイズの観点から何か特定の目標はありましたか？それとも、生物学的にインスパイアされたものなのか、その数字がどこから来るのか、それとも単純にできる限り大きくということでしたか？

間違いなく、できる限り大きくです。なぜなら、私たちには有用に消費できる一定量の計算力があったことを覚えておいてください。そしてそれで何ができるでしょうか？

OpenAIの起源と組織の目標について考えてみましょう。元々の目標は何で、それは時間とともにどのように進化したのでしょうか？

目標は時間とともに進化しませんでした。戦術が時間とともに進化したのです。 OpenAIの最初からの目標は、汎用人工知能（私たちが意味するのは自律システム、人々が行うほとんどの仕事や活動やタスクを実際に行うことができるAI）が全人類に利益をもたらすことを確実にすることでした。それが最初からの目標でした。

初期の考えは、多くの技術をオープンソース化することが最良の方法かもしれないというものでした。私たちはまた、非営利団体として行うことも試みました。非常に理にかなっているように思えました。これが目標で、非営利がそれを行う方法です。

営利への転換と計算力の必要性

何が変わったかというと、OpenAIのある時点で、私たちは認識し、おそらく実際のAIで進歩するためには大量の計算力が必要だということを最も早く認識した中の一つでした。大量とはどういう意味でしょうか？計算力への欲求は本当に無限です。今では明らかに見られているように。しかし、私たちは多くが必要であることを認識し、非営利では、非営利では大きなクラスターを構築することはできないでしょう。

そのため、私たちはcapped profitと呼ばれるこの珍しい構造に転換しました。私の知る限り、私たちは世界で唯一のcapped profit企業です。アイデアは、投資家がお金を投入するが、たとえ会社が信じられないほどうまくいったとしても、元の投資の何倍かの乗数以上は得られないというものです。

これを行う理由、これが理にかなう理由は、反対の議論もできますが、賛成の議論は次の通りです。もしあなたが私たちが構築している技術、AGIが、人々が行うすべての単一のタスクを行うほど有能である可能性があると信じるなら、それは皆を失業させる可能性があるということでしょうか？ 分かりませんが、不可能ではありません。そうである場合、そのような技術を構築する会社が無限の利益を上げることができない、むしろ無限の利益を上げるインセンティブを持たないようにすることは理にかなっています。

初期の研究方向からTransformerへの転換

AIにおける競争のため、これが文字通りこのように展開するかは分かりません。複数の企業があり、私が行っている議論に何らかの予期せぬ影響があると思いますが、それがその考えでした。

以前、あなた方がYCか何かに収容されていた、またはいくつかのスペースを共同利用していた頃のオフィスを訪問したことを覚えています。当時、そこには一連の異なる取り組みがありました。操作されているロボットアームがあり、ビデオゲーム関連の作業があり、それは実に最先端でした。研究アジェンダがどのように進化し、何がTransformerベースのモデルやその他の学習形態のこの道筋に本当に導いたのでしょうか？

私たちの考えは、OpenAIを始めた時から長年にわたって進化してきました。最初の年には、確かにより従来的な機械学習作業を行いました。従来的な機械学習作業とは、世界が非常に変化したため、2016年や2017年に皆が知っていた多くのことが完全に忘れ去られているからです。それはほぼ石器時代のようです。

その石器時代において、機械学習の世界は非常に異なって見えました。それは劇的により学術的でした。目標、価値観、目的ははるかに学術的でした。それらは小さな知識の断片を発見し、それらを他の研究者と共有し、その結果として科学的認識を得ることについてでした。それは非常に有効な目標であり、非常に理解できるものです。私は今20年以上AIに携わっており、AIで過ごした時間の半分以上をその枠組みで過ごしてきました。

大規模プロジェクトへの転換

では何をするのでしょうか？論文を書き、小さな発見を共有します。2つの認識がありました。第一の認識は、高レベルでは、それは劇的な影響のための道のりではないように思えるということです。なぜでしょうか？AGIがどのように見えるべきかを想像すると、それは多くの計算力を使用する何らかの大きなエンジニアリングプロジェクトでなければならないからです。たとえそれを構築する方法が分からなくても、それがどのように見えるべきかが分からなくても、これが目指すべき理想であることは分かります。そのため、小さなプロジェクトではなく、より大きなプロジェクトに向かって動きたいのです。

私たちが最初の大きなプロジェクトを試みたのは、リアルタイム戦略ゲームを最高の人間と同様にプレイするニューラルネットワークを訓練することでした。 それはDota 2プロジェクトで、2人の人物、ヤコブ・パチョッキとグレッグ・ブロックマンによって推進されました。彼らは本当にこのプロジェクトを落とし込み、成功させました。これは大きなプロジェクトでの私たちの最初の試みでしたが、私たちにとって適切な公式ではありませんでした。なぜなら、ニューラルネットワークが少し小さすぎ、狭い領域だったからです。ただのゲームでした。ゲームをプレイするのはクールですが。

彼らは探し続け、ある時点で私たちは気づきました。非常に大きなTransformerをテキストをより良く、より良く予測するために訓練すると、非常に驚くべきことが起こるだろうと。この認識もまた少し段階的に到達しました。私たちは生成モデルを探索していました。次の単語予測に関するアイデアを探索していました。それらは圧縮に関連するアイデアでもありました。

GPTシリーズの発展と創発的能力

私たちはそれらを探索していました。Transformerが登場しました。私たちは本当に興奮しました。これは最高のものです。私たちは今Transformerを行います。それは明らかに以前の何よりも優れています。私たちはTransformerを始めました。GPT-1を行いました。GPT-1は非常に興味深い生命の兆候を示し始め、それが私たちをGPT-2に導き、最終的にGPT-3に導きました。

GPT-3は本当に他の皆の目も開かせました。 この事物には多くの牽引力があります。今、皆が行っている特定の公式があり、この公式は、より多くのデータでより大きく、より大きなTransformerを訓練することです。

私にとっての大きな目覚めの瞬間は、あなたがおっしゃった通り、GPT-2からGPT-3への移行で、そこで能力に大きなステップ関数を見ました。そして明らかに4では、OpenAIは異なる知識領域や専門領域、思考の連鎖、またはモデルが突然創発的な形で行えるその他のことについて、本当に興味深い研究を発表しました。これらのモデルにおける創発的行動に関して、時間の経過とともに最も驚くべきことは何でしたか？

その質問に答えるのは非常に困難です。なぜなら私は近すぎて、すべてのステップを見てきたからです。そのため、したいと思うほど、その質問に答えるのは非常に困難だと感じます。

もし一つ選ばなければならないとすれば、おそらく最も驚くべきことは、全体が機能することです。そして、これを伝える方法が分からないのは難しいことです。なぜなら、多くのニューラルネットワークが素晴らしいことを行うのを見れば、明らかにニューラルネットワークが機能するものです。しかし、私は個人的に、ニューラルネットワークが全く機能しない世界に何年もいたことを目撃しました。今日私たちがいる場所と対比すると、ただそれらが機能し、これらの素晴らしいことを行うという事実。もし一つ選ばなければならないとすれば、おそらく最も驚くべきことです。

最も驚くべきこととして一つ選ばなければならないとすれば、それは私がそれに話しかけると理解されていると感じることでしょう。

研究方向の決定プロセス

アーサー・クラークか、SF作家の一人からの非常に良い格言があります。「高度な技術は時として魔法と区別がつかない」というものです。私は完全にこの陣営にいます。

これらのモデルには確かに魔法的な瞬間があります。あなた方が内部で、追求できるすべての異なる能力を考慮して、OpenAIの成功にとって規模でのある特定の研究方向への集中化とコミットメントが本当に重要だと説明されたことを踏まえ、機会の幅広さを考慮して、作業する価値があるものを継続的に選択する方法はありますか？

ボトムアップとトップダウンの組み合わせがあると思います。私たちは機能するはずだと信じているいくつかのトップダウンのアイデアを持っていますが、100%確信しているわけではありません。そのため、良いトップダウンのアイデアを持つ必要があり、それらのトップダウンのアイデアによって導かれる多くのボトムアップ探索があります。それらの組み合わせが、次に何をすべきかを教えてくれるものです。

アーキテクチャの改善とスケーリングの継続

それらのボトムアップまたはトップダウンのアイデアについて考えるとき、明らかに私たちには、Transformerを継続的にスケールするという支配的な方向があります。追加のアーキテクチャ方向を探索しますか、それとも単にそれは関係ないのでしょうか？

さまざまな改善が見つかる可能性があることは確かです。小さな改善と大きな改善の両方が、あらゆる種類の場所で見つかる可能性があると思います。

これについて考える方法は、現在行われていることが、投入する計算力とデータの量を増やし続けるにつれて、ますます良くなり続けるという特性を持っているということです。私たちにはその特性があります。大きくすればするほど良くなります。

それはまた、異なるものが、それらをスケールアップし続けるにつれて、異なる量だけ良くなるという特性でもあります。そのため、私たちが行っていることをスケールアップすることはもちろん望みますが、可能な限り最良のものを継続的にスケールアップしたいのです。

現在のモデルの改善点

現在の世代のスケールで、能力の観点から最も改善していると思うものは何でしょうか？おそらく予測する必要はないでしょう、内部的に見ることができるので。

この質問に答える最良の方法は、公開されているモデルを指摘することです。今年と昨年でそれらがどのように比較されるかを見ることができ、その違いはかなり顕著です。GPT-3とGPT-3.5、そしてChatGPT、ChatGPT-4、ビジョン付きChatGPT-4の違いを見ることができ、自分で確認できます。

物事がどこにあったかを忘れるのは簡単ですが、確実に大きく変化している方法は、これらのモデルがますます信頼できるようになっていることです。 以前は、それらは部分的にしかそこにありませんでした。今では、それらはほとんどそこにいますが、まだギャップがあります。将来的には、おそらくこれらのモデルはさらにそこにあるでしょう。あなたは彼らの答えを信頼でき、それらはより信頼でき、一般的にボード全体でより多くのタスクを行うことができるでしょう。

そして、それらが行うもう一つのことは、より深い洞察を持つことです。 私たちがそれらを訓練するにつれて、それらは人間世界の真の本質についてますます多くの洞察を得て、それらの洞察は深まり続けるでしょう。

モデルサイズと信頼性のトレードオフ

これが時間の経過とともにモデルスケールとどのように関係するかについて質問したかったのです。なぜなら、多くの人々が非常に大規模なモデルの能力と世界の理解についての創発的行動に本当に打たれているからです。並行して、人々がこれらの一部を製品に組み込むとき、それは非常に異なるタイプの道筋であり、彼らはしばしばモデルのスケールとともに上昇する推論コストを心配し始め、そのため、ファインチューニングされたより小さなモデルを探しますが、もちろん、洞察と推論する能力の一部の能力を失う可能性があります。

実際に、より小さなモデルに切り替えるときに失われる主なものは信頼性だと指摘したいと思います。 この時点で、これらのモデルが真に有用であることの最大のボトルネックは信頼性だと主張します。

信頼性をどのように定義していますか？

それは、モデルが成功する他の質問よりも難しくない質問をするとき、それが成功し続ける非常に高い確信度を持つということです。例を挙げましょう。何らかの歴史的なことについて学びたいとして、これについて、それについての一般的な意見は何か教えてくださいと質問でき、質問を続けることができるとします。20の質問に正しく答えたとしましょう。21番目の質問にひどい間違いがあることを本当に望みません。それが信頼性で私が意味することです。

または、いくつかの文書、いくつかの財務文書をアップロードしたとします。何かを言っているとします。いくつかの分析を行い、いくつかの結論を出してほしいと言い、この結論に基づいて行動を取りたいとします。それは超困難なタスクではなく、これらのモデルは明らかにほとんどの時間でこのタスクに成功しますが、常に成功するわけではなく、それが結果的な決定である場合、実際にはそれらの時間のいずれにおいてもモデルを信頼することができません。何らかの方法で答えを検証する必要があります。

それが信頼性で私が定義するものです。 自動運転の状況と非常に似ています。自動運転車があり、ほとんどのことはうまくやるとしても、それは十分ではありません。

大規模モデルの新しいアプリケーション

私の認識では、あなたがおっしゃった通り、信頼性はモデルスケールとともに上がりますが、特定の使用事例やインスタンスやデータセットに調整する場合にも上がります。そのため、サイズ対専門的なファインチューニング対信頼性のトレードオフがあります。

確実に、特定のアプリケーションを気にする人々は、十分にうまく機能する最小のモデルを得るあらゆるインセンティブを持っています。それは自明だと思います。それは否定できないと思います。

しかし、モデルがより大きく、より良くなり続けるにつれて、それらは新しく、前例なく価値のあるアプリケーションを解き放つでしょうと思います。小さなモデルは、それでも非常に有用である、あまり興味深くないアプリケーションのためのニッチを持つでしょう。そして大きなモデルは、アプリケーションで提供するでしょう。

例を選びましょう。良い法的助言を提供するタスクを考えてみてください。本当に答えを信頼できる場合、それは本当に価値があります。おそらくそのためにははるかに大きなモデルが必要ですが、それはコストを正当化します。

オープンソースの役割と複雑さ

今年、特に7Bですが、7B、13B、34Bサイズで多くの投資がありました。これらのスケールでの継続的な研究は無駄だと思いますか？

いえ、もちろんそうではありません。中期的には、とにかく私の時間スケールでは、エコシステムがあると思います。異なるモデルサイズのための異なる用途があります。最高の7Bモデルで十分である多くの人々がいて、彼らはそれに非常に満足するでしょう。そして、十分ではない非常に刺激的で素晴らしいアプリケーションがたくさんあると思います。

大きなモデルは小さなモデルよりも良いと思いますが、すべてのアプリケーションが大きなモデルのコストを正当化するわけではありません。

このエコシステムにおけるオープンソースの役割はどう思いますか？

オープンソースは複雑です。私の心の絵を説明しましょう。近期的には、オープンソースは企業が有用なものを生産するのを助けているだけだと思います。なぜ人はいくつかの他の会社によってホストされているクローズドソースモデルの代わりにオープンソースモデルを使用したいのでしょうか？

自分のモデルを使用したい正確な方法の最終決定者になりたく、あなたのモデルを使用したい正確な方法の決定を行い、どの使用事例をサポートしたいかの決定を行うことは非常に有効だと思います。 オープンソースモデルに対する多くの需要があり、それらを使用する相当数の企業があると思います。近期的にはそうなると想像します。

長期的には、オープンソースモデルの状況はより複雑になり、そこでの正しい答えが何かは確信していないと言います。今、それを想像するのは少し困難です。未来帽子をかぶる必要があります。おそらく未来主義者の帽子です。私たちがコンピューターと話していて、彼らが私たちを理解していることを思い出すと、SFモードに入るのはそれほど難しくありません。

高能力AIの潜在的影響

しかし、これまでのところ、これらのコンピューター、これらのモデルは実際にはそれほど有能ではありません。タスクを全く行うことができません。これらのモデルの能力レベルが非常に高い日が来ると思います。結局のところ、知能は力です。今のところ、これらのモデルの主な影響、少なくとも人気のある影響は、主にエンターテインメントと簡単な質問回答周辺だと言います。

モデルと話し、とてもクールです。いくつかの画像を生成し、会話をし、おそらくいくつかの質問があり、それに答えることができました。しかし、それは大きく複雑なタスクを完了することとは非常に異なります。

自律的に大きなテック企業を開始し、構築できるモデルがあったらどうでしょうか？ そのようなモデルがオープンソースである場合、それらは予測困難な結果を持つと思います。私たちは今、これらのモデルからは相当遠いです。相当遠いというのは、AI時間スケールでの意味ですが、それでも、これはあなたが話していることではありませんが、自律的に科学を行うことができるモデル、大きな科学プロジェクトで成果を出すことができるモデルがある日が来るでしょう。そのような力のモデルがオープンソースされるべきかどうかについては、より複雑になります。

私は現在のレベルのモデルと比較して、そこでの議論ははるかに明確でない、はるかに単純でないと思います。現在のレベルのモデルは非常に有用で、現在のレベルのモデルがそれほど構築されていることは素晴らしいと思います。

能力の境界線を見極める重要性

オープンソースの取引は何か、オープンソースの役割は何かという少し大きな質問に答えたかもしれません。取引は、特定の能力まではそれは素晴らしいということですが、十分に強力なモデルが構築される日を想像するのは難しくありません。そこでは、それらのオープンソースの利益がはるかに明白でなくなります。

そのレベルに達したか、そのレベルに近づいているという信号はありますか？ 境界線は何でしょうか？

この境界線を非常によく理解することは、緊急の研究プロジェクトだと思います。 役立つことの一つは、クローズドソースモデルがオープンソースモデルよりも有能であることです。そのため、クローズドソースモデルを研究することができます。そして、クローズドソースモデルの世代で何らかの経験を持つことができ、それから「ああ、これらのモデルの能力、それは大丈夫、大したことではない」と知ることができます。

そして数年後、オープンソースモデルが追いつくかもしれません。私たちがクローズドソースモデルについて「うわあ、これらのクローズドソースモデル、彼らは少し劇的すぎる」と言う日が来るかもしれません。そしてその他のアプローチが必要です。

スケーリングの限界と将来の展望

未来帽子をかぶって、数年のタイムラインについて考えてみましょう。近期的なスケーリングで見ている限界があるとすれば、それはデータトークンの不足、計算のコスト、アーキテクチャの問題のようなものでしょうか？

スケーリングの最も近期的な限界は、明らかにデータです。これはよく知られており、それに対処するためにはいくつかの研究が必要です。詳細に入ることなく、データの限界は克服することができ、進歩は続くと言います。

一つの質問として、Transformerベースのモデルが、AGIに必要な全範囲の領域に適用できる程度について、人々が少し議論しているのを聞いたことがあります。人間の脳を見ると、例えば、視覚皮質対高次思考の領域、共感や個性から処理までのすべての側面のための他の種類の側面のための専門的なシステムや領域ネットワークがかなり専門的なシステムがあります。

Transformerアーキテクチャが続いていき、そこに到達させる主要なものだと思いますか、それとも時間の経過とともに他のアーキテクチャが必要だと思いますか？

私はあなたが言っていることを正確に理解し、この質問に対して2つの答えがあります。第一は、私の意見では、アーキテクチャの質問について考える最良の方法は、それで十分かどうかのバイナリではなく、どれくらいの努力、この特定のアーキテクチャを使用することのコストはどのくらいかという観点です。

この時点で、Transformerアーキテクチャが素晴らしいことができることを誰も疑っていないと思いますが、おそらく何か他のもの、何らかの修正が何らかの計算効率の利益を持つ可能性があります。 そのため、すべてでそこに到達できるかどうかの観点ではなく、計算効率の観点で考える方が良いです。この時点で、その答えは明らかにはいだと思います。

脳の専門化に関する洞察

それでは、その専門化された脳領域を持つ人間の脳についてはどうでしょうか？実際には、そこでの状況は微妙で騙されやすいものだと思います。次の理由のためです。

あなたが言及したと思うのは、人間の脳には知られた領域があるという事実です。 音声知覚領域があり、音声生成領域があり、画像領域があり、顔領域があり、これらすべての領域があり、専門化されているように見えます。

しかし、興味深いことに、時には若い年齢で重篤なてんかんのケースを持つ非常に若い子供たちのケースがあります。そのような子供たちを治療する方法を見つける唯一の方法は、脳の半分を除去することです。それが非常に若い年齢で起こったため、これらの子供たちはかなり機能的な大人に成長し、同じ脳領域をすべて持っていますが、それらは何らかの形で一つの半球に圧縮されています。

おそらく何らかの情報処理効率が失われます。それは非常にトラウマ的な経験ですが、何らかの形でこれらすべての脳領域が自分自身を再配置します。

フェレット実験と皮質の均一性

もう一つの実験があります。おそらく30年または40年前にフェレットで行われました。フェレットは小さな動物です。それはかなり意地悪な実験でした。彼らはフェレットの視神経を取り、それを目から来て、聴覚皮質に付着させました。そのため、目からの入力が脳の音声処理領域にマップし始めました。

そして、それが数日間学習した後、さまざまなニューロンを記録し、視覚皮質に非常に類似した聴覚皮質のニューロンを見つけました。またはその逆でした。目を耳に、聴覚皮質にマップしたか、耳を視覚皮質にマップしたかのいずれかでしたが、このようなことが起こりました。

これらは、人間と動物の皮質が極めて均一であるというAIでよく知られたアイデアです。 そのため、それは一つの大きな均一なアーキテクチャが必要だという考えをさらに支持します。

統一アーキテクチャの妥当性

生物学的システムは一般的に、一つのシステムを取り、それを再現し、異なる方法でそれを再利用することにおいて、かなり怠惰のようです。それはDNAがエンコードすることから始まって、20のアミノ酸とタンパク質配列があり、そのため、すべてが同じ20のアミノ酸から作られているということまで、すべてに当てはまります。あなたがおっしゃった通り、組織アーキテクチャをどう考えるかについてのあなたの指摘まで。

それがデジタル世界にも引き継がれることは顕著です。

私の見方では、これは技術的な観点から、私たちが非常に正しい軌道にあるという兆候です。なぜなら、人間の知能と生物学的知能と人工知能との間に、これらすべての興味深い類推があるからです。人工ニューロン、生物学的ニューロン、生物学的知能のための統一脳アーキテクチャ、人工知能のための統一ニューラルネットワークアーキテクチャがあります。

デジタルライフとしてのAI

いつ頃から、これらのシステムをデジタルライフとして考え始めるべきだと思いますか？

その質問に答えることができます。それは、これらのシステムが非常に自律的であるような方法で信頼できるようになるときに起こると思います。 今のところ、これらのシステムは明らかに自律的ではありません。少しずつそこに向かっていますが、自律的ではありません。それは彼らをはるかに有用でなくもします。なぜなら、「私の宿題をやって」や「私の税金をやって」と言うことができないからです。

そのため、有用性が増加するにつれて、それらは確かにより人工的な生命のようになり、それはまた、より畏敬の念を抱かせるものにもなると主張します。実際の人工生命を想像してください。人間よりも賢い脳を持つもの。ああ、それはかなり記念すべきことのように思えます。

自律性による生命の定義

あなたの定義が自律性に基づいているのはなぜですか？生物学的生命の定義を見ると、それは繁殖能力と何らかの形の自律性に関係することが多いですよね。ウイルスはほとんどの場合、本当に生きているとは見なされませんが、細菌は生きています。何らかの理由で本当に自律的に機能することができないが、それでも生命体と見なされる共生関係やその他のものがある状況を想像することができます。

定義は私たちの便宜のために選ばれるものであり、それは私の意見では議論の問題です。技術にはすでに繁殖機能があります。 例えば、過去25年間の携帯電話からスマートフォンの進化のイメージや、過去世紀の自動車の進化を見たことがあるかどうか分かりませんが、ほぼ進化の木のように見えるものを得ることができます。

技術はすでに、以前の世代の技術からアイデアをコピーする人々の心を使用して繁殖しています。 そのため、繁殖はすでにそこにあると主張します。自律性の部分は私がないと主張するもので、確かに自律的な繁殖もないことに同意しますが、それは自律的に繁殖するAIを想像できるかどうかのようなものです。 実際に、それはかなり劇的で、非常に恐ろしいことだと言います。自律的に繁殖するAIがあり、それも非常に有能である場合。

スーパーアライメントの必要性

スーパーアライメントについて話すべきでしょうか？

非常にそうですね。それを定義し、あなた方がオープンソースでこれらの能力について心配し始める必要があると感じる境界について話していたことについて、スーパーアライメントとは何か、そして今それに投資する理由は何ですか？

あなたの質問に対する答えは、AIがどこに向かっていると思うかに本当に依存します。もちろん非常に困難なことですが、とにかく未来を見つめようとしてみましょう。5年後や10年後にはどこにいると思いますか？

進歩は過去数年間で本当に驚異的でした。おそらくもう少し遅くなるかもしれませんが、それでも、この種の進歩を外挿すると、5年後、さらには10年後には非常に異なる場所にいることになります。

人々よりもはるかに賢いコンピューター、データセンターを持つことは全く非現実的ではありません。 賢いというのは、単により多くのメモリを持っているとか、より多くの知識を持っているという意味ではなく、私たち人々が研究し、調べているのと同じ主題についてより深い洞察を持っているという意味です。人々よりもさらに速く学習するという意味です。

そのようなAIは何ができるでしょうか？ 分かりません。確実に、そのようなAIが何らかの人工生命の基盤であれば、それは、どのように考えることさえできるでしょうか。ある意味で生きているような、非常に強力なデータセンターがあるとしたら、それがあなたが話していることです。

親人類的な超知能の重要性

この世界を想像するとき、私の反応は「ああ、これは非常に予測不可能です。何が起こるかは非常に予測不可能です」というものです。しかし、最低限、私たちが表現できる最低限がありますが、そのような超知能、そのような非常に非常に知的な超知的データセンターが全く構築される場合、それらのデータセンターが人々に対して、人類に対して温かく肯定的な感情を持ってほしいということです。

なぜなら、それらは、ある意味で非人間的な生命である可能性があるからです。そのため、そのような超知能のあらゆる例が人類に対して温かい感情を持ってほしいと思うでしょう。

これが私たちがスーパーアライメントプロジェクトで行っていることです。 私たちは「もしあなたが、私たちが見てきた進歩がおそらくもう少し遅くなるかもしれないが、それが続くということを、あなたが自分自身に許すなら、自分自身にそれを許すなら、そのような未来の超知能を制御する問題を処理することができるように、科学を構築するために今日から生産的な作業を始めることができます。人々に対して親切で優しくありたいという強い欲求を彼らに刷り込むことです。

なぜなら、それらのデータセンター、それらは本当にかなり強力になるでしょう。おそらく多くのものがあるでしょう。世界は非常に複雑になるでしょう。しかし、何らかの形で、彼らが自律的である限り、彼らがエージェントである限り、彼らが存在である限り、私は彼らが親社会的で、親人類社会的であることを望みます。それが目標です。

親社会的AIの実現可能性

その目標の可能性をどう思いますか？それの一部は、うまくいけば影響を与えることができる結果のように感じられますが、個人として、または種として友達である親社会的AIを持つ可能性はありますか？

友達という部分は必要ないと思います。友情の部分はオプションだと思いますが、非常に親社会的なAIを持ちたいと思います。それは可能だと思います。 保証されているとは思いませんが、可能だと思います。

可能だと思い、その可能性は、ますます多くの人々が5年から10年の未来を見つめ、AIがその時点で何ができると期待するか、その時点でどれほど有能であることを期待するか、と自分自身に尋ねることを許す限りにおいて増加するでしょう。

AI能力向上による意識変化

実際に、AI改善の経験によって意識変化が起こると思います。なぜなら、今は議論をしていますが、実際に「ああ、昨年のAIは本当に役立っていたのに、今年は前のものを恥ずかしく思うほどだ」と経験し、「よし」となり、その1年後、AIがソフトウェアエンジニアとして科学を始め、本当にかなり良くなってきたとしましょう。

あなたが説明したことに対する多くの欲求、未来の超知能が確かに非常に親社会的であることに対する欲求、人類を愛する超知能に対する欲求を、それができる限りにおいて、作り出すと思います。

多くの反対意見があると思います。多くの政治的な質問があるでしょう。しかし、人々がAIが実際に良くなるのを見て、それを経験するにつれて、親社会的な超知能、人類を愛する超知能への欲求が増加すると思います。

研究の現状と今後の展望

科学的問題では、今はまだそれほど多くの人が働いていない分野です。AIが十分に強力になってきているので、本当に生産的にそれを研究し始めることができます。間もなく共有する非常に刺激的な研究がありますが、それが大きな状況だと言います。

それは本当に、これまでにAIで経験したことを見て、それが減速しているかどうか、来年減速するかどうかを自分自身に尋ねることに要約されます。 私たちはそれを見て、再び、再び経験するでしょう。そして、続けると思い、何をする必要があるかが明確になり続けるでしょう。

加速フェーズと減速要因

私たちが加速パスにいるだけだと思いますか？なぜなら、基本的に特定の技術波を見ると、それらは変曲し、その後減速対加速の傾向があり、減速フェーズ対加速フェーズで、今は加速フェーズにいるように本当に感じられるからです。

私たちは今、確かに加速フェーズにあります。複数の力が作用してくることになります。いくつかの力は加速する力であり、いくつかの力は減速する力です。

例えば、コストとスケールは減速する力です。私たちのデータが有限であるという事実は、ある程度は減速する力です。少なくとも、誇張したくはありません。それは標準的なS曲線またはシグマのような漸近線内のようなものです。

しかし、データに関しては、私たちが何か他のことを理解するので、それは問題にならないと思います。 しかし、その後、エンジニアリングプロジェクトのサイズが加速する力だと議論するかもしれません。管理の複雑さです。一方で、投資の量は加速する力です。人々からの関心の量、エンジニア、科学者からの関心は加速する力です。

生物学的進化からの示唆

もう一つの加速する力があると思います。それは、生物学的進化がそれを理解することができたという事実です。 そして、これまでのAIの進歩には、この奇妙な性質があったという事実です。それは実行するのが非常に困難でしたが、ある意味では、人が期待したよりも単純でもありました。

ある意味では、物理学はよく分かりませんが、私の理解では、量子物理学で進歩を遂げたい場合、本当に知的である必要があり、大学院で何年も過ごして、これらのことがどのように機能するかを研究する必要があります。一方、AIでは、人々が入ってきて、素早く速度を上げ、素早く貢献し始めます。

フレーバーは何らかの形で異なり、何らかの形で非常にあります。この特定の研究分野には多くの余裕があり、それも加速する力だと思います。

今後の展開予測

すべてがどのように展開されるかは、まだ見られることです。おそらく何らかの形で、必要なスケール、エンジニアリングの複雑さが、進歩の速度が遅くなり始めるようになる可能性があります。それでも続くでしょうが、おそらく以前のように速くはないかもしれません。

または、それを押し進めるために集まっている力が、おそらく数年間、それが遅くなる前に、同じように速いかもしれません。それが私の表現です。

イリヤ、これは素晴らしい対話でした。参加していただき、ありがとうございます。

対話を本当に楽しみました、ありがとうございました。

TwitterでNo Priors Podを見つけて、私たちの顔を見たければYouTubeチャンネルを購読してください。Apple PodcastやSpotifyなど、あなたが聞く場所でショーをフォローしてください。そうすれば、毎週新しいエピソードが届きます。そして、すべてのエピソードのメールやトランスクリプトを求めるには、no-priors.comでサインアップしてください。