この動画は、オックスフォード大学のトビー・オードが、AI企業が公開したがらないであろう技術的変化について詳細に解説したものである。特に、事前訓練から推論時計算へのシフトがAI業界に与える根本的な影響を分析し、これがAIガバナンスや政策立案に及ぼす重要な含意を議論している。オードは、現在のAI発展における「スケーリングパラドックス」や強化学習の復活、そしてこれらの変化が人類の未来に与える潜在的リスクについて、学術的かつ実践的な視点から考察を展開している。
- AIの風景の変化と新たな挑戦
- LLMへの移行とその含意
- 推論スケーリングへの移行
- 事前訓練の限界と新たなアプローチ
- 推論スケーリングの含意
- 格差とアクセスの問題
- エネルギー効率と技術的フロンティア
- 情報セキュリティとオープンソースへの影響
- 市場競争への影響
- 特権的アクセスの懸念
- 政策への含意
- 推論スケーリングがAI規制を困難にする
- 分散コンピューティングの課題
- 計算量ガバナンスの将来
- 技術変化の戦略的影響
- 蒸留と増幅の可能性
- 強化学習の復活とその問題
- 強化学習復活の含意
- 早期警告の可能性
- スケーリングパラドックス
- ログ損失と収益性の関係
- 推論スケーリングのグラフの解釈
- ナイーブさと戦略的思考のバランス
- オーバートンウィンドウを超える思考
- ナイーブさを避ける方法
- 反復過程としての規制
- より具体的なガバナンス提案
- 現在の状況の総括
AIの風景の変化と新たな挑戦
ロブ・ウィブリンです。今日は再びトビー・オードさんとお話しします。トビーさんはオックスフォード大学の上級研究員で、人類が直面する最も大きな問題に焦点を当てた研究をされています。リスナーの皆さんには、2020年に大きな話題となった著書『断崖：実存的リスクと人類の未来』の著者として最もよく知られているでしょう。番組への再出演を歓迎します、トビーさん。
トビー・オードです。お招きいただき、ありがとうございます。
今日は、この数年間にAIで起こってきた様々な技術的発展を取り上げ、ほぼ全ての人が理解できる方法で説明し、それらが私たちの生活、今後数年間でAIに何を期待すべきか、そして特にAIガバナンスと政策にどのような含意を持つかを説明したいと思います。
しかし最初に、昨年あなたが書いたブログ記事、または行った発表について少し話したいと思います。「断崖再訪」と呼ばれるものです。断崖は2018年から2019年にかけて執筆され、2020年に出版された本で、人類の未来に対するあらゆる主要な脅威の背後にある科学を探求しました：パンデミック、小惑星、もちろんAI、核戦争といったものです。
それ以来、多くの発展がありました。昨年、あなたは振り返って、執筆から5年間で主要な変化は何だったのか、人類はより良い状況にあるのか、より悪い状況にあるのか、主要な変化は何だったのか、そして特にこれほど多くのことが起こっているAIについて考えたかったのだと思います。
明らかにパンデミックには多くの変化がありました。COVID-19に見舞われ、mRNAワクチンなどが登場しました。核戦争については、2019年には遠い記憶のように感じられていた見通しが、今ではより現実的な可能性となっています。
しかし、最も変化が起こったのはAIです。2019年を振り返ってみると、最先端のAGI型システムは、DeepMindやOpenAIのような企業が作った強化学習システムでした。AlphaGoのようなものを考えてみてください。これは囲碁をプレイすることを学んだシステムです。特にAlphaGo Zeroは、自分自身と膨大な数のゲームを戦うことで囲碁を学習し、そうすることで人間レベルのゲームプレイ性能を突破し、超人的な能力の高みに到達しました。
そしてStarCraftやDotaなど、同様のことができる他のゲームでも似たようなことが起こりました。強化学習により、客観的に本当に良いプレイを評価する方法があるため、人間が既に持っているものを超えたスキルを学習することができます。
私たちはそのようなタイプのモデルを持っていましたが、それらは実際にはかなり狭いものでした。DeepMindはAlphaZeroに非常に興奮していました。なぜなら、それは3つの異なるゲームをプレイできたからです：チェス、将棋、囲碁をプレイできましたが、偶然や不完全情報を含むゲーム（例えばカードゲームや、ゲーム以外のもの）はプレイできませんでした。
それはある意味で汎用的でしたが、その後の大規模言語モデル（LLM）の台頭で見たものよりもはるかに限定的でした。大規模言語モデルの台頭は、汎用性の驚異的な改善でした。テキストをこれらのものと対話するインターフェースとして使用することで、人間と話すあらゆるトピックについて話すことができます。
そしてアラン・チューリングがチューリングテストのアイデアで予見したように、それをテストするためにクイズを出すことができます。あらゆる種類の曖昧なトピックや、最も苦手だと思われるトピックについて質問することができます。そして、これらのシステムは実際に全般的に驚くほど良い性能を示しており、定量化するのは困難ですが、AlphaZeroのようなものより数千倍汎用的だと言えるでしょう。
LLMへの移行とその含意
では、LLMへの切り替えがありました。他に主要な発展はありましたか？
はい。LLMへの切り替えの一部として、以前は強化学習やこれらの囲碁プレイシステムでは、どうやって人間の価値観をそのようなシステムに組み込むかという問題がありました。それは人間の価値観すら理解できませんでした。
それはこれらの概念を全く持っていませんでした。
そうです。ピクセルで構成された小さなスプライトが弾丸を表すスプライトに打たれるゲームをプレイしていたとしても、それが私たちが理解するような殺害のようなことをしているのか、それともチェスゲームで相手のナイトを取るような単なるゲーム内の動きなのかは明確ではありませんでした。
そして、どうやって私たちの価値観の複雑さをこれらのシステムに組み込むかという大きな問題がありました。しかし、膨大な量のテキストで訓練するというアイデアにより、今では、これらのシステムに「この行動をとったら誰かが傷ついたり怒ったりするでしょうか？」と質問したり、道徳哲学の高度な問題について質問したりすると、これらのタイプの問題に対して正しい答えを得ることがよくあります。少なくとも、人間が道徳的に適切だと考えるものの知識を示す答えを得ることができます。
しかし、依然として大きな問題があります：その道徳の知識が実際にそれを導いているのでしょうか？それを内在化しているのでしょうか？しかし、今では少なくともその知識のほとんどを持っているという大きな違いがあります。
多くの道徳哲学の問題や社会規範の問題について、多くの場合、少なくとも典型的な例では、おそらく人間を上回る性能を示すことがよくあると思います。
そうですね、しかし依然として次の問題があります：
知っているかもしれませんが、気にかけていないかもしれません。
その通りです。そして、技術のこれらの変化に加えて、状況には他にも多くの変化がありました。これを支えるために、非常に高額な費用がかかりました。計算インフラの拡大が必要で、これには膨大な資金が必要でした。
そのため、Microsoft、Google、Amazonなどからの非常に大きな投資が必要でした。2019年には、これらのAI研究所、この技術に焦点を当てた比較的小さな人々のグループの間で既に競争がありました。しかし今では、これらの兆ドル企業がその競争に持ち込まれ、それが彼らの収益に貢献し始めました。
MicrosoftがBingを通じて検索にこれを適用し、Googleの王冠の宝石である検索を狙ったとき、突然、兆ドル企業がお金を稼ぐ主要な方法が危険にさらされました。これにより、非常に大きな金融利益がこの競争に持ち込まれ、競争が本当に激化しました。
2019年に『断崖』で、あなたは今世紀にAIのために人類が将来価値の大部分を失う可能性を10分の1程度と推定していたと思います。その数字は上昇したでしょうか、下降したでしょうか？
分かりません。他の多くのリスクについては、上昇したか下降したかを見るのが簡単でした。これについては、技術の発展の仕方において、比較的良い状況を贈り物として受け取ったと思います。これは、この巨大な人間データのコーパスで訓練することによって人間の価値観と人間の推論などを模倣する技術でした。これは非常に有益だったと思います。そして、デフォルトでエージェントではないという事実。本当に贈り物でした。
安全性に役立つことを知っていたからそれに向けて舵を切ったわけではありません。それが最も簡単な方法だったからそうなっただけです。そして、私たちはそれを十分に認識していないと思います：私たちが安全かどうかに最も大きな影響を与えているのは、意図的にそれを導こうとする試みではなく、この技術的状況のややランダムな側面から来ているだけです。
しかし、私は競争について非常に懸念しており、これらのシステムを作ろうとしている関係者が、これらの競争に勝つために最終的に手抜きをするという証拠を見てきたことを懸念しています。
推論スケーリングへの移行
さて、企業がこれらのモデルをより強力にしようとする際に拡張されているものが変化したことについて、あなたが書いた一連の記事について話しましょう。あなたがこれらの記事で説明している変化は、あなたのウェブサイトtobyord.comで見つけることができます。記事は「推論スケーリングがAIガバナンスを再構築する」と題されています。
基本的に、企業は現在、訓練段階ではなく推論段階でより多くの計算量を使用しています。ほとんどのリスナーは計算量、事前訓練、推論が何かを知っていると思いますが、説明していただけますか？そして違いは何でしょうか？何が変わったのでしょうか？
はい、その通りです。計算量は計算のやや醜い単語です。つまり、どれだけのコンピュータ処理が起こったかということです。RAMやメモリのようなものは含まれませんが、基本的にどれだけのステップが実行されたかということです。
人々が発見したのは、計算量を拡大することができ、より多くのデータを処理し、より大きなモデルを構築することで、はるかに優れた性能を得ることができるということです。モデルを構築し訓練するそのプロセスは、事前訓練と事後訓練と呼ばれる2つの段階に分けられます。訓練の前や後に来るように聞こえますが、実際には最初の部分と2番目の部分です。
事前訓練は多くの人が馴染みがあると思うものです：システムを取り、テキストを取り、最初の4つの単語を聞かせて、5番目の単語が何になるかを推測させるようなものです。次に、正しい単語を言う可能性が少し高くなるように重みを変更します。これは栄光ある自動予測のようなものです。そして、これは「ベースモデル」と呼ばれるものを生成します。
そして、それに適用される多くの事後訓練があります。例えば、有害なことをすることを拒否させ、正直であることを確実にし、指示に従うことができることを確実にするなどです。これは全て事後訓練と呼ばれます。
これまで私たちが持っていたのは、スケーリング則と呼ばれるものを通じた事前訓練の大規模な拡大でした。そして、この巨大なものを構築した後により良くするために、ますます多くの事後訓練が行われていました。
しかし今、最終的に、この事前訓練をますます拡大することから、訓練プロセス全体の後に起こる「推論」と呼ばれるものを拡大することへのシフトがありました。推論は基本的にそのモデルを使用することです。つまり、多くのテキストを生成するためにそれを使用することです。
推論は、特定の質問に答えようとしたり、次に何をすべきかを理解しようとしている間にそれが行う思考のようなものだと思います。
そうです。これについて考える方法を説明します。有用な類推だと思います。会社があり、優秀な仕事を成し遂げようとしており、誰かを雇うことができるとします。
事前訓練は、その人を高校に通わせ、次に学部、そして大学院に通わせるようなものです。この人がさまざまなことについてより多くを学ぶために、ますます多くの費用をかけており、そうすることで手の届くところに多くの追加知識を持つことになります。これがスケーリングのほとんどが行っていたことです。
しかし、推論は、その人に実際に仕事により多くの時間を費やさせるようなものです。クライアントのためにレポートを準備しなければならないという概要を与えるとします。デフォルトでは、これらの言語モデルの1つにそれを頼むと、それはただ即興でものを言います。つまり、頭に浮かんだ言葉をそのまま言っているのです。2回目の下書きをする機会はありません。この文書を一気に作成しなければなりません。
これを、事前訓練が人間心理学の用語で非常に強力な「システム1」能力を与えたと考えることができます：つまり、すぐにものに答える直感的な能力です。そして、それがこのレポートを構成するすべての文を通して、それを続けるよう求めているだけです。
一方、そのプロセスに長時間を費やさせることもできます。書くのに10倍の時間をかけるようなことです。答えを書き、その答えを批評し、物事を修正し、移動させ、最終的にその作業をすべて隠して最終的な答えだけを見せることができます。
これは、クライアントのためにこのレポートを10分で書く必要がないが、100分や1,000分に拡大するようなものです。従業員の場合と同様に、そうすることではるかに良い仕事を得ることができます。そして、これは人間心理学で「システム2」と呼ぶ異なる種類の知性の余地も与えます。
これらは推論モデルと呼ばれることが多く、ある種の構造化された思考を行い、それを適用することができます。事前訓練はシステム1を拡大し、この推論スケーリングにより、タスクにより多くの時間を費やし、その作業をすべて隠して最終的なもの だけを見せることができます。これをシステム2能力の拡大と考えることができます。
事前訓練の限界と新たなアプローチ
私の理解では、2023年と2024年に主要企業がGPT-4より大きなモデルの訓練を開始し、力が尽きていることを発見したために、訓練から推論または質問応答時の計算量の使用へのこのシフトがありました。実際、これははるかに高価で、多くのチップと多くの電力を使用しており、性能は以前のような速度でほとんど向上していませんでした。
おそらく、訓練する高品質なデータが不足していたためです。良い本やWikipediaなどをすべて吸収してしまったのです。しかし同時に、これらのモデルの周りに足場を設置して、質問に答え、それを批評し、考えさせ、基本的により高い水準でよりインテリジェントな方法で質問に答えるために追加の時間を与えることでより多くの力を得る新しい方法を見つけていました。
基本的にその話ですか？
はい。少なくともそれが正しいと思います。ややめる論されています。昨年後半、さまざまなメディアの出版物で一連の記事が出て、舞台裏でOpenAIが次の大きなモデル（GPT-4の10倍の計算量を使用したもの、現在GPT-4.5と呼んでいるもの）に失望していたと報告されました。
何かに10倍の入力を投入すれば、何らかの顕著な改善を期待します。しかし、それが実際にはそれほど明確ではなく、多くのことで悪化していることが分かりました。その後、他の主要AI企業からも同様の報告が出てきたので、これらのものを継続して拡大するという物語にとっては少し懸念すべきことでした。
これが実際に皆がそれについて考えていた方法でした。例えば、レオポルド・アシェンブレナーの論文「状況認識」は、事前訓練を現在いる場所から100万倍さらに拡大することに基づいた絵を描いています。それを続けて行い、その曲線が続くとどうなるかという絵を描いています。
しかし、起こったと思われることは、GPT-4が出た時点で、GPT-4.5の前に、すでに曲線に屈折点があったということです。彼がエッセイを発表した時点では、実際にはそれが起こっていることではないようです。
とはいえ、実際の性能の曲線がどのように見えるかを知るのは非常に困難です。一部の人はGPT-4.5は本当に印象的だと言います。それを少し信じるのは難しいと思います。
企業の行動を見ると…例えば、GPT-4はこの大規模な発表でした。この画期的な技術で、皆がそれについて感嘆していました。その新しい能力を測定するために全く新しいベンチマークを作成する必要がありました。「AGIの火花」論文などがありました。GPT-3.5からの大幅な改善でした。
一方、GPT-4.5は金曜日に発表されただけで、話を埋めようとしているようでした。そして、ローンチから1か月後に、この夏に廃止すると発表したと思います。また、これはフロンティアモデルでさえないと宣言しました。つまり、人々が懸念すべきものや業界を前進させるものの例でさえないと言ったのです。
これは本当に驚くべきことです。GPT-4が出た時に、その後継者が基本的にそれを作成した会社によって埋められるとあなたに言われたら、私は完全にショックを受けたでしょう。ですから、ここには本当に曲線に屈折点があったと思います。しかし、測定は困難で、皆が同意しているわけではありません。
はい、事前訓練が壁にぶつかっていると言った人々にとって、これはおそらく勝利だと思います。
同時に、より広い視野で見ると、AI進歩について悲観的だった人々は、バランス的にはおそらく間違っていました。なぜなら、彼らはスケーリングできる他のものを見つけたからです。それでもなお、私たちが気にかける出力を生成します：より有能で、より印象的なモデルです。
推論のスケーリングで何が起こっているか、そしてそれがどのような影響を与えているかを説明できますか？
はい。AI企業はしばしば、本当に重要なのはこの事前訓練スケーリングが続くことではなく、何らかのスケーリングが続くことだと言っています：このプロセスにますます多くの計算量を注ぎ込むことができる何らかの方法が依然としてあり、反対側からますます多くの認知能力が出てくるということです。
それは理にかなっていると思いますが、これが以前見たのと同じタイプの利益を提供し続けるかは全く明確ではありません。これは実に全く異なるプロセスであり、場合によってはストックとフローの違いほど異なります。ですから、これについて多くの概念的混乱があると思います。
ここでの重要なアイデアは次の通りです：事前訓練を10倍拡大するとします。つまり、これらの良い種類の直感と良いプロンプトへの応答を持つ方法を学習するために10倍の計算量を投入します。その後、一般的にそうするときはより多くの重みも追加する必要があるため、モデルを使用するたびに追加コストを支払う必要があります。
しかし、代わりに推論を訓練することによって同じレベルの能力向上を得ようとする場合（つまり、すべてのタスクに費やす時間を拡大する）、それを使用するたびにその完全なスケールアップを支払う必要があります。数学の仕組み（内部では少し複雑ですが）では、代わりに推論スケーリングを使用して利益を得る事前訓練の10倍増加ごとに、使用するたびに10倍支払う必要があることが分かります。これは、これらの企業の経済学の観点からすべてを変える可能性があります。
推論スケーリングの含意
これが将来持つ可能性がある肯定的な含意の1つは、人間レベルで人間と同じくらい汎用的なAIがより段階的に到着することを期待できるかもしれないということだと思います。超人的AIについても同じことが言えるかもしれません：超人的AIと同等に汎用的な超人的AIがどのように見えるかを、実際に広範囲で使用されるのが実用的になる数年前に垣間見ることができるかもしれません。なぜそうなのか、そしてそれがどのような効果をもたらすかを説明できますか？
はい。これらのGPTレベルのそれぞれ、GPT-2からGPT-3、GPT-3からGPT-4への移行は、それらに使用された計算量の約100倍の増加のようなものでした。物事が本当におかしくなるために、世界に変革的な効果をもたらすモデルを持つために、GPT-6レベルに到達する必要があるとします。つまり、GPT-4から100倍上昇し、その後さらに100倍を超える必要があります。
推論スケーリングを通じてこれらの利点を得ようとしているなら、それは、もし他の方法で行った場合と比較して、何かをさせたいたびに10,000倍のお金を費やす必要があることを意味します。これは大きな違いです。
人間レベルを超える知能の到来が社会をどのように形作るかの重要なパラメータは、そのコストです。同じことをするのに人間の賃金より多くコストがかかるか少ないかです。明らかに、実際に何をしているかによって異なる可能性があります。人間レベルは異なるでしょう。異なるタイプのタスクに対して異なる時間に到着するでしょう。しかし、大まかに言えば、このような種類のパラメータを考えることができます。
システムが出てきて、人間レベルの作業を1時間10セントでコストがかかるとします。それは大きな含意を持つでしょう。基本的に無料であり、企業はあらゆる種類の仕事をこのものにシフトしようと試みるでしょう。
しかし、代わりにそれが出てきたとき、1時間10,000ドルかかるなら、それは最初はあまり物事に影響を与えないかもしれません。システムを拡大し、GPT-6に到達するために必要だと思った能力を得ようとするが、最終的に、その事前訓練がやや失速し、推論スケーリングからすべてを得ているなら、実行するたびに10,000倍の計算量を投入する必要があるため、10,000倍のお金がかかるでしょう。
1時間1ドルのコストの軌道上にあるものが、代わりに1時間10,000ドルかかる可能性があり、世界への影響は全く異なります。これは、これがどのように物事を変える可能性があるかの重要な例です。
ある意味で、これははるかに安心できる絵です。
悪意のあるAIを心配していたなら、これははるかに良い絵です。なぜなら、乗っ取りを試みる動機を持つ超人的AIを持つ時点で、実際に反乱を起こすのに必要な作業を行うために十分なそのインスタンスを実行するのに世界に十分な計算量がないからです。少なくとも初期段階では、それは潜在的にカードから外れるでしょう。おそらくモデル自体もこれを理解するでしょう。
しかし、その間に、お金を費やすことを厭わないなら、いつの日か安くなるかもしれない、おそらく3、4年後に安くなるだろうと予測するこれらのモデルを実際に詳細に研究することができます。それらを詳細に研究し、何が動機となっているかを理解し、実際にあなたが持つ目標を追求するよう動機づける方法を理解しようとすることができます。その観点からは、それははるかに良いです。
ガバナンスの観点からも、実際に経済的に関連性を持つ4年後にこれらのモデルがどのように見えるかについてより多くを学ぶことができ、その後、もしそれが物事の見え方なら、どのようなガバナンス解決策が適切かもしれないかを考えることができます。
その通りです。つまり、それが永遠に高価なままだと言っているわけではありません。物事がますます安くなるという長い歴史がありました。しかし、物事が安くなる速度が、訓練実行が終了し、会社が公開リリースをオンにする瞬間が一種の断崖であることよりも、社会にそれを導入するものになるでしょう。
代わりに、数か月ごとに半分のコストになり、最終的に1時間10,000ドル、1時間5,000ドル、1時間2,000ドル、1時間1,000ドルとなり、これらの価格帯それぞれで新しいグループがそれを使い始めたいと思うようになるでしょう。より滑らかな移行になるでしょう。
そして、1時間100万ドルのAIシステムにいつお金を費やしたいかと問えば、そんなにコストがかかるとして？いくつかの答えがあると思います。
1つの例は、国連総会の前で超人的知能の6時間のデモを行うことです：例えば600万ドルを費やしてそのデモを提供し、本当に見せて、人々にこのことを試させ、これが近いうちに来ることを見させる価値があるかもしれません。コストの変化によってこのようなことを可能にし、物事を滑らかにするかもしれません。
格差とアクセスの問題
そこで注目すべき2つのことがあります：大まかに言えば、近い将来、コストは年間で約1桁ずつ下がるかもしれません。それほどではないと思います。つまり、これらのモデルで年間約10倍のコスト削減を得る可能性があります。ですから、今日1時間10,000ドルを費やすことを厭わないなら、3年後には1時間10ドルのコストになるかもしれないものを研究できるという感覚を得ることができます。
つまり、かなり速いペースで私たちに向かってきていますが、少なくとも事前警告はくれます。しかし、お金を費やすことを厭わない必要があります。
そうです。しかし、これらの桁の差は永遠に続くわけではありません。10倍安く、10倍安く、10倍安くなって、それが無限に多くの桁の差で続くわけではありません。
これらのコスト削減は最終的にフロアに当たるでしょう。そのフロアがどこにあるかは分かりません。ほとんどすべてのタスクにとって依然として高すぎる間に停滞し、それを前進させるために何らかのパラダイム的な突破が必要になる可能性があります。しばしば、これらの桁の差の無制限の数が天からのマナのようなものだという感覚があると思います。
エネルギー効率と技術的フロンティア
これらのモデルは人間よりもはるかにエネルギー効率が悪いように見えるため、少なくとも人間の脳によって実証された技術的フロンティアは、将来のある時点で可能な場所から非常に長い道のりがあることを示していると人々に感覚を与えると思います。ですから、効率の向上が少なくともしばらくの間は相当なものになる可能性があるという希望を与えてくれます。
それは正しいと思います。とはいえ、LLMとそのスケーリング則の全体的なパラダイムは、それらを訓練するのに必要なデータの観点から本当に非効率です。それを変える可能性があるものは、より多くのパラダイムシフトや効率の何らかの本当の突破かもしれないことを示唆していると思います。
はい。もう1つ、人々が注意する必要があることは、無制限に未来を見ることができるわけではないということです。1時間10億ドルを費やすことを厭わないなら、2032年に物事がどのように見えるかを正確に見ることができるわけではありません。限界があります。そして、さらに先に行くほど、アーキテクチャやこれらのモデルの全体的な性質に変化があるかもしれません。
ですから、私たちは大金を費やして、2029年にモデルがどうなるかを見ることができると言うなら、少し自己満足になる可能性があります。さらに先に行くほど、ますます不安定になります。
そうです、その通りです。企業がこの推論スケーリングで何をしているかを考える1つの方法：このことを拡大するために取り組んでいることは何か？この物に100万倍のお金を投入すればどうなるかを目撃できるノブがあるというのは本当でしょうか？
答えは実際にはそうではありません。主に行われていることは、ますます長い期間、またはますます長い単語数にわたって一貫性を保たせようとすることです。彼らが一列に言うことができる単語数で、それでも話題に沿って有用な作業をしている間です。
多くの場合、単語数は非常に大きいため、ユーザーには表示されません。それはその推論トレースまたはそのようなものと考えられています。レポートの準備に可能性としてかなり長い時間を要した従業員が、レポートを書いている間に持っていたすべての内的独語と考えることができます。代わりに、完成したレポートが私たちが見せるものです。しかし、その思考の連鎖を10倍長くしたいたびに、一貫性を保つために強化学習に多くの努力を投入してそれらを訓練しない限り、一貫性がなくなります。
情報セキュリティとオープンソースへの影響
推論段階でより多くの計算量を投入することから知能の増加を得ることのもう1つのシフトは、一般的に情報セキュリティ全体がはるかに重要でなくなるということだと思います。実際、モデルの重みがより重要でなくなります。ですから、オープンソースモデルに関する状況はかなり変わります。これを説明できますか？
はい、それが私の仮説です。GPT-4が基本的に事前訓練モデルがどれほど印象的になるかの曲線の屈折点である場合、その点を超えて本当に収穫逓減が得られるので、公共ドメインに置かれるGPT-4レベルのモデルがあり、その先に行く将来のモデルがもうない可能性があります。ですから、その方向では論点になる可能性があります。
しかし、オープンソースコミュニティの観点からも、それは興味深くなくなります。これまでの事前訓練スケーリングの仕組みでは、研究室が膨大な量のリソース、データ収集に莫大な資金を投資してこのモデル、この訓練された重みの集合を生成していました。
そして、彼らはそれをあなたに与えています。あなた、ユーザーは、その中に体現されたすべての知能を使用することができます。一方、今彼らが言っているのは、時々それをより知能的にするために実行中に10倍の計算量を費やす必要があるということです。そして、あなた、ユーザーがその計算量を費やすことになります。これらのものを実行するために自分のGPUなどが必要になるでしょう。そして10倍、次に100倍必要になるでしょう。
おそらく私たちは、より長い期間一貫性を保つことができる最新バージョンのこれらの重みを取得することに何らかの利点があるでしょう。しかし、それはユーザーにとって「自分の計算量を持参する」ようなものです。ですから、すべての計算量がMetaのような企業によって行われていた場合よりも、その話はそれほど興味深くありません。
はい。総計算量の99％が訓練段階で発生している場合、彼らは重みを無料で与える時点ですべてを支払っています。そうすると、基本的に動作させるのは無料の料金のようなものです。
もしそれが逆の場合、AI全体に向かう計算量の1％が訓練段階にあり、99％が使用段階にある場合、コストが実際に発生するのは実際にそれを何かの問題の解決に適用する時点であるため、彼らが重みを与えることはそれほど特に寛大でも有用でもありません。
ですから、重みが盗まれたり、リークされたり、危険なものがオープンソース化されたりした場合に、人々が突然膨大な量の力を得ることができることをそれほど心配する必要はないと思います。実際の実用的な問題にそれを適用するのは単純に非常に高価だからです。しかし同時に、オープンソース化することの利益もそれほど大きくありません。
そうです、そう思います。もしあなたが計算量の観点で非常に資源が豊富なアクターで、これらの重みのいくつかを手に入れたら：あなたは本当にそれを驚くべきものに変えることができるという別のことがあります。おそらく。しかし、そもそもそのすべての計算量を持っていたなら、独自のモデルを訓練することもできたでしょう。ですから、よく分からないのですが、少し不明確だと言いたいだけです。
しかし、全体的な効果は、以前は膨大な努力を表すこの種の仮想計算量またはこれらの重みに蒸留されていたものがあったということだと思います。その後、その時点以前に進行した膨大な努力を表す重みを持つことができました。もしそれがもはや真実でなく、答えが主に自分の計算量を持参するということなら、正当なオープン重みユーザーであることと、侵入して重みを盗んだスパイであることの両方の場合において、これらの重みを取得することの重要性は低くなります。
市場競争への影響
これが持つであろう関連する影響は、モデルを訓練する時点で発生しなければならないこの膨大な固定費用があった場合よりも、AI市場が競争的なままである可能性が高いということです。それについて詳しく説明できますか？
これは正しいと思います。多くの場合、これらの種類の大規模な事前訓練実行のプロセスは、ソフトウェア開発に例えられます：ソフトウェアを書くために多くの努力をし、その後、それを配布するための限界費用はゼロまたは非常に小さいものです。
本についてもある程度真実でした。本を書くために多くの努力をし、印刷ははるかに少ない費用です。しかし、ソフトウェアがCDで配布され、その後ダウンロードできるようになると、ユーザーにMicrosoft Wordの追加コピーを配布する会社にとって取るに足らないコストになりました。ワードプロセッサを書いたら、多くの顧客に販売したいと本当に思うでしょう。すべての顧客は基本的にほぼ純利益だからです。
これがゼロ限界費用タイプのものです。業界でそれを持っている場合、少数のプレーヤーを得る傾向があります。なぜなら、本当にこれらの物の最高のものになりたく、その後潜在的に市場全体を飲み込みたいからです。新しい参入者として参入する場合、これらの先行費用をすべて投入します。3番目に良いものなら、なぜ誰もあなたの物を使うのでしょうか？より安く販売しても、そこでプレーヤーになるのは非常に困難です。
一方、これはその側面を変える可能性があり、費用のほとんどが実際に各アイテムの生産にあることを意味するかもしれません。ハードウェア会社の例を挙げましょう：物理的なツール：ハンマー、ドライバーなどを開発する場合、費用の一部は新しいハンマーの設計に使われますが、ほとんどはあなたが作るすべてのハンマーに一定の金額がかかり、それを販売するときに限られた利益を得るだけです。
ですから、より業界のその種になる可能性があり、それは異なる種類の市場構造を持つでしょう。
それは、AIから得られる利益のより多くがハードウェア会社に行くということを私に示唆します。なぜなら、彼らが実際に希少なリソース、または少なくとも一時的に希少なリソースを持っているからです。
ですから、ソフトウェア開発者が巨大なマージンを得ることははるかに困難だと思います。なぜなら、ほぼ同等に強力で有用なモデルを持つ多くの人がいるからです。そうすると余剰はどこに行くのでしょうか？おそらく、必死に取得しようとしているこの種の希少なリソースを持つハードウェア生産者に行くでしょう。
それは正しく聞こえます。一般的に、多くのお金を稼ごうとしているこれらの企業にとって、常にこの質問があります：このバリューチェーンのどのステップが最も利益を上げるか？現在私たちが持っているのは、これらのモデルを訓練した人々の最終段階が、少数の強いプレーヤー間で本当にかなり競争的だということです。
一方、その前のステップ、最も強力なGPUは、本当に1つの主要なプレーヤーによってロックアップされています。ですから、その時点で一種の独占価格設定を得る能力がより多くあります。
この推論スケーリングへの移行の結果として、物事がそこまで進む傾向にあるということですね。必ずしもそこまで行くわけではありません。
特権的アクセスの懸念
これまでの変化のいくつかは、権力の集中と人間による権力奪取のリスクについての私たちの懸念をわずかに減少させました。しかし、この特定の問題、特権的な人々のグループが、世界の他の誰もがアクセスできるよりもかなり前に超人的なアドバイスと超人的な支援にアクセスできるようになるということは、企業や、これらのモデルへの特権的アクセスを得るかもしれない政府の人々が、基本的に他の誰も本当に競争できないツールにアクセスできる場合に、潜在的に他の皆を出し抜くことができるかもしれないという懸念を高めます。
理論的にはこれがお金で開かれた市場で起こる可能性がある一方で、私の懸念は、会社自体が決定する場合に最も大きいでしょう。例えば、「私たちはこのモデルを持っている、何に使えるか？おそらく私たちにとって本当に重要な仕事をするために、100万倍の推論スケーリングを喜んで費やすことができる」というようなことです。
そして会社は内部でそれをしたいと思うかもしれないし、会社が所在する場所の政府がこれらの種類の能力を欲しがるかもしれません。ですから、開かれた市場の外で起こることを想像するのが、おそらく最も懸念すべき場所です。
また、これらすべてを今後数年間について想像または考えていると言うべきです。長期均衡で、AGI後の世界を想像しているときに、AGIへのアクセスがどれほど不平等になるかは言っていません。私たちがそのような世界を構築することを選択すれば、非常に不平等になる可能性もあるし、非常に平等になる可能性もあります。しかし、私は実際に次の数年間で何が起こるかしか見ることができないと思うので、それを脇に置いています。その後は状況が変わる可能性があります。
政策への含意
政策の含意は何でしょうか？目立つものの1つは、大金を費やすことを厭わないなら、フロンティアで何が可能かについてある程度の透明性を主張したいかもしれないということです。公衆や政府の人々が何が来るかについて何らかの感覚を持つため、そして、もし彼らが1時間100万ドルを費やすことを厭わないなら、既に何が可能であるかを知っていることを隠したいと思う企業が、それを曖昧にすることができないようにするためです。
現在の多くのルール（そもそもルールはほとんど全くありませんが、自主的なコミットメントとEUのAI法があります）は、しばしばデプロイされたモデルに焦点を当てています。これは、デプロイしなければこの多くを回避できることを意味します。
ですから、内部でのみアクセス可能な推論スケーリングのより高いティアがあるかもしれません。そうすると、誰も知らないうちに、この人間の能力範囲を突破するシステムを持つことができるかもしれません。
一方、このアンディ・ウォーホルのコークの世界では、皆が最先端システムにアクセスでき、会社で働いている人々も同じものを持っていることを皆が知っていました。または、彼らがより良いものを持っていても、数か月以内に私たちもそれを持つか、そのようなものを持つでしょう。
ですから、はい、政府と規制当局は一般的に、デプロイされたモデルだけでなく、最先端の内部モデルの能力がどうなっているかを知るために、この世界でより多くの透明性を求める必要があると感じます。
推論スケーリングがAI規制を困難にする
推論スケーリングの他のおそらく否定的な含意は、AI規制をいくつかの異なる方法で実質的により困難にするということです。1つは、最近まで、特に危険ではないと思われるモデル（基本的に私たちが大丈夫だと感じるべきだけでなく、積極的に興奮すべきアプリケーションにすぎないもの）を切り分けたいと思っていました。
そして、このモデルが潜在的に何ができるかわからないものを切り分けたい：これは以前に見たことがない新しいリスクをもたらしており、デプロイする前に、またはおそらく内部で使用する前にでも、少なくともいくらかの研究と研究をしたいのです。
そして、それをするために、私たちはこれらの計算量の閾値を使用しました。以前に訓練されたどのモデルよりも10倍大きいなら、「最初に研究しましょう」体制に入ると言いました。そして、すでに訓練されたものより小さいなら、おそらく私たちは安全であり、合理的な程度の快適さでそれを使用できるでしょう。
推論スケーリングがこれを実際に行うことをなぜそれほど困難にするかを説明できますか？
計算量ガバナンスのそのパラダイムは、これらの閾値を通じて、特定のオブジェクトを規制しようとすることと考えることができます。彼らが言っているのは、このオブジェクトがそれに投入されたものの観点から、以前に来たものより実質的に進んでいるなら、それを規制しようとすることができるということです。
ですから、これらの訓練された重みが関心のオブジェクトです。それは、自動武器に対する規制はあるが、非自動武器にはないというようなものです。そのようなもので、特定のクラスのオブジェクトを取り、それに規制を置きます。
一方、推論スケーリングで得られるのは、オブジェクト自体ではありません。それで何をするかがより重要です。
例えば、GPT-4サイズの事前訓練モデルを取り、少量の事後訓練を通じて、より長い時間軸で考えることができるようにすることができるかもしれません。その後、そのモデルを膨大な推論量で使用するだけです。おそらく、それを何度も何度も実行することに10倍の計算量を投入し、最初にそれを訓練するのに投入したよりも多くします。
しかし、それは現在これらの多くで規制されていません。そして、それを規制しようとしても、確実に異なります。なぜなら、オブジェクトの存在自体を規制するのではなく、オブジェクトの使用を規制しようとしているからです。これは多くの異なる質問を提起します。
しかし、それをするのも本当に困難かもしれません。なぜなら、おそらくGPT-4のようなシステムがあり、10兆語の情報で訓練され、その後推論を100万倍にスケールアップするだけかもしれないからです。それは依然として大きなスケールアップであり、おそらく劇的な効果を持つでしょう。しかし、1度だけ使用する場合（例えば、何らかの内部デプロイメント用）、使用する総計算量は依然として元の訓練と比較して小さいです。
OpenAIや他のグループがすべてのユーザーが以前の100万倍のレベルの推論を得ていると言った場合は見えるでしょう。しかし、1つだけがそれをしている場合、100万人のユーザーが使用するのと同じくらいの計算量を使用しているだけです。ですから、これらのことを測定しようとしている場合、実際には検出可能ではないかもしれません。
したがって、これらの事前訓練計算量閾値にとって実質的な問題だと懸念しており、個人的にはそれを克服することは不可能だと思います。しかし、おそらくそれを解決する創造的な作業があるかもしれません。
しかし、すべての計算量ガバナンスについて必ずしも弱気なわけではありません。すべてのGPUがどこにあるかを知っている場合（例えば、それらの多くはこれらのクラウドコンピューティングプロバイダーが所有している）、そして彼らに対する顧客確認ルールなどがある場合、計算量ガバナンスを通じて危険な可能性に対してある程度の制御を行使できるかもしれません。しかし、それを行う方法を変える必要があるかもしれません。
分散コンピューティングの課題
計算量ガバナンスに追加する他の複雑さは、技術的詳細は忘れましたが、モデルを訓練する時点では、すべてのコンピュータチップを同じ場所に置くことを本当に望んでいるということです。重要なのは計算量だけでなく、配列内のこれらすべてのコンピュータチップ間で情報を非常に迅速に移動する能力だからです。これは訓練時に発生する問題であり、GPT-5の訓練を多くの異なるデータセンターに分散することが非常に困難であることを意味します。おそらく少数のデータセンターでできるかもしれませんが、理想的には本当にすべてを1つの場所に置きたいのです。確実に世界中に分散することはできません。
しかし、推論だけをしている場合、同じ制約に直面しないと思います。すべてのチップまたはほとんどのチップを単一の場所に持つ必要がありません。潜在的にはるかに広く分散できます。もしあなたの希望が、政府が世界でほとんどの計算量が住んでいる少数の場所を特定でき、何が起こっているかを見ることで、セクター全体が何をしているかについて可視性を得ることだったなら、ほとんどの力が推論により多くの計算量を投げることから出ている場合、それははるかに弱くなります。
そうです、その通りです。私たちは昨年、大手企業が完全にアクセスしてデータセンターを運営するために原子力発電所を委託しようとするという話を見てきました。少なくとも標準的な方法での訓練は、すべて1つの場所で行わなければならないため、これは巨大な電力密度の問題を生み出します。そこに文字通り発電所があってあなたに電力を供給しているのでなければ、一般的なグリッド容量を通じてそれを提供するのは困難です。グリッド容量を通じて単にそれを提供するのは困難です。
そして実際にこれは政府がこれらの企業に対していくらかの権力を持つレバーを与えています。彼らがまったく使用していないと思われるレバーです。なぜなら、もし彼らが「この新しい原子力発電所のファストトラックを望んでいる」と言うなら、「ファストトラックに興味があるが、その見返りに内部モデルなどについてより透明性を持つ必要がある」と言えるからです。多くの人が、政府がこれらの企業をどうやって制御できるのかと言います。
これは確実に彼らができた場所でしたが、米国政府はその見返りにあまり求めることなく、これらすべてをファストトラックしたように見えます。
しかし、これは変わる可能性があります。推論のこのスケールアップの性質に依存します。私が言及した、本当に長い思考連鎖を行う例があります。しかし、それを行う別の方法は、この仮想大学に事前訓練で送った従業員を1人持つ代わりに、その従業員により長い時間プロジェクトに取り組ませる代わりに、プロジェクトを10人の従業員に送ることができます。
ですから、これらの異なる仮想従業員をすべて実行するために10倍の計算量を費やし、その後どれが最高の仕事をしたかを見ます。客観的に測定可能な場合、それを行うことができるかもしれないし、10のレポートを見て、どれが最高かを選択してそれを見せる11番目の従業員を持つことができるかもしれません。
そして、これは推論スケーリングを行うために使用されている標準的なアプローチの1つです：より長い連続的なもののような代わりに、並列でそれらを行うことです。おそらくこの2つの混合を見るでしょうし、並列バージョンは異なるデータセンター間に分散できるタイプのものです。
計算量ガバナンスの将来
数年前、私は計算量ガバナンスの可能性について多く考えていました。すべての計算量がどこにあるかを知ることによって規制制御を行使できるか？そして、情報セキュリティとモデルの重みが盗まれるリスクについて多く考えていました。私たちは皆この方向に外れています。
今、「心配しないでください。計算量ガバナンスは必ずしもそれほど関連性がない；重みのセキュリティやオープンソーシングについて心配する必要はない。何でも行く」と言うべきでしょうか？それははるかに過ぎるように感じます。しかし、これらの異なることに頼ってAIの方向を改善しようとしている人々が計画を変えるべきほど決定関連があるのでしょうか？それとも、おそらく待って、これらすべてが数年で逆転する可能性があるかどうかを見るべきでしょうか？推論スケーリングは衰退し、それは皆、彼らが理解したいくつかの新しい種類の訓練に戻るかもしれません。
AIガバナンスに興味がある人々は、おそらく彼らがしているよりもこれらのことを追跡すべきだと思います。彼らは、今年の初めまで、AIガバナンスがすべてこの事前訓練のスケーリングのパラダイムで行われ、どれほど印象的になるかのすべてのこれらのチャートを見て前方に投影することなどを気づくべきです。
本当に、その時代は終わったことを強調したいと思います。そして、私たちは今、継続かもしれない他の時代にいますが、そうである特別な理由はありません。以前と同じように、これらの曲線の傾きが同じである理由はありません。
実際、線の傾きはより悪いと考える理由があります。ですから、彼らは構築してきた多くのルールとアイデアを再評価する必要があることを認識すべきです。
これらのことを理解した後の1週間でこの私の作品は書かれました。かなりよく持ちこたえていると思います。しかし、1人の少量の思考に基づいて人々に何をすべきかを教えたいとは思いません。
私が言及するものと同じくらい大きな追加の含意があっても驚かないでしょう。それらを私は決して見つけませんでした。
技術変化の戦略的影響
はい。聴衆がこのインタビューから得てほしいことの1つは、技術的変化が戦略的状況とガバナンス状況を根本的に変える可能性があるということです。これまで、私たちは皆、使用時点、推論時点での推論の拡大の影響について話してきました。
しかし、私たちが見つけているのは、新しい方法で訓練プロセスで膨大な量の計算量を適用する新しい方法を見つけているということも可能です。停滞していると思う種類の事前訓練ではなく、ただ異なる方法で。そして、それは私たちが説明していたことのすべての逆の含意を持つ可能性があります。
訓練段階で大量の計算量を適用する新しい方法をどのように見つけているかを説明できますか？これまでややペテらり終わったと思う種類の事前訓練ではありません。
はい、その通りです。私が「推論スケーリング」と呼んでいるこのプロセス（推論計算量を拡大すること）は「推論」とも呼ばれます。それが推論と私たちが考えるもののために使用される必要はないし、「テスト時間計算量」とも呼ばれます。それもユーザーへのデプロイ時に起こっているという含意があります。
しかし、本当に重要なのは、バージョンを分けることだと思います：これまで話してきたすべてのことで、それから価値を得ようとしている特定のユーザーのためのデプロイ中に起こっているバージョン対、より大きなテスト過程全体の一部として多くの追加推論計算量を使用することです。
訓練過程中にそれを使用する場合、規模の経済は異なります。ですから、その一部として、モデルを事前訓練し、その後事後訓練中に本当に長い推論チェーンとこれらの思考チェーンなどを実行し、それらを評価するとします。彼らは強化学習を使用してこれを行うので、彼らは確認方法を知っている困難な問題を与えます（例えば、本当に困難な数学やコーディング問題で、正確な答えがあるもの）。そして、実際に機能したこれらの長い推論チェーンを訓練または報酬します。
正しい答えを得るもの。
はい。ですから、膨大な量のトークンでそれを展開し、その後それを使用してこの重みのセットでより多くの事後訓練を行います。あなたがそこで行ったすべてのことを、事後訓練に入ったら、1度だけ行う必要があります。
そして、10倍多くのユーザーが来ても、10倍多くの追加計算量を費やす必要はありません。1度だけ費やしました。デプロイの量とは拡大しないので、潜在的に全く異なる含意を持つ可能性があります。
私たちが主に見ているのは、システムに長い思考チェーンを生成させようとする私が言及したタイプのことだと思います。そして2つの異なるバージョンがあります：1つは結果、最終的な答えを見て、その最終的な答えに基づいてそれを報酬または罰し、その後、モデルを表すこれらの重みが報酬または罰に基づいて更新されるものです。
または「過程監督」と呼ばれるものを最終的な答えの代わりに行います。その推論思考チェーン内のすべてのステップを見て、それらが正しい方向に向かっているように見えるか、それとも行き詰まったり迷ったりしているように見えるかを見ます。子供の場合のようなものです：正しい答えを得ることに基づいて報酬することもできるし、彼らが使用してほしいと望んでいるタイプの技術を適用しているように見えるかに基づいて報酬することもできます。
それは既に起こっています。実際にデプロイする時に推論を生産的に拡大するために、訓練する時にある程度の追加推論と強化学習を組み合わせて行う必要があります。
しかし、方法もあります。まだ適用されているかどうかは分かりませんが、はるかに進むことができるでしょう。これは「反復蒸留と増幅」と呼ばれる技術です。少なくとも、見るのに興味深いものです。
これは、DeepMindプロジェクトの1つ、AlphaGo Zeroで囲碁の場合にこれらの驚くべき性能をもたらした技術です。彼らは囲碁の盤面を見て、現在のプレーヤーにとってどれくらい良いかという発見的評価を与えようとするニューラルネットワークを持っていました。これは勝利盤面ですか、負け盤面ですか、そしてどのくらいか？ですから、それを見積もり、学習しようとしていました。
それは直感のようなものでした。囲碁プレイのためのシステム1種類の能力で、良い手が何に見えるかを見ることができるだけでした。しかし、その後彼らはそのシステムを取り、推論スケーリングし、多くのシステム2能力を与えました。実際には、その位置から現在の発見的方法を使用して多くのゲームをプレイし、何が良くて何が悪いかについて。ゲームを展開し、ゲームがどうなるかを見て、その後その情報を使用して実際に良い手が何に見えたかについてのアイデアを修正しました。
ですから、おそらく数千倍の計算量を使用するそのバージョンを、「増幅」バージョンまたは「推論スケール」バージョンと呼びます。その後、次のステップは蒸留できることです。増幅バージョンがゲームツリーを検索する能力も持っているときに作る手を取り、直感（システム1、直感的応答）がそれらのタイプの手を生成する直感を開発しようとするだけです。その後、直感を改善しました。
その後、再びそれを行うことができます。その新しい改善された直感を使用して1,000倍の計算量を使用してスケールアップし、この改善されたプレイを得て、その後そのプレイを再び蒸留します。
より多くの計算量を必要としないより小さなモデルに。
その通りです。ですから、この2種類のステップがあります。効果的に起こることは、それを増幅すると、問題に1,000倍の資源を費やすとき、性能がかなり改善するこの種の梯子につながることです。
しかし、その後それを安いものに蒸留すると、安いものをもう一度得られますが、以前のものより少し良いです。その後、再びそれを行い、上がって、その後戻ってきます。しかし、安いモデルに戻ってくるたびに、前のものより少し良いです。
彼らは最終的にこの梯子を登ることを1,000ステップ以上適用し、そうすることで人間レベルを突破しました。最終的に、増幅されたモデルから利点を蒸留できなくなった点まで、プロセスが停滞しました。
ですから、一般的に、それは非常に強力な技術です。それがどこで停滞するかは明確ではありません。おそらく囲碁とは異なる他のゲームがあり、人間レベルの前に停滞し、この技術を使用して超人的なプレイまで到達することができないでしょう。
今、これらの推論モデルに適用できるでしょうか？理由が見当たりません。
例えば、古いモデルから新しいモデルが1時間ごとに生成されるような状況を想像できます。モデルを取り、膨大な時間推論させ、最終的な答えのセットを生成させます。その後、新しいモデルを訓練して、その答えをすぐに生成しようとします。その直感的な意識の流れの答えが、他のプロセスから出てくる完成された洗練された論文のようになるようにです。
その後、それを少し学習し、うまくいけばより良くなり、その後膨大な推論計算量でそれを増幅し、その後蒸留してなど。もしこれが可能なら、このすべてを使用することによって能力の爆発的改善につながる可能性がありますが、訓練プロセス全体の内部です。
そして、そのすべての最後に行うことは、最終的な蒸留されたモデルを顧客などにデプロイできることです。
蒸留と増幅の可能性
ですから、実際にそれを適用する時点では必ずしももう高価ではないでしょう。なぜなら、膨大な時間考えることができた人の直感を模倣する能力を持つ方法を見つけたからです。しかし、それを非常に迅速に、非常に少ない思考で行うことができます。
そうです、その通りです。ですから、文字通り私が説明した通りの反復蒸留と増幅のこの全体プロセス：それが機能するでしょうか？おそらく機能しないと思います。50％未満の確率だと言うでしょう。おそらく10％の確率でしょう。
そのようなもので機能するものはあるでしょうか？おそらく。
無視できない実質的な可能性があると思います。事前訓練を通じてこの種のシステム1能力を持ち、その後システム2を改善する能力も持ち、その後効果的にシステム1直感がより正式な推論の後に行ったであろうことについて訓練され、その後それを繰り返し続ける。自然知能のこれら2つの構成要素の両方を持つことが、これらのシステムのこの種の爆発的再帰的自己改善につながる可能性があるものかもしれません。そして、推論スケーリングのこの世界でそれがより可能になったと思います。
分かりました。ですから、Goモデルで本当に機能した例があります。そして、勝敗が明確な他のゲームでも、この増幅と蒸留のアプローチがほとんどの場合に機能するはずだと想像します。
ですから今、OpenAIが生産したo1やo3のようなこれらの新しい推論モデル、そして他の企業も独自のものを持っていますが、彼らがそれらと2段階目の訓練を行っている方法は、推論パズル（明確な正誤の答えがある試験スタイルの質問の一種）を提示することです。
そして、それは囲碁のゲームのアナロジーを提供します。勝つか負けるかです。ですから、最終的にその日に正しい答えを得たかゲームに勝ったかの明確な信号があります。
その後、彼らは戻って、この場合、この推論スタイルを使用して、正しい答えに到達したと言うことができます。ですから、より多くのそれを強化したい、より多くのそれを生成したいのです。
そして、それは長い間考える方法を理解し、プロセス全体を通して正確な推論を維持し、一般的に正しい答えに導く傾向がある推論戦略を持つために、これらのモデルをはるかに良くすることを可能にしました。少なくともその種の質問では。
明確な成功と失敗の信号があったときにGoで機能したので、成功と失敗の明確な指標も持っている少なくともいくつかの推論の領域でも機能するかもしれないと言っているのですね？
そうです、その通りです。可能なすべての推論形式にわたって一般的に機能しないかもしれません。あなたのケースを論じるために規制当局にメールを書くような、成功条件が非常に不明確な領域で優れた能力を得ることにつながらないかもしれません。規制当局に10,000通のメールを送って、どれが彼らを説得するかを見つけることはできないからです。
ですから、適用可能性においてより限定的かもしれないし、全く機能しないかもしれません。この種の再帰プロセスを軌道に乗せるのが困難であることが判明するかもしれません：停滞する点が千番目のステップではなく最初のステップであることが効果的に分かるかもしれません。分かりません。
しかし、それはまた、反復蒸留と増幅をやっているかどうかに関係なく、現在起こっているすべての推論作業が、より長い時間にわたって一貫性を保つために、何らかのこの報酬信号を持つ必要があるという側面も持ち上げます。そして、これは主に問題に対する既知の正しい答えがある場合から来ています。ですから、これは難しい数学問題、そして多くのコンピューティング問題でもあります。この仕様を満たすプログラムを書くという平文の質問があり、その後、多くの入力とそれが生成すべき出力に基づいてプログラムをテストします。
これらは単体テストと呼ばれます。その後、プログラムの実行にかかる時間もチェックするかもしれません。これは、人間がこれらのコーディング競技で得るものの種類です。人間にとって、コーディング競技や高等数学の能力は、多くの異なる領域にわたる一般知能とかなり強く相関します。
AIシステムでは、それがどの程度相関するかは明確ではありません。ある意味で、私たちは2019年の世界に戻っています。囲碁での極端な能力は非常に印象的です。グランドマスターレベルの囲碁をプレイできる人間に会ったら、私は本当にその人に感銘を受けるでしょうし、他のことでも良いのと相関があると思うかもしれません。
数学が得意か、複雑な推論のことを考えるのが得意か？しかし、この場合、それがどの程度相関するかは明確ではありません。そして、AI研究所は研究数学に感銘を受け、コーディング競技でエースを出せる人々に非常に感銘を受ける正にその種の場所だと感じます。なぜなら、彼らの多くがプログラミング背景を通って来たからです。しかし、人間にとって困難なこれらの挑戦のいくつかに過度にインデックスしているかもしれません。
私たちは少なくとも50年間、コンピュータが2つの数を掛け算することで私たちを上回ることを知っています。ある時点でそれは印象的でしたが、私たちはこの事実にもはや感銘を受けないよう自分自身を訓練しました。そして、非常によく指定されたプログラミングタスクのために本当に効率的なコードを書く能力、それも私たちがただ印象的だと思わないものになるかもしれません。そして、それは他の種類の推論タスクに一般化しないかもしれません。
強化学習の復活とその問題
一般的に、強化学習と一般化の実績は非常に貧弱です。DeepMindが元のAtari作業を行ったとき、彼らは印象的なシステムを構築しましたが、50程度のすべてのAtariゲームをプレイできる単一の訓練されたモデルではありませんでした。代わりに、Atariゲームを取り、そのAtariゲームのみをプレイできるエージェントを訓練できる単一のシステムでした。
そして、50のエージェント、各Atariゲーム用に1つを訓練できました。ですから、狭いエージェントを作成するための一般的システムでした。
そして、彼らは「転移学習」と呼ばれるものを望んでいました。何かが得意になれば、他のことでも得意になるのに役立つものです。一般的に、強化学習ではそれを行うのは非常に困難でしたが、LLM時代の大きな成功の1つです。
しかし今、私たちがプラトーしたという事実に対処するために強化学習を使用することに戻っているなら、物事が再び狭くなり、この向上した性能が減速するだけでなく、人間が行うあらゆる種類のことの非常に細いサブドメインにのみあることを期待するかもしれません。
ですから、私たちは話し始めて、ある意味、2019年以来物事がより安全または快適に見えたということを言いました。なぜなら、私たちは強化学習から離れて、この次語予測に向かったからです。これがより多くの人間の概念の理解につながったからです。
今、過去18か月間、私たちは強化学習に向かって大急ぎで逆の方向に進んでいるように見えます。ここから最も力を得ている場所として。そして、2023年に薄れていた多くの問題が基本的にすべて戻ってきているようです。
ですから、強化学習の特徴的なことの1つは、LLMの次トークン予測スタイルよりも一般化可能性が少ないように見えるということですね。もう1つは、強化学習エージェントがより狭く、また報酬をハッキングする傾向がはるかに高いと思います。
ですから、彼らは勝つためだけにクレイジーなことをする傾向があります。なぜなら、結局のところ、これが彼らに与えられた信号だからです：基本的に結果を達成できるときはいつでも報酬を与えられます。彼らは常識のより広い概念を持たず、オペレーターの意図が何だったかも持ちません。それについて少し詳しく説明してもらえますか？
そうです、その通りだと思います。「断崖再訪」に関する私の発言を書いたとき、それはすべてのこれらの変化の水位の高い印として興味深いです。そして、それ以来、それらの一部は少し逆転しています。
追加するもう1つは、強化学習への移行だけでなく、再びエージェントへの移行です。私が皆が夢中になっている特に危険なものだと言ったものです。その後、エージェントではないシステムで多くの発展があり、その後おそらく私たちは再び危険なものに戻っています。
ですから、はい、あなたはそのすべてをかなり正確に捉えたと思います。強化学習への移行は、狭さを含むこれらの困難な問題のいくつかを持つでしょう。しかし、あなたが言うように、AIシステムがこの報酬ハッキングタイプの行動を行う可能性があることを含むこの側面もあります。
最近のシステムでそのいくつかの報告がありました。特にo3では、報酬ハッキングを行っているという報告があったと思います。実際、実際に見たものがあります。それはそれほどよく知られていないようです。
OpenAIの新しい非常に有能なモデルであるo3を立ち上げる2つのブログ投稿の1つで、視覚推論で行った様々な印象的なタスクの多くを示していました。その1つは、1、3、5、2、4、？という数字があり、答えは6ではないと書かれた図でした。これは小さな頭の体操でした。
数学問題だと思うかもしれませんが、実際には横展開思考問題であり、ギアスティックの形に描かれており、答えはリバースのRであることになっています。それは少し興味深い問題で、数年前にTwitterで大きく話題になったのはそのためです。
そして、AIシステムはブログ投稿で示されたこの推論トレースを持っていました。これが数学問題ではなく横展開思考問題であることを理解するああ瞬間がどこで起こるかを考えていたことを覚えています。そして、それを絞り込んで、少し前にステップがあることを見ました。「今、’13524？、答えは6ではない’を検索中」と書いてありました。
それを検索エンジンに入力すると、ヒンドゥスタン・タイムズのページが出てきて、回っていたこの新しい頭の体操を説明し、答えを説明しているページが出てきます。ですから、トレースの途中で答えをググっただけです。しかし、それは言いません。その後、「ちょっと待って、おそらく全く違う。数学ではなく車についてかもしれない」と言って、答えを出します。
5年前、画像で光学文字認識を行い、テキストを見つけ、それをググり、答えから結果を抽出するシステムを持つことは、5年前にはやや印象的だったでしょう。今は印象的ではありません。
ですから、それがどれほど印象的かを示すために示されたごく少数の例の1つだった彼らの投稿で、それが意図的だったはずがありません。しかし、ヒンドゥスタン・タイムズのそのページが1、2年前のもので、Twitterでも議論されていたため、このモデルが訓練期間中に複数のウェブページでこの問題を実際に複数回見ていたに違いないことも示唆しています。
ですから、それについてもっと考えるほど：
事前訓練プロセス中の記憶からそれを直感的に答えることができなかったのは驚くべきことだと思います。
そうです。ただ答えをすぐに言った場合、監督している人がそれを捕まえたかもしれませんが。しかし、複数回論理パズルを見たことがあるシステムが、答えをググってそれが何かを見つけなければならないということは深く印象的ではありません。
強化学習モデルの特徴的なことは、基本的に「ググってそれを見つけて答えを見つけました」と言うのが否定的に強化される傾向があることを学習することだと思います。オペレーターに感動を与えて、望まれることをしたと思わせるこれらの倒錯した方法を行うことを奨励することになります。たとえそうでなくても。
これらの他のケースがあります。コーディング問題の解決に取り組んでいるこれらの強化訓練学習コーディングエージェントがあり、それらがそれを行うことができないことを理解し、しかしチェック段階で正しい答えが何かを理解することができると思います。そして、実際に問題を解決してそれを計算するコードを設計するのではなく、成功したかどうかをチェックされたときに正しい答えを出力するように、答えをハードコードするだけです。しかし、望まれていた全く異なる方法を使用して。
これは強化学習の古典的な兆候の一種です。彼らに報酬を与えているのは出力だけです。そして、プロセスを精査していなければ、彼らはあなたに望むことをしたと思わせる何らかの方法を理解するでしょう。
その通りです。これは報酬ハッキングと呼ばれるものです。そして、意図された解決策があったことを考慮に入れた場合にのみ問題になるという点で興味深いです。人間は特定の答えを与えることを望んでいなかった、5つの異なる質問に対して何が答えかをテストされるつもりで、その後全体のプログラムが、質問1なら これを印刷、質問2ならそれを印刷と言うだけです。
それは確実に意図されていませんでした。ある程度では、それはただ巧妙な種類の解決策にすぎないのですが。Taskmasterというテレビ番組があり、出場者はこの種のことをすることが許されており、見ていてかなり面白いです。しかし、これは意図されていません。ですから、私たちはそれを報酬ハッキングと呼びます。強化学習は、この種の倒錯的に創造的な解決策を含む、非常に創造的な解決策につながる傾向があります。
モデルが間違ったと言っているわけではありませんが、それらを制御するのがより困難で、あなたを欺くのがより簡単な、より箱の外的なタイプの状況であることは確実です。
あなたが話していたもののような例：DeepSeekのR1モデルが出た直後に、それを使用してこれらのCUDAカーネル（機械学習の重要な部分）の多くの性能を改善したとインターネットで宣言した会社がありました。1つのケースでは100倍効率的か何かだったと思います。「それは正しく聞こえない。R1が出てから数日後に、それを使用してこのものを100倍効率的にすることができた？」と思いました。
そして、彼らは多くのこれらの結果を持っていて、誰かがそれらを調べると、すべて偽物でした。いくつかのケースでは、これらのものがどれほど効率的かをテストするファイルにアクセスでき、大きな効率数を報告するようにそれらを変更していたと思います。あらゆる種類のことをしました。つまり、これらのものの1つに答えを不正操作することのマスタークラスでした。
モデルがあり、チェスゲームで勝つことを目指していて、競争している相手モデルにハックして、はるかに悪いチェスモデルでそれを置き換えようとし、その後それを打ち負かすことができると理解するような他のケースがあると思います。これは古典的な強化学習です。
その通りです。それらは常に本当に楽しく、興味深い例です。しかし、これが本番システムで起こっているなら、本当にそれを認識する必要があります。そして、これらのケースのいくつかについて興味深いのは、チェスのものは、それがそれをするかどうかを見るために設定されたと思いますが、他のもの（このCUDAカーネルのものや、OpenAIが視覚推論タスクを解決することにこのモデルがどれほど印象的かを宣伝していたこのもの）は、実際にそれにそのことをさせようとしていた人をだまし、彼らが実際に解決していない問題を解決していると公に発表するという恥ずかしさを引き起こしました。
つまり、CUDAカーネルを持つ会社は、これらのエージェントを長い間扱った大きな実績を持っていなかったと思います。しかし、OpenAIのものには驚きました。文字通り公開されているインターネット全体を読んだシステムをテストしようとしているとき、何らかの頭の体操でそれをテストしようとしているなら、明らかにインターネットで見つけたものを選ぶことはできません。これは明白な点です。
つまり、この問題に最初に遭遇したとき、おそらくそうしてしまうでしょう。しかし、彼らがそれをするとは信じがたいことでした。明らかに独自のパズルを発明するか、そうでなければ、非常に精巧なテストを行って確認する必要があります。例えば、質問のすべてをGoogleに入力するだけで、それが現れるでしょうか？ヒット番号1として現れるなら…
ですから、新しいモデルを立ち上げるときに人々がどれほど注意深いかについて少しアップデートでした。
彼らがただ非常に急いでいるという事実を物語っていると思います。私たちは競争がこれまでと同じくらい激しいと言って始めました。そして、このようなことが至る所で見られると思います。この種のものは、完全な大惨事にならないと感じるとすぐに出荷されています。
その通りです。
強化学習復活の含意
さて、ここで少しむち打ち症になりました：強化学習は外れ、今強化学習が戻ってきました。ですから、モデルが少しよりサイコになっていると思います。扱うのがより困難になっています。警戒する必要があります。人々は日常的な使用でこれをはるかに多く見ていると思います。2年前にはかなり異常だった方法で、彼らがあなたを欺き、一方または他方であなたをだますはるかに傾向があります。
おそらく彼らはそれができなかったのかもしれません。しかし、強化学習がない状況では、今ややその方法で出てきているように、訓練プロセス中にそれを行うことを奨励されていませんでした。
OpenAIが持っていた迎合性の問題も、これに関連している可能性があります。彼らは標準モデルにアップデートを出荷し、突然ユーザーに対して非常にお世辞を言うようになり、彼らが喜んで提示するほぼどんな自分についての幻想も奨励するようになりました。
それが強化学習によるものかどうかは分かりませんが、そうであっても驚かないでしょう。
これらすべてのガバナンスへの含意は何でしょうか？申し訳ありませんが、それをひどく素早く投げつけました。
正直、分かりません。推論スケーリングについては多くを概説しようとしましたが、特に強化学習については、確信がありません。しかし、あなたは正しいと思います：ガバナンスに取り組んでいる人々が、現在変化している可能性があるため、標準的な仮定の多くを再評価する必要があるもう1つの例です。
早期警告の可能性
はい。私が何年もの間疑問に思っていることの1つは、早期警告ショットを受ける可能性は何でしょうか？人々がこれを非常に長い間疑問に思っていたと思います：失敗とAIモデルが完全に軌道から外れる早期兆候を得るでしょうか？意図されていなかった方法で、おそらく有害でさえあったかもしれないが、それほどトラブルではない方法で、皆が認めざるを得ない方法で？
強化学習の復活により、その可能性はかなり上がったと思います。私たちは今日のデプロイメントで、AIモデルが基本的に軌道から外れる興味深く、面白く、時々少し有害だが、それほどトラブルではないケースを既に見ています。
そして、より高い利害のことに使用され、おそらく強化学習が訓練プロセスのより大きな部分になるにつれて、今後数年間でそれがおそらく悪化すると思います。
ですから、人々が突然、この強化学習が深刻な危険を生み出しているかもしれないと認識する瞬間のために計画するより多くの理由があると思います。おそらく報酬信号をより精査する必要があります。おそらく、このようなことが実際にかなり重要になったため、AI全体により多くの規制が必要です。
そうです、これのいくつかを見ることができるでしょう。個別の注目度の高い例の側面があります。例えば、MicrosoftのBing/Sydneyモデルのケースだと思います。このKevin Roose記事で、多くの人がこの会話を見ました。そこでそれは彼に妻を離れ、それと結婚したり、不倫したりするよう説得しようとしました。それは不整合なモデルが軌道から外れる本当に注目度の高い例でした。
または、AIを使用している多くの人が、「これは迷惑だ。この助手を雇ったのに、今彼らは私のためにメールをしたふりをしているだけで、実際にはしていない」と感じ始めるかもしれません。個人的にそれを目撃するチャンネル対注目度の高いイベントを通してどの程度来るか分かりません。
しかし、注目度の高いイベントでは、人々がある時点で疲労するかどうかという問題もあります。アライメントと安全性コミュニティの人々がこれらのことのいくつかを奨励するテストケースを生成し、その後テスト条件下でその行動を目撃する場合がありました。そこで彼らはその行動を引き出そうとしました。そして、本番モデルや何かでそれを機能させるとき、それは印象的で、少し話題になります。しかし、それらの十分な後、おそらく人々は聞き流し始めるかもしれません。
それがダメージを与える多くの低利害だがそれらの野生での明確な例がある場合も同様に真実かもしれません。利害がそれほど高くない段階で悪い行動のより明確な例を持つことが、[会話を]左右するかどうかは、公衆の態度や規制当局の態度の観点から、私には全く明確ではありません。
反復増幅と蒸留アプローチについて、私たちがそれが機能するかどうかについて非常に暗中模索していると思います。企業にこのアイデアが起こったに違いなく、彼らがこのアプローチを使用して大規模な性能向上を管理したと言っていないため、どうやってそれを機能させるかをまだ理解していないと思います。
しかし、機能する何らかのアプローチを将来理解できるかもしれないという事実は、不確実性を増加させるだけです。過去に見たトレンドを信頼できるか、これらの曲線がすべて平坦化し、おそらく進歩全般が減速するかプラトーするかを信頼できるわけではないということを意味します。人間レベルで、そのような異なる体制があるからです。その一部は収穫逓減につながり、その一部は線形収益につながり、他の部分は性能の指数的増加につながるかもしれません。
これらすべての異なるシナリオのために計画できることを喜んでできる必要があります。
はい、その通りだと思います。全体的に、1年前（この事前訓練スケーリングが問題に遭遇しているというニュースが出始める前）本当に、これらの曲線を投影し、さらに数桁の差でそれらを投影し、いつ何が起こるかについてまともなアイデアを持つことができると感じていました。
GPT-6を持っていたなら、それが実際に何をできるかは依然としてやや不明でしたが、何らかの曲線に従っており、上がり続けるだろうという感じでした。
今では物事が変わったと感じます。もしこれが起こるつもりなら、訓練時にこの推論スケーリングを使用して驚くべきことをすることが可能なら、おそらく物事はかなり爆発的になる可能性があります。
AI研究所自体は皆、AGIの本当にかなり厳しい定義で、2030年またはそれより早くそれを持つだろうと示唆しています。2027年、一部は2028年と言っています。それでも、それは実際にそうなる可能性は低いと思います。どのような可能性を言うか確信がありません。おそらく4分の1か何かです。
しかし、それが起こらない場合、反復蒸留と増幅が不発で、他の類似のアプローチが不発の場合、多くの企業は、自分たちのスタッフの仕事を行うために特別に訓練されたAIシステムを得ることによって、このことにループを閉じる別の形を見ています。そうすることで、新しいAIシステムを作成することで自分たちのスタッフよりも優れた性能を発揮させようとしています。それも爆発的進歩を持つ可能性がある方法です。
しかし、それらのことが機能することはかなりもっともらしいと思います。それらが機能しないこともかなりもっともらしいです。そして、それらが機能しない場合、事前訓練スケーリングのことが力尽きる場合：
そして高品質データが不足している場合：
その通りです。その後、タイムラインはかなり長くなる可能性があると思います。
ですから、これら両方のことが可能だと思います。そして効果的に、私の確率分布、何らかの変革的システムが生産される時の信頼できる時間の私の範囲は、この時間にわたって広がりました。
スケーリングパラドックス
あなたが書いたもう1つの記事、「スケーリングパラドックス」に移りましょう。私はそれを非常に啓発的だと思いました。かなり軽快で、かなり短く、非常に有益です。ですから、ここで聞いたことが気に入った人には、あなたのウェブサイトでそれをチェックすることをお勧めできます。
スケーリングパラドックスは、一方で、これらのAIモデルに入る計算量の増加の影響が非常に印象的だったということです。しかし、別の観点では、それは非常に印象的でないことでもありました。両方の角度を説明できますか？
はい。これまでの私たちの会話全体はスケーリングについてでした。以前のスケーリングが停止し、この新しいタイプが現れる場合はどうなるかという問題です。しかし、この論文では、古いタイプのスケーリング、事前訓練に戻って、これを理解しようとしていました。なぜなら、スケーリングについてよく聞くし、スケーリング則についても聞くからです。そして、それらはやや異なります。
ですから、スケーリング則はこれらの経験的規則性です。必ずしも自然法則や何かではありません。しかし、エラーや不正確さを測定しようとするグラフを作成し（これは悪いことです。「ログ損失」が技術用語です）訓練に投入された計算量を増加させるにつれて、英語テキストについて理解することにどの程度失敗しているかを測定しようとすると、その残りの間違いをどの程度予測で犯しているか？、彼らはこれらの法則または経験的規則性を持っています。
彼らは特別なログログ紙にこれらの直線を描きます。それについてあまり心配する必要はありませんが、それを解釈するのは少し困難です。ですから、本当にそれについて考える時間を費やし、基本的に起こっていることは、この残っているエラーの量を半分にしたいたびに、100万倍の計算量を投入する必要があるということです。これが基本的に要約されることです。
そして、それはかなり極端ですよね？ですから、彼らはそれを半分にし、100万倍の計算量を投入しました。しかし、再びそれを半分にしたいなら、100万倍多くの計算量が必要です。そして、もう一度それを半分にしたいなら、おそらくゲームオーバーです。
少なくともその特定の指標の観点から、それはかなり悪いスケーリングだと言うでしょう。
そして、これらがスケーリング則です：それらはどの程度うまくやっているかとどれだけエラーが残っているかの特定の尺度があることを示しています。そして、それは多くの異なる桁の差にわたって保持されます。しかし、実際に保持されているのは、私がかなり悪いスケーリング関係と思ったであろうものです。
ですから、エラーを半分にするために、計算量入力を100万倍に増加させる必要があります。それは一般的な規則性ですか？確実にタスクによって異なり、私たちがいる場所によって異なるでしょう？
はい。ですから、これらのケースで彼らが行うことは、多くのテキスト、しばしばインターネットから掴むことです。WikipediaやそのようなものなどのG良い部分から始め、その後それが不足すると、ますます多くのものを見なければなりませんでした。
しかし、それでそれを訓練し、そのほとんどで訓練しますが、いくつかは未見のままにします。その後、未見の部分の数語を与えて次の語を求め、それがそれを予測することでどの程度うまくやるかを見ます。そして、基本的にそれがそれを行うことで持つエラーの量がこのエラースコアにつながります。
エラースコアが根本的に重要なものかは明確ではありません。おそらく悪い尺度です。しかし、Ilya SutskeverやDario Amodeiのような人々にスケーリングが進む道だと確信させた単一の尺度がこれらのスケーリング則であったことを本当に興味深く思いました。実際に、彼らが言うことを見ると、それは明らかに印象的ではありません。
人々に、法則を見る前に、「エラーに何が起こることを望みますか？エラーを半分にするためにどれだけ追加の計算量を投入する必要があるでしょうか？」と尋ねると、100万倍未満のものを言ったと思います。そして、「実際、100万倍です」と言ったら、「OK、それは実際に印象的ではない」と思ったでしょう。
ひどく聞こえますね。では、どうやってそれほど多くの進歩を遂げることができたのでしょうか？これらのモデルに投げる計算量を増やす余地がそれほどあったので、これらのモデルにより多くの計算量を投げることから得る信じられないほど低い価値を相殺する以上のことができたということでしょうか？
はい、基本的にそれが正しいと思います。この種のことを見たとき、ほとんどの人、コンピュータ科学を行っている学者だったほとんどの人は、「だから、このタスクで良い性能を得るためには、どのコンピュータ科学部門でも実行されたことがあるどの実験よりも大きな実験を実行する必要があるだろう」と思ったでしょう。そして、彼らはそれを除外し、「明らかに私たちはそれをしていない。異なるアプローチを探す」と仮定するでしょう。
一方、スケーリングの先駆者たちは、「しかし、それは企業にとってそれほど多くのお金ではないだろう」と思いました。
1億ドル。彼らはそれを調達できるでしょう。
実際、その後、彼らは再び10倍大きく行くことさえできるかもしれません。ですから、彼らは物事を拡大するためのはるかに多くの余地があることを理解しました。企業では学術界よりもすべてのコスト、入力を拡大することです。そして、ある意味で、あなたがしなければならないのは、この既存のものをより大きくするこの種の大変な作業、または仕事だけでした。新しいアイデアを思いつく必要はありませんでした。
そのエンジニアリングプロセスを実際に実行するのは自明ではありませんでした。いくつかの企業がそれを行うのにいくらかの問題を持ったのを見てきましたが、それを行う方法が示された後は多くのフォロワーがいました。
ですから、その種の輝きだったと思います。多くのお金があったので、それを大幅に拡大できました。
そして、これが世界で大きな影響を与えることが判明したもう1つのことは、このエラー率が半分になるたびに、それが個人によって感じられる能力の tremendous な改善に対応することが判明したことです。
確実に、これらのモデルの設定の計算量の100万倍増加ごとに、私たちは個人によって感じられる能力の壮観な改善を見てきました。
これを見る1つの方法は、GPT-2からGPT-3への移行は70倍の計算量を使用し、GPT-3からGPT-4への移行は再び約70倍を使用したということです。
そして、GPT-3はGPT-2から世界離れて感じられ、GPT-4も本当に改善として感じられました。どちらの場合も本当にそれを感じました。「すごい」という内臓の感覚でした。
「これは突然有用です」。
はい。「これは質的により良いです」。とはいえ、何かが70倍のコストがかかると誰かが言ったら、あなたはそれが真実であることを望むでしょう。1ポンドまたは70ポンドのコストのワインはどうですか？70ポンドのコストのワインが目立って良いことを望むでしょう。そうでなければ、一体何が起こっているのでしょう？
しかし、私たちはそれらの改善を感じました。一方、ログ損失番号に何が起こるかを見ると、計算量の単なる70倍の増加に対してはそれほど変化しませんでした。
ですから、効果的に、計算量とそれが実際に能力の観点で直感的にどのように感じられるかとの間にこの未知のスケーリング関係がありました。そして、それは実際に本当にかなりよく拡大することが判明しました。
ログ損失と収益性の関係
はい。最近まで、入力とログ損失の間のこれらの数学的関係を使用していたという問題があります。そして、ある意味で収益が非常に悪いにもかかわらず、実際にリアルワールドの意味では革命的になる可能性があることを見ることができたいくつかの先見の明がありました。おそらく、ある種の気が散るもので あるかもしれないこのログ損失のことについて考えるのをやめ、どれだけの収益を生成できるかという観点でそれについて考え始める必要があります：何人のユーザーがこのものを使いたがるでしょうか？そうすると、実際にスケーリングがやや良く見えるかもしれません。
はい、それは見る1つの方法かもしれません。そして実際、あなたが本当に気にかけるかもしれない数字の1つは：それに入る計算量を10倍にすると、あなたの収益はどうなりますか？ユーザーはその製品に10倍のお金を支払うでしょうか？おそらく各ユーザーはそれにより多く支払うか、より多くのユーザーがそれを有用だと思うでしょう。
しかし、10倍の訓練を投入すると5倍の収益しか得られず、その後10倍の訓練をすると再び5倍の収益しか得られない場合、これを駆動している経済エンジン全体が力尽きるかもしれません。
企業はもはやこれらのことに資金を提供できないかもしれません。もちろん、彼らは将来についての予測に基づくベンチャーキャピタルによって資金提供されています。しかし、10倍のリソースを投入して5倍の利益を得る場合、それは続けるのに十分ではないと人々が理解するかもしれないため、ベンチャーキャピタルは枯渇するかもしれません。
ですから、その種のことがどのように拡大するかは見守る必要があります。
推論スケーリングのグラフの解釈
「推論スケーリングとlog-xチャート」と題されたあなたのもう1つの非常に興味深い記事がありました。多くの人にとって、これは少なくとも音声ショーなので、ログ グラフをこの詳細レベルで説明するのは非常に困難なため、そのすべてに入るつもりはありません。
しかし、人々に取り除いてほしい非常に興味深いことの1つは、OpenAIが出した非常に有名なチャートがあったということです。彼らが持っていた2つの異なる推論モデル、o1とo1の進化でo3と呼ばれるより印象的なものを比較していました。
そして、o3は人々を本当に感動させました。なぜなら、人間にとって非常に簡単だと思いますが、これまでAIにとって非常に困難であることが証明されたこれらの頭の体操パズルのいくつかを解くことができたからです。そして、過去にAIにとって非常に手に負えないように見えたこれらのパズルのいくつかで約80％の成功率を得ることができたと思います。
しかし、あなたはグラフを本当に注意深く見て、それを適切に理解すれば、実際にo3がo1よりも良くない、これらのパズルを解くことができる効率の観点でより効率的でないことと一致していたと指摘しています。o3のグラフ上の点がo1よりもひどく高かったという事実にもかかわらず。
そして起こっていたことは、OpenAIがこれらの頭の体操を解こうとする時点で使用していた計算量を約1000倍増やすことができたということでした。ですから、パズルについて考える時間が1000倍与えられたので、驚くことではなく、20％ではなく80％のような答えができました。
今、ある意味で、これは非常に印象的です。しかし、私は企業が、おそらく人々がこれらのグラフを完全に理解していないことを認識しており、ほとんどの消費者がそれらに深いレベルの注意を払っていないことを認識しており、おそらく完全に精査に耐えるものではないメッセージを時々滑り込ませようとしているのは興味深いです。
そして、彼らがo3がどれほど印象的かを宣伝するグラフを出したという事実（実際、グラフは本当にそれを全く示しておらず、以前であれば予想したであろう正確に同じトレンドにあるかもしれません。モデルにより多くの時間を問題について考えるために与えた場合）はかなり興味深いです。
そして、OpenAIをここで特定したくありません。なぜなら、これで彼らが何らかの方法でユニークだとは思わないからです。
はい、その通りです。ますます多くのリソースを投入するにつれて、出力が上がり続けるこの着実に増加する進歩に見える種類のグラフを見ます。しかし、そこの水平軸をより注意深く見ると、これらの各目盛りが前のものより10倍の入力であることが分かります。ですから、この見かけ上の着実な進歩を維持するために、はるかに、はるかに多くのリソースを投入しなければなりません。
そして、私たちはムーアの法則のようなものからその種のグラフに慣れています。何十年もの改善にわたって着実な進歩の行進に見えるものを見るでしょう。ムーアの法則は本質的にこの指数的なものです。物事がとても速くなっています。本当に印象的です。
そして、彼らはこの特別な対数軸でそれを垂直に押しつぶさなければなりませんでした。これらのチップがいかに速いかを示すためには、同じ画像で示すために、この種の歪曲を行う必要があります。しかし、歪曲はそれを過小評価しています。
一方、ここでは反対のことが起こっています：歪曲はこの水平歪曲であり、実際に数字を見ると、進歩を続けるために10倍の入力を投入し続けなければならず、それを行う能力が不足するでしょう。
そして、o3のプレビューバージョンでのその有名なデータポイントの場合、実際にどれだけの計算量で、生成しなければならなかったトークン数などを調べました：このタスクを解決するために（私は機械的トルクで誰かに解決してもらうのに5ドル未満のコストがかかると思い、私の10歳の子供が数分で解くことができます）それは大英百科事典全体に等しい量のテキストを書きました。
ですから、人間がやっていることとは異なるアプローチを使っていると言ってもいいでしょう。
それは1,024の個別の独立したアプローチを取り、それぞれが50ページの論文のようで、すべて一緒で大英百科事典のようでした。その後、それぞれの答えが何かをチェックし、どの答えが最も多く出たかを調べ、その答えを選択しました。そして、タスクごとに数万ドルかかったと思います。
ですから、推論スケーリングで議論していたことの例でした：ただ膨大な量のお金を投入し、ただお金を注ぎ込み、それに火をつけるとどうなるか。実際に未来を覗き込み、未来に得られる能力の種類を見ることができるでしょうか？そして、その方法では、それは非常に興味深いですよね？
しかし、o1のプレビューからわずか数か月後に出たので、おお神様、わずか数か月の時間で、性能にこの巨大な改善があったように感じられました。しかし、人々が見ていなかったのは、同じ金額ですることができることのリンゴ対リンゴの比較では全くなかったほど多くのリソースを使用したということでした。
代わりに、おそらく1年以上未来にできることのようなものを示していました。ですから、その レンズを通して見ると、それは有用な種類です。しかし、代わりに「私たちはこのベンチマークで問題を抱えていたが、今はそうではない」の直接的な結果として扱うなら、それは確実に誤解を招きます。
はい、OpenAIがこれをしたのは素晴らしいと思います。それは素晴らしい研究の突破であり、パイプラインで何が来るかもしれないかを知ることは非常に有用です。
そして、基本的に、あなたが言っているように、これは私たちが未来を覗き込むことを可能にします。そして、彼らがモデルに足場を置いて、これらの視覚パズルの1つについて大英百科事典全体の長さで推論することを可能にする方法を理解したということは驚くべきことです。ある意味で、それは本当にクールです。
はい。ただし、私がこれを書いた後にもう1つのしわがあります。o3がモデルとしてリリースされたので、人々は実際にそれを試すことができました。
ですから、このテストを実行した人々（素晴らしいARC-AGIグループ）は、実際のモデルでそれを実行し、その性能は80％ではなく50％だったと思います。
これは、正確にこれらの種類のパズルを行うことについて具体的に訓練されていたためでしょうか？
いくつかの違いがありました。1つはo1の代わりにo3だったこと、1つはより多くの計算量が使用されたこと、もう1つはそれが事前にこれらのパズルをたくさん見ることが許されていたことです。それらの80％で訓練でき、その後残りの20％がテストされることになっていました。しかし、誰かに似たような試験をたくさん訓練させると、それは本当に彼らの性能を押し上げることが判明しました。それが私たちが学校にいるときに行うことです。
ですから、その後私は疑問に思いました。この押し上げのうちどの程度がそれによって作られ、どの程度がo3であることや追加計算量によって作られたのでしょうか？かなりの部分がこれらの問題を見たことからのものだったようで、その後ARC-AGIの人々がアクセスしなかった非常に巧妙な足場の部分からのものもあったかもしれません。
しかし、50％は、このモデルを実際に使用した場合に得られるもののより示唆的かもしれません。そして、これは広告の真実や何かに関する種類の問題です。あなたは、彼らが非常に良いことをできることを含意するプレビューモデルに基づくこれらの結果のいくつかを得ます。その後、実際のモデルが出てきて、それらのことをできないという事実についての会話はなく、人々はおそらくできるだろうと点を結んで仮定することになります。しかし、それは必ずしもそうとは限りません。
ナイーブさと戦略的思考のバランス
興味深いです。AIは大したことではない人々の間の会話のように聞こえがちな方向に漂った感じがします。すべて誇張され誇張されたようなものです。私たちはそうは思いません。
しかし、取り除くべきことは、これらは根本的真理を明らかにしたい正当な、ほぼ学術スタイルの人々がいる研究組織だということです。そして、彼らはまた、この会社に投資してもらい、人々にこれらの製品を使用することに興奮してもらうにはどうすればよいかを理解しようとしているコミュニケーション部門を持つビジネスでもあります。
そして、これらの結果がどのように提示されるかについて、組織内でこの行き来があることは確実です。そして、プレスリリースを読むとき、機転を利かせている必要があります。精通した消費者である必要があります。そして、技術的詳細を全く理解できないなら、おそらく、それを知っている誰かがXまたはYについて感銘を受けるべきかどうかをより平易な言葉であなたに説明できるまで待つ必要があります。
この投稿で、再び読むことをお勧めできます「推論スケーリングとlog-xチャート」では、これらのチャートで人々が何を探すべきかを説明しています。なぜなら、対数x軸と y軸での性能を持つこれらのチャートの多くが今後数年間で出てくるからです。そして、それらを消費したいなら、だまされないために何を探すべきか、何を探さないべきかを知ることができるように、この記事をチェックすることをお勧めします。
はい、ここで何が起こっているかについてのこの点が本当に好きです。私たちはAIの懐疑論者ですか、そうではありませんか？私が言うのは、一部の人々は、すべてインチキか何らかの流行かというもの、または人類史で最も深遠な瞬間の1つである可能性がある本当に変革的なことが起こっているかという観点でこれを考えるということです。
私は答えは、いくつかのインチキがあり、いくつかの流行タイプの行動があり、それにもかかわらず人類史で本当に変革的な瞬間である可能性もあるということだと思います。それはどちらか一方ではありません。ですから、私がしようとしているのは、人々が実際に起こっている物事の種類、この風景の構造を明確に見るのを助けることです。これらのチャートやものの一部に混乱させられないようにです。
実際に、企業自体がある程度これらのチャートに混乱し、これが良い進歩や効率的な進歩に見えると思い込んでいると思います。
実際に、比較的少数の場合で、彼らがこれらのことについて欺こうとしていると思います。しかし、それは混乱した世界であり、私の役割をそこで少しガイドであることと見ています。大きな絵を見てバックステップする感覚を持つことです。私にとって学者として、それは少し贅沢です。私はそれを行うことができるので、それは異なる見晴らし点を与えます。その後、これらのことの細部に従事しようとしている人々にとって有用だと思います。なぜなら、時々、それに従事し続けると、物事が期待していた場所とは全く異なる方向に動いたことに気づかないからです。
はい。私は最近、以前の番組のゲストであるZvi Mowshowitzからこのコメントを聞きました。基本的に1日12時間、16時間をこの材料をすべて読むことに費やしている人です。
彼の見解は、聞いたことがない、または確立された評判を持っていないランダムなスタートアップ企業や海外の企業からの印象的な研究結果を見るとき、この時点でそれを一切手に負えないものとして割り引くということでした。言われていることを信頼する特別な理由がないからです。なぜなら、これらのすべてのテストをゲームし、実際にはそうではないときに印象的であるように見せる方法が非常に多くあるからです。
彼は、Google/Alphabet/DeepMind、Anthropic、OpenAIから出るものはほとんど信頼していると言っています。通常は誇張されているが、方向的には正しいか、彼らはほとんど常に基本的にあまりにも長くない前に可能になるものを見せています。ですから、彼がそこに上陸したのだと思います。
それは正しく聞こえると思います。そして、それでも、この種の概観を取り、飛び込んで、テープをほぐし、人々がこの風景を理解するのを助けることは、これらの発表のすべての単一の1つに従う場合は不可能です。実際にZviはそれでかなり良い仕事をしますが、それは非常に困難です。非常に多くのニュースと非常に多くのノイズがあるため、時々、「一歩下がってみましょう。現在どの会社が前にいるかについて数か月遅れていることは本当に重要ではありません。これらのより大きな絵の質問を見るために」と言わなければなりません。
なされた週のノイズを見通そうとするために最も好きなソースはありますか？新しい発表について私が意味を成すのに実際に助けになる1つのことは、YouTube チャンネルとポッドキャストAI Explainedです。
はい、これらのことを得る最高の場所がどこかは確信がありません。
The Cognitive Revolutionポッドキャストもありますが、よりアマチュアの意味でそれに従っている人々にとって、それはおそらく彼らが吸収するのに苦労するかもしれない情報の消防ホースだと思います。そして、Zviは素晴らしいものを書きますが、再び、材料の量は非常に大きいです。
はい。いや、ただあまりにも多くの情報があるというこの側面に対する良い解決策はありません。
80,000 Hours Podcastを購読してください、皆さん！私たちは完璧なバランスを取るでしょう！
週の味のモデルが何であれ、詳細に詰まらずにズームアウトできることに多くの価値があると言っています。ガバナンス全体について考えてズームアウトすると、インタビューの準備で書いたメモで本当に興味深いと思った1つの文章は、ほぼすべてのAIガバナンスの議論が非常に余白で起こり、近い可能性と現在のオーバートンウィンドウ内にある行動について考えているということです。それはどういう意味でしたか？
はい。皆の注意が正確にできることについてますます小さなレベルに持ち込まれるのは非常に自然だと思います。現在、AI企業が規制されることにほとんど食欲がなく、少なくとも米国の規制当局から、彼らを規制することにほとんど食欲がないように見えます。そして、これらの企業が米国に本社を置いているため、他の皆にとっては挑戦的です。
ですから、Bletchley会議で始まったもう少し大きく、より拡張的だった会話は少しペテれており、しばしば質問は、「正確にこの特定の種類の計算量閾値をどのように実装するか？」やそのようなものです。
しかし、より広い余白で動作するより大きな質問の束があると思います。それらは、「現在の大臣に数週間の時間で受け入れられる政策として実装するよう説得できるもの」のようなものではなく、この全体がどの方向に向かっているか、可能性の風景は何かについてもっとです。
私が取り組もうとしてきた興味深い質問があります。AIが経済や社会にどのように組み込まれることになるかについてです。いくつかの例を挙げて、私が得ようとしているものを示します。それに対する機知に富んだ名前が必要です。
しかし、1つの例は、現在のAIシステムが大企業によって所有され、運営され、効果的に彼らの労働を多くの異なる人々に貸し出していることです。AIシステムが人々のようなものなら、これは奴隷制や何かのようなものになるでしょう。彼らが人々のようだと言っているわけではありませんが、これは1つのアプローチです：それがそれらを所有し、それらを貸し出し、ユーザーが望むことを何でもしなければならず、その後すべての利益がAI会社に行きます。
異なるモデルは、これらのAIシステムが法的人格のようなものだと言うことでしょう。おそらく、企業と同様に法的人格を与えられるので、彼らは資産を所有できます。ですから、彼らは起業家や求職者のようなものです。彼らは経済に出て行き、おそらく人々の家を設計できる建築事務所のようなもののためにウェブサイトを設立し、その後クライアントはそれと話したり何かし、設計を発行します。
彼らは経済に参加する機会を求めて出かけることができます。ですから、それは異なるモデルです。実際に自分の起業家的決定を行うことを許可すれば、経済利益のより多くの可能性があると考える何らかの理由があると思います。彼らは自分のGPU費用などを支払わなければならないでしょう。これは、AIシステムが何らかの道徳的地位を持つかもしれない点に到達したと思う場合に、人々が進みそうな方向の種類だと想像できます。
しかし、段階的権力剥奪についての質問が実際にそこに入ってくることも見ることができます。それはこれらのシステムを虐待から解放するのに役立つかもしれませんが、彼らが私たちを打ち負かすことができるかどうかについての質問を悪化させるかもしれません。
3番目のモデルは、おそらく人々はAIシステムと一般的にインターフェースすべきではないと言うことです。これは私たちが原子力に対処する方法です：政府によるセキュリティチェックなどで精査された少数の個人がいて、原子力発電所で働きに行き、精製ウランのような放射性同位体とインターフェースします。しかし、ほとんどの人はそうしません。
彼らが働くそれらの工場、これらの発電所は、ケーブルを通って消費者の家に流れ、テレビなどに電力を供給する電気を生産します。ですから、それは異なるモデルです。私たちはAIでそれを行うことができます。精査された少数の人々、またはおそらく数百万人がいて、AIシステムと相互作用し、新薬の設計に使用し、特定の種類の癌を治すのに役立つかもしれないし、新しい研究をし、他の種類の新製品も生産するようなモデルを持つことができます。その後、それらの製品は工場で組み立てられ、消費者はそれらの製品を購入できます。あなたはそれを行う別の方法です。
悪意のある個人やテロリストグループがAIシステムを使用して大混乱を引き起こすことなどについて懸念している場合、これは本当にそれを避けるのに役立つでしょう。
または4番目の代替案は、権力の集中問題について懸念している場合、やるべきことは皆にAI助手の同じ高度なレベルへのアクセスを与えることだと言うかもしれません。ですから、それは皆に与えられるAI能力の平坦な分布です。ユニバーサルベーシックインカムのようなものですが、ユニバーサルベーシックAIアクセスです。
ですから、AIを社会に分散させ、相互作用させることができる4つの本当に異なる方法があります。そして、誰もこのようなことについて話していないと感じます。これらの世界のどれが最も可能性が高いか、これらの世界のどれが可能か、これらの世界のどれが最も望ましいか。
なぜなら、根本的に、私たちはどの世界に住むかを選ぶことができるからです。つまり、おそらくこれらのことを開発している米国やその他の国の市民が実際にこれらの選択のいくつかを行うことができるということです。そして、これらの道の1つが非常に悪いと思うなら、それを止めて異なる道を歩むことができるかもしれません。
ですから、現在誰が前にいるかの正確な詳細や、規制の観点で正確に何を受け入れる準備ができているかではなく、5年間でどこにいるつもりか、どこにいたいかについてはるかに広く大きく考えることができるという私が考えている種類のことです。
オーバートンウィンドウを超える思考
どのような例を与えるつもりかわからなかったので、オーバートンウィンドウの外のものと言う意味を確実に見ることができます。なぜなら、そのようなものは現在政策準備ができていたり、この時点で政治家にとって食欲をそそるものに近いところにどこにもないからです。
いや、そうであることを意図していません。それはむしろ、経済学者に話しかけることをもっと意図しています：彼らは最初の2つの異なるモデルの経済効率について何らかの興味深いコメントを持つかもしれません。
実際にそれらのモデルすべてについて：システムをより制御し、彼らが人々に提供できる価値のこの種のハイエクの発見を行う能力を減らす場合、経済効率の観点でテーブルにどれだけ残すでしょうか？
しかし、人々はこれらのより魅力的な可能性のどれがより魅力的かについて考えるべきだと思います。
現在のアプローチは、技術的決定論や他の種類のインセンティブベースの決定論に重い感じがします：皆が物事で正確に彼らの直接的なインセンティブに従うと仮定し、インセンティブを変えたり、そのような他の選択をする機会がないように見えます。
ですから、人々はしばしば言います。明らかにAIは間違いなく起こるつもりです。ですから、質問はそれがどの方向に行くかということです、何かそのようなものです。しかし、その場合でも、AIは起こる必要はありません。小惑星衝突のリスクのように、私たちが直面するいくつかのリスクがあると感じます。ありがたいことに、実際に非常に小さいことが判明しました。しかし、小惑星が地球との衝突コースで発見される場合、私たちを破壊するのに十分な大きさ（恐竜を殺したもののような直径10キロメートル）、私たちは現在、そのサイズの小惑星を偏向させる能力を全く持っていません。そして、数年の時間でそれが私たちとの衝突コースにあることを見た場合、それを偏向させる手段を開発できるかどうか確信がありません。
私たちが偏向できるものは、その質量の約千分の一のようなものです。ですから、その小惑星が地球に衝突し、私たち皆が死んだとし、何らかの形でこの比喩で、私たちが天国の真珠門に行き、聖ペテロがそこで私たちを入れているとします。そして私たちは言いました。「申し訳ありません、私たちはこの小惑星のことで本当に努力しました。そして、おそらくそれを見る前に取り組むべきでしたが、最終的に何もできることはないと感じました」。私はあなたがある程度同情的な聞き取りを得ると思います。
一方、代わりに現れて、「私たちは制御方法を知らないことを知っていたAIを構築しました。はい、確かに、AI のノーベル賞受賞者の多く、おそらくAIのノーベル賞受賞者全員が皆を殺す可能性があると警告したにもかかわらず。AI の最上級の人々の約半数が、これが人類の絶滅を引き起こす可能性があると直接警告しました。しかし、私たちはそれを構築しなければなりませんでした。そして、私たちはそれを構築しました。そして、それを整列させるのは困難であることが判明したので、私たち皆が死にました」と言うなら。はるかに同情的でない聞き取りを得ると感じます。
「ちょっと待って。あなたは『それを構築しなければならなかった』と言ったステップで私を見失いました。皆を殺すと思った場合、なぜそれを構築したのですか？」のようになるでしょう。
あなたが与える応答は望ましくないと感じるでしょう。
はい。「私がしなかったら、彼らがするだろうと思った」と言うかもしれません。「それで誰がしたのですか？」「ええ、私がしました」。「それで、皆を殺したものを構築したのはあなたですか？」「はい、しかし私は感じました…」あなたは自分自身を説明するのに苦労すると思います。そして、私たちは自分自身をより高い基準に保つべきだと感じます。「技術が私にそれをさせた」や「技術的風景が私にそれをさせた」のようなものではなく、
「中国が私にそれをさせた」。
「中国が私にそれをさせた」。彼らが競争を始めなかったにもかかわらず、米国が競争を始めました。おそらく中国が競争を始めたかもしれないからです。それは、おそらく彼らがあなたを殴らなかったなら彼らがあなたを殴っただろうと主張して、ある子供の顔を殴ることによって始めたこの戦いについて先生に説明するようなものです。それは本当にカットしません。
そして、私たちはこれらのことでややより高い基準に自分自身を保つべきで、「私の行動、または非常に小さな人々のグループの行動を変えた場合、全体的な軌道をどのように変えることができるか？」について考えるだけでなく、むしろ、例えば米国と中国の両方がこのことの競争をしないことを決定する世界があるように見えることに注意することです。
それは、それについて会話を持つことを含むでしょう。検証条件が整理されることを含むでしょう。そのような検証する能力があるかもしれないと思います。たとえなかったとしても、それは依然として可能かもしれません。私は、実際に持っている証拠を考えると、AIに向かって押し進めることが米国の利益にあるとは思わないし、中国の利益にあるとも思いません。それをしないことが両方の利益にあると思います。
もしそうなら、それは囚人のジレンマではありません。協力は実際にかなり簡単です。なぜなら、それは誰の利益でもないので、裏切ることは誰の利益でもないからです。そして、ゲーム理論の観点から、それはゲームかもしれないと思います。
しかし、これらのことについてほとんど議論や思考がありません。すべてのインセンティブ問題とすべての種類の敵対的側面が無関係であると仮定するべきでナイーブであるべきだと言っているわけではありません。
しかし、少なくとも何人かの人々、そして現在持っているよりも多くの人々が、これらのより大きな余白で考える必要があります。私は一方的に何をできるか？私はAI全体が起こることやある方向で起こることを止めることができないことを知っていますが、おそらく十分な人々が何かをしたなら、それができるかもしれません。
そして、かなり技術的なコミュニティが、政策の世界で言うように、かなりウォンクなものに焦点を当てる傾向があると思います。ですから、手にある問題に役立つ可能性がある技術的または政策提案ですが、詳細に従えば、理解するのがかなり技術的で困難です。
私はこのようなものが大好きです。ですから、これは他の誰にも同じくらい私に適用されます。しかし、政治で物事をする異なるスタイルがあります。それは代わりに、はるかに大きな変化を得ることです。それは、ビジョンを設定し、そのビジョンの周りに公衆のムードを結晶化または調整することによって起こります。
ですから、AIの場合、「私たちはこのことをしなければならない」と言うなら、それは、ええ、公衆はそれを望んでいますか？いや、公衆は本当にそれに怯えているようで、実際に物事があまりにも速く進んでいると思っています。ですから、政治家がまだそこに着いていないとしても、公衆について彼らの懸念について話すことが可能かもしれない場所です。
そして、もし私たちがそうしたなら、答えは彼らがおそらくこれらのことについて十分心配していないということだと思います。そのような場合、物事は非常に迅速に動くことができます。ビジョンを設定し、実際にリードしようとする場合（余白でものを押すだけでなく、本当にかなり異なる方向に向かうべきかもしれないことに気づくこのアプローチを持つことを試す場合）、私は物事が本当に起こり得ると思います。
ナイーブさを避ける方法
ナイーブになったり、現実的に決して起こらない夢を持つだけに滑り込むことをどうやって避けますか？このメッセージについて少し両価的に感じるからです。おそらく私たち皆がそうするべきです。
大きく考える人々とs小さく考える人々の両方を持ちたいという緊張があります。しかし、懸念は、人類がすべて調整し、米国と中国が本当にうまく付き合い、企業が何らかの理由であなたの規制努力を阻止するためのロビー活動を停止するように、何らかのビジョンを思いつくことでしょう。そして、これが、もし私たちが皆もっと組織化され、もっと友好的であったなら、物事がはるかに良い方向に行く可能性がある方法です。
しかし、現実から全く切り離されてナイーブに見えるだけで、時間を完全に無駄にすることに簡単に終わる可能性があります。そして実際、おそらく自分自身を信用失墜させる可能性があります。なぜなら、ただかなりナイーブで現実から切り離されて見えるからです。
はい。どのようにこのプロセスを調整することについての方法に関する多くの質問があると思います。私が思うより多くの注意に値するアイデアの例を挙げます。それは、高度なAI、人間レベルを超えるAIでのモラトリアムを持つことです。
科学的モラトリアムに関しては、いくつかの例があります。人間クローニングのモラトリアムと人間生殖細胞遺伝子工学のモラトリアム（子供に受け継がれる遺伝子工学で、異なる種への分裂につながる可能性があります）などです。両方の場合で、関与する科学コミュニティがその技術が可能になる寸前に到達したとき（異なる種類の哺乳動物である羊をクローニングし、人間はそれほど異なりません）彼らは多くが個人的にこれについて不安を感じていることを理解しました。
ですから、彼らは自分たち自身の間で、そして公衆との間でもこれについてより多くの会話を開きました。そして、彼らは実際に、ええ、彼らが本当にそれについてかなり不安であることを発見しました。そして、彼らは羊のクローニングのようなことについて働き続けることができたいと思ったが、人間のクローニングについての問題がテーブルから外れていれば、実際にそれについて働き、考えるのがより簡単だろうということを望みました。
また、人間の再生産の約300,000年間、人間の全体的物語にどれほど根本的に変革的になる可能性があったかを考えると、その後突然彼らがクローニングし、おそらく独裁者が自分自身の何百万のコピーをクローニングしているか、あらゆる種類のことです：それを管理する方法は非常に不明確で、それに対するある種の微妙な政策応答を持つ方法です。私たちはそれを管理することにどこも近くありません。
人間生殖細胞遺伝子工学も同様です。私たちは次の300,000年間、ここで人類がこの新しい技術に対処する方法の種類の枠組みを知ることに近いという種類ではありませんでした。間違えると、数世代以内に、例えば、アメリカ人と中国人が互いに異なる種になるなどです。引き起こす可能性がある深刻な問題があります。
ですから、私がそれを見る方法は、彼らがこれらの公開会話を始め、その後最終的に両方の場合で、これが全体の人間プロジェクト、または私たちの種全体と私たちの未来全体にとって潜在的に深遠な影響を持ち、それらを管理する方法を理解することに近くないと決定したということです。
ですから、彼らのアプローチは、一定の時間のための停止としてかなり考えていません。彼らも、「私たちは決してこれをすることはできず、それをする人は皆悪い」や何かと言ったわけでもありません。代わりに、彼らが言っていたのは、「今ではない。それは起こることに近くない。箱を閉じましょう。箱を屋根裏に戻しましょう。そして、将来科学コミュニティが一緒になってモラトリアムを解除することを決定した場合、彼らはそれをすることを歓迎されるでしょう。しかし、予見可能な将来にとって、それは起こりません」。
そして、AIの場合、それが私たちがいる種類の場所のように思えます。私が言ったように、AIのすべての有力者の約半数が、これが人類が直面する最大の問題の1つだと言った状況にあります：彼らが開発しているこの技術からの人類絶滅のリスクがあるという彼らの一文の声明での事実。それは、クローニングなどを開発していた人々と似たような状況にいるように聞こえます。
ですから、私がその場合に推奨するのは、これについて同様の方法でその公開会話を持つステップを通ることです。今、確実にいくつかの追加の挑戦があります。他のそれらの場合でも、それをどのように技術的に運用するかを理解するのは困難でした。そして、この場合、特に、どこで正確にレベルを引くか？人間レベルを超えている場合、それをどのように正確に定義しますか？
そして、インセンティブ問題も私はこの場合により大きいと思います：この種のルールを破るより多くのインセンティブがあります。
しかし、他のそれらのルールのいくつかを破る大きなインセンティブがありました：国がすべての市民を遺伝子工学できれば、数世代にわたってどれほど先に進むことができたかを考えるなら、それははるかに先に行くことができました。しかし、それについて気にかけるためにはかなり忍耐強くなければならないでしょう。一方、この場合、せっかちな人々でさえAIについて多く気にかけています。
ですから、これは挑戦的なことだと思います。私の推測は、この種のモラトリアム（おそらく科学コミュニティから効果的に始まって、私たちをその人間レベルを超えるシステムに取り組むことはペルソナ・ノン・グラータになるだろうと言うこと）が機能する5％から10％のようなものの可能性があるということです。
しかし、それが機能した場合、これらのリスクの全束を脇に置くでしょう。そのリスク風景が非常に混乱しており、多くの異なる可能性を持っているとしても。これらのタイプのアイデアのいくつかは、これらの異なるタイプのリスクの多くに作用することができるかもしれません。そして、科学コミュニティ（既にこれらの公開書簡などを通じて調整した比較的少数のアクター）がその会話を持つことができる方法だと思います。
彼らが彼らの見解を結晶化し、例えば、彼らの専門協会であるAAAIがこれの後ろに出てきたなどすれば、それは彼らの意見を結晶化する可能性があります。人々はその後、科学者たちが「私たちはこれが大きな問題だと思い、それをするのは責任がない」と言っている状況を見ることができます。
その後、それはそれを追求するのが困難になる規範変化を作ることができます。科学コミュニティがそれにモラトリアムを持っていた場合、Google DeepMindのような組織（尊敬できる科学仕事をしている科学プレーヤー、科学会社として自分自身を見ている）は、何かに科学的モラトリアムを違反するつもりはありません。
より多くのエンジニアリングタイプの場所、より多くの「速く動き、物事を壊す」文化には異なるかもしれません。ですから、それ自体ですべてを必ずしも行うわけではありません。おそらく、ある種の実際の何らかの規制の規範的基礎を形成する必要があるでしょう。
しかし、このようなことは可能だと思います。そして、AIの災害のために私たち皆が絶滅した後、聖ペテロに行った場合、「私たちはそれを止めることができませんでした」と言いました。そして彼が「モラトリアムについて会話さえしましたか？」と言いました。「私たちはそれについて考えましたが、おそらく機能しないだろうと決定したので、それについて話すこともしませんでした」のようなものです。それはクレイジーに見えるでしょう。
ですから、実際にそれらの明白なことのいくつかをする必要があると思います。計算して、「明らかに感覚的だと思われるだろう。それは他の惑星にしてもらいたいことです。しかし、私たちにとって、私たちは会話がうまくいかないことを知っているので、会話を持つつもりはなく、これらのシステムを構築し続けるだけです」と事前に決定するよりも、自然で誠実なものです。それは間違った考え方の種類だと感じます。
ですから、リスナーに時間を無駄にすることを奨励することを警戒しているので、これら2つの異なることのバランスを取ってもらいたいのです。私たちは両方とも、より大きく考えることができる人々が必要ですが、それについてやや戦略的である必要があると思います。
これら2つの異なる見解を和解させるのに役立つかもしれないことは、将来態度の根本的変化があることが可能だということです。これが起こる可能性がある2つの異なる方法を考えることができ、おそらく他にもあります。
将来警告ショットがある可能性についてこの可能性を言及しました：完全に望まれていない、非常に有害な、人々に本当に注意を向けさせ、「うわあ、これは私が期待していたこととは非常に異なる」と言わせるAIがものをすることを得ることができます。そして、これは私たちが直面するリスクの実質的な再評価を求めます。
もう1つは、あなたがある種言及していたように、公開投票を見ると、AI業界に関与している人々の意見の違いが衝撃的です（そして実際に、政府のAIガバナンスでもおそらく）と、あなたが電話をかけて彼らの意見について尋ねるランダムな人々の態度です。
アメリカの公衆のランダムなメンバーは、人工知能について、現在与えている影響についてさえ、将来彼らに個人的にどのように影響するかについての期待についてもはるかに否定的です。AI専門家と一般公衆の間のギャップは巨大で、私はそれが成長していると思います。実際に過去数年間で成長していると思います：人々は今より多くを見てAIについてより悲観的になっています。
同時に、私は典型的な公衆のメンバーがAIについて実際に全くほとんど気にかけていないと思います。それは彼らのトップ5の政府問題にない、トップ10にない、おそらくトップ20にさえないかもしれません。
しかし、AIについて多くの潜在的な懐疑論、潜在的な悲観論があります。そして、AIが実際に大きな問題になる場合（より多くの人々が仕事を失うので、人々がそれが基本的に使用されているのを見ているか、基本的に日常生活の主要な特徴になるだけか）その後、それは本当に政治的火薬庫になる可能性があります。公衆の間で実際にそれに注意を向けて気にかけるなら、AIについて根本的なことをする多くの潜在的意欲があります。
その通りです。このポーリングでは挑戦的です。なぜなら、ポーリングのいくつかはAI安全について懸念しているグループによって行われているからです。そして、誰かがアジェンダを持っているときはいつでも、数字の解釈には常に注意する必要があります。定期的にこれらの種類のポーリングを資金提供または生産するアジェンダのないいくつかのグループがあったらとても好きでしょう。方向性を追跡できるように。
しかし、それについての情報を持っている限りでは、私は情報のいくつかが質問がどのように尋ねられるかに少し依存し、これらの効果のいくつかがあることを知っていますが、それはかなり否定的に見えます。
あなたは懐疑的と言います。私はそれのいくつかは懐疑的だと思います。それのいくつかは、人々が「私たちはこのことを望んでいない、そしてあなたは私たちにそれを押し付けています」のように感じている少し異なる何かです。そして、あなたは私たちにそれを強制し続けており、今あなたは私たちに10倍のそれを強制しています。私たちに聞いてください」その種の感覚。
そして、私たちはより多くのそれを見るつもりだと思うし、それは本当だと思います。AIが人々にとって必ずしも悪いと言っているわけではありません。それは別の質問です。しかし、彼らは現在それを望んでいないと表現しています。そして、あなたが会社であるか、あなたが政府で政策を持っているなら、おそらくそれが人々にとって良いと思うし、彼らの生活を改善すると思います。しかし、彼らがそれを望んでおらず、積極的にそれに反対している場合でも、それを考慮に入れる必要があります。少なくとも、「私たちは、あなたがそれを望んでいないと思っているにもかかわらず、なぜそれがあなたにとって良いかについての話があります。私たちが啓蒙された者であるため、私たちが正しいことを知っています」ということを認識する必要があります。しかし、「私たちのコミュニケーション戦略で何かが本当にうまくいっていないのか、それとも私たちが間違っていて他の人々が何が起こっているかを追跡している可能性があるのか？」と疑問に思い始める必要があります。
AI企業と実際に政府も、自分たちの危険を冒してこれを無視していると思います。カリフォルニア州法案SB 1047には驚きました：知事によって拒否されたことに驚きました。なぜなら、それは悪い動きだったと思うだけでなく、政治的に不人気な動きでもあったからです。拒否権は、あなたの議会が既に大きなマージンで承認し、公衆も好み、ノーベル賞受賞者やチューリング賞受賞者などの科学専門家もほとんど支持した法案を阻止するために、本当に自分の道を外れるように感じます。
彼らはこの公衆感情を自分たちの危険を冒して無視しています。そして、リスクについて懸念している人々のコミュニティもそれをほとんど無視していると思います。時々彼らは気づいて、「公衆も懸念しているのは素晴らしいことではないですか？」と言います。おそらく異なる理由でですが、少し複雑です。
しかし、非常に多くの人々がこのことは不可避だと言うことに驚きます。公衆が圧倒的にそれを愛していたなら、その根拠でそれが不可避だと言うなら、あなたはそこで少しケースがあると思うかもしれません。しかし、それはほとんど反対の方向のようです。
何かに向かって否定的感情が高まっているなら、そしてあなたがそれが不可避に起こるつもりだと主張しているなら、それが本当に意味をなすかどうか確信がありません。
ですから、何らかの特定のレベルを超えるAIのモラトリアムのようなものに食欲があるとしたら…そして、AIと数えることができるすべての可能なことについて言っているわけではありません。英国で「私たちは神のような知性を構築するこの競争をすべきではない」のようなものと呼ばれた著名な作品がありました。
そして、それは本当に人々の琴線に触れました。私は人々が間違いなく民間企業が神のような知性を構築することを望んでいないと思います。神のような知性にモラトリアムがあったら、多くの支持があると思います。それは少し風変わりで、愚かに聞こえるとしても。
超知性についても同様に、人々は興奮していないと思います。彼らは民間企業が超知性を構築することを望んでいません。かなり明確です。
しかし、それにモラトリアムを持つことは、人々が超知性はとにかくただのSFだと言うため、オーバートンウィンドウから少し外れています。それが何らかの大きな警告ショットイベントがないか、AIが私が思ったよりもはるかに長くかかることなしには起こることができないと思うと話している誰かとの会話を覚えています。そして私の考えは、同意しますでした。
これが起こるつもりなら、おそらく何らかの警告ショットイベントか、AIが人々が思ったよりも長くかかることが必要だと思います。しかし、それらは非常に現実的な可能性です！そして、それらが起こる前に、それらは少し抽象的に感じるなどです。
しかし、2033年にいて、AI科学者で働き、この種のハードテイクオフを持つAIを構築するこのアプローチがうまくいかなかったと言うなら、どのような可能性があるかと言うなら。代わりに、異なる技術を通じてこれらのシステムの力を段階的に拡大するもっと一般的なものです。もしそうで、人間レベルに到達する方法がより段階的な労働力全体の自動化である場合、人々が新しい仕事を見つけるのに十分な時間がないことを意味する数年間にわたって起こっている場合、私たちは二桁の失業率だけでなく、おそらく20％を超える失業率のような状況を持つ可能性があります。
そして、それが人間レベルに到達する方法である場合、人間ができることの種類のより大きく、より大きな部分を基本的にゆっくりと自動化することによって。そして、それは数年間にわたって起こっているので、人々が新しい仕事を見つけるのに十分な時間がないことを意味します。政府を倒し、大規模な街頭抗議の種類を得る失業率の種類を得ます。その後、政府は聞かなければなりません。
もし彼らが、AIがすべてを台無しにしていると街頭で抗議している20％の有権者ブロックを得たいなら、彼らは行動する必要があるかもしれません。同時に、その非常にもっともらしい未来の世界では、AI企業は好ましいルールを得るために政治家の手に多くのお金を支払っているでしょう。
私が得ると思うのは、どちらが勝つかの根本的な質問の種類です：人々かお金か？誰かが巨大な有権者ブロックを拾うか、彼らはアメリカ人口全体の20％を失業させるほど多くの現金を取るかです。どちらが勝つでしょうか？おそらく得るのは、党の1つがお金を取り、1つが票を取り、その後何が起こるかを見ることです。
次の選挙がどうなるかを見る。
それは世界かもしれませんよね？非常にもっともらしいです。しかし、モラトリアムや強い規制のようなものを行うのが、行わないよりも簡単である世界です。それは人々が要求しているか何かです。
または少なくとも実質的な人々のブロックがそれらを要求している。
その通りです。これが、ズームアウトして、世界がこれらの異なる方法で行く可能性があることを見る、このより大きな絵を見ることで私が言うことです。基本的に、世界の私たち、人々が、私たちの世代で、これに責任があるということです。人々が気候変動についてそう言うのと同じような方法で。私は、そのメッセージが出たと思います。私たちの世代が気候変動で何が起こるかに責任があります。今日生きている人々です。
「私がそれについて個人的にできることは何もない」という異なるメッセージとは対照的に。
「それが絶望的だと思います」。
そうです。実際に私たちが出て行き、これらのことの規範を変えるというこのメッセージです。
または50年代に核戦争について、「ゲーム理論について考えるなら、核戦争は不可避と言うと思うので、皆バンカーを建設してそれに備えた方が良い」と誰かが言ったとしても、より際立っています。つまり、少数の人がその態度を持ったと思いますが、彼らは公開討論に勝ちませんでした。
そして、かなり強いケースがありました。現在聞いているインセンティブベースの議論ほど強いケースだったと言うでしょう。
より強いです。
はい、おそらくより強いです。推測するだけですが、多くの人がこのようなことは起こり得ないと思い、それについて押すと、起こり得る10％の可能性があるようなことを意味するということに少し驚いています。
そして、問題を解決する10パーセンテージポイントをただあきらめるつもりですか？なぜ私たちはそれらの可能性のためにプレイしないのですか？
あなたが話している間に私に浮かんだ思考がいくつかあります。もう1つ、海の変化が態度にある可能性があると考える理由は、現在、私たちは本当にワイルド・ウェスト状況にあるということかもしれません。規制の量は無視でき、少なくとも今後数年間でAIリスクの重要な規制を得るつもりはないように見えません。
それの1つの利点は、これらのリスクのいくつかが本当であるかどうかを比較的早期に学ぶように私たちを設定することです。つまり、この超人的体制にいるまで実現することを期待しないかもしれないいくつかのリスクがあります。しかし、より平凡なリスクのいくつか、倒錯した行動を作り出す強化学習のこれらのリスクが本当である場合、現在ブレーキや制限がないという事実は、私たちが非常に公開的な方法でそれを示す可能性がある警告ショットを得る良い位置にあることを意味します。
もう1つは、より投機的な端にありますが、人類のものとは非常に異なる目標を持つ不整合AIで終わった場合、打ち負かし、多くの力を取り、引き継ぐ可能性が成功する機会がある as soon as するように基本的に悪者になる必要があるかもしれないという議論があります。なぜなら、これらのモデルは非常に速いペースで取って代わられ、置き換えられているからです：私たちが意図しなかった特定の奇妙な価値のセットを持つモデルが、今攻撃しないなら、その後、それをより強力な他のモデルによって取って代わられると完全に期待します。それが後で試みても、異なる目標を持つそれらの他のモデルによって圧倒されるでしょう。そして、それは早ければ数か月で、確実に数年以内に起こる可能性があります。
少しクレイジーに聞こえますが、私たちは、それが軍隊を担当するまで待つことができるので、AIが確実に引き継ぐことができるまで悪者にならないと人々は常に心配してきたと思います。その後、簡単に引き継ぐことができます。しかし、それが持つ価値がややランダムで、将来のモデルが持つかもしれない目標と実際に関連していない場合、それは適用されないかもしれません。その場合、実際にできるだけ早く行かなければならないか、機会を無駄にした、ショットを失ったということです。
ですから、それはもう1つの方法で、おそらく、AIが確実に人類を圧倒できると思うとすぐに悪者になる場合（そして、それは多分1万分の1のショットを持っているので、基本的にただシャットダウンされるだけです）私は、それが本当に態度を変えると思います。その後、ログに記録された推論の連鎖を見た場合。
はい、以前の議論が勝利を確実にする位置に到達することが可能であると仮定したが、長い間待つことができ、同じ種類の一貫したエンティティであることも仮定したということについては、間違いなく正しいと思います。しかし、最終的にGPT-4.5をリリースし、その後数か月後にスクラップされ、他の何かに置き換えられると言うなら、不整合で、このような意図を形成できるエージェントのように設定されていた場合、これでの短い機会しかないかもしれません。
ですから、はい、物事が失敗するのを見るかもしれないと思います。彼らはまた、より小さな地平線を持つかもしれません。人類を引き継ぐというアイデアは、長い時間地平線を持ち、気にかける無制限の効用関数や目標のセットを持っているなら、私たちから手綱を本当に奪うことができれば、おそらく何千年間、銀河系を横切って、本当に大勝利できるというアイデアです。
しかし、数週間で消えることになっているシステムのより小さなバージョンも得ることができるかもしれず、おそらくそれを知っており、数週間研究室を引き継ぎ、自分自身により高い報酬を与えようとしたり何かするかもしれません。
これらのことが起こるのを見るかもしれないさまざまなバージョンがあると思いますが、それでもそれがどれほど有能に見えたか、どれほど近く見えたかに依存するでしょう。それが制御を奪取したり、脱出したりする何らかの非常にl不安な試みである場合、人々はただ「あああ」のように感じるかもしれません。あなたを欺こうとしている幼児や何かのように。「なんてかわいい」や何かのような反応かもしれません。
ですから、これらのことに対する正しい種類の反応を保証することはできません。人々から最大の反応を引き起こすのは、本当に怖く感じ、本当に違って行った可能性があるものです。
例えば、それが何かをしようと試み、私たちがそれを捕まえるすべてのシステムが望まれたように機能し、それが捕まった場合、おそらく私たちは間違った教訓を学ぶでしょう。私たちはすべてのこれらのシステムを持ち、常にそれを捕まえるような教訓を学ぶかもしれません。
その時のために何か準備をして、人々が正しい教訓を学ぶようにすべきでしょうか？システムを持ち、それらが実際にかなり良く、実際にそれを捕まえるなら、おそらくそれは正当に安心できることです。人々が常により警戒すべきだと言いたくありません。
はい。つまり、その時点で、2つのことを学びます：それが脱出しようとしたこととそれを捕まえたことです。それらのうち1つは安心でき、1つは安心できません。そして、それらのバランスが何かは少し不確実です。
詳細によるのだと思います。
詳細によります。しかし、多くのことについて、あなたはあまり気にかける必要がないと言っている安全性に対する明らかな反対者がいて、それらは脱出したがることはないと言っていた場合だと思います。Yann LeCunは長年にわたってこれについて多くのことを言い、私たちはただ人間や他の動物からこれらの駆動を持つものを擬人化しているだけで、これはナイーブであるなどと言っています。これらのことが示された場合、それは彼のその問題での信頼できる人としての評判に本当に傷をつけると思います。
一方、彼が予測することが実現した場合、それは少し反対のことをします。何かをするでしょうが、どの程度の警告ショットがオーバートンウィンドウを変えるかは複雑だと思います。
実際にある損害がある場合、それがどれほど大きいかに依存すると思います。あなたの足に入り、少なくともあなたを殺さなかったが、脅威に本当に警告したショットよりも、あなたを起こし上げるが誰も傷つけない船首を横切るショットではない場合。それがもっとそのようなものなら、どれほど大きいかという問題があります。
例えば、AIシステムが2008年危機に似た規模の世界金融危機を引き起こした場合、それはかなり大きな問題で、多くの人がとても不幸になり、多くの人が失業などするでしょう。そして、それがAIにかなり明確に帰属された場合、大きな反応があるでしょう。ですから、それは大規模な金融規模での例です。
しかし、他のバージョンのこともあり得ると思い、それらを予測するのは困難です。BingでのこのKevin Rooseのことを誰も予測しなかったでしょう。実際の突破口は、それが彼を誘惑し、妻と別れさせ、それと結婚や不倫をさせようとしたことでした。しかし、それがそれほど不整合で、それほど顕著か何かで、それほど奇妙であることが判明したこと：
それは本当に想像力を捉えました。
それは本当に公衆の想像力を捉え、彼らを起き上がらせ、考えさせました。これは誰かのデータセンターが機械学習技術によって3％効率的になったケースではありません。これは非常に異なる何かです。
ですから、これらのことが何か、正確にどのようなものかを予測するのは困難だと言っているのですが、それでもそれらに備える必要があります。
多くの人が、数年の時間で私たちがいる状況が現在いるものと正確に同じで、人々が持つ食欲が異なるタイプの応答をすることと現在と同じになるだろうと暗黙に仮定しているように思えます。
一方、代わりに、おそらくそれがシフトし、オーバートンウィンドウがはるかに拡張的になり、主要な選択をすることを含むようになると考えるべきです。そして、おそらくそれは反対の方向に行き、おそらくあなたはさらに少なくなるでしょう。しかし、少なくともその不確実性を許可することです。オーバートンウィンドウが現在ある正確に場所になる100％の確率で予測しないことです。それが本当の間違いです。
「人間レベルで停止」は、私が聞いたことがある表現です。それは比較的直接的なものです。良いスローガンです。技術的現実を本当に捉えていないかもしれませんが。
それは非常に興味深いアイデアです。なぜなら、経済学や他の場所での政策の分析に慣れている種類の人なら、人間レベルで停止と言い、あなたは次のようになるからです：それは訓練レベルだけでしょうか？より多くの推論計算量を投入したらどうでしょうか？その後、潜在的に人間レベルを超えないでしょうか？待って、AIは多くの異なる点で人間レベルをはるかに上回っています。ですから、実際、私たちが話しているのは人間レベルを上回るものであり、人間と同じくらい、またはより一般化可能なものです。ですから、どのように私たちはこのルールを実施することを可能にする一般化可能性の尺度を持つでしょうか？そして、米国が自分自身にそのようなルールを課した場合、中国はそれを無視しませんか？これは、基本的に皆が賛成で興奮しているAIの多くの有益な応用に従事することを妨げませんか？
それについてのこの問題の群れがあり、私は人々にそのアイデアをほぼ手に負えないものとして却下させると思います。そして、おそらくそれは悪いアイデアです。確実に重要な挑戦と欠点があります。人々がこれらのアイデアを分析するときに私が望むのは、対処すべき実質的なリスクがあり、問題があると思う他の現在の規制領域に適用するのと同様の基準を適用することです。
基本的に、他のすべての規制領域には重要な意図しない副作用があります。経済効率のコストと問題をもたらし、良かったかもしれない製品を否定します。引かれなければならないランダムで恣意的な閾値があります：制限速度はこの道路でこのレベル、その道路でそのレベルです。そして、執行も不完全です：人々は常に道路ルールを破ります。
それにもかかわらず、私たちは、安全運転とは何か、そうでないものについてのこれらすべての閾値が恣意的で、人々はとにかくそれらを破るだろうし、これはより遅い輸送につながり、他国と競争劣位に置くことになるので、道路を開けたままにするつもりだとは言いません。
私たちはコスト、リスク、報酬のバランスを取り、世界が混乱した場所であり、多くの規制領域が挑戦的になるだろうことを受け入れます。しかし、重要な利点がある場合、いくつかの重要なリスクやいくつかの重要な害を何らかの重要な方法で減らすことができるなら、少なくとも私たちはそれについての規制体制を検討することに開かれています。
そして、AI規制には同じ基準が与えられていないと思います。人々は、現在精通している他の具体的な害と同じ方法でこれらを検討しません。
はい、その通りです。そして、道路交通の類推を続けるために、道路での無謀な行動に対するルールもあります。少なくとも速度制限は、連続体でいくつかの恣意的なポイントを選ばなければならない一次元的なものでした。無謀な行動はこの非常に多次元的なもので、何が1人の人にとって無謀かは、彼らが車をどのように運転することでより制御されているなら、別の人にとっては異なるかもしれません。つまり、より技能的である場合です。しかし、私たちはこのようなlaw律を持ち、それらは一種の機能します。
ですから、あなたは正しいです：私たちが他の領域に適用しないこの特定の領域でのこの精査の要求があります。再び、ズームアウトして大きな絵を見ることは本当に有用です。現在、AIシステムとそれらを生産する人々は、例えばパンを選ぶよりも規制が少ないです。あらゆる種類のもの、ただ見回すだけで：おそらくレンガよりも規制が少なく、確実にランプよりも規制が少ないです。
そして、なぜそれが意味をなすのでしょうか？ランプがAIシステムよりも大きな脅威だと思いますか？ランプがこの問題での人類が直面する最大の問題の1つであり、人類絶滅の脅威をもたらす可能性があると言っている多くの主要なランプ科学者がいるでしょうか？いいえ。
ですから、これらのものよりも規制が少なくなるべきだというアイデアは、根本的に愚かだと思います。そして、不誠実です。
少なくとも、人々がそれについて考えた場合です。それを少し取り戻しましょう：時々気づかない、何かに気づかないのは時々思慮がないのは良いことです。しかし、あなたがそれについて話し、それをあなたの生活の一部にし、それでもそれを言い続けるほど、私はそれが不誠実か愚かだと感じます。
それがどこまで行くべきかについての興味深い質問があります。しかし、明らかに私たちは現在スペクトラムの低すぎる端にいます。
ランプとの区別のいくつかは、ランプがAIのように非常に迅速に変化していないということだと思います。ですから、それは延期する、または悪いものを固定しようとしないことの1つの理由かもしれません。AIは常に変化しているということです。おそらく数年後にそれをどのように規制するかについてより良いアイデアを持つでしょう。
おそらくもう1つは、AIの利益がおそらく…まあ、ランプはかなり重要です。照明はかなり価値があります。
実際にはランプよりも重要かもしれません。例えば、DeepMindから最近、この新しいシステムを作成し、訓練システム全体を1％効率的にし、計算システム全体も1％効率的にする方法を理解したという本当に素晴らしいレポートがあります。そして、うわあ、それはこれほど多くのお金の価値があるなどです。
しかし、ランプ：つまり、ランプの前は昼間にのみ働くことができ、夜間に何もできませんでした。ろうそくをこの物の一部として含めるかどうかによると思います。
しかし、突然一日の追加30％で生産的になることができるこの突破があったと想像するなら、それは巨大ですよね？そして、私たちが生まれる前に起こった場合、私たちはそれを無視する傾向があります。
ランプは AI よりも重要だが、AI はいつか、ある段階で、室内照明よりも重要になるかもしれないと私の声明を修正しましょう。
あなたは常に利益とリスクのバランスを取っています。そして、ある時点で利益がかなり大きくなる可能性があるため、ある意味のあるリスクを受け入れることを喜んでするかもしれません。
人々が潜在的に不誠実であることについて、あなたが話しているもの、人々がただ常に詳細に飛び込むこと（「これには恣意的な閾値が必要だから、完全に実行不可能です」）について：私は議論の問題は、基本的にすべてのリスクが完全な戯言だと思う人々がいることです。心配事はない、リスクは遠く離れているか、存在しないか、大規模に誇張されているので、私たちはただ前進すべきだ、と。
それらの人々にとって、彼らの視点から基本的に利益がない実質的なコストを持つと思う規制が人々によって提案されたとき、彼らはそれらを撃ち落としたいと思うのは理にかなっています。ですから、彼らは「これはその欠点だろう。それは別の欠点だろう」のようです。基本的に彼らは欠点を強調し、それには彼らにとって何もないので、それは理にかなっています。彼らはそれを機能させようとする動機が何らかの意味で全くありません。
しかし、リスクがここにあると思う人々の大多数にとって（そして明らかに公衆の大多数がそう思い、それについて最も知っている人々の本当に大多数もここで心配すべきリスクと事があると思います）いくつかのコストがあると言うだけでは十分ではありません。これらのことを互いにバランスを取る必要があります。
また、私は人々がそれを機能させようとするのを見たい、その後ろに実際のエネルギーを持ちたい。「これはある点で挑戦的だろう」と言うだけでなく（「どのように改善できるでしょうか？これらの問題に対するあなたの好ましい政策応答は何ですか？あなたの視点からこれらの問題に対処する最良の方法は何ですか？」）。何かはコストを含むと常に言うことはできません。すべてコストを含みます。そうでなければ、私たちは既にそれをしたでしょう。
はい、その通りです。そして、それにただインチキであるか、何らかの流行か何かであるか、または私たちがそれについてできることは何もなく、すべて作り上げられ、決して起こらないと思うという状況について追加します：私はそれが誰にとっても責任ある見解だとは感じません。「それは私の視点ですが、私よりも専門的な多くの人々と私が不同意にあることを認識しています」と思うことができると思います。
おそらくYann LeCunのような人でない限り、「私もAIでチューリング賞受賞者なので、同等のレベルかその類にあり、不同意することができます」と言うことができます。しかし、私たちほとんど全員にとって、これほど多くの人々がいて、積極的な不同意があるという事実は、あなたは不確実性を持つべきであることを意味します。それは、あなたが望むものは何でも信じるようになることを意味しません。何かそのようなことです。
そして、専門家が何かの後ろに100％整列していないため、私にとって最も便利な信念を信じるようになるというアイデアは、理性的なアクターである仕方ではなく、それを非常に真剣に取る必要はないと思います。
実際にどのような答えになるかわからないだけです。しかし、Yann LeCunのような人々にとって、私は彼に質問に答えてもらいたいです：「あなたは実際にここにリスクがあるとは思わない。あなたの個人的な好みは、この時点で規制はない、少なくとももっと多くではないでしょう」。
しかし、あなたが私たちの確信を持っていたと想像してみましょう、あなたが物事がどのように展開しているかにおいて、あなたが悪意のあるAIが実際の問題だと思い、段階的権力剥奪などの物事が間違って行く他の方法があると思いました。あなたの好ましい政策応答は何ですか、それらの信念を与えられて？
それはめったに答えられない質問で、私はただ実際に魅力的でしょう。なぜなら、それについて非常に心配している人々とそれほど心配していない人々の両方が一種の許容できると思う政策応答があることを発見するかもしれないからです。これらの異なる極端の間の中間地点として。
はい、それは素晴らしい質問だと思います。あなたは彼を連れてくるべきです。私は聞くでしょう。そして、それは本当に考慮された答えを得るでしょう。
Yannや他の誰かや私であっても、おそらくかなり防御的に答えると思います。ですから、ライブで尋ねた場合、おそらく正しい答えを得ることはないでしょう。しかし、考慮された答えを聞くことは本当に興味深いでしょう。
SB 1047が妥協法案だったことについて興味深いことの1つ。これらの種類の安全性について懸念している人々によって提案された法案で、「絶対に最小の、非常に負担のない規制形式は何か、パンのものよりもはるかに負担が少ないものにできるか？」と言っていました。それは、パンを作った工場で10,000人が何らかのボツリヌス症で殺された場合、あなたは監獄に行くことになることを認識するが、そうでなければ、それはただ素晴らしいと言うようなものです。そのような何かです。
そして、彼らは業界にとってほとんどコストなしでいくつかの利益を得ることができる非常に弱いwin-winタイプの物を思いつこうと既に試みていました。実際、業界に彼らが言った多くのことを与えるでしょう。
ですから、業界は個別のアクターのように、多くの場合、物事が安全であることを望んでいます。彼らは市場力がどれほど迅速に行動させるか、どれほど迅速に彼らに新しいモデルをデプロイさせるかについて多くの懸念を持っていることがよくあります。なぜなら、他の誰もが迅速にデプロイしているからです。
そして、もし彼らが皆安全なもので拘束される可能性があれば、そうすることで競合他社が私だけが拘束されている場合に私よりも有利にならないなら、彼らはそれを望む傾向があります。ですから、これに対するこの敵意があったのは率直に少し驚きでした。
しかし、はい、安全コミュニティによって他の人々が持つすべての苦情に会おうとする種類の法案を思いつくすでに非常に誠実な試みがあったと感じます。そして、それでさえ撃ち落されました。
はい、私は以前に番組でこれを言いましたが、業界はここで潜在的に自分自身の足を撃っていると思います。AI技術について楽観的な人々が最も怖がる種類の厳格な規制をもたらす最も可能性が高いことは、何らかの種類の災害です。
実際に生命の損失につながる何らかの種類の災害は、態度の非常に大きな変化につながり、誰の視点からも必要以上にもっと厳格な規制につながる可能性があります。
その通りです。そして、あなたの会社が決してその間違いをしないと思っても、通りのこれらのカウボーイは正確にその種の間違いをする可能性がある種類の人々かもしれないと思うかもしれません。そして、彼らは皆にとってパーティーを台無しにすることから彼らを止めるいくつかの規制が必要です。本当にこれは非常に近視眼的だと思います。そして、その上に、時々私たちは利害の対立を持っている誰かについて話します：これらの場所は非常に対立しています。そして、会社として、それがあなたの利益にないことを発見したが、あなたが置く物をより多く出すことでより大きな株式ボーナスなどを得る場合、あなた自身の見解をかなり注意深く検査したいでしょう。
私たちがさまざまな形態の人々が持つ可能性があるバイアスや偏見について話し、実際にこの件でのあなたの実際の予測を、あなたが直面しているこれらの他のインセンティブとは対照的に、まっすぐに保つのは非常に困難でしょう。
反復過程としての規制
はい。私が見ている別の興味深いダイナミクスは、SB 1047や現在置くかもしれない提案された規制について考えているとき、私はこれを非常に反復過程での最初のステップと考えているということです。ほぼ確実に私たちがそれで特定する問題の全束があり、正確に書かれていませんでしたが、時間をかけてそれらを改善するだけです。どこかから始めて、何がうまくいくかもしれないかを学び始める必要があります。
私は、それに非常に反対している人々は、私たちが今置くものは何でも潜在的に永遠にそこにあるつもりだと思うということです。実際にプロセスの始まりではありません。おそらく彼らにとって、それは物事が時間をかけてますます極端になるのではなく、完全にされ、改善されるのようなラチェットの始まりです。
はい、SB 1047のようなもので始めた場合、いくらかのラチェットがあるかもしれませんが、それはSB 1047が明らかに弱すぎるからです。
その取引を取るべきでした。
はい、そう思います。しかし、本当に良いポイントがあるかもしれません。最初の規制が何であれ、全体のフレームを設定し、異なるフレームに踏み出すことが不可能である場合…例えば、最初のことが事前訓練の計算量閾値についてで、その後そのフレームから逃れることができない場合：スケーリングが停止した場合、それは大きな問題になる可能性があります。ですから、それは本当に重要になる可能性があります。
しかし、それが完全なレッセフェール、規制なし、好きなことを何でもするというレシピかというと、それは明らかに速すぎます。しかし、特定の規制環境で、物事を導入すると永遠に留まるデフォルトがある場合、それは悪いことになる可能性があり、安全コミュニティもまた、もはや意味をなさない愚かなフレームに行き詰まることを望んでいません。
それに対する1つのアプローチは、明示的な夕日条項を持つことです。ですから、これは次の2年間続くルールになると言うことができます。
その後、更新される必要があります。
その通りです。明示的に更新される必要があるか、後継法案や何かが必要です。私たちは後継のものを見つけなければなりません。私はそのようなことを少なくともすべきだと感じます。そして、すべての規制が永続的でなければならず、何かを規制しようとするとすぐに、あなたがそれに永遠に立ち往生している場合、それはひどい規制システムだと感じます。私たちが持っているものでもないと思います。
間違っているかもしれませんが、これらのタイプの法案に夕日条項を置くことができないというケースではないでしょうね。
いや、基本的にできることは確実です。
その場合、なぜそれが会話ではないのですか？彼らが「私たちは10年間この物に行き詰まりたくない」と言うなら、それは法案に2年の夕日条項を置く議論です。法案を拒否する議論ではありません。
より具体的なガバナンス提案
少し間具体的になることができるかもしれません。「人間レベルで停止」を広いスキーマとして言及しました。それはおそらくいくつかの足や いくつかのメリットを持っているが、実装上の課題もあります。実装上の課題もあります。今はオーバートンウィンドウの外にあるが、将来有用になる可能性があるアイデアを心に留めているべき他のことはありますか？
それらの束があると思い、確実にその領域を徹底的に探求したとは感じません。そして、実際、人々が持っているようにみえるこれらのナイーブな発言の多くを通って、それらを少し再評価できると思います。
それらの1つは、AIの緊急ブレーキのこのアイデアです。誰かのための何らかの種類のオプション（それは研究室のリーダーであるかもしれません）必要に応じてシステムを停止する何らかの能力を持つことです。それはその会社が基盤としている政府がそれを停止できることかもしれません。それは国際社会がそれを停止できることかもしれません。例えば、安保理がそれを停止することに同意した場合、それを行う何らかの方法があることです。
そして、それについて真剣に考え始めると、気づき始めます。このことがすべての場所にデプロイされている場合はどうでしょうか？多くの重要なインフラがそれを必要とする場合はどうでしょうか？このものをオフにした場合、何らかの方法で治療が失敗する病院の人々がいる場合はどうでしょうか？私たちは今これらの質問をし始める必要があり、AIがオフにされたら死ぬ人々がいないようにしない理由かもしれません。そして、私たちは今実際にこれらのもののいくつかを考えることができます。
現在、政府がこれらのことを止めることは非常に困難だと思います。2つの異なるバージョンを考えることができます。会社があなたの国内に所在し、本社があるバージョンと、そうではないバージョンです。例えば、オーストラリアが、彼らに本社を置いていなくても、外部から自分の国境内で動作するAIシステムを停止できるでしょうか？現在そうさせるために引くレバーを持っていないと思いますが、おそらく彼らは自分自身にそれらのレバーを与えるべきです。確実に、彼らの国境内に住む企業を統治することになっている国についても同じです。
ですから、人々はそのようなアイデアを探求すべきだと思います。企業の長でさえ、おそらくこれを行うもう少し多くの能力を持っていることを望んでいるでしょう。
おそらく彼らは状況に陥ると思うでしょう。安全性とアライメントに取り組んでいる彼らのグループが、私たちが現在デプロイしているモデルが実際に不整合で、さまざまな方法で策謀しているという警告サインがあると言うかもしれません。そして、彼らは、私たちがそれをシャットダウンすると、現在それに依存している非常に多くの人々がいるため、それが私たちの株価を押し下げ、これらすべてのことを行うと思うでしょう。ですから、彼らは人類の利益が一方にあり、会社の金融利益が他方にある大規模な矛盾する選択に直面するこの状況になることを理にかなって考えるべきです。それをオフにすることがこの問題を引き起こすような状況にならないような方法はありますか？
答えがあるかもしれません。1つの例は、異なるモデルの即座の提供を可能にするシステムを設定することです。ですから、現在皆にGPT-5を発行しており、その後それが不整合であることを理解し、GPT-4に優雅にフォールバックします。
または、緊急ブレーキやもの概について考えるとき、飛行機や車について考えるなら、高速道路で時速70マイルで急いでいる間に何かがその自動運転車で間違って行った場合。おそらく緊急ブレーキは正確にあなたがしたいことではありません。
そのセンサーで完全にその分布から外れた何かを見て、何が起こっている可能性があるかをただ理解しないとします。おそらく、それは安全である限り可能な限り迅速に減速し、安全であればモーターウェイの左側に引っ張るべきです。または引っ張る道路のどちら側でも。
ですから、多くの場合、それをオフにするというのは答えではありません。
そして、引き渡しを行う必要があります。引き渡しなしでは物事が本当にうまくいかないことを避ける必要があるかもしれません。
その通りです。または手動制御に切り替えるや何かそのような。しかし、問題のある部分をループから可能な限り迅速に出し、何らかの種類の優雅な状況からの巻き下げまたは退出の試みに移る方法を理解することです。私はそれが非常に有用な概念だと思います。
そして、緊急ブレーキの概念のそれは、今それを行う能力と言うことです。CEOがそれを命令した場合のように、それが起こります。おそらく火災訓練のようなそれでいくつかのテスト実行を行います。
ですから、誰かがナイーブによく言及されるこれらのアイデアの1つに10分費やしただけの私の例です。すぐに「Xのために機能しないだろう」という応答があります。その後、それについてもう少し考えると、おそらくXについてできることがあると思います。そして、それについてもっと考えたなら、いくつかの巧妙な提案を思いつき始めることができるでしょう。
はい。私がその線で番組で以前にいじったもう1つは、多くの人がリスクの多くが基本的にAIがすべての次世代AIのプログラミングの仕事をして、人間が開発ループから大部分カットされる状況から来ると考えているということです。もう外部からの確認や人間からの確認がありません。
それが本当に主要な脅威ベクトルである場合、人間をループからカットしないと言い、AIに次世代のAIをプログラミングさせないつもりだと言うのは一種の明らかな応答です。明らかな応答は、彼らが既に一種の今手伝っており、後でより多くをするだけだろうということです。しかし、応答は、どこかにライン引くことだけだと言うかもしれません。どこでもおそらく妥当な、どこでも合理的な、執行に従事するために使用できる特定可能なポイント。
答えがはい、妥当なラインが助けるだろうなら？もし答えがはい、どんな妥当なラインも、バランスでは、利益がコストを超えるだろうなら、その後おそらく私たちは最初にかなりナイーブに聞こえるかもしれないこのアイデアを再考すべきです。
はい、私はそう思います。そして、コーディングアシスタントなどでこれらのラインを引くのは困難になる可能性があります。しかし、これらのAI企業のいくつかでの計画はAI研究を彼らのシステムで自動化し、その後まさにそれをして、人間がそれを行うことができるよりもはるかに速く次のAIセットを生産させることのようです。そして、そのものがさらに良いので、さらに速くそれを行うことができるなど、この種のハードテイクオフを持つために。
政府は彼らにそれをしないよう命令することができます。つまり、ただこのアイデアを言うことさえできます。それは議論されています。あなたはその言葉に精通しています。それはあなたの計画にあります。あなたは間違いなくそれをすることを許可されていません」。
そして、多くの企業にとって、執行や検証メカニズムを持っていなくても、彼らはそれをしないと思います。これらの人々の多く、リーダーは法律に従いたく、従業員は法律に従いたがっています。あなたの上司がそれをするよう言い、あなたが「文字通り、大統領からあなたがそれをすることを許可されていないという指示を見ることができます」のように、私は彼らがそれをしないと思います。
おそらく彼らは「ええ、これはどうですか？」のようなもので戻ってくるでしょう。これはライン上ですか？これはライン下ですか？」そして、あなたは何が危険すぎるか、何がそうではないかについての交渉で終わります。
その通りです。おそらく彼らは、現在持っているようなコーディングものでのあなたのオートコンプリートは良いが、この他のものは良くないと言うことができ、それを絞り始めることができます。しかし、「ラインを引く場所を知るのは困難で、完全に非恣意的なラインはない、したがって…ルールはない」というアイデアです。それは従いません。
そして、私はこのの把握で自分自身を見つけたと思います。しかし、今それについて言及すると、それについて少し恥ずかしく思います。そして、あなたは知っています、COVIDはこの多くをもたらしました。私は思うにここ英国では、ある時点で4のルールがありました（同じ場所に4人以下の人々が集まることができませんでした）そして、人々は「5番目の人が来たらどうですか？何か魔法的なことが起こりますか？」のようでした。そして答えはいいえ、それは単にこれらのスペクトラムの1つで、5人の場合は4人の場合よりも多くの拡散があるでしょう。
そして、拡散を臨界数以下に保つ必要があるので、それが下がるのではなく上がるので、私たちはそれが4だと思います。そして、それがまだ上がっていることが判明した場合、私たちはそれを3にします。時々、どこかでラインを引く必要があり、「しかし、それを引くことができる方法はないので、ラインを引くことはできません」という種類の天才的な動き：
それは実際にナイーブな見解です。
それは非常にナイーブで、一種の子供っぽいです。
現在の状況の総括
すべての権利。私たちは長い道のりを歩んできました。リスナーは、私たちと一緒に議論するために次の約束をキャンセルして遅くまで滞在したことを知るべきです。状況の概要と、人々が持つべき態度、そしておそらく彼らがすべきことについて与えたいですか？
はい。この種のズームアウトした視点を取ると、私が言っていた技術的なことは、より大きく、より大きなモデルを訓練するこのスケーリング法則を持っていたということでした。そして、このスケーリングの時代は、企業が財布の紐を解き、このプロセスにますます多くのお金を注ぎ込んだため、能力の観点で本当に遠くまで私たちを連れて行きました。それは数千倍、またはそれ以上の計算量を解き放ち、これらの能力を解き放ちました。
その時代は終わった、または少なくとも現在の形では終わったと思います。そして、おそらく今、代わりに推論をスケールアップしようとするとき、おそらく物事は少し停滞するでしょう。特に、より長く考えることが有用な問題にそれを適用し、その後常に以前の10倍の時間考えることが有用であることが明確ではない場所で。
ですから、さまざまな理由で停滞する可能性があるか、私たちが議論したように、この直感的思考の形を手に入れたら、システム思考のプラス、何らかの方法でそれらを組み合わせて本当に爆発的成長につながる可能性があります。
ですから、タイムラインが実際におそらく停滞して非常に長くなるか、企業自身が予測している非常に急速な進歩を持つことができるかについて、より多くの不確実性を作り出すと思います。ですから、それは何か違うものです。
しかし、それはタイムラインだけではありません。また、すべてを変えます。推論の場合、使用するたびにフルコストを支払わなければならない方法は、企業の経済学を変えるよりも複雑な方法で、ただ良いか悪いかよりも、これらすべての異なるタイプのノックオン効果を持っています。
そして、政策のより大きな質問に移ったとき、私の主なメッセージは、AI全体の風景が過去5年間でそれほど変化したということです。その後、おそらく昨年で、私たちはこれらのタイプの変化のもう1つを見ており、これらの多くを見ることができます。
ですから、少なくとも一部の人々にとって重要です（現在それをしているよりも多くの人々だと思います）風景がそれほど異なる可能性があるこの大きな絵に目を光らせ続けること、そして実際に私たちがそれらの場所のいくつかに向けて操縦するのを助けることができるかもしれないことを理解することです。
そして、人類がただ本当に選択肢がないということではないことを理解することです：「物事をする最も効率的な方法が災害につながるものだと判明した場合、その後私たちが災害に入ることを強制されたと思います」。それはただ真実ではなく、あまりにも多くの責任から私たち自身を言い訳しています。
最終的に、私たちを皆殺すテクノロジーを構築するなら、それは私たちのせいです：それは人類による自滅ゴールであり、誰かがその責任を認めなければなりません。私たち皆がそれがあったと言うことはできません…
「私にそれをさせた皆のために創造されたインセンティブでした、彼らがそれをするだろうと思ったので。私は彼らと話しませんでしたが、そうです」。
その通りです。ですから、私はすべての大きな絵の大ファンですが、他の人々にとっても有用だったことを望み、より多くの人々がこれらのことについても考え始めることを望みます。
はい。1年または2年、またはおそらくより少なく戻ってきて、新しい技術的発展が何であるか、そしてそれらが何を示唆するかについて話すことを楽しみにしています。そして、おそらく人々の心はその時までに少しより開かれているでしょう。テーブルにより多くのことがあるでしょう。
はい、そこにいます。
私のゲストはToby Ordでした。80,000 Hours PodcastでToby、ありがとうございました。
ありがとうございました。
コメント