この動画は80,000 Hoursの創設者ベンジャミン・トッドが、AGI（汎用人工知能）の到来に向けた個人レベルでの準備について詳しく解説している。推論モデルの技術的革新から始まり、AIによる経済システムの根本的変革、労働市場への影響、そして個人が取るべき具体的な対策まで幅広くカバーしている。特に注目すべきは、AIの能力向上により引き起こされる可能性のある「知能爆発」のシナリオと、それに伴う産業構造の劇的な変化についての考察である。トッドは貯蓄の重要性、価値ある技能の選択、居住地の戦略的決定など、実践的なアドバイスも提供している。
Future of Life Institute ポッドキャストへようこそ
Future of Life Institute ポッドキャストへようこそや。僕の名前はガス・ストーカーで、今日はベンジャミン・トッドさんと一緒にお話しするで。ベンジャミンさん、ポッドキャストへようこそ。
はい、ありがとうございます。来れて嬉しいです。
まず視聴者の皆さんに自己紹介していただけませんか？今取り組んでらっしゃることについても少し話していただければと思います。
ベンジャミン・トッドの背景とAGI研究への取り組み
そうですね、過去にはウィル・マスカルと一緒に80,000 Hoursを設立し、10年間CEOを務めておりました。この1年ほどは執筆に集中していて、AGIを理解することと、個人としても社会としてもそれにどう対応していけばいいかについて書いています。今メインで取り組んでいるのは、80,000 Hours向けのAGI対応キャリアガイドです。
あなたのエッセイの一つが推論モデルについて書かれていますね。これは比較的新しい現象で、AIモデルが特定の問題についてより長く考えることができるというものです。これがどう機能するのか、どんな利点があるのか教えていただけますか？
推論モデルの仕組みと革新
基本的には、大規模言語モデルでのchain of thought（思考の連鎖）という非常にシンプルな革新なんです。問題を与えられた時、一発で解答を生成するのではなく、その解答に向けての推論の連鎖を生成するように求めるんです。つまり、「この数学問題を解くならどう推論するか？」と言って推論のトークンを生成し、それを確認してから次のトークンを生成し、解答に向けて長い連鎖を作っていくわけです。
Chain of thoughtを使うだけでも大きな向上が得られますが、本当に効果を発揮するのは、その上に強化学習を使った時です。解答が正しければ、次回も同じようなことをする可能性を高めるようにモデルを調整します。これを何度も何度も、たくさんの例で行うことで、正しい答えに導く推論の連鎖を生成するのがどんどん上手くなっていくんです。
これが最近になってようやく機能し始めた深い技術的理由はありますか？強化学習は新しい技術ではありませんよね。もしかするとchain of thoughtが今ほど可能ではなかったということでしょうか？
そうですね、chain of thoughtはGPT、少なくとも確実にGPT-4では少し機能し始めていました。推論モデルのパラダイムが本当に動き出したのは2024年になってからです。
もしかすると一般の世界はまだこれを完全には認識していないかもしれません。これらのモデルが最も得意とするのは困難な数学的・科学的推論で、それは日常生活でほとんどの人がやっていることではないからです。皆チャットボットとして使っているだけで、これらの分野でどれほど向上したかを理解していないんです。
なぜ2024年に突然機能し始めたのかについては、実際のところ完全に理解している人は誰もいないと思います。しかし非常に高いレベルで考えると、推論の各ステップが90％の確率で正しく、10％の確率で間違っているとすると、20ステップの推論を試みた時には、正しい確率は約12％しかないんです。
以前の言語モデルでは、実際に答えにたどり着くまで十分長く一貫性を保つことができませんでした。しかし2024年初頭頃に起きたことは、モデルがかなり長時間推論できるポイントに到達したことです。人間が何かについて1時間考えるのと同等、少なくとも数分間は推論できるようになったんです。
次に起こることは、答えに近づくことすらできなければ強化学習はできないということです。強化信号がないからです。しかし、まともな割合で正しい答えを得られるようになると、好循環が始まって強化学習を使ってさらに改善できるようになります。
基盤となるモデルがある程度の品質でないと、この推論が機能するためには十分高い割合で正しい答えを生成する必要があるということですね。
そうです。実際、この現象はAIの様々な部分で頻繁に起こることだと思います。
エージェントでも同じようなことが起こるかもしれません。今はうまく機能していなくて、各ステップで崩れてしまいます。強化学習もできませんが、突然かなりうまく機能し始めるポイントに到達し、そこで強化学習を使ってさらに改善して、かなり劇的な変化を得るかもしれません。
AIの閾値的進歩と推論モデルの可能性
これは本当にAIの発展を見ている時の共通体験だと思います。AIが何かが苦手だった閾値があり、それを超えると実際にかなり得意になるということです。ほんの数年前、AI専門家と大規模言語モデルが数学やプログラミングで良くなることがあるかどうか議論していました。推論モデルでは、AIは今では優秀で、数学とプログラミングこそが最も得意なことかもしれません。
エージェントでも同じようなことが見られるかもしれませんね。推論モデルとエージェントの関係は何だと思いますか？
非常にシンプルな関係は、本当に優秀な推論モデルがあれば、それをエージェントの脳、計画モジュールとして使えることです。より良い推論モデルがあって、優れた計画ができ、次の正しいステップを把握できるほど、エージェントが機能する可能性が高くなります。
推論モデルの利点の一つは、次世代のモデルや同じモデルの訓練に使えるデータを生成できることです。これはどう機能するのでしょうか？解答が簡単に検証できるからうまくいくというアイデアは、あまりにも良すぎる話のように思えます。どう機能するのでしょうか？
この場合うまくいくのは、解答が簡単に検証できるからです。大規模言語モデルに数学問題をたくさん解かせて、どの解答が実際に正しかったかを確認するのは比較的迅速で安価です。そしてそのプロセスの終わりには、これらの問題への正しい解答と、その解答に導く推論の連鎖全体という、すごく良い訓練データができます。
これには循環的なところは何もありません。簡単に検証可能であることに基づいているだけです。
簡単に検証できない領域、例えば小説を書くことなどでは、推論モデルがあまり有用でない領域になるということでしょうか？小説の良し悪しについてフィードバックを得るのは困難です。小説の質について形式的に検証できることがあるのかも疑問です。
簡単に形式化できる領域では強い進歩があり、形式化できない領域ではそれほど強い進歩がない、そんな分岐が見られるでしょうか？
そうです。この1年で見てきたのは、困難な科学領域では他よりもはるかに大きな進歩があったということです。
今後を見据えると、これはAI進歩の予測における重要な問題として見ることができます。どれだけの領域が強化学習に適用可能になるか。現在の技術で、ほとんどのタスクで超人的なレベルのパフォーマンスまで押し上げることができるのか、それとも数学、科学、プログラミングに限定されるのか。
少なくとも小さな範囲では、モデルが数学と科学で本当に得意になると、他のすべてでも少し良くなるようです。何らかの一般的な論理的推論を学習しているようですが、その効果がどれほど大きいかはまだ分かりません。
それから、これらのより曖昧な領域で強化信号をどれほど良くできるかという問題もあります。これがどう進んでいるかは私の専門を少し外れますが、文章などでは、AI モデルを使って中間出力を評価することができるかもしれません。評価モデルがチェックして、それを強化信号として使えるでしょう。人間のフィードバックも使えますが、明らかにそのタイプのデータを集めるのははるかに高価です。
小説が多く売れたかどうかという最終的なフィードバックもありますが、それは非常に長期的なことです。そのタイプのものでは速い反復サイクルは得られません。
検証可能性とフィードバック速度の重要性
これは興味深い点ですね。「このコードは正しくコンパイルされるか」「このモデルは私が望むことをするか」「このモデルの精度は何か」といった質問は、速いフィードバック ループで比較的迅速に答えられます。しかし一般社会と相互作用する時、ゆっくり動く人間システムと相互作用することになります。
ここで疑問になるのは、推論モデル、おそらくエージェントが人間世界とうまく相互作用できない壁があるかどうかです。フィードバックが単純に遅すぎて、フィードバック サイクルが十分速くないためです。
そうですね、そのフィードバック信号でモデルを迅速に訓練することはできないでしょう。しかし迅速なフィードバックが得られるはるかに小さなタスクに分解して、それらを連鎖させることができる可能性もあります。これが実際にどの程度うまくいくかは、AI進歩の今後数年間の本当に中心的な問題として残されています。
推論モデルがプログラミング、数学、困難な科学でのみ優秀だった場合、どの程度の進歩が期待できるでしょうか？それらの領域のみで優秀なモデルからどの程度の進歩を期待しますか？
経済成長の観点では、それほど大きくない可能性があります。経済のうち困難な科学的推論が占める部分はそれほど多くないからです。
しかし、より強気なケースを作るとすれば、これらのシステムが科学研究の特定の部分を加速するのに非常に有用で、それらの科学的発見が多くの経済成長をもたらす可能性があります。
加速の最も強いケースは、実際にはこれらのモデルはまだあまり良くないということです。社会的スキルは得意ではありません。ビジネス戦略も得意ではありません。物理的操作も得意ではなく、非常に汎用的なAGIに必要な多くのことが得意ではありません。しかしプログラミングと数学研究で超得意なら、特にAI研究、ML研究をするのに本当に有用かもしれません。そしてそれが次のパラダイムや進歩の波を解き放つ可能性があります。これが急速な進歩の最も強いケースでしょう。
AIによるAI研究とフィードバック ループ
なぜAIがAI研究をするのに特に適しているのでしょうか？
最大の理由は、今言ったことです。MLとプログラミングは強化信号を得られる領域だからです。そして現在のモデルは、まさにAI研究をうまくやるのに必要なタイプのタスクで本当に得意になっています。
しかし他の要因もあります。一つは完全に仮想的なので、実世界で何かが起こるのを待ったり、実験室の結果を待ったりすることなく、仮想的にたくさんの実験ができることです。
それからもう一つの大きな要因は、AI研究をしている人々がAI研究のやり方を最もよく理解しているということです。だから彼らが開発しているものを自分たちの仕事を助けるために使おうとするのは非常に自然なことです。
訓練実行が非常に高価であることについて、大きな障壁があるのではないでしょうか？機械学習研究やその分野の結果について、非常に高価な実験を実行することでのみ得られる情報がおそらくあるでしょう。
確かにそうです。それがどの程度真実かは、ある意味でアルゴリズム的ソフトウェア フィードバック ループと知能爆発があるかどうかを見る重要な方法です。
AI仮想AI研究者、つまりAI研究者を得ると考えることができます。これはAI研究をしている人々の労働プールを拡大するようなものですが、AI研究には2つの主要な入力があります。労働または研究者時間と、すべての実験を実行するのに必要なコンピュートです。
コンピュートは短期的には同じままです。それは世界にあるチップの数によって決まるからです。だから労働プールを大幅に増やしても、コンピュートが同じままなら、AI研究の大きな加速がない大きな理由かもしれません。
しかし歴史的に大きな訓練実行でも約3か月しかかかりません。だから1年で理論的には3世代全体を訓練できます。最大限にすれば、これは過去より約10倍速いです。
そしてこの強化学習パラダイムでは、これらの大規模な訓練実行を必ず実行する必要がないということです。大きな事前訓練実行の上でこの強化学習をするのに、はるかに少ないコンピュートを使っています。だからこれではるかに速い反復サイクルを得ることができます。
明らかにこれはAI ラボで最近の大きなトレンドで、これらのより小さくて安価なモデルに蒸留することを好んでいます。少し力は劣りますが、はるかに速く反復できます。以前は1世代しかなかった時間で10世代できて、開始位置が少し悪くても実際に先に出ることができます。
大規模訓練から推論重視への転換
説明してください。なぜですか？モデルの実行が安価だからというだけですか？
そうです。同じ量のコンピュートでもっと多くの実験ができます。
すべてのAI企業は依然として非常に高価で非常に大きな訓練実行を目指しています。推論モデルで何か根本的なことが変わったと思いますか？もしそうなら、なぜ依然としてこの非常に野心的な方法でコンピュートをスケールしているのでしょうか？
事後訓練を含むすべての形式の訓練に費やされるコンピュートの総量と、大きな事前訓練実行を区別したいと思います。GPT-5やGPT-6を訓練するような大きな事前訓練実行は、1年か2年前に推測していたよりも遅れていると思います。しかし代わりに、そのコンピュートは強化学習や推論時コンピュートの増加に使われています。そして間もなく、エージェント実験を進めて、エージェントにデータを生成させることにも多く使われるでしょう。
つまり実際には、従来の基盤モデル訓練実行から、同じコンピュートを推論時に使ったり、代わりに実験に使ったりする方向への移行があったということですね。
そうです、確実にこの1年で。以前、MetaculusのGPT-5リリース予測は今頃、3月頃でしたが、最後にチェックした時は夏、7月頃になると思われています。その代わり、最近リリースされたモデルはすべて推論モデルでした。だから明らかに最近転換がありました。
今後何が起こるかは明確ではありませんが、推論モデルを改善したり、エージェンシーに取り組んだりすることからの収益は、事前訓練実行をもう一度10倍や100倍にするよりも大きくなると推測しています。
興味深いですね。これは実際に、基盤モデルのある品質レベルを超えて、そのモデルを推論モデルのモードで実行する方がより効率的になったり、より多くの低いぶら下がった果実があることを意味するかもしれません。
私の考えは、推論モデルパラダイムがまだ始まったばかりだからです。だからまだ比較的急な曲線上にあるのに対し、ほとんどの人がGPT-4からGPT-4.5は革命的な変化ではなかったと考えています。
まだ少し誇張されていると思います。GPT-4.5は推論に関して01に追いついたからです。しかし推論部分をする必要がなく、実際にかなり良いようです。
AI研究における正のフィードバック ループの可能性
私たちが経験するかもしれない異なるタイプのフィードバック ループについて説明していただけますか？AI研究で正のフィードバック ループを得る可能性はどの程度でしょうか？
最も懸念される、また最も注目されているのは、純粋にアルゴリズム的なフィードバック ループです。AI研究をしている人々の代替となるAIを得るポイントに到達した場合、2027年末や今世紀末にすべてのコンピュートを使ってそれらを実行したら、どれだけ実行できるかを大まかに見積もることができます。
これらの見積もりは、人間と比較してトークン出力をどれだけ生成できるかという点で、100万から1億の相当量の間にある傾向があります。品質も同様に良いなら、AI研究労働力を少なくとも100倍拡大するようなものです。
しかし先ほど言った要因があります。その時点でコンピュートの量は増加しないでしょう。だから100倍多くのAI研究者がいたら、アルゴリズム進歩は実際にどれだけ速くなるかという問題があります。これはモデル化するのがかなり困難な問題です。
歴史的にAI研究への入力が増加するにつれて、アルゴリズム効率がどれだけ増加したかを見積もろうとすることができます。重要な要因は、入力を2倍にするたびに、アルゴリズム効率の2倍以上を得られるか、より一般的に私たちが気にするのはアルゴリズム品質全体です。
過去の記録はこれについて少し曖昧ですが、Epochには彼らがいくつかの見積もりを見て、閾値の周辺にあると結論づけた論文があります。下かもしれないし、上かもしれません。非常に高いレベルの見積もりとして、フィードバック ループになるかどうかは50/50のようだと思います。
フィードバック ループが始まると、収穫逓減も増加する可能性があり、それもフィードバック ループを迅速に減衰させる可能性があります。
なぜそれが起こるのでしょうか？
アイデアは、より多くの発見をするにつれて、最も簡単なものはすでに取られているため、より多くの発見をするのがますます困難になるということです。
ある程度、それは過去の見積もりで考慮されています。それも過去に起こっていて、2倍にするたびに次の2倍をするのが困難になっているからです。しかし基本的限界により近づくにつれて、収穫逓減が過去よりもさらに増加することを期待するかもしれません。
これらの異なる要因すべてを重み付けして、何が起こるかを理解するのは困難です。しかしトム・デイビッドソンには新しい論文があり、これらすべてのダイナミクスを見ていて、彼の結論は1年で3年から10年のAI進歩を見ることになるというものです。1年で10年以上はおそらくないでしょう。彼はそれが比較的積極的だと考えています。
1年で数年の進歩は合理的な場所のようです。これは2024年のAI進歩がすでにかなり速いことを考えると、とんでもない考えです。
そしてこれが起こることを想像しなければなりません。これはAIがすでに基本的にAI研究をできるポイントです。だからすでに非常に良くて、それから突然1年で3年分の進歩が起こります。実際にかなりクレイジーかもしれません。
そのようなフィードバック ループの影響を説明してください。
過去を見ると、アルゴリズム効率は年間3倍上がっています。つまり同じ数のチップで、基本的に同じモデルを3倍多く実行できます。1年で3年の進歩を得ると、1年でアルゴリズム効率が27倍向上します。
年初に1000万の自動化AI研究者がいたとすると、年末には同じチップで3億、つまり30倍多く実行できます。他に何も変わっておらず、それはアルゴリズム効率だけの控えめな見積もりです。実際には3年間の事後訓練技術の改善もあるでしょう。強化学習タイプのものや、その時点でやっていることです。
さらに、ほぼ全世代の事前訓練をすることもできます。30倍なので、1年でGPT-6から6.5になり、これらすべてが同時に起こるでしょう。
チップ設計とハードウェア改善のフィードバック
チップ設計はどうでしょうか？アルゴリズム改善があり、AI研究をするAI研究者自身の改善がありますが、ハードウェアの改善もあります。チップ設計はこの図にどう当てはまるでしょうか？
これは少し過小評価されている状況の側面で、このアルゴリズム フィードバック ループを得られなくても、チップ設計でフィードバック ループを得る可能性ははるかに高いようです。これには2つのレベルがあります。
一つはAIがチップ設計自体を助けることです。NvidiaはすでにAIをチップ設計の助けに多く使っています。だから同じようなもので、1年で数世代のチップ設計進歩を得るかもしれません。正確にどれだけ速いかは計算する必要があります。
しかし第2のレベルがあり、それは単純により多くのチップを生産することです。歴史的に、半導体産業へのすべての入力を2倍にした場合、どれだけ多くのコンピュートを得られるかというこの重要なパラメータは、歴史的に2倍をはるかに超えています。だからこのフィードバック ループが機能する経験的ケースは、アルゴリズムのものが機能するよりもはるかに強いです。
一方で、少しリスクが低い、または扱いやすいです。各世代ですべてのチップを生産して出荷する必要があるため、より遅くなるからです。それはかなりの時間がかかります。1年で3世代のようなことはできません。おそらく3年ほどかかるでしょうが、通常の経済成長と比較すると依然として超高速でしょう。
AGIレベルのAI+ロボティクスとしてフィードバック ループの影響を説明していますが、あなたの心の中では産業爆発のようなものはどのように見えますか？
これは第3レベルのフィードバック ループです。アルゴリズム フィードバック ループ、チップ設計と生産があり、第3レベルは産業全般を自動化できる時です。
完全な生産ループで、これにはロボティクスが必要でしょう。これは経験的支援が最も強いものです。工場の労働者数を2倍にすれば、出力もほぼ2倍になるからです。実際、規模が拡大するにつれてより効率的になるため、2倍以上になります。
つまり一時的に指数的成長よりも速い成長を得ることになり、何らかの収穫逓減に当たるまで続きます。Epochは経済モデルをリリースしたばかりで、これを見ようとしており、実際に10年や20年間成長が加速することを見ています。
一度大きな跳躍があってその後平坦になるのではありません。非常に高い率まで加速し続ける可能性があります。最終的な問題は、すべてが完全に最適化された場合に達成できる完全な倍増時間です。どれほど迅速に物事が倍増できるかで、年間100％以上が可能なようです。
このような変化の可能性について話しても、世界がどれほど狂ったものになるかが完全には伝わっていないと感じています。なぜこれが常に一面ニュースにならないのでしょうか？この可能性について考えることがあっても、どれほど可能性があるかは議論できますが、可能性だけでも多くの注目を受けるべきなのに、それほど注目されていないと思うのはなぜでしょうか？
ロボットとAIが例えば太陽光パネルとチップ工場を作り、1年以内にAIとロボットの数を倍増させるのに十分なチップを作ることができたら。地球上では、入ってくる太陽エネルギーの約1万分の1しか使っていません。それを1％まで上げても、まだそれほど高くないかもしれませんが、100倍多いエネルギー使用が可能になります。
だからこの倍増現象は現在の100倍の出力にかなり迅速に行く可能性があります。それは始まりに過ぎないでしょう。太陽にはもう4つか5つの桁のエネルギーがあるからです。100倍にするのに何回の倍増が必要か、2の累乗を知っているかわかりませんが、8回かそこらです。8年以内に100倍になりますが、その後は突然太陽の周りに太陽光パネルを建設する宇宙にいることになります。これは技術的にはそれほど困難ではありません。
だから文字通り現在の社会からダイソン球が作られるまで、例えば10年から20年の期間内に行ける可能性があります。これは人々が全く真剣に受け取っていない経済の根本的な変化だと思います。
AIにかなり詳しい人でも、人間は以前に起こったことのない物事を前向きに外挿するのが本当に下手です。COVIDは良い例だったと思います。1月や2月に症例の指数的カーブを非常に明確に見ることができましたが、病院が圧倒されてすべてを封鎖せざるを得なくなるまで、基本的に完全に顔面を殴られるまで、ほとんど誰も行動を取りませんでした。
これはある意味で、人々が病気にかかっているというよりもはるかに抽象的で奇妙なことを考えることです。
2022年のchatGPTの瞬間以来、AIとAGIと超知能といったすべての用語についての会話がはるかに主流になりましたが、それでも社会として、これについてのいくつかの非常に重要な問題に取り組んでいないようです。
これは根本的に社会的問題なのでしょうか、それとも人々がこれを一種の無謀な推測として捉えているだけなのでしょうか？「見たら信じる」ということです。窓の外を見て、実際に変わったものは見えません。あなたはこれらすべての根本的なことを予測しています。歴史を通じて根本的変化を予測した人はたくさんいました。
だからもしあなたが実際にこのような信念を信じて、重要なのは行動することですが、変に見えることについて懸念があると思いますか？
クイックな注意として、これが確実に起こると予測しているわけではありません。これらのフィードバック ループすべてに機能しない可能性があったり、AIが時間内にそのレベルまで進歩しないかもしれません。
面白いのは、私でさえ、これらのことの一部を知的には信じていても、これが本当に起こっている可能性があることを、より直感的なレベルで実際に内在化するのに長い時間がかかることです。
私も同じように感じます。
確実にすべてを完全に内在化していません。時間とともにより多く内在化してきました。AGIを感じることは実際に大きなスペクトラムで、時間とともにますます感じるようになりましたが、それでも完全には感じていません。多くは、何かが完全に顔面を殴るまで、人間が何かについてやる気になるのはかなり困難であることと関係していると思います。
私たちがこのような質問を適切に扱うように進化していないという問題もあります。このように迅速に動いているものや、これほど短い時間スケールに慣れていません。だから状況について正確な信念を完全に内在化し、腸で感じる前に、状況に深刻に圧倒される前に、AGIを腸で感じることを学ぶかどうかという問題があります。
本当にまだ分からないと思います。多くの人が手遅れになってからかなり遅れて目覚める可能性があります。
警告ショットや、より多くの人がこれを真剣に受け取るようになる非常に強力なデモンストレーションがあると思います。すでに見てきたように、より良い能力が起こるにつれて過去よりも多くの人がそれを真剣に受け取っており、それは続くと思います。これが大したことだと気づく人々の波がますます多くなるでしょう。
キャリア計画について考えている人への余談として、多くの方法でこれはまだかなり早期だと実際に思います。とても奇妙な状況です。みんながAIについて多く話しているように感じるからですが、特にリスクの多くに取り組むことに、これに本当にフルタイムで取り組んでいる人の数はおそらく1万人未満です。
しかし技術が機能し続けて、AIが今世紀末前に変革的レベルまで改善し続けるタイムラインにいるなら、その時点まで、今から5年の間に、AIは現在の状態から、ナンバーワンの経済的、政治的、社会的問題になるでしょう。毎日の一面がAIに関することになるでしょう。
それは現在からは非常に遠いことです。o3の結果が発表された時、この新しい推論モデルパラダイムが本当に印象的な結果をもたらしていることを示したとき、どの新聞でも報告されませんでした。実際、Wall Street JournalはGPT-5が遅れて失望的だという記事を同じ日に掲載していました。これは完全にポイントを外しています。GPT-5が少し失望的で予定より遅れていても、今完全に離陸しているこのさらに良いものがあるから関係ないからです。それは古いパラダイムに焦点を当てた完全に的外れな報告でした。
あなたが以前に言及しましたが、推論モデルにプログラミング、数学、物理学の非常に困難な問題を聞いても、ドメインを十分知らないため、どの程度うまくやっているかを正確に評価する立場にありません。物理学、プログラミング、数学で出力が天才的かどうかを区別するのは困難です。ドメインの深い理解がなければ、高いレベルで出力を区別するのは困難です。
確かにそうです。しかし実際にはさらに大きなことは、人々がまだo1を含まないchatGPTの無料版のみを使っていることです。だから実際にはまだ1年か2年前のモデルを使って「良くなっていない」と言っています。
常にそのような問題を考慮しなければなりません。それは本当です。
ロボティクスの現状と制約
人々にAIにはるかに興味を持たせる警告ショットや何かの形として役立つ可能性があるのは、環境で物理的に動き回るロボットを見ることです。ロボティクスはどこにいるでしょうか？主にハードウェア側で制限されているか、主にソフトウェア側で制限されていると思いますか？
明確な答えを聞いたことがありません。私の非常に大まかな理解では、アルゴリズムがより大きなボトルネックです。
本当に良いロボティクスを作ることは、ある意味で言語モデルよりもはるかに困難な挑戦です。一つには、データセットがないし、本当に大きなデータセットを構築するのはかなり高価だからです。
本当に精密なモーターのようなハードウェア制限がまだあると聞いたことがあります。手がどれほど複雑かを考えてみてください。できる非常に微妙な操作だけでなく、卵を持っても潰さないためには手の正確な圧力を感じることができる必要があるように、手にあるすべてのセンサーのようなものです。これらすべてをパッケージで安く持つことも少しボトルネックだと思います。
しかし私の主な感覚は、ロボット用のアルゴリズム進歩で大きな跳躍があれば、もっと多くのものが機能し始めるだろうということです。
ロボットの生産をどれほど迅速にスケールアップできると思いますか？生産で言及したことの一つは、何かを大量製造すると、時には非常に劇的に価格が下がることです。だからコストの削減を得るために、どれほど迅速に生産を拡大できるかという問題があります。
それはその時点でロボット能力がどれほど優秀かに本当に依存します。私の投稿では、ヒューマノイドロボットが突然機能し始める突然の転換を想像しましたが、それは現実世界で実際に起こることではありません。
現実ではより段階的なもので、少なくともしばらくは物事が徐々に良くなるでしょう。
その質問に答えようとして見たことの一つは、自動車製造能力がロボティクスに転換されることを想像することでした。
これに基づいて非常に大まかな概算ができます。自動車は約1トンの工業材料をすべて組み合わせたもので、ロボットはその10分の1です。実際にはもう少し少ないです。ヒューマノイドロボットは80kgと言えるかもしれません。もしかしたら特定のことに特化したもっと小さなロボットがたくさんあるかもしれません。だから実際には40kgほどかもしれません。
自動車は約1.5トンです。ロボットを作る方がより複雑だから一対一で変換すべきではないと言えるかもしれません。しかし半分や3分の1に変換しても、現在の自動車製造能力は年間約10億のロボットを生産できます。それはたくさんです。
現代の自動車はある意味でロボットだということも思い出すべきです。50年前よりもはるかに複雑です。多くのチップ、多くのセンサーを含んでいます。カメラなどがすべて搭載された現代の電気自動車のようなものを考えてください。
だからもちろんロボットはおそらくそれよりもさらに複雑でしょうが、現代の自動車は複雑です。
ロボットを扱う時は、これらの大きな重い部品を扱っているのに対し、ロボットははるかに小さくて軽い部品を扱うだろうと言う人もいました。だからそれはある意味で簡単です。ロボットハンドを作ることの純粋な複雑さはおそらくより高いでしょう。
だから全体的には、それほどクレイジーな比較ではないと思います。
ロボットの経済性と普及の障壁
ロボットがどれほど安くなり得るか、それらを実行するのにどれほど安いか、などについて何らかの見積もりがありますか？それらはかなり興味深いです。説明していただけますか？
主な見積もりは、先ほど言及した、生産を2倍にするたびに20％安くなるという典型的な工業スケーリングカーブに基づいています。これは太陽光パネルで見たものです。産業によって少し異なり、40％かもしれないし10％かもしれません。
しかしロボティクスで同様のコストカーブを仮定して、現在約10万ドルかかるとします。最近のものの一部は実際にそれより少し安いです。年間10億のロボットへのスケールアップを想像すると、少なくとも10分の1のコストになるはずです。だからロボット1台1万ドルになるでしょう。
それを超えることも可能だと思います。もう一つの制限方法は、再び自動車との比較です。自動車が約1万ドルかかるとして、ロボットは材料が10分の1しかないなら、複雑さのため少し高いかもしれませんが、長期的には自動車の10分の1のコストになるかもしれません。
だからロボット1台数千ドルになるでしょう。それらが数年間24時間年中無休で働くことができると想像すると、ロボット1台2千ドルなら、ハードウェアで1時間10セント未満になります。実際にはメンテナンスも大体同じくらいかもしれません。電気もそうかもしれません。現在の電力消費では実際に電気代は3セントほどです。だから合計で1時間約20セントの実行コストになります。
これも吸収するのが困難な驚異的な結論です。物理世界でたくさんのタスクを解決でき、24時間年中無休で働ける、実行コストが1時間20セントほどのロボットを想像すると。1時間1ドルと言っても、それは革命的でしょう。そのようなロボットに対する需要は信じられないほどあるでしょう。家の周りでも、物事を助けるためにそのようなロボットを10台使えるでしょう。
この質問はある意味でばかげているかもしれませんが、そのようなロボットに対する需要はあるでしょうか？人々は人間労働への懐かしさからそれらを買うのを拒むと思いますか？組合などに支援されて違法になるかもしれません。ある意味で需要はそこにあるでしょうが、実際の実践では、その需要が市場で表現されることが許可されるでしょうか？
多くの自動化があり、人々がAIとロボティクスから実際に大規模に仕事を失う時点に到達すると、ある時点でそれに対する巨大な反発があるようです。その結果がどうなるかを予測するのは困難です。
一方で、例えば今掃除人に家を掃除してもらうのに1時間20ドルかかるとして、ロボットが1時間50セントでできるなら、人々は本当にロボットを好むでしょう。ロボットなら、プライバシーを心配する必要がないし、24時間年中無休で利用でき、他にも多くの利点があります。
サイバー攻撃のような他の欠点もあります。ロボットが至る所にある時、サイバー攻撃がはるかに危険になります。誰かが実際にロボットを乗っ取ったら、あなたが寝ている間に自分の家で誘拐される可能性があるからです。
それは絶対に恐ろしく聞こえますが、これは実際にもちろん家の周りで有用でしょうが、もしそれが本当の心配で、自分の家庭用ロボットに殺される可能性があるというのは、ブラックミラーの場面のようなものです。
そのような要因、人々からの正当な心配がロボットの採用を阻む可能性があると思いますか？
確実に多くの人がそれで気味悪がったり心配したりするでしょう。しかし実際にはどうなるかは予測するのが非常に困難です。人々がサイバーセキュリティをもっと真剣に受け取ったり、これが起こる例がほとんどなかったり、ロボットが周りにいることに慣れて当たり前になったりするかもしれません。
他の側面も考慮しなければなりません。人間も完全に安全ではないからです。人間の掃除人があなたから盗んだり、その他様々なことをする可能性もあります。だから最終的に人々は全体的なトレードオフをしなければなりません。
自動運転車では、人々はかなり速く慣れるようで、最初は少し奇妙ですが、それももちろん誤動作して事故で殺す可能性がありますが、統計的にはすでに人間ドライバーより約10倍安全で、時間とともにさらに向上するでしょう。だから少なくともその場合、自動運転に有利な非常に明確な勝利のようです。
それはおそらく、自動運転キャブに乗るのが非常に便利で、より安全でもあるため、人々が技術を採用することを好むケーススタディです。それはウィンウィンです。
拡張現実メガネや、着用する初期段階のメガネのようなものを考えると、人間的要因が技術採用を制限することにより興味を持つようになっています。そのようなメガネの採用を妨げた一つのことは、それらを着用するのが奇妙に見えることです。ファッショナブルではありません。おそらく人々は録画されることを心配しています。
純粋な経済学のモデルによって予測されない、非常に地に足の着いた人間的要因です。だからロボットを採用することが人間的要因によって制限されるかどうかに興味を持っていますが、あなたが言及したように、ロボットを採用する経済的インセンティブは非常に大きく、これらの種類の懸念は脇に押しやられると思います。特に製造業、商品を製造するロボットで。
鉱業や油井のような産業を考えてみてください。それはかなり危険です。
ただ少し話を戻すと、多くの仕事や産業で、AIとロボティクスの展開は、これらのタイプの懸念によって非常に遅くなるでしょうということに同意します。
これが実際に、AIが実際に非常に能力の高いレベルまで進歩するが、経済のほとんどが実際には全く変わらない前に、かなり奇妙な世界に向かっているかもしれないと思う理由です。特にこのアルゴリズム フィードバック ループを得ることができるなら、AIのほとんどがAI研究をするのに使われる数年間があり、数年で超知能レベルのAIに突然行くかもしれませんが、ほとんどの仕事は以前のように続いているかもしれません。
これが人々が非常に遅く目覚めるかもしれない理由の一つです。以前のポイントに戻ると、日常生活は全く同じに見えるかもしれませんが、OpenAIのラボではコーディングの多くが自動化されて、訓練実行の支払いに十分な収益を生み出しているかもしれません。しかし突然OpenAIは基本的に超知能レベルのAIを持っているが、まだ展開されていないということです。
そして展開は非常に迅速である可能性があります。非常に能力の高いAIが展開を助けることができるからです。
それは恐ろしい世界のようですね。最高のAIモデルの品質について公的情報を持ち、少なくとも反応する時間があることを望むでしょう。しかしすべてがAI会社により内部的になっているなら、それは起こっていないかもしれません。
透明でないということを想像していたわけではありません。顔面を殴られるまで内在化するのが非常に困難だということです。この世界では、街を歩き回っても、みんなが以前と同じように仕事をしているからです。しかしどこかに超知能が存在します。
知的にはそれを知っていますが、多くの人は実際に現実世界の影響を見るまでそれを真剣に受け取らないでしょう。
弁護士、医師などを考えている多くの仕事もあります。AIモデルを使って自分をかなりよく診断できるかもしれませんが、処方箋をもらうには依然として医師が必要だったり、文書を法廷に届ける正式なステップを通るには依然として弁護士が必要で、それは人間しかできず、人間の裁判官によってのみ判断されるなどです。そのような要因がAIの採用にどの程度影響すると思いますか？
多くあると思います。AIアドバイザーを使っているが、規制と人々がAIに決定をさせたくないということで、依然として多くのことに人間がループにいるという、かなりの移行期間があるでしょう。
しかし時間とともに、主な圧力は、すべての会社が依然として人間の取締役会を持たなければならず、AIがすることを公式に拒否できるという世界を想像できますが、それはそれらの人間の意思決定者が経済のキーボトルネックになることを意味します。それがAIによってスピードアップできない唯一の部分だからです。だからそれらをより多くのもののループから外すために巨大な経済圧力が生まれ、生産の全サイクルをブロック解除できます。
競合他社が取締役会を置き換えることを考えているかもしれないので、あなたも取締役会を置き換える必要があるかどうかを考える必要があるかもしれません。だから標準的な競争圧力がより少ないもので重みをかけます。
弁護士のケースを考えても同じです。人間を支払うことは物事を遅くするだけでなく、AI弁護士は基本的に無料だが、法制度で実際の権力を持たないのに対して、余分な費用です。それが重要な問題かもしれません。
長期的にはそうなることを期待していません。ここで長期的というのは20年かもしれません。しかし、あなたが話したように、人工経済が信じられない速度で動き、人間経済が法律や慣習によってかなり長い間、私たちがやってきた方法によって制限されるという、ある程度期間があると予想できます。多くの国では、AIが法廷に文書を提出したり、AIが法廷で事件を判断することは単純に合法ではありません。そのようなことへの変更は議会を通らなければならず、それは何年もかかります。これは単なる一例で、多くの産業で多くの例があります。
その図に同意するなら、依然として従来の人間システムがあるが、AIが非常に速く動いている世界をどう見ますか？
多くはそのタイプの状況が実際にどれくらい続くかによると思います。なぜなら、先ほど言ったように、より多くのもので人間をループから外すための巨大な経済インセンティブがあるからです。
一つの国が他の国よりもそれをうまくできるなら、その国は経済的に迅速に先に出ることができます。だからそれが20年間のような安定な状態であるかどうかはわかりません。数年間の方かもしれません。
そのようなシステムは不安定で、競争圧力の下でかなり迅速に崩壊すると期待する方法ですか？
ある意味でとても言うのは困難だと思います。反対側のポイントは、世界には同質のグローバルエリート文化があるように思えることです。だからすべての国がAIにすべての決定をさせるという道を単純に進みたくないというアイデアは、完全にテーブルから外すべきではありません。
だから厳密にゲーム理論的観点からは競争的でなく、均衡でないとしても、世界は時々そのような状況に協調することを管理するようです。
同感です。
AGIに備える個人的準備
普通の人がAGIにどう備えることができるかについて話したいと思います。あなたのSubstackに優秀なエッセイがあります。まず、この質問にまつわる問題を片付けましょう。視聴者の中には、この質問をするのに意味があるのかと思う人がいるからです。
AGIの世界に備えることは産業革命に備えることのようですが、産業革命がどれくらいかかったかではなく3年で起こります。心配は、世界がそれほど大きく変革されて、あなたの行動が単純に関係なくなることです。この質問について考える正しいフレームでないのはなぜでしょうか？
私が言う主なことは、それは正しいかもしれないということです。この顔に対して完全に無力かもしれません。明確にするために、ここで話しているのは個人的観点からで、社会的に何をすべきかではありません。社会がより良く準備するためにできることはたくさんあります。
しかし個人的観点から見ると、これが「死か豊かさ」としてまとめられることがあります。X-リスクがあって皆死ぬか、みんなが必要以上に多くを持つ大規模な豊かさユートピアです。だから実際に何も違いをもたらすことはできません。
しかし私の主な反論は、そう、何もできないかもしれませんが、個人的準備の観点から焦点を当てるべきは、今することが違いをもたらすことができるシナリオです。
99％の確率質量だと思わない限り、結果に影響を与えることができないシナリオは無視できます。違いをもたらすことができるシナリオに備えることに準備するためのすべてのチップを置くべきです。
また、個人的に準備することで、世界を助けるより良い状況に自分を置くことができるかもしれません。これは排他的に利己的なアイデアではありませんね？これは先の変化に適応できて、世界が適応するのを助けることができる人々を作ることについてもあります。
だからあなたのアドバイスを掘り下げましょう。最初のアドバイスは、知っている人々を見つけることです。何が起こっているかのいくらかの手がかりを持っている人々を探すことです。どうやってそれをしますか？もちろん、誰がそれらの人々なのかについて不一致があります。それらの人々を見つけることについてどうやって行きますか？
ある意味で、誰を信頼すべきかについて非常に深い問題がありますが、AIを非常に密接に追跡している人々がたくさんいると思います。過去に先見性があった人々がいて、少なくともそれらの人々が言っていることを読むのは理にかなっています。
しかし、このタイプのことについてより詳しい人々を個人的に知っていることの方がさらに良いと思います。あなたのポッドキャストの過去のゲストの多くはここで資格があるでしょう。
私が読んでいるもののいくつかは、明らかにDwarkesh、Astrocodex 10のSlate Code、Zviのニュースレター、80,000 Hoursポッドキャストを聞きます。
だから実際にAIを追跡している素晴らしいSubstackがたくさんあります。そして業界の人々を知ること、特により変革的なシナリオを真剣に受け取る人々を知ることです。それは依然としてより広いAI議論に欠けている大きなことだと思うからです。
これらのトレンドを見て大きな変化が来ることがわかっても、その情報に基づいて行動するのは困難かもしれません。この会話の準備で私があなたに書いたのは、COVIDについて社会全体よりも少し早く学んだが、その情報に基づいて行動できないように感じたということです。
私が情報を持っているときに確信を持って行動しないのは単なる私の失敗かもしれませんが、大きな変化が到来しようとしていると思うが、おそらく何もすることがない、おそらくここで行動することがないと感じる多くの人々、少なくとも私にそのようなメールをくれる人々がいるようです。
COVIDの場合、情報を持っていたが有用でなかった場合かもしれません。しかし一般的に、より多くの情報が良いという非常に強い事前確率を持つべきだと思います。特定のケースでうまくいかなくても。
COVIDでは人々ができることがあったと思います。私自身はできませんでしたが、多くの人々が投資をヘッジして、下落前にたくさんのお金を節約することができました。
私は田舎に引っ越すことはできました。それは次の年をロンドンにいたより、はるかに快適にしてくれました。そして時間内にそれを完了させました。実際、COVIDでも1週間早く行動できていたら価値があったでしょう。
その時点で80,000 Hoursを運営していて、COVIDで何が起こっているか、個人的にどう助けることができるかについて多くの材料を準備しました。しかし本当に注目を集めて人々にとって有用になるほど早く出すことができませんでした。1週間早くできていたら、はるかに有用だったと思います。だから実際、COVIDのケースではもう少し早く行動したかったと思います。個人的準備の観点からではなく、社会的影響の観点からです。
貯蓄戦略と経済的準備
もう一つのアドバイスは、できるだけお金を貯めることです。なぜそれが有用なのでしょうか？しばしば反対のアドバイスを聞きます。AGIを得て、おそらく超知能さえ得たら、お金は無関係になるでしょう？そのような豊かさに住むことになり、お金が問題ではなくなります。なぜそれが全くその通りではないのか説明してください。
これについて言うべきことがいくつかあります。一つは、方程式により多くの不確実性を入れることで、再び貯蓄に有利に押し戻すことです。確実に死か豊かさなら、明らかに今すべてのお金を使うべきです。しかしAGIが確実に100％間もなく到来するかわからないし、すべての貯蓄を使ったがAGIが間もなく起こらなければ、年金がないなどで大幅に悪化します。
しかし次の5年間で年間20％多くお金を使っても、私の幸福にそれほど違いをもたらさないでしょう。余分な休暇に行くかもしれませんが。だからその非対称性を考慮すると、これを正式にモデル化することができます。マートンシェアと呼ばれるもの、マートンのポートフォリオ問題があり、割引率などを考慮してどれだけ貯蓄するかについてです。
お金がもう有用でなくなる可能性のためにかなり大きな割引率を入れても、これをモデル化できます。すべてのお金を使うべきとは言いません。通常やっていたよりも1％や2％多く使うべきというだけです。
しかし、さらに大きな問題は、お金が将来も依然として有用で、まずAIはおそらく投資収益を大幅に上げるでしょう。このAIとロボティクスを実行するすべてのインフラを構築するという、すべての投資ブームの母のようなものがあるからです。だから資本はしばらく本当に希少になり、それは資本収益が本当に高くなることを意味します。
だから今お金を貯蓄すると、知能爆発後にはるかに多くのお金になる可能性があります。100倍かもしれないし、はるかに多いかもしれません。だからはるかに多くのお金を得て、その一方で今買えないものを買うことができるでしょう。
だからどれだけお金を持っていても、寿命延長を買うことはできませんが、10年か20年でそれを買うことが可能かもしれません。状況を見る重要な方法は、人生で持つかもしれないすべての目標について、一定の金額で完全に平坦になるか、追加のリソースでより価値のあるものを買い続けることができるかです。
今でも億万長者と億万長者の間には、ライフスタイルや、より広く価値を達成する能力について、かなり大きな違いがあります。快適さだけでなく、社会的な商品のような他の好みや、寿命延長が最良の例だと思います。より多くの年の健康な生活を買うことができるなら、多くの人々はできるだけ多くそれらを買いたいと思うでしょう。
興味深いことに、今日の世界では、基本的に世界で最も裕福な人々と同じスマートフォンを持つことができる商品があります。同じ本を読むことができます。同じテレビ番組を見ることができます。もちろん彼らは私よりもはるかに多く世界に影響を与えることができます。しかし寿命延長のようなものは、将来により多くのお金を必要とするかもしれない技術で、時間とともにより広く利用可能になるにつれてはるかに安くなることを期待していなければ、裕福な人々と裕福でない人々の能力にそれを買う分離があるかもしれません。
反対側の希望は、物事が指数関数的に安くなって、貧しくても数年余分に待つだけということです。しかし希少なものもあります。地球上の土地は固定量があります。だからどれだけお金を持っているかは、将来どれだけ土地を持つことができるかです。土地はロボット工場に使えるため、はるかに高価になる可能性もあります。
この論理を以前に聞いたことがあります。土地は希少で、したがって限られており、他の多くの買えるものとは異なり、はるかに高価になるという非常にかなりシンプルな経済論理です。
しかし例えば農地は、今日の世界では様々な社会的要因、規制などのため、どれだけ建設できるかの制限のために土地が信じられないほど高価な特定の都市があるのに対し、農地は太陽をたくさん得て工場を建設できる場所で、ロボット工場に使えるのに対して、はるかに価値があるでしょう。
サンフランシスコの不動産が急騰するのか、それとも工場をたくさん建設できるアリゾナの真ん中の土地のようなものなのか期待しますか？
AIを考慮した賃貸vs購入の問題について考えていますが、一般的にも最近考えています。これらを2つの別々の市場として扱うと思います。
田舎の土地のものは、最終的にその土地に降っている太陽エネルギーの量と、その土地を将来はるかに生産的な用途に転換できるかによって駆動されるでしょう。
都市の中心部の土地は、本質的に贅沢消費財で、だから問題は将来のAI富を持つ人々が都市の中心部に家を持つことを望むかどうかです。それは私にはかなりありそうに思えます。
輸送がはるかに安くなり、田舎ではるかに安く本当に素敵な新しい家を建設できるようになって、経済的理由で都市にいる必要がなくなると、田舎への移動があるかもしれません。仕事がそこにないからです。
しかし社会的理由は依然としてあるでしょうし、パリのセーヌ川沿いの土地のようなものを考えると、なぜ人々が依然としてその種の環境を訪れて時間を過ごしたいと思うかがわかります。今よりもはるかに裕福になったとしても、余暇時間と社会的時間をおそらく今よりも評価するようになるからです。
それは理にかなっています。だから非常に望ましい都市の土地は、高級衣料品や高級ハンドバッグや高価な車のような贅沢品になるでしょう。それも有限ですが。
はい、正確に。それが真実ではない方法で有限です。
価値のあるスキルと職業選択
今後最も価値があると期待するスキルはどれでしょうか？もちろんこれはほとんど不可能な質問で、時間とともに劇的に変わるに違いありませんが、どのスキルが価値があるかの推測はありますか？
これは非常に大きな質問です。知能爆発の世界に実際に向かっているなら、最終的にはほとんどすべてが自動化される可能性があります。個人計画の観点からは、現在の自動化の波の一歩先を行き続けて、それが起こっている間にたくさんのお金を稼ぎ、すべてのスキルが自動化されても生活できるということです。
だからまとめると、AIにできるだけ近づくか、AIからできるだけ遠ざかるかのどちらかです。AIに近いというのは、AIを改善したり展開したりすることで、これらのスキルがすでに非常によく補償されていることがわかります。かなり困難なスキルですが、明らかに非常に価値があり、このAI自動化と補完だからです。
反対側は、AIが悪いことです。これらのことは生産のボトルネックになり、その価値も上がるでしょう。これは人々がしばしば理解しないことですが、AIが悪いすべてのもの、これらのことは時間とともに価値が増加します。AIが良くなるにつれて、依然として人間がする必要があるものになるからです。
それらが何であるかを理解するのは困難ですが、この会話ではすでに触れています。強化学習に適用可能なタスクは、今後数年でAIがはるかに良くなることが予想されます。また、大きなデータセットの例を取って、それを使ってモデルを事前訓練できるタスクもそうです。これらがベストカバーされるものになるでしょう。
最も困難なものは、それと最も異なるケースになるでしょう。基本的に、これらのはるかに曖昧で長時間の未定義タイプのタスクです。
そこでの例は何でしょうか？
起業家精神、経営タイプの高レベル計画、たくさんのものを調整し、最初に何を構築するかを理解し、それからたくさんのAIシステムを設定して実際にすべての明確に定義されたチャンクを行うことです。しかし基本的に、物事を最初に明確に定義されたチャンクに分解することです。
しかし多くの社会的関係のようなものも、これのようなものかもしれません。それはまた、私たちがしばらく人とやることを多く好むかもしれない領域でもあります。だから関係が本当に重要な部分であるすべての仕事です。
しばしば聞く例には、人々と対処し、多様なタスクに関わる物理世界でのもので、たくさんの品揃えのタスクを行うものが含まれます。
理学療法士や看護師やツアーガイドのようなもので、人々のスキルと物理的に動き回ることの混合で、仕事に来た時にどの動きをするかわからない多くのことをしています。
予測不可能な環境のようなものです。
部分的に、ロボティクスが認知知識作業タイプのものより遅れていることも指摘しています。だから物理的操作に関わることも良いでしょう。その問題は、私たちが議論したように、かなり速く変わる可能性があることですが、移行期間があるかもしれません。
カール・シュルマンがDwarkeshとのエピソードで話していることだと思いますが、多くの人々がただ雇用され、AIが何をすべきかを教えてくれるが、工場を建設しているという移行期間があるかもしれません。だから彼らの物理的操作スキルがしばらく提供する最も価値のあるもののように使われています。しかしそれは本当に良いロボティクスが開発されるまでしか続きません。
そのようなものがあれば、おそらく特定の方法で彼らの動きを記録し、それを訓練データとして使うこともできるでしょう。
だから再び、長い間続くとは思えない状況です。
一方、モロッコのテントの砂漠で個人キッチンに連れて行って、たくさんの食べ物を彼らと一緒に味わうような豪華旅行体験をする人のようなものは、人々がその種の体験を本当に好み、人間のタッチがその大きな部分になるかもしれません。
これは多くの人々が利用できるキャリアパスではありませんが、有名人になることもそうかもしれません。有名な人々は自分自身であるため、しばしば報酬を得ることができ、それはAIに外注することができないものです。自動化されたインフルエンサーが出現し始めていて、彼らの物理的外観と声を再現して貸し出し、ファンがそれらのモデルと相互作用できます。
しかし、知られている人で、人々が実際の有名人に会いたいと思う人であることには、依然として多大な価値があると思います。
これは本当に興味深い一般的現象で、AIが労働を、最終的にはロボティクスが物理的操作をあまり価値のないものにすると考えると、AIによって安くされていない重要なリソースのままである他のすべての種類のリソースがより価値があるものになります。
資本については話しましたが、依然としてすべてのロボットと工場とチップを構築するために資本が必要だからです。しかしそれから関係や名声のような他のリソースもあり、時間とともに経済のより大きな部分になる可能性があります。
そして価値のままです。
もう一つ言及するのは市民権で、これもAI富を多く持つ、または持つであろう国の市民権を得ることを人々に勧めています。
最初の質問は、米国市民になるプロセスは非常に遅いのではないでしょうか？そこに15年住んで米国経済に貢献したが、まだ実際には米国市民でない人々の話をよく聞きます。だから私たちが話している時間スケールでこれが重要なのでしょうか？
それよりもかなり速いと思います。正確な時間軸は忘れましたが、今就労ビザで入ったら、5年から7年の期間で、それから市民権を申請できると思いました。
その15年は極端な例のようなものですね。移民は恐ろしいです。だからうまくいけばその時間軸からノックアウトされた可能性があります。それはすべてがうまくいった場合です。そしてあなたのタイムラインが何だと思うかによりますが、申請を始めることができるのは2030年だけでしょう。だからまだ時間があるかもしれません。
知能爆発が起こっていて、すでに米国で就労許可を持っているなら、知能爆発自体は数年かかるでしょう。だからまずAI研究ができるAGIに到達しなければならず、それから知能爆発全体があります。そんなに長くいた後で国から追い出されるでしょうか？うまくいけばそうではありません。だからまだ時間があるかもしれません。
私は個人的にこれをしていませんが、それは部分的に私が今米国に引っ越すには怠惰すぎる、個人的な犠牲が大きすぎるからです。しかし、これを後悔するかもしれません。
市民権の問題は興味深いです。あなたの市民権は国民経済でのケーキの一部を決めるからです。AGI または AGIへの助走中にうまくいく国々は、はるかに裕福になるため、絶対的な観点でより多く再分配することができるでしょう。
これはもちろん推測的ですが、AGIへの移行中に福祉プログラムが持続すると期待しますか、それとも市民への義務を果たすことができないと期待しますか？
この世界では、経済は非常に速く成長しています。だから実際に義務を果たすのが簡単になると思います。
私の最良の推測は、依然として重要な福祉があるだろうということです。一つの要因は慣性です。米国は正確な数字は忘れましたが、GDPの約30％を税金として取り、その多くは本質的に福祉プログラムで終わると思います。それが最大の連邦支出です。
だからそれがそのまま続けば、実際に多くの再分配で終わります。しかし、さらに重要な点は、これに対する enormous political pressure があることです。みんながAIによって賃金を押し下げられ、少数のテクノロジーエリートが兆万長者になるなら、人々はそのAI富に税金をかけて、みんなを餓死させないことを本当に望むでしょう。
そう思います。本当に悪いシナリオ、誰も再分配を得ないのは、人口の意志を無視することができる、非常に定着したタイプの権威主義政府があった場合だけでしょう。
しかし現在の米国のような国では、それをすることは政治的に受け入れがたいでしょう。変化が十分速ければ可能かもしれません。
または権力が1つか2つ、おそらく1つの会社に十分集中して、政府が対応できる前に超知能に最初に到達し、政府が対応できる前に基本的に宇宙の主人になることです。
あなたは私たちをより回復力のあるものにすることを勧めています。クレイジーな時代に。これは言うのは簡単ですが、行うのは困難です。COを生き抜こうとした回復力からどんな教訓を得ましたか？
誰かが私に知能爆発について説明しました。2年でCOVIDが始まるようなものを想像できると。COVIDの最初の数週間のようなもので、それから決して止まらないでしょう。2年間のもののようなものではないからです。実際にすべてが完全に認識できなくなるまで、どんどん速くなるかもしれません。
次の数年間をどう過ごすかのフレームとして、それはかなり有用かもしれません。
より回復力があることについて、私は革新的なことは何も言いません。基本的な通常のことをするだけです。
だからあなたがあまりストレスを感じないのに役立つ何らかの健康的なルーチンを持つことです。友人と多くの時間を確保すること。運動すること。良いセラピストか、物事について話すことができる何らかのコーチタイプの人を見つけることが役立つと思います。
あなたをリラックスさせるものが何であれ、それを見つけること。
個人的に私はこのすべてのもので田舎に拠点を置くというアイデアが好きです。より少ないストレスを感じるでしょうし、自然があり、生物学的脅威や核の脅威があった場合、少し安全だと自分に言うことができるからです。
これらのタイプのことが私の心の主なものだと思います。
日常生活でどれだけ良い気分でいられ、どれだけリラックスできるかと、世界への関与レベルの間には何らかのトレードオフがあるかもしれません。だからリラックスする一つの方法は関与しないことです。
今、庭を歩き回りたい。現実の友人と話したい。散歩したい。AIで何が起こっているかをフォローするのは、ニュースをフォローするのさえも、あまりにもストレスフルです。戦略的に世界と関与し、望む情報、すべての実行可能な情報を得て、それから世界と関与しない期間も持つ戦略はありますか？ソーシャルメディアをスクロールして、新しい情報を生産的に得ているような感覚を持つが、実際には自分をストレスにさらしているだけのループにいないように。
それを実際にどうするかは人それぞれ大きく異なると思います。
しかし、まさにあなたが言っていることについて考えることが、非常に有用に思えます。どうやって効率的に情報を得るか？一般的にTwitterをスクロールするのではなく、基本を網羅していると思う5つのソースを見つけて、週に一度か一日の終わりに一度だけそれらを読むことができるか？
何らかのバッチングタイプです。実際にやるのは困難だと思います。このものはとても中毒性があるからです。
しかし、真の休息期間、実際にプラグを抜いた期間と、関与する期間をより多く持つことができればいいと思います。それをどうするかは人によって大きく異なるでしょう。週に一日、電話を完全にオフにするサバスタイプの日が欲しいか、時々瞑想リトリートに行って、完全にプラグを抜いた丸一週間を取るのが好きか？どんなタイプのルーチンが機能するかは人によって大きく異なると思います。
情報過多と判断力の維持
ここでの一つの問題は、物事が進むと期待する通りに、多くのことが「これが唯一の例外です。絶対にフォローする必要がある唯一の緊急事態です」のように感じることです。しかし同時に3つのそのようなことが起こっているでしょう。だからシステムにどう固執し、多くの問題がどれほど大したことかの比例感覚をどう持つかの問題があります。
もっと具体的にすべきかもしれません。私が想像しているのは、OpenAIが新しい突破口を発表することです。そのモデルを試すと、例外的です。2週間後、中国が台湾を侵攻することを決定します。今度は、OpenAIのモデルよりも良いかもしれないオープンソースモデルがあります。次のことが起こる前に座って何が起こっているかを理解することができません。私たちが受け取っている情報の量を、受け取っている速度で生産的に考える装備ができていないようです。
生産的になるために、得る情報を極端に制限する必要があるのでしょうか？
このすべてを声に出して言っているだけでも、人々にとって役立つと思います。これが私たちが入っている世界で、その時点でどう反応するかを想像し、今何ができるかを考えて、そのタイプのことをナビゲートするためのより良い準備をすることです。
あなたがそこで言っていたことで、何らかの良い情報ネットワークを持つことが非常に役立つと思います。理想的には、「OpenAIモデルは実際にどれほど良いか？」と聞くことができる誰かがいて、基本的に教えてくれるなら、それがそのタイプのことをナビゲートする大きな一部だと思います。
もう一つは、現在人々がやっていることで、何もできないランダムな危機をニュースでフォローして、それから気分が悪くなるが、実際には何もできません。これがはるかに大きな問題になると思います。
しかし、自分の目標と社会的影響の観点からも、個人的に実際に何ができるかを常に自分に聞き、それらの質問を理解することに本当に集中しようとすることで、一般的に物事をフォローするよりも。
それは非常に良いアドバイスだと思います。ロシアのウクライナ侵攻であなたが説明したような経験をしました。フォローしているが、何もできない、しかしフォローする必要があるように感じ、それはかなり不快で、世界のためにも実際に役立っていません。フォローするだけでは実際に助けていません。今、すべてについて多くの情報があります。だからこれらの種類の状況で分単位でフォローするのは簡単です。
その特定のことで、これらのタイプのことにMetaculusが非常に有用だと感じます。重要な何らかのキーパラメータがしばしばあるからです。
ウクライナ期間中、「ロンドンが核攻撃される可能性は何か」を理解しようとしていて、これを見る予測があり、それが急上昇しているなら、町を離れるかもしれないと見ることができましたが、その予測を追跡する以外にニュースをフォローする必要はありませんでした。
Nunoが運営するSentinelと呼ばれる本当にクールなグループがあり、基本的に多くの異なる潜在的大災害を追跡して、それらについて大まかに週次の更新をしています。
それも有用にフォローできるようです。必要なすべてを得ることができます。見出しを読む必要はありません。少なくとも理論的には、利用可能なすべての情報を何かがどれほど大したことかについて一つの実行可能な数値に凝縮したこの数値を見るだけです。
それは私にとって実行可能でしたが、もし私がトランプだったら、異なる目標があるため、非常に異なるメトリクスを追跡するでしょう。
もちろん、もちろんです。
AGI到来前の優先事項
AGIを得る前に持っておきたいことを優先することも勧めています。実際にあなたが何を意味するのか理解するのに苦労しています。AGI前にのみ利用可能な特定の経験を持ちたいということですか、それともAGI前に整えておきたいもののタイプは何でしょうか？
5年後にAIがあなたよりもはるかに良くできるなら、そのことをやるのを5年間遅らせるべきだという、非常に高レベルのヒューリスティックを指し示そうとしています。それが大きなことだと思います。
私自身のキャリア計画からの例は、AIについてもっと書くべきか、効果的利他主義についてもっと書くべきかと悩んでいました。知能爆発の瀬戸際にいるなら、それは超価値があるし、そうでないなら、より通常のタイムラインで後で効果的利他主義について書くことができると思いました。だから効果的利他主義のケースを遅らせる方が良いと思った場合でした。
もう一つの個人的生活の例です。これは少し論議を呼ぶかもしれませんが、通常の世界で今家族を始めることと5年後に家族を始めることの間で比較的中立だとすると、多くの人はその状況にありません。5年待つことが実際に大きなコストになるからです。
しかし、あなたがそれについて比較的中立な立場にいるとすると、遅らせることは私にはかなり魅力的に思えます。AI早期世界にいるなら、お金を稼ったり、AI安全に取り組んだりするような、準備のためにやりたい非常に緊急なことがあるかもしれません。歴史上最も影響力のある時代かもしれないので、次の5年間社会的影響に集中することが本当に理にかなうし、家族を持つ前に何が起こるかをより良く理解したいかもしれません。良いシナリオか悪いシナリオかをより良く理解したいからです。
だからそのタイプの思考では、AI前に私をより良い立場に置くもので緊急なものと、理論的に後でできるものについて考えることが、反省する興味深いことだと思いました。
その流れで、放棄することが理にかなうプロジェクトもあります。
例えば、本を書くことや、本を書くのに何年もかけることについて、この会話の準備で私に言及したと思います。数学者になろうとして今始めることが理にかなうかどうかでも同じ推論が当てはまるかもしれません。
状況がそれほど極端かは実際にはわかりませんが、数年でAIが数学で人間より根本的に優れているという世界を想像できます。だからこれは、プロジェクトを放棄することについてでもあります。
正確にそうです。
バケットリスト的なもので役割もあるかもしれません。うまくいかない可能性もあって、これが最後の5年間かもしれないと思うなら、それ以前にやりたいこともあるかもしれません。
しかし、ここで考えるのに有用な異なるフレーミングがたくさんあると思いました。
知能爆発のタイムラインと予測根拠
最後の質問です。知能爆発は今後7年以内に始まる可能性が高く、そうでなければはるかに長くかかり、私たちがどの世界にいるかについて、今後3年間ではるかに多くの情報があると書いています。
なぜそのような精度で声明を出すことができるのでしょうか？どの曲線やトレンドを見ているのですか？
重要なことは、最も根本的にAI進歩は、より多くのコンピュートがあることによって駆動されているということです。より多くのコンピュートは、より多くのAIを実行できることを意味します。より大きな訓練実行ができます。
アルゴリズムを改善するためにより多くの実験もできることも意味します。それから第二に、AI研究に向かうより多くの労働、より多くのAI研究者、人間のものがあります。
これらの両方は今非常に速く増加していて、非常に速いAI進歩を得ています。しかし、これらのトレンドを前向きに投影すると、基本的に2030年頃、正確な時間はボトルネックによりますが、2028年から2032年の間としましょう。これらの両方の増加の現在のペースを維持することが非常に困難になります。
だから基本的に私たちが持つコンピュートとアルゴリズム進歩の量は、その時点で平坦化し始めるでしょう。利益がAIモデルで十分大きくなければ、次のラウンドのチップを買わない、ここで止めるかもしれないということが起こると、かなり迅速な減少もあり得ますが、それもあり得ます。
すべてのボトルネックが2030年頃に大まかに一致するのは、ある意味で少し奇妙です。現在のレートは今後4年間は比較的確実に維持でき、その後の4年間、28年から2032年は不明で、おそらく減速します。そこには何らかの精度があります。
深層学習自体のような他のパラダイム的突破口を得るかもしれません。それは任意の時に起こる可能性があるもので、2030年にそれを得たら、新しいパラダイムでもうしばらく続くかもしれません。
だから基本的に、現在のパラダイムが停滞するか、かなり間もなく知能爆発のようなものを得るかのどちらかです。
新しいパラダイムを見つける可能性は、どれだけの人がAI研究をしているかに依存します。ある程度、これはAI研究労働力が指数関数的に増加しているなら、新しいパラダイムを見つける可能性は年間大体一定だというモデルに当てはまります。しかし労働力が増加を止めたら、新しいパラダイムを見つける可能性も大幅に減少します。
そして、コンピュートについてより具体的にするために、GPT-6はおそらく2028年に訓練するのに約100億から300億ドルかかるでしょう。パイプラインにすでにあるものを考えると、その訓練実行ができるチップクラスターがかなり近くにあるようです。
しかし、GPT-7に行くには、さらに10倍多くかかるでしょう。だから1000億ドル以上の話をしていて、まだ手が届きますが、はるかに困難になっています。Googleから丸一年の利益のようなもので、その一つの訓練実行に資金を提供することです。
人類文明の未来の規模では、それほど大きなお金ではありません。
興味深いことに、アポロ計画より大きく、GDPのパーセンテージとして、アポロやマンハッタン計画レベルまで上がっているようなものでしょう。
あなたを止める可能性のある他のいくつかのこともあります。その時点で、TSMCの台湾半導体の主要ノードのほとんどすべてが、その時点でAIチップに使われるでしょう。
そして、実際に新しい工場を建設しない限り、より多くのAIチップを作ることができないことを意味します。今はそうではありません。今の場合、携帯電話チップをAIチップに置き換えているだけです。だからそれは非常に簡単にできます。
2028年には米国の電力の約4％がデータセンターに使われるようなことになるでしょう。しかし、さらに10倍したいなら、米国の電力の40％がそれに行かなければなりません。だからたくさんの発電所を建設しなければなりません。これは完全に実行可能です。2年か3年でガス発電所を建設できます。
この軌道にいるなら、それをする巨大な経済的インセンティブがあるでしょう。しかし、スケーリングの各桁が今よりもはるかに困難になっていることは確実です。
ここで何が起こるかを見るのは興奮するし恐ろしいです。読者をあなたのSubstackに紹介したいと思いますか？あなたが考えていることについてもっと知るにはどうすればいいですか？
私のSubstackやTwitterをフォローするのが最新情報を得る最良の場所です。私が書いているAIについてできることガイドが公開される予定ですが、私たちが話したトピックの多くについても書く予定です。
素晴らしいです。お話しいただき、ありがとうございました。とても楽しかったです。
素晴らしい。呼んでいただき、ありがとうございました。
コメント