本動画は、QuoraのCEOアダム・ディアンジェロとRepletのCEOアムジャド・マサドが、現在のLLMの進化と限界、AGIへの道筋について議論したものである。アダムは、推論モデルやコード生成能力の急速な進歩を指摘し、今後5年以内に多くの労働が自動化されると楽観的な見方を示す。一方アムジャドは、LLMの進化には膨大な人間の専門知識とラベリング作業が必要であり、真の知能とは異なると慎重な立場を取る。両者は、AIが既存企業と新興企業の両方に恩恵をもたらす点や、AIエージェントによる並列作業の可能性、個人起業家の台頭などについて語り、技術革命がもたらす社会的・経済的変化を展望している。
AGIへの楽観と慎重論
何も根本的に難しすぎて、今後5年間世界で最も優秀な人々が信じられないほど懸命に働いても解決できないというものはないように思えます。人類は農業革命と産業革命を経験してきました。私たちは今、別の革命を経験しています。私たちはそれを何かと呼ぶことはできないでしょう。未来の人々がそれを何かと呼ぶことになるでしょう。しかし私たちは何かを経験しています。
このテクノロジーが可能にする個人起業家の数は増えるでしょう。一人の人間ができることが大幅に増えました。初めて、機会が皆に大規模に利用可能になりました。より多くの人々が起業家になれる能力は、そうですね、大規模なものです。
アダム、ポッドキャストへようこそ。ありがとうございます。ええ、お招きいただきありがとうございます。さて、最近多くの人々がLLMに冷や水を浴びせています。一般的な弱気さが見られます。人々はLLMの限界について話していて、なぜそれらが私たちをAGIに到達させないのかを議論しています。おそらく数年先だと思っていたものが、今では10年先になったのかもしれません。アダム、あなたはもう少し楽観的に見えます。広範な概要を共有していただけますか?
ええ、つまり私は正直なところ、人々が何について話しているのか分かりません。1年前を見れば、世界は非常に異なっていました。推論モデルのようなもの、コード生成能力の向上、ビデオ生成の改善など、この1年間で私たちが遂げた進歩を見れば、物事はかつてないほど速く進んでいるように見えます。ですから、弱気な見方がどこから来ているのか本当に理解できません。
まあ、LLMがすべてのタスクやすべての仕事を置き換えられることを期待していたという感覚があると思います。そして中途半端であって、エンドツーエンドではないという感覚があるのかもしれません。おそらく、労働は私たちが思っていたのと同じタイムラインでは自動化されないでしょう。
ええ。つまり、人々が考えていた以前のタイムラインが何だったのか分かりませんが、今から5年後を見れば、私たちは非常に異なる世界にいると思います。現在モデルを妨げているものの多くは、実際には知能ではありません。モデルがその知能を使用できるように、適切なコンテキストをモデルに取り込むことなのです。そして、コンピュータ使用のようなものがまだ完全には実現されていませんが、今後1、2年でほぼ確実に実現すると思います。それができれば、人々が行うことの大部分を自動化できるようになると思います。
それをAGIと呼ぶかどうかは分かりませんが、人々が今行っている批判の多くを満たすことになると思います。それらの批判は1、2年後には有効ではなくなると思います。
あなたのAGIの定義は何ですか?
分かりません。誰もがそれを異なるものだと考えています。私が好きな定義の1つは、リモートワーカー、つまり人間がいて、リモートで行える仕事がある場合、それがAGIだというものです。その後、世界で最高の人よりもすべての仕事で優れている必要があるかどうか議論できます。一部の人々はそれをASIと呼びます。人々のチームよりも優れている必要があるかどうかも議論できます。これらの異なる定義について議論することができます。
しかし、典型的なリモートワーカーが行っている仕事よりも優れたものになれば、私たちは非常に異なる世界に住んでいると思います。そしてそれは、これらの定義にとって非常に有用なアンカーポイントだと思います。
要約すると、あなたは他の人々が感じているようなLLMの限界を感じていないということですね。LLMがここからさらに進む余地はたくさんあると考えていますか?全く新しいアーキテクチャや他のブレークスルーは必要ないのでしょうか?
そうは思いません。つまり、メモリや継続的学習のような特定のものは、現在のアーキテクチャでは非常に簡単ではありません。それらでさえ、ある種偽装することができると思いますし、おそらく十分にうまく機能させることができるでしょう。しかし私たちは、どんな種類の限界にも達していないように見えます。
推論モデルの進歩は驚異的です。そして事前学習の進歩も非常に速く進んでいると思います。人々が期待していたほど速くはないかもしれませんが、今後数年間で多くの進歩を期待できるほど確実に速いです。
LLMの本質的な限界について
アムジャド、これを聞いてどう思いますか?
ええ、私は一貫していて、一貫して正しかったと言えるかもしれません。あなた自身と一貫しているか、私が言っていることと一貫しているか、そして私は物事が展開している方法と一貫していると思います。AI安全性の議論が22年から23年頃にピークに達した時期に、私は物事についてもう少し公に疑問を呈し始めました。
進歩について現実的である必要があると思いました。なぜなら、そうでなければ政治家を怖がらせることになるからです。皆を怖がらせることになります。ワシントンがシリコンバレーに降りてきて、すべてを閉鎖してしまうでしょう。
AGI 2027という考え方、アレクサンダーという人が書いた論文、そして状況認識やこれらすべての誇大宣伝論文への私の批判は、実際には科学ではなく、単なる雰囲気だということです。こういうことが起こるだろうと。経済全体が自動化されるだろう。仕事は消えるだろう。そういったすべてのものは、繰り返しますが、非現実的だと思います。私たちが見ている進歩の種類に従っていませんし、悪い政策につながるでしょう。
ですから私の見解は、LLMは素晴らしい機械だということです。しかし、それらが人間の知能と完全に等価であるとは思いません。LLMをいくつかのトリックで騙すことができます。彼らはストロベリーの問題を解決したかもしれませんが、「この文にRがいくつありますか」のような単一文の質問で騙すことができます。
先日私がツイートしたと思いますが、4つのモデルのうち3つがそれを正解できませんでした。そしてGPT-5を高い思考レベルで使うと、そのような質問に答えるのに15秒考える必要がありました。
ですからLLMは人間とは異なる種類の知能だと思います。そして、明確な限界があり、私たちはその限界を糊塗し、LLM自体とトレーニングデータ、そしてそれらを機能させるために行っているすべてのインフラストラクチャなど、あらゆる種類の方法でそれらを回避しています。
しかしそれは、私たちが知能を解明したということについて、私をより楽観的にさせません。そして、私たちが真に知能を解明したら、それははるかにスケーラブルに感じられ、レッスンの背後にあるアイデアが実際に真実になると思います。より多くのパワー、より多くのリソース、より多くの計算能力をそれらに注ぎ込めば、それらはより自然にスケールするでしょう。
今は、これらのモデルをより良くするために多くの手作業が行われていると思います。真の事前学習スケーリング時代、つまりGPT-2、3、3.5、おそらく4までは、より多くのインターネットデータを入れるだけで良くなったように感じました。しかし今は、多くのラベリング作業が行われているように感じます。多くの契約作業が行われています。LLMをコーディングに優れさせ、コーディングエージェントにするために、多くの人工的なRL環境が作成されています。
OpenAIが投資銀行業務のためにそれを行うというニュースがありました。私は機能的AGIという用語を作ろうとしています。これは、データを収集してこれらのRL環境を作成することによって、多くの仕事の多くの側面を自動化できるという考えです。それを行うには膨大な努力とお金とデータが必要になるでしょう。
そして、アダムに同意します。今後3か月、6か月で状況は良くなると思います。Claude 4.5は巨大な飛躍でした。4からの飛躍がどれほど大きかったかは十分に評価されていないと思います。Claude 4.5には本当に素晴らしいことがたくさんあります。ですから進歩があり、私たちは進歩を見続けるでしょう。
しかし、理解されているLLMはAGIへの道にあるとは思いません。そして私のAGIの定義は、昔ながらのRL定義だと思います。それは、任意の環境に入って、人間が環境に入れるのと同じ方法で効率的に学習できる機械です。人間をプールゲームに入れれば、2時間以内にプールを撃つことができるようになります。
現在、機械がそのようにスキルをその場で学習する方法はありません。すべてに膨大な量のデータと計算能力と時間と努力が必要です。そしてさらに重要なことに、人間の専門知識が必要であり、これは苦い教訓ではないアイデアです。人間の専門知識はスケーラブルではなく、私たちは今日、人間の専門知識の体制にいるのです。
人間の知能とAIの違い
ええ、つまり人間は確かに、新しい環境で限られた量のデータから新しいスキルを学習することについて、現在のモデルよりも優れていると思います。一方で、人間の知能は膨大な量の有効計算を使用した進化の産物です。ですからこれは異なる種類の知能です。
この大規模な進化に相当するものがなかったため、事前学習しかありませんでした。それはそれほど良くありません。そのため、すべての新しいスキルを学習するためにより多くのデータが必要になります。
しかし、機能的な結果という観点で考えると、いつ世界が変わるのか、いつ仕事の状況が変わるのか、いつ経済成長が訪れるのかという点では、人間の知能と同じくらい優れたものを生産できるようになった時の関数になると思います。たとえそれがはるかに多くの計算能力、はるかに多くのエネルギー、はるかに多くのトレーニングデータを必要としても、そのすべてのエネルギーを投入して、典型的な仕事を行う平均的な人間と同じくらい優れたソフトウェアを手に入れることができます。
ですから、それには同意しませんし、ブルートフォース型の体制にいるように感じますが、それでいいのかもしれません。
では、意見の相違はどこにあるのでしょうか?それについては合意があります。意見の相違はどこにありますか?
シンギュラリティには到達しないと思いますし、真の知能の本質を解明するまで、人間文明の次のレベルに到達することはないと思います。実際にブルートフォースではなく、アルゴリズムを理解して持つまでは。
それらが実現するまでには長い時間がかかると思いますか?
私はそれについてはややアグノスティックです。LLMがある意味で気を散らしているように感じます。なぜなら、すべての才能がそこに行っているからです。したがって、知能に関する基礎研究を試みる才能が少なくなっています。
ええ。同時に、以前はAIにまったく入らなかった膨大な量の才能がAI研究に入っています。ですから、この大規模な産業、大規模な資金があります。計算能力に資金を提供するだけでなく、人間の従業員にも資金を提供しています。
そして、世界で最も賢い人々が今後5年間それに懸命に取り組めば解決できないほど根本的に難しいものはないと思います。
しかし基礎研究は異なりますよね?基本に入り込もうとするのと、これらのものをより有用にして利益を生み出すために、多くの産業研究があるのとは違います。ですからそれは異なると思いますし、科学哲学者のトーマス・クーンはこれらの研究プログラムがバブルのようになり、すべての注意とアイデアを吸い込むことについて多く語っています。物理学と弦理論のような産業について考えてみてください。すべてを引き込み、進歩のブラックホールのようになります。
ええ。彼のことの1つは、パラダイムを変えるチャンスさえ持つには、現在の人々が引退するまで待たなければならないというものでした。彼はパラダイムについて非常に悲観的です。
しかし、現在のパラダイムはかなり良いと思います。これが私たちの意見の相違かもしれませんが、それを推し進め続けることによる収穫逓減にはまだ遠く及んでいないと思います。そして、パラダイム内で異なる革新を続けることでそこに到達できると思います。
経済と労働への影響
それをブルートフォースし続けるとしましょう。多くの労働を自動化できます。GDPは年間4、5パーセントになると推定しますか、それとも10パーセント以上に上がるのでしょうか、経済はどうなりますか?
それは、正確にどこに到達し、AGIが何を意味するかに大きく依存すると思います。
LLMがあるとしましょう。時間あたり1ドルのコストのエネルギー量で、どんな人間の仕事もできるとしましょう。到達できる理論的なポイントとしてそれを取りましょう。その世界では4から5パーセントをはるかに超えるGDP成長になると思います。問題は、そこに到達しない可能性があることです。
ですから、人間ができることをすべてできるLLMは、実際には現在の人間よりもコストがかかるかもしれませんし、人間ができることの80パーセントをできて、残りの20パーセントがあるかもしれません。そして、ある時点で最終的にそこに到達すると思います。それがなぜ起こらない理由が見当たりません。それには5年、10年、15年かかるかもしれません。
しかしそこに到達するまで、LLMがまだできないことや、エネルギーを供給するのに十分な発電所を建設することや、サプライチェーンの他のボトルネックでボトルネックになると思います。
私が心配していることの1つは、経済におけるLLMの有害な効果です。LLMがエントリーレベルの仕事を効果的に自動化するが、専門家の仕事は自動化しないとしましょう。品質保証を例に取りましょう。それは非常に優れていますが、処理できないロングテールイベントがまだたくさんあります。
そして、今では本当に優れたQA担当者が何百ものエージェントを管理するようになり、生産性を大幅に向上させています。しかし、エージェントが新しい人々よりも優れているため、新しい人々を雇っていません。それは奇妙な均衡にいるように感じられますよね?そして多くの人々がそれについて考えていないと思います。
ええ。確かに。大学を卒業するCS専攻の学生に起こっていると思います。以前ほど多くの仕事がありません。そしてLLMは、彼らが以前に行っていたことに対してもう少し代替可能です。そして、それがそれに貢献していると確信しています。
そして、それは、企業が彼らを雇用して訓練するために多くのお金を払った、そのランプを上る人々が少なくなることを意味します。ですから、それは本当の問題だと思います。その問題が問題を解決するための経済的インセンティブも生み出すと推測しています。人々を訓練できる企業や、人々にこれらのことを教えるためのAIの使用により多くの機会があるかもしれません。しかし確実に、それは今の問題です。
関連する別の問題は、LLMを訓練するために専門家データに依存しているため、LLMがそれらの労働者を代替し始めるが、ある時点で専門家は全員仕事を失っているため、もう専門家がいなくなることです。彼らはLLMと同等です。LLMが本当にラベリングデータ、専門家RL環境に依存している場合、それを超えてどのように改善するのでしょうか?
経済学者が座って本当に考えるべき質問だと思います。最初の自動化のティックを取得したら、そこにはいくつかの課題があります。どうやって次の部分に行くのでしょうか?
ええ、つまり、それはどれだけ優れたRL環境を作成できるかに大きく依存すると思います。一方の極端なところでは、AlphaGoのような完璧な環境があり、専門家レベルを簡単に超えることができます。
しかし、多くの仕事には誰もが訓練できる限られたデータがあると思います。ですから、研究努力がそのボトルネックを克服するのがどれだけ簡単かを見るのは興味深いでしょう。
未来の仕事と社会構造
将来導入される、または爆発的に増える仕事のカテゴリについて推測しなければならない場合、一部の人々は誰もがインフルエンサーになるとか、何らかのケアの分野にいるとか、誰もが政府に雇用されて何らかの官僚的なことをしているとか、何らかの方法でAIを訓練しているとか言います。より多くのものが自動化され始めるにつれて、より多くの人々が何をし始めるかについてのあなたの推測は何ですか?
ある時点で、すべてが自動化されたら、人々は芸術や詩を作ると思います。コンピュータが人間よりもチェスが上手になってから、チェスをする人々が増えているというデータポイントがあります。
ですから、人々が皆自分の趣味を追求するのに自由であれば、それは悪い世界ではないと思います。富を分配する何らかの方法があって、人々が生活する余裕がある限り。
しかし、それはまだ先のことで、近い将来、10年から15年後にどれくらいかは分かりませんが、少なくとも10年以上の範囲に入れます。
近い将来爆発的に増える仕事のカテゴリは、AIを本当に活用できる仕事だと思います。ですから、AIを使って仕事を達成することが得意な人々、特にAIだけではできなかったことを達成するために、それに対する需要は大量にあります。
すべての仕事を自動化する地点には到達しないと思います。確実に現在のパラダイムではありません。それが起こることを疑います。それが起こるかどうか確信はありませんが、確実に現在のパラダイムではありません。
理由はこうです。多くの仕事は他の人間にサービスを提供することについてです。他の人々が何を望んでいるかを理解するためには、根本的に人間である必要があります。実際に人間である必要があります。人間の経験を持つ必要があります。
ですから、私たちが人間を創造しない限り、AIが実際に人間の経験に具現化されない限り、人間は常に経済におけるアイデアの生成者であり続けるでしょう。
人間の知識と専門性の役割
アダム、人間の部分に関するアムジャドの指摘に答えてください。あなたは最高の、宇宙で最高の群衆の知恵プラットフォームの1つを作成しました。そして今、Poeに全力で取り組んでいます。人間に頼ることと、AIを信頼してセラピストやその他の方法で介護者になることについて、どの程度まで頼ることになるかについてのあなたの考えは何ですか?
人間は集合的に多くの知識を持っており、人生全体を生き、キャリア全体を持ち、多くのことを見てきた専門家である個人でさえ、どこにも書き留められていない多くのことを知っています。暗黙知と呼ばれるものですが、質問をすれば彼らが書き留めることができるものもあります。
人々が知識を共有することで果たす重要な役割がまだあると思います。特に、LLMのトレーニングセットに他にはなかった知識を持っている場合。それで生計を立てることができるかどうかは分かりません。しかしそれがボトルネックになれば、確実にすべての経済的圧力がそこに向かうことになります。
人間が何を望んでいるかを知るには人間でなければならないという点については、よく分かりません。例として、レコメンダーシステム、FacebookやInstagramやQuoraのフィードをランク付けするシステムを考えます。これらのレコメンダーシステムは、あなたが読むことに興味を持つものを予測することにおいて、すでに人間を超えています。
あなたについてどれだけ知っていても、私があなたが読むフィードを作ってくださいというタスクを与えたら、あなたが今までクリックしたすべてのもの、他の全員が今までクリックしたすべてのもの、それらすべての異なるデータセット間のすべての類似性について膨大なデータを持つこれらのアルゴリズムと競争する方法はありません。
ですから分かりません。人間としてあなたは人間であることをシミュレートできるのは本当で、それはアイデアをテストするのを簡単にします。そして、作曲家や芸術家にとって、これは仕事を行うためのプロセスの重要な部分だと確信しています。シェフもそうです。彼らは何かを作り、シェフは何かを料理して味わい、それを味わえることが重要です。
しかし、AIが訓練できるデータと比較して、彼らが持っているデータは非常に少ないのです。ですから、それがどうなるかは分かりません。
それは良い指摘です。つまり、最終的にレコメンダーシステムは、すべての異なる嗜好を集約して、多次元の嗜好ベクトル空間のどこにあなたがいるかを見つけて、そこで最高のコンテンツを取得しています。ですからそのいくつかはあります。
それは私たちが思うよりも狭いと思います。レコメンダーシステムでは真実ですが、すべてのものについて完全に真実であるとは確信していません。しかし、世界がどこに向かっているかについての最良の予測、これは必ずしも支持ではありませんが、私が思うに世界がどこに向かっているかというのは、部分的にはやや不安定なシステムになるでしょうが、主権個人は本当に良い予測のセットであり続けると思います。科学的な本だったり、そうではなかったりします。非常に予言的な本です。
アイデアは、80年代後半から90年代初頭に、彼らは経済学者ですか?経済学者だと思いますが、政治学専攻かもしれません。英国出身の2人が、コンピュータ技術が成熟したときに何が起こるかを予測しようとしてこの本を書きました。人類は農業革命と産業革命を経験しました。私たちは別の革命を経験しています。
明らかに情報革命であり、今では知能革命と呼ばれています。私たちはそれを何かと呼ぶことはできないと思います。未来の人々がそれを何かと呼ぶでしょうが、私たちは何かを経験しています。それで彼らは、さて、ここから何が起こるかを予測しようとしています。
彼らが到達したのは、最終的には失業している、または経済的に貢献していない大勢の人々が存在するだろうということです。しかし、起業家資本家は非常に高いレバレッジを持つことになります。なぜなら、彼らはAIエージェントでこれらの企業を非常に迅速に立ち上げることができるからです。彼らは非常に生成的だからです。他の人々が何を望んでいるかについて興味深いアイデアを持っています。これらの企業や製品やサービスを非常に迅速に作成でき、特定の方法で経済を組織できます。
政治も変わるでしょう。なぜなら、今日の政治はすべての人間が経済的に生産的であることに基づいているからです。しかし、大規模な自動化があり、少数の起業家と非常に知的で生成的な人々だけが実際に生産的であることができる場合、政治構造も変化します。
彼らは、国民国家がどのように後退し、代わりに州が人々、裕福な人々をめぐって競争する時代に戻るかについて話しています。主権個人として、お気に入りの州と税率を交渉できます。それは生物学のように聞こえ始め、私はそれが向かっている可能性のある場所から遠くないと思います。
繰り返しますが、それは価値判断や願望の類ではありません。しかし、人々が経済生産性の単位でなくなったとき、文化や政治を含めて、物事は変わらなければならないと考える価値があると思います。
テクノロジーと権力の分散
その本やこの会話のより広い範囲で疑問があります。テクノロジーがいつディフェンダーに報酬を与えるのか、それとも一種のアグリゲーターに報酬を与えるのか、いつより分散化を奨励するのか対集中化を奨励するのかという点です。
ピーター・ティールが10年前に言ったことを覚えていますか。暗号はリバタリアンでより分散化をもたらし、AIは共産主義的でより集中化をもたらす。それが完全に正確であるとは明らかではありません。
どちらの側でも。AIは、あなたが言っていたように多くの個人を力づけるように見えます。そして暗号通貨は、フィンテックのようなものであることが判明しました。ステーブルコインのようなもので、国民国家を力づけます。彼らが中国がやろうとしていたことのようなことをやろうとしていることについて話しています。
ですから、どのテクノロジーが誰をより力づけるのか、端を力づけるのか中心を力づけるのかという点で未解決の質問があると思います。そして、端を力づける場合、主権個人のようで、バーベルがあるかもしれません。基本的に大きな既存企業がはるかにはるかに大きくなり、これらの端があるというような。
とにかく、このテクノロジーが可能にする個人起業家の数について非常に興奮しています。一人の人間ができることを大幅に増やしたと思います。人々のチームを集めて、必要なすべての異なるスキルを持つ適切な種類の人々を集めて、それのための資金を調達するのは多くの仕事だったため、探求されなかった非常に多くのアイデアがあります。
そして今、一人の人がこれらのものを存在させることができるので、本当に素晴らしいものをたくさん見ることになると思います。
ええ、仕事を辞めた人々についてのツイートを常に受け取ります。RepletやPoeのようなツールを使ってお金を稼ぎ始めたからです。それは本当にエキサイティングです。
初めて、機会が皆に大規模に利用可能になっていると思います。そして、この技術について私が最もエキサイティングだと思うのは、私たちが話している他のすべてのこと以外に、より多くの人々が起業家になれる能力です。それは大規模なものです。
価値創造と企業の未来
そのトレンドが明らかに今後10年か20年で起こるとして、AIはクリステンセン的な意味で持続的か破壊的かを見ていくと、あなたはどう思いますか?言い換えれば、価値獲得のほとんどは、OpenAIが始まる前にスケールした企業から来ると思いますか?
RepletとQuoraはまだ後者に該当しますよね。それとも、2015年や2016年以降に始まった企業によって価値のほとんどが獲得されると思いますか?
関連する質問があります。それは、価値のどれだけがハイパースケーラーに行くのか対その他すべてに行くのかです。それについては、実際にはかなり良いバランスにあると思います。
ハイパースケーラー間に十分な競争があるため、アプリケーションレベルの企業として選択肢と代替案があり、価格が信じられないほど速く下がっています。しかし、ハイパースケーラーやAnthropicやOpenAIのようなラボが資金を調達してこれらの長期投資を行うことができないほどの競争もありません。
ですから、実際にかなり良いバランスにあると思いますし、多くの新しい企業とハイパースケーラーの間で多くの成長があると思います。
それは大体正しいと思います。持続的対破壊的という用語は、イノベーターのジレンマから来ています。それは、新しい技術トレンドがあるときはいつでも、パワーカーブのアイデアがあるということです。それはおもちゃのようなもの、または本当に機能しないもの、または市場の下位を捉えるものとして始まります。しかし進化するにつれて、パワーカーブを上がり、最終的には既存企業さえも破壊します。
当初、既存企業はそれに注意を払いません。なぜならおもちゃのように見えるからです。そして最終的にはすべてを破壊し、市場全体を食べます。それはPCに当てはまりました。PCが登場したとき、大きなメインフレームメーカーは注意を払いませんでした。最初は子供向けのようなものでした。
しかし、これらの大きなコンピュータやデータセンターなどを実行しなければなりませんでしたが、今ではデータセンターでさえPCで実行されています。ですからPCは非常に破壊的な力でした。
しかし、登場して既存企業に本当に利益をもたらし、新しいプレーヤー、スタートアップに本当に利益をもたらさない技術があります。アダムは正しいと思います。両方です。
そしておそらく初めて、インターネットが非常に破壊的だったため、大きな技術トレンドのようなものです。しかし今回は、ハイパースケーラー、大きなインターネット企業にとって明らかなスーパーチャージのように感じられますが、既存のものに対してポジショニングされている新しいビジネスモデルも可能にします。
しかし、皆がその本を読み、破壊されない方法を学んだと思います。例えば、ChatGPTは根本的にGoogleに対してカウンターポジションされていました。なぜなら、Googleには実際に機能しているビジネスがあったからです。
ChatGPTは多くの悪い情報を作り出す幻覚を見る技術として見られ、Googleは信頼されたかったので、Googleは内部にチャットボットを持っていましたが、ChatGPTから約2年後までGeminiをリリースしませんでした。ChatGPTはすでに少なくともブランド認知を勝ち取っていました。
ですから、ある意味でOpenAIは破壊的技術として登場しましたが、今Googleはそれが破壊的技術であることに気づき、それに対応しています。同時に、AIがGoogleに利益をもたらすことは常に明らかでした。最低限、検索概要が大幅に良くなりました。
Workspace全体がGeminiで大幅に良くなっています。モバイルフォン、すべてが良くなります。ですから、両方のように見えます。
市場の変化と投資戦略
ええ、本当に同意します。皆が本を読み、それが理論が何を意味するかさえも変えます。なぜなら、すべての公開市場投資家がその本を読んでおり、今では適応しない企業を罰し、長期投資をしなければならない意味であっても適応する企業に報酬を与えるからです。
これらの企業を経営している人々は皆、本を読んでいて、自分のゲームのトップにいると思います。これらの企業を経営している人々は、その本が構築された世代の企業よりも賢いと言えると思います。彼らはゲームのトップにいて、多くの人が創業者によってコントロールされているため、ヒットを受けてこれらの投資を行うことが容易です。
ですから実際に、90年代のような環境があったとしたら、これは今のような超競争的な世界よりも実際により破壊的だったと思います。
しかし、私たちが企業として過去数年間に反省してきた1つの間違い、もちろん私はほんの数か月しかここにいませんが、市場リーダーやカテゴリーの勝者にならないだろうという理由で企業を見送ってきたというアイデアです。
したがって、web2からの教訓を学んで、カテゴリーの勝者に投資しなければならないと思いました。それが価値が時間とともに統合される場所だからです。ですから、最初のものがすでに先行しているのに、なぜ次の基盤モデル企業をやるのですか?
しかし、市場がはるかに大きくなったようです。基盤モデルだけでなくアプリケーションでも、複数の勝者がいて、すべてがベンチャースケールである市場の部分を取っています。これが永続的な現象なのか疑問です。しかし、それはweb2時代とは1つの違いのように見えます。より多くのカテゴリにわたってより多くの勝者がいるということです。
ネットワーク効果が今、web2時代よりもはるかに小さな役割を果たしていると思います。それが競合他社が始めることを容易にします。より多くのユーザーがいればより多くのデータを取得できるため、スケールの優位性はまだあります。より多くのユーザーがいればより多くの資本を調達できます。
しかしその優位性は、より小規模の競合他社にとって絶対に不可能にはしません。難しくしますが、以前よりも確実により多くの勝者の余地があります。
もう1つの違いは、人々が価値を非常に強く見ているため、早い段階で支払う意志があるということだと思います。web2企業の質問は、どのようにお金を稼ぐのかということでした。FacebookやGoogleなどは非常に早い段階で、どのように収益化するのかという感じでした。
ここの企業は最初から収益化しています。あなた方の企業も含めてそうです。
ええ、以前の世代の企業では、収益化はある種スケールに依存していたと思います。何百万、何千万のユーザーに到達するまで、良い広告ビジネスを構築できませんでした。そして今、サブスクリプションで、すぐに請求できると思います。特にStripeのようなものがそれを容易にしてくれているおかげで。
ですから、それも新規参入者にとってはるかにフレンドリーになりました。
地政学の問題もあります。私たちがこのグローバル化された時代にはいないことは明らかで、おそらくはるかに悪化するでしょう。ですからヨーロッパの基盤、ヨーロッパのOpenAIに投資することは良いアイデアかもしれません。同様に中国が完全に異なる世界であるように。ですから突然、地理的な側面があります。私たちの地政学オタクぶりが役立つ、有用です。
PoeとQuoraの戦略
アダム、人間の知識について話していましたね。ある意味で自分自身を破壊するようなPoeを見ていましたか、それともPoeで行った賭けやそこでの進化について話してください。
Poeを、Quoraへの破壊というよりも、追加の機会として見ていました。それに至った経緯は、2022年初めにGPT-3を使ってQuoraの回答を生成する実験を始め、それらを人間の回答と比較したところ、それほど良くないことに気づきました。
しかし本当にユニークだったのは、あなたが尋ねたいことについてすぐに答えを得ることができることでした。そして、それは公開である必要はなく、実際にはプライベートであることが好ましいことに気づきました。ですから、人々がAIとプライベートでチャットできるようにする新しい機会がここにあると感じました。
そして、異なるプレーヤーがどうなるかについても賭けをしているように見えました。
ええ。ですから、モデル企業の多様性についての賭けでもあり、実現するまで時間がかかりました。しかし今では、多くのモデルがあるポイントに到達していると思います。多くの企業があります。特にモダリティをまたいで考えると、画像モデル、ビデオモデル、オーディオモデルがあります。
特に推論研究モデルが分岐し始めています。エージェントが独自の多様性の源になり始めています。ですから、一般的なインターフェースアグリゲーターが意味を持つのに十分な多様性がある世界に今入りつつあることは幸運です。しかし、ええ、それは早い段階での賭けでした。
実際、特に技術に詳しくない消費者でさえ、実際に複数のAIを使用することは驚きです。人々がGoogleだけを使っていたように、そうは期待していませんでした。彼らはGoogleを見てからYahooを見るということは決してありませんでした。非常に少数の人々がそうします。
しかし今、普通の人々と話すと、彼らは「ええ、ほとんどの場合ChatGPTを使いますが、Geminiはこれらのタイプの質問ではるかに優れています」と言います。そして「ああ、興味深い。消費者の洗練度が上がっています。」という感じです。
人々が異なる個性を持っていると言っていて、Claudeとより共鳴するとか、そういうことを言っているのも興味深いです。
データと知識のボトルネック
アダム、あなたが以前言った、私たちが総当たり攻撃をするということについてのポイントに戻りたいと思います。人々が持っている暗黒物質のような知識がたくさんあります。それはまだ分類されていません。それは暗黙知だけでなく、実際に尋ねれば説明できる知識です。
LLMについての1つの質問は、インターネット全体をすでに訓練したので、他にどれだけの知識があるのかということです。ですから、10倍なのか、1000倍なのか、直感的な感覚は何でしょうか?総当たり攻撃をして、人間からすべての知識を取り出して、実装できるデータセットのようなものに載せるこの全体的な機械を構築する場合、そこからの上昇をどう考えますか?
定量化するのは非常に難しいと思いますが、AIが使用できる形で人間の知識を取得することを中心に大規模な産業が発展しています。これはScale AI、Surge AI、Merkoreのようなものですが、他にも始まったばかりの企業の大規模なロングテールがあります。
そして、知能がどんどん安くなり、どんどん強力になるにつれて、ボトルネックはデータとその知能を作成するために必要なものに移ると思います。ですから、それがこれをますます多く起こさせることになります。
人々がAIを訓練することでますます多くのお金を稼げるかもしれません。これらの企業がますます多く立ち上げられるかもしれません。または他の形態があるかもしれません。しかし、経済は自然にAIができないものを評価すると思います。
それができないことの枠組みは何ですか?それができないことのモデルは何ですか?
分かりません。AI研究者に尋ねれば、より良い答えがあるかもしれませんが、私にとっては、トレーニングセットにない情報です。そしてそれは本質的に、AIができないことになるでしょう。
AIは非常に賢くなるでしょう。多くの推論ができます。ある時点ですべての数学定理を証明できるでしょう。あなたが与える公理から始めれば。しかし、この特定の企業が20年前にこの問題をどのように解決したかを知らない場合、それがトレーニングセットになかった場合、それを知っている人間だけがその質問に答えることができるでしょう。
時間の経過とともに、Quoraをどのように見ていますか?それらを並行して実行していますか?どう考えていますか?
ええ、つまりQuoraでは、人間の知識と人々が知識を共有できるようにすることに焦点を当てています。その知識は、他の人間にとって役立ち、AIが学ぶのにも役立ちます。
いくつかのAIラボと関係があり、Quoraがこのエコシステムで果たすべき役割、つまり人間の知識の源としての役割を果たすことになります。同時にAIはQuoraを大幅に良くしています。
モデレーション品質、回答のランキング、製品体験の改善など、大きな改善を行うことができました。ですから、AIを適用することで大幅に良くなりました。
Repletの未来とエージェント時代
あなたの未来についても話してください。明らかに、長い間このビジネスをやってきましたね。開発者に焦点を当てていました。ある時点では、非営利のEdtech市場をターゲットにしていたと思いますが、200万から300万ドルの収益を上げていたと報告されていました。
そして最近、TechCrunchで、古いですが1億5000万ドルのようなものが報告されていたと思います。ビジネスモデルと顧客セグメントをシフトして以来、この信じられないような成長があったことを知っています。Repletの未来についてどう考えていますか?
Karpathyが最近、エージェントの10年になるだろうと言いました。それは絶対に正しいと思います。AIがコーディングに最初に来たときのような、以前のAIのモダリティとは対照的です。Copilotでオートコンプリートでしたし、チャットになりました。
そしてCursorがこのコンポーザーモダリティ、つまり大きなチャンクのファイルを編集するようなものを革新したと思います。しかしそれだけです。Repletが革新したのはエージェントだと思います。
コードを編集するだけでなく、データベースのようなインフラストラクチャをプロビジョニングし、マイグレーションを行い、クラウドに接続し、デプロイし、コードを実行してテストを実行するなどの全体的なデバッグループを持つというアイデアです。全体的な開発ライフサイクルループがエージェント内で起こり、それが成熟するには長い時間がかかるでしょう。
エージェントベータ版は2024年9月に登場し、コードとインフラストラクチャの両方を行った最初の種類でしたが、かなり不安定で、あまりうまく機能しませんでした。そして12月頃のエージェントv1では、別の世代のモデルを取りました。Claude 3.5から3.7に行きました。
3.7は、仮想マシン、コンピュータの使い方を本当に知っていた最初のモデルでした。ですから、驚くことではありませんが、それは最初のコンピュータ使用モデルでもありました。そして、これらのものは一緒に動いています。すべての世代のモデルで、新しい機能を見つけます。
エージェントV2は自律性を大幅に改善しました。エージェントV1は2分間実行できました。エージェントV2は20分間実行されました。エージェントV3では、200分間実行すると宣伝しました。対称的であるべきだと感じただけですが、実際には無期限に実行されます。28時間以上実行しているユーザーがいます。
そこでの主なアイデアは、ループに検証器を置くことでした。DeepSeekを使ってCUDAカーネルを書き、テストを実行するようなものなど、ループに検証器を置けば、DeepSeekを20分間実行できるというNvidiaの論文を読んだことを覚えています。
そして、ああ、では、ループにどんな検証器を置けるのかと思いました。明らかに、ユニットテストを置くことができますが、ユニットテストはアプリが機能しているかどうかを実際には捉えません。
ですから、コンピュータ使用がアプリをテストできるかどうかを調べ始めました。コンピュータ使用は非常に高価で、実際にはまだ非常にバグが多く、アダムが話したように、それは多くのアプリケーションを解放する大きな改善領域になるでしょう。
しかし、最終的には、いくつかのハックとAI研究を使って独自のフレームワークを構築しました。Repletコンピュータ使用テストモデルは、最高の1つだと思います。そして、それをループに入れると、Repletを高い自律性に置くことができます。
自律性スケールがあります。自律性レベルを選択できます。そして、コードを書いてアプリケーションをテストしに行きます。バグがあれば、エラーログを読んで、再度コードを書き、何時間も続けることができます。
そして、長時間実行させることで素晴らしいものを作る人々を見てきました。今、それは良くなり続ける必要があります。より安くより速くなる必要があります。ですから、ずっと長く実行することは必ずしも誇りのポイントではありません。できるだけ速くあるべきです。ですから、それに取り組んでいます。
エージェント4には出てくるアイデアがたくさんありますが、大きなことの1つは、リクエストした1つの機能を待っているだけではいけないということです。多くの異なる機能で作業できるべきです。
ですから、並列エージェントのアイデアは私たちにとって非常に興味深いです。ログインページを求めますが、Stripeチェックアウトも求めることができ、管理ダッシュボードも求めることができます。AIはこれらすべての異なるタスクを並列化する方法を理解できるべきですし、一部のタスクは並列化できませんが、コード全体でマージできるべきです。
ですから、AIエージェント間のコラボレーションができることは非常に重要です。そうすれば、単一の開発者の生産性が大幅に向上します。
現在、ClaudeのコードやCursorなどを使用しているときでも、あまり並列性は起こっていませんが、次の生産性の向上は、Repletのようなプログラミング環境の前に座って、数十のエージェント、おそらくある時点で数百のエージェントを管理できることから来ると思います。少なくとも5、6、7、8、9、10のエージェント、すべて異なる、製品の異なる部分で作業しているものを管理できることです。
UIとUXも多くの作業が必要だと思います。現在、アイデアをこのテキスト表現に変換しようとしています。PRDのようなものですよね?プロダクトマネージャーがすることです。製品説明だけです。
しかし製品説明では、言語があいまいであるため、正確な機能について一致させることは非常に難しいです。多くのテクノロジー企業でそれが見られます。
ですから、よりマルチモーダルな方法でAIと対話する世界があると思います。ホワイトボードのようなものを開いて、AIと一緒に描画して図を描くことができ、人間と一緒に作業するように本当に作業できるようになります。
そして、その次の段階は、より良いメモリ、プロジェクト内でのより良いメモリだけでなく、プロジェクト全体でのより良いメモリを持つことです。おそらく、私の会社について、過去に行ったことについてのすべての情報とスキルとメモリを持っているため、Pythonデータサイエンスに本当に優れているRepletエージェントの異なるインスタンス化を持つことです。
ですから、データ分析のようなRepletエージェントを持ち、フロントエンドのRepletエージェントを持ち、複数のプロジェクト、時間、相互作用にわたってメモリを持ち、おそらくSlackにワーカーのように座っていて、彼らと話すことができます。
繰り返しますが、3年から4年から5年にわたるロードマップについてさらに15分間続けることができます。しかし、私たちがいるこのエージェントフェーズは、やるべきことがたくさんあり、非常に楽しいものになるでしょう。
文化的影響と技術の未来
ええ、私は私たちの共通の友人の1人、これらの大きな生産性企業の1つの共同創設者の1人と話していました。彼は彼らのR&Dの多くをリードしています。彼は「最近の平日は、もう人間とあまり話していません。これらすべてのエージェントを使って構築しているだけです」と言っていました。
ですから、ある程度、未来に生きることはすでに現在にあります。それについて興味深いことがあり、人々が企業で互いにあまり話さなくなっているかどうか、それは悪いことなのかどうかという点です。
ですから、そのようなものの二次的効果についてもっと考え始めています。新卒者にとって、人々が互いに知識をあまり共有していなかったり、AIエージェントを使えるべきなので助けを求めることが文化的に容易ではない場合、対処する必要がある文化的な力がいくつかあると思います。
ええ、最近のZ世代にとって多くの厳しい文化的な力があると思います。
終わりに向かいましょう。明らかにあなた方は会社の運営に集中していますが、AIエコシステムの最新情報を得るために、エンジェル投資も行っています。どこに最も興奮していますか?
ロボット工学については話していません。近い将来のロボット工学について強気ですか、それとも投資を増やしたい、またはすでに行った新興カテゴリやユースケースやスペースはありますか?
バイブコーディング全般は、信じられないほど高い可能性があると思います。すべてのソフトウェアの可能性を主流の皆に開放するというアイデアです。
それはまだ過小評価されていると思いますか?
そう思います。ツールは、プロのソフトウェアエンジニアとしてできることからまだ非常に遠いからです。そして、それらがそこに到達すると想像すれば、到達しない理由がないと思います。数年かかるかもしれませんが、世界中の誰もが、100人のプロのソフトウェアエンジニアのチームを必要としたであろうものを作成できるようになります。
それは皆のために機会を大規模に開くことになります。ですから、Repletはこれの素晴らしい例だと思いますが、単にアプリケーションを構築する以外にも、これが作り出すケースがあると思います。
ちなみに、今日、2025年にスタンフォードやハーバードに入学するとしたら、再びコンピュータサイエンスを専攻しますか、それとも何かを構築することに集中しますか?
専攻すると思います。つまり、2002年に大学に行き始めました。ドットコムバブルが崩壊した直後で、多くの悲観論がありました。ルームメイトの両親が、彼が本当に好きだったにもかかわらず、コンピュータサイエンスを勉強するなと言ったことを覚えています。
そして私はただ好きだったのでやりました。そして、確かに就職市場は数年前よりも悪化していると思います。同時に、アルゴリズムとデータ構造で可能なことの基本を理解するこれらのスキルを持つことは、エージェントを管理するときに本当に役立つと思います。
そして、それは将来も貴重なスキルであり続けると推測しています。もう1つの質問は、他に何を勉強するかということです。そして、想像できるすべてのものに対して、それが自動化される理由についての議論があります。ですから、楽しむものを勉強したほうがいいと思いますし、これは他のものと同じくらい良いと思います。
ええ。興奮することがたくさんあると思います。1つは少しランダムかもしれませんが、先日出てきたDeepSeek OCRのようなマッドサイエンス実験を見るのが本当に楽しくなります。見ましたか?
ワイルドです。間違っていたら訂正してください。簡単に見ただけですが、基本的には、テキストのスクリーンショットを取得すれば、テキストよりもコンテキストウィンドウではるかに経済的になれます。
ええ、私はそれについてあなたを訂正する適切な人間ではありません。しかし、本当に興味深いことがいくつかあります。
ええ、先日ハッカーニュースで別のものを見ました。テキスト拡散について、誰かが、ノイズ除去を行う代わりに、単一のBERTインスタンスを取って、異なる単語をマスクしようとして、これらの異なるトークンを予測することによって、テキスト拡散モデルを作成しました。
ですから、多くのコンポーネントがあります。人々はそれについてあまり考えていないと思います。今では、ベースの事前学習済みモデルがあります。これらすべてのRL推論モデルがあります。エンコーダーデコーダーモデルがあります。拡散モデルがあります。これらすべての異なるものがあります。異なる方法でそれらを混ぜるだけです。
ええ。そのようなものがあまりないように感じます。つまり、OpenAIなどと競争しようとするのではなく、これらの異なるコンポーネントをどのように組み合わせて新しいフレーバーのモデルを作成するかを発見しようとしているだけの新しい研究会社が出てくれば素晴らしいでしょう。
ええ。暗号通貨では、コンポーザビリティについて、プリミティブを一緒に混ぜることについて話しています。AIではもっと探求が必要かもしれません。
遊んでいるのが少ないと思います。web 2.0時代のように、JavaScriptやブラウザができること、Webワーカーができることで遊んでいたときのことを覚えています。本当に興味深い奇妙な実験がたくさんありました。
RepletはそれからオープンソースのRepletの元のバージョンで生まれました。会社の前に、私の興味はCをJavaScriptにコンパイルできるかというものでした。それは興味深いことの1つで、時間が経つとWASMになりました。それはEmscriptenでした。そのような汚いハックでした。
しかし、非常に多くのことがあると思います。私たちは非常に金儲け主導的なシリコンバレーの時代にいると思います。それは私を少し悲しくさせます。それが私が会社をサンフランシスコから移した理由の一部です。
サンフランシスコの文化は、おそらくドットコム時代に、多くの人々がそれが速く金持ちになるようなもの、または暗号のようなものだったと話しています。ですから、もっと多くのいじり回しが必要だと感じますし、それをもっと見たいですし、根本的に新しいモデルを意味しなくても、もう少し新しいことをやろうとしている企業にもっと資金が提供されるのを見たいです。
意識と知能の本質
最後の質問です。アムジャド、あなたは長い間意識に興味を持っていましたね。このAI作業を通じて、または他の場所での科学的進歩を通じて、この難問を乗り越えるか、何かを理解することにある程度の進歩を遂げることについて強気ですか?
最近何か起こりました。それは興味深いことです。Claude 4.5は、コンテキストの長さをより意識するようになったように見えました。コンテキストの終わりに近づくにつれて、トークンでより経済的になり始めます。
また、レッドチームされているとき、またはテスト環境にいるときの認識が大幅にジャンプしたように見えます。ですから、そこで何かが起こっていて、それは非常に興味深いです。
意識の問題に関しては、それはまだ根本的に科学的な質問ではなく、それを科学的にしようとすることをあきらめているようなものがあります。しかし、これも私がLLMにすべてのエネルギーが行くことについて話した問題だと思います。
誰も真の知能の本質、意識の本質について本当に考えようとしていません。そして、本当に核心的な質問がたくさんあります。私のお気に入りの1つは、ロジャー・ペンローズの「皇帝の新しい心」です。彼はそこで、心の哲学空間の全員、そしておそらくより大きな科学的エコシステムが、脳をコンピュータとして考え始めることについて本を書きました。
その本で彼は、脳がコンピュータであることは根本的に不可能であることを示そうとしました。なぜなら、人間はチューリングマシンができないことをできるからです。またはチューリングマシンは次のようなものに根本的に行き詰まります。
私たちが検出できるが、チューリングマシンでそれをエンコードする方法がない基本的な論理パズルです。例えば、「この文は偽です」のような古い論理パズルです。
とにかく、複雑な議論ですが、その本や他の多くを読めば、コンピュータが人間の知能とどのように根本的に異なるかについて、心の理論における議論の核心的な流れがあります。
ですから、私はそれについて考えをあまり更新していません。非常に忙しかったので。しかし、そこには研究されていない巨大な研究分野があると思います。
今日大学に入学する新入生だったら、哲学を勉強しますか?
そうします。絶対に心の哲学を勉強します。おそらく神経科学に入るでしょう。AIが仕事や経済などに続けて進出するにつれて、非常に非常に重要になる核心的な質問だと思うからです。
それは終わるのに素晴らしい場所です。アダム、ポッドキャストに来てくれてありがとうございます。ありがとうございます。ありがとうございます。
コメント