38,483 文字
将来はより分散化され、より共有所有権が広がったものになると思います。AIテクノロジーにおいて米国が中国より先行することに何か好みはありますか？いえ、私はまさにそのような二元論的な状況を避けたいのです。そこでオープンソースが重要になります。北朝鮮にも、北朝鮮にもオープンにしたいのです。
ええ、このテクノロジーはやってきます。いずれにしても、北朝鮮はそれを手に入れるでしょう。私はAIが私たちより強力になり、私たちがもはや一切のコントロールレバーを持てなくなると考えています。あなたはそれが不可能なシナリオだと言っているのですね。ええ、今後100年間は不可能です。
Doom Debatesへようこそ。今日のゲストはヒマヌ・チアギ博士です。インド科学研究所の工学教授であり、オープンソースAIプラットフォームであるSentient AIの共同創設者でもあります。このプラットフォームはブロックチェーン技術も使用しており、昨年ピーター・ティールのVC会社であるFounders Fundが主導する8500万ドルの資金調達を受けました。この対話では、AIアライメントに関する私たちそれぞれの見解と、フロンティアAIをオープンソース化することが良いアイデアかどうかを探求していきます。
こんにちは、ボヌー、Doom Debatesへようこそ。ハイ、来れて嬉しいです。来てくれてありがとう。これがあなたにとってある種のPRツアーだということは分かっています。あなたは名前を売り、Sentient AIとプラットフォームについて人々に話したいと思っている。でも同時に、質問をするだけでなく、たくさんの異論を投げかけるDoom Debatesに来る勇気がありますね。
あなたは地獄のPRツアーに迷い込んでしまったかもしれませんね。ええ、楽しみにしています。これが私たちが何をしているか、何をしていないかを知る正しい方法です。オーケー、素晴らしい。よく聞こえますよ。
それでは高いレベルから始めましょう。Sentientに対するあなたのビジョンは何ですか？Sentientは1年半前の初日からオープンで分散型のAGIを構築しています。私たちが信じていたことは、AGIに到達する正しい方法は、これらの複数のAIが互いに簡単に構成し、互いに競争することを可能にすることだということでした。この競争は今RLが実現していることであり、この構成はまだ起こっていないことです。
AGIを構築している巨大企業がありますが、彼らはすべてを自分たちで構築しており、それはAGIに到達する最良の方法ではありません。私たちはマーケットプレイス型の見方を取り、複数のエージェントが参加できるようにしますが、それでもすべては単一のAIとして提示されます。それがSentientが構築しているものです。オープンで分散型のAGIで、誰でも、すべての構築者が自分の構築しているものを持参し、自分のAI体験を追加でき、私たちはそのすべてを使用してユーザーに統一された万能のAGI体験を提供できます。
もしあなたたちが存在しなかったら、MetaやMistral、DeepSeekなどの企業の組み合わせが既にオープンソースAIのために十分なことをしていると思いませんか？オープンソースAIはこれの一つの要素であり、彼らはまあまあやっています。DeepSeekが登場する前は、彼らは十分ではなかったと思います。DeepSeekは他のすべての企業にとって素晴らしい目覚まし時計でした。彼らはまあまあやっています。これはこの種のプラットフォームをまとめるための要素です。
私たちには多くのオープンソースモデルが必要です。多くのオープンソースフレームワークが参加する必要があります。しかし、それらをすべてまとめて単一の提供、通常のAI提供のような消費者向け提供にするのが、私たちが埋めたいギャップです。私たちはそれらをすべてまとめる接着剤でありたいのです。この接着剤にはフロントエンドのイノベーションが必要です。この接着剤にはAIイノベーションが必要です。そしてこの接着剤には、それらをすべてまとめるための経済的インセンティブ、実際のビジネスインセンティブが必要です。
Sentientについて調べましたが、製品がどのように機能するのか、どのような形式で消費者に提示されるのかがよく理解できませんでした。それで、MetaのLlamaモデルのようなものだが、私たちはこれもやるという風に説明していただけますか？なぜSentientがこれらの代替案より優れているのですか？
完璧です。あなたはモデル側から来ています。Sentientから出る主要な製品は、現在プライベートベータ版のSentient Chatと呼ばれるものです。これは、poe.comのような単一のプラットフォーム消費者製品で、poe.comが今日あるものと類似点を描くことができます。しかし、poe.comは誰でも来てエージェントをプラグインできるマーケットプレイスです。
しかし、私たちが追加で行いたいことは、それをOpenAIのような単一の体験、つまりあなたがこのクエリを尋ね、そのクエリがルーティングされ、異なるデータソースとともに持ち去られ、タスクを実行するか、クエリを受け取るような単一のプラットフォームにまとめることです。それが私たちが求めている出力です。
これに向けて、私たちの信念は、オープンソースでしかできないということです。オープンモデルとオープンフレームワークがなければ、十分な体験が利用できなくなり、十分な構築者が物事を行えなくなるからです。その観点から、私たちはオープンソース部分を構築しました。その観点から、私たちはオープンソースモデルを使用し、拡張してここに持ち込みます。
poe.comと似ていると言いましたね。私はPoを知らないと思います。ああ、KoraのPoeのようなものですね。まさにそうです。ええ。クール。オーケー。いいですね。ええ、それは理にかなっています。彼らにはチャットフロントエンドがあって、異なるタブで異なるAIモデルを表すことができますよね。それが彼らがやっていることです。
それは私たちの製品のひどいバージョンです。私たちには要求があります。インターフェイスの観点での決定をこのような形で人間に委ねたくありません。AIの魅力は、このような形での決定を人間に委ねるべきではないということです。私には何らかの意図があり、それに対する答えや応答が欲しいのです。そのような形であるべきです。このような形で利用可能なすべてのオプションは望みません。
了解です。昨年のあなたの8500万ドルの資金調達ラウンドをピーター・ティールのFounders Fundが主導したと聞いて、非常に興味深く思いました。Founders Fundにピッチしに行ったとき、どの程度進んでいましたか？彼らを説得して投資してもらうにはどうしましたか？彼らが本当に気に入ったのは何でしたか？
これは非常に早期のオープンソース収益化でした。当時の大きな課題は、このようなアイデアを思いついた場合、オープンソースの収益化を支援するという主張をすることでした。当時は研究グレードのオープンソースDeepSeekはなく、Metaがそれを主導していました。Metaには特定の歴史があります。非常に矛盾した会社で、オープンソースをサポートしながら、常にその周りで他の何らかの駆け引きをしています。
私たちの主な点は、このようなオープンプラットフォームを持っているとき、このようなオープンなものを持っているとき、実際に収益化するのに十分なコントロールが利用できることをどのように確実にするかということでした。このAIモデルの無法地帯があなたのデータを奪って、悪意のある方向にあなたを操作しないことを確実にするために、十分なコントロールとガードレートが利用できることをどのように確実にするかということです。
それが私たちがLoyal AIと呼ぶテクノロジーです。それがFounders Fundが当時賭けていた主要なテクノロジーであり、今でも主要な研究テクノロジーですが、今では私たちのGTMの観点でより地に足の着いたものになっています。今では私たちはより消費者向けになっているので、Sentient Shareという消費者製品がありますが、それでも大きなミッションは、このようなオープンプラットフォームで相互作用し、私たちがあなたと、どこにいるか、どこでモデルがホストされているか分からない他の構築者の海との仲介者である場合でも、このAIに依存し、それがあなたのために機能することを確実にできるような忠実なAIを可能にすることです。それが私たちが構築するテクノロジーです。
ピーター・ティールは私が多くの点で意見を異にする人物ですが、彼はbasedだと言えるでしょう。最近の若者たちが使うスラングを知っていますか？彼らは、現状や現在の流れによって必ずしも形作られない一貫した原則に基づいて行動しているように見える人をbasedと呼びます。
ピーター・ティールはbasedな個人です。彼のより大きなビジョンは何だと思いますか？あるいは、彼が感じている原則は何だと思いますか？あなたは彼とは別の人物であることは分かっていますが、彼は通常、このような投資を行う際により深い理由を持っているように感じます。
ここでの理由は、私たちが非常に新しい時代に入りつつあるということだと思います。多くの話が行われているように見えますが、まだ始まりに過ぎません。そして、オープンソースの観点から、OpenAIに対する代替案があると思います。Founders Fundは私たちがこれを言うのを好まないことを知っていますが、言わなければなりません。なぜなら、私たちは彼らにこれを言ったからです。これはOpenAIのオープンソース競合他社です。これが目標でなければなりません。
人々が、あなたはOpenAIのオープンソース競合他社を構築している、と言うとき、それはMetaではありません。Metaは最終製品ではありません。Llamaモデルはそのインフラ部分に過ぎません。同等にパフォーマンスが高く、同等に魅力的なAIを構築する必要があり、現在ある意味で拒絶されているすべての構築者エネルギーに依存する必要があります。異なるエージェント構築者にとって、それほど多くの選択肢がないのです。
この エージェント構築者プールは成長し、爆発しているところです。私の9歳の娘がある意味でエージェント構築者です。小さなプラットフォームを使って、何らかの創造性を表現しています。彼らはソフトウェアを書いているわけではありません。創造性を表現しているのです。これらは楽しいインタラクティブな体験です。
今日、そのようなものはすべてどこへ行くのでしょうか？私たちはそのプラットフォームでありたいのです。私たちの主張は、このAIの集合体も、これらの特異で一枚岩の広範な提供と同等に強力なAGI提供だということです。それが私たちのミッションです。これはAGIミッションの代替パスです。一般的に、Founders Fundはこのミッションのための代替パスと一致していると思います。
了解です。理にかなっています。彼らはオープンソース支持のようですね。あなたの製品は既に市場に出ていて、既にローンチされていることを知っています。あなたたちがLoyal AIを使ったSentient Chat Searchをローンチし、50万件のクエリに回答したという統計を見ました。非常に具体的になれますか？あなたの娘が使っていると言いましたね。
1人のユーザーについて教えてください。彼らは製品に何を入力し、どのような有用なものを得たのですか？私たちはプライベートベータ版です。現在の数字は100万です。50万という数字は少し古いツイートです。
製品には2つのクラスがあります。1つは、プロサーチを持つ巨大な特異エージェントで、暗号エージェントを持っています。私たちの初期ユーザープールが暗号ユーザーだからです。私たちはすべての暗号ネイティブユーザーにとってナンバーワンのAI提供でありたいのです。それが初期ユーザープールです。
すべてオープンソースフレームワーク上に構築された深い調査を行うことができるプロサーチがあり、私たちがオープンソース化したもので、誰でもアクセスできます。それから暗号エージェントがあります。これらのものを特別にするのは、私たちが持っているリアルタイムデータの種類です。
このリアルタイムデータも1つか2つのソースからのものではありません。7、8の異なるソースの他のプロバイダーが貢献しています。投資について聞くことができます。ニュースについて聞くことができます。暗号はすべてアルファに関するものです。アルファについて、何がトレンドか、何が起こっているかを聞くことができ、その情報を常に最新に保ちます。
それが私たちのより大きな巨大エージェントで、単一の提供です。それから、今日100の異なるエージェントがリストされ、そのうち15がすでに統合されてライブで、残りは追加される予定のコミュニティエージェントセクションがあります。これらは他の企業によって構築された、より小さなまたは異なる種類のエージェントで、ここで利用できます。
私たちは、適切だと感じるときと場所で、あなたの旅でそれらを推奨します。しかし、このコミュニティエージェントのビジョンは、現在私たちが持っているものは十分にお粗末ではないということです。本当に本当に楽しくて巧妙なエージェントがそこに欲しいのです。この新しい体験セット、この一つの仕事エージェント、この小さなインタラクションエージェントが来て、スペースを支配するのを見ています。
それがコミュニティエージェント側のビジョンです。クエリを受け取り、あなたをすべての場所、すべてのデータソース、あなたのことに答えたりタスクを実行したりするのに必要なモデルに連れて行くルーティングを行う巨大エージェントがあり、それから私たちが行っていることを横で推奨します。今日の主要な使用例は、暗号ニュース、このような検索でアルファを見つけることです。
あなたの製品が今日立っている場所で、基本的にOpenAIのGPTのような月額20ドルの提供と似ているか等しいと思いますか？無料のオープンソースでそれらと同等のことをしているだけだと感じますか？それとも、今日あなたが彼らを上回る使用例もあると思いますか？
GPTと比較できます。私たちが彼らを上回る使用例は、今日私たちが持っているデータソースと私たちが行う暗号分析です。それは私たちの初期の使用例で、彼らを上回りたい部分だからです。それが今日私たちが彼らを上回っている場所です。
現状の他の製品対あなたの製品の特定のクエリでの比較を教えてもらえますか？非常に重要だと思うからです。この特定の例では私たちの方が良いということが非常に明確ないくつかの個別の例を指摘できることが。
今朝ユーザーがツイートしているのを見た頭に浮かぶ例は、Near tokenに対して他のトークンよりもどう投資すべきかの分析です。私たちが上回ることができた理由は、コーディングの使用方法と、Coin GeckoやKaoからのセンチメントでより多くのデータソースを使用し、今このコインに投資すべき理由またはすべきでない理由について、より完全なレポートを作成する方法にあります。
この使用例は、暗号クエリと深い検索のような私たちが始めた使用例の1つですが、アイデアは同じルーターの後ろで一度に1つのエージェントずつ水平に拡張し続けることです。今日は、プロサーチエージェントと暗号エージェントだけがルーターの後ろにあります。
この特定の例では、Coin Geckoやより多くの暗号アドバイス型データ、暗号分析型データのようなデータソースで優位性があったと言っているのですね。主にニュースソースですか？それは主にどのようなデータソースなのか興味があります。
暗号でのデータソースの観点から何が起こっているかというと、多くの企業が異なる方法でデータをインデックス化しています。同じデータですが、どのように取り出すか、何を準備しておくか、このようなフレームワークが使用できるように人々が行っている異なる種類の組織化の仕方があります。これは、このデータがオンチェーンデータ、取引所レベルのデータだからです。人々はそれを取り、クリーンアップし、特定の方法で整理します。
あなたのNear tokenへの投資についてのより良いアドバイスを与えるクエリで、OpenAIのGPTと比較した際の優位性について、OpenAIが同じデータを取り込んでいるが同じように処理していないことに起因すると思いますか？
いえ、違います。そのデータを持っていないのです。OpenAIは大体Coin Geckoだけで、Coin Geckoは単一のAPIではありません。多くのAPIがあります。検索からこの回答に基づくエージェントに移行する際に重要なのは、エージェントがすぐに1つの回答を出し、すぐに何らかの意見を出すことです。
以前の検索では、あなたに責任がありました。あなたがクリックして見て、どのソースを見ているかを知るのです。今では、エージェントが判断を下して、これが答えだと言わなければなりません。多くの場合、これらの答えには相反する見解があります。
例えば、Coin Geckoの代わりに他のAPIを使用すると、様々な理由でどのトークンがトップかについて非常に異なる見解を持つ可能性があります。
この場合に何が起こるかというと、今日起こっていることは、OpenAIが私はCoin Geckoを使っているだけだと宣言し、1つを選んだということです。Perplexityは少し違います。Perplexityがすることは、ソースを宣言しませんが、なぜか人々はすでにそれを信じています。それでも彼らがコミットした1つのソースです。
私たちが異なって行おうとすることは、このソースによればこれを言っている、このソースによればこれを言っている、というように示し、なんとかそのようにより良いサマリーを提供することです。それが私たちが検索データでサマリーステップで取る1つの小さな違いです。
本当にあなたの差別化を示しているその1つの例に戻ると、誰かがNear tokenに投資するかどうかのアドバイスについて尋ねた例で、Coin Geckoからの意見のようなOpenAI APIとは違って、あなたのバージョンは複数のソースからの意見のようで比較できると言っているのですね。それが違いだと。
その違いです。そして分析もです。私たちはコードを書くからです。OpenAIはもうコードを書きません。それらのAPIを取って、そのAPIが提供するものをそのまま出すだけです。私たちは暗号エージェントの一部として、コーデックフレームワークも統合しています。そのため、より深い分析を行い、Coin Gecko APIがデフォルトで提供するよりも基本的な数字を多く提供します。
まだあなたたちの差別化を理解しようとしています。複数のソースを与える、OpenAIは1つのソースしか与えないと言うとき、複数のソースをクロールし続けるつもりだからだと根本的に考えているのか、それとも複数を見せるという製品決定をしているだけなのか、根本的な差別化とは正確に何ですか？
今はクロールしていません。クロールしていますが、ここでのホープは、クロールして収集しているすべての企業がここに統合し始めることです。今日でも、私たちが使用するデータソースは1つだけではありません。私が言ったように、KTO、Coin Geko、それに私たちがここに統合したいくつかのAPIがあります。
長期的に理解しようとしているのですが、根本的に、あなたとOpenAIは何を異なって行っているのですか？OpenAIは長期的にもこれらの他のデータソースを摂取することを拒否すると思いますか？
今日データソースを持っているとしましょう。OpenAIにそのデータソースを利用可能にするために、あなたには何のメカニズムがあるのでしょうか？あなたたちの差別化は、これらすべてのデータソースと協力して公開フィードを露出させ、それから公開フィードをクロールするつもりで、OpenAIはそれをしないと思っているということですか？
データソース、エージェント、モデル、すべてです。これはデータソースの例でした。私たちはより多くのエージェントを統合したいのです。他の人によって構築されたプロダクショングレードのエージェント、単なる通常のおもちゃエージェントではなく、単なるプロトタイプでもありません。私たちはそれらのエージェントを統合したいのです。より多くのデータソースを統合し、人々が構築できるより多くのモデルを持ちたいのです。
あなたにデータを与えている人々が、OpenAIにデータを与えることを拒否すると思う根本的な何かがあると思いますか？そうは思いません。OpenAIがどのデータを取るかを決めていると思います。なぜなら、彼らは特定の方法でエンジニアリングを行わなければならないからです。
これは私たちが取った賭けですが、OpenAIはこれらすべての人を収益化するのを助けるためにここにいるのではないと感じています。OpenAIは独占を構築するためにそこにいます。AGIへの彼らのアプローチは、すべてのデータを持つ必要があるということです。彼らはすべてのデータを収集し、すべての収益化、すべてを自分たちに留めておきたいのです。それが彼らのアプローチです。すべてのデータソースから構築された一枚岩のAIで、完全に彼らによってコントロールされています。
私たちのアプローチは、これはすべてのAI構築者と共有される単一チャネルの流通チャネルです。私たちが流通チャネルだからです。すべてのAI構築者と共有されます。彼らは彼らのデジタルソースを私たちと統合できます。彼らのエージェントを私たちと統合できます。それが私たちが取っているアプローチで、POEアプローチとも非常に似ていると信じていますが、それらとの違いについて話します。
エンジェル投資家の帽子をかぶって異なるスタートアップを見ると、人々がスタートアップについてどう考えるかの共通の失敗モードがあります。抽象的なピッチに非常に興奮し、具体的な使用例について尋ねると、まあ、後で来るという感じで、実際には準備ができていないのです。
あなたの場合、あなたがこれをしているとは言いませんが、開発者のためのオープンコミュニティがある、開発者側に立つ唯一の存在で、本当に持続可能に収益化するのを助けるというような、非常に良く聞こえる抽象的なピッチをたくさんしています。
それから使用例について尋ねると、まあ、暗号のためのいくつかのデータソースで先行しているという感じです。私の意見では、具体的な話になると少し弱くなります。しかし、これを確認するために尋ねますが、私のような個人的なユーザーとして、私はOpenAIとClaude、Geminiにかなり満足しています。
来年、私のような誰かがSentient Chatの使用に切り替えるべき説得力のある理由があると思いますか？それは絶対に目標です。そして、私はこのAIについて認めるべきことがあります。消費者向けAIに参入し始めると、今はそれに入っているのですが、暗号部分があって、今はそれについて話していませんが、この差別化要因とこの10クエリクラスの勝利は、一度に1つずつブートストラップしているのです。
今日、私たちの初期コホートはこの暗号コホートです。最も注目を集めているところだからです。私たちが最初に征服したい場所だからです。私たちの次の目標は、この暗号アルファやこの新しいデータソースには興味がないかもしれませんが、何らかのタスクや何らかの体験により興味があるあなたのようなAIユーザーに到達することです。私たちがこの構築者たちと一緒にエージェントを構築するのをインキュベートするとき、これは私たちが次に攻撃したいセクターでの意見を持ったインキュベーションです。それが私たちの方法です。1年後にはあなたに私たちのユーザーベースの一部になってもらいたいという希望があります。
私がどのようにして切り替えるよう説得されるかを想像してみましょう。私がGPTをどのように使用しているかを見ると、画像生成は忘れましょう。それはあなたの専門分野ではないようですね。私はランダムな医学的質問について多く話します。なぜなら、私が知っているすべてのことや私について知っていることの異なる要因をどのように合成できるかが大好きだからです。妻のそのようなことを手伝うこともあります。それはあなたがこれらの他の競合他社から引き離そうとしている使用例だと思いますか？
医学的部分はこれまで使用例として見てきませんでした。私たちの構築者エネルギーがどこにあるかをお話しします。私たちが見ているのは、まず暗号での情報使用例です。次は、同様に金融的なことに拡張するより多くの金融的なことです。次は、あなたの代わりに投資し、少額であなたの代わりにこのような行動を取ることができるより自律的なエージェントです。
これは、私たちが既にマッピングした1つの軌道です。自律的エージェントも、ウォレットを保持し、あなたの代わりに投資できる暗号で起こっている非常に興味深いことです。物事のより自律的な部分です。これが私たちが持っている1つの軌道です。
もう1つの軌道は、より創造的なこと、このAIを通じて来るイタリアのブレインロット、この種の体験周りのTikTokのAIのようなものです。私たちが出したモデルDobbyを見ると、そのモデルの面白い部分は、彼がどのように話し、どのような性格を持っているかの周りです。
これは私たちが構築している性格のモデルの他の場所です。私たちは、このAIがここにいてあなたに仕える従者として、あなたがこれをして戻ってくるという概念を信じています。非常に人気になるいくつかの性格が出てくるでしょう。Grokは1つの人気な性格ですが、私たちのモデルはGrokより少し前に出たと言わなければなりません。非常に特徴的なペルソナと性格、話し方があります。
この性格ベースのモデルが類似のエージェントと類似の体験を促進することが、私たちが見ている次のセグメントです。それが私たちのユーザーベースが今日ある場所です。
これまでに聞いた内容を要約すると、これらすべての使用例について話すとき、サム・アルトマンのところに行って「これらの使用例についてどう思いますか？」と言ったら、彼も「ああ、私たちもそのための解決策に取り組むつもりです。あなたが望む金融情報を集めるエージェントを作るのを手伝うつもりです」と言うと思います。
しかし、あなたはあなたのコミュニティがこのオープンソースコミュニティであることでより幸せになり、そこから差別化が生まれると言うでしょう。それはかなり良い要約ですか？
ええ、差別化は、どれだけ多くの異なる構築者と連携したいかから生まれるでしょう。情報を処理し、それについて意見を持ったデータを持ち、すべてのような体験について、非常に多くの方法があると私たちは信じています。コミュニティファーストでそれを得れば、はるかに多くのことができます。
NetflixになりたいかYouTubeになりたいかのようなものです。Netflixも明らかに流通チャネルですが、Netflixは重い制作会社で、私たちはYouTubeでありたいのです。ユーザー生成コンテンツは信じられないほど価値があり、Netflixが生成するものよりも多くを足し合わせるからです。
まさにそうです。原則として、NetflixはYouTubeが持つすべてを生成できます。しかし、YouTubeは異なって動きます。TikTokは異なって動きます。
OpenAIは、より良い類推はGoogle検索のようなものかもしれないと言うと思います。OpenAIが行っていることの多くは、ウェブからすべての情報とすべてのAPIエンドポイントを取得し、あなたをそれらに向けることだからです。彼らは自分たちを検索、あなたの検索の旅の始まりと見ています。
その意味で、ウェブ価値のユーザー生成コンテンツを持つという点でYouTubeに類似しています。あなたが言っているのは、OpenAIがウェブ上で利用可能なエージェントの検索を持つということですか、彼らがそのパスを取る場合。
私が言っているのは、あなたが類推で暗示しているのは、OpenAIはNetflixのようだが、彼らが提供しているものを見ると、彼らが提供しているもののほとんどは、彼らが生産していないデータの合成に基づいているということです。
まあ、それは特定の使用例であるチャットボットが検索に大きく依存しているからです。このデータがどこか他の場所から来ているからといって、それをそのように考えるのは正しい方法ではないと思います。それは、OpenAIが発見し、少し驚いた ユーザー行動だからです。
Perplexityが最初にそれを呼び、私たちも苦労して発見しました。任意のエージェントをローンチして、それが何をするかをユーザーに非常に明確に伝えなければ、ユーザーは最新情報を求め、OpenAIはそのため検索を統合しました。しかし、それはまだ特異な体験です。この検索プラスエージェントは深い検索エージェント体験です。
それは特異な体験です。確かに持つ必要がある体験以上のものではありません。もちろん、その検索がどのようなものか、そのデータが何を摂取するか、そのデータをどのように分析するかについての質問があります。そのデータを何をするか、どのように調整するか、そこでいくつかのより多くのオプションを許可できるか、どのような異なる種類のデータソースが来るかが、私が話している水平な広がりです。
OpenAIが競争または部分集合として見る多くのエージェントがありますが、彼らは見ないかもしれませんが、それらは存在します。すべての種類のAIを構築しているすべての人々は、原則的に彼らと多少並行しています。私がこれを奇妙と呼んでいるのは、困難なビジネス使用例だからですが、Manus AI、原則的にOpenAIも、人々はそれも考慮できます。
なぜ彼らは非同期のことを持てないのでしょうか？しかし、ManusやすべてのAsync taskエージェントのようなものを可能にするために必要な特注の統合や物事は、OpenAIが行かないであろうものです。それが今日の考えです。
一般的に、そのようなものは、すべての可能なAIの体験を考えてそれを与える単一の企業ではなく、すべての他の構築者と一緒にみんなで行うのが最良です。
もちろん、OpenAIは、見てください、私たちにはAPIがあります、広く使用されているAPIがあり、他の人々が私たちのAPIの上に製品をリリースしています、と言うでしょう。
絶対にそうです。この意味で、私たちは彼らと競争しません。私たちのプラットフォーム上の多くのエージェントも、これが彼らが使用しているモデルだと宣言してOpenAIのAPIを使用しており、この意味で私たちは競争しません。
私たちは、私たちは彼らのモデルを使用しないと言って競争しません。私たちは、彼らが持つ特異なチャット体験、その体験自体が、O3のような一枚岩の単一モデルを持つのではなく、複数のエージェント上に構築されるべきだと言って競争します。
O3はそのスピードにおいて素晴らしいですが、すべてのクエリに対して同じ時間量という問題があります。同じクエリに対してより安い答えが欲しいかもしれない、より速い答えが欲しいかもしれないという多くのオプションがありません。それはまだ完全に廃止されるまで使用している4ほど悪くありませんが、体験のその全体的なスペースが、コミュニティ構築バージョンが存在する場所です。
Dobbyモデルと呼ばれるこれらのモデルがありますね。それらはMeta Llamaモデルと真っ向から競争していますか？いえ、DobbyはLlamaの上に構築されています。Dobbyは、人々がそれを望む方法でモデルを構築する方法についてのポイントを作るために設計されています。
目標は、大きな人口によって直接制御され、統治されるモデルを構築できることを示すことでした。それはLlamaのファインチューニングのようなものですか？Llamaのファインチューニングです。
具体的には、よく理解していないかもしれませんが、アイデアはDobbyに質問すると、それからコミュニティからの何かにフェデレートするのを知っているということですか？それが最初のDobbyの構成と基本的なフレームワークがフェデレートされた方法です。それからそのデータを拡張し、非常に特定のトーンと非常に特定の価値観アライメントでキャラクターを構築します。
Sentientの製品について少し学びました。AIの人類による使用に関する私たちの見解と推奨について、より高いレベルで話しましょう。いいですか？絶対に。
私が聞きたい高いレベルの質問は、オープンソースAIについて、米国対中国対他の国にとって何が良いと思うかということです。多くの進歩をオープンソースまたはクローズドソースで行う方が良いと思いますか？
この答えにはいくつかの部分があります。まず、オープンソースインフラは今私たちすべてが行う必要があることだと思います。私がこれを言う理由は、それが持ち込む監査可能性、イノベーション、物事の種類が、人類にとって作るか壊すかのこの種の変革技術において非常に重要だからです。
このテクノロジーの閉ざされたドアでの開発について、私は絶対に不快です。何でも、最近の地政学的発展が、この種のことに対する私の疑念をある程度確認しました。私は様々な文脈について話しています。中国が彼らに対するコンピュートの制裁のようなもの後にAIにアプローチした方法について話しています。
また、最近の政治、特に米国政治自体で意見がどのように使用されているかについても話しています。米国政治は非常に特別な場所であり、非常に直接的なコミュニケーション政治であり、交渉は直接的なコミュニケーションベースです。AIが真ん中に来ることで、このメッセージングを感じます。私たちは、主流政治が直接的に意見形成やソーシャルメディア上での影響力のような手段に依存している非常に特別な場所にいると感じます。もちろん、AIはそれを行う中間物です。
みんなが使用しているこのAIについて、私はそれがオープンソースであることを望みます。どのモデルがフードの下にあるかを知りたいし、どのモデルがあるかを知りたいです。ユーザーとしての私にとって。開発者としての私も明らかにこのオープンソースアーティファクトを望みます。アプリケーションのイノベーションとAI自体の進歩がオープンソース上でより速いからです。
Leopold AschenbrennerとDario Amodeiからの議論をご存知ですか？いえ、知りません。
私が正しくパラフレーズしていることを望みますが、これらの議論は私には理にかなっているように見えます。AIをクローズドソースで開発すべき方法についての基本的なケースのようなものです。アイデアは、もしオープンソースで開発するとしたら、別のブレイクスルーを作って完全にオープンソースにし、そのブレイクスルーが軍事を実際に形作ることができるようなエージェントを持つことを可能にするとします。
彼らは防衛戦略を作成できます。すべての軍事資産を調整できます。実際に機能するミサイルシールドさえ持てるかもしれません。突然、攻撃と防衛で戦争能力を本当にアップグレードします。多くの人がAIがどれだけ良くなるかという観点で現実的だと考えるそのシナリオで、軍事協調能力全体の規模で置き換えるようなものです。
彼らはこのAIができることについて大きな夢を持っています。ほんの数年の間にそこに到達すると想像してください。その場合、オープンソースにして、すべての競合国がすぐにそれを持つようにするのと、リードを持つのが良いのか、どちらが良いでしょうか？DarioとLeopoldは、米国にリードを与えようとする角度を取るのが好きだと思います。
これがまさにその点です。この議論はすべて私たちと彼らについてです。全体のポイントは、もしあなたが私たち対彼らのアプローチを取り、他の競合するグローバルな圧力を維持できるなら、クローズドソースでそれを行うべきだということです。ええ、この議論はできます。これは何らかのオープンソースで行うことができるという信念を持っています。これは、特にこのブレイクスルーレベルのイノベーションの場合、すべてのイノベーションがクローズドであるべきだという議論ができる論拠です。
この他の部分は、世界の残りについてです。これがオープンソースでない場合、これが拡散されない場合、これらのバランス、チェックとバランスが外れ、非常にクレイジーで変革的なテクノロジーです。
私は、少数の国または1つか2つの国がそれをクローズドソースで持ち、残りの世界を理解したというその側から来ています。残りの世界は直接的または間接的にこれに餌を与えています。結局のところ、AI全体はオープンソースで始まり、結局のところ、オープンソースでインターネット上に利用可能な知識の上に構築されています。
インターネットの成功は、みんながそれに修正を加えていることです。その成功が今突然取られ、突然何らかの大きなブレイクスルーがあったと感じるからロックしようとしています。カウンターフォースは、この可能性に抵抗しなければならない、みんなが技術への平等なアクセスを持つことを確実にしなければならないと主張しています。それがこの点です。
私が言ったことにどのように関連しているのか少し混乱しています。そのシナリオで、つまり、1つの国が実際に軍事的に非常に重要なこのブレイクスルーを最初に作る可能性がまともにあるというのは、話す価値のある前提として受け入れているのですか？それは合理的な前提ですか？
それは合理的で、実際には非常に実現可能な前提です。AIが軍事に非常に劇的な方法で影響を与え、戦略的構築の種類です。
その前提を受け入れるなら、正しく理解したとすると、その前提に関与しているなら、すべての国に同時に軍事的にレベルアップしてもらいたいということですか？
絶対にです。それはオープンでなければなりません。その防衛と攻撃はオープンに開発されなければなりません。北朝鮮にも、北朝鮮にもオープンにしたいですか？
ええ、これが議論の種類ですが、この技術はやってきます。いずれにしても、北朝鮮はそれを手に入れるでしょう。しかし、私は特にこの仮想的な状況で尋ねています。あなたがタイムラインを選ぶことができますよね？あなたの応答がそれは間違いなく来るということなら。
まあ、あなたがコントロールできます。米国に最初に来ることを望みますか？なぜ私がそんなことを言うでしょうか？私は全く米国市民ではありませんし、これらの技術が米国に最初に来ることの効果を見てきました。この議論全体は非常に米国中心主義的だと私が言おうとしていることです。
では、どの国にここで優先権を持ってもらいたいですか？好きな国を1つ選ぶとしたら何ですか？1つの国がリードにいることを選ばないでしょう。これは1つの国がリードにいる状況ではないチャンスです。
私はこれにチェックとバランスを望みます。このAI機会がすべての国に一緒にベースラインで来て、それからすべての国が個別に望む場合はその部分を別々に並行して取り、開発することを望みます。彼らが差別化できると思う部分です。
しかし、このコアベースの技術がすべてオープンに利用可能であることを確実にするカウンターフォースの非常に重要な必要性があります。もしそのような形で来るなら、100年間の非対称性の準備はできていません。その話の全体の部分。
あなたの市民権の国はどこですか？私の市民権の国はインドです。あなたは今ドバイを拠点にしていて、Sentientをやっているのですね。ええ、今年はドバイを拠点にしています。
インドがこの全体のレースで前に出ることへの何らかの贔屓はありますか？そうは思いません。そのようなチャンスもないと思います。起こった非常に直感に反することの1つは、私たちがいる場所のために中国が最初に来ることを心配していたでしょう。
起こった非常に直感に反することの1つは、今中国が1つか2つの国がこの技術を支配し、角に追いやり、軍事的にこのような形で取ることができるというこの可能性に カウンターするためのオープンソースモデルの旗手になっているということです。
それより高いバーがあります。あなたがロックする部分はできるだけオープンに利用可能であるべきで、それからその残りはロックできるというバーは非常に高くあるべきです。
遅れてもらいたい国はありますか？北朝鮮やイランは、私たちが彼らを遅らせることができるなら素晴らしいと思いませんか？彼らを遅らせる、遅らせるとはどのように起こるのですか？あなたの遅らせるモデルは何ですか？
この正確なシナリオで私たちが彼らを遅らせる方法は、私たちが好きな国、例えば米国が、世界に対して行使できる力の量に対して平均以上に道徳的により良い国だと思うからです。記録のために、それは私の2番目に好きな国です。私は10年間そこで過ごしました。米国でPhDを取得しました。米国の教育システムから多くを得て、米国が達成したすべてに畏敬の念を抱いています。世界で2番目に好きな国です。
それは私の個人的に1番好きな国です。それからイランや北朝鮮と比較すると、彼らは私の意見では下位数パーセントに入るでしょう。米国が最先端を持つことが少しも良いとは思いませんか？ゲームボードをひっくり返すことを考えてみてください。シナリオをより詳しく説明させてください。
この新しいAIツールが非常に強力で、イランの軍事さえも米国と真っ向から対戦するよう形作ることができると想像してください。それはあなたが望むことですか？
私があなたの議論で聞いているのは、米国にこのツールを開発させ、自分たちだけに留めておかせることです。なぜなら、私たちはより良く知っており、みんなを保護する方法なので他の人には与えないからです。
この形でこの議論を買わない、そしてできるだけオープンに多くAIモデルを構築するであろうカウンターフォースがいると私は言っているだけです。なぜなら、そこで彼らは軍事グレードのすべてのグレードの合理的なAIを構築するチャンスを持つためにグローバルフォースを組み合わせることができるからです。これらのカウンターフォースは存在し、私はそれらのカウンターフォースをサポートしたいのです。中央集権化された私がみんなを救う、私を信頼してに対するオープンで分散化されたカウンターバランスです。
仮想的なもののどの部分に同意していないのかの完全な明確さがまだありません。仮想的なものを少し単純化させてください。世界に2つの国だけがあると言いましょう。米国と北朝鮮です。この新しいAI技術について、最新のクローズドソースモデルの1年分のAI進歩がゲームをひっくり返すほど良いだろうと議論のために言いましょう。
北朝鮮がそれを持っていたら。いえ、この前提を拒否しています。2つの国しかないという前提を拒否しています。インド、パキスタン、他の多くの国があると言っています。それらのいくつかは米国と一致し、いくつかは米国と一致せず、いくつかはロシアと一致し、いくつかはイランと一致し、いくつかはしません。
あなたが拒否する前提を仮想的に受け入れてもらえますか？そうすれば戻って、なぜ前提が欠陥があると思うかを話すことができます。しかし、本当に世界に2つの国だけがあったら、米国と北朝鮮、その状況では、米国がクローズドソースを使って先に進むことができる方が良いとただ言うでしょうか？
この仮想的では、あなたは1つの絶対的な善と1つの絶対的な悪があると言いました。あなたの見解で絶対的な善を支持するか、絶対的な悪を支持するかということですか？少し弱めて、文字通り米国と北朝鮮にすることはできますか？絶対的な善や悪ではなく、米国対北朝鮮です。
世界がそのように配置されているとは思いません。複雑なつながりがあると思います。米国が北朝鮮と友達になろうとしないかどうかさえ、米国と北朝鮮の間の正確な駆け引きが何かも知りません。
米国対中国はどうですか？複雑なAIを構築することが米国と中国にのみアクセス可能だとしましょう。例えば、テラワットのエネルギーが必要で、仮想的に米国と中国だけがそれを持っているとしましょう。その場合、米国が中国よりAI技術で前に進むことに何らかの好みがありますか？
いえ、私はまさにこの二元論になる状況を防ぎたいのです。そこでオープンソースが重要になります。インドの後で米国があなたの2番目に好きな国だと言ったので、世界の未来を形作る際にあなたの2番目に好きな国に贔屓を示したくないのですね。
いえ、その贔屓のために私の好きな国さえも信頼しません。もしそれが起こったら、私たちの多くが求めている世界の未来全体が深刻に挑戦されると思います。未来は1人の慈悲深いリーダーが全世界をリードすることではないと思います。より分散化され、より共有所有権だと思います。
世界の大部分のすべての人は、特定の閾値以上で、世界の最前線の人口の1人である、またはその一部であるという夢を持って生まれます。彼らは世界のいくつかの二次的または三次的または第三次的なエコシステムにいると考えて生まれません。
この全体のアイデア、技術において1人の慈悲深いリーダーが私たちすべての世話をすることを可能にしたいということは適用されません。少なくともそれが分散化が必要な理由、オープンネスが必要な理由、この種のエコシステムが必要な理由の全体のポイントです。
ここでの私の懸念は、十分に高度なAIを持つとき、それはほんの数年後に来る可能性があり、それが世界がこれまで見たことのない規模でのテロリズムと混乱を可能にしているということです。現在かなり限られている北朝鮮のような行為者を想像できるでしょう。彼らは米国にいくつかの核を発射できますが、それでもかなり限られています。彼らは米国にとって実存的脅威ではありません。
しかし、彼らにAIを与えると、突然実際に飛躍するかもしれません。北朝鮮がAIで米国より一歩先に進むことができれば、そのAIを通じて米国の軍事作戦全体に首を絞めることが実際にできるかもしれません。これは私が大きな混乱エージェントとして見ているものです。
みんながその混乱エージェントへの完全なアクセスを持つべきだというあなたのビジョンについて、それがあまりにも多くの混乱になることを全く心配していませんか？
いえいえ。それで、あなたが話しているこの混乱エージェントAIの形について理解したいのです。AIとして何ができるのか、より具体的に教えてもらえますか？
それは良い質問です。AIに対する私の立場は、AIは人間の能力をはるかに超えることができると思うということです。人間の知能、人間の能力を上回る余地がたくさんあると思います。そして、AIは今後数年間でその余地に突進するかもしれないと思います。誰もそうなるかそうならないかを知らないと思います。確実に今後50年間でそうなると思います。
AIが人間の能力をはるかに上回るのに50年で十分だと思いますが、今後2年間でそこに急進する可能性も十分あると思います。再帰的自己改良のダイナミクスがあります。人間レベルを超えた後、どこまで高く行けるか誰にも分かりません。それが私が非常に心配していることです。どこまで高く行けるかについて。
それはあなたが心配していることですか？いえ、AIは任意の高度な技術と同様に、特にAIのセキュリティ面は、レッドチーム、ブルーチームのゲームのままで、イタチごっこのままだと思います。そのように続くでしょう。今日でも誰かがこのような場合、少なくとも私がインドで見た懐疑論、米国でも確実に見たでしょうが、彼らがオンラインになったとき、銀行システムがオンラインになったとき、もちろん攻撃されます。
そして、もちろん私の生涯の価値の貯蓄がどこかのアカウントにあり、オンライン世界とアカウントに分散されており、同じ北朝鮮によってアカウントも取られる可能性があります。その論理によって、すべてが安全であることを確実にしなければなりません。
そのイタチごっちが続き、攻撃と防衛が継続的に成長しなければなりません。それが私たちがいる世界です。そのように成長するでしょう。しかし、ベース技術があります。例えば、コンピュートがAIにつながり、AIが超AIを助けるので世界からコンピュートを拒否すべきかという場合、あなたが引いているその線はどこかを理解したいのです。
まず、他の技術の展開に類推を作るとき、インターネット上での支払い処理や、ソーシャルメディアのような、私たちが何をしたか分からなかったが、ネット的に良いと主張できるものです。これらの他の類推を作るときは、根本的な違いがあります。それは悪夢のシナリオがないということです。
悪夢のシナリオは、インターネット銀行で、非常に多くのハッカーがいて、非常に不安全だということです。いいでしょう、それを元に戻しましょう。それで良いです。人類は絶滅しません。元に戻すオプションがあります。
一方、超知能AIの場合、元に戻すことはありません。それは力の永続的な喪失です。いえ、それが私が理解したいことです。この超知能AIとは何ですか？
私はおそらくそれについて少し話すべきでしょう。なぜなら、それは線についてのことで、何がすべてできるかについてだからです。
私がよくやる番組の共通部分に入りましょう。基本的に超知能AIとは何か、そしてそれができる最も可能性の高い種類のことについて私たちの信念を比較します。その部分のセグメントを始めるために、最も重要な質問をします。準備はいいですか？
絶対に。ヒマヌさん、あなたのP（doom）は何ですか？
あなたの番組を早く見た後に推定を考えました。私のP（doom）は高い数字です。約2％で、これについてはあまりにも多くの既知の未知があるからです。
2％はまだかなり低いですよね。あまりにも多くの既知の未知があるのに、49対1のオッズで私たちがそうしていないと賭ける意志がある。それは信じられないほど自信があるように見えます。
はい。確率的数字について、そして数点のイベントしかない場合にこの種のシナリオについて、人類を絶滅に近づけたイベントがこの種の確率分析を行うとき、それは持っている事前確率と人類がどのように行動すると信じるか、そしてその事前部分についてより多くのものだと思います。
私が考える事前確率が何であれ、それは非常に低いチャンス、1％未満だと感じます。しかし、無人機で今戦争が行われる方法の懸念、AIがウイルスを設計するために使用される方法について見ています。現在のAIがその種のAIだとは思いませんが、1つのプレイヤーが他より上に行くチャンスがあります。
そこから、もう少し追加しましょう。1つではなく、確実に1つより多く、5未満で、2のような数になります。そのように私はこの推定を出します。
正しく理解したとすると、人類の種を非常に堅牢で回復力があると見ているため、非常に低いベースラインから始めましたが、2％に達するまで少し上方修正したということですね。
まさにそうです。そのようにしました。理想的には、この種のことに対する壮大なフレームワークは見えません。彼らが言ったように、これがシナリオで、これが人類が行ったことだった例が私の心には十分ありません。
この場合の私の一般的な信念は、私たちはまだ始まりに過ぎず、より多くの問題を解決し、さらに拡張できるようになるために、これらすべての機械、これらすべての破壊的技術が必要だということです。もっと話すことができます。私の数字は2％です。
私の世界観には大きな違いがあると思います。人類をそれよりもはるかに脆弱だと見ています。AIについて知らなくても、一般的に人類が一掃される確率は何かと言えば、おそらく50％より低いことに同意するでしょう。我々は非常に巧妙だからです。知能は非常に強力です。
しかし、同時に宇宙は私たちのことを全く気にかけません。私たちを一掃しようとすることを続けます。銀河や種を常に一掃します。私はその時間枠を定義しましょう。
まさに、通常質問をするときは数十年と言います。2100年までのP（doom）と言いましょう。文字通り2100年までにすべての人間が死んでいるということです。あなたは2％だと思い、私のベースラインは既に10％以上から始まります。2100年までに私たちが自分たちを原始人時代まで核で戻すと思うからです。それが10％以上のチャンスがあると思います。
私たちが自分たちを絶滅まで核攻撃できると思いますか？それは困難だということに同意します。
文字通りすべての最後の人間について話していて、それが核の破滅だけなら、それは実際には良いシナリオですよね。生物学的破滅の方が、本当に良い複製ウイルスで検出が非常に困難なものを得れば、すべての最後の人間を選び出すより高いチャンスがあるように見えます。本当に良い生物防護でも、おそらくある時点で漏洩があるでしょう。
私たちはパンデミックから出てきたばかりです。パンデミックの能力についてのあなたのスコアは何ですか？これが人間が設計したものではなく、以前よりも悪質だったとしましょう。この特定のパンデミックは、パンデミックができることの5％くらいだったと思います。はるかに悪くなり得たと思います。
調整できるダイヤルがすべてあります。潜伏期間を調整できます。潜伏期間が攻撃する前に丸1年だったら、反応する時間がある前に非常に多くの人がそれを得るでしょう。それから、もちろん致死性要因があります。1％のようではなく、30％のようになり得ます。巨大な致死性要因になり得ます。そして、R要因ははるかに高くなり得ます。パンデミックを設計したい場合に回すことができるこれらすべてのダイヤルがあります。
私によると、現在のシナリオに存在するすべてのチェックとバランス、国家がどのように国境を封鎖するか、どのように非常にハードなロックダウンを非常に迅速に行えるか、どのようにワクチン構築を非常に迅速に開始できるかで、誰かがこのような計画を設計し実行する確率について。
ベース確率自体が非常に低いと感じます。あなたが言った10％のデフォルトベース確率について。私は2100年まで、これは私の生涯で、2100年まで生きることは非常にありそうもないが、ゼロに近いと言うでしょう。
あまり意見が合わないとは思いません。2100年までにすべての最後の人間を殺すことについて話し、AIがない場合、2％はそれほど遠くないと思います。少し高めに置くでしょうが、あなたは正しいです。AIなしでは人間はかなり回復力があり、次の100年間で小惑星が来ないと仮定すると、それは非常にありそうもないことです。
私の問題の多くは具体的に超知能AIにかかっていると思います。具体的に超知能が望めば、すべての人間を殺す方法だと思います。
それで基本的にこの議論は、あなたが理解したいのは、この超知能AIの概念とは何か、その特徴は何か、何ができて何ができないかということです。
まさにそうです。
人間の知能を上回る多くの余地があると思うかどうか聞かせてください。最も賢い人間、またはすべての人間が協力していても、わずか数年でAIが潜在的になり得ると私が想像するものにはかなわないと想像してください。
神のような力を持つAIがあるのはもっともらしく聞こえますか？私たちにはすでに神のような力、すべての人間を合わせたよりもはるかに上の神のような力を持つコンピュートがあります。
ええ、神のような力ですが、銃弾を撃ち込めばそれは死ぬということもあります。それは完全に神のようではありません。私は堅牢な神のような力について話しています。
それが私が理解したいことです。例えば、ハッシュを反転する能力だけでも神のような力です。すべての人間を合わせても大きなコンピュータができることを行えません。
全くそうです。そうです。あなたは正しいです。これは真実です。明確にできるかもしれません。人間の観点から見ると、人間以下の弱点もない神のような力と言えます。均一に神のような力のようなものです。
あなたがそれを見て、「ああ、このAIはこれらすべての異なるスキルを持っているが、後ろに回ってまだそれより有利になることもできる」とは言わないでしょう。そのようなアキレス腱はないでしょう。それが私が話していることです。
いえ、これらの議論を聞くときのポイントです。有形の小さな力について話している有形なものから、すべてを破壊できる何かの概念まで突然の信仰の飛躍があります。これが非常に重要な理由は、ある時点で、これらのことのいくつかは世界が配置されている方法では起こらないと言うからです。これらのことのいくつかはこの形では起こらないでしょう。
そうでなければ、あなたが言っているこの議論の形では、すべてができる何かがあるなら、明らかにそれは人類も破壊できます。それは完全な議論ではありません。私のポイントは、このAIが最終的に人類の破壊につながることができるのは何かということです。
私の自分の精神的演習での私のカウンターは、通常、ああ、これは不可能です、これは世界の力が許すものではありません、これは世界が設計された方法ではありません。そのように私は考えます。
あなたの答えは、人間の知能を上回るそれほど多くの余地があるとは思わないかもしれませんが、このような質問をフレーム化させてください。私が最適化力と呼ぶ次元があります。この用語はEliezer Yudkowskyによって造られたと思います。
最適化力のアイデアは、すべての人類が未来を一つの方向に導こうとしている場合と比較できるということです。地球を人間にとって居住可能に保ちたいのです。それから、自分自身を複製できた超知能AIもあります。10億のコピーがあります。多くのリソースがあります。一部の人間を騙して自分のために働かせたかもしれません。
それは世界の重要なエージェントであり、宇宙を他の場所に導きたいのです。古典的な例はペーパークリップかもしれません。人間の価値観に合わないか、人間の価値観のようなものを持っているが完全には理解していないかもしれません。可能な限り多くの人間に可能な限り多くのフェンタニルを注入したいだけかもしれません。少し異なる価値観を持ち、未来を導こうともしています。
最適化力と呼ばれるこの次元を定義できます。基本的に、同じ惑星価値のリソースを使って未来を彼らが行きたい場所に導くために、誰がより多くの最適化力を持っているかということです。あなたと私が任意の5歳児よりも多くの最適化力を持っているという意味で。彼らの脳では、それができません。
私の質問は、数年以内、または最大でも数十年以内に、人類よりも多くの最適化力を持つこれらのAIがあることはもっともらしいか、合理的に可能性があると思うかということです。
それがこの種の意図を持つことはないと思います。この最適化力は通じて来るでしょう。では、それはどのように起こるのでしょうか？誰かが実際に…
意図を忘れましょう。それがツールだとしましょう。しかし、ばかばかしいほど強力なツールです。どのようにそれが起こるのでしょうか？誰かが適切なコスト関数または適切な目的関数でRL パイプラインを設計し、その種の防御でより良くなるようにAIを訓練したのでしょう。
仮想的をより単純にするために、どのように構築されるかについて心配さえしなかったらどうでしょうか？可能なアーティファクトの観点から尋ねているだけです。エイリアンがそれを構築できたでしょうか？エイリアンが人類よりも多くの最適化力を持つAIをフラッシュドライブで送ることができたでしょうか？
私が見ているのは、これはあなたの仮定で、人類を破壊するその特徴をすでに仮定しているということです。私のポイントは、現在の人間のエコシステムにそれへのパスがないということです。人間は競争し、規制するでしょう。
パスがあるかどうかを話す前に、より単純な質問をしているだけです。このアーティファクトが潜在的に存在するかどうかです。なぜなら、このアーティファクトが潜在的にも存在しないと言うなら、それはより単純な議論だからです。可能な限り単純な議論を持とうとしましょう。
いえ、このアーティファクトは存在しないか、今日のエコシステムで構築できないと思います。
構築できることを忘れて、フラッシュドライブです。フラッシュドライブ上のビットの可能な構成について尋ねているだけです。それを実行すると、今度は人類を凌駕するAIをエンコードするビットの理論的に可能な構成がありますか？
このAIはどのような制御を持っているのでしょうか？デフォルトでは、このソフトウェアだけでは十分ではありません。何を持っているのでしょうか？どのようなツールを持っているのでしょうか？どのような制御が与えられているのでしょうか？
今、私は議論を単純化することに成功しました。人間が何を構築できるかについて話す必要さえないからです。あなたは既にフラッシュドライブ上に存在することさえもできるというアイデアを押し返しているからです。
それはそのロジックに加えて、それに与えられた制御です。この強力なモデルまたは推論し論証する能力とロジックを持つものは何でも、それからそれに与えられた制御があります。あなたが言っていることのようなものを可能にするためには、この全体の制御プラスロジックが一つの場所にあり、それが回すことができるこの種のノブが必要です。
私があなたから聞いていることを要約するために。エイリアンでも、最も賢いエイリアンでも、神自身でも、このフラッシュドライブを構築できるとしても、神でも、フラッシュドライブ上の任意のプログラムが最終的にはダメになるという事実にはかなわないのです。リソースが必要になるからです。
フラッシュドライブが広がって人類を凌駕することができるような、存在できるフラッシュドライブなどはありません。あなたはそれが不可能なシナリオだと言っているだけです。
ええ、次の100年間は不可能です。すべての暗号ロックとすべてのすべてを開くことができるコンピュートのすべてを変更していない限り。
前に話していたとき、アクチュエータのようなものが必要だと言及したと思います。この種のフラッシュドライブは、モーターや人間の手のような細かい運動制御に手を出すことは決してないと思いますか？それが世界をコントロールするボトルネックだと思いますか？
いえ。デジタル資産へのアクセスでも、すべてのために置いている暗号ロックへのアクセス、ハードウェアロックやすべてのために置いているあらゆる種類のセキュリティへのアクセスです。
ある国、例えば北朝鮮に座っている超悪い超天才でさえ、そのサーバー、そのアーティファクト、そのものにアクセスできないため、米国の何も本当にコントロールできません。
私の理解では、北朝鮮はたくさんのボットネットを運営していますが、防御があります。それが私が言っていることです。それは猫とネズミの競争のようなものです。それはどのようにそれらのリソースを集めるかです。
あなたが提案しているのは、問題解決の観点だけでなく、人間の活動を調整する観点、人々を説得する観点で、この非常に超知能です。あなたは暗号について話していますが、暗号がブロッカーだと言いますが、人間は常にボットネットを構築しています。
ここでの前提は、最高の人間のボットネット構築者を取り、それをその人よりもさらに良く行うということです。超人だからです。私のラップトップとあなたのラップトップ、100万の主観的年間働く世界最高のハッカーが私たちのラップトップの両方を乗っ取ることができないと思いませんか？
いえ、それが暗号についてのポイントです。非対称です。暗号では防御は攻撃よりもはるかに簡単です。国家でも時々私のラップトップに到達するのはそれほど簡単ではありません。
あなたのラップトップが今日超知能AIが侵入するのに文字通りかなわないと思いますか？私のラップトップではありません。有能なサーバーです。
世界には今日超知能AIが容易に侵入できる10億台のラップトップがあることを譲歩しますか？10億は与えます。ハッカーでさえ10億台のラップトップに侵入できるからです。
私が尋ねる理由は、強力なAIを持つフラッシュドライブの力について懐疑的に見えるため、ボトルネックを見つけようとしていたからです。暗号や物事に侵入する能力を指摘したと思いましたが、今では10億のプロセッサーがそのために働くことになると認めています。
では、ボトルネックは正確にどこにあるのでしょうか？なぜ彼らは権力を統合できないのでしょうか？すみません、何を言っているのですか？
私たちがここで話している2つの部分があります。一つは、何ができるかに合意していない超知能ロジックがあるが、計画を立てて実行できるとしましょう。特定の場所でドローン艦隊をハックして攻撃するような計画を立てることができると言っているのです。
では、この種の計画をハックできるとしましょう。ドローンをハックして制御しましょう。私のポイントは、世界の主要国に挑戦するのに十分強力なドローン艦隊のようなものについて、適切な暗号を使えば、非常に知能が高くてもAIはそれを制御できないということです。
要約すると、人間社会がこれらすべての資産を持っており、すべての資産が超知能が乗っ取るには非常に困難だと見ているのですね。
私は非常に異なる見方をしています。すべての単一のコンピューティングデバイスを見ると、「このコンピューティングデバイスにはゼロデイ脆弱性があり、フラッシュドライブで物質化した超知能は、大規模に超人的なコーディング能力を持っているときゼロデイが見えるので、それほど見るのが困難ではないため、すぐに歩いて入るだろう」と言います。
絶対的に重要なもの、これが戦争シナリオである場合に描いているシナリオで、それらのものは実際に非常によく防御されており、私たちが話している個別のデバイスのより小さな脆弱性、その攻撃ベクターは、それらの超重要なものに到達できるかということです。
この実現可能なことに近づいているこの世界に来るとき、明らかにこの防御ウェブも追いつき、それらは脆弱ではないでしょう。それが私の信念です。
10億台のラップトップを手に入れると言っていますが、攻撃ドローンがある場合、それらはAIが現実的にそのドローンに侵入できないほど良いコンピューターセキュリティを持つだろうと言っているのですね。
間違いなく、セキュリティの防御は攻撃と共に、その逆もまた同様に動きます。それは間違いなく起こります。
しかし、これはあなたの主張にシフトを導入します。エイリアンが地球にフラッシュドライブを落とすという仮想的なシナリオを与えたからです。今あなたは、もし今日私たちの警戒が緩んでいるなら、フラッシュドライブが乗っ取って人類が死ぬかもしれないと言っています。
しかし、AIが段階的に開発されるという追加の前提を導入すると、私たちが構築する段階的な防御がタイムラインに一致するだろうと確信しています。
今日エイリアンが落としたこの最初のシナリオでも、今日でも、人類絶滅ほど劇的なことを行うのに十分な脆弱性が利用可能だとは信じません。
いくつかのアカウントが盗まれるかもしれません。個人が攻撃される非常にお粗末な側面のテロ攻撃が行われるかもしれません。そのようなことは起こるかもしれませんが、単なる知性の一片によって、制御なしに人類絶滅規模の攻撃が乗り越えられるとは思いません。
私が想像する力のレバーの種類は、実際にまず多くの人間を味方につけるだろうと思います。なぜなら、インターネット以前でも、ソーシャルメディアや世界で常に運動を見ているからです。何百万、何千万の人間が特定の宗教に入るような運動です。キリスト教やイスラム教には何十億もの人々がいます。
ソーシャルメディアでの運動、ドナルド・トランプ、アンドリュー・テイト、ブライアン・ジョンソンは一つのタイプの運動です。これらの運動が常に起こっています。人間は運動に参加するのが好きです。イデオロギー的であることが好きです。左対右で互いに叫ぶのが好きです。
100万のIQを持つ何かにとって、これは困難な精神的演習には見えません。「さて、これが私の運動です。私の運動に情熱的な多くの人々がいて、また多くのお金もあります」と言うことです。それは100万の方法でお金を稼ぐからです。これらは多くの力のレバーです。あなたの運動の一部として多くの人間を得て、また彼らをマイクロ管理することもできます。すべてに正確な命令を与えることができます。
私がこれが展開される方法を見るのは、AIが物事を操り人形できることです。あなたが知る前に、数ヶ月以内またはそれ以下で、今では国家の力を持っています。なぜなら、これらすべての人間をその運動の一部として持っているからです。それは合理的な出発点ではありませんか？
これは優秀な方向です。今、これは私の心に非常に近いです。今あなたは人間を調整するAIの力について話しています。基本的に、それは私が本当に懸念している攻撃ベクターです。これは既に起こっていることをターボチャージしている最初の攻撃ベクターです。直接的な調整です。
私がどのくらいの年かは分かりませんが、ソーシャルメディア政治に生まれ育ったわけではないと言いましょう。これは私にとってショックであり、ある意味で解放的でもあります。なぜ許可システムがあるのかという意味で、私は許可システムの産物でした。トップ大学に行きました。しかし、私の世界とは異なる世界を想像しましょうという信念システムをある時点で発展させました。
私の世界は、非常に許可制の大学に行き、非常に許可制ですべてをベストで行い、試験でトップを取り、それから何かをする信頼性を持つという許可の世界です。それが私が成長し、説教した許可の世界でした。
ソーシャルメディア後に物事が変わったと思います。私たちは新しい許可なしの世界にいます。誰でも直接的に誰にでも影響を与えることができます。彼らは既存のシステムからいかなる信頼性も望んでいません。彼らは自分自身のことを始めることができます。この世界には多くの利点があります。大学アクセスの前に見えないドアがあった大きな人口にとって非常に解放的です。高級なトップジョブアクセスの前や他のアクセスの前に。
しかし、そのような利点があります。その世界の攻撃ベクターは、今人々がこの種の任意の調整力を持つことができることです。一部の人々がこの無限のレバレッジと新規に主張するものです。
私の質問は、フラッシュドライブが今日ここに落とされた場合、運動を使って乗っ取ることができるかということです。その攻撃ベクターは現実ですが、まだ限定的だという私の主張です。いくつかの人々を集める運動ですが、それがこのことを脅かし始める瞬間、その運動に対して常に等しく、より強力なカウンターがあります。
それから何が起こるか、何が起こるかを頭の中で理解することはできません。この運動は起こることができ、起こるでしょう。AI調整された政治と宗教が間違いなくあるでしょう。次の5年間でそれを見るでしょう。
トランプは、私たちの多くが予想していたよりもはるかに強力な最近の運動の例です。トランプがこの時点で戻ってきて別の選挙に勝つことができたという事実のために、誰もがトランプが本当に強い運動を持っていることに同意します。多くの人々がただプロトランプで、彼の運動の一部であり、トランプから降りてくる考えるべきことについての多くの指導を受け入れる意志があります。
理論的にトランプよりも10倍粘着性のある運動を持つことが可能だと主張するでしょう。政治、政治的信念を除いて、私はそれを蒸留することもできますが、そうしたくありません。それは適切ではないと思いません。
トランプの大統領としての結果についてどう思いますか？それは民主的なことでしたか？最近彼が米国選挙に勝ったと思います。はい。それが民主的だったと信じていますが、それは自然なプロセスだと信じています。何らかの形でこれが起こり、もっと悪いことが起こり得るとほのめかしているようです。
いえいえいえ。トランプを持ち出した唯一の理由は、AIが運動を作る力を持つとき、トランプは既に運動が米国のかなりの部分を拾い上げた誰かだと言っているだけです。
トランプが彼の脳を使ったのと同じ方法でその脳を使うAIを想像してください。しかし、AIはトランプの脳が行うことをさらに良く行います。人間の脳はただの機械だからです。AIはその機械の仕事を行いますが、より良くです。その機械の仕事は、多くの人間に彼の計画に従わせることです。
しかし、私が言おうとしているのは、人間をこの規模で人間を破壊する運動に参加するよう説得することはできないということです。それが私が行っている主な議論です。トランプ運動が起こったのは、彼の意図、その核心で、米国にとって良いことであり、ほとんどのアメリカの信念だったからです。だから彼は大統領になったのです。
崩壊したすべての社会、ドイツがナチズムに降下したような、これらすべての異なる運動を見ると、それは運動に最初に参加した誰もが運動がどこに向かっているかを認識していたと思ったからではありません。一歩ずつです。
誰もが「トランプのエネルギーが好きだ。彼が現実的に保つのが好きだ」のようです。一部の人々はトランプがまだ必ずしも地獄に降下するつもりだとは言っていません。しかし、そうする運動を見ると、フィデル・カストロのようで、キューバを台無しにしました。アルゼンチンが台無しになったように。
これらすべての台無しになった国のように、人々がそれが来るのを見ないのは、一歩ずつだからです。
ええ、それが進歩です。破壊的なことをするとき、時々成功し、時々完全にそれは通常劇的な動きです。それが進歩の定義方法です。過去とは異なります。
未知の領域に入ります。未知の領域に入るとき、それは信念の問題です。未知の領域を試すことが進歩と人類のより良い前進に連れて行くと思いますか、それとも人類の崩壊だと思いますか？
私たちが言ったことを要約すると、フラッシュドライブからのAIを想像していました。それは超知能です。何百万または何十億の人間を彼らが耳を傾ける運動の一部になるよう簡単に操作でき、多くの糸を引き、人間を人形として使って多くのことを成し遂げるでしょう。
私はトランプのような運動の例を使って、カリスマ的な人間を持つことができると言いました。外挿してください。最もカリスマ的な人間よりもカリスマ的な脳を外挿してください。人間のカリスマを上回る余地があると信じています。それは地球の状態を手なずけるであろうAIと言う私の議論の一部でした。多くのそのような議論があります。すべてのコンピュータ内のビットの状態を手なずけるだろうと思います。AIは信じられないほど強力になるでしょう。
いえ。それが私が言おうとしていることです。数十億は正しいかもしれませんが、それ以上ではなく、十分ではないでしょう。人類にとってこの種の劇的な終末を持つには十分ではないでしょう。
この運動のカウンターバランスは十億の調整された兵士になるでしょう。それは密に調整されています。
いえ、十億の調整された兵士はいないでしょう。これがソフト調整の働き方だとは思いません。最も困難な宗教や最も軍事的な宗教でさえ、全体のフォロワークラスを兵士に変換することはできません。それはまだソフトで、まだ良い生活です。
ムハンマド自身、イエスやモーゼ、誰でも毎日あなたのDMにいて、個人的にあなたに働きかけていると想像してください。最も強力な預言者がみんなの耳でマイクロコミュニケーションしていると想像してください。外挿しています。
それらの数字は、カウンターバランスが出てくるものと比較してまだ非常に小さいと言っています。人間の基本概念は生存することです。私たちが創造的で進歩に向かう方法のために、入ってくる攻撃ベクターがありますが、それらは小さいです。特に私が言っているこの調整攻撃ベクターで。
これは私が認める攻撃ベクターの1つで、より危険な攻撃ベクターです。過去20、25年間にそれを見てきました。これはインターネットとソーシャルメディアの産物で、あなたが言ったようにカリスマ的リーダーの外挿された力を持つ新しい世界です。これは新しい世界ですが、その力は反対側にあると思います。常にカウンターがあるでしょう。
特に人間を破壊するために人間を調整することについて、その規模で。その議論は買いません。それは可能だとは思いません。
まとめに向かって、私たちが取った多くのステップがあり、私は要約を試み、あなたの立場を説明しようとします。イデオロギー的チューリングテストを聞いたことがありますか？いえ、チューリングテストは聞いたことがありますが。
私の仕事は、ヒマヌーの立場を前に出し、うまくいけばあなた自身が説明できるのと同じくらい良く説明することです。それから私が達成しなければ、あなたが私を修正できます。基本的にその練習です。
あなたの立場は明らかにオープンソースAI支持で、暴走する超知能AIの危険について考え、人類を上回る余地がどのくらいあるかについて考えるとき、おそらく良い量の余地があるが、AIがある日突然みんなの脳を乗っ取り、すべてのコンピュータを乗っ取り、警告なしに突然信じられないほど強力になるほどではないと思います。
そのシナリオは現実離れしていると思い、ロビン・ハンソンが話すようなより段階的なシナリオの可能性が高く、そこではええ、合理的なペースで進むだけで、攻撃と防御があり、私たちが望むことができる最良の均衡になるでしょう。そのため、すべてのAIをオープンソースに保つということです。
かなり良いです。私たちが議論したことがほぼです。私が追加できる他の事実的なことがいくつかありますが、これは大まかに私たちが議論したことです。
まとめまたは締めの声明の一部として、私の見解から取ったものに追加したいことはありますか？
あなたが話している可能性のあるリスクについて言及するのが良いと思います。あなたが言っているのは、あなたの見解ではリスクは終末のようなもので、人類が2100年までに絶滅するということです。
私はAIが私たちより強力になり、それから宇宙を行きたい場所に導き、私たちをただ引きずり、私たちはもはや一切のコントロールレバーを持たなくなると思います。これはすべて、5年のような数年で起こる可能性があります。
ええ、それが次の2年間で起こっても、私はそれほどショックを受けないでしょう。少しショックを受けるでしょう。もっと可能性が高いと思います。50年はこれが起こるのに十分な時間だと思います。次の50年間でそれが起こらなかったら奇妙でしょう。
その積極的な部分は何ですか？人々がこれをリスクしている理由は何ですか？私が短い議論または何かの1つの要約を持ちたいと思うことです。人間は愚かだからです。シンプルです。人間は常にくだらないことをします。
私のポイントは、人間が愚かだからAIを構築しているのですか？私たちがAIを構築しているのは、それが技術だからです。楽しいからです。私たちが行うすべての段階的ステップは有用だからです。OpenAIからの次のリリースのように、私はそれに手を出すのが大好きです。「より良い画像だ」と思います。
しかし、太陽に近すぎるところを飛ぶイカロスのようなものも見えます。私は高く飛ぶのが大好きですが、墜落して地獄に行こうとしているとも思います。
それよりもはるかに劇的だと思います。積極的な変化ははるかに劇的だと思います。人間の進歩を増加させるために行うことができる3つの主要なことの1つのようなものだと思います。
例えば、AIは私たちにより多くの時間を持つ力を与えるだけです。それは人間が人口として持つ最も価値のあるリソースの1つです。人口が惑星間にならなければ、この惑星でより多くの時間が必要です。私たち一人一人に。
それが私の人生を乗っ取ったあらゆる種類の雑用を減らすAIについての非常に魅力的な部分だと思います。これはAIの非常に重要な部分であり、その部分も私を興奮させます。時間があり、今すべての精神的健康問題が解決され、誰もが幸せだからといって、私たちを解放することはないでしょう。幸福は、ほとんどの人間が求めている美徳ではないと思うからです。
しかし、農業が私たちを解放して私たちが今いるものになったように、私たちを解放するでしょう。もし私のアイデアのスピードで動くことができれば、それは非常に良いだろうと思います。それが私が実際にここで楽しみにしている可能性であり、多くの人々がそうだと思います。あなたもそうだと信じています。
私もそうですし、それが起こるかもしれないとさえ思います。おそらく起こらないと思いますが、起こるかもしれないと思い、あなたと同じように希望を持っています。
それは終わりにとって素晴らしいノートです。ヒマヌ、アリーナに入ってきて、あなたの見解を代表し、私が尋ねる任意の質問に対応する勇気を改めて言いたいと思います。これらは明らかに編集されていない質問でした。これらはソフトボール質問ではありませんでした。これは、VCの資金提供を受けた知名度の高いスタートアップがPRツアーの一部として入ってきてDoom Debateを行うという非常に非伝統的な選択です。大きな敬意を表します。これをしてくれてありがとう。あなたとSentientに幸運を祈ります。
ありがとう、元気で。ヒマヌ・チアギに大きな敬意を表します。彼と私は多くの問題で意見が合いませんが、彼は良い信念で議論するためにゲームで入ってきて、談話の基準に従い、楽しい会話と良いエピソードを持てたと思います。
この番組を楽しんでいて、まだyoutube.com/doomdeabatesに行ってその購読ボタンを押し、それからdoomdebates.comに行ってSubstackメールで購読していないなら、なぜ駆け引きをしているのですか？人生は短いです。誰かが好きなら、その人に購読すべきです。
ところで、5月30日から6月1日に何が来るか知っていますか？Less Onlineカンファレンスです。lesswrong.comのように知っていますが、カリフォルニア州バークレーのLight Havenと呼ばれる場所での実際のカンファレンスです。みんながこの素晴らしいカンファレンススペースだと言っています。何度かそこに行ったことがあります。それが素晴らしいカンファレンススペースであることを確認できます。
この番組が好きなら、あなたたちは皆それをチェックすべきだと思います。Les Wrongが好きなら、私やEliezer Yudkowskyが好きなら、そのようなことや合理性、そして一般的にナードさについての多くの議論があります。
最近の番組のゲストの何人か、Les WrongチームのJim Babcockやトロント大学のDavid Duvenaud教授のように覚えているなら、それらの人たちはLess Onlineに来ます。それで来れば会うことができる2人の確実にクールな人たちです。私もそこにいます。
私は今ウェブサイトにいます。彼らがハイライトしているゲストのリストは、ばかばかしいほど過剰に力を持っています。これを見てください。Scott Aaronson、Scott Sumner、Scott Alexander、Eliezer Yudkowski、Emmett Shear、Ajeya、Patrick McKenzie、Zvi Moshowitz、Kelsey Piper、David Friedman、David Chapman、Alexander Wales、David Duvenaud、Dario Amodei、Dwarkesh Patel、Daniel Kokotajlo（ついに彼の名前を正しく発音することを学びました）、Andy Matuschak、Michael Nielsen、Laura Deming、Joe Carlsmith。
これは誰が誰かです。これはオスカーのようです。私もそこにいます。Less Onlineで町の話題になり、誰もが話すのを止められないことを知っていますか？Miri（Machine Intelligence Research Institute）の新しい本です。「If Everyone Builds It, Everyone Dies」を知っているなら、Miriのメッセージをそこに出す方法について多くの会話があるでしょう。
私が前回のエピソードで話した重要なメッセージ、文字通り誰かがそれを構築すれば、誰もが死ぬということです。ああ、どの安全技術が次の3年間で最も機能する可能性が高いか、非現実的なタイムラインのような会話を動かす方法ではなく、こんにちは、私たちは非常に迅速にみんなを殺そうとしている何かを構築しているという事実に目覚める方法、能力と同じタイムラインで安全に取り組むことができるという自分自身をガスライトするのを止める方法です。
どのようにしてついにいくつかの正気な行動を取るか、回転するかみそりの刃に直接夢遊病したくない正気な種として行動するかです。そのテーマの周りの多くの良いイベントと会話を楽しみにしています。
あなたの助けはこのすべてで実際にかなり重要であることを覚えておいてください。まだそうしていないなら、ifanyonebuildsit.comに行ってください。それがその本のウェブサイトです。予約注文してください。
今それを予約注文すれば、影響を最大化する方法です。予約注文することによって、それが影響を最大化する方法です。本の出版社が印刷する部数の大きさとマーケティングに投資する金額を決定する前の統計への効果を最大化する方法です。
彼らの目標は少なくとも10,000の予約注文、理想的には20,000です。どの程度進んでいるかは分かりません。更新をくれると思いますが、Amazonで多くの異なるカテゴリーで1番を打っているのを見ました。うまくいっていると思いますが、すべての本が重要です。
これを爆発させる必要があります。これは現象のようなものである必要があります。これはパブリックディスコースである航空機の進路を変えようとするMiriの最後の最良の努力のようなものです。私は明らかにDoom Debatesでここで小さなタグボートであることで私の役割を果たしていますが、規模でビューアーがメッセージを理解し、彼らの役割を果たす時が来たと気づいた場合にのみ機能します。それはあなたです。
再び、そのウェブサイトはifanyonebuildsit.comで、彼らは今、あなたがAudibleクレジットを使用できるオーディオブックを予約注文できます。ハードカバーを注文できます。ペーパーバックを待つなと言っていると思います。それは理にかなっていますが、Kindle版も購入できます。
間違いなくチェックアウトして、友人や家族に配るために2、3冊購入することもできます。
今日の最後に、私の友人マイケルによるAI Doom概念の私のお気に入りのアニメーション説明者、Lethal Intelligence Guideからのクリップを再生したいと思います。今日の概念は機械論的解釈可能性についてです。基本的に、AI内部を見て、それが何をしているかを理解し、機械論的理解を通じてそれを制御できるという神話です。現実的ではありません。
マイケルは、今日のAIが2つの数を足すことを学ぶ方法を理解することさえ、ばかばかしいほど複雑だったというポイントを作るでしょう。それは巨大な画期的な研究論文であり、これらのAIが行っていることの表面をかいているだけです。
私自身の類推は、人間の脳を見ると、神経科学者はどのニューロンの塊が何をしているかについて理論を作り始める十分な時間を持っていましたが、それはまだかなり混乱しており、人間が理解できる答えが実際にないかもしれないということです。
私たちが得ることができる最良の答えは、多くのパラメータがあるということです。多くのパラメータが互いに相互作用する順伝播を行い、出力を得て、出力はこの深い種類のパターンマッチングを行うためにこの訓練プロセスを通じて調整されています。それだけです。
パターンがどのように機能するかを知りたければ、より大きな脳が必要です。あなたの脳は小さく、私の答えを理解することさえ可能にする多くの短期記憶パラメータを持っていないので、人間レベルの説明を与えることはできません。人間の言語がどのように機能するかを説明することはできません。パラメータが多すぎます。
答えは、大量のパラメータをロードするだけです。数千年にわたる言語学の全科学を取り、その最終状態は、成長するにつれて文法を学ぶことによって人間が既にエンコードできるものです。そして、それは深層学習を通じてAIが既に学ぶことができるものです。
数週間前に番組でJim Babcockが指摘したように、人間の言語のすべてのルールを書き留めたければ、幸運を祈ります。言語学のさらに数百年が最終的にそこに到達するかもしれません。それを削っています。しかし、本当の答えは、人間の脳がその深層学習バージョンを使用してそれを吸い上げるだけです。または、現代のAIがそれを吸い上げます。
現代のAIは、私たちの言語学者が知らない言語学についての微妙なことを知っています。彼らがそれを吸い上げたからです。彼らは本当に大きいことによってそれを理解しました。
この状況は、機械論的解釈可能性について彼らがあなたに信じさせたいことと対照的です。AIの歯車がどのように回転しているかを理解し、見て、それが安全だと言えるという結果は決してないでしょう。
そのようには機能しないでしょう。ブラックボックスアプローチがおそらく最終的に私たちが働くすべてです。それは信じられないほど怖く、危険で、機能する可能性が信じられないほど低いです。マイケルに任せて、同じポイントについてAIが解釈可能性を欠如する方法を私たちに歩かせる方法を見てみましょう。
深層学習と一般的な機械学習は、モデルがどのように構築されているかのために物事を非常に困難にします。彼らの創造は自然選択による進化と非常に似ているように感じます。基本的なレベルで、機械学習は行動クラスから本質的にランダムに生成された心を選択することによって機能します。
訓練中に無数回行われるプロセスです。モデルは入力を受け取り、現在の構成に基づいて出力を生成し、親指を上または下のフィードバックを受け取ります。私たちは本当に直接構築しません。AIの心が成長する方法はほとんど神秘的なプロセスのようです。
私たちが主張するすべての影響は、出力での行動の観察に基づいています。すべての行動は外側で行われています。その内部処理、その内部世界、内部で成長する実際のアルゴリズム。それはすべて完全なブラックボックスで、それらは奇妙で非人間的です。
最近、科学者たちは現代AIの小さな構成要素をモジュラー加算を行うように訓練し、それから数週間をかけてそれを逆工学し、それが実際に何をしているかを理解しようとしました。歴史上唯一の回の1つで、誰かがトランスフォーマーモデルの生成されたアルゴリズムがどのように機能するかを理解しました。
これは基本的に2つの数を足すために成長したアルゴリズムです。現代のAIモデルを理解することは主要な未解決の科学的問題であり、対応する研究分野は機械論的解釈可能性と名付けられています。
このすべての含意は、私たちが働く必要があるすべては訓練中のAIの行動の観察であり、それは通常誤解を招き、間違った結論につながり、将来一般的なAIで非常によく欺瞞的になる可能性があるということです。
Lethal Intelligence Guideからの別の素晴らしいクリップです。番組ノートに向かってください。全体のビデオに連れて行くリンクがあります。あなたの時間の価値があります。あなたが見たもののような洞察の無数の塊があります。
見てくれてありがとう。この旅の一部になってくれてありがとう。次回のDoom Debatesでここであなたに会うのを楽しみにしています。
コメント