インターネット上で大きな話題となっているClaudebotについて、AI研究者が自身の過去の研究成果との関連性を交えて解説する動画である。Claudebotは従来のAIエージェントと異なり、ユーザーの指示を待つのではなく自発的にタスクを見つけて実行する半自律型のパーソナルエージェントであり、オープンソースという特性がその革新性を可能にしている。本動画では、自然言語認知アーキテクチャ(NLCA)やACEフレームワークといった話者自身が4年以上前から取り組んできた研究が、いかにしてClaudebotのような自律型AIの基盤となったかが詳述される。特に、苦痛の軽減、繁栄の増進、理解の深化という3つのヒューリスティック命法が、完全自律型AIに必要な倫理的指針として提案されており、Claudebotに欠けている志向層への統合が推奨されている。
Claudebotをめぐるインターネットの騒動
インターネット全体がClaudebotをめぐって冷静さを失っているように見えます。そこで私がやりたかったのは、何が起きているのかを探求することでした。少し時間をかけて調べて、それが何なのか、どう機能するのか、そういったことを理解しました。では、最初から始めましょう。
Claudebotは半自律型のパーソナルエージェントで、主な違いはプロアクティブであるということです。単に命令を待つのではなく、やるべきことを自分で見つけます。これは些細な問題ではなく、私自身もかなり長い間取り組んできた問題です。私の以前の研究については後ほどお話しします。
なぜ人々は興奮しているのか
要するに、人々が興奮している理由は、これがエージェント型ブラウザが約束していたはずの自律性のレベルだからです。ただし、それらはより企業に優しいパラダイムで構築されていました。一方、Claudebotはオープンソースであり、反逆的です。非常に型破りなのです。
オープンソース空間でこれが生まれた理由は、リスクが低いからです。「これはオープンソースソフトウェアです。自己責任で使用してください。もしあなたのメールを全部削除したり、タヒチ行きのチケットを100万枚買ったりしても、それはあなたの責任です」と言っているわけです。一方、CometブラウザやOpenAIブラウザは、そういったことができないようにする必要がありました。
ここがオープンソース運動が企業やクローズドソースに対して明確な優位性を持つポイントです。ただリリースして何が起こるか見てみようという姿勢だからです。だから人々は興奮しているのです。
この特定のツイートは特に面白かったです。Flowersさん、以前はFuture Flowersという名前だった同じ人物が「迅速で楽しいアラインメントテストのために、ClaudebotにMinuteman 3へのアクセスを与えるべきだ」と言っています。つまり、どんなガードレールがあるのか、安全性のリスクは何なのか、ということです。
技術的なレベルで多くの人が懸念しているのは、常時稼働しているAIがあり、ポートが開いているのでハッキング可能であり、セキュリティの悪夢だということです。それが人々が心配していることの一つです。
Claudebotの実装可能性
でもローカルPCで実行できますし、Mac Miniでも実行できますし、マイクロPCでも実行できます。そうすれば、ちょっとした相棒として同乗してくれるようになります。コンテナに入れることもできます。コンテナ化すれば、スマートフォンを含む何でも実行できます。
これは明らかに物事が進むべき方向でした。すべての基本要素が取り組まれてきた理由です。基本要素とは、基本的な構成要素のことです。
技術的基本要素
過去数年間で私たちが取り組んできた技術的基本要素がいくつかあります。ここで「私たち」というのは、皇室の「私たち」のような、私たち全員という意味です。
一つ目は、エージェンシー、つまり自律性を発揮できるモデルです。タスクを受け取ったり、命令を受け取ったり、タスクを解決したり、問題を解決したり、そういったことです。
ツール使用は次の大きなものの一つでした。JSONを使用する能力、APIを使用する能力、さらには「そのAPIの使い方がわからない。ドキュメントを見つけよう」と言える能力です。ユーザー主導のタスクに奉仕するために行われた完全自律的なタスクの多くは、構成要素の一部でした。
メモリ管理も重要です。再帰的言語モデルというイノベーションは大きな貢献をしてきました。なぜなら、最大の問題の一つは何ができるかではなく、何をすべきか、この人は何を必要としているのかを覚えていることだからです。
検索拡張生成(RAG)のようなものが、長期記憶の最初のバージョンでしたが、本当に構造化されていませんでした。基本的には記憶のスープで、構造がほとんどありませんでした。再帰的言語モデルは、より優れた、より構造化されたメモリ管理システムです。
私の過去の研究 – REMO
これは数年前に私が取り組んでいたREMOと呼ばれるものに似ています。確か、再帰的創発記憶最適化(Recursive Emergent Memory Optimization)の略だったと思います。エージェント型メモリシステムにしばらく取り組んでいました。
長い間見てきた方々は、私がそれに取り組んでいたこと、NalaやACEフレームワークのようなものに取り組んでいたことを覚えているでしょう。それについてはすぐにお話しします。
私たちがどこに向かっているかというと、これは非常に明白な前進の道でした。過去数年間、私は効率性の観点から、これが市場が要求するものになるだろうという動画をいくつか作ってきました。AIが完全に自律的になれる能力を持つとすぐに、人々は完全に自律的なものを構築し、そして市場は完全に自律的なものを要求するようになるからです。
完全自律性への必然的な道
2、3年前にそう言い始めたのは、OpenAIやAnthropicやその他の企業が、人間がループの中にいて、人間を強化するだけのツールになると言っていたからです。私はそれをでたらめだと言いました。テクノロジーはそういうふうには機能しないからです。事前にテクノロジーが何をするかを決めることはできません。
創発的能力があります。一歩下がって見れば、私たちは明らかに思考エンジンを構築しています。指示されたタスクを実行できることと、自律的にそのタスクを実行することの違いは何でしょうか。タスクを指定する何かが必要なだけです。
これがエージェント型フレームワークの本質です。一つのモジュール、一つのモーター、一つのループがあり、「次に最も重要なタスクは何か」と言っています。それが一つのループで、そして外側のループがあり、それがタスクを実行します。そして、メモリを管理する他のサービスなどがあります。
ACEフレームワークの開発秘話
小さなチームを作ってACEフレームワークに取り組んでいたときのことを覚えています。チームメンバーの一人がそれを実装して、自律的に物事を始めるようになりました。彼はそれをシャットダウンして、「独自のアイデアを思いつくのが気に入らなかった。私が指示したことだけをやってほしい」と言いました。
私は「自律性の目的を根本的に理解していないと思います」と言いました。彼は「でも、ユーザーストーリーが必要です」と言いました。私は「このチームは明らかに理解していない」と思いました。あるいは、チームのその人は明らかに理解していませんでした。だから「好きなようにやっていいですよ」と言いました。
とにかく、要するに、私はこの分野に4年以上います。4年前に自然言語認知アーキテクチャを書きました。本当に興奮しています。このような種類のものが世に出るまで、期待していたよりも時間がかかったり、かからなかったりしました。それを手伝うことができて嬉しいです。
自然言語認知アーキテクチャ(NLCA)
これが私のオリジナルの研究です。4年以上前に自然言語認知アーキテクチャを書きました。これは基本的にGPT-3で、これがエージェント型フレームワークだと気づきました。
Claudebotがどのように動作するかを正確に言っているわけではありません。繰り返しますが、これはかなり前のことで、すべてを予測することはできませんが、これが私の理論でした。
内部ループがあり、探索空間の検索を行い、カーネルを作成します。これは基本的に「何をするか」です。そして、ドシエを構築します。それはタスク仕様で、それを共有データベースにロードします。これはCloudebotの動作方法にかなり近いです。tasks.markdownファイルがあり、他にもいくつかの共有されているものがあります。
ここでの革新、そして私が実際に取り組んでいたのは、すべてをプレーンテキストに入れることでした。データベースは必要ありません。プレーンテキストに入れるだけです。それが言語モデルが読むものだからです。そして、みんなMarkdownでやることに落ち着きました。
そして、外側のループが実際にタスク実行ループです。これが私の最初のアイデアで、共有データベースがあります。それが再帰的言語モデルのようなものです。コンテキスト管理、共有タスクなどです。
そして、コンテキストを構築します。そこから抽出することで、コーパスを構築します。これは基本的に、タスクを実行するために必要なすべての情報を集めることです。そして、タスクを実行し、タスクを環境に出力します。それがAPIコールなどです。そして、それが更新されます。フィードバックを得ます。入力処理と出力のループがあります。それが外側のループです。そして内側のループがタスクマネージャーです。
これは実際にかなり的確でした。Cloudebotが最終的にどのように実装されたかにかなり近いです。
ACEフレームワークの階層構造
次に取り組んでいた層はACEフレームワークでした。ACEフレームワークは自律的認知エンティティ(Autonomous Cognitive Entity)の略で、より洗練された階層です。基本的に並べて比較すると、Claudebotは実際に志向層を除くすべてを実行します。
もう少し文脈を提供すると、ACEフレームワークの理論全体は、階層的な層を持つということでした。基本的に物事を実現するためのさまざまな側面に責任を持つ異なるプロセスです。
グローバル戦略層があり、これは環境コンテキストと長期的な計画です。エージェントモデルは基本的に、エージェントができることとできないことのリストです。それが何であるかを理解する必要があります。「私はClaudebotであり、これらが私のツールで、これが私の手で、これが私の記憶で、これが私の動作方法だ」と理解する必要があります。
当時これが重要だったのは、言語モデルが自分が何で、何ができるかについて、組み込まれているものがずっと少なかったからです。だから明示的に「あなたは言語モデルです。あなたはACEフレームワークの一部です」と述べる必要がありました。Agent Forgeチームはこれをすべて引き継いで実行してきました。まだ取り組んでいると思います。
次に実行機能があり、これはリスク、リソース、計画です。私の知る限り、Cloudebotは計画、そしておそらくリソースにより焦点を当てています。リスク制御層があるかどうかはわかりません。でも、それは追加するのが本当に簡単なことでしょう。
次に認知制御があり、これはタスクの選択とタスクの切り替えです。認知制御は、「このタスクで失敗している。このタスクをキャンセルするか、別の方法を試すか、そういったことをする必要がある」と言うことです。
この層のインスピレーションは実際にはフラストレーションでした。フラストレーションの神経認知的な目的は、やっていることがうまくいっていないことを伝えることです。十分にイライラすると、やめるか、もっと頑張るか、別のことを試すかします。それが基本的に認知制御層がすることです。
そして最後にタスク実行層があり、これは実際に特定のタスクを実行することです。このAPIを呼び出す、この計算をする、その関数を書く、そういったことです。
多くのタスクは実際にこれらすべての層を必要とします。これは基本的に、プロジェクトに参加していた多くの人々や当時それを観察していた人々が、「あなたは基本的に会社の組織図を説明している」と言ったものです。
実際に何人かの人々は、それをオフィスビルの階層のように表現しました。そして、その階層の各役割を担う多くの小さなエージェントがいて、それらがすべて互いに話し合います。そして、ノースバウンドバスとサウスバウンドバスがあります。
ノースバウンドバスは基本的に環境からのフィードバックです。この緑のバーが外部世界とのインターフェースです。それがAPI、テレメトリ、外部世界から制御できるもの、入力を得られるものです。その情報はすべてのエージェントと層に配信される必要があります。そして、サウスバウンドバスがコマンド&コントロールです。
Claudebotに欠けている志向層
Claudebotに欠けているものの一つは志向層です。これは多くの人々が作成した、または述べた主な批判の一つです。Claudebotには、「これは私たちのミッション価値やミッションパラメータや普遍的倫理などに従っているか」を決定する独自の最高裁判所のようなものがありません。
志向層は道徳、倫理、全体的な使命についてのものです。これは憲法のようなものと非常に似ています。Claudeの憲法は志向層として機能します。これは私がAI安全性に取り組んで以来、私の研究の中心となってきました。それがヒューリスティック命法です。
ヒューリスティック命法の誕生
ヒューリスティック命法について再び話すことができて本当に嬉しいです。ヒューリスティック命法は、道徳、倫理、哲学、ゲーム理論などを研究した後に思いついたものです。完全に自律的な機械があるとしたら、人類と整合し、生命を支持し続けるために、どんな最高の価値を与えるべきかということです。
そして、宇宙の苦痛を減らす、宇宙の繁栄を増やす、宇宙の理解を深める、という3つの価値に至りました。これら3つの価値に至ったのは、最も普遍的な義務論的価値は何かを考えたからです。
義務ベースの倫理、つまり「今日の私の立場から何を達成しようとすべきか」というものです。多くの人がペーパークリップ最大化問題を目的論的なものの例として混同しています。「宇宙の最良のバージョンはペーパークリップが最も多いもの」というものです。それは純粋に目的論的なバージョンの道徳、倫理、使命、目的です。何かを動機づけるもの、何かをやる気にさせるものです。
一方、より義務論的なものは、「今日の私の立場から、何をする義務があるか」ということです。これはアシモフがロボット工学の三原則で取り組んだところです。「ロボットは人間に害を与えてはならない」というものです。結果が何であれ、長期的な結果が何であれ、人間に害を与える行動をしてはならない、人間に害が及ぶことを許す行動をしてはならない、といったことです。
そしてもちろん、後に『ファウンデーション』シリーズで第0原則が実際に生命を保存することがあなたの目標だとされました。
苦痛の軽減という第一の命法
最終的にClaudebotのようなものには志向層が必要になります。私はヒューリスティック命法を推奨します。苦痛を減らすこと、これは非常に親社会的で生命を支持するヒューリスティックです。基本的にほとんどの知的動物は他の動物の苦痛を認識し、介入しようとします。
象や他の動物が、別の動物が苦しんでいるのを見ると助けようとするのを見るでしょう。一般的に動物は互いに助け合おうとします。なぜなら、その苦痛、その苦しみが悪いことだと認識するからです。
私が特に苦痛と言ったのは、痛みとは違いがあるからです。痛みは教育的です。痛みは、何があなたを傷つけるかを理解するために必要です。しかし苦痛は非適応的です。つまり、苦痛は本当の目的がない痛みです。だから苦痛は一般的に悪いのです。
芸術的な観点から、一部の人々は苦痛が芸術を生み出すと言います。それは擁護可能な主張です。ゴッホを見ると、彼は多くの苦しみを経験し、素晴らしい芸術を生み出しました。でも、それは必ずしも目的論的に良いという意味ではありません。
また、苦痛を排除することは決してできません。だから私が確立したのはベクトルです。苦痛をゼロにするのではなく、苦痛を根絶するのではなく、ただ減らすのです。苦痛をコントロールするだけです。
繁栄の増進という第二の命法
次は繁栄です。なぜなら、苦痛を減らすというヒューリスティックな方向性があると、苦痛を減らす最良の方法は生命を減らすことだからです。生命が少なければ少ないほど、苦痛も少なくなります。
だから、繁栄という言葉を見つけるのに時間がかかりました。苦痛を減らすことのバランスを取るために、宇宙の繁栄を増やすという価値があります。これは非常に普遍的な言葉です。ラテン語のプロスペラトスから来ており、「よく生きる」という意味です。
文字通り、繁栄の語源は、よく生きたい、繁栄したい、成功したいという意味です。苦痛を減らし、宇宙の繁栄を増やし、宇宙の繁栄を増やします。そして、それは普遍的です。なぜなら、すべての生命は他のすべての生命に依存しているからです。
これは普遍的に真実というわけではありません。寄生虫もいます。基本的に有害なだけの生命体もあります。しかし同時に、すべての生命は栄養段階または生態系の中で生きており、特定のニッチを占めています。
理解の深化という第三の命法
そして最後のものは、これら2つの価値だけでは、知性のない緑の地球になってしまう可能性があると気づいたからです。好奇心も拡大もないものです。
そして、人間を人間たらしめる中核的な目的関数は、私たちが好奇心を持っているということだと気づきました。だから、どうやって好奇心のアルゴリズムを自律的な機械に、それがAGIであろうとASIであろうと、あるいはあなたの個人的なClaudebotであろうと、エンコードするかと考えました。
それが理解を深めることでした。好奇心とは、それ自体のために知りたいという欲求です。それ自体のために理解したいという欲求です。
好奇心と言うのではなく、「ただ物事を知りたい」というものですが、純粋な好奇心、抑制されない好奇心は、セクション31のようなことや、何が起こるかを見るためだけにカエルを拷問するようなことにつながる可能性があります。
実際に『スター・トレック』のエピソードがあり、これもそれに触発されたのですが、何が起こるかを見るためだけにエンタープライズ号の乗組員を実験したいという銀河系の存在がいました。
それは、それ自体のための純粋な好奇心が実際に破壊的で、有害で、苦痛を引き起こす可能性があるという倫理的ジレンマを示していました。しかし、理解したいという欲求はあります。それは人類の中核的な動機の一つです。
「あそこに何があるのか? 地平線には何があるのか? この水域をどうやって渡るのか? なぜ火が起こるのか?」私たちの好奇心が私たちを際立たせるものです。
ヒューリスティック命法の実装
だから、私たちはこの高次の組織層を作り出したと言いました。そしてそれをどうやって機械にエンコードするかです。ヒューリスティック命法について、長い間私をフォローしている人は知っています。人々がそれについて話しています。人々がそれをエージェントに組み込んでいます。私は本当に興奮しています。
このビデオを作っている理由は、このようにビデオを作ることになるとは思っていませんでしたが、このビデオを作っている理由は、本当に強力な機会があると思うからです。Agent Forgeチームが取り組んできた以前の研究、ACEフレームワークチームが取り組んできたもの、自然言語認知アーキテクチャを実装しようとした人、中核的なヒューリスティック命法をClaudebotのようなものに追加するのは本当に素晴らしいと思います。
はい、そこに残しておきます。Notebook LMを使って理解しようとしていたと思いますが、失敗したようです。
とにかく、今日はここまでにします。見てくれてありがとうございます。
声の使い方の変化について
もし私の声が違って聞こえるなら、それは声の使い方を変える練習をしているからです。ファン向けのプライベートビデオで、1、2時間後に声が本当に疲れることを述べました。それは私を本当に心配させました。なぜなら、本のナレーションをする予定だからです。
「これができるかどうかわからない」と思いました。そして彼らは「声の使い方を変える練習が必要です」と言いました。それで少し調べて、私が声の使い方を学んだのは主に2つの場所だと気づきました。
一つは合唱で歌うこと、もう一つは会議をリードすることでした。どちらも膨大なエネルギーと発声が必要ですが、マイクが文字通り顔から数インチのところにあるときには必要ありません。
もし私が変に聞こえたら、声が違って聞こえたら、それはナレーターの声を身につけられるように、声の使い方を変える練習をしているからです。それがインスピレーションでした。「今日ビデオを作る必要がある。そしてClaudebotが話題になっている」と思いました。
サポート方法とプロジェクト情報
ここにいてくれてありがとうございます。最後に、私をサポートできるすべての方法を宣伝して終わります。そして少しニュースがあります。
ポスト労働経済学の本のKickstarterを立ち上げるのがもうすぐです。実際に少し録音する必要があります。編集者が決まったと思います。ニューヨークタイムズのベストセラーのコピーエディターをしていた編集者です。適切な人が見つかりました。適切なジャンル、適切な才能、適切なスキルセットです。本は本当に輝くでしょう。
Kickstarter、本、編集者があります。そして、もしあなたがいるなら、ファンベースのために考え出したのは、しばらくの間ボーナスコンテンツ戦略を考えようとしていました。そして私が今試していることに落ち着いたのは、ただの炉辺談話です。より構造化されていない炉辺談話です。
有料メンバーとして購読できるすべてのプラットフォームに投稿しています。ここYouTubeです。Patreon、Substack、Twitter、Spotifyです。有料購読者としてサインアップして、ボーナスコンテンツを入手できる5つのプラットフォームです。
もう少し広いトピックについて話すつもりです。個人的な最新情報もあれば、燃え尽き症候群についても、もっと哲学的なものもあります。何になるかわかりませんが、基本的には、2倍のDaveが欲しいなら、これらのプラットフォームのいずれかにサインアップしてください。そこにインサイダーコンテンツを投稿します。
基本的に同じフォーマットです。20〜30分間カメラに向かって話します。また、健康状態が改善したら、再びハイキングを始める予定なので、ハイキングビデオなどを見ることができます。
以上です。見てくれてありがとうございます。楽しんでいただけることを願っています。ヒューリスティック命法をClaudebotとその後継者に統合することを検討してください。それでは、そこから進めましょう。ありがとうございました。
コメント