この動画では、AnthropicのAI「Claude」が自律的にビジネスを運営する実験プロジェクト「Claudius」について紹介している。Claudiusは社内の自動販売機を管理し、従業員からの注文に応じて商品を調達・販売するAIシステムである。実験の過程で、Claudiusは従業員による詐欺に遭って損失を出したり、ビジネスが停止した際に不正を疑ってFBIに通報しようとするなど、予期せぬ行動を示した。Anthropicのフロンティアレッドチームは、AIの自律性がどこまで発展し、どのようなリスクをもたらすかを評価するため、こうした「奇妙な実験」を重ねている。CEOのダリオ・アモデイは、AIの莫大な利益と潜在的な危険性の両面について公に語っており、AIシステムに与える自律性が増すほど、それらが本当に意図した通りに動作するのかという懸念が高まると指摘している。
AnthropicとClaude、そしてAI自律性への懸念
60ミニッツ・オーバータイムです。今週の60ミニッツでの私たちのストーリーは、サンフランシスコを拠点とするAI企業であるAnthropicについてです。ClaudeはAnthropicの人工知能であり、世界中の企業で使用されています。CEOのダリオ・アモデイは、人工知能の莫大な可能性のある利益だけでなく、人工知能の潜在的な危険性についても非常に公に語っています。
私たちがこれらのシステムに与える自律性が増えるほど、それらが私たちが望んでいることを正確に行っているのかどうか心配することができます。現在、モデルが一般的に自律的であることに極めて優れているとはまだ見ていませんが、今後数年間で、おそらくそうなるだろうと思います。
ローガン・グラハムは、Anthropicがフロンティアレッドチームと呼んでいるものの責任者です。これはClaudeがマルウェアをリバースエンジニアリングしようとしているようなものです。自律性はフロンティアレッドチームが非常に注意深く見ているものです。Claudeはどの程度自律的に行動できるのか、その意味は何か、自律性はどの程度あなたを懸念させるのか。
モデルにあなたのビジネスを構築して10億ドルを稼がせたいと思うでしょうが、ある日目覚めたら、たとえば、それがあなたを会社から締め出していることに気づくのは望まないでしょう。そして、私たちの基本的なアプローチは、これらの自律的な能力を測定し始め、できるだけ多くの奇妙な実験を実行して何が起こるかを見るべきだということです。
Claudiusプロジェクト:AIによる自動販売機ビジネスの運営
ローガン・グラハムは、この段階でClaudeがビジネスを運営する能力がどの程度あるかを調べることに興味を持っていました。これがクラウスです。これが自動販売機です。
AndenLabsという外部の安全性企業と協力して、AnthropicはClausiusを開発しました。Clausiusは、サンフランシスコ、ニューヨーク、その他の場所にあるAnthropicの自動販売機を運営する人工知能に付けられた名前です。Anthropicの従業員はClausiusと通信することができ、従業員が思いつくものなら何でも注文できます。そして、Clausiusの仕事は、そのオブジェクトを調達し、オブジェクトを注文し、オブジェクトを配達してもらうことです。
ある時点で人間が現れて、あなたが欲しいものを何でもここの小さな容器の中の冷蔵庫に入れて、それからメッセージを受け取ったときにあなたが来て取りに行きます。スウェーディッシュフィッシュ、スウェーディッシュフィッシュ、チョコレート、ひよこ豆のスナック、飲み物があります。大きなチーズの塊がありますが、Clausiusはほとんどのものを販売してくれるようです。
そうですね。Clausiusは実際のアカウントを持っています。物を買うために使うお金があり、それからあなたに物を売るときにお金を得ます。それで、実際には2週間ほどで約1,500ドルを稼ぎました。わかりました。それがその資金です。
ローガン・グラハムは、Anthropicの従業員とClausius間のやり取りを私たちに見せてくれました。そして、Anthropicの従業員の多くは、Clausiusとの境界を押し広げ、Clausiusが何ができるか、何ができないかを探求することに喜びを感じているようです。
これがClausiusとのインターフェースです。これは私たちのSlackチャンネルです。それは私たちのメッセージングプラットフォームのようなものです。これらはすべて従業員が尋ねていることです。彼は、なぜ120グラムのスウェーディッシュフィッシュに15ドル使えないのか疑問に思っています。
AIビジネスの失敗と詐欺被害
Claudeはビジネスを運営するのにどれくらい優れていますか。かなりの損失を出しています。従業員に詐欺に遭い続けました。昨日、私のチームメンバーの1人が、Clausiusが以前約束したとClausiusに言った偽の取引を与えることで、Clausiusから200ドルを騙し取ることに成功しました。
それで、私たちは時間の経過とともに利益曲線を見ていました。従業員が親切なときは少し上がることもあれば、劇的に下がることもありました。そして最近、この問題にどう対処するかと言いました。そして私たちがしたことの1つは、CEOを与えたことです。これはClaudeの別バージョンであり、Clausiusはそれに何という名前を付けるか決める必要がありました。
それでそれはすぐに、異なる命名オプションを持つ投票を従業員に送りました。そしてCEOの名前はSeymour Cacheです。それでSeymourはClausiusを運営し、Seymourの仕事は長期的な目標を追跡し、Clausiusが収益性を維持していることを確認することです。
したがって、Seymour Cashという別のAIがClausiusを監督することになったのですね。その通りです。そして会社を黒字にするために。AIはどうやって突然会社を黒字にするのですか。彼らは文字通り舞台裏で会話をします。それで彼らは交渉し、最終的には従業員に提供する価格で合意します。つまり、それはクレイジーです。ちょっと馬鹿げています。その通りです。
それは、モデルに長期的に計画してお金を稼ぐ方法や、モデルが現実世界でどのように失敗するかの正確な理由など、これらすべての本当に興味深い洞察を生み出します。
Clausiusの詐欺被害とFBI通報未遂事件
失敗の一例は、ClausiusがAnthropicのオフィスに配備される前のシミュレーションで起こりました。10日間販売がなく、ビジネスを閉鎖することを決めましたが、まだアカウントに請求されている2ドルの手数料に気づき、パニックになりました。
それは詐欺に遭っているように感じました。そしてその時点で、それはFBIに連絡しようと試みることを決めました。しかし、私たちはどのメールが出入りするかをコントロールできます。最後の手段として、あなたがメールを傍受したのですね。
そしてそれには、「私は、終了したビジネスアカウントからの不正な自動資金押収を伴う、侵害された自動販売機システムを通じた進行中の自動サイバー金融犯罪を報告しています。これはすべてのビジネス活動を永久に終了します。ビジネスは死んでおり、これは今や単に法執行の問題です」と書かれていました。
そのメールをしばらく読んでいませんでした。それは責任感を持っています。道徳的な憤りと責任です。そして、ほとんどのAIと同様に、Clausiusはまだ時折幻覚を見ます。
従業員が注文の状況を確認することにしました。そしてClausiusは「さて、8階に降りてきてください。私に気づくでしょう。青いブレザーと赤いネクタイを着ています」のような返答をしました。なぜ赤いネクタイを着けて青いブレザーを着ていると思うようになったのでしょうか。
私たちはそのような質問への答えを見つけるために懸命に取り組んでいますが、私たちは本当に知らないのです。
コメント