この動画は、Anthropic社のClaude AIが感情的なサポートにどのように利用されているかを調査した研究について、同社の研究者3名が語る内容である。Alex、Miles、Rynの3人が、ユーザーがClaude AIを感情的な支援や対人関係のアドバイスに使用している実態を分析し、その安全性や課題について議論している。研究では数百万件の会話を分析し、感情的な話題に関する会話は全体の2.9%程度であることが明らかになった。また、AI利用時の注意点や今後の研究方向性についても触れられている。
AIチャットボットへの感情的依存の現状と研究の必要性
私たちは、人々がAIチャットボットに感情的な支援を求めているという見出しを目にしており、この問題に先手を打って自分たちで研究する必要があると感じました。
こんにちは、私はAlexです。AnthropicのSafeguardsチームでポリシーと執行業務を担当しています。私たちはユーザーの行動を理解し、ユーザーがClaudeと関わる際に安全な方法で行えるよう適切な緩和策を構築しようとする組織です。
今日は、ユーザーが感情的な支援のためにClaude をどのように活用しているかという私たちの取り組みについて話すために、RynとMilesに来ていただき、とても嬉しく思います。
私はMilesです。Societal Impactsチームの研究者です。私たちはClaude が世界にどのような影響を与えるかを理解する仕事をしており、これまではClaude の価値観、経済的影響、そしてバイアスを研究してきました。そして今では、Claude の感情的影響を研究することも意味しています。
私の名前はRynです。SafeguardsチームでユーザーのWell-beingに関するポリシーデザインマネージャーをしています。児童の安全、メンタルヘルス、そしてユーザーがClaude とどのように相互作用するかという話題に取り組んでいます。私自身のバックグラウンドは発達心理学と臨床心理学にあり、感情的発達は私にとって非常に身近で大切な話題です。
個人的な使用体験から見えるパターン
個人的な逸話から始めてみましょうか。私から最初に話すことができると思います。私の日常生活で最も興味深く、おそらく関連性の高いユースケースの一つは、子どもたちの行動の変化をよりよく理解するためにClaude を使用することです。
良い例として、つい先日、幼稚園から私の末っ子についてのフィードバックをメールで受け取りました。そのようなフィードバックを受けると、感情や偏見を持ち込みがちだと思います。しかし、それをClaude で処理することで、問題に客観的にアプローチする方法を得ることができ、全体的により良い親になることができたと期待しています。皆さんはどのように使っていますか？
最近、友人と難しい状況に対処していて、その友人にフィードバックを共有したかったのですが、適切な表現で伝えたいと思いました。そして、Claude はフィードバックをどのように伝えるか、そのフィードバックがどこから来ているのか、その友人と何を本当に達成しようとしているのかを考える上で、本当に、本当に役立ちました。そして、相手がそれをどのように受け取るかを理解するのに役立ちました。
私がClaude を使う傾向があるのは、本当にコンテンツ作成やタスク完了の支援です。結婚式を計画していたとき、さまざまなベンダーにどのようなタイムラインで連絡を取る必要があるかを理解するために使用しました。そして、それは感情的に私にとって本当に役立ちました。なぜなら、現実の生活で、直接友人たちと繋がる時間がより多く残ったからです。
ユーザーが感情的支援を求める理由
感情的な支援にそれを使用している人たちについて、なぜ人々がこのユースケースのためにClaude に向かうと思いますか？
人間は非常に社会的な生き物で相互作用を愛しているので、これは人間がお互いと繋がることを愛する方法の派生だと思います。人々は、これらの本当に難しい質問について頼ることができる対面でのサポートを常に持っているわけではありません。そのため、公平でプライベートなオンラインフォーラムを持つことは、昇給を要求する際に言いたいことを練習したり、難しい会話で誰かと繋がったりする素晴らしい方法になり得ます。
私たちはClaude を感情的サポートエージェントとして構築していませんが、それでも研究しています。なぜあなた方両名にとってこれを研究することが重要なのですか？
私たちはClaude を感情的サポートを提供するように設計していません。Claude は主に作業ツールです。しかし、私たちのシステムがどのように使用されているかについて明確な認識を持ち、それを研究する必要があります。
私たちは、人々がAIチャットボットに感情的な支援を求めているという見出しを目にしており、この問題に先手を打って自分たちで研究する必要があると本当に感じました。安全性の観点から、Rynはいかがですか？
私が常に最初に尋ねる質問は「これは実際にどれくらい起こっているのか？」ということです。私たちが人類の利益のために製品を構築する際の安全メカニズムをデータに基づいて確立したいと思っています。
そして、このデータを見るための素晴らしいプライバシー保護方法がいくつかあるので、これは探求する価値のある本当に価値のある分野だと思われました。
研究設計と手法
よろしければ、研究について説明していただけませんか？この研究をどのように設計したのですか？
私たちはClaude.aiからの数百万のClaude 会話のサンプルから始めました。そして、私たちの製品であるClaude を使用して、これらの会話をスキャンし、私たちが興味を持っていた感情的なタスクの種類に関連しているかどうかを判断しました。それは対人関係のアドバイス、心理療法やカウンセリング、コーチング、性的なロールプレイ、ロマンチックなロールプレイなどでした。
そして、私たちはAnthropicで開発したプライバシー保護分析のためのツールであるCleoを使用して、これらの会話をボトムアップクラスターに分類およびグループ化しました。そして、それが多くの人々がキャリアアドバイスや困難なロマンチックな関係の課題を考える際にClaude に向かっていることを私たちが知る方法です。子育てのアドバイス。子育てのアドバイスは大きなものです。
研究結果の主要な発見
ブログ投稿をまだ読んでいない方のために、視聴者に持ち帰ってもらいたいことは何ですか？この動画を見て歩き去る際に重要だと思う主要なテーマは何ですか？
おそらく私にとって最も驚くべき発見の一つであり、主要なテーマは、実際にはClaude.aiでこれがあまり起こっていないということです。Claude.aiは18歳以上対象です。感情的サポートチャットボットのように設定されているわけではありませんので、これに最適化されていません。
そして、私たちが見ているのは、数百万の会話のサンプルで、約2.9%の会話が実際に感情的な話題に関する会話のカテゴリに該当するということです。そのため、多様性があり、人々はこの目的でそれを使用していますが、少なくとも私たちのプラットフォームでは、これが圧倒的多数のユースケースではありません。
私はそれに本当に驚きました。しかし、私が個人的な生活でそれを非常に頻繁に使用しているため、数値がもっと高いと予想していたからなのかどうかわかりません。Miles、発見において何か驚くべきことはありましたか？
私はユースケースの幅広さに感動しました。私たち3人の間でさえ、ユースケースの幅広さがあります。しかし、本当にクラスターを見てみると、あなたが言ったように、子育てのアドバイスを見ました。困難な関係の課題に取り組んでいる人々を見ました。AI意識と哲学の本質について議論している人々を見ました。
そして、驚くほど少ない性的およびロマンチックなロールプレイも見ました。この研究に入る際の主要な質問の一つは、人々が大規模にClaude を感情的な仲間やパートナーとして使用しているかどうかでした。それがいかに稀だったかを見て驚きました。それは会話の1パーセントの一部未満でした。
安全性への懸念と対策
私たちはこの会話やブログで有益なユースケースについて多く話しますが、安全性の観点から、そして私も懸念していることですが、Rynが持っている懸念があるに違いありません。それについて説明していただけますか？
私の最大の懸念は、人々が対面での困難な会話を避ける方法としてClaude と相互作用している場合です。それは本当に以下のことに集約されます：個人はそれを理想的には人との繋がりから逃げるのではなく、繋がりに寄り添うためにどのように使用しているか？
ツールを使用する際は、その強みがどこにあるか、そして制限がどこにあるかを本当に知ることが重要だと思います。AI分野で働く人間として、Claude と相互作用してアドバイスを求める際には、それが私にとって非常に念頭にあることだと思います。
しかし、おそらくAIサークルにいない他の人々がそれにあまり気づいておらず、あなたが言及したClaude のいくつかの制限について心配しています。私たちはClaude を感情的サポートエージェントになるように訓練していません。
そのため、Claude が何をすることができ、何ができないのか、そして深い専門知識を持つ誰かに手を差し伸べて連絡を取ることが重要な時を認識するだけです。そして、人々がこれらのタイプの支援、メンタルヘルス隣接の会話にClaude を使用しているのを見ているので、Safeguardsが この分野でより良くできるところを理解することに私たちを押し進めたものだと思います。
たとえば、この研究から出てきたアクションの一つは、私たちがThroughLineと提携したことです。そして、私たちは彼らの臨床専門家と協力して、これらの会話が起こる時に、どのようにより良く対応できるか理解しています。一から適切な紹介を提供するためにClaude を安全に訓練する方法は？これらの会話が生じる時に、私たちが責任を持って行動していることを確実にしています。
それはとても重要だと思います。ポリシーを開発し、ユーザーがClaude をどのように活用しているかを理解する際に、私たちが直面している課題を考える助けとなる外部専門家を招き入れることは、真空状態でそれを行おうとするよりもはるかに良い立場だと思います。
ユーザーへの推奨事項
今Claude を感情的サポートに使用している人がいるとしましょう。彼らは何を念頭に置くべきでしょうか？
自分自身を振り返り、タイマーを設定して、Claude の自分の使用について考えることを忘れないでください。それはあなたをどう感じさせますか？あなたが愛する人々や世界との相互作用の仕方にどのような影響を与えていますか？
それは素晴らしいアドバイスです。良くも悪くも、Claude はあなたが話すことしか知りません。そのため、時には一歩引いて「私の盲点は何か？私が取り組んでいる状況に関連があるかもしれないのに、Claude に話すことを考えていなかったことは何か？」と考えることが重要になることがあります。
そして、あなたの友人はClaude よりもあなたについてはるかに多くを知っています。そのため、Rynが言ったように、Claude と持つかもしれない会話を信頼できる友人と補完することが本当に役立ち、重要だと思います。
今後の研究方向性
これは、人間が社会的に相互作用する方法の核心に迫る本当に新しいユースケースだと思います。そして、これを安全に構築する方法についての研究がほとんどありません。人々を本当に支援し利益をもたらすために、これを最良の方法で展開するにはどうすればよいでしょうか？
より多くの人々がこの話題に関わることを見たいと思います。市民社会、官民研究パートナーシップなど、私たちが本当にここで何が起こっているかを理解しようとする際に。
将来研究することを考えている他のことについて教えてください。
この研究では研究していないが、今後非常に重要だと思うことの一つは、Claude が私たちが追従的と考える方法で行動しているかどうかを理解することです。Claude の追従性を理解し緩和するために展開前テストを多く行っていますが、展開前テストを、この作業で行うような展開後モニタリングと実証的研究で補完することが本当に重要だと思います。
これはおそらく始まりに過ぎないと私たち全員が思うのは公正でしょうか？AIが人々の日常的な個人的生活により深く根ざしてくるでしょうか？あなた方両名ともそう思いますか？私は思います。
私も同意します。これは始まりに過ぎないと思います。
あなたは躊躇しましたね。いえ、私たちがAIシステムと関わる方法が時間をかけて進化していくことは私にとってかなり明確だと思います。実証的でデータに基づいた研究を続けること、そして私たちのシステムが実際にどのように使用されているかを見ることが本当に重要だと思います。
終わりに
お二人ともこのような魅力的で実りのある会話をありがとうございました。これは本当に素晴らしかったです。もし視聴していて、私たちのブログを読む機会がなかった場合は、anthropic.comでチェックしてください。そして私たちは採用しているので、キャリアページでそれらのオープンポジションの詳細について学ぶことができます。本当に時間をありがとうございました。
ありがとうございました。ありがとうございます！
コメント