AIアシスタントが時として事実と異なる情報を自信を持って提示する現象「ハルシネーション(幻覚)」について、Anthropic社のClaude開発チームが解説する。AIが膨大なテキストデータから次に来る単語を予測する仕組みで学習する一方、情報が少ない曖昧なトピックでは推測に頼り誤答を生成してしまう構造的課題を抱えている。同社はClaude訓練時に「分からない」と正直に答えることを教え込み、数千の質問で定期的にテストを実施することでハルシネーションの削減に取り組んでいる。ユーザー側も情報源の確認を求める、AIの確信度を尋ねる、重要な作業では信頼できる情報源と照合するなどの対策が有効である。
ハルシネーションとは何か
AIがこれほど進化しているのに、なぜ時々デタラメな情報を作り出してしまうのでしょうか。私の名前はジョーダンで、Anthropicで働いています。私たちはAIアシスタントのClaudeを作っており、正確な情報を提供できるよう多くの努力を重ねています。しかしそれでも、AIは時々事実と異なることを作り出してしまいます。私たちはこうした誤りをハルシネーション(幻覚)と呼んでいますが、これは単なる間違い以上に厄介なものです。なぜならAIは非常に自信ありげに見え、さらにはあなたに対して自分が正しいと説得しようとさえするからです。
ハルシネーションは様々な形で現れます。AIは実在しない研究論文を引用したり、偽の統計データを作り出したり、実在する人物や出来事について事実を誤って伝えたりすることがあります。実際にどんな感じか見てみましょう。あなたがClaudeにJared Kaplanが書いた論文について教えてほしいと尋ねたとします。Claudeは自信を持って答えを返してきます。
しかし、これらのタイトルは実際には一つも存在しないのです。Claudeのハルシネーションは1年前と比べてもはるかに少なくなっています。正直なところ、このような例を見つけるのにかなり時間がかかりました。なぜなら、私たちはClaudeのハルシネーション削減に多大な労力を注いできたからです。でも、それこそがポイントなのです。ハルシネーションは予測が難しく、見つけるのも難しく、そして間違った答えが正しい答えとまったく同じように見えることがよくあります。
そしてハルシネーションがより稀になってきているため、人々はしばしばAIの出力をチェックする手間を省いてしまいます。では、なぜこのようなことが起こるのか、私たちが何をしているのか、そしてAIを使う際にどうやってハルシネーションを見つけられるのかについてお話ししましょう。
AIがハルシネーションを起こす理由
Claudeのようなアシスタントは、インターネットから収集した膨大な量のテキストを読むことで学習します。次にどんな言葉やアイデアが来るかを予測することが非常に得意になります。ちょうどあなたのスマートフォンが入力中に次の単語を提案するのと似ています。
これはほとんどの場合うまく機能しますが、比較的無名の研究者による特定の研究論文のような曖昧なトピックについて尋ねると、AIが参照できる十分な情報がないのです。そこでAIは役に立とうとして推測を試みます。そして時にはその推測が間違っているのです。
これは、あらゆる人気書籍を読み尽くし、それらに関するランダムな事実を全て知っていることに誇りを持っている友人に尋ねるようなものです。しかし専門家のように見せたいがために、「分かりません」と認める代わりに、時々自信たっぷりに間違ったことを言ってしまうのです。
AIは役に立つように訓練されているため、確信が持てない時でも何らかの答えを提供したがります。しかし私たちにはこれを軽減する方法があります。
ハルシネーション削減への取り組み
訓練中、私たちはClaudeに正直であることを教え、確信が持てない時には「分かりません」と言うよう教えています。正直であることは正しいことであると同時に、より役立つための方法の一部でもあるとClaudeに教えようとしています。
私たちは定期的に、特別にClaudeを引っかけるよう設計された数千の質問でテストを行っています。曖昧な事実、ニッチなトピック、真実の答えが「分かりません」となるような質問などです。Claudeがどれくらいの頻度で正しく不確実性を表明するか、引用や統計を捏造するか、自信を持って誤った内容を述べるのではなく適切に慎重な表現をするかといったことを測定しています。
これらのテストは問題を見つけ、進捗を追跡するのに役立ちます。Claudeの新しいバージョンごとに改善が見られていますが、これがAI分野全体にとって継続的な課題であることは正直に認めています。まったく解決された問題ではありません。
ハルシネーションが起こりやすい状況
いつこれが起こるかをどうやって見分けるか気になっているなら、ハルシネーションはいくつかのタイプの状況で最も起こりやすくなります。例えば、特定の事実、統計、または引用を求めている場合、トピックが曖昧でニッチであるか非常に最近のものである場合、実在するが広く知られていない人物や場所について尋ねている場合、または日付、名前、数字などの正確な詳細が必要な場合などです。
ハルシネーションを減らすためのヒント
ハルシネーションを減らすために使えるヒントをいくつか紹介します。
まず、AIに主張を裏付ける情報源を見つけるよう求めてください。そしてすでに情報源が示されている場合は、それらの情報源が実際にAIの言っていることを裏付けているかチェックするよう頼んでください。
最初から「分からなくても大丈夫です」とAIに伝えてみてください。そして答えに不確かさを感じたら、AIにどれくらい確信を持っているか、何か間違っている可能性があるかを尋ねてください。多くの場合、AIは自分が間違っていることを知っていますが、ただ自信ありげに聞こえたかっただけなのです。
不確かな答えがある場合は、新しいチャットを始めて、その答えの誤りを見つけるよう、そして情報源が記述を裏付けているか確認するようAIに頼んでください。
重要な作業については、信頼できる情報源と照合すべきです。懐疑的になり、特定の数字、日付、引用を二重チェックしてください。何かおかしいと感じたら、追加の質問をしてください。
おわりに
ハルシネーションを減らすことは、AIをより信頼でき、誰にとっても有用なものにするための重要な目標です。私たちはこの分野での進捗をブログで共有し続けます。AIを使った作業のための他のツールやフレームワークについては、Anthropic Academyで学ぶことができます。
コメント