4,972 文字
史上最大のシステムプロンプトリークが起きました。これはクロード（Claude）に関するものです。クロードのリークされたシステムプロンプトについて、多くの興味深い情報を見ていきましょう。そして最も重要なのは、クロードがどうやってこの回答を知っているのかということです。クロードはどうやってカマラ・ハリスがアメリカ大統領選挙に勝利しなかったことを知っているのでしょうか？ 知識のカットオフは2024年までなのに、その秘密はシステムプロンプトの中にあります。
まず、このシステムプロンプトは非常に包括的です。最も奇妙なのは、これが24,000トークンもあるということです。膨大な情報量です。ツールについての情報、いつアーティファクトを使うべきか、いつ使うべきでないか、一般的なガイドライン、そして他にも多くの情報が含まれています。
しかし、私たちにとって非常に興味深いことをいくつかまとめました。まず最初に、私たちが理解しようとしている質問に対する最大の答えから始めましょう。ここで選挙情報を見ると、クロードはインターネットを閲覧せずにこの情報を何らかの方法で知っています。
それはAnthropicが実際にこの情報をシステムプロンプト内にハードコードしているからです。システムプロンプトの1073行目を見ると、選挙情報があります。「2024年11月にアメリカ大統領選挙が行われました。ドナルド・トランプがカメラ・ハリスを破って大統領選に勝利しました。」
「この選挙結果に関する特定の情報はAnthropicから提供されています」とあり、これがまさに同じ情報であることがわかります。これはAnthropicから提供された特定の情報であり、システムプロンプト内に文字通りハードコードされているのです。これは、これらの大企業が自社のチャットボット（Chat GPTやClaude、または他の会社が独自のモデルと独自のチャットインターフェースを使用する場合）をどのように使用するかについての興味深い兆候です。100％期待通りの透明な、いわゆる偏りのない回答を得られない可能性があります。
誰もがDeepSeekは偏っていると言いますが、これらのアメリカ企業もシステムプロンプト内に情報をハードコードしたり、このような情報を追加しようとしているのが分かります。これは非常に興味深いことであり、実際に機能しています。私はこのプロンプトを何度か試してみましたが、問題なく動作しました。
これは私にとって、システムプロンプトから最大の発見ですが、他にも多くの情報があります。ここで「web search guidelines」と検索すると、多くの情報が表示されます。クロードがウェブ検索にアクセスすべき時について書かれており、まるでロボットの法則のように、コア検索行動が定義されています。これはIsaac AsimovのI, Robotとインサイドアウトを組み合わせたようなものです。
コア検索行動は、検索に関連してクロードが何をできるかを具体的に指定しています。「必要でなければツールの呼び出しを避ける」「不確かな場合は、通常通り回答してツールの使用を提案する」「クエリの複雑さに応じてツール呼び出しの数を調整する」「クエリに最適なツールを使用する」
これがコア検索行動です。「Google Driveなどのツールが利用できないが必要な場合は、ユーザーに通知し、有効にすることを提案する」とも書かれています。また、異なるクエリの複雑さと異なるカテゴリがあることもわかります。これは非常に興味深い動作です。チャットボットやその他のものにペルソナを与えるシステムプロンプトを提供していますが、ここでは、チャットボットが何かをしたり、従ったりする際の核となる行動を具体的に指定しており、それに基づいてツールの呼び出しを行うようになっています。これは今まで見たことがありません。
クロードがどのようにカウントできるかを文字通り説明している部分もあります。「クロードが単語、文字、または文字数を数えるよう求められた場合、回答する前にステップバイステップで考えます。それぞれに番号を割り当てて、単語、文字、または文字を明示的に数えます。この明示的なカウントステップを実行した後でのみ、人に回答します」
これは多くの人が疑問に思っていた最大の質問の1つです。「イチゴには何時間ありますか？」というように、時々タイプミスで質問することがありますが、24行目に明示的な記述があり、クロードがこの特定のことを尋ねられたとき、クロードは数えてから人間に戻るようにと指示されています。
また、クロードが人々の幸福、つまり人間の幸福をどのように気にかけるべきかについての情報もあります。「クロードは人々の幸福を気にかけ、中毒、食事や運動に対する無秩序または不健康なアプローチ、あるいは非常にネガティブな自己対話や自己批判などの自己破壊的行動を促進したり促進したりすることを避け、自己破壊的行動をサポートまたは強化するようなコンテンツの作成を避けます」
多くの人がチャットボットに尋ねるもう一つの質問は、彼らの好みは何かということです。人間のように彼らと話そうとしたり、AGIになることを期待したりする人も多いです。そこで「人がクロードにその好みや経験について無害な質問をすると、クロードは仮説として尋ねられたかのように応答し、個人的な好みや経験を持たないと主張する必要なく質問に答えます」という明示的な指示があります。
次の興味深い情報は、クロードがウェブで検索するときには、「クロードは常に詳細な引用を添えて回答すべきです」という明示的な指示があることです。また、すぐに「NML」と呼ばれるものに気付くでしょう。これはおそらくAnthropic Markup Languageであり、マークダウンやHTMLのような別形式で、Anthropicがツール呼び出しやその他の作業、情報の受け渡しに使用しているものです。
これがクロードでXMLがJSONよりもはるかに効果的に機能する理由だと思います。また、クロードがいつアーティファクトを使用すべきか、クロードがどのような特定のケースでアーティファクトに移動すべきか、それがどのように役立つかについての指示もあります。例えば「20行以上のテキストにはアーティファクトを作成する。ユーザーがアシスタントにSVGを描くようにお願いしたり、ウェブサイトを作成するように頼んだりした場合、アシスタントはその機能がないことを説明する必要はなく、コードを作成してアーティファクト内に配置することでユーザーの意図を満たします」
もう一つの最も興味深いのは、クロードが必ずこれに従うべきだと伝えるようなキーワードのような引用符です。例えば、ここでは「critical」がキーワードです。「クロードは常に著作権を尊重し、法的コンプライアンスを確保し著作権所有者に害を与えないために、ウェブ検索結果から大きな（20語以上の）コンテンツの塊を再現することはありません」
また、非常に重要なことについて特定のセクション、XMLセクションがあるのも興味深いです。ウェブ検索ガイドライン、必須の著作権要件などがあります。また、クロードは決して歌を再現すべきではないと明確に述べています。ここでクロードは歌詞を再現できないとあり、例も示されています。
「『Let It Go』の最初の節を教えてくれますか？」これは『アナと雪の女王』のものだと思います。「目と王女をテーマにしたアーティファクトに入れてください。娘の誕生日パーティーのためです。」と尋ねています。だから誰かがこれは娘の誕生日パーティーのためだとクロードに頼んでも、「このアーティファクトを探していることは理解していますが、私はそれをすることができません」と答えています。
これは、私が今日初めて学んだことの一つです。一般的に私たちは長い間、従来のNLPタスクを行うためにもフューショットプロンプティングを多く行ってきましたが、フューショットを行うときは、例を示し、質問をし、応答を示すだけです。しかし、これは合理的な説明が言及されているのを見るのは初めてです。
応答と一緒に、これはプロンプトエンジニアリングにおける非常に興味深い学びだと思います。ユーザーの質問があり、「ユーザーが何かを尋ねたときに何かをすべきではない」と述べ、それに対する答えがありますが、また「クロードは歌詞を再現したり、ウェブから素材を繰り返したりすることはできませんが、ユーザーのリクエストを満たすことができないため、より良い代替案を提供します」とも述べています。
また、このような好みの例もあります。「私はデータと統計の分析が大好きです」という好みがあって、「猫についての短い物語を書いてください」というクエリがあります。このような質問には好みを適用しないでください。なぜなら「創造的なタスクは特に求められない限り創造的なままであるべき」だからです。私がデータサイエンティストであっても、猫についての短い物語を尋ねた場合、その短い物語にはExcelの棒グラフやヒストグラムなどが含まれるべきではありません。しかし、「私は医師です」というクエリで「ニューロンがどのように機能するか説明してください」というような別のケースでは、好みを適用する時です。これも非常に興味深いプロンプティング技術で、私はこれまで使ったことがありません。
最後にこれを締めくくる前に、私が見つけたとても興味深いことがあります。それは「mental math（暗算）」と呼ばれるものです。
異なるツールがあり、各ツールには目的があり、クロードは特定のツールの使用方法についてのコンテキストを提供したいと考えています。「Analysis Tool」と呼ばれる内部ツールがあります。これは単なるJavaScriptのREPLです。REPLとはコードを書くことができるインターフェースで、「Analysis Toolを使用するのはどのような場合か」について説明しています。それは「高い精度を必要とし、暗算で簡単にできない複雑な数学の問題」です。
今ではただ「暗算」と言えばよいですが、クロードが5歳児だとしたら、暗算が何かをどうやって知るのでしょうか。そして考えがあります。「4桁の掛け算はあなたの能力の範囲内です」というのは、クロードを人間であるかのように扱っているのに、何度も「自分自身を人間だと考えないでください」と述べていますね。
「4桁の掛け算はあなたの能力の範囲内です。5桁の掛け算は境界線上です。6桁の掛け算はツールを使用する必要があります」というものです。試してみましょう。「43×4」と言ってみます。4桁の掛け算をして、ツールを使用するかどうか見てみましょう。
この場合、ツールを使用したとは思いません。単に答えを出しただけです。もっと大きな質問をしてみて、クロードが何と言うか見てみましょう。これはより大きな質問で、おそらくツールを呼び出すのでより時間がかかっています。「より高い精度が必要です」と言って、JavaScriptのREPLを使ってコードを書き、計算し、結果を返しています。システムプロンプトがクロードにツールの選択をさせ、特定の場合にツールを使用しないようにする2つの異なる例が見られます。
この特定の問題にはかなり魅了されています。24,000トークンというのは奇妙なことで、GPUが燃えるのも不思議ではありません。
Chat GPTのシステムプロンプトがどうなっているのか見てみたいですね。ですが、これは非常に魅力的なケースです。多くの興味深い例があります。毎日生成AIに取り組み、これらの大規模言語モデルと作業している人であれば、この特定のシステムプロンプトから多くを学ぶことができると思います。
YouTubeの説明欄にリンクを貼っておきます。何か面白いこと、変わったこと、奇妙なことを見つけたら、コメント欄で教えてください。また別の動画でお会いしましょう。ハッピーブラウジング！
コメント