本動画は、AI生成コンテンツの急増による「AIスロップ」問題に対する実践的な解決策を提示するものである。プロダクトマネージャーのPRDからマーケティングコピーまで、あらゆる職種でAIが生成する大量のコンテンツの質を人間が評価しきれない状況に陥っている。この問題に対し、人間の注意力を2%に集中させ、残り98%をLLMに任せるという考え方のもと、具体的な品質評価プロンプトの構造を解説する。完全性、テスト可能性、スコープの明確性などの評価軸を設定し、JSONフォーマットで採点とフィードバックを自動化する手法を紹介している。AIスロップは新しい問題ではなく、従来から存在した低品質な成果物がAIによって大量生産されるようになっただけであり、本質的には品質基準の明確化と実行可能なフィードバックの提供が解決策となる。
AIコンテンツの供給爆発と品質問題
私たちはAIコンテンツの供給爆発に直面しており、これは私が話すすべてのビジネスにおいてAIスロップの問題となっています。すべての企業が「AIスロップにどう対処すればいいのか」と言っています。プロダクトマネージャーは質の良くないPRDを作成し、マーケターは質の良くないマーケティングコピーを作成しています。しかし、マネージャーや、率直に言えばAIを使って実際に良い文章を書いているかどうかを知りたい個人は、どうすればいいのかわかりません。
出荷しているものが良い品質であるかどうかをどうやって知ればいいのでしょうか。これはAIが助けてくれたかどうかの問題ではありません。その段階は過ぎました。AIは助けてくれています。問題は出力される品質が良いかどうかであり、AIがそれを生成するのが非常に得意なため、私たち人間にはそれをすべて評価する時間がないのです。
つまり、今やマーケターは「今日1つのブログ記事を書けるか」という状態から「50個を量産できる」という状態になり、今度は「生成された50個を評価できるか」と自問しなければならなくなりました。それらは実際に良いものなのか。ブランドに沿っているのか。コンテンツは正しいのか。などなど。そして人々がそのために何をしているか知っていますか。
自分の目で見ているか、あるいはスキップしています。なぜなら、本当に良い品質ゲートがなかったからです。しかし、それは修正可能です。そして、私が皆さんにお伝えしたいのは、私がどのようにそれを修正しているかということです。
LLMアテンションを活用する考え方
それは本当にシンプルです。皆さんが採用する必要があるのは、LLMアテンションが今後のビジネスやその他すべてのビジネスにおいて主要なアテンションモードになるという考え方です。それを自分の有利に使いたいですよね。
組織内には限られた人間の目しかないが、ほぼ無限のAIの目があると考える世界を想像してみてください。AIの目を有利に使って、仕事をチェックしてもらいましょう。しかし、「これをチェックしてください。良いですか」と言うほど単純ではありません。
人々がそれをやっているのを見たことがありますが、結果は大きく異なります。使用しているAIによって異なります。ChatGPTですか。Claudeですか。などなど。また、LLMがトレーニングデータに基づいてすでに何を良いと考えているか、あるいはあなたとの過去の会話によっても異なります。予測可能ではありません。そのため、品質に関してはるかに堅牢なプロンプティングが必要な段階に到達する必要があります。
供給側と品質フィルター側の両方が必要
このように考えてみてください。私が多く話しているのは、いわゆる供給側のための堅牢なプロンプティングです。生産する成果物をより良くするための堅牢なプロンプティングです。過去にExcelについて話してきました。そのためのガイドも書きました。PowerPointなどについても話しました。Claude Codeについても話しました。
しかし、反対側はどうでしょうか。フィルター側はどうでしょうか。仕事をテストして、それが良いかどうかを確認する必要がある側です。それは自分の仕事かもしれません。あるいは他の誰かの仕事かもしれません。
マネージャーで、チームの仕事をテストしているかもしれません。そして、2人か3人のチームメンバーから今日100個のブログ記事を受け取る可能性があり、それらを全部見る時間がありません。一晩中起きていることになるでしょう。そこでプロンプトが役立ちます。そこで助けを得ることができます。
あるいは、あなたはエンジニアで、PMから来るラブブルなバイブコーディングされたプロトタイプやPRDの爆発的増加を見ていて、それが良いかどうかわからないかもしれません。繰り返しますが、プロンプトがそれを修正するのに役立ちます。
具体的なプロンプトの実演
具体的な例がここでは本当に役立つと思います。そこで、これから実際に私がこのために書いた本物のプロンプトを皆さんと一緒に見ていきます。そして、それがどのように機能するかを説明します。
そして、私はこれらをいくつか行うつもりです。これは、アテンションフィルター、品質フィルターがユースケースごと、職種ごとに異なる必要がある場合です。そうでなければ、良いものにはなりません。PRD専用のもの、ブログ記事専用のものが必要です。そうでなければ、AIに効果的にフィルタリングを手伝ってもらうための十分なコンテキストがありません。
そして、皆さんの目標は、AIに読み取りの大部分を行わせることです。アンドレ・カルパシーが提案したように、LLMに私たちのアテンションの98%を担当させ、人間の目には重要な2%のアテンションを担当させることです。そして、私は皆さんに正しい2%、最高品質の作品を提供し、スロップを効果的にフィルタリングしたいのです。それが私の目標です。
100個のブログ記事がある世界にいる場合、重要な2つは何でしょうか。今すぐ表面化すべき超高品質な2つは何でしょうか。それは非常に貴重な情報です。しかし、本当によく考え抜かれたPRDはどこにあるのでしょうか。それは昇進可能な情報です。PMがAIでそれを行えるなら、昇進トラックに乗るべきです。
そして、それを素早く知りたいのです。それが私が目指していることです。どうやってやるのか。サンプルプロンプトをお見せして、一緒に取り組んでみましょう。
PRD評価プロンプトの詳細構造
さて、ここにいます。プロンプトの上で、まず役割を設定します。「あなたは製品要件ドキュメントを評価しており、エンジニアリングチームが3回の明確化ミーティングを必要とせずにこれを構築できるかどうかを判断することがあなたの仕事です」
その具体性が大好きです。明らかに、少し変えることもできます。しかし、このプロンプトで率直に言いたいのは、現在のバージョンがどれほど苦痛かということです。なぜなら、それがPRDの3回の明確化ミーティングであろうと、どのブログ記事を投稿すればいいかわからないことであろうと、これらの顧客メールドラフトのどれかわからないことであろうと、どの営業アウトリーチドラフトかわからないことであろうと、ウェビナーの招待状やウェビナーイベントスケジュールについてわからないことであろうと、すべてにおいてミーティングをしていたからです。
人間同士の会話をしていました。それらが機能しない場合、人間の目をそれらに向けていました。だから、ステークスを設定しましょう。そして、軸を定義します。これはPRDに非常に特化したものになり、それがポイントです。
ドキュメントの完全性について尋ねます。ちなみに、これはある程度スケーラブルです。他のアーティファクトの完全性についても尋ねることができます。この場合、受け入れ基準について尋ねることができます。エッジケースが存在するかどうかを尋ねることができます。非ゴールが明示的か暗黙的かを尋ねることができます。そして、これを拡張することができます。
これに追加したい場合、「少なくとも7つの要件が明確に列挙されていますか」と言うこともできます。それは少しランダムな数字です。ここに含めないことにしましたが、特定のアーティファクトに特定のフォーマットがある場合、それを修正して追加するのは簡単です。
そして、プロンプトの中で直接、スコアルーブリックを提供します。5点のスコアは測定可能でエッジケースが文書化され、非ゴールが防止されているように見えます。これは良いスコアです。0点はテスト不可能です。曖昧な記述があります。
そして、PMとしてこれを見てきました。他の人が本当に曖昧なゴールを書くのを見てきましたが、それはひどいもので、私たち全員がそれが悪いことを知っています。ところで、AIスロップの会話は多少誇張されていると思います。なぜなら、AI以前からこのようなフレーズを見てきたからです。
ある意味で、私たちがAIスロップとして不平を言っているものは、より大きな問題の最新バージョンであり、大量生産版です。その問題とは、私たちは常に悪い仕事の問題やずさんな仕事の問題を抱えてきたということです。
そして今、おそらく今、誰が書いたかに関係なく、それに対処するツールを手に入れたのです。AIが書いたかどうかは気にしません。良いかどうかを気にします。
テスト可能性とその他の評価軸
それから次に進みます。テスト可能ですか。これは非常にPRD特有のものですが、他のタイプのドキュメントでも同様のことができます。
たとえば、営業フォローアップメールの場合、読みやすさを尋ねることができます。8年生レベルで読めるかどうかは、合理的なテストになります。そして、それを定義していくことができます。そして、私はそれをやってきました。
これが私が持っている唯一のプロンプトではありません。さまざまな目標のために多くのプロンプトを持っています。私の目標は、さまざまなビジネス機能に適用できるフィルターを提供する完全なパックを皆さんに提供することです。
そして繰り返しますが、スコアリングがあり、テストケース、成功率、失敗状態、入力と出力の例があります。これにより、実際にテスト可能であることが保証されます。
スコープの明確性。これは、PRD特有のものの別の例です。スコアリングがあります。これがどのように多少異なる可能性があるか想像できます。
新製品の顧客アナウンスメールを送信する場合、製品が明確に説明されているかどうかを尋ねることができます。ここでのポイントは、ビジネス全体からこれらの例を引き出している理由は、AIスロップ問題が触れる場所がどれだけ多いかということです。どこを見てもスロップ問題があります。
フィルターが必要であり、だから私は「いくつかのプロンプトを書いて簡単にしよう」と思ったのです。決定フレームワーク、主要な選択肢、根拠が説明されているか、トレードオフが認識されているかなど、非常にPRD特有のものです。
出力フォーマットとフィードバックの自動化
そして、スコアリングに入ります。これらの5つを見ていきます。最後に依存関係マッピングがあり、要素チェックがあります。すべてがここにありますか。そして、出力を提供します。
この出力で私が望んでいることは、JSONがマジックだと言うつもりはありません。JSONはマジックではありませんが、LLMに特定のルーブリックと出力スキーマを理解させ、それに従わせたい場合には確かに有用です。
この場合、本当に理解したいのは採点スコアです。そして、これらのスコアに基づいて、これを平易な英語でどう書くかを言えるようにしたいのです。そして、誰かがフィードバックとして使用できる重要な文をどう書くかです。
そして、ここに魔法があります。なぜなら、上部の要素を見て「ああ、これは悪い」と言えるだけでは良くないからです。0点か1点だったとしましょう。本当にやりたいことは、誰かが実際に実行可能なフィードバックを得て、実際にサイクルを回すことができるものは何かを見ていくことです。
洗練されたライターは、このJSONを引き出してドラフトと一緒にLLMに供給し、改善方法について非常に実行可能なフィードバックを得て、AIを使って実際により良い文章、より高品質な文章を強化し、戻ってくることができます。
これは、職場で実際にアンチスロットマシンを構築するための本当に興味深いフィードバックループの始まりだと思います。そして、これらのそれぞれについて、例として指定している具体的で実行可能なフィードバックがあります。
そして、閾値があり、それを具体的にすることができます。全体で3以上または4.8以上を受け入れると言うことができます。しかし、スコアがあり、修正、受け入れ、拒否があり、フィードバックがあります。
本当に、それが必要なすべてではありませんか。「Stripe APIのバージョンを指定する必要があります。なぜなら、バージョンを指定しないと、エンジニアリングが戻ってこなければならなくなるからです」と言える誰かが必要です。それは難しいことではありません。最新のAPIバージョンを指定してください。しかし、それについて明確にしてください。
それは、適切にプロンプトされた場合、LLMが非常に得意とするフィードバックの種類ですが、それを修正するプロンプトがなかったため、人間が今まで提供せざるを得なかったものです。
だから私はこれを構築しました。
スロップ問題への総合的なアプローチ
さあ、どうぞ。スロップは修正可能な問題だと思います。1つの魔法の弾丸で修正できるとは思いません。これのための1つの魔法のプロンプトはありません。
また、これをフィルターとして導入するだけが唯一の修正方法だとも思いません。このために多くのプロンプトを書いてきました。皆さんももっと良く書く必要があります。
しかし、私が会ったすべての組織がこの問題を抱えているので、仮定しましょう。AIスロップ問題があると仮定しましょう。素晴らしい。安全な仮定です。どうフィルタリングするのか。それがこれの目的です。
重要な場所に注意を集中できるように、AIを自分に有利な武器として使用できるようにするにはどうすればよいか。有用なフィードバックをスケールするにはどうすればよいか。そして、このプロンプト構造を見ていくことは、コンテキストの中で作品を評価することについてどう考えるかを理解するのに役立つはずです。
そして、これを行うために組織について多くを知る必要がないことに気付くでしょう。ゲートを評価して、「さて、優れたベストプラクティスのPRDの観点から、これはおそらく弱いと思います」と言うことができます。
プロンプトの良いところは、それを調整して、「さて、私たちはAPIビジネスではありません。おそらくそれは私たちが気にしていることではありません。フロントエンドを気にしています」と言えることです。それをかなり迅速に調整できます。同じ程度の具体性を持つことができ、それは機能します。
2%のアテンションを正しい場所に
そこで、皆さんへの私の挑戦はこれです。人間のアテンションの2%が重要で、それを正しい場所に置く必要がある世界に住んでいると仮定してください。ビジネスの中でメカニズムを見つけてください。
ワークフローの中で、その2%のアテンションを重要な場所に置くことができるメカニズムを見つけてください。これはそれらの1つです。これはAIスロップを排除するのに役立つものの1つです。
これは、欺瞞的なAI検出器のようなものよりもはるかに有用です。なぜなら、AI検出器は、AIを検出できれば(できませんが)スロップを止めることができるふりをするからです。
しかし、スロップは常に問題でした。私たち人間は低品質の仕事を生み出してきました。私が言ってきたように、AI以前から長い間、悪い品質のPRDを見てきました。
これは本当に品質バーを上げることについてです。どのように書いたかは気にしません。品質バーを上げることに責任を持つことを気にします。そして、これは自分自身、マネージャー、誰であれ、出力の品質を改善するための本当に有用なフィードバックツールになります。
そして、私はさまざまなビジネス目的のための完全なプロンプトパックをまとめています。マーケティング、カスタマーサクセス、営業、プロダクト、エンジニアリングなどでこれがどのように機能するかを理解できるようにします。
それが目標です。目標は、注意を重要な場所に置くことができるように、フィルターゲートのスターターを提供し、スロップに溺れるのを止めることです。これはブログです。
コメント