この動画では、AI分野でよく誤解される3つの重要概念について解説している。トークン化可能なデータの判別方法、AIの能力にムラがあるジャギッド・インテリジェンスの特性、そして大規模プロンプトとカジュアルチャットの使い分けについて実践的な視点から説明し、これらの理解がAI活用の成功に不可欠であることを示している。
AIでよく誤解される3つの重要概念
AIのややこしい3つのアイデアについて話したいねん。なんでそれらが混乱を招くんか、なんで理解が難しいんか、なんでよう質問されるんかを説明したいし、君らが理解して他の人にも教えられるくらい分かりやすく説明したいと思っとる。なぜなら、これらは俺が教えて話しとる多くの概念の基礎になってるからや。
そして俺は人がよくこれらを誤解しとることに気づいとる。
1つ目：トークン化可能なデータとは何か
トークン化可能なものについて話すとき、トークン化可能な分布について話すと、人がぼんやりしてるのが見えるねん。「トークン化って何やねん？」みたいな感じで。
すごくシンプルに考えてみい。あんたのビジネスのデータや、あんたの世界のデータが文書に載せられるかどうか自分に聞いてみるんや。もしそれができるなら、それはええサインや。おそらくトークン化可能やろう。文書に収まるのが想像できへんなら、おそらくトークン化可能やない。
だからAIがこれをできるかどうか聞かれたとき、人はタスク全体について考えることが多いけど、俺はいつもまずデータとトークンについて聞くねん。そもそもそれを収められるんか？トークンがシステムに入るかどうか確認できるんか？
それから俺がよく話す後続の質問に入るねん。ここにデータが多すぎるんか？コンテキストウィンドウには大きすぎるんか？タスクが1つのプロンプトには多面的すぎるんか？それともタスクがAIがニュアンスを持って扱うには複雑すぎるんか？AIはよくタスクのニュアンスを削り取ってしまうねん。
これらは全部トークン化可能なデータの下流にある質問や。AIが何かをできるかどうか考える方法は、トークンから始まることを理解せい。それは単にトランスフォーマーに渡される小さな塊や。単語の一部や。だいたい4文字くらいやねん。
簡単にトークン化されへんものの例として、スプレッドシートがある。スプレッドシートには特別な技術が必要や。AIはワードドキュメントよりもスプレッドシートでははるかに遅れとる。良くなってるか？絶対にや。でもワードドキュメント処理のレベルにはないねん。
すごく大きなワードドキュメントをAIに渡して、少なくともそこに何があるかの感覚を求めることはできる。でも数字の正確性を重視するから大きなスプレッドシートをAIに渡したとしても、特別なツールがない限り、ほとんどの場合そんなにラッキーにはならへんやろう。
だからData Railsみたいなツールが存在するんや。助けてくれる特別なツールが必要なんや。そして進歩は見られとる。特に注目すべきは、OpenAIからエージェントモードが出て、今はExcelシートを作れるようになったことや。良くなってる。
でもトークン化されたデータを見ると、ティアAは簡単にトークン化される。あんたのwikiにあるものは何でもトークン化可能で、超簡単にトークン化される。
ティアBはスプレッドシート規模のデータやろうな。スプレッドシートに収まる。超簡単にトークン化されるわけやないけど、おそらく何かマッサージしてそこに収められる方法はあるやろう。
ティアC、データレイクのデータ。エージェント検索みたいな概念を通じて検索に利用できる可能性がある。それは大きすぎるもので、簡単にトークン化されるもんやない。なぜなら何十万、何百万行の時系列データがあって、それらを関連付けなあかんからや。
だから従来のLLMトランスフォーマー・アーキテクチャは、そういう種類のデータではうまくいかへん。今、その小さな部分を取って、トークン化を見て、そこから何かを学ぶことはできるかもしれん。
でも大抵の場合、人がLLMを大きなデータソースに接続する方法について話すとき、実際に言ってることは、洞察に組み立てられる有用な情報を取得するためにデータレイクを検索する方法を見つけ出したということや。そしてそれをするために必要な準備ステップがある。まあ、シンプルに保とうとしてるから、今日はそこまで深くは入らへん。
トークン化可能なデータの考え方
トークン化可能なデータを考えるときは、まずワードドキュメントに収められるものとして考えい。2番目に、多分Excelに入るもの。3番目に、データウェアハウスやデータレイクに入れなあかんほど大きくて巨大で複雑で構造化されたものは、はるかに難しくなるということや。
興味深いのは、トークン化が簡単であればあるほど、そのコンテンツでAIを使って自分の運命を形作る機会が増えることや。データレイクを扱ってる場合、その上にAI解決策をアーキテクチャする方法を考えて見つけ出すのは実際にかなり難しい。組織はいつもこれに苦労しとる。
でも、もっとシンプルなものがあるなら、会社のポリシーや文書の書き方やあれこれが1つのきれいなワードドキュメントか3つか4つにまとまってるなら、それを簡単にLLMに入れて、すぐに自分の運命をコントロールして走り出すことができる。
だからトークン化可能なデータの観点で考えい。ワードドキュメントに収まるかどうかの観点で考えい。ナプキンにスケッチできるかどうかも。ちなみに、ナプキンにスケッチできるかどうかは、コンテキストウィンドウのサイズにとってもすごく便利なテストや。
複雑さをナプキンに描けるなら、AIはすごく役に立つ。複雑さがナプキンに収まらへんなら、AIからニュアンスの視点を得るには複雑すぎるかもしれん。
2つ目：ジャギッド・インテリジェンス
よし、概念2番目、トークン化から移って、ジャギッド・インテリジェンス。俺はジャギッド・インテリジェンスについてよく話すし、また人の目がぼんやりしてくる。
ジャギッド・インテリジェンスは単純に言うと、ある面ではアインシュタインと同じくらい賢いけど、他の面では今まで会った中で最悪のインターンより悪いAIがあるということや。正直に言うと、俺はかなりひどいインターンやった。
ここでの問題は、AIが連続的な知能表面やないということや。特にメモリに関する非常に知られた問題によって引き起こされる、本当に本当に大きなギャップがある。
AIが何かを覚えられへんなら、進むにつれて学習できへん。そうや、LLMチームはこれに取り組んでるけど、難しい問題や。まだそんなに進歩してへん。今のところ、メモリを必要とする特定のシンプルなことを一貫してやらせるのは非常に非常に難しい。
たとえば、あんたの役割についてAIに話して、課題を満たすように頼んで、優秀な記事を書いてもらったり、提案書を書いてもらったり、このメールを書いてもらったりするとき、何度も何度も何度も話さなあかん。あんたが何か間違いをしたら、AIも間違いをする。それがジャギッド・インテリジェンスや。
それらのメールを書くのは十分うまい。その提案書や記事を書くのは十分うまい。でもそれをどうやってするかを覚えるのは十分うまくない。ブリーフィングで間違いをしても、極端に敏感やないのは十分うまくない。
ある意味、指示に従うことに取り憑かれたシェイクスピアがいるようなもんや。指示で何か間違いをしたら、シェイクスピアも間違いをする。これがプロンプティングがそんなに重要な理由や。なぜなら、本質的にプロンプティングしてて、LLMが得意でない場所で詰まるんやなくて、得意なことをするようにLLMを導こうとしてるからや。
LLMが得意でない分野
LLMが得意でない場所の他の例、ジャギッド・インテリジェンスの低い点は、数学や。数学をするために他のツールを呼び出すし、特化したモデルもある。だからGeminiには1つあるし、OpenAIにも数学オリンピック問題をやるのが明らかにある。
でも9.9と9.11のどっちが大きいかになると、LLMはまだ苦労することがある。だから概念の数学的モデリングを見ようとしたり、ビジネスのレバーをどう重み付けするかを理解しようとしたりするなら、AIから何かの洞察は得られるけど、洞察は戦略的アドバイス、マッキンゼーのデッキでより広く、既存の分布の周りにクラスター化する傾向があることが分かる。
戦略的意図と優秀なコンテキストを与えるのが格別にうまくない限り、深く洞察に満ちたものにはならへん傾向がある。そしてそれができたら、あんたの情報を横断して具体的に推論できる。
そしてそれはジャギッド・インテリジェンスについてのもう1つのややこしいことを浮き彫りにする。ジャギッド・インテリジェンスは、もっとうまくプロンプトすればジャギッドでなくできる。
だから意図を伝えるのがうまければ、それらのギャップの一部を少し消すことができる。それでもギャップは感じるやろう。俺もまだ感じるから。AIはアウトライン作成みたいなことには本当に本当にうまいけど、俺が望む方法でトーンを捉えることにはそんなにうまくないことがよくあることが分かる。
俺はトーンにすごくうるさいねん。戦略について考えるようにAIに頼むときに感じるし、AIは適切な響板としてはうまいけど、必要なほど洗練されてるとは感じへん。高い趣味を育てれば育てるほど、もっとうまくできるし、どうすればもっとうまくできるか知ってると言うのを育てれば育てるほど、ジャギッド・インテリジェンスに敏感になる。
だから基本的に俺の君らへの挑戦は、俺の趣味のバーはどこにあるんか？って聞くことや。ジャギッド・インテリジェンスを感じられへんなら、AIに十分高いバーを主張してるんか？なぜなら君はAIより何かをうまく知ってるに違いないし、そこで高いバーを主張し始めることができるからや。
それがジャギッド・インテリジェンスのアイデアや。指示に従わなあかんし健忘症のシェイクスピアがいる感覚や。
3つ目：大きなプロンプトとカジュアルチャットをいつ使うか
3番目の概念、いつ大きなプロンプトとカジュアルチャットを使うんか？この質問をされるのは、人が俺をいつも派手なプロンプトをやる種類の奴やと認識してるからやと思う。分かるで。俺は大きなプロンプトを書く。それは理解しとる。
君らに提案したいのは、優秀なプロンプトに入る計画と思慮深さは、やりたい重要なタスクがあるときに効果を発揮するということや。そして進むにつれて繰り返して発見する必要があるものがあるときは、鋭い1行か2行で始めて、そこから進む方がよく効果を発揮する。
だから本当に俺が言ってることは、もしかしたら人は「それは明らかやろ、明らか重要やったらもっと時間をかけるやろ」みたいに思うかもしれんけど、それよりももう少しニュアンスがある。
重要で、あんたが与える多くのコンテキストの周りにアンカーされる必要があるなら、大きなプロンプトが理にかなう。カジュアルで、または本質的に反復的なら、始めるために短いプロンプトで、進むにつれてより長い会話をするのが理にかなう。
言い換えると、反復的なタスクでは、進むにつれてAIと一緒に意味を発見しとる。だから短く始めて、ちょっとした意図だけ持つのが理にかなう。
大きなプロンプトは特定のトピックの周りにアンカーするためのもんや。確実に、マルチターンになるやろうけど、それは大きなプロンプトで上に大きな戦略的意図を持って設定した箱の中で起こる会話になる。
反復してリフして、ブレインストーミングして、物事を考え抜こうとしてるなら、非常に短いプロンプトで始めて、モデルに拡張する余地を残す方が実際にずっと有用なことが多い。
だから俺にとっては、意味のある仕事は大きなプロンプトで完了すると考えるのは少し騙されてるような感じや。なぜなら意味を反復的に発見する必要があるなら、素早くやり取りしてる短いプロンプトで非常に意味のある仕事を完了できるからや。
だから俺の君らへの励ましは、この仕事は俺が既に十分知ってて、プロダクションに集中したいもんなんか？おそらく大きなプロンプト。この仕事は俺が形も知らんくて、発見する必要があるもんなんか？おそらく短いプロンプト。どちらも価値がある。
そして、ブレインストーミングしてリフしようとしてるだけのカジュアルチャットについては、また反復的で、短いプロンプトになる。コンテキストがあって、制約して仮定を設定したいなら、もっと正式なブレインストーミングプロセスを使える。これは正式なブレインストーミングセッションを持つときに人間とよくやることや。
でも人間も仕事の後の飲み物でうまく考えることを俺らは皆知っとる。だからAIとその同等の会話をして、まだたくさんの価値を得ることができる。
だから俺が君らに励ましたいことの1つは、「ネイトは大きなプロンプトを書く、だから俺も書かなあかん」と考えるんやなくて、より大きくて正式なプロンプトをいつ使うか対カジュアルなやつをいつ使うかを知ることとして考えることや。
実践的な練習方法
だからこれを全部まとめると、これらの課題を考え抜くのに役立つちょっとした練習をできるなら、今週AIでもっと遠くまで行けると思う。
今週トークン化できるものを見つけい。今週トークン化してへんかもしれんものを見つけい。俺はいつもメモ帳に物事を殴り書きしとる。ひどい手書きや。適切なモデル、o3の方がこれには優秀やということが分かる。そのデータを視覚的に処理してテキストに変換して、トークン化できる。それは俺にとってのトークン化の例や。君も自分のを見つけることができる。
2番目、AIでジャギッドに感じるものを探して、AIの悪い部分、それほど知的やない部分やなくて、強み、頂点、いい部分、シェイクスピアの部分をどう育てるかについて意図的になれ。
そして3番目、プロンプトがプロジェクトに合ってると感じる頻度に注意を払い続けい。プロンプトがプロジェクトに合ってると時々感じてて、60%70%くらいの時間、それが俺がだいたいいるところや。時々プロンプトを再開しなあかんことがある。「いや、それは正しいプロンプトやなかった。もう一回やってみよう」みたいに。
正しいプロンプトを全然得られへんと感じるなら、それは信号や。潜り込めるで。プロンプトについての資料をたくさん持っとる。それは意図をどう伝えるか、どんな種類の仕事をしたいかについて考える信号や。価値のためにどこで反復したいか対どこで最初にアンカーして定義して大きな会話をしたいか。
これら3つのことを理解すれば、AIを使って拡張する方法を理解するのに非常に役立つ。
だから、これが君らにとって役に立ったことを願ってる。トークン化をもっとうまく理解してくれることを願ってる。ジャギッド・インテリジェンスをもっとうまく理解してくれることを願ってる。そして大きなプロンプトがすべてやないことを理解してくれることを願ってる。でも俺は大きなプロンプトが好きや。そして嘘はつけへん。
コメント