Fable 5への長大なプロンプトを画像化し、画像課金とテキストのトークン課金の差を利用してAPIコストを削減する手法を解説する。小さな文字を高解像度画像に詰め込み、OCR能力を活用して情報量を維持しながら入力トークンを圧縮する仕組みである。実際に変換スクリプトとテスト用データを用意し、通常のテキスト入力と画像入力を比較。用途によって30％前後から最大59％のコスト削減が確認されたとして、その実装方法と活用場面を紹介する。
30秒でできるFable使用量の最適化ハック
かなり面白いFableの使用量最適化ハックを見つけました。30秒くらいでできて、ほとんどデメリットなしにFableの使用量全体を約30％削減できます。見てください。
これは下に置いておきます。皆さんはダウンロードして、ワンクリックで使えます。
簡単に説明すると、これは大量のコンテキストを画像としてレンダリングすることで、Claude Codeの入力トークンを削減する仕組みです。システムプロンプトも、ツールのドキュメントも、履歴も、まったく同じ内容を与えられます。ただし、使用するトークン数はその何分の一かで済みます。
これは、現在Claudeが画像ベースの課金とトークンベースの課金で異なる計算方法を採用しているためです。画像のトークンコストは、中にどれだけ文字が入っているかではなく、ピクセル寸法によって決まります。
つまり、少し工夫すれば、画像内の文字をものすごく小さくできます。もちろん読める必要はありますが、それでもかなり小さくできます。そしてClaudeにその画像を処理させれば、請求額を大幅に減らしながら、本来得られるはずのコンテキストをすべて渡せます。先ほど言ったように、約30％引きというわけです。
では、これを自分が実行するすべてのクエリで使うかというと、おそらく使いません。ただ、何十万トークンにもなる非常に巨大なクエリがあり、それを長期間動かし、繰り返し再利用し、業務機能として継続的に使う予定なら、これはすぐに30％節約できる、手軽で簡単な方法です。
テキスト版と画像版のコスト比較
今ここでは、Ghost TTYというターミナルでCloud Fable 5を開いています。皆さんがCloud Desktopで使えるものや、anti-gravityなどを使っている場合と基本的にはまったく同じです。Ghost TTYの見た目が気に入ったので、ちょっと試していただけです。
ここで分かるように、このプロンプトのテキスト版と画像版でテストを実行しました。テキスト版のプロンプトは1.3ドルかかりましたが、画像版のプロンプトは69セントでした。計算上、トークン使用量は30％を少し超える程度削減されています。
重要なのは、59,822のキャッシュトークンを使う代わりに、38,142しか使わなかったことです。そして、テキスト内のさまざまな要素をモデルが思い出す能力には、まったく差がありませんでした。
今や非常に小さく圧縮された画像になっていることを考えると、信じられないように聞こえるのは分かります。しかしOCR、つまり光学文字認識と、Fableが非常に小さな文字であっても理解する能力は、現時点ではおそらく世界最高クラスです。そして、それをトークンに変換できる限り、結果としては同じことです。
画像変換パイプラインを作る
では、実際に自分でこれを実装するにはどうすればいいのでしょうか。とても簡単です。
このデモをいったん消して、Cloud Codeのターミナルに音声で指示します。私はhexという無料のオープンソース音声テキスト変換システムを使っています。parakeet上で動作していて、すべて完全に自分のコンピューター内で処理されます。
では音声文字起こしボタンを押して、やってほしいことを非常にシンプルに伝えます。
新しいトークン削減戦略が使えるようになりました。詳細は下のGitHubリポジトリにまとめてあります。やってほしいのは、プロンプトを渡すたびに、まずそれを、おそらくより安価なモデルを使って画像に変換し、その画像をFableに入力するシンプルなシステムを構築することです。そして今、それをFableの中で作ります。
まずはアーキテクチャを構築するためです。その後は、トークンコストの差を利用するために、極端に長いプロンプトをFableへ渡せるようにしたいです。
では、実際のリポジトリも入力します。ここへ戻って、pxpipeを使い、これを貼り付けます。
基本的な考え方は、当然ながらFable自身にこれを作らせることです。かなり効率の良いシステムにしたいので、高い思考量で処理させます。
ただ、その後は、どんな超長文プロンプトでも受け取り、スキルを使ってワンショットで画像に変換できるようにしたいわけです。
例えば将来、何らかのビジネスインフラを構築している場面を想像してください。そのビジネスインフラが、考え得るあらゆる会話経路を詳細に記述したような、とんでもなく長いプロンプトに依存しているとします。何をしているかは何でも構いません。私はその巨大なプロンプトを、このスキルを使ってワンショットで画像化できるようにしたいだけです。
今、リポジトリの中身を確認して要約しています。少し後で戻ってきて、結果をお見せします。
ファイルから画像を生成してトークンを節約する
今後はプロンプトを直接入力するのではなく、Fableに短いパイプライン、つまり何らかのスクリプトを作らせます。そして、実行させたいプロンプトをファイルに保存しておきます。
その後、そのファイルに対してスクリプトを実行し、画像を生成します。こうすることで、このパイプラインは総トークン消費量を大幅に削減できます。
ここで分かるように、ロジック自体はかなり単純です。1928×1928の画像には、およそこれだけのVisionトークンコストがかかり、その中にこれだけの文字数を収められます。一方、実際のCloud Codeの通信では、1トークンあたりの平均文字数はこの程度です。
これが、画像化によって得をする仕組みです。基本的には、現在の画像コストとトークンコストの差を利用しているだけです。
先ほども言ったように、これはおそらくかなり早く修正されるでしょう。ですから、数百ドル程度でも節約したい業務データがあるなら、今すぐやっておくべきです。少なくとも私は、当面の間、自分のプロンプトを全部この方法で入力するつもりです。
では、pxpipe.pyというスクリプトができました。次に、ものすごく長いプロンプトを用意して、実際にどう使うのかをお見せします。
巨大な動画データを画像プロンプトに変換する
非常に巨大なプロンプトを作りました。見て分かるように、本当に大量です。
基本的に、これまで自分がアップロードしてきたほぼすべての動画を、その一部のパフォーマンスデータと一緒に、巨大なテキストファイルへ保存しました。
これから、このデータについて大量の質問をして、この知識を使います。例えば、解約率を最小化するための戦略の精度を大幅に高める、といった用途です。
同時に画像も作成しました。この画像の内容は、先ほどのプロンプトと非常によく似ています。ただ、テキストとして並べられている代わりに、画像の中に配置されています。
かなり拡大して見てみると、圧縮されているような感じになっているのが分かります。しかし重要なのは、それでも読めるということです。
テキストを両端揃えにするなど、もっといろいろ工夫すれば、さらに大幅に最適化できると思います。ただ、今回はデモなので、このまま実行します。
通常のテキスト入力と画像入力を直接比較する
では、簡単なテストを実行します。
このテストでは、データの中身についていろいろな質問をします。例えば、非常にうまく機能した戦略は何か、メンバー4289は他のメンバーがしていなかった何をしたのか、といった質問です。
そして2つの方法をテストして、この画像化がトークン最適化の手法としてどれほど優れているかを確認します。
現在行っているのは、実際の直接比較テストです。API料金を適用したFable 5にデータを渡して比較しています。まあ、24時間後には私たち全員がAPI料金を使わなければならなくなっているかもしれませんが。
今回は知識ベースのタスクです。つまり、このテキストから個別の要素を抽出し、それらを組み合わせるといった処理をしています。同じ内容について何度も何度も推論し直すというより、情報を取り出して組み合わせる処理が中心です。
そのため、差は非常に大きくなりました。入力トークンが68.7％削減されています。
さらに、これらすべてを踏まえると、コスト削減率は先ほどの例で見せた25～30％ではありませんでした。実際には59％です。
つまり、干し草の山から針を探すようなタイプのクエリでは、このような戦略を使うことで、明らかにさらに大きな効果、言い換えれば、より大きな優位性を得られます。
スクリプトの配布と最後のお知らせ
とにかく、皆さんが簡単に使えるように、下に置いておきました。好きなように使ってください。
この発表については、これ以上詳しく説明する必要もないでしょう。動画を楽しんでもらえたならうれしいです。それでは、残りの一日を楽しく過ごしてください。
もう一度言いますが、これを入手したい方は、下の説明欄を確認してください。
それからMaker Schoolもチェックしてみてください。これは私の90日間のアカウンタビリティプログラムで、このようなシステムを販売して最初の顧客を獲得するところまで保証します。
それでは、また明日。
コメント