3,160 文字
これは任意のウェブページをLLM対応コンテンツに大規模に変換する最速の方法です。Amazonの検索結果をLLM対応コンテンツに変換し、Gemini 2を使用してその上にレコメンデーションエンジンを構築する方法をお見せします。最も素晴らしい点は、これがすべてScraper APIによって実現されていることです。つまり、プロキシやIPアドレスを扱う必要がなく、通常スクレイピングに伴うさまざまな面倒な作業をする必要がないのです。必要なのはscraperapi.comにアクセスして、Amazon Scraper APIのSDEを使い始めるだけです。
Scraper APIがこの動画のスポンサーとなっていることに感謝します。あなたが自分の検索クエリや異なる製品ラインナップにこれを応用できるよう、コードの各行を詳しく説明していきます。
まず最初にすべきことは、YouTubeの説明欄にあるリンクをクリックしてScraper APIにサインアップすることです。サインアップすると、APIキーを確認できるダッシュボードが表示されます。APIキーを取得したら、次にGemini AI StudioからAPIキーを取得する必要があります。両方のAPIキーが準備できたら、このコードの特定の箇所にAPIキーを追加して、その行のコメントアウトを解除します。
コード全体はYouTubeの説明欄で共有するので、動画を見ながらコピー＆ペーストする必要はありません。すべての準備が整えば、残りの作業は非常に簡単です。あなた自身のニーズに合わせてカスタマイズするために、どこを変更すべきかも正確にお見せします。
このコードの最初の部分では、Scraper API Amazonのエンドポイントを使用して検索結果を取得します。環境変数からキーを取得し、クエリを指定する必要があります。私の場合は「3万ルピーから7万ルピーのスマートフォン」としました。あとはこのAmazon構造化エンドポイント（SDE）にリクエストを送信するだけで、すべての情報が取得されます。最終的にそれをJSONファイルに保存します。
最終的なJSONはこのように見え、これはLLM対応になっています。このJSONをGemini 2.5 Proに直接送信するだけで、製品レコメンデーションが得られます。
スクレイピング部分が完了したら、このデータをGeminiに提供します。ユーザープロファイルを指定する必要があります。この例ではハードコードしていますが、プログラムで設定することもできます。単純に「男性、データサイエンティスト、趣味はYouTube動画制作」などと指定しています。製品リストはScraper APIを使ってスクレイプしたJSONから取得します。
Gemini APIの認証を設定し、使用するモデルを指定します。この場合、Gemini 2.0 Flashを使用していますが、Gemini 2.5 Proや他のGoogle提供のモデルも使用できます。Google AI Studioを通じて生成AIを使用しているため、この全体が無料で、現時点ではAPIに支払いは必要ありません。
最終出力の構造を指定します。ここでは「おすすめ製品」「製品ランク」「URL」「製品名」「おすすめスコア」「おすすめ理由」という構造で出力するよう指定しています。構造が定義されたら、システム指示を与える部分です。私の場合は非常にシンプルな指示を与え、入力例の形式を示します。
それからすべてをGemini 2.0 Flashに送信し、最終的にすべてのレコメンデーションを取得してJSONオブジェクトとして保存します。
では別のユースケースでも同じことをやってみましょう。今回はビジネス学習のための非フィクション書籍を対象にします。このクエリを編集し、希望するストアを変更できます。Scraper APIのAmazon SDEを使用して、LLM対応コンテンツをすべて取得し、JSONオブジェクトとして保存します。
これがスクレイピングを行うコードの最初の部分で、2番目のコード部分ではレコメンデーションエンジンでこれを処理します。Gemini 2.0 Flashを使ってレコメンデーションエンジンを作成します。
Amazonからすべての結果をスクレイプするのにどれくらい時間がかかるか理解できるよう、あなたの前でこれを実行します。「実行」をクリックして、この動画のこの部分は編集せずに示します。すでに完了し、JSONファイルが作成されました。この特定のクエリに対するAmazon.comのすべての書籍が含まれています。
次に、製品が含まれているJSONをインポートするGemini Recsysコードに戻ります。ユーザープロファイル（男性、データサイエンティスト、YouTube動画制作）を設定し、このプロファイルを使って製品をマッチングし、おすすめ製品を表示します。このコードも実行すると、Geminiエンドポイント（最速モデルの一つであるGemini 2.0 Flash）にアクセスし、すでに完了しています。
recommendations.jsonを確認すると、どのような製品や書籍が推奨されているかがわかります。「48 Laws of Power」（非常に興味深い選択で、ロバート・グリーンの本だと思います）、「The Psychology of Money」、そして「Extreme Ownership」がレコメンドされています。「Extreme Ownership」は過去に複数の人から推薦されたことがある本です。
もう一度別のクエリでスクレイプしてみましょう。今回は「プログラミング学習のための非フィクション書籍」としてみます。新しい推奨セットを取得するために、再びデータを収集する必要があります。
数秒で新しい製品セットが得られました。レコメンデーションエンジンコードに戻り、今回は趣味を「YouTube動画制作」から「技術記事の執筆」に変更して、何か影響があるか確認してみます。性別と職業は同じプロファイルを使用します。PythonやRに関連するプログラミング書籍を推薦できるか見てみましょう。
処理が完了しました。amazon_recommendations.jsonに戻ると、「Learn to Code by Solving Problems」や「Beginners Step-by-Step Coding Course」など、すべてコーディング関連の書籍が推薦されています。最初の推薦は「Learn AI-assisted Python Programming」で、素晴らしいですね。Pythonコードの本、問題解決のコード本、その他多くのものが推薦されています。
この時点で、行列乗算や協調フィルタリングなどのアルゴリズムを必要とせずに、優れたレコメンデーションエンジンをその場で構築できることがわかったでしょう。Scraper APIの印象的なSDEとGemini（今回はAI Studioを通じて完全に無料でアクセス）を使用して、任意のAmazon製品リストのレコメンデーションエンジンを構築できます。
コード全体をYouTubeの説明欄で共有します。再度、このビデオのスポンサーであるScraper APIに感謝します。サインアップリンクもYouTubeの説明欄に掲載するので、登録してスクレイピングの煩わしさを管理することなく、任意のウェブページをLLM対応コンテンツに変換できます。これは大規模にも可能です。
この動画を視聴いただきありがとうございます。また別の動画でお会いしましょう。
コメント