オープンソースのAIモデルを自身のデータセットでファインチューニングし、アプリケーションにデプロイするまでの具体的な手順を解説する。1兆パラメータ規模のKimmy K2.7モデルを例に、Hugging Faceからのデータセット取得、APIトークンの設定、データ形式の変換スクリプトの作成、Fireworks AIプラットフォームでの低ランク適応（LoRA）を用いた効率的な学習方法を実演している。また、ファインチューニング前後のモデルの応答を比較するためのWebアプリをAIエージェントを活用して構築し、推論プロセスや回答の精度の違いを検証している。
最大のオープンソースモデルのファインチューニング
私の名前はデビッド・アンドレです。ここではKimmy K2.7をあなた自身のデータでファインチューニングする方法を紹介します。ついに未来がやってきました。私たちは今、Kimmy K2.7のような大規模なAIモデルをファインチューニングすることができます。ちなみにこのモデルは世界最高レベルのモデルの一つであり、Opus 4.8やGPD 5.5と同等のレベルにあります。そして、Opusの数分の一のコスト、およそ6分の1から8分の1の安さでOpusレベルに到達しています。そこでこの動画では、ファインチューニングとは何かを説明し、Kimmy K2.7をファインチューニングする方法、そしてそれを一般に向けてライブでデプロイする方法をお見せします。まず、ファインチューニングとは何でしょうか。簡単に言えば、ファインチューニングはある特定の事柄についてモデルの性能を向上させるものです。そのため、特定の分野でファインチューニングされたモデルは、パラメータ数が5倍もあるような別のモデルよりも優れた性能を発揮することがあります。そしてこれは、自分だけのカスタムAIモデルを作成する最も簡単な方法でもあります。しかし、ファインチューニングには大きな問題があります。Kimmy K2.7のような1兆個のパラメータを持つ強力なモデルをファインチューニングしたい場合、最先端のGPUが大量に必要になります。そしてそのハードウェアは高価になりがちです。実際、このような巨大なモデルをファインチューニングするための十分な計算能力を自宅に揃えようとすると、おそらく10万ドル以上を費やす必要があるでしょう。もちろん、皆さん自身のハードウェアにもっと投資して、ローカルモデルをホストして実行する方法を学ぶことを強くお勧めしますが、ほとんどの人は1兆パラメータのモデルをファインチューニングするために10万ドルも払えません。そこで、Kimmy 2.7のような巨大なモデルであっても、オープンソースモデルをより安く、より早く、より簡単にファインチューニングする方法をお見せします。
必要な3つの要素
では、実際に何が必要なのでしょうか。第一に、モデルが必要です。何かをファインチューニングするには、オープンソースのモデルが必要であり、OpenAIやAnthropicから提供されているようなクローズドソースのモデルではいけません。実際にファインチューニング可能なオープンソースのものが必要です。第二に、GPUが必要です。これはモデルのファインチューニングだけでなく、デプロイやホストにも使用されるハードウェア、つまり計算能力です。そして第三に、データセットが必要です。これはファインチューニングに使用されるデータです。もし粗悪なデータセットを使えば、粗悪なモデルができあがってしまいます。データは最も重要なものの一つです。しかし、まずはモデルについて話しましょう。多くの場合、人々は非常に小さなモデルをファインチューニングします。80億パラメータ、あるいは240億パラメータや300億パラメータといったものです。なぜなら、自分のノートパソコンでできるからです。私もそれを何度もやってきましたし、過去の動画でもお見せしました。しかし今回の動画では、世界最大のオープンソースモデルをファインチューニングする方法をお見せしたいと思います。具体的にはKimmy K2.7のコードモデルです。なぜなら、現在これが私のお気に入りのオープンソースモデルだからです。実際のところ、これは現在利用可能な最大かつ最高のオープンソースモデルの一つです。そして、コスト効率も極めて高いのです。これを見てください。Opus 4.8と比較すると、これはコードの品質が同等なのですが、平均して7倍も安価です。そしてKimmy K2.7は信じられないほど低い価格で非常に高品質なトークンを提供してくれるため、私はその背後にいるチームにこの動画のスポンサーになってくれないかと頼み、彼らは同意してくれました。そこで、自分でファインチューニングする方法をお見せしようと思います。また、Kimmyの公式APIを試してみたい場合は、動画の下にある最初のリンクをクリックしてください。そして、新規のKimmyユーザーの方は、そのリンクをクリックして初めてAPIクレジットを購入すると、完全に無料で15%の追加クレジットを受け取ることができます。改めて、この動画のスポンサーになってくれたKimmyチームに大きな感謝を捧げます。必要なものの2つ目はハードウェアです。このような巨大なモデルを読み込んでファインチューニングするには、Nvidia B300 Blackwellのような強力なGPUが必要です。そしてこれらはデータセンターで稼働しているものです。これらは消費者向けのGPUではありません。消費者向けのコンピューターに組み込むことはおそらくできるでしょうが、とてつもなく高額になるだけです。これらのGPUは1つ約4万ドルで、1つだけ買うこともできません。サーバーラック単位で販売されているため、最低でも8つ買わなければならないのです。つまり、Blackwellをいくつか買いたいのであれば、少なくとも前払いで30万から35万ドルを投資する必要があります。当然ながら、たった一つのYouTube動画のためにそこまでするつもりはありません。そのため、私たちが支払える手頃な価格で、モデルのトレーニングだけでなく、ファインチューニングしたバージョンのデプロイや高速な推論も可能なプラットフォームが必要です。でも心配しないでください。それについては後で動画の中で全てお見せします。少しだけお時間をいただきますが、私たちはもうすぐチャンネル登録者数40万人になります。ですので、私のコンテンツに価値があると思っていただけたら、登録しているか確認してください。そしてもし登録済みであれば、AIについてもっと学ぶことで恩恵を受けそうな友人の一人に共有してください。私と私のチームがどれほど感謝しているか、言葉では言い表せません。ですので、登録しているか確認し、友人の一人にこのチャンネルを共有してください。さて、データセットについて話しましょう。高品質なデータは、ファインチューニングにおいて、そしてAIモデルを作成する上で一般的に最も重要な要素の一つです。しかし、すべてのデータセットが同じように作られているわけではなく、その多くは私たちが簡単にファインチューニングするための適切なフォーマットになっていません。そこで、私がすべてを処理してくれる、コピーアンドペーストするだけの簡単なスキルを作成しました。あなた自身でこのスキルを手に入れるには、動画の下にある2つ目のリンクをクリックしてください。さらに、この動画で言及したすべてのもの、すべてのプロンプト、すべての設定など、あらゆる目的で任意のデータセットをダウンロードし、スキルを通して実行すればファインチューニングの準備が整うものをすべて手に入れることができます。繰り返しになりますが、これは完全に無料です。動画の下の2つ目のリンクにあります。今すぐ手に入れてください。それでは、ファインチューニングの2つの主な種類について話しましょう。一つ目は教師ありファインチューニングです。これはモデルが良い例から学習するものです。二つ目は強化学習です。これは報酬を与え、モデルが様々なことを試して、何が最も良い報酬を得られるかを確認するものです。今回の動画では、教師ありファインチューニングを採用します。というのも、そちらの方が少しシンプルで、たくさんの良い例を含んだデータセットをお見せするつもりだからです。もう一つ理解しておくべき用語がLoRAです。これはLow Rank Adaptationの略で、ベースの重みを凍結し、代わりに小さな新しいアダプターの重みのセットだけをトレーニングするため、効率的なファインチューニング手法となります。したがって、Kimmy K2.7の1兆個のパラメータすべてをトレーニングする代わりに、それは長い時間がかかるだけでなく非常に高価になりますが、私たちは大きなモデルの上に小さなアダプターをトレーニングするだけで済みます。
データセットの選択とダウンロード
さて、基本を理解したところで、ファインチューニングに取り掛かりましょう。ファインチューニングを始める前にまず必要なのは、データセットを選ぶことです。実際、Hugging Faceではデータセットをクリックすると、約100万個のユニークなデータセットがあります。たとえばフロントエンドのものが必要ならフロントエンドと入力するだけで選べますし、デザインや、ソフトウェアエンジニアリングが必要ならSWEと入力すれば、素晴らしいものがたくさん出てきます。問題は、これらのデータセットの多くがより劣ったモデルから来ているということです。Kimmy 2.7は1兆パラメータのモデルなので注意しなければなりません。すでに本当に素晴らしいモデルなのです。そのため、より小さなモデルから作られたデータセットでファインチューニングしても意味がありません。したがって、モデルからのデータセットを使用したい場合は、より優れたものを使用する必要があります。そして現在世界最高なのはFableです。Hugging Faceを見ると、118種類のFableデータセットがあることがわかります。Opusを使いたい場合は明らかにずっと多くなりますが、Fableははるかに大きなモデルで、10から15兆パラメータほどあると噂されており、Kimmy 2.7よりも大幅に大きいため、Fableを使いたいのです。しかしもちろん、これを使ってファインチューニングするために他のデータセットを自由に選んで構いません。ここで探してみてもいいですし、何が適しているかウェブ検索してみてもいいでしょう。自分でデータセットを作成することもできます。最近それについての動画も投稿しました。ですから、あなたにとって納得のいく方法を選んでください。私はただ手順をお見せするだけです。ですので、一緒についてきてください。これは、人に魚を与えるのではなく、魚の釣り方を教えるようなものです。あなたが自分でできるように、モデルをファインチューニングする方法をお見せします。ですから、初めての場合は私の手順をコピーしても構いませんが、自分のデータや新しいデータセット、その他の何かを使って、自分に合ったどんな方法でもKimmyをファインチューニングできるようになるはずです。私はただそのやり方の手順を示しているだけです。では、データセットを選んだら、私はこれを使いますが、それをダウンロードする必要があります。最も簡単な方法は、エージェントにダウンロードさせることです。そこで私はターミナルを開きます。私はターミナルとしてCMAXを使用しています。そして、このURLを単にコピーします。次に私がするのは、何らかのエージェントを立ち上げることです。PI agentでもいいですし、Codexでも構いません。そして、自分がどこにいるかを再確認するために、pwdを実行するように伝えます。ちなみに、ここではKimmy K2.7コードモデルを使用しています。非常に速いです。本当に素晴らしいモデルです。例えばPI agentでは、現在これをデフォルトのモデルに設定しています。さて、それではリンクを渡して、このデータセットをこのフォルダにダウンロードしてと言います。そうすれば、AIにダウンロードさせることができます。Hugging Face CLIを持っているか確認し、持っていなければインストールを手伝ってくれます。ちなみに、もしClaude Codeを使うとして、PIを持っていなくても問題ありません。Hugging Face CLIをどうやってインストールするのかと尋ねれば、ウェブをブラウズしてステップバイステップで教えてくれます。皆さんの多くは、自分の環境を改善するためにこれらのエージェントを使っていません。これらのエージェントは皆さんが思っているよりもずっと強力なので、ここに質問を送ってGoogleの代わりに使うだけで自分を制限しないでください。ここで私は、このデータセット全体をダウンロードさせています。ユーザーインターフェースのどこかにボタンがあるでしょうから、自分でやる方法を見つけ出すこともできますが、なぜそんなことをするのでしょうか。私はただURLを送って、このフォルダにダウンロードしてと伝えるだけで、私のためにダウンロードしてくれます。そしてここを見ると、Hugging Face CLIが利用可能か確認し、CLI経由でダウンロードを開始したことがわかります。繰り返しになりますが、もし利用できなければ、エージェントにHugging Face CLIをセットアップしてと伝えるだけで、問題なくやってくれます。
Fireworks AIを使ったファインチューニングの準備
データセットがダウンロードされている間に、Fireworks AIを開きましょう。これはモデルのデプロイとファインチューニングの両方を可能にする素晴らしいプラットフォームです。Fireworksをこれまで使ったことがない場合は、Googleに行ってFireworks AIと入力し、最初のリンクをクリックしてアカウントを作成するだけです。とても簡単です。左側のダッシュボードに行くと、重要なのはデプロイメントとファインチューニングです。私たちがほとんどの時間を費やすのはここになります。なぜなら、まずモデルをファインチューニングする必要があり、その後、その上にソフトウェアを構築したり、モデルを使って推論を実行したり、やりたいことができるようにデプロイメントを作成したいからです。左側でモデルに移動し、ここで利用可能なすべての異なるモデルを見ることもできます。私たちはKimmy 2.7を選択し、彼らには素晴らしいLoRAバージョンがあります。そのためLoRA適応を使用でき、それが大幅なコスト削減につながります。私に6000ドルのクレジットがあることに気を取られないでください。LoRAの仕組みのおかげで、1時間も経たずにファインチューニングができるので、間違いなくそんなに多くのクレジットは必要ありません。最も強力なGPUでさえ1時間あたり40ドルほどです。前回のファインチューニングの費用は38ドルかそこらだったと思います。これが文字通り1兆パラメータのモデルであることを考えると、非常に安価です。では、データセットの状況を確認してみましょう。実はあるエージェントにもう一つのエージェントを確認させることができます。ここでClaude Codeを終了させます。別のPIを立ち上げて、このCMAXワークスペースをチェックして、データセットをダウンロードしているもう一つのエージェントが見えるか教えてと言います。このようにして、あるエージェントにもう一つのエージェントを監視させることができます。はい、もう一つのエージェントがダウンロードしています。レート制限に引っかかっていますね。解決策は何でしょうか。Hugging Faceのトークンを与えることです。よし、やってみましょう。私はセットアップヘルプスキルに従って手順を案内してと言います。これは私が文字通り毎日使っているスキルの一つです。私のすべてのスキルにアクセスしたい場合は、Twitterの私のプロフィール欄で利用可能です。davidondre.com/skills に行って入手してください。完全に無料です。そして、これがおそらく以前のスキルのいずれかをCMAXのためにすでに関わっていることがわかります。そうですね、それも私のスキルの一つです。これらのエージェントはCMAXの操作方法、他のエージェントへの委任方法、監視方法などを知っています。さて、エージェントがセットアップヘルプスキルを読み込み、手順に従い、わかりやすい形式で手順を教えてくれます。現在のステップの明確な指示と、残りの作業のとてもわかりやすいリストを提示してくれています。最初のステップでは、Hugging Faceのトークンへのリンクを教えてくれました。繰り返しになりますが、Hugging Faceのアカウントを作成してください。これは基本的にAIのあらゆるもののためのGitHubのようなものです。モデルに関してもデータセットに関しても、絶対にHugging Faceに登録する必要があります。ここがその場所です。オープンソースAI、セルフホスティング、ローカルでのモデル実行に関心があるなら、間違いなくHugging Faceアカウントを作成してください。繰り返しになりますが、完全に無料です。右上に移動し、自分のアカウントをクリックして、一番下にあるアクセストークンをクリックします。ここで新しいトークンを作成する必要があります。それをクリックします。名前はKimmy data set downloadにします。そして権限については、自分の画面をスクリーンショットします。PI agentに何の権限が必要か短く答えてと尋ねます。読み込みか書き込みか。これを平易な英語に言い換えてと言います。
APIトークンの設定とデータセットの形式変換
これを設定している間に、データセットのダウンロードが完了したようですが、これを進めることができます。もし確信が持てなければPI agentを使うことができます。Claudeを使うこともできます。これらのモデルを使って設定を手伝ってもらいましょう。文字通りここにある画面のスクリーンショットを撮ってコピーし、添付して、私はHugging Faceにいて、より高い使用制限やレート制限でデータセットをダウンロードするためにHugging Face CLIを使えるように細かい粒度のアクセストークンを作成する必要があると伝えます。このトークンにどんな権限を与えるべきか教えてください。できるだけシンプルに、とても簡潔にお願いしますと伝えます。皆さん、このようにAIを使って自分自身をスキルアップし、環境を改善する必要があります。あるエージェントを使って別のエージェントを設定するのです。難しく考えすぎないでください。この動画で何かわからないことがあって行き詰まっても、それで諦めたり立ち止まったりしないでください。ChatGPTやClaude、あるいはKimmyを搭載したPI agentを開いて、直面している問題の状況を説明し、私のためにもっとシンプルに短くして、手順を案内して、できるだけ簡単に教えて、最後の回答をもっとシンプルで短くしてと伝えるのです。これは非常に過小評価されており、多くの人がまだAIを十分に活用して自分自身の理解を深めようとしていません。多くの人が不適切な分野でAIに過度に依存し、自分自身のスキルアップを行っていません。彼らは自分自身の知識やスキルセットを向上させ、本当に理解しようとはしていません。あるエージェントから別のエージェントにコピーアンドペーストするだけで、実は何も学んでいないのです。そのようなことはしたくありません。自分自身で学び、自分を向上させ、スキルアップしてより優れた人間になるためにAIを使いたいのです。このトークンについては、公開されている制限付きリポジトリのコンテンツへの読み取りアクセスだけが必要です。下にスクロールしてトークン作成をクリックします。とても簡単です。下にスクロールしてトークンを作成します。そしてそれをコピーします。私がどこにいるか確認するために再びpwdを実行してと言うでしょう。ここで環境変数を作成し、そこにHugging Faceのトークン用のキー名を入れます。そうすれば自動入力できます。これで値を保存します。これもエージェントに送信するのはベストプラクティスではありませんが、間違いなく最速の方法です。おわかりのように、これで別のデータセットをダウンロードしたい場合、自分のアカウントに接続されたHugging Faceトークンを設定したため、同じレート制限の問題には直面しなくなります。ただし、繰り返しになりますが、これを絶対に誰とも共有しないでください。実はこのトークンは取り消すつもりです。パスワードと同じように非公開にしておく必要があるため、今すぐ削除します。しかし問題は、このデータセットがおそらく私たちのファインチューニングに適した形式ではないということです。そこで私がするのは、このエージェントを終了させることです。新しいものを立ち上げます。今度はCodexでも構いません。重要ではありません。私はただ高めに設定します。5.5の高さで十分です。このフォルダにあるデータセットを見つけてと言います。Fable 5 chain of thought mergeであるはずです。見えますか。まず、Codexが実際にデータセットを認識していることを確認し、それからスキルを実行して正しい形式になっているか確認する必要があります。低ランク適応を通じたFireworks AIプラットフォームでのKimmy K2.7コードモデルのファインチューニングにどのような形式のデータセットが必要か調査して。これについて広範なウェブ検索を行って、アップロードするためにデータセットがどのような形式である必要があるかを見つけ出してと指示します。エージェントはデータセットがあると言いました。そこで私は、次にファインチューニングデータセットのスキルをそのデータセットに対して実行してと言います。もう一度言いますが、これは動画の下の2つ目のリンクにあるスキルです。ただ手に入れてください。完全に無料です。これには、任意のデータセットをKimmy K2.7コードのファインチューニングに使用できる形式に変換する機能が含まれています。私は今これをこのデータセットで実行しており、CodexはPythonの変換スクリプトを記述します。そのスキルを読み込み、このデータセットを後でFireworksにアップロードできる形式に変換するために必要なすべてのステップを実行します。実際、左側に移動してファインチューニングをクリックし、右上のモデルのファインチューニングをクリックすることができます。ここで教師ありを選択します。続行をクリックします。モデルとしてLoRAバージョンのKimmy K2.7コードを選択します。次へ。そしてデータセットをアップロードする必要があります。では進行状況を見てみましょう。これはアップロードされたFireworks JSONではありません。フラットなフィールドです。再びデータセットを分析し、足りないものを見つけ出して、Kimmy K2.7コードのLoRAファインチューニングでサポートされている形式でFireworks AIプラットフォームにきれいにアップロードできるようにしてくれます。ご覧の通り、今Pythonスクリプトを書いてPythonコマンドを実行しています。データセットは本物できれいですが、準備ができていません。そのためいくつか質問をしてきます。単純なSFTとして変換すべきですか。ユーザーが読みづらくなったとしても、最も高品質なファインチューニングされたモデルになるような方法で変換してくださいと指示します。これについて妥協せず、可能な限り良いものにしたいのです。繰り返しになりますが、このスキルをあなたが使っているどのエージェントにでも送るだけです。Claude Code、Codex、Cursor、PI、あるいはHerma agentのいずれでも構いません。このスキルを使えば、ファインチューニングに適したフォーマットに変換するために何をすべきかがわかります。これが今私たちをブロックしているものです。データセットをアップロードする必要があります。データセットがなければファインチューニングを開始できないからです。よし。できました。Codexがスクリプトを書きました。200行以上あり、すぐに実行されます。4,600行あります。LoRAのファインチューニングを効率的に行うには最低でも1,000行必要です。動かすだけならもっと少なくて済むと思いますが、良い結果を得るには少なくとも1,000行のデータセットが必要です。Hugging Faceの中で、右側をチェックして何行あるか確認できます。これは4,600行あるので大丈夫なはずです。データセットの処理が終わりました。
ファインチューニングの実行とデプロイメント
そこで私は、Finderでトレーニングデータセットを開いてと言います。これもプロ向けのテクニックです。自分のコンピュータのこんなに深い場所にあるものをわざわざ自分で探さないでください。pwdを実行してと言えば、ああそこですね。new.md。いや、Fable 5 fireworks train jsonlですね。これです。こんなに奥深くにあるものを自分で見つける代わりに、Finderで開いてと伝えるだけでやってくれます。問題ありません。ではブラウザに戻ってFireworksに行きましょう。そしてこれをドラッグします。よし。データセットをアップロードしています。数秒かかるはずです。実は評価用のデータセットは必要ないのですが、Codexが評価用のものも作成してくれたようです。次へ進みましょう。これらの設定はすべてデフォルトのままにしておきます。モデルの出力名が必要です。データセットの名前なのでkimi code fableにします。はい、完了しました。ファインチューニングジョブが作成されました。左側に移動してファインチューニングをクリックすると見えるはずです。ありました。Kim code fableです。データセットがfable five star trainであることがわかります。実際にCodexで確認することができます。この部分をスクリーンショットします。これもエージェントにスクリーンショットを送ることを強くお勧めします。よし。ここに行って、すべて問題ないか簡潔に答えて。すべてのステップを確認してと指示します。エージェントに見えているものを与えるのです。もしAIから良い結果が得られていないとしたら、おそらく十分なコンテキストを与えていないのでしょう。それはテキストとしての言葉と、スクリーンショットのような視覚的な情報の両方です。はい、良さそうです。唯一の注意点はと書いてあります。さて、問題なく実行されているようです。実際にクリックして進捗を確認できます。今は0パーセントです。始まったばかりです。エポックは1分の1です。別のデータセットで以前に開始したもう一つのジョブを見ると、こちらは65パーセント完了しています。時間の経過とともに損失が減少しているのがわかります。これはトレーニングがうまくいっていることを意味します。とても良いですね。このように私は2つのファインチューニングジョブを同時に実行しています。このデータセットでのファインチューニングには数時間かかります。しかしその後、Fable 5自身のデータでファインチューニングされたKimmy K2.7コードが手に入ります。これは興味深いファインチューニングになるはずです。完了したら、バックエンドとしてソフトウェアで使用したり、自分用に推論を実行したりできるように、このモデルを実際に一般に向けてデプロイする方法をお見せします。さて、ファインチューニングが完了したと思います。ここで確認してみましょう。よし。完了しました。コストを確認しましょう。131ドルです。全く悪くありません。以前より大きなデータセットでファインチューニングを行った時は800ドルほどかかりました。ですから、このFableのデータセットは実際かなり効率的です。時間の経過とともに損失が下がっているのがわかります。もっと長くトレーニングすることもできました。これはたった1エポックです。かなり速いファインチューニングでした。とにかく、デプロイメントに移動して、デプロイメントの作成をクリックすることもできます。デプロイメントにki v4のような名前を付けることができます。ここではベースモデルでカスタムモデルを選択し、先ほど作成したものを選びます。リージョンはグローバルのままで大丈夫です。ここで提供されている様々なNvidia製GPUを見ることができます。そして繰り返しになりますが、これは非常に大きなモデルなので強力なGPUが必要です。これらはそれぞれ288GBのVRAMを搭載したNvidia B300 Blackwellです。それが4つです。4つのGPUです。だからこれだけのコストがかかるのです。常に実行されるようにしたい場合は、より多くのデプロイメントスケーリングを選択することもできます。最小値を1に設定します。そうすればゼロになるとスピンダウンしてしまうので、常に実行されるようになります。より多くのトラフィックや柔軟性が必要な場合は、オートスケーリングを有効にすることができます。最大5つのレプリカまで設定可能です。とても標準的で非常にシンプルです。私がこれにFireworksを気に入っている理由は、とてもシンプルだからです。そしてデプロイをクリックするだけです。私はすでに実行中のデプロイメントを持っています。ここをクリックしてみましょう。これは30時間ほど実行されています。
デフォルトモデルとファインチューニングモデルの比較テスト
次に、最後にお見せするのはその違いです。FableデータセットでファインチューニングされたKimmyコードは、通常のKimmy K2.7と比較してどのような違いがあるのでしょうか。言い換えれば、ファインチューニングされたバージョンは異なる応答をするのでしょうか。それをこれから確認します。CMAXに切り替えます。PI agentを立ち上げて、とてもシンプルなフロントエンドを作ってと言います。左側がOpen Router APIを通したKimmy K2.7のデフォルトで動き、右側がFireworks AIのファインチューニングされたバージョンで動くウェブアプリにしてください。フロントエンドとウェブアプリだけを構築して。APIキーとファインチューニングされたモデルのもう少し詳しい情報は後で渡します。デフォルトバージョンが左側、ファインチューニングされたバージョンが右側になるように、きれいな50対50の分割になるようなレイアウト作りに集中して。同じプロンプトで2つの異なるAIモデルをテストするための適切なフロントエンドとしてきれいに見えるようにして。そうすれば、下部に入力フィールドがあり、私がプロンプトを入れると両方のAIモデルに送信されます。バックエンドの接続は少し後で行います。PI agentを使ってKimmy K27コードを実行しています。皆さん、見てください、この速さを。このモデルは信じられないほど素晴らしいです。Moonshotチームは本当に素晴らしい仕事をしました。Kimmy K2.7コードは、その速さと安さを考えると本当に驚くほど速くて優秀です。本当に狂っています。とにかく、ここに進みます。Fireworksは非常にシンプルなボックスを提供してくれており、そこから文字通りコピーするだけです。これはAPIキーがない状態なので、APIキーを取得する必要があります。実際には、envファイルを作成して開くべきでしょう。実はすでにありました。それから、これの名前は何でしょうか。Fireworks APIキーですね。よし。ここに貼り付けます。AIエージェントに送信しないように、これを手動で行うのが良い習慣です。APIキーを作成します。よし。名前をKimmy Fable deployにします。キーを生成します。それをコピーします。一度だけしか見られません。繰り返しになりますが、APIキーは非公開にしてください。誰とも共有しないでください。envファイルに入ったので良いですね。次はこれを閉じて戻ります。そしてこれをコピーします。フロントエンドが完成した瞬間にKimmyに渡すつもりです。今それをテストしています。ちなみにこれはとても速いです。そしてこの信じられないほどのコスト効率を見てください。OpusやFableを使っていたら、すでに数ドルかかっていたでしょう。しかしKimmy K2.7を使っているので、バックエンドのAIプロバイダー、つまり2つの異なるプロバイダーを備えた完全なウェブアプリ全体で0.1ドルくらいしかかかっていません。また、Open Routerに行ってこのKimmy K17コードを準備するべきですね。よし。ここでクイックスタートをクリックしましょう。基本的には同じことをする必要があります。Open Routerのキーはありますか。ありませんね。kimmy testingという名前で作成しましょう。制限を小さく設定しましょう。もっと少なくてもいいですね。5ドルにします。作成します。コピーします。これもenvファイルに保存します。Open RouterのAPIキーはこれですね。スペルが正しいかだけ確認してください。よし。では、Open RouterのAPIキーとFireworks AIのAPIキーの両方がこのプロジェクトのenvファイル内にあるので、バックエンドを適切に接続してくださいと言います。ここにこれら両方のプロバイダーの公式ドキュメントに関する少し詳細なコンテキストを記載します。次に、ここに戻ってこれをコピーします。TypeScriptを使っていますか。ここでの技術スタックは何でしょうか。別のペインを立ち上げて尋ねるだけでいいですね。このフォルダに構築されているウェブアプリの技術スタックは何ですか。短く答えて。するとVite, React, TypeScriptだと言っています。それならTypeScript SDKを使いましょう。それをコピーします。とても速いですね。もうここに答えがあります。素晴らしいです。これがCMAXの素晴らしいところです。簡単に別のペインを立ち上げて、そこに別のエージェントを立ち上げることができます。ではOpen Router。よし。それを貼り付けます。コピーしたかったのはそれではありません。コピーします。これです。Open Router。そして次はここにあるFireworksです。これもTypeScriptにしましょう。Fireworks。よし。それを貼り付けます。Fireworks。作業に取り掛かり、これら両方のモデルを接続して。そしてもう一度、このプロジェクトのenvファイルにある環境変数を使ってと指示します。これでテストもできます。どうやって実行するか見てみましょう。CD frontendと言いました。よし。CD frontend pnpm dev。よし。これをクリックしてみましょう。ここでBraveブラウザで開いてみます。とてもシンプルです。とてもシンプルですね。クリーンです。ファインチューニングされたKimmyとデフォルトのものとの応答の違いを見たいと思います。バックエンドが適切に接続されるのを待ちましょう。これの秒間トークン数は信じられないほどです。そしてお分かりのように、このモデルは決して怠け者ではありません。readmeファイルを修正し、すべてを再確認し、多くの労力を費やしていますが、まだ最初の1ドルにも達していません。これがオープンソースモデルのコスト効率です。皆さんの多くは、何でもOpusやGPD 5.5で実行してお金を無駄にしています。計画のためには最も強力なモデルを使い、より高速で通常は同じくらいの能力を持つより小さなオープンソースモデルを使えば、はるかに良い使い方ができるのにです。Kimmy K2.7は文字通り世界最高レベルのモデルの一つです。ですから、Opusの7分の1の安さであるこれらのオープンソースモデルを適切な場所で導入すれば、トークンの出費を減らしつつ、現在よりもさらに多くのAIを活用できるようになります。よし、バックエンドの接続が完了しました。ここで起動する必要があります。CMAX内でコマンドシフトDを押して2つ目のペイン、2つ目のターミナルを立ち上げます。CD frontend。CD frontend pnpm server。よし、このpnpm devを終了させます。よし、エラーが出ました。そこでlogsを出して修正してと言います。よし、pnpm server。なるほど、以前のサーバーでした。すでに使用中でした。うまくいくか見てみましょう。テストを送信してみましょう。これが機能するか見てみます。よし、機能しました。あなたは誰ですか。明確な違いがわかりますね。こちらはFableデータセットでファインチューニングされたもので、こちらは基本のKimmyです。そこでサイバーセキュリティの基本を説明してと言ってみます。よし、Fableの方がよりよくフォーマットされていると言えます。こちらの方が少し冗長ですね。どんな人間でも取り入れられる最大の生産性ハックは何ですか。簡潔に答えて。ここで推論過程が見えるのがわかります。実はこれがデータセットにあったのです。Fableには思考プロセスが含まれていました。だから何と考えているかが見えるのです。こちらは深い集中を伴うシングルタスクです。推論はここに隠されています。最終回答です。2分ルールを実行する。なるほど。面白いですね。両方とも異なる回答でした。どんな人間でも取り入れられる最も重要な健康習慣のナンバーワンは何ですか。短く答えて。定期的な運動。こちらは冗長すぎると言うか、簡潔すぎますね。十分な睡眠。そうですね、こちらでは推論過程が見えます。これがFableでファインチューニングされたバージョンとデフォルトのKimmyの主な違いです。ファインチューニング版は基本的に考えることにより多くの時間を費やし、Fableの能力に少し近づいています。そのデータセットでファインチューニングされたからです。あなたは誰で、誰があなたを作りましたか。よし、両方とも正しくKimmyだと答えました。データセットがそれほど大きくなかったので、Claudeだとは答えていません。はい、これであなたもAIモデルをファインチューニングする方法がわかりました。1兆パラメータを持つモデルであっても、自分のデータセットやHugging Faceのデータセットを使ってファインチューニングできます。最後にもう一度言いますが、Kimmyプラットフォームを試して公式APIを使ってみたい場合は、動画の下の最初のリンクを必ず使用してください。そのリンクからサインアップしたすべての新規ユーザーは、Kimmy APIプラットフォームでクレジットを購入した際に完全に無料で追加の15%のクレジットを受け取ることができます。
コメント