10,008 文字
この動画ジェネレーターは私たちが待ち望んでいたものかもしれません。これは完全に無料でオープンソースです。さらに、品質も実際に良いです。加えて、驚くほど速く、一般向けのGPUでさえ使用できます。これはLitrixによるLTX Videoと呼ばれています。そして今週、彼らは13B バージョン0.9.7と呼ばれる新しい更新版をリリースしました。
ここに例があるように、これは本当に優れています。このビデオでは、どこでどのように使うかを説明します。また、私のデモをいくつか紹介します。もちろん、これをローカルでコンピューターにインストールして、無料で無制限にオフラインで実行する方法も説明します。さっそく始めましょう。
ローカルで試してみた結果、LTX Videoは他のすべてのモデルと比較して、断然最速の動画ジェネレーターです。実際、彼らは競合他社よりも最大30倍速いと主張しています。しかし、速度だけがすべてではありません。品質は実際に良いのでしょうか？答えはイエスです。さらに、フルHDで動画を生成できます。
簡単に説明すると、これには「マルチスケール動画レンダリング」と呼ばれる機能があり、非常に粗いレイアウトから始めて徐々に詳細を追加していくという方法で、段階的に動画を生成します。さらに、無料のアップスケーラーがあり、動画の解像度を上げてフルHDにすることができます。
また、動画をさらに延長して数秒以上の長さにすることもできます。最後に、キーフレームを使って動画をさらにコントロールすることができるので、参照画像をビデオ全体のフレームとして使用できます。これらの機能はすべて無料で、動画生成に最大限のコントロールと柔軟性を提供します。
では、どこで使えるのでしょうか？まず、GPUを必要としないオンラインオプションを探しているなら、下の説明欄にリンクを貼っておく「LTX Studio」に行けます。無料アカウントにサインアップできます。そして彼らのページでは、ストーリーボードを作成できるなど、実に多くの機能があり、画像ジェネレーターさえあります。
しかし、最新バージョンのLTXVで動画を生成するには、モーションジェネレーターをクリックするだけです。そして上部では、最新の130億パラメーターのモデルを選択できます。そしてここでは、開始フレームまたは終了フレームとして画像を追加できます。では、2人のボクサーが戦っているという非常に挑戦的な画像から始めましょう。
これを開始フレームまたは終了フレームのいずれかに設定できますが、私は開始フレームとして設定します。そしてプロンプトには「激しいボクシングの試合 ハイアクション」と書きます。そして、ここでは動画の長さを選択するオプションがあります。とりあえず5秒のままにしておきます。
そして、モーション設定では、モーションの強度も設定できます。これは基本的に、動画にどれだけの動きを入れたいかを指定します。とりあえず50%のままにして、何が得られるか見てみましょう。それだけです。「動画を生成」をクリックしましょう。これが結果です。
一度に4つの動画が出力されることに注目してください。そしてこれは驚くほど速いです。また、この激しい戦いをどれだけうまく処理できるかも見てください。これは本物の戦闘シーンのように見えます。他の動画ジェネレーターの場合、このようなボクシングシーンを生成すると、腕が本当にめちゃくちゃになるか、彼らは実際に戦わず、ファイターはただ立ってなにもしません。
しかしここでは、実際に本物の戦闘シーンを生成しています。これは超リアルに見えます。そしてこれらの動画の中には、審判が歩いているのが見えるものさえあります。これは今まで見た中で最も印象的なボクシングの戦いの生成に違いないと言わざるを得ません。さて、このボクシングシーンの代わりに、別の難しい例でテストしてみましょう。
非常に詳細な、混雑した市場の画像をアップロードします。そしてプロンプトには「賑やかな市場」と書きます。長さとモーションの強度はデフォルトのままにして、「生成」をクリックします。これが4つの生成結果です。
全ての生成結果に非常に感心しています。すべてがどれだけ一貫しているか見てください。多くの人々が歩き回り、この場面には非常に多くの異なるオブジェクトやアイテム、詳細がありますが、すべてを非常に一貫して処理しています。他の動画ジェネレーターを使ったことがあるなら、このような忙しいシーンでは、大量の歪みや変形、不整合が発生することをご存知でしょう。
しかしここでは、すべてが本当に良く、無傷に見えます。次に、異なるスタイルで動画を生成する能力をテストしましょう。ここでカフェで話している数人の友人のアニメ画像をアップロードします。そしてプロンプトには「彼らは話している」と書くだけです。長さとモーションはデフォルトのままにして、「生成」をクリックします。
これが4つの生成結果です。これらのいくつかには非常に奇妙なことが起こっています。例えば、一番上のものではミクの頭が突然飛び出して背景に浮かんでいます。そして2番目のものには何らかの理由で奇妙な字幕があります。しかし、少なくとも左下のものは見た目がかなり良いです。
繰り返しになりますが、これはシーンに多くのキャラクターがいるため難しいシーンです。しかし、ご覧のように、アニメをかなりうまく生成できます。これらのキャラクターは、まるでアニメ番組のシーンのように話し、動いています。さて、アニメの代わりに、3Dディズニーピクサースタイルのシーンも生成できるか見てみましょう。
この画像を開始フレームとしてアップロードします。そして、プロンプトには再び「彼らは話している」と書くだけです。長さとモーションは同じに設定し、「生成」をクリックします。これが得られる結果です。4つの生成結果すべてが非常に良く見えます。すべてのキャラクターが超自然的かつリアルに動き、話しています。
ですから、ピクサーのようなシーンを生成するために100%これを使用できます。さて、もっと難しいことを試してみましょう。プロンプトに非常に難しいカメラ制御を指定して、それができるか見てみましょう。車に追われて路地を走る男性のこの初期画像をアップロードします。
そしてプロンプトには、「男性が狭い路地を走る。炎が落書きで染まった壁を照らす。マッスルカーが後ろから追いかける。背景には爆発と雷。ゴミや瓦礫が巻き上がる。カメラは走る男を追跡し、次に右にパンして巨大な爆発を明らかにする、高アクション」と書きます。とても難しいプロンプトです。
カメラは男を追跡し、それから右にパンして、そして巨大な爆発を明らかにする必要があります。そして、多くのアクションが起こっているので、長さを7秒に設定します。そして強度は同じままにして、「生成」をクリックします。これが結果です。
これはカメラのプロンプトを正確には守っていませんが、男が走り回るのを追跡しているような感じはします。そして、動画の終わり近くには背景に巨大な爆発があります。この中から私のお気に入りの生成を選ぶとしたら、右下になるでしょう。この男はかなり賢いです。ただまっすぐ走るのではなく、振り返ることができるとしたらどうでしょう、彼がやったことがまさにそれです。だから、ある程度右にパンして、男が逃げるのを追跡しているような感じです。
そして背景には巨大な爆発があります。だから、技術的には、この最後の生成はある程度プロンプトに従っています。さて、プロンプトの開始フレームと終了フレームも追加できることに注目してください。いくつかの例を試してみましょう。開始フレームには、この女性の画像をアップロードします。
終了フレームには、彼女の虹彩に渦巻く宇宙がある彼女の目のクローズアップをアップロードします。そしてプロンプトには「女性のポートレート。そしてカメラは女性の目にズームインし、彼女の目の中に渦巻く宇宙を示す」と書きます。これが処理できるか見てみましょう。すべての設定は同じままにして、「動画を生成」をクリックします。
これが4つの生成結果です。時々当たり外れがあります。例えば、左上と右下のシーンでは、女性の目をスムーズにズームインしているわけではなく、2つのシーン間の単なるハードカットです。しかし、この左下のものは、まさに私が望んだ効果です。
彼女の顔にズームインし、彼女の目の中に渦巻く宇宙を示しています。だから、少なくともこれらの生成のうち1つ、または2つは正確です。そして、最初と最後のフレームを設定する能力により、生成にかなりのコントロールが与えられ、本当にクールな遷移を作成できます。
さて、もう一つあります。開始フレームとして、この家の画像から始めましょう。そして終了フレームには、このような家への巨大な爆発を追加します。ちなみに、これはGoogleのGemini画像ジェネレーターを使って生成しました。そしてプロンプトは空のままにします。
すべての設定をデフォルトのままにして、「生成」をクリックします。これが結果です。なんてクールでしょう？確かに家に爆発が追加されています。そして正直なところ、4つの生成結果すべてが本当に良く見えます。これがLTX Studioのオンライン動画生成機能の簡単なショーケースです。ちなみに、これらのいずれかを選択することもできます。
例えば、これを選んだとします。そして、ここの「アップスケール」をクリックして解像度をさらに上げることもできますが、それには有料プランが必要です。これで音響効果も生成できます。これをクリックして何が起こるか見てみましょう。再生してみましょう。とても良いですね。爆発を自動的に検出し、その音を生成しているようです。
そして、モーション生成の代わりに、カメラコントロール機能もあります。ここでは開始フレームをアップロードし、左右へのパンやチルト、ズームイン・アウト、トラッキングなどのプリセットから選択できます。または、このようにマウスを動かして終了フレームを指定することさえできます。
これにより、シーンのカメラの動きを自分がどのようにしたいかという究極のコントロールが得られます。そして最初に少し触れたように、彼らは画像ジェネレーターとストーリーボード機能も持っていますが、それはこのチュートリアルの範囲を超えています。さて、デモは十分です。これをインストールして、コンピューターで無制限に実行する方法を見てみましょう。
彼らの公式リポジトリには、実際にはコンピューター上でLTX Videoをローカルで実行するいくつかの方法があることがわかります。基本的なPythonコードだけでこれをインストールしてモデルを実行できますが、これはあまり直感的ではありません。より良い方法は、彼らのComfy UI統合を使用することです。Comfy UIに馴染みがない場合、このように見えます。
このようなコンポーネントやヌードルが多くて最初は非常に複雑に見えるかもしれませんが、慣れれば実際には非常に簡単に使用できます。実際、私はすでにComfy UIの完全なチュートリアルを行っているので、まだ見ていない場合はこの動画を参照してください。とにかく、ここに戻りましょう。生のコードだけではなく、Comfy UIを強くお勧めします。なぜなら、Comfy UIは他の動画モデルや画像ジェネレーターとも互換性があるからです。
異なるモデルやワークフローを簡単に切り替えることができます。そこで、このビデオでは、LTX VideoをダウンロードしてComfy UIで使用する方法を説明します。これはすでにComfy UIがインストールされていることを前提としています。まだインストールしていない場合は、私がすべてを説明しているこのビデオをご覧ください。とにかく、このリポジトリをクリックします。
下にスクロールすると、彼らがすでにComfy UI用の13bバージョンをリリースしていることに注目してください。彼らはここに完全版を持っていますが、これは最高の品質を提供します。しかし、ほとんどの方が持っていないような大量のVRAMが必要だと思われます。そして、ここでは品質を多少犠牲にして、はるかに少ないVRAMを必要とする量子化バージョンを提供しています。
ここには、4090や5090を含む一般消費者向けGPUに理想的だとあります。実際、一部のユーザーは8GBのVRAMだけでこれを正常に実行できたと報告しています。このQ8カーネルパッケージをダウンロードするために、これらの指示に従うこともできます。しかし、これをクリックすると、Microsoft Build Toolsが必要で、それはハードドライブに7GB以上を占める追加ツールをすべてインストールする必要があります。
それはかなりの肥大化であり、多くのユーザーがインストール中に多くのエラーを報告しています。そこで、この量子化バージョンを使用する代わりに、KIと呼ばれるこの凄い人による別のFP8量子化モデルを使用します。彼もLTXV13BのFP8量子化バージョンをリリースしており、それが今回のビデオでダウンロードするものです。
ここの「ダウンロード」をクリックして、Comfy UIフォルダのモデル内のチェックポイントに保存します。「保存」をクリックしましょう。これは15GBのサイズなので、インターネットの速度によっては時間がかかることに注意してください。このモデルをダウンロードした後、次のステップはこれらのワークフローの1つをダウンロードすることです。
Comfy UIの素晴らしい点は、これらのノードやヌードルをゼロからプログラムする必要がなく、既存のワークフローをキャンバスにドラッグアンドドロップするだけで良いことです。この「画像から動画へ」のワークフローを行いましょう。「ダウンロード」をクリックし、ここの「ダウンロード」ボタンをクリックします。これはどこにでも保存できます。
私はComfy UIフォルダに保存します。その後、Comfy UIフォルダを開き、Comfy UIを起動します。何かを実行する前の最初のステップは、「マネージャー」をクリックしてから「Comfy UIを更新」をクリックすることです。これは重要です。なぜなら、特に古いバージョンのComfy UIを実行している場合、LTX Videoを実行するために必要な最新機能が不足している可能性があるからです。
まず、すべてを更新してください。その後、Comfy UIが正常に更新されたことが表示されるはずです。「閉じる」をクリックし、再び「閉じる」をクリックしましょう。次のステップは、ダウンロードしたワークフローファイルを単純にComfy UIのキャンバスにドラッグアンドドロップすることです。
最初にこれをドロップすると、これらのノードがすべて不足していることに気付くでしょう。これは大丈夫です。これは後でインストールできます。次に行うことは、「マネージャー」をクリックし、「カスタムノードマネージャー」をクリックし、LTXと入力することです。その後、これが表示されるはずです。「インストール」をクリックしましょう。
その後、変更を適用するためにComfy UIを再起動する必要があると表示されます。「再起動」をクリックし、「OK」をクリックしましょう。その後、これを再び開くと、不足しているノードがないことがわかるはずです。これは非常に複雑に見えるかもしれません。それぞれのコンポーネントを見ていきましょう。まず、ここでクリップモデルをロードする必要があります。
以前にすでにダウンロードしたT5XXL FP8を選択します。まだこれを持っていない場合は、下の説明欄にリンクするHugging Faceフォルダからダウンロードしてください。これをダウンロードしてComfy UIのmodelsフォルダ内のclipフォルダに保存するだけです。
ご覧のとおり、私はすでにここにそれを持っています。そして、ここはポジティブプロンプトを入力する場所です。これは画像から動画を作成するためのオプションですが、動画で何が起こって欲しいかを説明するより詳細を追加できます。そしてここがネガティブプロンプトです。これは基本的に、動画から除外したいすべてのものです。そしてここがフレームレートです。
上のメモからわかるように、24 fpsに設定すると、品質は高くなりますが動きは少なくなります。60に設定すると、品質は低くなり、動きは多くなります。私はデフォルトの24のままにしておきます。そして、このチェックポイントをロードするところで、先ほどダウンロードしたLTXVモデルを選択します。
繰り返しになりますが、これはKIによるFP8バージョンです。最後に、ここは最初のフレームとして使用する写真を選択する場所です。ディズニーピクサースタイルのシーンのこの画像をアップロードします。そして、プロンプトは空のままにします。これらの情報はすべて次のコンポーネントに送られ、基本解像度が768×512の動画を生成します。
ここで動画の寸法を設定します。これが縦動画の場合、512×768に変更できます。私たちの画像は横向きなので、そのままにしておきます。そして、フレーム数は、基本的に動画の長さを示します。97フレーム÷24 fps≒4秒の動画になります。それだけです。
ここで動画が生成されます。この後、アップスケーラーと詳細追加コンポーネントに渡して、動画の解像度と詳細をさらに追加することもできます。しかし今のところ、これらをクリックして「バイパス」をクリックし、これらのコンポーネントを無視して、ここで基本的な動画のみを出力します。
まず「実行」をクリックして、何が得られるか見てみましょう。その後、ここに出力が表示されるはずです。最後に注意すべき点は、出力を保存フィールドのデフォルト値がfalseに設定されていることです。実際に動画を保存するためには、右クリックして「プレビューを保存」をクリックして動画を保存する必要があります。または、実行する前に、この値をtrueに設定することもできます。
とにかく、これが基本的な低解像度の動画を生成する方法です。次に、これを使用してフルHD動画を生成する方法を示します。これら2つのセクションのバイパスを解除します。LTX VideoのGitHubリポジトリに戻ると、彼らがここに空間アップスケーラーと時間アップスケーラーも提供していることに注目してください。
空間アップスケーラーは基本的に動画の解像度を上げます。例えば、480pの動画をフルHD動画に変換できます。ピクセルレベルの詳細を追加します。そして、時間アップスケーラーは時間経過に伴う動画の一貫性と品質を向上させます。動画にちらつきやジッターがある場合は、この時間アップスケーラーを使用するのが良いでしょう。
私たちはこの空間アップスケーラーを選びます。これをクリックし、ここの「ダウンロード」をクリックします。これはComfy UIフォルダのmodels内のupscale modelsフォルダに入れることができます。「保存」をクリックしましょう。アップスケールモデルをダウンロードした後、このドロップダウンをクリックすると、ここにLTXV空間アップスケーラーが表示されるはずです。
表示されない場合は、Comfy UIを閉じて再起動する必要があるかもしれません。この空間アップスケーラーを使用しているので、実行する前にもう一つやるべきことがあります。まずこれをtrueに設定する必要があります。ズームアウトして「実行」をクリックすると、まず低解像度でこの動画が生成されることがわかります。
その後、フルHDになるこのアップスケールバージョンの生成に進みます。すべてがうまくいけば、ここにアップスケールされた動画が表示されるはずです。これが何らかの理由で再生されていないので、右クリックして「プレビューを開く」をクリックします。これでフルHDの動画がここに表示されます。
これで基本的な画像から動画へのワークフローについて説明しました。また、興味を持つ方もいるかもしれない「キーフレーム付き画像から動画へ」のワークフローについても簡単に説明しましょう。再びここの「ダウンロード」をクリックし、このダウンロードボタンをクリックします。これはワークフローJSONファイルをダウンロードし、どこにでも保存できます。
Comfy UIフォルダに保存します。そして、Comfy UI上では、ダウンロードしたJSONファイルを取り、キャンバスにドラッグアンドドロップするだけです。これを展開すると、以前とほぼ同じです。ここにクリップモデルがあります。T5XXL FB8を選択します。
ここにポジティブプロンプトがあります。ここにネガティブプロンプトがあります。ここにフレームレートがあります。以前と同じです。ここでKiyのFP8モデルを選択します。そして、1つの画像をアップロードする代わりに、3つの異なる画像をアップロードできます。1つ目は開始フレーム、2つ目は中間フレーム、3つ目は終了フレームです。
これが私の3つの画像です。最初のフレームはこれです。中間フレームはこれです。そして最後のフレームはこれです。そしてプロンプトには「靴がゆっくりと浮かび、青い光束がその周りを渦巻き、そして炎がそれを取り囲む」と入力します。非常に単純なプロンプトです。
これを理解できるか見てみましょう。そして、ここでは動画の幅と高さに加えて、動画の長さを指定できます。97フレーム÷24 fps≒4秒です。そして、ここでもこれをさらにアップスケールしたい場合は、この空間アップスケーラーモデルを選択し、これをtrueに設定できます。それだけです。
すべての設定は以前と同じです。これを速くするために、簡単な例を示すだけに、これらのアップスケールコンポーネントをバイパスします。それだけです。「実行」をクリックして、何が得られるか見てみましょう。これが最終結果です。実際にかなり良いです。
そして、開始、中間、終了フレームのためのこれら3つの画像に従っています。本当に印象的です。繰り返しになりますが、出力を保存するデフォルト値はfalseです。だから、保存するためには、右クリックして「プレビューを保存」をクリックする必要があります。もちろん、これは解像度が768×512と非常に低品質であることに注意してください。ただし、これらのアップスケーリングコンポーネントを通過させて、これをフルHDにすることができます。
これが、生成にキーフレームを追加する方法です。これでLTXV 13Bバージョン0.9.7のレビューとチュートリアルを終了します。発音しにくい非常に長い名前を除けば、実際に驚くほど良いです。両方の世界の最高です。非常に良い動画品質と驚くべき速度を得られます。これは最速のオープンソース動画ジェネレーターの一つです。
さらに、この量子化バージョンを使えば、非常に低いVRAMで実行できます。8GBまたは12GBのVRAMだけで実行できるかもしれません。だから、多くの人々にとってアクセスしやすいのです。とにかく、これについてどう思うかコメントで教えてください。これを試す機会があった場合、他にどのようなクールで印象的な生成を作成できましたか？インストール中に問題が発生した場合は、エラーメッセージをコメント欄にコピー＆ペーストしてください。できる限りトラブルシューティングをお手伝いします。
いつものように、私はトップAIニュースとツールを探し出して皆さんと共有します。このビデオを楽しんでいただけたなら、「いいね」、共有、購読をして、さらなるコンテンツをお楽しみください。また、AIの世界では毎週本当に多くのことが起こっています。YouTubeチャンネルですべてをカバーすることは不可能です。
ですから、AIで起こっているすべてのことを本当に最新の状態に保つために、私の無料の週刊ニュースレターを購読してください。そのリンクは説明欄に記載されています。視聴いただきありがとうございます。次回お会いしましょう。
コメント