Nvidiaが開発した4K解像度対応のオープンソース画像アップスケールモデル「pixel diffusion（PD）」の機能と、ComfyUIを用いたローカル環境での利用方法を解説する動画である。PDはピクセル空間で直接デノイズを行うため、従来のアップスケーラーよりも高品質でアーティファクトの少ない4K画像を5秒未満という驚異的な速さで生成できる。既存の主要モデルであるSeed VR2と比較して最大5.9倍高速であり、一貫性と詳細度の面でも優れている。動画内では、既存画像のアップスケール、最新モデルと組み合わせた高解像度化、およびテキストからの画像生成という3つの実用的なワークフローの導入手順を丁寧に紹介している。
4K画像に対応した革新的なAIモデルの登場
4K解像度の画像を生成できる、新しい最先端のオープンソースモデルが登場しました。このモデルは非常に詳細な画像を生成できるだけでなく、信じられないほど高速で軽量です。5秒未満で画像を生成することができます。これはpixel diffusion、略してPDと呼ばれており、Nvidiaによって開発されました。
まずは、私自身が試した例をいくつかお見せしましょう。ワークフロー全体がどのようなものかもお見せします。心配しないでください、この動画の後半では、あなたのコンピュータにこれを完全に無料でインストールし、無制限に実行する方法を正確に説明します。
まずは簡単な例から見ていきましょう。タイガーの写真をアップロードして、このアップスケーラーに通してみます。わずか3秒ほどで、アップスケールされたバージョンが生成されます。まず、こちらが処理前の画像です。毛並みの詳細がかなりぼやけているのがわかりますね。しかし、このアップスケーラーに通した後の画像を見てください。どれほど詳細になっているかお分かりいただけるでしょうか。さらにズームインして、違いをはっきりと確認してみましょう。こちらが処理前で、こちらが処理後です。信じられないほどの詳細さと正確さです。
次に、都市の画像をアップロードして、再びこのアップスケーラーに通してみます。そして、こちらがその結果です。処理前と処理後のスライダーを見てみましょう。処理前は、かなり低解像度であることがわかります。窓の輪郭が少しぼやけていますが、このAIに通した後は、すべてがどれほどシャープで鮮明になっているか注目してください。本当に素晴らしい仕上がりです。実際、さらにズームインして、このモデルによる詳細な違いをはっきりと見てみましょう。
あるいは、こちらのポートレートの例をご覧ください。処理前は、顔がかなりぼやけているのがわかります。しかし、このAIに通した後は、髪の毛や顔にどれほど多くの詳細が追加されているか見てください。これは画像をシャープにしたり、アップスケールしたりするのに本当に適しています。鮮明さと詳細の違いがはっきりとわかるように、もう少しズームインしてみましょう。
そして最後に、夜空の比較です。こちらが処理前で、こちらが処理後です。やはり、詳細がはるかにシャープになっています。さらに、皆さんの参考のために、彼らの公式の例もいくつか紹介しておきます。
実際、この仕組みは非常に興味深いものです。これはピクセル空間と呼ばれる場所で動作するため、pixel diffusionと呼ばれています。通常の画像ジェネレーターの仕組みは、圧縮された潜在空間からの画像データを、私たちが目にすることのできるピクセルに変換するデコーダーを使用します。しかし、このPDの仕組みは、代わりにピクセル空間でデコーディングを行います。そのため、FluxやZ image、あるいはStable Diffusionのような市場のトップモデルのいずれかで画像を生成する場合、そのモデルはまず潜在空間で画像を生成し、PDはその潜在空間をガイダンスとして受け取りますが、高解像度のピクセル空間でその画像を直接デノイズします。これにより、従来のアップスケーラー手法でよく見られるアーティファクトが少なく、よりシャープな4Kの結果を生み出すことができるのです。
ここで、PDを他のアップスケール手法、特に主要な手法の一つであるSeed VR2と比較してみると、PDの方がはるかに一貫性があり、詳細であることがわかります。画像のさまざまな部分にズームインしてみると、PDの品質、一貫性、コヒーレンスは、Seed VR2よりも遥かに優れていることが注目できます。
参考までに別の例を挙げましょう。PDは、Seed VR2と比較して、非常にシャープで詳細であることがわかります。また、より忠実でもあります。ぬいぐるみの質感が、Seed VR2から得られたものよりもずっとリアルに見えます。Seed VR2の方は、なんだか作り話をしているかのように見えますね。
さらに別の例を見てみましょう。Seed VR2を見ると、大きくズームインしたときにエッジが非常にぼやけているのがわかります。輪郭がうまく定義されておらず、一種のアーティファクトが見られます。しかし、PDを見ると、非常にシャープで素晴らしい見た目になっています。
品質が素晴らしいだけでなく、非常に軽量で驚くほど高速です。こちらのレイテンシを見るとわかるように、PDは1秒未満で画像をアップスケールでき、私にとって非常に遅かったSeed VR2よりも最大5.9倍高速です。そして右側にあるのは、PDと他の画像アップスケール手法との勝率です。ご覧のように、ほとんどの場合においてPDが勝利しています。したがって、これは2Kまたは4K解像度の画像を生成するための、間違いなく最高かつ最速の方法の一つです。
ComfyUIを使用したローカル環境へのインストールと準備
デモはこれくらいにして、次に、これを地元のコンピュータに実際にインストールして、無料でオフラインで無制限に実行する方法を説明します。動画の説明欄に、開始するために必要なすべてのワークフローが含まれているページへのリンクを貼っておきます。
ちなみに、これを出力するためにComfyUIを使用します。もしComfyUIを聞いたことがない場合、これはオープンソースの画像や動画のジェネレーターをオフラインで実行するための最も人気のあるプラットフォームです。まだComfyUIをお持ちでない場合は、完全なインストールチュートリアルについて別の動画をご覧ください。ほとんどのオープンソースの選択肢はComfyUIを使って実行できるため、これを学ぶ時間は間違いなく価値があります。これは市場で最も柔軟なプラットフォームです。
それでは、すでにComfyUIがインストールされていると仮定して話を進めます。説明欄のリンク先にはすべてのワークフローとモデルが含まれていますが、これを進める前に、まずComfyUIを最新バージョンにアップデートすることが重要です。そうしないと、ワークフローが動作しません。
お使いのComfyUIフォルダに移動してください。私はポータブルバージョンを使用しています。このアップデートフォルダ内にあるupdate_comfy.batをクリックすると、ウィンドウが開き、ComfyUIが最新バージョンに自動的にアップデートされます。完了するまで数秒待ちましょう。
その後、続行するには何かキーを押してくださいと表示されれば、正常にアップデートされたことを意味します。任意のキーを押してこのウィンドウを閉じます。次に、ComfyUIを起動できます。run_comfyuiをクリックしましょう。
それが読み込まれている間に、ワークフローのダウンロードも進めることができます。3つの異なるワークフローがあります。最初の01のワークフローはシンプルなText to Imageです。これは実際にこのpixel diffusionモデルを使用して1K解像度の画像を生成します。最先端の画像ジェネレーターと比較するとそれほど印象的ではないため、これは最後に回します。
次に、O2という名前のワークフローがあります。これにより、既存の画像をアップロードして2Kまたは4Kにアップスケールすることができます。そして最後に、03のワークフローもあります。これは、FluxやZ imageのようなトップクラスの画像モデルのいずれかを使用して最初に画像を生成し、それを直接PDにプラグインしてさらに高い解像度にアップスケールすることができます。
この動画ではこれら3つのワークフローすべてを説明しますが、まずは既存の画像を取り込んでPDでアップスケールできるこのO2ワークフローから始めましょう。これが3つの中で最も重要だと思うからです。
行うべきことは、これをクリックしてワークフローをダウンロードすることです。どこにダウンロードしても構いません。私はComfyUIのルートフォルダに保存します。ダウンロードしたら、そのJSONファイルをComfyUIのインターフェース上にドラッグアンドドロップするだけです。
既存の画像を4Kにアップスケールするワークフローの設定
これを最初に実行するとき、いくつかのモデルが不足しているため、いくつかのノードが赤く縁取られて表示される可能性が高いです。ですので、まずはそれぞれのモデルをインストールする方法を確認しましょう。
この最初のノードには、Gemma 2 2Bと呼ばれるテキストエンコーダーが必要です。説明欄にリンクを貼っておきますので、そこから完全なFP16バージョン、または圧縮されたFP8バージョンのいずれかをダウンロードできます。フルバージョンは5.2ギガバイトです。もう一方は2.6ギガバイトと少し小さめです。そのため、品質をいくらか犠牲にする代わりに、少し速く動作します。私の場合は、この小さなFP8の方を選びます。ダウンロードをクリックしましょう。これはComfyUIのmodelsフォルダ内のtext_encodersに保存します。
これをダウンロードしたら、キーボードのRを押してモデルリストを更新します。すると、ここのドロップダウンにGemma 2モデルが表示されるはずですので、これを選択します。
次に、PDアップスケーラーモデルをダウンロードする必要があります。すべてのPDモデルが含まれているページのリンクを説明欄に貼っておきます。ここは非常に紛らわしいところです。選ぶべきモデルがたくさんあります。それらがすべて何を意味するのかを説明しましょう。
まず、PDアップスケーラーモデルは、ベースモデルジェネレーターに基づいて異なる潜在タイプに分類されています。現在のステップにはそれほど重要ではありませんが、後ほどお見せするように、たとえばZ imageを使用して最初に画像を生成し、それをこのPDアップスケーラーに通したい場合、Z imageは潜在空間としてFlux 1を使用しているため、Flux 1用のモデルを選ぶことになります。あるいは、Flux 2で最初に画像を生成してからPDに通したい場合は、これら4つのいずれかを使用します。または、何らかの理由でStable Diffusion 3を最初に使用したい場合は、これら2つのいずれかを使用します。
とにかく、私の場合はZ imageが使用しているFlux 1を選択します。画像をアップロードしてアップスケールするだけのこのステップでは、今はそれほど重要ではありません。しかし、これら4つの中には2つの異なるオプションがあります。一つは1Kの画像を4Kにアップスケールするもので、もう一つは512の画像を2Kにアップスケールするものです。私の場合は1Kから4Kへのバージョンを選びます。
そしてその中にも、さらに2つの異なるバリアントがあります。一つはフルモデルであるBF16で、これはわずか2.7ギガバイトと非常に小さく、そのため非常に高速に動作します。もう一つはMXFP8バージョンで、1.5ギガバイトとさらに小型です。こちらはかなり圧縮されています。ただし、このMXFP8は、より新しいNvidiaの50シリーズGPUや、Blackwellアーキテクチャを持つGPUでのみ動作すると思います。そのため、古い3090などをお持ちの場合は動作しない可能性があります。ですので、私の場合はこちらのFlux 1 1K to 4K FP16を選びます。ダウンロードをクリックしましょう。これはComfyUIのmodelsフォルダ内のdiffusion_modelsに保存します。
その後、ワークフローに戻ります。再びRを押してモデルリストを更新します。すると、ドロップダウンに新しくダウンロードしたPDモデルが表示されるはずです。
そして、ここに画像をアップロードします。この風景写真をアップロードしてみましょう。ここで私は1024の画像を4Kに変換するモデルを使用しているため、理想的には最も長い辺が1024である画像をアップロードする必要があります。こちらが元の画像の寸法です。
また、これにはVAEをロードする必要もあります。私は、Z imageで使用されているVAEであるae.safetensorsファイルを使用します。これはサイズが335メガバイトです。説明欄にこのページのリンクを貼っておきます。ダウンロードをクリックし、これはComfyUIのmodelsフォルダ内のVAEに保存します。
その後、再びRを押してモデルリストを更新し、ドロップダウンからae.safetensorsを選択します。これでほぼ完了です。これらのステップを終えると、どのノードの周りにも赤い縁取りがなくなっているはずです。もしある場合は、ComfyUIをまだ最新バージョンにアップデートしていない可能性が高いので、必ず最初にそれを確認してください。
ここで1Kから4Kを選択したため、ここの寸法もそれに反映されていることを確認しましょう。幅の4Kは4096にする必要があります。そして高さについては、同じアスペクト比を維持するために、この数値に4を掛ける必要があり、2732になります。変更が必要な設定はこれだけです。
そして最後に、ここにあるテキストプロンプトを画像に合わせて変更する必要があります。湖畔の景色の良い町、といった内容を入力しておきます。これで準備は整いました。実行を押してみましょう。
これを実行したとき、モデルが不足しているように見えることがあります。これは元のワークフローからの単なるエラーだと思います。ですので、このdiffusion_modelsをここにも接続して、実行を押します。これは非常に迅速であるはずです。10秒未満でこの画像をアップスケールできるはずです。
そして、こちらが得られた結果です。すべてがどれほど詳細であるかがわかります。
コンテンツをさらに強力にしたい場合は、この動画のスポンサーであるHigsfieldをぜひチェックしてください。クリエイター向けに特別に構築された、オールインワンのAI作成プラットフォームと考えてください。画像に一つのツール、動画に別のツール、編集にまた別のツールを使用する代わりに、Higsfieldはすべてを一つのワークフローにまとめます。
Higsfieldには最高の動画モデルであるCedance 2.0があり、ビジュアルに同期したネイティブオーディオ付きの1080pのAI動画を作成できます。画像については、驚異的な正確さとプロンプトへの忠実さを持つGPT image 2を備えています。
しかし、本当の利点はHigsfieldの完全なワークフローにあります。たとえば、コンテンツ作成のためのAIエージェントのようなものであるHigsfield Supercomputerがあります。プロンプトを与えるだけで、アイデアの生成、製品コンセプトの形成、ブランドの方向性の執筆、ビジュアルの作成、発表動画の編集、さらには配信のサポートまで行ってくれます。
また、一つの製品を完全なキャンペーンに変えるのに最適なMarketing Studioもあります。製品のリンクを貼り付けるか、画像をアップロードするだけで、UGC動画、チュートリアル、開封動画、製品レビュー、その他の広告フォーマットを一つのワークフローで生成できます。
さらにシネマティックなプロジェクト向けには、カットレベルの映画制作を中心に構築されたCinema Studio 3.5があります。シーンの計画、カメラの制御、雰囲気の設定、キャラクターの追加、小道具やロケーションの再利用が可能で、プロジェクト全体で構築されたすべてを一貫して保つことができます。
広告、ソーシャル動画、製品発表、シネマティックなクリップ、または完全なマーケティングキャンペーンを作成しているかどうかにかかわらず、これはAIでの作成を開始するための最も簡単なプラットフォームの一つです。説明欄のリンクを使って、今すぐHigsfieldを試してみてください。
さて、次のステップはオプションですが、素晴らしい処理前と処理後の比較をお見せするために、キャンバス上の任意の場所をダブルクリックして、compareと入力します。そして、RG3によるimage compareノードを使用します。これをここの任意の場所にドラッグします。そして、入力画像と出力画像の両方をここに接続して、左右に並べてプレビューできるようにします。素早くそれを行いましょう。
こちらが処理前です。ズームインするとかなりぼやけているのがわかりますが、このアップスケーラーに通した後の詳細を見てください。絶対に信じられないほどの詳細さです。大きくズームインすると、建物や木々、さらには背景にあるすべての詳細まで見ることができます。これは非常に、非常に印象的です。
既存の画像があり、それをこのPDモデルに通してより高い解像度にアップスケールしたいだけの場合は、このワークフローを使用します。
最先端モデルと組み合わせた高解像度画像の生成
既存の画像がない場合のために、次に、Z imageやFlux 2のような最先端の画像モデルで最初に画像を生成し、それを直接PDにプラグインしてさらにアップスケールできるこのワークフローをお見せします。
このリンクをクリックしてワークフローをダウンロードしてください。これもどこに保存しても構いません。私はComfyUIのルートフォルダに保存します。その後、ComfyUIに戻り、ワークフローファイルをインターフェース上にドラッグアンドドロップすると、これが表示されます。
仕組みは次のとおりです。まず、これは2つのセクションに分かれています。上のセクションは標準的なZ imageのワークフローです。そして下のセクションは、その出力画像を受け取り、希望の解像度にアップスケールします。
上部では、まずZ image TurboのモデルとCLIPをロードする必要があります。以前に私のチュートリアル、特に数ヶ月前のZ imageに関するチュートリアルをご覧になっている場合は、すでにコンピュータにこのZ image Turboモデルがあるはずです。もし持っていない場合のインストール方法は次のとおりです。
ComfyUI用のZ image Turboモデルが含まれているページのリンクを説明欄に貼っておきます。2つの異なるバリアントがあります。一つは12ギガバイトのサイズがあるBF16で、もう一つははるかに効率的で圧縮されたFP4です。これは、より新しいバージョンのCUDA GPUで動作します。たとえばこれをダウンロードしたいとします。ダウンロードをクリックしましょう。これはComfyUIのmodelsフォルダ内のdiffusion_modelsに保存します。
その後、Rを押してモデルリストを更新します。このドロップダウンをクリックすると、ここにZ image Turboが表示されるはずですので、これを選択します。
そしてCLIPについては、私がQuen 34Bを持っていることがすでに自動検出されています。まだこれをインストールしていない場合のために、これも説明欄にページのリンクを貼っておきます。ここでは、完全なQuen 34B、または最も圧縮されたFP4バージョン、あるいは適度に圧縮されたFP8バージョンのいずれかをダウンロードすることを選択できます。たとえば、フルバージョンを選択してみます。ダウンロードをクリックしましょう。これはComfyUIのmodelsフォルダ内のtext_encodersに保存します。
その後、再びRを押してモデルリストを更新します。このドロップダウンをクリックすると、ドロップダウン内にQuen 34Bが表示されるはずです。これらが、この最初のステップに必要なすべてのモデルです。
それでは、このセクションに進みます。前のワークフローから、Gemmaテキストエンコーダーとdiffusionモデルの両方をすでにダウンロードしているはずです。ですので、テキストエンコーダーにはGemma 2を選択するだけです。そして、Z imageを使用している場合は、このPD Flux 1バージョンを使用する必要があります。これらをどこからダウンロードすればよいかわからない場合は、このチュートリアルの前のセクションを参照してください。これで完了です。これらが、これを動作させるためにダウンロードする必要があるすべてのモデルです。
次に、設定を非常に素早く確認しましょう。まず、この緑色のボックスがプロンプトを入力する場所です。デフォルトのまま進めましょう。霧がかった森の中で、高い木々に囲まれて後ろ足で立つレッサーパンダ、その後ろには滝があり、頭の上には黒い鳥が止まっている、といった内容です。
ここでは、アップスケーラーにプラグインされる前の元の画像の解像度を選択できます。1024の画像を4Kに変換するこのPDモデルを使用しているため、理想的には最も長い辺を1024に維持する必要があります。そしてバッチサイズは、一度に何枚の画像を生成したいかを示します。
次に進むと、これは標準的なKサンプラーです。これに慣れていない方のために、これらの設定が何を意味するのかを説明します。シードは生成の開始点のようなものです。すべての同じ設定と同じプロンプトを使用しても、異なるシードを使用すると、わずかに異なる画像が得られます。そしてステップ数は、画像を生成するのにかかるステップ数です。Z image Turboの場合、7から9ステップが最適なスポットです。CFGについては、AIにどれだけ文字通りプロンプトに従わせたいかを示します。Z imageの場合、私は1に維持する傾向があります。そしてサンプラーとスケジューラーは、画像を生成するために使用されるアルゴリズムのようなものです。
画像を生成すると、ここに画像のプレビューが表示されます。しかし、その後、それは新しいPDモデルを使用するこのアップスケールステップにもプラグインされます。ここで、これが4Kに変換されることがわかります。ここにはいくつかの追加のマイクロ設定がありますが、私は通常デフォルトのままにしています。
次に、画像の生成を進めましょう。実行を押して何が起こるか見てみます。
こちらが最終的にアップスケールされた画像です。ズームインすると、このレッサーパンダの毛並みがどれほど詳細であるかに注目してください。非常にシャープで高解像度です。
ここで私がやり忘れたのは、アップスケールされる前の元の画像を最初に見ることができるように、これらのノードを有効にすることでした。ですので、コントロールキーを押しながらこれらを選択し、このボタンを押して、これらのノードのバイパスを解除、つまり再アクティブ化します。ここで、このモデルのドロップダウンにVAEが不足していると表示されています。ae.safetensorsを選択するだけです。
ここでお見せしているのはオプションのステップですが、これは最初に画像をプレビューしたい場合のためのものです。実行を押してみましょう。
ご覧のように、こちらが元の画像です。これは1K解像度の画像にすぎません。実際、これら両方の画像を取り込んで比較に通し、処理前と処理後を確認できるようにします。こちらが元の1K画像です。ズームインするとかなりぼやけているのがわかります。しかし、PDに通した後は、どれほどシャープで詳細であるかを見てください。非常に印象的です。
このようにして、最初にZ imageを使用して画像を生成し、それをPDに通して画像をアップスケールするという標準的なワークフローを実行できます。ちなみに、これは非常に高速です。Z imageを使用して画像を生成するのに10秒未満しかかかりませんでした。そしてアップスケーラーについては、さらに高速です。これは3秒ほどしかかかりませんでした。
これはZ imageである必要はありません。これをFlux 2や、Flux 2に基づいているFlux Klein、あるいはStable Diffusion 3に置き換えることもできます。
テキストから画像を生成するシンプルなワークフローとまとめ
戻りまして、まだ説明していないワークフローがもう一つあります。それは、このDITモデルを使用してゼロから画像を生成することです。それほど印象的ではありません。これは1K解像度の画像しか生成できませんが、興味がある方のために、これがどのように機能するかを非常に素早くデモします。
このリンクをクリックしてワークフローをダウンロードします。これもどこにダウンロードしても構いません。私はComfyUIのルートフォルダにダウンロードします。そして、ファイルをインターフェース上にドラッグアンドドロップします。
すると、これが得られます。これを最初に実行するとき、このモデルが不足していると表示されます。ですので、行うべきことは、このリンクをクリックし、files and versionsのなかのdiffusion_modelsに移動します。ずっと下にスクロールすると、ここにText to Imageモデルがあります。これはわずか2.6ギガバイトと非常に小さいことに注目してください。そのため、Z imageやFlux 2よりもはるかに効率的です。
ここでも、これには2つの異なるバリアントがあります。BF16のものと、Blackwellアーキテクチャや50シリーズのNvidia GPUをお持ちの場合は、より小さく効率的なMXFP8のものがあります。私の場合は、このBF16のものをダウンロードします。これはComfyUIのmodelsフォルダ内のdiffusion_modelsに保存します。
その後、Rを押してモデルリストを更新します。このドロップダウンに、ここにモデルが表示されるはずです。そしてCLIPエンコーダーについては、前のワークフローからすでにダウンロードしているはずです。ですので、ここにGemma 2 2Bモデルを選択するだけです。これでほぼ完了です。
これはシンプルなText to Imageです。ジャングルに隠れているヒョウというデフォルトのプロンプトを試してみましょう。ここで幅と高さを設定できます。バッチサイズは、一度に何枚の画像を生成したいかです。実行を押してみましょう。
これが非常に高速であることに注目してください。私が話している間に、10秒未満で画像を生成できるはずです。どれほど速いかを見ていただくために、これを早送りすることもしません。
そして、こちらが私たちの結果です。やはり、これはあまり印象的な画像ジェネレーターではありません。私は依然としてZ imageやErnie image、Flux Kleinを好みます。少しプラスチックのような詳細を出力する傾向があり、1Kまでしか対応していません。そのため、少なくとも私にとっては、このText to Imageのワークフローが特に有用であるとは思いません。
私がよく行うのは、このワークフローを使用して既存の画像をアップロードして4Kにアップスケールするか、あるいはこれらのノードをバイパスしながらZ imageを使用して最初に画像を生成するためにこのワークフローを使用することです。そして、気に入った画像が生成されたら、このアップスケーラーコンポーネントのバイパスを解除して画像をアップスケールします。
これで、NvidiaのPDに関するチュートリアルを終わります。これはおそらく、現在使用できる最高で、最も速く、最も効率的なアップスケーラーです。はるかに高速で軽量ですが、以前のリーダーであったSeed VR2と同等かそれ以上のパフォーマンスを発揮します。ですので、高解像度の画像を作成したい場合は、ぜひこれを試してみてください。
いつものように、皆さんと共有するためのトップクラスのAIニュースやツールに目を光らせておきます。ですので、この動画を楽しんでいただけたなら、高評価、共有、チャンネル登録を忘れずに、今後のコンテンツを楽しみにしていてください。
また、毎週AIの世界では非常に多くのことが起こっています。YouTubeチャンネルですべてを網羅することは到底不可能です。ですので、AIで起こっているすべての最新情報を本当に維持するために、私の無料の週刊ニュースレターをぜひ購読してください。それへのリンクは説明欄にあります。ご視聴ありがとうございました。それではまた次回お会いしましょう。
コメント