AI研究 拡散モデルがテキストにもやって来る。NVIDIAの新モデルを紹介 ===
画像や動画生成の中核技術である拡散モデルが、テキスト生成にも進出し始めている。NVIDIAの新たなTwo Tower方式は、既存の自己回帰モデルを複製し、一方を凍結した文脈処理用、もう一方をマスク除去型の生成用として再学習する構成である。ブロック単位の並列生成によって高速化を図りつつ、元モデルの性能を高水準で維持する一方、数学やコード生成での低下、ブロックサイズへの強い依存性、メモリ負荷などの課題も明らかになっている。===
