自己回帰モデル

AI研究

拡散モデルがテキストにもやって来る。NVIDIAの新モデルを紹介 ===

画像や動画生成の中核技術である拡散モデルが、テキスト生成にも進出し始めている。NVIDIAの新たなTwo Tower方式は、既存の自己回帰モデルを複製し、一方を凍結した文脈処理用、もう一方をマスク除去型の生成用として再学習する構成である。ブロック単位の並列生成によって高速化を図りつつ、元モデルの性能を高水準で維持する一方、数学やコード生成での低下、ブロックサイズへの強い依存性、メモリ負荷などの課題も明らかになっている。===
2026.07.07
AI研究
Google・DeepMind・Alphabet

DeepMindはまたしても2歩先を行っていた！

Google DeepMindが目指す汎用人工知能（AGI）へのアプローチと、現在のAIの主流であるトランスフォーマーや自己回帰モデルの限界を超えるための取り組みを解説する内容。トランスフォーマーの効率化を模索するTitansやGriffinアーキテクチャ、言語への拡散モデルの応用、ヤン・ルカンとの世界モデルを巡る論争、そして大規模事前学習の是非について、デミス・ハサビスをはじめとするトップ研究者たちの視点を交えながら、DeepMindが描く独自のAGIビジョンとその戦略的優位性を明らかにする。
2026.06.14
Google・DeepMind・Alphabet
LLM・言語モデル

私はAIについて間違っていた

1950年代の視覚野の猫の実験から始まり、畳み込みニューラルネットワークやトランスフォーマーといったAI技術の進化の歴史を振り返る。そして、リチャード・サットンが提唱した苦い教訓を引用し、単純なアルゴリズムを膨大な計算力で拡張することの圧倒的な威力を解説する。大規模言語モデルは単なる自動補完のハックではなく独自の世界モデルを構築している可能性があり、人間の脳もまた同様に単純なもののスケールアップに過ぎないのではないかという哲学的な問いと、人間性の根本的な意味についての考察を展開している。
2026.05.31
LLM・言語モデル
AI研究

拡散LLMがついに登場 これがTransformerの終わりなのか

自己回帰モデルであるGemini、GPT、Claudeは、トークンを順次生成する仕組み上、本質的な遅延が避けられない。拡散モデルはシーケンス全体を並列生成することでこの課題を解決し、最大10倍高速な推論を実現する。Inception Lab...
2026.02.25
AI研究
Google・DeepMind・Alphabet

Genie3：無限の世界モデル、シュロミ・フルクターとジャック・パーカー・ホルダーとの対話

この動画は、Google DeepMindが開発したGenie3という革新的な世界モデルについて詳しく解説している。Genie3は、テキストプロンプトから瞬時にインタラクティブな3D環境を生成できるリアルタイム世界モデルであり、従来のゲーム...
2025.08.22
Google・DeepMind・Alphabet