幾何学的表現

Google・DeepMind・Alphabet

Googleの警告 文脈内学習の表現は不活性である

Google DeepMindの最新研究が、大規模言語モデルにおける文脈内学習(ICL)の根本的な問題を明らかにした。モデルは完璧な幾何学的表現を内部に構築できるものの、その表現を実際のタスク解決に活用することができないという「不活性な表現...
AI研究

Googleの次世代AI研究 次トークン多様体を超えて

Googleが次世代AIモデルに向けて重要な発見を発表した。従来のトランスフォーマーアーキテクチャにおける線形表現仮説は、自然言語の流れには有効だが、推論タスクでは崩壊することが判明した。Google DeepMindとプリンストン大学の共...