AI研究 全てのRNNはこの一つのアイデアから生まれた
ニューラルネットワークの根本的な課題は時間概念の欠如である。従来のフィードフォワードネットワークは各入力を独立して処理し、文脈や記憶を持たない。この問題を解決するために登場したのがリカレントニューラルネットワークであり、その進化の過程で様々...
RNN
AI研究 
AI研究 AIの記憶問題は解決された！
本動画は、Kimiチームが提案した新手法 Attention Residuals を軸に、現行AIが抱える「長く深く考えるほど初期の情報を見失う」という記憶の問題を解説する内容である。従来のTransformerや残差接続の限界を整理しつつ...
AI入門 自然言語処理入門(セッション#10)
本講義は自然言語処理(NLP)の基礎から最新技術までを体系的に解説したものである。コンピュータが人間の言語を理解するために必要な一連のプロセスを、数学的な詳細に立ち入りすぎることなく直感的に説明している。トークン化や正規化といった前処理から...
AIの歴史 Transformer解説:AIを永遠に変えた発見
現代のあらゆる最先端AIシステムの基盤となっているTransformerアーキテクチャの誕生と発展の歴史を辿る動画である。1990年代のLSTMによる勾配消失問題の解決から始まり、2014年の注意機構を備えたSeq2Seqモデルの登場、そし...