Google NotebookLMがついにポルトガル語でのスライド生成に対応したニュースとともに、ニューラルネットワークの基本的な仕組みについて実践的に解説している。特にリアルタイム学習とGPTのような大規模モデルとの違い、学習率の調整やパラメータの重要性について、5つのニューロンだけの簡易シミュレーターを使って視覚的に説明している教育的コンテンツである。
Google NotebookLMがポルトガル語対応＆ニューラルネットワーク解説
おおみんな、どうやらGoogleがNotebook LMでポルトガル語のスライド生成を解禁したようやで。まさにそれや、今まで英語でしかでけへんくて、みんなそれに文句言うてたんや。音声はポルトガル語なのにスライドは英語っちゅうのがあかんかったからな。せやから今回はニューラルネットワークについてもちょっと話すで。
そういうことや。もしAIが好きでニューラルネットワークの重要な詳細を理解したいんやったら、例えばなんでリアルタイムで学習せえへんのかとか、そんなんをワイと一緒に来てくれたら説明したるわ。こういうもんがどう動くかも見せたるからな。ほな一緒に来い。そういうことや。さあ、みんな行こか。
いつもライク押してくれたみんな、チャンネル登録してくれたみんな、ほんまにおおきに。特にこのAIチャンネルをスポンサーしてくれてるチャンネルメンバーのみんなには感謝してるで。メンバーはいつも覚えといてや、インテリジェントエージェントの限定動画にアクセスできるねん。WhatsAppとの統合、PDF読み取り、MCP統合、その他いろんなことを教えてるし、先行動画にもアクセスできるんや。
マイクテストと新機能紹介
そやみんな、気づいたやろうけど、このちっちゃいマイクのテストしてるねん。これで録画する最初の動画や。実はこのマイクは外での録画用に買うたんやけど、チャンネルの新企画もいくつか考えてるねん。室内録画でもうまいこといくかどうか見てみよか。
ほんでな、ポルトガル語で喋るスライド付き動画生成をポルトガル語スライドでやりたかった人は聞いといてや。みんな文句言うてたのは、生成するときに音声はポルトガル語やのにスライドが英語やったことやねん。でもどうやらこれが解決されたようや。めっちゃおもろいやんけ。人工的推論についての考え方を本当に変えられる新しいAIモデルに頭から飛び込んでみようや。
HRMモデルの紹介
そやみんな、ついでにHRMについての動画も準備してるねん、あとで詳しく話すけど。HRMで一番大事なことは、これがClaudeよりもええ点数取れてるAIモデルやっちゅうことや。見てみいや、ここにClaudeがあって、ここにHRMがある。せやけどHRMは言語モデルやないねんで、みんな。
たった2700万パラメータの小さなモデルが、何千ものデータで訓練された巨大な有料モデルよりもええ結果を出すなんてどういうことや？そういうことやねん。こいつは超少ないデータで訓練されてるねん。でもHRMについてはもうちょっと後で話すわ。待っとってくれ、動画作るからな。めっちゃ面白い詳細があるねん。
NotebookLMでの設定方法
とにかく、ここで動画要約を生成するにはどうするかやけど、Notebook LMの中でやることの一つは、応答言語を設定することやねん。この応答言語で自分の欲しい言語を選ぶんや。例えばワイはブラジルポルトガル語に設定してる。
この全体設定で設定したら、動画要約をカスタマイズするときにはもうデフォルトでブラジルポルトガル語になってるねん。やから何もせんでも、再生ボタン押して生成頼んだら生成してくれるし、全部ちゃんとなってるわ。
これはめっちゃええわ、何もせんでええからな。音声要約でも同じや。カスタマイズするときにはもうブラジルポルトガル語になってる。音声要約するときには、短めにするかデフォルトの長さにするか選べるねん。もう巨大なポッドキャストもやってるで。
ニューラルネットワークの仕組み解説
せやけど、ニューラルネットワークについて何か作って、みんなでもうちょっと学んで理解しようや。LLMの一部がまさにワイがここで見せることと同じように動いてるねんけど、LLMはこれよりもっと複雑や。でもここで何が起こってるか理解できたら、LLMの論理的プロセス、特に学習の部分も理解できるようになるで。
覚えといてほしいのは、このインタラクティブなニューラルネットシミュレーターをGeminiで直接バイブコーディングで作ったっちゅうことや。テストしたかったし、チャンネル用の教材動画も作りたかったからな。ほな最初に見せるのは、訓練を始めることやねん。これが訓練し始めるで。
これらの時計みたいなやつが変わっていくのが見えるやろ。ここにあるこの針が動いてるねん。実際にマウスでこの針を動かして値を変えることもできるで。これがめっちゃ面白いのは、ニューラルネットが何をせなあかんかを学習してるからや。最終目標はこの針の最適な調整を見つけることで、ワイの総エラーを、見えるか総エラーが、可能な限り小さくすることやねん。でもBoby、このネットに何教えてるんや？
ワイはここにある4つの訓練データを使ってるねん。訓練データがあるのが見えるやろ？4つのデータを入れてる：0、4、-1、-3や。データが0以上のときは出力が1になって、データが負のときは出力が0になるねん。
これがネットに学習させたいことや。正の数と負の数を区別できるようになってほしいねん。冷蔵庫のセンサーみたいなもんで、温度が上がったら冷蔵庫をつけて冷やして、温度が0度以下になったら切るみたいなセンサーが作れるで。
ここで手動テストしてるねん、入力が0のときと入力が-1のときをシミュレートしてる。見てみいや、めっちゃ面白いやろ、0.91になってる、ほぼ1に等しくて1に近い。そしてここは0.06で、ほぼ0に等しいから0に近い。
これはネットが学習できてるっちゅうことや。なんでかっちゅうと、総エラーが0.0042やからな。せやからうまいこといってるねん。重要なことは、リセットするで。エラーが2400何かに戻って、訓練を開始するわ。覚えといてくれ、みんながニューラルネットについて言うのは、例えばGPTのPはPre-trainedの頭文字や。
最初に訓練して、それから使うっちゅう意味やねん。でも面白いのは、ワイが訓練してる間にネットが学習してて、ネットが学習してる間にもうテストしてるっちゅうことや。なんでここではリアルタイムで学習してリアルタイムでテストできるのに、GPTではできへんのや？めっちゃ基本的で簡単な理由があるねん。
ここはニューロンが5個しかないねん。この青い玉がニューロンや。5個しかニューロンがなくて、この矢印の重みをいくつか調整せなあかんだけやから、めっちゃ簡単で楽なんや。やから訓練して学習する、10,000まで行くネットが作れるねん。
10,000に達したら止まって、リアルタイムでテストもできるねん。一方LLMは、時には7000億パラメータもあることがある。時には1兆パラメータ以上のこともある。やからリアルタイムで訓練してテストして、こんなことはできへんねん。ここまでワイが言うてることが理解できたら、もしメモリを増やして処理速度も上げたら、GPTを含む今日のネットワークが将来いつかリアルタイムで動くかもしれへんっちゅうことが分かるやろ。
完璧やな。ここで作ってるネットの面白い詳細は、めっちゃ簡単なネットやっちゅうことや。ニューロン1個につき重み1個で、ちょっと違うねんけど、教育目的でそう作って、ニューラルネットについてちょっと理解して考えるためやねん。
例えば、ニューロンの数も調整できるし、入力1個と出力1個だけで、2個のニューロンだけ通って出力に行くネットも作れるで。まだ中学校の絵との関連が分からへんかったら、中学校のニューロンの絵を覚えてるか？こんな感じで、ニューロンに手足みたいなんがあったやつ？この絵をここに置いたら、これやねん。
これが細胞体や。これがここの入力につながってるニューロンの接続や。この重みがこの手足の強さや。そして後ろはあの小さい部分やねん。接続が1個だけで、これやねん。ここも同じや。これは別のニューロンや。この別のニューロンは手足が1本だけで、この他のニューロンの出力につながってる。
そして後ろは出力につながってる。そういうことが起こってるねん。学習って何や？学習はこの接続の強さを学ぶことやねん、ニューロンが持ってる。この手足の強さを学んで、信号を前に送るか送らへんかを決めるねん。やからみんながこの類推をするのは、ボリューム調整みたいなもんやと、ここにボリューム調整があって、あそこにもボリューム調整があるみたいな。
訓練の最後には、学習することはこの調整を調節できることやねん、上の方がええか下の方がええかを、でも1個のニューロンだけやなくて、いくつものニューロンのやつを。ここにもっとニューロンを追加できるで、もっと層を追加してこのもんをもっと複雑にできるねん。言うたように、画面に収まるようにした簡略版では、各ニューロンに1本の樹状突起、つまりニューロンの手足が1本だけやねん。
例えば学習率を見てみい、めっちゃ小さい率にするで、ほんまに小さくして、訓練開始するわ。見えるか？エラーが2、2、2、2、2、2、2、2、2、2、2、2、2、2、2、2、2や。つまり学習してないっちゅうことや、みんな。動かへんまま止まってる。
基本的に重みを変えることもできへん。そしたら面白いことに、ゼロを消し始めるで。そしたらこの数字が加速し始めるのが見えるで。行くで。1個消した、2個消した、3個消した、4個消した、5個消した、6、7、8、9、10、11、12消した。おっと、もう1個足そか。
11や。見てみいや、めっちゃゆっくり下がってるやろ？学習率が0.01やねん。これは学習が遅いっちゅうことや。やからもうちょっと小さい学習率にするわ。これでちょっと加速するのが分かるで。見てみいや、もう速くなり始めた。
エラーが下がって、テストがどんどん正確になってくで。ここでもう1個ゼロを取ったら、もっと速くなるで。そしたら聞きたくなるやろ：「この数字を無限に増やし続けたら、どんどん速くなるんか？」いや、めっちゃ大きい数字を入れ始めたら、エラーが増え始めるねん。あまりにも激しく調整しようとして、かえってもっと間違えるからや。
でも面白いのを見てみいや、時計がもう動いてるねん。そして調整すると、悪くしてエラーを増やすこともできるねん、ネットに学習させて別の道を見つけさせることで。これは各ニューラルネットがこれを完全に違う方法で設定するっちゅうことや。
調整する重みが4個しかなくても。ゼロにして最初からやり直したら、調整は別のもんになるで。面白いことに、学習してないのが見えるか？学習率0.1でも。でも調整をいじり始めたら、いつか学習し始めるかもしれへん。
まるで抜け出したみたいに、行き詰まりから出て答えを見つけ始めたみたいや。めっちゃ不思議やな。単純に重みをリセットして別の場所から始めるだけで、最初のよりもええかもしれへん別の解決策を見つけるかもしれへん。そんな感じや。
そしてニューラルネットの最も面白い魔法の一つがある。重みを違う場所で初期化するたびに、違う答えを見つけるねん。たとえエラーが0.05でも、違う訓練で、違う重みで、違う答えで、同じ総エラーでも、ある内部構造、内部の幾何学が違いを作るから、あるネットが他のより良いかもしれへん。
訓練の複雑さと実際の応用
やからChatGPTスタイルのニューラルネット訓練がめっちゃ難しいねん。何十億ものパラメータがあって、ネットは低いエラーで非常に近いエラーを持ってるかもしれへんけど、内部的に全然違うから、違う道で学習して違う道で効率に達したから、総エラーが小さいネットが実際にはもっと大きいエラーのやつより悪いかもしれへん。
時にはネットがあまり使わへん部分でめっちゃ良くなって、よく使う部分は良くなった方のネットで、エラーが大きい方やったりするからや。これは理解するのがちょっと混乱するけど、現実やねん。見てもらったら分かるように、入力はちゃんとしてて、きれいに学習してるで。
このプログラムをテストしたい、改善したい、もっと入力、もっと出力を追加したい、重みの問題を修正したい（基本的にニューロン1個につき重み1個やから）、もっとデータを入れてもっと面白いことをしたいんやったら。もう一つ面白いのは、このニューロンの中で起こってる数学を変えることができるっちゅうことやけど、それはもう別の動画の話やな。活性化関数を変えることでできるねん。
これは生物学的ニューロンが刺激の強さによって活性化したり、しなかったりするからや。こっちでは重みに基づいてニューロンを活性化するときに、欲しい結果によって数学を変えるねん。簡単に言うと、双曲線正接もシグモイドも短いネット、小さいネット用やねん。
そしてReLUとLeaky ReLUはもっとたくさん層を追加してニューラルネットがどんどん深くなるときのもんや。深さがここでは下に向かってるけど横やなくて、でも実際はこのニューロンは直列につながってるねん。やからこんな短いネットやったら、ニューロンを追加できるし、訓練中にニューロンの数も変えられるねん。
ニューロンをめちゃくちゃにすることもできるで、この機能を入れたからな。最終的に、訓練の最後に、例えばChatGPTで、停止基準に達してもう訓練しなくなったとき、訓練が停止されて、この重みの値を取って、このネットの構造を取るねん。
ネットの構造っちゅうのは、ニューロンがいくつあって、どう組織されてるかやねん。その構造と重みがあったら、例えばオープンウェイトモデルが作れるねん。やからみんながオープンウェイトについて文句言うとき、100%オープンなモデルは重みを公開するだけやないって言うねん。
重みだけ公開するとき、何を公開してへんか？訓練データを公開してへんし、ChatGPTで使ってるこの戦略と並行して使ったかもしれへん他の戦略も公開してへんねん。このネットは小さいネットやから、リアルタイムで使えて、訓練中にもっと情報を追加して、リアルタイムで訓練を洗練することもできるやろな。
でもオンライン訓練とか、オンザフライ訓練とか継続訓練って呼ばれるこの種の訓練は、めっちゃ珍しくて、ほとんど誰もこうやって作業してへん。普通は訓練して、この重みを凍結して、凍結した状態で使うねん。まさにこの重みをいじり続けるのが、例えばここは-6.45やねん。
この重みをちょっとだけいじったら、エラーが0.0019やったのが見てみいや。この重みだけ動かしたら、ネット全体が台無しになるねん、みんな。見てみいや、エラーが今0.179になってる。1個の重みをいじっただけでこれや。この詳細のせいで、ネットがどう働くか理解でけへんって言う人がいるねん。
理解の限界と今後の学習
みんなが言いたいのは、ネットがどう動くか分からへんっちゅうことやないし、この掛け算がどうかも分からへんっちゃうことやない。でもなんで-4.78がこのネットを訓練するかは言えへんねん。この特定のニューロンが他の大量のニューロンの全体的文脈で具体的に何を言いたいのか分からへんねん。この動画見てAIについてもうちょっと学んでくれたと思うで。
この練習もそれを生成するコードも動画の説明欄にあるからな。リアルタイムでインターネットで遊べるし、興味があったらコードを取って続けることもできるで。こんな動画を見続けるためにチャンネルをサポートしたかったら、メンバーになってくれ。
メンバーはインテリジェントエージェントの限定動画と先行動画にアクセスできるねん。そういうことや、ライクお願いします。おおきに！
コメント