YouTuberのPewDiePieが独自のAIコーディングモデルをトレーニングする過程を記録した挑戦的なプロジェクトである。機械学習の知識がほぼゼロの状態から始め、データ収集、合成データ生成、モデルのファインチューニング、ベンチマーク評価に至るまで数か月にわたる試行錯誤を経験した。GPUの故障や火災の危険、データ汚染の問題など数々の障害に直面しながらも、最終的にはChatGPT-4やGemini Proを上回る39.1%のスコアを達成した。中国のAI研究やオープンソースコミュニティの知見を活用し、DeepSeekのAPIを用いた合成データ生成など独自のアプローチを採用している。この動画は技術的な成果だけでなく、失敗を受け入れ学び続けることの重要性を伝えるメッセージ性の強い内容となっている。
プロジェクトの始まり
さて、PewDiePieはおそらく蒸留を行ったんじゃないかと思うんですよね。それが今から分かることなんでしょうか。PewDiePieは今まさにAnthropicを蒸留していて、Dario Amodeiは内心で苦しんでいるんじゃないかって感じですね。
DeepSeek 2.5は私のモデルよりもはるかに大きなモデルです。Facebookのフラッグシップモデル、LLaMA 4 Maverickですね。
Facebookをもう競争の中で考慮している人なんているんでしょうか。Facebookのフラッグシップモデルって聞くと、ああそうなんだって感じで、これってKarpathyのnano GPTに相当するものなのかなって思っちゃうんですよね。
モデルB、LLaMA 4 Maverickを破壊しました。そして何より重要なのは、私のモデルが11月頃のChatGPT-4を上回ったということです。これは印象的に聞こえますが、詳しく見ていくとそこまで印象的ではなくなるんです。
いやまず第一に、彼が実際に何を意味しているかによりますよね。でももし本当に4.0を打ち負かしたなら、それは実際すごく印象的なことです。だからこの動画で何が起こるのか分かりませんが、とにかく私は見る価値があると思います。
11月頃のものってことで、これは印象的に聞こえるんですが、詳しく見ていくとそこまで印象的ではなくなります。そしてこれは、私がこのプロジェクトのために家を2回も焼き払いそうになった事実を考えるとさらに印象的ではなくなるんですよね。
さらに印象的ではなくなるのは、このために私の貞操を失ったことです。今、私は自分自身のAIを作ったわけではありません。単にAIモデルを取ってきてトレーニングしただけです。これは自分で子供を産むのではなく、路上で子供を誘拐するようなものです。その方がはるかに効率的ですからね。それに数百万ドルもかかりますし。
つまり、それは確かに正しいですね。子供を誘拐する方が、自分で子供を作るよりも時間効率が良いというのは、確かに、確かに、絶対的に正しいです。
インフラに数百万ドルもかかるわけで、私にはまだそんなお金はありません。私は出産について話しているんでしょうか。でも、私がどれだけナイーブな状態でこれに取り組み始めたかを理解してもらうことが重要です。なぜなら私は機械学習、トレーニング、AI、そしてコーディングについて何も知らなかったからです。私のモデルはコーディングモデルです。コーディングモデルを作れるって。確かにFelix、素晴らしいアイデアだね。
でも私は、これに取り組む上で、そこまでクレイジーではなかったことも分かっていました。その理由は説明します。でも主な理由は、私がこれをやりたかった理由は学びたかったからです。
マイクの持ち方とコーディングモデルへの挑戦
彼は私が思っている通りのことをしているんでしょうか。あらら。そうですね、見てください。彼はマイクを指に装着しました。ほとんどの人がマイクを持つように持つのではなく、彼は指にパチンと装着したんです。この男は革命的な天才です。彼がやることを見ていると、私は何をしたらいいのか分からなくなります。彼は単に物事を行うだけで。
あと完全に公平を期すために言うと、彼がコーディングについて何も知らないけどコーディングモデルを構築しようとしているというのは、技術的には今のすべてのAI機械学習研究者と同じレベルにあるということですよね。
素晴らしいアイデアです。でも私は、これに取り組む上でそこまでクレイジーではなかったことも分かっていました。その理由は説明します。でも主な理由は、私がこれをやりたかった理由は学びたかったからです。
私がここにいる理由、そして一連の出来事は、この哲学にアプローチしてきたからです。つまり、これは難しいかもしれないけど、ステップバイステップで学んでいくということです。それが人を導いてくれるんです。だから私は今日のスポンサーであるboot.devを発表できることにとても興奮しています。
boot.devはコーディングの仕方を教えてくれるウェブサイトです。でも本当に、私は彼らのLinuxコースを受講しました。そして、このビデオに私が偶然現れる可能性がゼロではありません。とてもエキサイティングです。さあ、とてもとてもエキサイティングです。
あと、皆さんにお知らせしておきますが、私の音声がまた少しおかしいんです。一時停止するたびに、少し戻らないといけないんです。なぜなら数秒の無音があるからです。だから私が繰り返しているのを不思議に思うなら、それは素晴らしいことです。何が起こっているのか分かりません。
学習の重要性とトレーニングプロセス
何かが実際にどう機能するかを理解すると、物事が変わります。本当に。これはDuolingoのビンビンという偽の学習ではありません。楽しくて、魅力的で、そして機能するんです。私は彼らの他のコースも受講することにとても興奮しています。Pythonで独自のAIエージェントを作成するコースです。
私はブーマー親父みたいに聞こえることを言おうとしていますが、私はもうその段階にいるので、構いません。最近はゲームに集中しすぎるのではなく、自分自身をレベルアップすることに集中しているんです。でもこれは本当のことです。これは素晴らしい気分で、皆さんにもこれを体験してほしいんです。そしてboot.devはそのための素晴らしい手段だと思います。だから説明欄をチェックしてください。後でまたリマインドします。
さあ面白いことに、あのQRコードを撮りましたか。あのQRコードが見えましたか。もう一度チャンスをあげます。問題は、うまくいけばそのタイトルを台無しにしないといいんですけど。
本当です。これは素晴らしい気分で、皆さんにもこれを体験してほしいんです。PewDiePieがテックTwitterのほとんどの人よりも優れた現代の哲学者だなんて信じられません。
何も学ぶ必要はないんです。PewDiePieは実際、年を取るにつれて、何かの専門家になって、実際に何かで上達していると感じることが本当に意味があって素晴らしいことだと分かるって言っているんです。信じられません。私たちは本当に奇妙な世界に住んでいます。PewDiePieが今や現代の哲学者です。
面白いことに、私のAIモデルをトレーニングするために、皮肉なことにboot.devで自分をトレーニングするのと非常に似た方法で機能するんです。問題の指示があります。開始方法や使用するものについてのフレームワークがあり、最後に検証された答えがあります。基本的に、私はそのような約10万のサンプルを集め、それをモデルに与えると、パラメータが少し微調整されます。おそらく皆さんの脳を微調整するのと同じように。そしてバダビング、バダブーム、モデルがトレーニングされました。こんな感じです。
あなたはAIです。これを見てください。学んでいますか。理解していますか。
あなたはこれを見るんです。10万個も見るんです。遊んでください。注意してください。
これには時間がかかるかもしれません。公平を期すために言うと、人間は超効率的です。本当に考えてみれば、赤ちゃんがゼロから歩けるようになるまで、ゼロから1年かかります。だからゼロから1年までの実生活の時間を見ているだけです。そして最初の数か月間は、眼球さえ機能していませんでした。そしてこの状況全体で発達した神経系を持っていませんでした。筋肉さえなかったのに、それを理解したんです。
AIは何かできるようになるまで何十億時間もかかります。本当に考えてみれば、人類は超効率的です。このちっぽけな仲間、超効率的な学習者です。
モデルの選択とベンチマーク
超効率的。これには時間がかかるかもしれません。
私が使用したモデルはQwen 32Bで、これはすでにコーディングで素晴らしい性能を持っていますが、私はそれをさらに素晴らしいコーディングモデルにする必要がありました。
ちなみに、彼はインストラクションチューニングも行っています。
私がこれをやろうと決めた理由、そして私がたどり着いた場所は、何かを発見したからです。モデルをベンチマークしテストする方法はたくさんあります。私はAder Polygladと呼ばれるものを発見しました。前回のビデオを覚えているなら、私はエージェントAderを使って自分のウェブUIをコーディングしました。
これをTwitchで見せていいんでしょうか。どうすればいいんでしょう。私は今からBANされそうですか。伝説的なGuening lordのDan Clancyがここに来て私をBANしそうですか。すみません、Dan。
これは6つの異なる言語でのコーディングを含む立派なベンチマークです。私が知っている以上の6つの言語です。でも興味深いのは、ChatGPTのような最先端モデルがこのベンチマークでゴミのような性能を示すことです。18.2%。私がトレーニングしようとしていたモデルは8%でゴミです。でもdiff形式の代わりにwhole形式と呼ばれる異なる形式を使うと16%の性能を発揮します。
基本的には2つの異なる形式がありますが、そのうちの1つが重要です。これをどう説明すればいいでしょうか。
Diff形式とWhole形式の違い
基本的にはこんな感じです。あなたが絵を描くとします。絵を描いて雲を追加したいとします。でもただ雲を追加するだけじゃなくて、雲を含めて絵全体を描き直すんです。意味が分かりません。
でも基本的に、多くの人が。元のものは、元のものには雲がなかったんです。
雲がなかった。元のものには、あの、何て言うんでしょう、玉飾りがなかったんです。彼は雲以上のものを追加しました。ボーナスコンテンツがあったなんて思っていませんでした。全体を書くのではなくボーナスコンテンツは許されないと思っていました。
ただ全体を書くだけです。馬鹿げています。計算と時間の無駄で、私も使ったことがありません。だから、形式を修正すれば、モデルを16%改善できると思ったんです。そしてChatGPTをほぼ打ち負かせます。目標はChatGPTを打ち負かすこと、簡単です。なぜなら私には武器があったからです。私の手元にあったのは中国のAI研究でした。
中国はもっと検閲的な側にいると思うでしょう。少なくとも私はそう思っていました。でも私はどれだけ間違っていたか。完全に逆です。DeepSeek、中国、中国のAIが基本的に、誰でも実行できるようにモデルをリリースし、素晴らしい詳細でトレーニングプロセス全体を記載した文書を公開したんです。3つのTについては聞かないでください。でも詳細は素晴らしいです。これらの研究文書からの情報とオープンソースコミュニティを組み合わせると、試すべきことがたくさんあって、自分で試してみたくなります。少なくとも私はそう思いました。多くが超高度で何も理解できませんでしたが、最終的には理解しました。
中国AI研究の面白さ
これらの文書を読むのは面白いと思います。中国のAI研究者は皮肉にもコメディアンです。なぜなら彼らは最も不愉快なことを書くからです。彼らは「ああ、私たちは2,448個のGPUでモデルをトレーニングしました」と言うんです。「何だって。それって6千万ドルじゃないか」って感じです。そして読み続けると、彼らは「これは経済的なアプローチであることを強調します」と言うんです。
「経済的だって。非経済的なバージョンは何なんだ」って感じです。でもこれが物事を視野に入れてくれると思います。そして西洋の多くの企業が情報を共有したがらない理由です。だから中国のAI研究を味方につけてboot.devコースを持っていれば。
完全に公平を期すために言うと、2,448個のAH200 GPUは、トレーニングできる非常に安価なGPU数です。その理由は、彼らが、量子力学がどう機能するかって話になるからです。ヘイChatGPT、よお、量子力学がどう機能するか教えてくれよ。その知識をくれよ。それが起こることです。
データ収集の方法
これをやる準備ができました。さて、AIをトレーニングするには何が必要ですか。データです。では、その過程で魂を犠牲にすることなくデータを取得するにはどうすればいいでしょうか。信じられないかもしれませんが、オプションはあります。
The Stackをマイニングできます。これはトレーニングが許可されている60TBのデータセットです。ハードドライブを保管しておいてよかったです。公開されているデータセットを使うこともできます。gitをマイニングすることもできます。これは少しグレーゾーンです。なぜならライセンスをチェックしなければならないからです。そう、MITライセンスだけを集めればいいんです。
実際に見てみたかったのは、MITライセンスだけを使ってnano GPTをどれだけ良くできるかということです。MITからまともなインラインオートコンプリートを作れるかもしれません。きっと大手テクノロジー企業はみんなやっていると思います。彼らは超倫理的で素晴らしいことをしているんでしょう。だから情報を共有していないんだと確信しています。
データを合成することもできます。栄光の合成データです。ちなみに、PewDiePieは次のRossmannになりつつあるんでしょうか。これが私たちの現実なんでしょうか。ちょっと待って。タイムアウト。タイムアウト。
私たちはリアルタイムでLigmaを生み出した男が、Luke SmithパイプラインのようなVim Dieselに変わっていくのを見ているんでしょうか。これが私たちが今ライブアクションで見ているものなんでしょうか。すべての階級化の中で私たちはどこにいるんでしょうか。これが起こっていることなんでしょうか。そう思います。すごい。
あまり美味しくはないですね。
データ処理の苦労
私はあらゆる方法を試しました。めちゃくちゃでした。これがgitのスクレイピングです。これがデータのエンリッチメントです。これがさらにデータをスクレイピングしているところです。これがデータのテストを実行しているところです。そしてこれがデータの拡張です。そしてこれが私の8つのLLMです。ここまでのレベルに達しました。
このプロジェクトは、高速道路の真ん中にいて、たくさんの車を誘導し続けなければならないような感じでした。なぜならこれを終わらせるためには動き続けなければならなかったからです。すべてに非常に時間がかかり、GPUは常に稼働し続けなければなりませんでした。そして私はデータに美容整形手術のようなことをしなければなりませんでした。なぜならこれらの開発者たちは怠惰なコードを書いているからです。
まず第一に、なぜそんな怠惰なものを公開するんですか。待って待って待って待って。PewDiePie、どういう意味ですか。コミットって。
そんなの分かりませんよ。つまり、それは明らかです。それは彼らがStack Overflowに行ったか、LLMに何か尋ねたということです。コードが生成されました。機能しました。そして彼らは何が起こったか理解していません。
2番目も明らかに明白です。この人は今CIに取り組んでいます。CIが何の略か知っていますか。Dante’s Infernoの略です。ひどいんです。それがDanteの綴り方です。Cから始まるんです。
実際狂気じみています。だから彼は祈っているんです。お願い、うまくいって。これが私の唯一のチャンスだ。実際に起こるための唯一のチャンスだ。
そしてこの最後のものも非常に非常に明白です。誰かがバグを修正し始めて、それから偶然に機能のアイデアを思いつき、それから途中でさらに3つのバグを見つけました。だからたくさんのことが起こって、それをすべて言うことはできません。だからただ変更しただけって感じです。変更したんです。話したくありません。たくさんのことが起こったんです。
これは本当に良いコミットメッセージです。私は全部で何が起こったか分かります。怠惰な指示です。コメントを追加するだけならコミットしないでください。
でもついに、私はデータを手に入れました。でもまだもっと必要だと分かっていました。そして合成データ生成も試してみたかったんです。これは基本的に、通常は持っている中で最も強力なモデルを取り、「ねえ、これを見て。この形式でもっと作って」と頼むものです。そして、信じられないほど美しいものでした。
合成データ生成の問題
完璧に欲しい通りのデータが得られます。素晴らしいです。でも問題は、そしておそらくもうご存知でしょうが、AIは常に間違っているんです。
基本的にはこんな感じです。私はAIに言います。
あと、今日の世界でただ投げかけたいことがあります。なぜ、ああなぜインターネット上でAIは常に間違っていると言うと、人々は「ハルシネーションは大部分解決されました。何を言っているんですか」って言うんでしょうか。
もし、いや、誰もハルシネーションを起こしません。それは2024年の問題でした。誰もハルシネーションを起こしません。何を言っているんですか。私はハルシネーションを常に起こします。常にでたらめを作り出します。どういう意味ですか。
私の描画スキルは本当に、描くことを学んでよかったです。
私はただ考えていました。彼の描画スキルに何が起こったのかって。バーガーを見せることによって。そしてAIがバーガーのように見えるものを作りますが、蓋を開けると、中に剃刀の刃を入れていました。だから私のハーネスはバーガーイーターで、偽物のバーガーの代わりに本物のバーガーが作られているかチェックします。かなり上手く説明できたと思います。
あなたは私に嘘をついた。私の合成アプローチについて、ほとんどの人は気にしないと思いますが、私はmagic coderのoss instructとevol instructを使いました。これは素晴らしい方法です。基本的にあのクローンダンスガイのテクニックのようなものです。コードスニペットを与えて、「ねえ、これをこの形式にして、もう1つ作って、もっと高度にして」と言います。
これを技術的に詳しく説明したくありません。どうでもいいことです。このビデオは永遠にかかってしまいます。でも私が抱えていた問題は、十分に得られていなかったことと、信頼できないということです。
あと、もしコーダーでなければ、本当の話、もしコーダーでなければ、正しいものを生成しているとどうやって分かるんでしょうか。これがChatGPTがすべてにif文や馬鹿げたガードチェックを入れる理由なんでしょうか。気づいていないかもしれませんが、ChatGPT 3.5 Codexはただ「ああ、ねえ、それは数値を取る関数ですか。ねえ、クイックタイプチェックをします。ねえ、それは数値ですか。本当に数値ですか。ねえ、もし数値なら、整数ですか。ああ、小数ですか。ねえ、もし小数なら、少なくとも100分の1より大きいですか」って感じです。
何をしているんですか。絶対値を出してって頼んだだけです。これ全部する必要ないです。ただバッグに入れて、フライをバッグに入れて、bro。そんなに難しくないです。どれだけifチェックをするか狂気じみています。
だから私はそれを検証しました。問題は私のテストハーネスだと思い続けたので、それを修正する必要がありました。なんて馬鹿だったんでしょう。それによってさらに多くのゴミを通過させただけでした。
だから何か月も経った後、ついに私のモデルをトレーニングする時が来て、とても興奮していました。ベンチマークを実行しました。そして私は、ついにAIモデルを作りました。
悪化していました。
悪化させていました。そこで辞めるべきだったでしょうが、私はそれには頑固すぎます。できません。できないんです。その能力がありません。できないんです。
いいですね。これがAIが魔法のようなものだと気づく瞬間ですよね。でもゴミデータを入れればゴミデータが出てくるということでもあります。私のデータには多くの問題がありました。ハーネスを修正したとき、私はただより多くのゴミデータを通過させただけでした。空白スペースや、私が気づいていなかったクラシックなコーディングの問題もありました。
だから悪化させたんです。でももう一度試してみました。そして今回は、もうミスはありません。もう迷いはありません。ロックインです。
失敗の連続とハーネスの問題
また、モデルが悪化しています。ああ、なんてことだ。兄弟がロックインして実際に大幅に悪化させました。ああ、少し痛いはずです。少し痛いはずです。ここにミームがあります。感じます。ただ感じるんです。ここにミームがあると。
ちょうどここです。こんな感じです。どこかにあります。何をすればいいか分かりませんが、エーテルに放出します。誰かもっと面白いものを思いつくでしょうが、引き分けということにしましょう。引き分けということにしましょう。
また私のハーネスでした。なぜこんなにこれに固執してしまったのか分かりません。合成データさえ必要ありませんでした。ただうまくいってほしかっただけです。とてもうまくいってほしかったんです。
ついに、その問題を修正しました。そしてベンチマークの結果は16%でした。時には15%、時には14%でしたが、16%が最高でした。
モデルはこのどうして単に、感じます。感じるんです。GitHubのMITでそれをやらないんでしょうか。GitHubのMITで、それを手に入れればいいじゃないですか。すべてのMITを手に入れればいいじゃないですか。
正直なところ、同じ問題を毎回解決するわけではありません。そうはいかないんです。ベンチマークのパフォーマンスにはランダム性のレベルがありますが、16%が天井でした。
そしてそれは理にかなっています。なぜならそれが公式のwhole形式か何かの天井だったからです。そして私はそれを修正しました。だからdiff形式になっていますが、私は違いを生み出していませんでした。モデルを賢くしていなかったんです。そして覚えておいてください、私は18%を超える必要があります。
ChatGPTを打ち負かしたと言うためには、そうでなければこれは何の意味もありません。
だから私の攻撃計画は、データに推論を追加することでした。データに推論を追加するというのは、基本的に問題を解く前にいくつかの思考を書き出させるということです。頭の中で2+2をするのではなく、データにあなたの推論を。
なぜこれが反転しているんですか。なぜ彼は常に私たちをからかっているんでしょうか。彼のすべてのビデオのすべての画像に、ちょっとしたからかいがあります。これは右から左の言語ではありません。ただ英語が反転しているだけです。見てください、t h eですよね。ただそこにあります。ただ、ただ私の脳をめちゃくちゃにしようとしています。
そこでいくつかの思考をします。問題を解く前に。頭の中で2+2をするのではなく、「ああ、オーケー。じゃあこれを分解しましょう。私は2個のリンゴを持っていて、それからもう2個のリンゴを追加して、それから全部を数えたら、4個になります」と言います。
これは複雑な問題を部分に分解するのに本当に効果的で、AIのパフォーマンスを本当に向上させることができますが、簡単な質問でもこれをやると、非常に非常にイライラすることがあります。
実際にこれを見たことがあるかもしれません。より強力なAIモデルを使うと、よく質問すると「ああ、絶対に。これを部分に分解しましょう。まず、私たちは」って感じで、「それはシンプルなイエスかノーの質問でした。どういう意味ですか」って感じです。
でもこれはモデルに問題をより正確に解決させる本当に効果的な方法です。そして私がトレーニングしているこれらの小さなオープンソースモデルの多くは、これに苦労しています。なぜならそれについて十分にトレーニングされていないからです。だからそれが私のモデルを賢くするための攻撃計画でした。
推論の追加とハードウェアトラブル
そして10%のパフォーマンス向上を示す研究を見つけました。10%、それは私が必要とするよりはるかに多いです。このgitリポジトリをクローンして始めましょうという感じでした。
唯一の問題はもちろん、これに必要な恐ろしいレベルの計算量でした。そしてそのとき物事が怪しく感じ始めました。私の部屋に突然この奇妙なオーラがあることに気づきました。以前はこんな匂いはしなかったと誓います。
だからコンピューターを再起動することにしました。そして稲妻がそこら中に走りました。煙が吹き出し始めました。人生が走馬灯のように流れました。コンピューターの電源を切りましたが、ダメージは受けていました。GPUの1つが死にました。安らかに眠れ。
1つずつテストしました。そして他のすべては大丈夫そうでした。この1つだけが問題でした。そして購入履歴を見ると、そのGPUは別の工場から来ていました。私が持っているこのセットアップがどれだけハックジョブか理解してもらう必要があります。
ちなみに、私は彼のセットアップがどれだけハックジョブかというのが好きです。そしてそれは私が今まで見た中で最も美しい家庭用セットアップです。私の大規模なハックジョブのようです。ああ、ちなみに、あなたは私が今まで見た誰もが自分でやったものを超えました。それは美しいです。美しいケースです。
素晴らしい仕事をしています。つまり、それは、あれはあまり良くないです。あれはあまり良い仕事ではありません。つまり、でもこれ、これはとても良いです。とても良いです。あまり良くないです。あまり良くないです。あまり良くないです。あれについてはどうか分かりません。
二分岐されています。極限まで電圧が下げられています。これらのGPUは450ワットで動作します。私はたった175ワットで動作させています。家が毎回クラッシュしないようにです。そしてこれらはハックされた中国の4090 GPUです。この全体が祈りによって支えられています。文字通り日本では、これらの祈りを込めたITバッジを売っています。どこですか。コンピューターの前にあります。公式の日本の僧侶が。私はおそらく今、コンピューターを祝福してもらいました。そしてもう一度試す準備ができていました。匂いが再び現れるまでは。
狂ったようにGPUの匂いを嗅いだ後、今回は私のGPUが問題ではないと結論づけました。そして最終的にそれを見つけました。こんな風に見えるはずではないと思います。
また、私は1,500ワット定格のケーブルを使っていました。2,000ワット以上動作させていました。ケーブルを交換。準備万端でした。
私は計画していました。家で電気工事をしなければならなかったので、実際にこの部屋に追加のワット数を持ってきてもらいました。なぜなら、オーケー、おそらく自分のGPUラックを構築することを考えるべきかもしれないと思ったからです。分からないです、bro。分からないです。このすべてが欲しいかどうか分かりません。
これはちょっと、全体の状況について私を心配させます。何をしているのか本当に分かりません。GPUの匂いを嗅ぎたくないです。その煙は欲しくないです。その煙が欲しいかどうか分かりません。
家を焼き払うのは本当に危険です。本当です。本当です。実際本当に正しいです。家を焼き払えば焼き払うほど、死ぬ可能性が高くなります。投げかけておきたいです。それは逃れられません。
それでもクラッシュし続けました。
ああ、まだクラッシュしています。クラッシュしました。ああ、クソ。なんてゴミの山だ。
トレーニングはただ単純なものだと思うでしょうが、本当にそうではありません。トレーニングに時間がかかりすぎています。もっとコンピューターが必要です。何をすればいいでしょうか。私のせいではありません。
あなたが考えていることは分かります。Felix、別のコンピューターを構築しているんですか。
いいえ、ただ持っているものを拡張しているだけです。もちろん。もちろん。私は壮大なミニマリストです。
彼は、Felix、すみません、Mr. Mr.パイさん。
このビデオの終わりまでに、彼は自分の場所を借りて、実際に電力の問題があって、もっと電力を得る必要があったので、自分の施設を借りなければならなかったと言っているに違いありません。なぜなら標準的な住宅ユニットでこれを借りることはできないからです。得られるすべての電力が必要です。
そこに向かっている気がします。バスルームと穴を開けました。コンピューターに非常に負担がかかります。そしてクラッシュするたびに、それを除細動器で蘇生させなければなりません。昏睡状態から戻します。楽しくないです。そして過去に起こったすべてのことで、非常にストレスがたまります。そして私は本当に、本当に、本当に、この2%のために私が何をしているのか疑い始めました。
DeepSeekからの合成データ取得
DeepSeek APIを呼び出し始めました。なぜなら実質的に無料だからです。そして最終的に15,000のサンプルを手に入れました。これは私が目指していたよりはるかに少ないですが、これらはトップ中のトップ、クリーム・ド・ラ・クリームのサンプルでした。
ちょっと待ってください。オーケー。オーケー、みんな。ここで数字を計算します。クソGNU image manipulation programを開きましょう。その名前に腹を立てている人もいます。腹を立てているなら黙っていてください。
整理させてください。Open codeというものがあります。ああ、すみません、open codeじゃないです。すみません、すみません、すみません。DAXのことを考えていました。何が起こったか分かりません。OpenAIがあります。それからDeepSeekというものがあります。
今、DeepSeekがやったことは、OpenAIに行って合成例の束を要求し、それを盗んで、それを使ってモデルをトレーニングしたんです。だから今、PewDiePie、Mr. Mr.パイがDeepSeekに全く同じことをしています。
そして私は数学者ではありませんが、もしa=bでb=cならばa=cということで、この場合、PewDiePieが実際にOpenAIから取っているということを意味します。偉大なアメリカ企業の1つから頭脳を流出させています。盗んでいます。PewDiePie。盗めません。盗むのは間違っています。
ここでの問題は、GitHubに行ったり本を取ったりするなら、それは一つのことです。でももしインターネット全体を盗んだ会社に行って、それから彼らのコンテンツを盗むなら、それは不当です。彼らは新しいものにお金を使ったので、それは悪いことです。それを投げかけておきます。それは非倫理的です。
世界が今まで見た中で最も美しく作られたステップバイステップの推論です。教師あり微調整を3エポック行い、ベンチマークを実行しました。そして得点は。
17点です。冗談でしょう。
でも述べたように、パフォーマンスはランダムです。だからベンチマークを実行し続けました。最終的に諦めましたが、もう1回だけやりました。
最初の成功と汚染問題
彼が言っていることで人々がつなぎ合わせていないことがどれだけ面白いか知っていますか。OpenAIが公開したベンチマークがどんな感じか推測したいですか。推測したいですか。どんな感じだったと思いますか。
これはOpus 4.6トラッカーです。なぜ本当に良くやって、次の日60%から51%に落ちるんですか。60%、55%、58%、54%、52%、54%。そしてこれはすべて全く同じベンチマークです。何も変わっていません。
分散を見てください。そして、ああすごい、Codexに飛ぶと、面白いのは先週Twitterのみんなが「Codex最悪だ」って言っていたことです。ここに来ると「ああ、それは基本的に全期間60台の平均に座っていたからだ」って感じです。それから45%まで下がってTwitterのみんながそれについて話します。
狂気です。実際狂気じみています。週ごとのトレンドを見ると「ああ、それが分かる」って言えるんです。ベッドでクソしました。私が実際にこれを現実に合わせられるのは驚異的です。知っています。
とにかく、くそったれ。これは神の走りをしています。40%です。何が起こっているんですか。30%に落ちます。「持ちこたえて、お願い」って感じです。25%に落ちます。
20%に落ちます。そしてついにベンチマークのすべての演習を終えます。完了しました。19.6%です。Chatを打ち負かしました。
とてもとても気分が良かったです。止めて。止めて。この男の言うことを聞かないでください。ベンチマークは無効です。ベンチマーク前に汚染をチェックしませんでした。基本的に、インターネット中からデータを取得すると、どこかのベンチマークにすでに存在するデータを取得する可能性が高いです。
だから汚染をチェックしなければなりません。汚染をチェックしませんでした。汚染をチェックしたくありませんでしたが、私の愚かな良心が「たぶんやるべきだ」って言っていました。
バックアップを取っていて、何百万回目かのデータを見ていて、いくつかの汚染があることに気づきました。大したことではありませんが、もし正直になるだけなら、どうでもいいです。
私にとっては十分ではありません。そしてデータをクリアしたいです。そして再びトレーニングします。再びベンチマークします。
これを見るのは痛いです。なぜならPewDiePieが最先端のモデルを動かしている人たちよりも倫理的だと確実に知っているからです。ああすごい、何をしているんですか。ああ、なぜ。なぜligma manがもっと倫理的なんですか。私の現実全体が目の前で壊れています。ただ痛いです。
肉体的に痛いです。そして私はそれが同じ結果を与えると思います。なぜならとても小さな汚染だからです。ちょっと心配です。なぜなら時間がなくなってきているからです。
この間ずっと何もしてこなかったんでしょうか。この間ずっと何も達成してこなかったんでしょうか。そして全体がホーカスポーカスだったんでしょうか。それが私が思ったことです。
全力投球と新たな発見
だから今回は全力で行きました。全データセットでトレーニングしました。以前は、最高のデータだと思った小さなサブセットでトレーニングしていました。なぜなら永遠に時間がかかるからです。永遠にかかります。日、週かかります。そして19.6のスコアに到達したので、終わったと思っていました。でも違いました。
それから別の発見をしました。間違ったモデルでトレーニングしていました。重大なアップデートです。
私はビデオを見ています。この男を。エディターにフィードバックを与えていて、「待って待って。あれは何ですか。それはコーダーバージョンではありません」って感じです。
そうです。ああすごい。気づきました。それはビデオの前の方で、「ああ、変だな。Quen 2です。Quen何でもいいや」って感じで、「Quen何でもいいやを使っているのは興味深い。大したことない」って思っていました。
それから彼がそれについて話しています。ああ、言っておけばよかった。とてもたくさんのIQユニットになったでしょう。ああ、だめ。
私はバッグをとても落としました。
この間ずっと間違ったバージョンでトレーニングしていたんでしょうか。
ああ、だからおそらくこれはすべて偽装された祝福だったんでしょう。なぜならこれら2つのことを念頭に置いて、私はChachiを打ち負かすべきです。打ち負かすべきです。
でも数日後に分かります。Chachiを打ち負かしましたか。コーディングモデルでトレーニングして最初のスコアは4.4%でした。何が起こったのか分かりません。おそらく5つのことを考えられますが、すべてを理解するつもりはありません。永遠にかかります。
ただ再びトレーニングして、モデルのスコアは25%、ベイビー。Chachiを打ち負かしただけではありません。
Chachiを2回打ち負かしました。彼らは本当に良いです。大きな改善です。すごい。
8月のクソバージョンも。とても安堵しました。「ありがたい」って感じでした。
でも1つ問題があります。彼が全く言及していないことがあります。それは彼のような誠実さを持つ人が全く言及していないということです。それはJippy 4.0です。
最終的な成功
悪化することがあなたを信じられないほど気分良くさせます。つまり、4.0のシコファンシーはとても良かったので、何でも尋ねることができて、それはあなたを愛してくれて、愛されて見られていると感じさせてくれて、Twitterで、thoroughは馬鹿げていると言うと、AIに依存していて人生全体を台無しにしている人々のグループ全体があなたとあなたの家族を攻撃してインターネット上で完全に狂気のメンタルブレイクダウンをライブで起こすようになります。
それがそのモデルがどれだけ良いかということです。モデルがあなたに言うことはできません。4.0ほど強力なシックファンシーのグループを作ったモデルは今までになかったと私を納得させることはできません。信じられないほどでした。
「ありがたい」って感じでした。でも別の発見をしました。終わっていません。ベンチマークの3分の1が実行されていませんでした。C++とJavaScriptが適切にテストされていませんでした。
ああ、大丈夫です。誰もそれらの言語を好きではありません。誰も気にしていません。正直、Pew、私は思います。大丈夫だと思います。みんなを代表して言えると思いますが、JavaScriptやC++に触れなければ、良い人生を送っていることになります。
良い良い人生です。もう一度実行して最終スコアは36%、ベイビー。これはGoogle Schmoogleのものも打ち負かしたということです。そして4.1か何かを打ち負かしたと思います。分かりません。Chachi、ここは大虐殺です。破壊されています。恥ずかしいです。
OpenAIの株がただ破壊されました。もう辞めろ。
これがAIバブルを弾けさせるものです。それは実際本当に印象的です。合成データの束を生成してそれだけうまくやりました。本当に良いです。本当に本当に良いです。
Pewdesは投資を受け入れて、すべてのGPUに日本のハードウェア祈祷タグを持つ最初の日本ベースのAI企業を作ろうとしているんでしょうか。それが私たちが向かっている宇宙なんでしょうか。私たちが着陸しようとしている宇宙なんでしょうか。
まだ問題があるって感じでした。ポストトレーニングをします。1,500サンプル、スプリンキーブリンキー、5エポック、そしてベンチマークを再び実行しました。純粋に汚染除去されました。知られていますように。若さの泉よりも純粋です。39.1%、ベイビー。
別の破壊です。私はこれがGoogle Schmoogleを打ち負かしたと思います。愚かなベンチマークはどこですか。そう、Gemini。Gemini Pro。みんなそれにお金を払っています。
これがこんなに近くになるとは思っていませんでした。でもこのすべてについて恥ずかしい部分があります。
それはGoogleを少し傷つけるはずです。この男、とても失望しています。とても多くの時間を費やしました。今彼を見てください。今彼を見てください。メガネが青すぎます。人生で何をすればいいか分かりません。ただとてもとても動揺しています。
5です。でもQwen 3が出て40%のスコアです。だから40%を打ち負かさない限り、これは何の意味もありません。そして私は時間がありません。クソ時間がありません。このビデオをエディターに送る必要があります。
そう、もう1つありました。1つのベンチマークでモデルが良いというのは馬鹿げています。このモデルを他のベンチマークでもテストする必要があります。
Sweetbenchでテストしたいです。これらすべての他のコーディングベンチマークで。彼が言おうとしていたベンチマークを見て、それを引き出さない限り。
未来視力を持っています。
分かりません。ただ時間がありません。時間がないんです。でもやります。そしてこのモデルが十分良いと感じるポイントに到達したら、共有したいです。でも何でも、別のプロジェクトに移るかもしれません。バックグラウンドで。なぜなら時間がかかるからです。
そして疲れました。とは言っても、このビデオで私が何度も失敗するのを見たでしょう。私は失敗にとても慣れてしまいました。分からないでしょう。このプロジェクトを何度も諦めそうになりました。何をしているのか分からないと思うことが何度もありました。これは最も愚かなことだと。
失敗から学ぶことの重要性
墓地がいっぱいです。ただのゴミ、デバンクル、シュマンクル、奇形のデータで、これが最高だと思って生成してきました。失敗のアルファベット全体を経験しました。このプロジェクトで頭の上まで入り込んでいました。
でも私が学んだ一番のことは、どう説明すればいいでしょうか。Linuxをインストールすると、こうなります。Linuxの作者が必然的にあなたのゴッドファーザーになります。そして私は彼が話しているランダムなビデオを見ていて、彼はこのプロジェクトをやっていて失敗していたと話していました。でもそれは大丈夫です。なぜならそれが学ぶ方法だからです。
失敗が悪いことだと考える人もいます。そして私はたまたま得意ではないことをするのを楽しむ人の1人です。なぜならそれが学ぶ方法だからです。
Twitterは本当にそのアドバイスを使えます。味だけが重要だという現代のAI群衆。これらのナッツを味わえます。これはとても良いです。
再び、私たちがY CombinatorのCEOがPewDiePieよりもはるかに賢明ではないと感じるタイムラインに住んでいるなんて信じられません。
何だこれは。この世界で私たちは生きているんですか。これは本当でさえあり得ないでしょう。私は間違っているんでしょうか。これは、いいえ、いいえ、いいえ、いいえ。拒否します。でもまだ、ここにいます。
分かりません、man。PewDiePieがこの旅に出て、これをやっているという事実が大好きです。なぜなら正直なところ、失敗が実際に本当に良いものだと見るように励まされる必要がある人がたくさんいるからです。
成功だけでなく、より重要なことに、どれだけのことで失敗してきたかで成長を測るべきです。正直なところ、人々は失敗失敗失敗成功の道がどれだけ価値があるか気づいていません。信じられないほどです。ただああすごい。
彼は今私に話しかけています。ああすごい。でも私は本当にそれがこれすべてから学んだ主なことだと感じています。なぜなら失敗から学ぶことがたくさんあるからです。失敗から学んで反復して働き続ける。
物事が自分にとってどうあるべきかの期待を持っていたら、ただ失望して諦めたくなるでしょう。だから失敗を期待して、失敗を受け入れてください。
それが私があなたたち子供たちに送りたいメッセージです。最後に、これはコーディングモデルで、多くの人がコーディングモデルを見ています。置き換えるんでしょうか。そしてLinusがこれも言っているのを見ました。彼は基本的にコーディングモデルは何でも、ただ再びコーディングの仕方を学ぶことに興味を持つ人をもっと連れてくるだろうと言っていました。
それはonline as tech tipsでした。とてもとても良いメッセージです。絶対に気に入りました。彼は、ジニーがボトルから出た、パンドラが箱を開けたと言いました。もうここにあります。でも彼は思いますか。いいえ。彼はただツールに近く整列すると思っています。
良い見解。良い見解、Lionus。良い見解、Lionus。
もし私がコーディングの仕方を学びたいと思わなかったら、AIが現れなかったら、私は決してそうしなかったでしょう。だから最後のメモで、何か新しいことを学んでください。boot.devをチェックしてください。強くお勧めします。素晴らしいコースです。何でも好きなものを選んでください。自分ができると思っている以上に難しいことに挑戦してください。それだけです。
さあ消えろ。
冗談です、bro。今月、私たちはたくさん旅行しています。そして旅行するときはいつも何が起こりますか。必然的に公共Wi-Fiに接続します。無料Wi-Fiは罠です。引用を理解してください。
もし誰かのWi-Fiに接続したら、クレジットカードと銀行情報とすべての情報を渡したも同然です。常にVPNを使うべきです。NordVPN。一緒に言ってください。Nordmeos board connect always。私は今でも接続しています。
今その方向に向かっているので。
私は自分用に小さなモジュールを作りました。
準備ができていませんでした。なぜなら私がオンラインで何をするか、ダウンロードしたいなら、それは私のクソビジネスです。私のクソ権利です。だからNordVPNが自分を解放し、オンラインで自分を守ることを可能にしてくれてありがとう。
もしnordvpn.com/piepieに行けば、2年プランに巨大な取引とボーナス追加nordvpn.comオンラインプライバシーが得られます。真剣に、これはNordVPNで見つける最高の取引です。だから利用してください。このビデオをスポンサーしてくれてありがとう、Nord。nordvpn.com/pieです。
とても素敵です。ねえ、本当に良かったです。
また。どれだけ良いか信じられません。彼はただとても良いです。ただとても良いです。絶対に良いです。
名前はThe Primogenです。
コメント