この動画では、AMD MI300Xサーバー上で動作するOpenAIのGPT-120BオープンウェイトモデルのテストがHugging Faceスペースで実施される。投稿者はまず、AMD MI300XとFrameworkの300シリーズの違いを整理し、MI300Xが192GBメモリを搭載するサーバー向けGPUアクセラレータであることを説明する。その後、複雑な論理パズル（エレベーター問題）を用いてモデルの推論性能を評価し、8ステップが最適解である問題に対して18ステップの解を出力するという結果を得る。精度面では最適解に届かないものの、AMD環境での処理速度は印象的であったと評価している。
AMD MI300Xによる推論テストの実施
やあ、みんな。Hugging Faceに行ってみると、AMDもあるんや。AMDは会社やけど、ここでめちゃくちゃ美しいモデルを公開してくれてるんや。お前らに「ここのスペース見てみろ」って言われたから見に来たんやけど、ここではAMD MI300X上で動いてるんや。ここにオープンシステム、つまりOpenAIのオープンウェイトモデル、GPT-120Bがあるんや。お前らが「これ見てみろ」って言ったからな。じゃあ見てみよう。
ちょっとだけ言わせてもらいたいことがあるんや。視聴者の何人かが何かを勘違いしてるみたいやから。300Xってのは全く別物やからな。見てみろ。AMDのここ、Instinctの GPUがあるんや。350やない。ちょっと待て。これやない。300はどこや？300はここや。ここにInstinct 300がある。MI300や。
ほんで、ここにX。これや。これは俺の理解では純粋にサーバー用やと思う。データシート見てみろ。これが俺らが話してるやつや。そうや。つまり俺らが話してるのは、GPUアクセラレータで128じゃなくて192GBのメモリってことや。これは美しいな。でも俺らが同じもんについて話してるかどうか確認するために、GPU仕様を見てみよう。
美しいな。ここに全部のデータがある。GPUメモリ192GB。そうや。だから300Xについて話してるなら、これが俺らが話してるもんやと思うし、お前らの何人かが「おい待て、俺らが話してるのはこれやないやろ」って思ったのも知ってる。いやいや、フレームワークやで。モジュール式で修理可能なナイスなシステムに行こうや。300シリーズもあるで。385が32GB VRAM、395 Plusが64か128GBや。Windows 11で動かせるし、Linuxディストロもある。Windowsでは128のうち約96GBを専用VRAMとして使えるんや。
フレームワークは俺も自分で考えてるんやけど、ここにめちゃくちゃ興味深いクラスター解決策があるんや。モジュール式やから1つから始めて、それから複数台にできるんや。ナイスやろ。ここでユーロが見えるし、俺は色んなボードを見てるんや。ここからも始められるで。そうや、Max 300シリーズも見えるけど、これはさっき話そうとしてたもんとは違うで。
Framework 300シリーズの紹介
ここに300シリーズがあって、385は1,000ユーロ以下、64と128GBや。それから128GBだと2,000ユーロに近づくで。1台でな。サーバーアーキテクチャにこれを使えるってのはナイスなアイデアや。でもお前らに理解してもらいたいのは、違いがあるってことと、俺はここで思わん。
そうや、自分でビルドできるで。モデル式で美しいかどうか。俺はこのアイデアがめっちゃ気に入ってる。お前らがもうフレームワークでこの特定のメインボードの経験があるなら、なんで短いコメントを残さんのや。「はい、推薦する」とか「いや、推薦できん」とか言ってくれ。このコミュニティからフィードバックが欲しいんや。
でも俺らが興味があるのは、今ここのAMD MI300XからのGPT-120Bや。これがサーバープラットフォームや。申し訳ないけど、ちょっと混同があったと思うんや。どれくらい良いか見てみよう。NVIDIAで動いてるんやないで。想像できるか？今AMDで動いてるんや。チェックしてみよう。やってみよう。
GPT-120Bによる論理パズルテスト
追加入力をするで。オーケー。システムプロンプトはただの便利なアシスタントや。これは素晴らしい。温度はAMDがここでデフォルト設定してる。デフォルト温度は触らへん。便利なアシスタント用にここに入れて、ちょっとした備考を付けるで。ちょっと追加するんや。「お前は複雑な論理パズルを解く専門家で、因果推論に長けてる。段階的に進んで、それぞれの可能性、それぞれのプロモーションを探索して、最大限の力を発揮して、最大キャパシティで同期して解決に到達するまでやり続けろ」って言うんや。
見ての通り、これより簡単なことはないで。ここに俺のテストを入力して、「行け」って言うだけや。ここで俺らはリアルタイムにいるんや。これが他のLLMでやったことがあるテストや。これは俺の最新テストやないし、ここに参考ベンチマークがあるから、他のモデルがこの特定のテストでどうやってるかが見えるで。
見ての通り、俺らのタスクは分かってる。エレベーターで0階から50階まで行かなあかん。エレベーターの限られたボタン押しセットで特定の機能を定義してるし、エネルギーも限られてるんや。上の階を開けるのにコードカードが必要で、タスクは簡単や。0階から50階まで十分なエネルギーで到達するための最短パス、最小ボタン押しセットを見つけるんや。オーバーシュートしたらあかん。俺が与える指示を全部守れ。ちょっと複雑で、ちょっとした因果推論が必要や。
でもとりあえず、結果がどうなるか見てみよう。焦点はハードウェアにあるんやけど、もちろん俺らはここでOpenAIのオープンウェイトモデルを実装してるんや。最初の実行で見つけられる最良の解決策が何か見てみよう。トークンを見なあかんな。見ての通り、俺らは推論プロセスの深いところにいるで。18回押しや。オーケー。
テスト結果の分析
フラグサマリーで総ボタン押し回数がでた。覚えておけ、これはOpenAIのオープンウェイトモデルからや。GPT-5とは何の関係もないで。これや。結果が出たで。エレベーターは15階まで行った。18回のボタン押し。十分なエネルギーとトークンで終了してる。3つの秘密コードカードを保持してる。ランダムトラップを一回も発動せずに、全てのルールに従ってる。美しいな。
でも、ここの18回のボタン押しは、最高のモデルが達成できるものには全然近くない。俺の指示を全部守った有効な解決策を実際に見つけたことを示してくれ。AMDにしては悪くないって言わなあかんな。全然悪くない。覚えておけ、これは300X、Instinctシリーズや。ラップトップシリーズの300 U Ryzenシリーズ（これもAI実装に特化してる）と混同したらあかんで。
これが解決策や。完全なステップバイステップの実行、準最適や。これは正しくないけど、OpenAIのオープンウェイトモデルにしては気にしない。これが解決できる複雑さの種類や。でも、AMD実装でのスピードは印象的やったで。めっちゃナイス。
温度設定の調整と最終評価
ユーザーの何人かが「温度を絶対零度まで下げたらどうなる？」って聞いたんや。分からん。やってみよう。リトライはあるか？そうや、リトライボタンがある。見てみよう。意味があるかどうか分からんけど、テストしてみることはできるで。これがHugging Faceがここでスペースを生成した理由で、AMDが俺らにMI300Xソリューションがどれだけ素晴らしいかを見せたいんや。スピードは絶対に印象的やで。素晴らしい。
残念ながら、技術的実装についてはこれ以上詳しい情報はないんや。でもこれがAMDから得られるパフォーマンスなら、この解決策には絶対に満足やで。3つの異なるコード。そうや。最終回答。18回押しのシーケンスは完全に有効や。そうや。説明があるか？そうや。
全ての特別階ルールが守られてる。オーケー。そして右側に18ステップが詳細に説明されてるで。何が起こったか？なんでこうなったか？複雑さのパフォーマンスでは完全に失敗したのが分かるで。最良の解決策の1つは18ステップやなくて8ステップやからな。でも気にしない。これはOpenAIモデルのGPT-120Bやから。でもハードウェア側の実装については絶対に魅力的やと思う。
俺にとってAMDハードウェアソリューションは絶対に素晴らしく動作してる。スピードは絶対に良くて、クラウド経由で作業できるで。そうや、もちろん俺もローカルAMDハードウェアを持つことに興味がある。ROCkかROCmの経験があるなら、この動画に短いコメントを残してくれ。そうやなければ、次回会おうや。
コメント