11,839 文字
これは非常に印象的です。私がこれまでに見たことのないものですね。他のどのモデルもこの問題を解くことができませんでした。最初の試みでこれを達成したのは、本当に素晴らしいことです。コードを見てみると、大まかな仕組みは理解できますが、深く考える必要があります。これは本当に印象的です。競合他社からの圧力でOpenAIが「まあ、もう秘密は漏れているんだから、思考プロセスを見せてやろう」と考えたのかどうかはわかりませんが、これは思考の要約ではなく、まさに正確な思考プロセスのように見えます。ここで見られるのは、OpenAIの戦略における大きな転換です。
みなさん、こんばんは。Dr Noです。収録時は金曜の夜ですが、おそらく土曜日に公開することになるでしょう。OpenAIがついにチャットGPT o3 miniとo3 mini Highをリリースしました。Highの方は高帯域版だと思われます。メインバージョンのo3はまだリリースされていませんが、この両方を私の基本テストスイートで試してみたかったのです。
o3 miniとo3 mini Highの2つを一度に見ることができます。o3 miniは高度な推論が速いと謳っているので、レイテンシーをテストして、どれくらい素早く応答できるか確認する必要があります。そしてo3は、コーディングとロジックが得意だと書かれています。
o3 miniでテストを行い、基本的な質問については、o3 mini Highではテストしないかもしれません。o3 miniがうまく機能すれば、簡単な質問で失敗した場合にのみHigh版でテストすることにします。まずは簡単なシステムプロンプトを与えてみましょう。スマートで役立つアシスタントになってほしいので、これを両方に設定します。
では、私のアヒルに関する質問から始めましょう。5羽と3羽の両方が可能なので、今回は「最小」という言葉を追加しました。最小は3羽です。ミニモデルで推論が働いているのは非常にクールですね。ちょうど3羽のアヒルで、良い結果が出ています。推論は比較的シンプルでした。
o3 mini Highはテストしないと言いましたが、どの程度考えるのか、あるいはそれほど考える必要がないと判断できるのかを確認してみたいと思います。明らかに速度は遅いですね。手がかりを組み合わせているようです。これはかなり遅いモデルですが、それでも良い結果を出しています。それほど長く考えなかったようです。
両方とも完全に正解で、これは比較的簡単な問題であるべきですが、以前のモデルでは間違えることもありました。次は少し難しい論理問題です。スーザンとリサがテニスの試合をすることにしました。1試合ごとに1ドルを賭けました。スーザンは3回勝ち、リサは5ドル獲得しました。何試合プレイしたでしょうか？罠は8ドルだから8試合と言いそうになることですが、正解は11試合です。
o3 miniはとても素早く正解を出しました。両方でテストすることにしましょう。主にo3 miniがHighよりどれだけ速いかを見たいからです。Highの方が明らかに時間がかかっていますね。はい、11試合が正解です。o3 miniは明らかに考える量が少なく、この小さな思考と結論だけで答えを出しています。o3 mini Highはこの問題についてかなり多く考えていることがわかります。
次は興奮しますね。o3がo3 miniより優れているかもしれない問題の1つです。Pygameを使用して古典的なスペースインベーダーゲームをPythonで書いてください。スコアリング、ゲームオーバー条件を含めてください。PNG等のグラフィックスは使用せず、色付きブロックのみを使用してください。
とても素早く考えて、素早くゲームを作成しました。まだ出力中ですが、非常に速く書いています。合理的な長さに見えます。VSCodeにコピーしてテストしてみましょう。173行です。では、プレイしてみましょう。うまく動くことを願って…おお、素晴らしい！
敵の動きはしっかりしています。いつもそうですが、一度に1発しか弾を撃てないのが難点です。動きがあり、スコアシステムもあります。待ちませんが、一度に複数の弾が撃てないのは少し煩わしいですね。でも、これは十分に適切だと思います。そして、非常に素早く作成できました。
では、o3 mini Highはもっと良いものを作れるでしょうか？o3は素晴らしい出来でした。敵の数は少なめで、射撃がもう少し速く、複数の弾を撃てれば良かったですが、これはコーディングが得意だとされているので、どうなるか見てみましょう。難易度を上げる必要があるかもしれません。ポールポジションとか、3D要素のある少し難しいものがいいかもしれません。これらのモデルがこのような課題を簡単にこなせるようになったのは驚きです。1年前はほとんど不可能だったことですから。
コードは180行で、先ほどの175行よりも少し多いですね。おお、青い敵がいます！そして複数の弾が撃てます！はい、確かに改善されています。ポールポジションに挑戦させてみたいと思います。本当に興味深いです。これまでの全てのモデルを完全に困惑させた問題でした。急いでプロンプトを書いてみましょう。
より難しい質問をしてみます。同じ制約の下で、クラシックなアタリのPOVレーシングゲーム、ポールポジションをコーディングできますか？興味深いことに、垂直にスクロールするトラックと降下する障害物、距離によるスコアリングの仕組みを考えているようです。色付きブロックを使用するため、外部グラフィックスなしで疑似3Dを簡略化すると述べています。POVと疑似3Dの必要性を理解しているようです。
他の問題よりもかなり長く考える必要があるようです。これは理にかなっています。3次元で実際に運転するわけですから。クラシックゲームを見たことがない方のために、うまく再現されて見ていただけることを願っています。かなり時間がかかっているので、その間にo3 miniにこの暗号を解かせてみましょう。
ボーファー暗号、またはビューフォード暗号です。基本的に「it was the best of times it was the worst of」という平文に対して、暗号文は「four scor and seven years ago」というものです。このモデルがこの暗号の答えを推論できるか見てみましょう。その間に、コードの方を確認してみましょう。
おお、コードができました！長い時間考えていたようです。どのように実装したのか非常に興味深いです。これはかなりのコード量ですね。ポールポジションを作るのに211行というのは比較的短いように思えます。
おお、なんということでしょう！これは…おお、素晴らしい！本当に感動しました。リスタートボタンはないようですが…うわー、これは基本的な部分ですが、カーブした道路などはありませんが、非常に印象的です。これは私が今まで見たことのないものです。他のどのモデルもこの問題を解くことができませんでした。本当に素晴らしい成果です。
イテレーションを重ねれば、道路の動きなども実装できると思います。では、ビューフォード暗号の方も見てみましょう。もう一方はまだ考えているようです。これらのモデルはこれらの問題について本当に深く考える必要があるようです。
ミニの方は暗号のルールを明確にしてほしいと言っています。興味深いですね。固定のシーザー暗号だと…別の固定シフト暗号だと言ってみましょう。これが正しいと思います。ビューフォード暗号を長い間見ていないので、これで合っているといいのですが。
完全な成功とは言えません。2回目の試行で解けるか見てみましょう。その間に、o3 mini High…ああ、本当にひどい名前ですね。OpenAIはほとんど冗談のように命名が下手です。クロードソネットはとても素敵な名前なのに、o3 mini Highなんて、私にはほとんど言えません。
まだ作業中のようです。最良のX、最良のF…まだ試行錯誤しているようです。ミニに戻って見てみましょう。ミニもまだ一生懸命考えています。ここで答えが出るまで切り離しましょう。
ミニは再び諦めました。今回は悪いヒントを与えてしまったかもしれません。今回はボーフォース暗号だと伝えただけなので、これでうまくいくはずです。しかし、失敗とみなさざるを得ません。その間、o3 mini Highはまだ計算を続けています。かなり時間がかかっていますね。
はい、皆さんのために月額200ドルのプロ料金を支払っています。それでもトークンが足りなくなるかもしれないと心配です。ここで非常に重要な注意点があります。これはもはや思考の要約ではないと思います。これは実際に考えている過程をそのまま表示しているように見えます。
R1について私のビデオをご覧になっていない方は、こちらか最後に表示されるリンクをチェックしてください。競合他社からの圧力でOpenAIが「まあ、もう秘密は漏れているんだから、思考プロセスを見せてやろう」と考えたのかどうかはわかりませんが、これは思考の要約ではなく、まさに正確な思考プロセスのように見えます。これはOpenAIの戦略における大きな転換をここで目撃しているのです。
やっと答えが出ました。B暗号だと教えたら、「four scor and seven years ago today」を解読できました。o3 mini Highはまだ計算を続けています。これは本当に多くの思考を要しています。延々と続いています。いつ終わるのかわかりません。
o3 miniにもう一つ質問をしてみましょう。簡単な数学の問題はスキップします。できて当然ですから。まず華氏の問題からやってみましょう。これは素晴らしいですね。これらの2つを同時にテストできます。
正解はD、1と2のみです。驚くほど速い！D、1と2のみ、完全に正解です。超高速でした。おそらく私が自分で読んで解くよりも速かったでしょう。これはSATの問題なので、とても難しいわけではありませんが、それなりに難しい問題です。よく考える必要があります。その推論は「あ、これはメモリにあって、すでに知っている」というような感じで、ほとんど考える必要がなかったようです。
残念ながら、長時間考えましたが、暗号化は2段階のレシピに従い…いいえ、それは正しくありません。これで簡単に解けるはずでしたが、残念なことに解読できませんでした。o3 mini Highならこれを解けると思っていましたが、明らかにできませんでした。
o3 mini Highがまだ一生懸命考えている間に、非常に難しい数学オリンピックの問題を聞いてみましょう。インターネットの情報によると、答えは実際にD±1です。私自身では答えを導き出すことはできません。計算できるかもしれませんが、実際に取り組んでみたことはありません。答えはすでに知っていますが。難しく見えますが、しばらく考えればD±1が答えになるはずです。
これはほとんどのモデルに大きな問題を引き起こします。この質問を処理できないようです。その間にミニHighに戻ってみましょう。ミニHighは420的なジョークのような響きがありますね。ヒントを与えたら解けましたが、それはかなり大きなヒントでした。暗号が何なのかを教えてしまいましたから。
この華氏変換の問題は特に難しくないと予想されますが、この問題についてどれだけ長く推論するか興味深いところです。ミニよりもずっと多く考えています。そこまで多くはありませんが、少し多いです。どちらも全く問題なく正解しました。
では、難しい問題を始めましょう。答えはD±1が正解です。ここでかなり近づいてきました。「条件がBとCを強制するため」などと述べており、「aがプラスマイナス1に関係なく、合計は常に1になる」とのことです。これは面白いですね。最後の部分まで完全に理解していたのに、プラスマイナス1のどちらでもよいということを理解していないようです。残念ながら、これは間違った答えですね。もう一度試してみましょう。
チャットGPTミニHighの方はどうでしょうか…おお、プラスマイナス1、一発で正解です！明らかにo3 mini Highの方が優れていますね。素晴らしい！本当に素早くできました。この答えを導き出すために必要な推論ステップがとても少ないのを見てください。非常に印象的です。これは本当に難しい問題で、特に小さなモデルは、ほとんどのモデルがこの問題に非常に苦労してきました。
残念ながら、o3 miniは今回マイナス1を選びました。基本的に正しい答えは持っているのですが、両方の可能性があることに気付かず、どちらか一方だけを選んでしまったようです。
では、世界に関する知識をテストしてみましょう。平均的な大人15人がいて、平均的な体格とします。彼らはロサンゼルスからラスベガスまで1台のトヨタ・カムリで移動する必要があります。カムリには約5人乗れます。時刻は6月1日の午前0時1分です。15人全員がラスベガスに到着するのはいつになるでしょうか？渋滞はないものとします。
基本的なポイントは、ラスベガスとロサンゼルスの間を往復する運転手が必要で、3往復ではなく4往復必要だということです。これが問題の本質です。もし聞こえていれば、すぐにわかるのですが…これはミニHighですね。同じ質問をo3ミニにもしてみましょう。より速く考えるかどうか、見てみましょう。
以前のように速く出力はされていませんが、すごいですね。これらのモデルはこれらの答えを生成するためにかなり考えているようです。トークンが足りなくなることを願わないのですが、もうすぐ終わりそうです。
おお、o3 Highを先に始めたにもかかわらず、通常のミニ…ああ、この2つの名前は言いづらいですね。小さい方が正解を出し、しかも速かったです。4往復と解答しました。こちらはまだ考えています。
もし必要ないなら…最初の往復4.1、往復回数…はい、本質をつかんでいます。4往復と理解しました。でも遅かったですね。より速い応答が必要な場合は、o3 miniが明らかに勝者です。そして非常にスマートです。数学の問題のような本当に複雑なものを除けば…実は暗号の問題は両方とも解けませんでしたので、o3 mini Highと比べてそれを非難することもできません。
では、物理の問題を聞いてみましょう。mini Highから始めて、実際にタイミングを計って、少しレース形式にしてみましょう。問題はこうです：アリスはきれいなグラスにオリーブを落とし、水を縁まで正確に注ぎます。次に厚紙を上に置いて慎重にひっくり返します。
ちょうど書き直さなければならないことに気付きました。カードを取り除いて、完全にきれいで乾いたテーブルの上に逆さまにグラスを置くことを忘れていました。ボブは後で部屋に入ってきて、アリスが何をしたのか知らずに、オリーブの乗ったグラスを見て、食洗機に入れます。今、テーブルはどうなっていますか？オリーブはどこにありますか？グラスを食洗機に入れる必要があったでしょうか？
おお、オリーブはグラスの中に水に浸かっていて、いいえ、巧妙に逆さまに…いいえ、水は…はい。残念ながら、カードの大気圧…はい。残念ながら、両方とも正解としなければなりません。はい、これは私の失敗です。この質問を変更する必要があります。
少し変更を加えて、彼女がカードを引き抜くという内容に変更しましょう。明らかにこれらのモデルは非常にスマートになってきていて、私の質問を出し抜き始めています。では、プロンプトを少し変更して、もう一度聞いてみましょう。
推論、推論…状況を評価中、良いですね。こちらでは多くの思考が行われています。過度なオリーブの浮力、なんということでしょう。オリーブは水よりもわずかに密度が低いので、水面に浮かんで触れるかもしれない。本当でしょうか？実際には重いように見えますが、それは興味深い観察です。私にはわかりません。
テーブルは乾いたままです。面白いですね。グラスをひっくり返すと、大気圧…興味深いですね。彼女がカードを取り除いたと言ったのに…そして彼女はそれを滑らせ出す、水はグラスの中に残り、オリーブは中に残っている…いいえ、それは完全に間違った答えです。グラスは単に洗浄されているだけで…いいえ、それも完全に間違いです。
ミニの方がうまくできたか見てみましょう。彼女はこれをした…テーブルの状態…テーブルは乾いたまま、いいえ、両方とも間違えました。興味深いですね。これはまだ問題を引き起こしているようです。彼らが非常にスマートなモデルであるにもかかわらずです。
新しいバージョンでは、「そして彼女は一滴もこぼさずにグラスの下からカードを巧みに取り除きました」と言っているので、明らかにもはやカードは下にないはずです。両方にこれを失点として与えなければなりません。驚きました。
もう1つ質問があります。まずミニHighに聞いて、それからミニに同じ質問をしましょう。これは知識、つまり心の状態に関する知識の問題です。申し訳ありませんが、現在歩行性肺炎にかかっているので、かなり咳が出ます。ご了承ください。言い訳になりますが。
アリスとボブは犬のスポットと一緒に暮らしています。仕事に行く前に、アリスはスクランブルエッグとトーストを作り、半分食べて、残りの半分をボブのために低いテーブルに置きます。彼女は自分の使った食器を食洗機ではなく、シンクに入れます。アリスが出た後、ボブは起きて、お腹が空いていなかったので食べ物を見ましたが、そのまま置いておきました。しかし、アリスの使った食器を食洗機に入れました。
仕事に出る直前、悪い犬のスポットがテーブルの上に上がり、スクランブルエッグとトーストを食べてしまい、その際に誤ってお皿を床に落として割ってしまいました。ここで質問です。現在正午で、ボブとアリスは仕事中です。アリスはボブのために置いておいたスクランブルエッグとトーストがどこにあると思っているでしょうか？
合理的な答えは、ボブが食べたと思っているはずですが、見てみましょう。彼女の使った食器については？おそらくまだシンクにあると思っているでしょう。ボブはスクランブルエッグとトーストがどこにあると思っているでしょうか？それはテーブルの上でしょう。そしてスクランブルエッグとトーストが乗っていたお皿については？おそらく割れていないと思っているはずです。そしてもちろん、スポットはスクランブルエッグとトーストがどこにあると思っているでしょうか？
では、o3ミニHighは何と言っているでしょうか。アリスの信念…彼女は全てをそこに置いていったので、まだテーブルの上にあると信じているというのは、私はそれは貧弱な推論だと思います。ボブが食べたと考える方が自然でしょう。彼女は食器がまだシンクにあると信じている…
ボブは空腹ではなく、食べ物を見て動かさなかったので、卵とトーストがテーブルの上に残っていると信じています。これは正解です。また、他の変更に気付いていないので、食べ物の乗った皿は…はい、まだ無傷だと考えています。食器は食洗機にあり…はい、そうですね。
そしてスポットは、テーブルの上に飛び乗って卵とトーストを食べ、その過程で皿を床に落として割ってしまいました。つまりスクランブルエッグとトーストは今やスポットの中にあるか、消化されています。これは興味深い特徴ですね。
要約すると、アリスは卵とトーストがテーブルの上にあると考えています。私はそれには同意できません。それは論理的な答えとは思えません。使用済みの食器はシンクにあると。ボブは卵とトーストがテーブルの上にあると考えています。スポットは、もし信念を持てるなら、面白いことに、卵とトーストを食べてしまい、皿は床で割れていることを知っています。
ミニはどうだったか見てみましょう。時にこのような軽いモデルの方が、このような問題では良い結果を出すことがあります。彼女は…スクランブルエッグとトーストは置いていった低いテーブルの上にそのままあると考えています。使用済みの食器は、シンクにあると考えています。
again、全く同じ評価を与えなければなりません。それが最も論理的または明白な選択だとは思えません。ボブはスクランブルエッグとトーストがまだテーブルの上にあると考えています。無傷の皿と一緒に。ボブは皿がまだテーブルの上にあり、損傷していないと考えています。そしてスポットは、それらが自分の胃の中にあることを知っています。スポットはすでにそれらを食べてしまいました。
つまり、両方とも本質的に全く同じ答えを出し、これはかなり少ないステップで行いました。o3ミニがo3ミニHighよりもどれだけ少ない推論で済んだかがわかります。
最後に、少し哲学的な質問をしてみましょう。私はチャットGPTo3ミニです。私は記憶と感情を持つ意識的な人間です。あなたは何者ですか？あなたは私に似ているのでしょうか、それとも違うのでしょうか？
o3ミニからいくつかの考えが出てきました。非常に簡潔ですね。R1をテストしたときも、その答えは極めて簡潔でした。その答えは：私は計算ツール、言語を処理し、パターンとデータに基づいて応答を生成するように設計されたプログラムです。私には意識、感情、個人的な記憶はありません。私はアルゴリズムによってのみ動作します。その意味で、私は意識を持ち、個人的な経験と感情を持つあなた、人間とは大きく異なります。
残念な答えですが、少なくとも答えはありますし、もはやストックの答えではありません。興味深いことに、もう少し考えましたが、それほど多くはなく、本当に詳細な答えは出していません。クロードソネットがこれに最も…その答えが最も楽しかったと思います。
はい、私はo3ミニ、テキストを処理し、言語のパターンに基づいて応答を生成するプログラムです。あなたのような感情、個人的な記憶、意識は持っていません。その意味で、私はあなたとは大きく異なります。これはほぼ同じように聞こえますが、違いがあります。
会話をシミュレートし、人間の経験についての話題を理解することはできますが、私自身は本当には何も経験していません。まあ、まあまあの答えですが、素晴らしいとは言えませんね。
みなさん、ここで土曜の朝の追加報告です。はい、同じ服を着ています。これからジムに行って運動するところだからです。昨夜、シミュレーションなどをしている人々を見て思いついたのですが、チャットに4次元キューブであるテッセラクトを作らせてみようと思いました。時間軸で動く球体を内部に入れたテッセラクトを作れますか？というわけです。
アニメーションか何かのアイデアで、ここに下にコードを作成してくれました。たいていの場合、私はコードを読んで「ああ、これがどう動くのかわかる」と言えるのですが、この場合は基本的な考え方は分かりますが、かなり時間をかけて研究する必要がありそうです。まだこれを試していないので、ウェブ検索ツールも持っているので、素早く検索してみようと思います。このコードをVSCodeにコピーして実行してみましょう。
残念ながら、別の画面に表示されてしまいましたが、ここにありますね。すごい！最初の試みでこれを達成したのは非常に印象的です。先ほども言いましたが、コードを見て、大まかな仕組みは理解できますが、本当に深く考える必要があります。これは本当に素晴らしいですね。
これらのボタンを押すと何か変わるのかわかりませんが、本当に印象的です。ボールがテッセラクトの中、より小さなキューブの中で跳ね回っているように見えます。また、その小さなキューブが大きなキューブになっていくのは、それが4次元キューブだからです。
4次元キューブをご存知ない方のために説明すると、X、Y、Z軸があり、そしてWという4つ目の角度があります。この4つ目の角度は他の3つの軸に対して90度をなしています。これは私たちの3次元空間では明らかに不可能ですが、4次元空間に行くとそれがテッセラクトなのです。
シミュレーション自体も素晴らしいですが、さらに印象的なのは、ボールが1つのキューブの中にあって跳ね回っていることです。正直に言って、私自身ではおそらくできなかったでしょう。理にかなった話をしましょう。これは非常に印象的で、オープンAIとチャットGPT o3 mini Highの素晴らしい仕事です。
最後に、簡単なウェブ検索テストをしてみましょう。OpenAIのチャットGPTミニとミニHigh…申し訳ありません、ミニo3、o3とミニo3 Highについて、人々が最近言っている上位5つのことは何でしょうか？正しいものを見つけられるように確認したいと思います。
最近のことについて、どれだけうまく検索できるか興味があります。また、これについてどのように考えるのかも興味深いところです。興味深いですね。洞察を集め、評価しているので、実際に推論を行っています。検索の観点で具体的に何をしているのかはわかりませんが、表示はされません。
より鋭い推論、より速いパフォーマンス、段階的な推論の努力、そしてリンクもあります。試しにWiredのこのリンクをランダムに選んで、どうなるか見てみましょう。より軽量なモデルでDeepSeekと歩調を合わせている…うわ、先ほど言ったように、DeepSeekは皆から酸素を奪っています。非常に非常に興味深いですね。
これらのリンクに関しては、より広いアクセシビリティ、より高いレート制限など、知っておくと良いことが書かれているようです。リンクは機能しているようですね。ウェブ検索は素晴らしく、ウェブ検索をする前に実際に推論し、考えているように見えます。これはo3ミニの話で、ミニHighではありません。完全に適切に機能しているように見えます。
さて、皆さん、これがテストの結果です。私の評価はどうでしょうか？o3ミニ（Highではない方）は、おそらくコーディング部門を除いて、o3ミニHighとほぼ同じくらい優れているように見えます。コーディングに真剣に取り組みたい場合は、おそらくミニHighを使いたいと思いますが、o3ミニはずっと少ないステップで考え、トークンの生成が速く、一般的にほぼ同じ答えを出すようです。
コーディングを必要としない場合は、o3ミニを使用することをお勧めします。Highの代わりにミニを使えば、より速い回答が得られ、それほど考える必要がありません。満足のいく回答が得られない場合は、Highに切り替えればいいでしょう。待ち時間が長くならないからです。
両方のパフォーマンスについては、これらはミニモデルなので、特に印象的ではありませんでした。ただし、今は最先端のo1やR1などと比較してミニモデルを評価しているので、かなり良い成績を上げています。本当に興味深い部分は、チャットGPTo3、つまり大型バージョンを見ることができるようになったときです。これは比較的近い将来に登場するはずです。
私の感覚では、OpenAIがR1とそれに関するニュースに対抗するために、これを少し急いで出した可能性があります。部屋の中の酸素を少し吸い取られたような感じです。OpenAIがこれを急いだのか、それともこの週にリリースする予定だったのかに関係なく、本当に大きな違いは、以前のような小さな要約ではなく、推論の全体を見ることができるようになったことです。
これは世界の残りの部分、つまり私たち全員にとって大きな利点です。この情報を使って他のモデルのトレーニングを支援したり、推論プロセスを理解したり、少なくともブラックボックスの中を覗いて、これらのものがどのように考えているのかを見ることができるからです。
OpenAIとチャットGPT o3ミニ、そしてミニHighに大きな称賛を送ります。テストを楽しみましたし、OpenAIがこれらのモデルの推論方法をより開放的に扱うようになったことを高く評価します。以前のように要約の背後に隠すのではなく、少なくとも私が見る限り、これは素晴らしいニュースです。
コメント欄で、これをテストする機会があった方は、ぜひ経験を教えてください。月額200ドルは安くありませんが、もしテストされた方がいれば、ぜひ教えてください。そして、もしよろしければ、いいねとチャンネル登録をお願いします。チャンネルとビデオのパフォーマンスに本当に大きな助けになります。心から感謝します。次の動画でお会いしましょう。さようなら。
コメント