3,699 文字
NVIDIAがゲームチェンジングなスーパーコンピューターをリリースしましたが、特筆すべきは、それが非常に小型で安価であり、これまでに見たことのないほどエッジでの大規模言語モデルの実行を可能にするということです。つまり、オープンソースモデルをどこでも独立して実行できるということです。NVIDIAのCEOの説明を見てみましょう。
こんにちは、私の家へようこそ。今は別の家に住んでいて、前回皆さんが私のキッチンを見たときの家は修理中です。そうですね、前回は髪がもっと長くて、オーブンから新しいHGXを取り出しましたが、今日も皆さんのために何か作っています。それをお見せしましょう。
皆さん、私たちの新しいAIコンピューターをご覧ください。少し焼きすぎたかもしれません。小さなJetson Nanoの小型Orinコンピューターが縮んでしまいました。この素晴らしいところは、かなり前にXavierから始まって、私たちが全く新しいタイプのプロセッサを作ったことです。当時は誰も私たちが何を作っているのか理解していませんでしたが、それはロボティクスプロセッサでした。
いつかこれらのディープラーニングモデルが進化し、あらゆる種類のロボット、動くものすべてがロボット化されると想像していました。そして今、私たちは様々な驚くべきロボットを目にしています。車輪のロボット、脚を持つロボット、二本足、三本足のロボット、そしてもちろん、汎用的なヒューマノイドロボットもすぐそこまで来ています。
これは新しいJetson Nanoスーパーで、秒間約70兆回の演算が可能で、消費電力は25ワット、価格は249ドルです。HGXで実行できるものはすべて実行でき、大規模言語モデルも実行できます。皆さんに試していただけるのが待ちきれません。どこでも入手可能です。ぜひ入手して、ロボティクスを楽しんでください。CUDAやcuDNN、TRTも実行できます。推論や計画を行うエージェントAIを作成できるので、ロボットにもワークステーションにも使用できる素晴らしいコンピューターです。皆さんはどう思いますか？
これがNVIDIA Jetson Orinです。マイクロスーパーコンピューターで、エッジでの推論実行が驚くほど高速です。エッジとは、クラウドに接続していないことを意味します。私はエッジコンピューティングに非常に強気な立場で、以前から話してきました。私たちの携帯電話やコンピューター、そしてあらゆる場所のチップが改良され、大規模言語モデルがより良く、よりコンパクトになるにつれて、人工知能をほぼどこでも実行できるようになります。
そして今、この非常に安価な小型スーパーコンピューターであるJetson Orinにより、大規模言語モデルを基本的にあらゆるものに組み込むことができます。ロボット、IoTデバイス、車、文字通り何にでも、この小さなデバイスを差し込んでローカルモデルを使用して推論を実行できます。
この小型スーパーコンピューターは秒間275兆回の演算が可能で、これは驚異的な数字です。このビデオでパートナーシップを組んでくれたEmergence AIに感謝します。このチャンネルをご覧の方はご存じかと思いますが、私はエージェント、特に実世界のタスクを遂行できるエージェントに強気です。だからこそ、Emergence AIについてお話しできることを嬉しく思います。
Emergence AIは、エンタープライズグレードのマルチエージェントオーケストレーターを発表し、これらのエージェントが実際にユーザーに代わってウェブを閲覧できる最初のデモを公開しました。これは拡張されたウェブ自動化で、複数のエージェントがインテリジェントなオーケストレーションの下で、ウェブ上の異なる要素と動的に対話し、人間のような対話とナビゲーションを機械レベルのスケールで実現できることを意味します。
特に興味深いのは、これらのエージェントが以前は人間を必要とした複雑で高度なウェブ対話を実際に実行できることです。動的に読み込まれるメニューのナビゲーション、フォームの入力、設定の調整、埋め込みファイルの処理、PDFやHTMLからの関連データの抽出が可能です。
Emergence AIオーケストレーターは、設計時の柔軟性と実行時の決定論的な動作を組み合わせています。つまり、これらのエージェントは自己修復が可能で、途中で間違いを犯しても、それを理解して次の試行で成功することができます。
Emergence AIはプライバシーとセキュリティに大きな重点を置いており、APIを介してアクセスできる完全ホスト型のソリューションを提供するか、独自の仮想プライベートクラウドでホストすることができます。エンタープライズビジネスで多くのプロセスを自動化したい場合、Emergence AIは優れたソリューションです。
彼らのエージェントAPIを統合して、複数のエージェントをシームレスにオーケストレーションし、あなたとあなたのビジネスのためにタスクを遂行させることができます。これには、最新のエンタープライズアプリケーションとレガシーなエンタープライズアプリケーションの両方との対話が含まれます。
Emergence AIは開発者向けのプラットフォームの試用招待を開始したばかりです。ぜひチェックして、私からの紹介だと伝えてください。ウェブサイトemergence.aiにアクセスするか、contact@emergence.aiまでメールを送ってください。リンクは説明欄に記載します。このビデオでパートナーシップを組んでくれたEmergence AIに改めて感謝します。
では、ビデオの続きに戻りましょう。この小型スーパーコンピューターは未来のロボットに電力を供給する可能性を秘めており、それらのロボットは推論のためにクラウドに接続する必要がありません。すべてがデバイス上で完結します。私は、より多くの制御、より高いセキュリティ、より優れたプライバシー、すべてをデバイス上で実現する未来に非常に興奮しています。
もちろん、o1やGPT-4oのような大規模モデルが必要な時もあるでしょう。しかし、このチャンネルをご覧の方はご存じの通り、私は使用事例の99%は70億パラメータ以下のモデルで達成できると考えています。これは小規模なモデルでありながら、非常に高い能力を持つモデルです。そして今、私たちはそれを実行するためのデバイスを手に入れました。
これは多くの点でRaspberry Piに似ています。非常に小型で、モジュール式のデバイスで、好きなように構築やカスタマイズができます。このデバイスは秒間約70兆回の演算が可能で、そのフォームファクターを見てください。非常に小型です。これは前世代から約2倍の性能向上を実現しています。
そして決定的な特徴は、価格がわずか249ドルということです。これは非常に安価です。これを4台積み重ねると1000ドルで、秒間約300兆回の演算が可能になります。消費電力はわずか25ワットで、非常に効率的です。
NVIDIAのAmpereアーキテクチャを採用し、1,024個のCUDAコアと32個のTensorコアを搭載しています。6コアのARM Cortex CPUは64ビットで、8GBのメモリを搭載していますが、非常に高速なメモリで秒間102GBの転送速度を実現します。SDカードスロットを搭載しているので、好きなオペレーティングシステムを簡単に読み込むことができます。そして繰り返しになりますが、これらすべてが250ドル以下です。これこそが、私が考える画期的なイノベーションです。
性能を見てみましょう。まず、大規模言語モデルについて見てみましょう。前世代をベースラインとして、Llama 3.1、Llama 3.2、Qwen 2.5、5.3.5など、これらすべてのオープンソースモデルを見てみましょう。5.4が出ているにもかかわらず、すべてのモデルが非常に良好な性能を発揮しています。
ビジョンモデルやビジョントランスフォーマーにも対応できます。これは未来の技術です。これを車に搭載すれば、突然自律走行が可能になります。家庭のIoTデバイスに搭載すれば、突然大規模言語モデルによって駆動され、驚くほど知的になります。
どんなロボットに搭載しても、突然そのロボットは大規模言語モデルやビジョンモデル、あるいは他のモデルによって駆動されるようになります。これらのデバイスは、知能を実行するために必要な計算を着実にこなします。
このリリースには非常に感銘を受けました。私も1台購入する予定です。セットアップと実行方法のチュートリアルを作成すべきでしょうか？コメント欄でお知らせください。非常に印象的です。NVIDIAのこのリリースについて、おめでとうございます。
このビデオを楽しんでいただけたなら、ぜひいいねとチャンネル登録をお願いします。次回の動画でお会いしましょう。
コメント