Nvidia は、Jetson Orin Nano Super と呼ばれる小さな新しい開発ボードを発売し、ホリデーシーズンに AI の誇大宣伝を持ち帰ります。
Nvidiaが生意気な請求をする ボード 「最も手頃な価格の生成型 AI スーパーコンピューター」という意味ですが、これは言葉をかなり拡大解釈しているかもしれません。
開発キットは、Raspberry Pi コンピューティング モジュールに似たシステム オン モジュールで構成され、I/O と電源用のリファレンス キャリア ボード上に配置されます。また、Raspberry Pi と同様に、Nvidia の小さな開発キットは、生成 AI の実験を検討している開発者や愛好家を対象としています。
Raspberry Pi コンピューティング モジュールと同様に、Nvidia の Jetson Orin Nano 開発キットは、I/O および電源用のキャリア ボードに接続される SoC を含むコンピューティング モジュールで構成されています。 – クリックすると拡大します
Orin Nano の内部には、6 つの Arm Cortex-A78AE コアと、1024 の CUDA コアと 32 のテンソル コアを備えた古い Ampere アーキテクチャに基づく Nvidia GPU が搭載されています。
デザインはオリジナルの Jetson Orin Nano と同一のようです。ただし、Nvidia によると、このボードの「スーパー」エディションは高速かつ安価で、価格は当初の 499 ドルに対して 249 ドルとなっています。
パフォーマンスの点では、Jetson Orin Nano Super は INT8 で 67 TOPS を実現しており、これは、102 GB/秒のメモリ帯域幅が可能な 8 GB の LPDDR5 メモリを搭載した Intel、AMD、または Qualcomm の最新 AI PC の NPU よりも高速です。 Nvidia によると、これらの仕様は、前世代と比べてパフォーマンスが 70% 向上し、メモリ帯域幅が 50% 増加したことを反映しています。
帯域幅の向上は、自宅で最新の AI チャットボットを強化する大規模言語モデル (LLM) のようなものを試してみたいと考えている人にとって特に重要です。 Meta の 80 億パラメータの Llama 3.1 モデルの 4 ビット量子化バージョンを実行する場合、開発キットは 102 GB/s で 1 秒あたり約 18 ～ 20 トークンのワードを生成できるはずだと推定されます。
TOPS、メモリ容量、帯域幅がモデルのパフォーマンスにどのように関係するかについて興味がある場合は、ここでガイドを確認してください。
I/O については、開発キットのキャリア ボードは、ギガビット イーサネット、DisplayPort、4 つの USB 3.2 Gen 2 type-A ポート、USB-C、M キーと E キーを備えたデュアル M.2 スロットなど、SBC の通常の接続機能を備えています。 、さまざまな拡張ヘッダーとともに。
ソフトウェア サポートの観点から見ると、これらの Arm コアには問題があるのではないかと思われるかもしれません。しかし、実際はそうではありません。 Nvidia は、Arm ベースのカスタム Grace CPU を利用した最も洗練されたデザインの GH200 および GB200 で、Arm プロセッサ上の GPU を長年サポートしてきました。これは、いくつか例を挙げると、Nvidia Isaac、Metropolis、Holoscan などの GPU 巨人のソフトウェア スイートに対する幅広いサポートが期待できることを意味します。
Nvidia の Jetson AI ラボを通じて利用できるさまざまなオープン AI モデルに加えて、開発キットはロボット工学またはビジョン処理ワークロード用に最大 4 台のカメラもサポートします。
新しい開発キットに加えて、Nvidia はモジュール上の古い Jetson Orin NX および Nano システムへのソフトウェア アップデートも展開しています。これにより、GenAI のパフォーマンスが 1.7 倍向上するはずです。そのため、すでに Orin Nano を購入している場合は、あまりにも多くのものを逃さないでください。 ®
