NVIDIA、推論アクセラレータ「Groq 3 LPX」を量産開始 - 毎秒3,400トークンの計測条件も公開

NVIDIAが2026年8月24日、Hot ChipsでAI推論アクセラレータ「Groq 3 LPX」の量産開始を発表した。Artificial Analysisのベンチマークでは、Gemma 4 31Bを10万トークンのコンテキストで動かして毎秒3,400出力トークンを記録したとしている。最初の採用はAIクラウドのNebius。

NVIDIA inference AI-agents hardware Nebius LLM

NVIDIAが2026年8月24日、半導体設計の学会 Hot Chips で、AI推論アクセラレータ NVIDIA Groq 3 LPX の量産（full production）開始を発表した¹。同社はこれを「インタラクティブAI推論アクセラレータ」と呼び、Vera Rubin プラットフォームの拡張と位置づけている¹。CNBCはこれを、NVIDIA史上最大の買収で得た技術が商用化される節目だと報じている³。

同社が数字として挙げたのは、Artificial Analysis のベンチマークで記録した 毎秒3,400出力トークン だ。ただしこれは、オープンソースのエージェント向けモデル Gemma 4 31B を 10万トークンのコンテキスト で動かしたときの数字で、NVIDIAは「このモデルについてこれまでに記録された最速の性能」と書いている¹。汎用の最高値ではなく、条件つきの記録である点は押さえておきたい。

「速さ」を2つに分けて考える

リリースの説明で目を引くのは、エージェントAIが生む計算上の課題を 2つに切り分けている ことだ。ひとつは膨大な文脈を効率よく処理すること、もうひとつは極めて低い遅延でトークンを生成することで、NVIDIAはこれを「別種の課題」だとしている¹。

Groq 3 LPX が担当するのは後者のほうだ。同社はこれを インタラクティビティ（interactivity）と呼び、「個々のユーザーに向けてトークンが生成される速度」であり「エージェントが仕事の各ステップをどれだけ速く終えられるかを決めるもの」と定義している¹。生成が速ければ、エージェントはファイルを調べ、コードを書いてテストし、ツールを呼び、結果を検証して繰り返す、という一連の動作により多くの時間を回せる——というのが同社の論立てである¹。

エージェント的なシステムは、数百から数千の推論ステップにまたがって大量のトークンを生成する。だからトークン生成の速さが、複雑なタスクをリアルタイムで完結させられるかどうかを分ける、というわけだ¹。10万トークンという計測条件も、この文脈で選ばれている。長い文脈をどう扱うかという話はコンテキストウィンドウの解説記事で整理しているので、あわせて読むと今回の条件設定の意味が掴みやすい。

NVIDIAはさらに、コーディングのようなエージェント的タスクを「数時間ではなく数分で」こなせるようになり、最も近い代替プラットフォームと比べて 4倍の応答性 が得られると主張している¹。ただし、その「最も近い代替プラットフォーム」が具体的に何を指すのかは、リリースには書かれていない。

Jensen Huang 氏（NVIDIA創業者兼CEO）は「推論はAIの成長エンジンだ」とした上で、Grace Blackwell と NVL72 が大規模言語モデルの推論を性能と効率の両面で大きく前進させ、Vera Rubin はその延長として、エージェントAIの時代に向けてワークロード最適化されたAIファクトリー構成でその展望を広げるものだ、と述べている¹。

誰が、いつ使えるのか

現時点で名前が挙がっているのは2社だが、どちらもまだ予定の段階 である。

AIクラウドの Nebius が最初の採用先で、同社の本番推論基盤 Nebius Token Factory に Groq 3 LPX を載せる計画だとされている¹。Nebius の CTO である Danila Shtan 氏は「生成は、AIシステムが実際どれだけ応答的かを決める推論のフェーズだ」とした上で、Nebius Token Factory 経由で本番投入する最初のAIクラウドとして、開発者がすでに使っている同じAPIのまま、新しいスタックへの移行なしにエージェントのループの各ステップを即時に感じられるようにする、と述べている¹。

Nebius に続いて、推論専用のAIクラウドである Groq も早期採用者の1社になる予定だという¹。

提供時期はプレスリリースに書かれていないが、CNBCの記事から補える。Nebius での稼働開始は年内が見込まれており、そこでは Vera CPU と Rubin GPU が同じ場所に並ぶ。時期を語ったのはNVIDIAのシニアディレクター Dion Harris 氏で、記者向けの説明の場だったという³。

同じ記事から、ハードウェアの姿もいくつか分かる。1つのLPXラックに収まる Groq 3 チップは 256個。製造元は Samsung で、NVIDIAのGPUを手がけるTSMCとは別の会社だ。ダイ上には 500MBのSRAM が載っており、メモリがボトルネックになるのを避ける狙いがあるとされる³。

価格と供給量については、リリースにも報道にも具体的な記載がない。 自社でエージェントを本番運用していて推論の遅さがボトルネックになっている場合、いま得られる情報は「そういう選択肢が量産に入った」というところまでで、コスト計算に持ち込める材料はまだ揃っていない。

「Groq」という名前はどこから来たのか

リリース末尾の商標注記には「Groq と LPU は Groq, Inc. からのライセンスに基づいて使用されている」とある¹。この一文の背景には、2025年12月の大きな取引がある。

CNBCが2025年12月24日に報じた金額は、現金で約200億ドル。買われたのは会社ではなく、AIアクセラレータチップを手がけるスタートアップ Groq の資産 だった。NVIDIAがそれまでに行った買収でこれを上回るものはなく、従来の最大は2019年のMellanoxで約70億ドルだったとされる⁴。

資産と会社を分けている点 がこの取引の要である。CNBCの報道によれば、Groq側はこれをNVIDIAとの非独占的なライセンス契約という位置づけで説明し、創業者兼CEOだった Jonathan Ross 氏、社長の Sunny Madra 氏ほか幹部はNVIDIAに加わるとされた。会社そのものは独立した企業として存続し、クラウド事業のGroqCloudは取引の対象外とされている⁴。Jensen Huang 氏も社内向けのメールで、優秀な社員を迎え入れGroqのIPをライセンスしてはいるが会社としてのGroqを買収したわけではない、という趣旨の説明をしたと報じられた⁴。

この構図を踏まえると、当サイトが8月に扱った Groqの3億5,000万ドルのシリーズA — 独自チップで知られてきた会社が、調達資金の使い道としてNVIDIAのハードウェアを名指ししていた発表 — の座りもよくなる。ただし、Groqが自社チップの設計から手を引いたとは、今回のリリースにも過去の発表にも書かれていない。

ラック全体で組む、という設計思想

今回のリリースで繰り返されているのは、単体のチップではなく AIファクトリー全体の設計 という捉え方だ。NVIDIAは Vera Rubin を「7種のチップと5種の専用ラックにまたがる」プラットフォームだと説明している¹。

Groq 3 LPX を含むラックプラットフォームは BlueField-4 DPU を搭載し、Vera CPU ラック、Vera BlueField-4 STX ストレージ、Spectrum-6 SPX イーサネット と組み合わせて、マルチエージェントシステムのワットあたりスループットと推論遅延を最適化する構成になっているという¹。

この構成要素のひとつである Vera CPU については、同じ8月24日に別のプレスリリースが出ている。SpaceXAI が Vera CPU を採用するという内容で、Vera は 88基の Olympus コア と最大 1.2TB/s のメモリ帯域を持つとされる²。推論の速さを支えるのはGPUだけではない、という同社の主張がハードウェアの側から補強された形だ。

今月の「速さを売る」動き

推論の速さを商品として明示的に切り出す動きは、この数週間で続いている。8月13日には、OpenAI APIの新しいサービス階層「Ultrafast mode」に自社の推論技術を提供するとCerebrasが発表しており、GPT-5.6 Sol を標準処理に対して最大14倍の速度で動かすとしていた。CNBCの記事は、この領域の競争にも触れている。Ultrafastモードが掲げる数字は毎秒750トークンで、その裏側はCerebrasだという。AMDも今年、Cerebrasのチップを自社のラックスケールシステムに組み込む方針を明らかにしているとされる³。

NVIDIA自身の足元では、計算資源を置く場所と電力の確保も並行して進んでいる。8月17日にはオハイオ州の用地をSB Energyとの提携で独占確保すると発表していた。チップ、ラック、電力、用地——同社が「AIファクトリー」という言葉で束ねようとしている範囲は、着実に広がっている。

もっとも、この種のチップがGPUの代わりになるわけではない。CNBCによれば、Harris 氏はGPUを置き換えるものではなく、ワークロードの部分ごとに価格の見合ったプロセッサを使い分ける話だという趣旨を述べている。この種のチップの守備範囲は、モデルを動かす工程のうち「デコード」と呼ばれる部分に寄っているという³。

一方で、今回の発表から読み取れる範囲には限りもある。3,400トークン/秒という数字は特定のモデルと特定のコンテキスト長での計測であり、自社が動かしているモデルでどうなるかは別の話だ。比較対象が明示されていない「4倍」も同様である。エージェントの遅さが実際にトークン生成速度に由来しているのか、それとも文脈の処理やツール呼び出しの往復にあるのかを先に切り分けておかないと、こうしたハードウェアの数字は評価のしようがない。