NVIDIA、74Bを24GBに収めたローカル向けモデル「Nemotron 3.5 Bolt」を公開 - 2ビット量子化、速度は4ビットの小型MoEに届かず

NVIDIAは2026年10月15日、オープンモデル Nemotron 3.5 Super VL（120B）と、ローカル向けの Bolt 74B-A9B 24GB を公開した。Bolt は2ビット量子化で24GBのメモリに収まり、商用利用もできる。同社の計測では、同じ RTX Spark 上の生成速度は4ビットの Qwen3.6 35B-A3B や Gemma 4 26B-A4B より遅い。

NVIDIA Nemotron open-weight local-LLM quantization RTX Spark

NVIDIA は2026年10月15日、オープンモデル Nemotron 3.5 Super VL と、ローカル環境向けの Nemotron 3.5 Bolt 74B-A9B 24GB・Bolt E4B 4GB を発表した¹。Super VL と Bolt 74B-A9B は公開済みで、Bolt E4B は10月23日に提供予定とされている。Super VL は120Bパラメータの企業向けモデル、Bolt 74B-A9B は「ネイティブの2ビット量子化」で24GBのメモリに収まり、他のアプリと並行して動かせるローカル向けのモデルと同社は説明している。

ローカルでLLMを動かす読者にとっての焦点は、70B級のモデルが24GBに収まった点と、その代わりに何を払っているかである。自サイトのローカルLLM向けハードウェア選びガイドでは、広く使われる4ビット（Q4）量子化での70〜72Bクラスのファイルサイズを43〜47GB、推奨メモリを48〜64GB以上としている。Bolt は2ビットまで量子化してモデル本体を24GBに収めた。ただし NVIDIA 自身が公表した速度の比較では、同じ機材で動く4ビットの Qwen3.6 35B-A3B や Gemma 4 26B-A4B より生成が遅い³。

Bolt 74B-A9B：親モデルを圧縮して2ビットに落とした

モデルカードによれば、Bolt 74B-A9B は総パラメータ74B、アクティブパラメータ9Bで、Mamba-2 と Transformer を組み合わせた MoE（Mixture of Experts）構成をとる²。テキスト・画像・動画を入力でき、コンテキスト長は最大256Kトークン。対応言語には日本語が含まれる。ライセンスは OpenMDW-1.1 で、商用・非商用のどちらにも使える。

作り方は、120B（アクティブ12B）の Super VL を圧縮して74Bにし、そのうえで重みの大半を2ビットに量子化するというものだ²。NVIDIA の技術ブログは、24GBに収まることと「少なくとも80TPS」の生成速度を設計目標に置き、同じメモリ予算なら大きいモデルを圧縮するほうが小さいモデルを一から学習するより良いという結論を示している³。量子化を重みに限ったのは、RTX Spark・DGX Spark での実行がおもに重みの帯域幅に律速されるためだという。AppleシリコンとNVIDIA GPUのメモリ帯域幅比較で扱ったメモリ帯域幅が、ここでも速度を左右する要因として挙げられている。

「74B」「9B」といった数字の読み方はパラメータ数とは？、量子化の基本はモデルの軽量化とは？蒸留と量子化の違いで解説している。

精度は多くの項目で上回るが、生成速度は4ビットの小型MoEより遅い

モデルカードのベンチマーク表は、Bolt（2ビット）を Qwen3.6-35B-A3B と Gemma4 26B-A4B（いずれも BF16）と並べている²。たとえば Terminal-Bench 2.1 では Bolt が50.98で、Qwen3.6 の44.38、Gemma4 の37.22を上回る。一方で PinchBench は Qwen3.6 が88.07で Bolt の87.82をわずかに上回り、AA-Omniscience accuracy は Gemma4 が22.17で Bolt の16.90より高い。すべての項目で上回っているわけではない。

速度については、技術ブログが同じ RTX Spark（Surface Laptop Ultra、128GB）上で llama.cpp を使って計測した結果を公表している³。

モデル（量子化）	生成速度（TPS）	エージェント作業の再生時間（秒）
Nemotron 3.5 Bolt 74B-A9B（2ビット）	83.99	600.80
Qwen3.6 35B-A3B（4ビット）	96.63	453.97
Gemma 4 26B-A4B（4ビット）	100.56	480.68
Qwen3.8 27B（4ビット）	28.26	1043.28

生成速度は AIPerf SPEED-Bench-Coding、再生時間は AA AgentPerf Local の値で、再生時間は短いほど速い。Bolt は Qwen3.8 27B より大幅に速いが、Qwen3.6 35B-A3B と Gemma 4 26B-A4B には、生成速度でも一連の作業を終えるまでの時間でも及ばない。NVIDIA は Bolt の位置づけを、精度と速度のバランスをとる選択肢としている。手元の作業で精度の差と待ち時間の差のどちらが効くかが、選ぶ際の判断材料になると考えられる。

動かせる環境と、確認しておきたい点

NVIDIA によれば、Bolt 74B-A9B は Hugging Face で公開され、llama.cpp・Ollama・LM Studio・Unsloth・vLLM に対応する¹。RTX Spark 搭載ノート向けに作られ、GeForce RTX 搭載PC、DGX Spark、DGX Station、RTX PRO ワークステーションでも動くと同社は説明している。技術ブログは、量子化済みのモデルを RTX Spark では llama.cpp、DGX Spark では vLLM 向けに最適化したとしている³。

ただし、モデルカードのソフトウェア統合欄は、ランタイムを vLLM、対応ハードウェアを Blackwell 世代（SM120・SM121）、OS を Linux としている²。旧世代の GeForce で llama.cpp を使う場合の動作は、NVIDIA の資料からは確認できない。また、今回の発表ブログ・モデルカード・技術ブログはいずれも Apple シリコンでの動作に触れていない。手持ちの機材で試す前に、利用するツール側の対応状況を確かめる必要がある。

Super VL：企業が自社データで事後学習する前提の120Bモデル

同時に公開された Super VL は、120Bパラメータのモデルで、NVIDIA は同社最大の推論モデルと同等の精度を約5分の1のパラメータ数で出すと説明している¹。Artificial Analysis Intelligence Index のリーダーボード上で、同クラスの他モデルより最大5倍のスループットを出すとも主張している。重み・データセット・学習レシピを公開しており、Hugging Face、OpenRouter、ModelScope、NVIDIA NIM で利用できる。

NVIDIA は、Atlassian、CrowdStrike、Perplexity、Salesforce などが Super VL を自社の製品や業務に組み込んでいると紹介している¹。閉じたフロンティアモデルと違い、自社のデータで事後学習し、自社のインフラに置けることを利点として打ち出している。

Nemotron ファミリーは、高スループット向けの Lightning、最難関の推論を担う Ultra に、今回の Super VL と Bolt が加わった形になる¹。ローカル環境を検討している読者にとっては、「24GBに収まる70B級」という選択肢が増えた一方で、同じメモリに収まる4ビットの小型MoEとの速度差を、NVIDIA の計測値で比べられるようになった点が実務上の材料になる。