vLLM v0.28.0、KVキャッシュをディスクにも逃がせるように

推論サーバvLLMのv0.28.0が2026年8月26日に公開された。270人による584コミットで、KVキャッシュの多段オフロードにディスクが加わり、既定のmax_num_batched_tokensは8192から16384へ。bitsandbytesは外部プラグインに移った。

vLLM inference open-source self-hosting LLM

推論サーバ vLLM の v0.28.0 が2026年8月26日に公開されました。270人（うち新規76人）による584コミットが入っています¹。

KVキャッシュの多段オフロードにディスクへの退避が加わり、二次層のマネージャを module_path でツリー外から差し込めるようになった。二次層の部分的なロード結果、階層ごとのメトリクス、並列構成に依存しないCPU側の標準レイアウトも入った¹
既定値が変わった。max_num_batched_tokens は 8192から16384 へ、Mamba系モデルはプレフィックスキャッシュが既定で有効に、BlackwellのCUDAグラフのキャプチャ既定値は1024へ¹
破壊的変更として、bitsandbytes のサポートがツリー外プラグインに移り、Transformers の依存が 5.15.0 に上がり、非推奨だった calculate_kv_scales が削除され、override_attention_dtype も削除された¹
DeepSeek V4 の sparse MLA が、通常のデコード・MTP・DSpark推測デコードのいずれでもエンドツーエンドで動くようになった¹。Kimi-K3 向けにはスタック全体にわたる最適化がまとめて入った¹

KVキャッシュをディスクまで逃がせるようになった点は、GPUメモリが足りない構成で長いコンテキストを扱うときの実務的な逃げ道になります。既定値の変更と破壊的変更は、既存の起動オプションやDockerイメージをそのまま使っている環境では確認が要る種類の変更です。なおTencentが8月28日に重みを公開したHy4 previewも、公式の配備先としてvLLMを案内しています。

Sources

vLLM v0.28.0 Release Notes - vLLM公式リリースノート（2026年8月26日公開）