vLLM 中针对 RTX PRO 6000 和 DGX Spark 的 NVFP4 KV cache 实现（未来是否支持 RTX Spark...？）

TL;DR

深入探讨在 vLLM 中为消费级和 SoC Blackwell 硬件实现原生 NVFP4 KV cache 支持的技术细节，并介绍通过 VO-split 技巧实现对 Gemma 4 的 512-wide heads 的支持。