Cache KV NVFP4 in vLLM per RTX PRO 6000 e DGX Spark (e in futuro RTX Spark...?)
Funzioni IA
- Visualizzazioni
- 428K
- Mi piace
- 115
- Repost
- 7
- Commenti
- 3
- Segnalibri
- 71
TL;DR
Un approfondimento tecnico sull'implementazione del supporto nativo per la cache KV NVFP4 in vLLM per hardware Blackwell consumer e SoC, con un trucco VO-split per abilitare le head da 512 di Gemma 4.
Stai leggendo la traduzione in ITALIANO
