NVFP4 KV-Cache in vLLM für RTX PRO 6000 und DGX Spark (und in Zukunft RTX Spark...?)
KI-Funktionen
- Aufrufe
- 428K
- Likes
- 115
- Reposts
- 7
- Kommentare
- 3
- Lesezeichen
- 71
TL;DR
Ein technischer Deep-Dive zur Implementierung von nativem NVFP4-KV-Cache-Support in vLLM für Blackwell-Consumer- und SoC-Hardware, inklusive eines VO-Split-Tricks zur Unterstützung der 512-breiten Heads von Gemma 4.
Du liest die DEUTSCH Übersetzung
