NVFP4 KV cache trong vLLM cho RTX PRO 6000 và DGX Spark (và có thể là RTX Spark trong tương lai...?)
Tính năng AI
- Lượt xem
- 428K
- Lượt thích
- 115
- Đăng lại
- 7
- Bình luận
- 3
- Đã lưu
- 71
TL;DR
Phân tích kỹ thuật chuyên sâu về việc triển khai hỗ trợ NVFP4 KV cache gốc trong vLLM cho phần cứng Blackwell phổ thông và SoC, bao gồm thủ thuật VO-split để kích hoạt các đầu (heads) rộng 512 của Gemma 4.
Bạn đang đọc bản dịch tiếng TIẾNG VIỆT
