Tôi theo dõi từng đồng chi tiêu cho hạ tầng AI. Năm ngoái, một khoản cứ tăng dần: thuê GPU đám mây. Đến quý 3, nó đã lên tới 1.900 đô la một tháng - và tôi là người xuất hóa đơn cho khách hàng để trả cho khoản chi đó.
Phép tính đó không ổn. Bạn không thể xây dựng doanh nghiệp bằng cách trao 40% chi phí vận hành cho trung tâm dữ liệu của người khác.
Rồi tôi mua một chiếc DGX Spark. Đây là phân tích chi tiết.
1 / DGX Spark Thực Sự Là Gì
NVIDIA đã dành năm 2025 để nén phần cứng trung tâm dữ liệu vào một chiếc máy để bàn. Họ công bố nó với tên Project DIGITS tại CES vào tháng 1, đổi tên thành DGX Spark tại GTC vào tháng 3, và bắt đầu giao hàng vào tháng 10. Kết quả là một hộp nhỏ 150×150×50mm, nặng 1,2kg và chạy bằng ổ cắm điện thông thường.
Thông số kỹ thuật:
Thành phần
Chi tiết
Chip
GB10 Grace Blackwell Superchip
AI compute
1 PFLOP (FP4)
CPU
20 nhân ARM (Grace)
Bộ nhớ
128GB LPDDR5x, thống nhất
Lưu trữ
4TB Gen5 NVMe
Mạng
ConnectX-7 (kết nối hai thiết bị)
Công suất tiêu thụ
~150–240W khi tải
Giá
$2,999
Con số petaflop là một chỉ số tiếp thị. Con số thực sự quan trọng là 128GB bộ nhớ thống nhất.
GPU tiêu dùng có giới hạn cứng. 4090 cho bạn 24GB VRAM - ngay khi mô hình lớn hơn mức đó, nó sẽ không tải được. 5090 nâng giới hạn lên 32GB. Spark đưa nó lên 128GB, nghĩa là nó có thể chạy các mô hình mà card tiêu dùng 2.000 đô la thậm chí không thể mở.
2 / Rào Cản Bộ Nhớ, Được Giải Thích
Đây là những gì 128GB bộ nhớ thống nhất thực sự mở khóa:
- Llama 3.3 70B - độ chính xác BF16 đầy đủ, không cần thủ thuật lượng tử hóa
- Qwen 3 (phạm vi 30B–110B) - vừa vặn hoàn hảo
- Các mô hình lớp DeepSeek lên tới 200B - đã lượng tử hóa, chạy ổn định
- Tạo hình ảnh FLUX.1 - có
- 405B tham số - hai Spark kết nối qua ConnectX-7
Một GPU tiêu dùng dừng lại ở khoảng 30B bị nén. Spark bắt đầu chính xác nơi giới hạn đó kết thúc. Khoảng cách đó là toàn bộ lý do để mua một chiếc.
3 / Phép Tính: 22.000 Đô La Đến Từ Đâu
Chi phí GPU đám mây cho khối lượng công việc AI nghiêm túc:
Tác vụ
Chi phí hàng tháng
A100 80GB, bán thời gian
$600–$1,200
H100 cho các lần tinh chỉnh
$1,000–$2,500
Suy luận 70B được lưu trữ
$300–$900
Phiên bản bạn quên tắt
bất ngờ
Tổng thực tế cho một nhà xây dựng AI
$1,500–$3,000
DGX Spark trên cùng khối lượng công việc:
Khoản mục
Chi phí
Phần cứng
$2,999 (một lần)
Điện năng ~200W
$8–15/tháng
Thuê đám mây
$0
Hàng tháng sau khi mua
~$10
Với chi phí đám mây 1.900 đô la/tháng, Spark tự trả vốn trong chưa đầy 7 tuần.
Sau đó: 1.890 đô la mỗi tháng từng rời khỏi doanh nghiệp của bạn sẽ ở lại trong đó. Với cùng công việc của khách hàng. Với cùng hóa đơn xuất đi.
Tổng năm đầu tiên được chuyển hướng trở lại doanh nghiệp của bạn: $22,680.
4 / Lớp Phần Mềm Không Phải Là Vấn Đề
Spark chạy DGX OS - bản dựng Ubuntu của NVIDIA với toàn bộ ngăn xếp AI được cài sẵn: CUDA, NIM, NeMo. Ollama, vLLM, PyTorch, Hugging Face và llama.cpp đều chạy mà không cần sửa đổi ngay từ ngày đầu.
Nếu bạn đã từng sử dụng endpoint đám mây, việc di chuyển chỉ là một thay đổi dòng duy nhất:
1# Trước đây: trả tiền theo giờ2client = OpenAI(base_url="https://some-gpu-host/v1", api_key="sk-...")34# Sau này: bàn làm việc của bạn, không còn đồng hồ tính phí5client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
Cùng đường dẫn mã. Cùng đầu ra JSON. Cùng hành vi. Không có gì bị tính phí. Không có gì rời khỏi tòa nhà.
5 / Lý Do Kinh Doanh Vượt Xa Tiết Kiệm Chi Phí
Spark không chỉ là công cụ cắt giảm chi phí. Nó loại bỏ rào cản kinh tế cho những công việc trước đây quá đắt để chạy tự do.
Nếu bạn làm công việc AI cho khách hàng:
Các lần tinh chỉnh từng tốn 400 đô la hóa đơn đám mây giờ đây miễn phí. Chạy qua đêm. Chạy ba biến thể với các siêu tham số khác nhau. Không có hóa đơn nào xuất hiện vào buổi sáng. Bạn có thể triển khai một tác nhân mã hóa riêng tư trên toàn bộ cơ sở mã độc quyền của khách hàng, hoặc một trợ lý luôn hoạt động mà cả nhóm sử dụng - và chi phí đơn vị của bạn là tiền điện, không phải token API. Mọi khách hàng sau khách hàng đầu tiên đều là lợi nhuận thuần.
Nếu bạn xử lý dữ liệu nhạy cảm:
Đây là góc mà hầu hết mọi người đánh giá thấp. Hợp đồng. Tài liệu pháp lý. Hồ sơ bệnh nhân. Dữ liệu tài chính. Bất cứ thứ gì được bảo vệ bởi NDA mà bạn sẽ không bao giờ đưa qua API công khai. Trên Spark, dữ liệu đó không bao giờ rời khỏi mạng của bạn. Không có điều khoản dịch vụ nào chi phối một cỗ máy bạn sở hữu hoàn toàn.
"Dữ liệu của bạn không bao giờ rời khỏi tòa nhà" giúp chốt các hợp đồng trong ngành được quản lý chặt chẽ mà các nhà cung cấp đám mây đơn giản không thể chạm tới. Các công ty luật, phòng khám, cố vấn tài chính - những khách hàng này sẽ trả một khoản phí bảo hiểm đáng kể cho sự đảm bảo đó.
Sự thay đổi tư duy mà không ai đề cập:
Định giá đám mây huấn luyện bạn hạn chế tính toán. Bạn do dự trước khi để một tác nhân lặp, trước khi chạy lại toàn bộ kho lưu trữ, trước khi tinh chỉnh một ý tưởng có thể không hiệu quả. Mỗi lần chạy đều có chi phí bằng đô la kèm theo, vì vậy bạn chạy ít hơn.
Sở hữu cỗ máy và sự do dự đó biến mất. Hầu hết thời gian, công việc tốt nhất nằm sau sự do dự đó.
6 / Spark Không Phải Là Gì
Nói thẳng về những hạn chế:
- Tốc độ thô - 5090 nhanh hơn trên bất cứ thứ gì vừa với 32GB VRAM của nó
- Quy mô - phục vụ hàng nghìn người dùng đồng thời vẫn là công việc của trung tâm dữ liệu
- Các mô hình tiên tiến vượt quá 405B - hai Spark kết nối xử lý 405B; vượt quá mức đó, bạn cần phần cứng khác
- Người dùng khối lượng thấp - nếu bạn chi 20 đô la/tháng cho các cuộc gọi API, đây không phải là công cụ phù hợp
Ngưỡng trung thực: 1.000 đô la+/tháng chi tiêu GPU đám mây là nơi Spark trở thành quyết định hiển nhiên. Dưới 500 đô la/tháng, card tiêu dùng hoặc truy cập API là lựa chọn thông minh hơn. Cỗ máy này phù hợp với khối lượng công việc nghiêm túc, không phải sử dụng thông thường.
7 / Thời Gian Hoàn Vốn Ở Các Mức Chi Tiêu Khác Nhau
Thói quen đám mây hàng tháng
Thời gian hoàn vốn
$1,900/tháng
~6 tuần
$1,000/tháng
~3 tháng
$500/tháng
~6 tháng
$200/tháng
Ở lại trên đám mây
8 / Bức Tranh Toàn Cảnh
Năm 2024, chạy một mô hình 70B yêu cầu một trung tâm dữ liệu hoặc hóa đơn đám mây 1.900 đô la/tháng. Năm 2026, nó yêu cầu một hộp 2.999 đô la có kích thước bằng một cuốn sách bỏ túi và một ổ cắm điện.
NVIDIA cố tình định giá DGX Spark ở mức 2.999 đô la - họ muốn thế hệ sản phẩm AI tiếp theo được xây dựng trên silicon của họ, cục bộ, ở quy mô lớn. Jensen đã đích thân giao tận tay các đơn vị đầu tiên cho Musk và Altman. Dell, HP, ASUS và Lenovo đều đang xây dựng máy GB10 của riêng họ. Ngăn xếp phần mềm được tinh chỉnh cho chip này hầu như hàng tuần.
Giá GPU đám mây không giảm. Các yêu cầu về quyền riêng tư dữ liệu đang thắt chặt. Khách hàng ngày càng hỏi dữ liệu của họ đi đâu về mặt vật lý trước khi họ ký bất cứ điều gì.
Những người chạy các mô hình tiên tiến trên bàn làm việc vào năm 2026 sẽ trông có tầm nhìn xa vào năm 2028.
Phép tính rất đơn giản: 2.999 đô la một lần so với 1.900 đô la mỗi tháng. Cỗ máy tự trả vốn trước khi quý 1 kết thúc, sau đó chạy với giá 10 đô la/tháng miễn là bạn cần.
Đó là sự đánh đổi. Ước gì tôi đã thực hiện nó sớm hơn một năm.
Nếu điều này hữu ích, hãy theo dõi @cryptowluha
Đánh dấu trang này trước khi nó bị chôn vùi. Nếu điều này hữu ích, hãy chia sẻ nó với một người cần nó.
