Tôi đã tiết kiệm 850 USD/tháng nhờ một hộp AI nhỏ gọn của NVIDIA (DGX Spark). Đây là hướng dẫn để bạn cũng có thể làm được.

Trong nhiều năm, tôi từng nghĩ làm AI nghiêm túc đồng nghĩa với việc phải thuê GPU đám mây, trả hóa đơn API, hoặc chờ đợi quyền truy cập vào các máy chủ đắt đỏ. Sau đó, NVIDIA phát hành DGX Spark, một hộp AI để bàn thay đổi hoàn toàn cách tính toán. Nó có kích thước khoảng 5,9 x 5,9 x 2 inch, nặng 1,2 kg, và biến một phần cơ sở hạ tầng AI thành thứ có thể đặt trên bàn làm việc thay vì trong trung tâm dữ liệu.

Lần đầu tiên nhìn vào các con số, tôi thấy ý tưởng này có vẻ sai lầm. DGX Spark có giá khởi điểm 4.699 USD. Đó là một khoản tiền thực sự. Nhưng một GPU đám mây cao cấp có thể tốn khoảng 3 đến 4+ USD mỗi giờ. Để nó chạy quá lâu, thử nghiệm agent mỗi ngày, hoặc chạy các thí nghiệm mô hình cục bộ cho khách hàng, hóa đơn hàng tháng có thể dễ dàng chuyển từ khó chịu sang đau đớn.

Với mức 500 USD/tháng, chiếc hộp này tự trả vốn trong vòng chưa đầy một năm. Ở mức 1.000 USD/tháng, thời gian hoàn vốn đủ nhanh để việc thuê compute trở nên lười biếng.

Đó chính là mấu chốt. Chiếc hộp này không phải là một món đồ rẻ tiền. Nó là một cách để chuyển đổi hóa đơn AI định kỳ thành cơ sở hạ tầng sở hữu. Trải dài trong năm năm, DGX Spark có giá dưới 1.000 USD mỗi năm.

Đối với một nhà sáng lập, freelancer, studio AI nhỏ, hoặc nhóm công cụ nội bộ, điều đó thay đổi quyết định từ "Chúng ta có đủ khả năng để chạy cái này không?" thành "Chúng ta nên xây dựng gì tiếp theo?"

Đây là câu chuyện. Hãy tưởng tượng tôi đang xây dựng các agent AI riêng tư cho các công ty nhỏ. Một khách hàng muốn có chatbot cho hợp đồng, hóa đơn, PDF và vé hỗ trợ. Một khách hàng khác muốn có trợ lý lập trình có thể đọc kho lưu trữ riêng tư. Một khách hàng thứ ba muốn có agent nghiên cứu xử lý các tệp nhạy cảm của công ty mà không gửi chúng vào API của bên thứ ba.

Nếu tôi xây dựng tất cả những thứ đó trên đám mây, mỗi bản demo đều tốn tiền. Mỗi lần thử nghiệm đều tốn tiền. Mỗi prompt bị hỏng đều tốn tiền. Thậm chí quên tắt một instance cũng tốn tiền.

Với một hộp AI cục bộ, quy trình làm việc thay đổi. Tôi có thể giữ tài liệu trên máy, chạy embeddings cục bộ, thử nghiệm các mô hình mở, xây dựng vòng lặp agent, đánh giá câu trả lời và chỉ sử dụng GPU đám mây khi dự án thực sự cần mở rộng quy mô. Điều đó không loại bỏ đám mây. Nó đặt đám mây trở lại đúng vị trí của nó: một công cụ cho quy mô lớn, chứ không phải là khoản thuế mặc định cho mọi thử nghiệm.

Bên trong DGX Spark là NVIDIA GB10 Grace Blackwell Superchip, CPU Arm 20 lõi, GPU Blackwell, 128 GB bộ nhớ hợp nhất, 4 TB bộ nhớ NVMe tự mã hóa và hiệu suất AI FP4 lên đến 1 PFLOP.

NVIDIA cho biết nó có thể chạy suy luận trên các mô hình lên đến 200 tỷ tham số và tinh chỉnh các mô hình lên đến 70 tỷ tham số cục bộ. Đó là lý do tại sao NVIDIA gọi nó là siêu máy tính AI cá nhân.

Không, nó không thay thế các cụm GPU khổng lồ. Bạn không thể đào tạo mô hình tiên tiến tiếp theo từ đầu trên một hộp để bàn nhỏ bé. Nhưng hầu hết các nhà xây dựng AI không làm điều đó. Họ đang xây dựng các hệ thống hữu ích xung quanh các mô hình hiện có: agent, ứng dụng RAG, copilot lập trình, tìm kiếm tài liệu riêng tư, quy trình nghiên cứu cục bộ, tự động hóa hỗ trợ khách hàng, trợ lý tuân thủ và các thí nghiệm mô hình. Đối với công việc đó, việc sở hữu compute cục bộ có thể có giá trị hơn là thuê sức mạnh theo giờ.

Tiền bạc thậm chí còn tốt hơn nếu bạn bán công việc AI. Một dự án tự động hóa AI riêng tư đơn giản có thể được định giá từ 3.000 đến 10.000 USD tùy thuộc vào khách hàng, dữ liệu, rủi ro và công việc tích hợp. Một dự án tốt có thể trang trải hầu hết hoặc toàn bộ chi phí máy. Sau đó, chiếc hộp trở thành đòn bẩy. Nó giúp bạn tạo mẫu nhanh hơn, demo mà không sợ hãi và chạy nhiều thử nghiệm hơn mà không phải nhìn đồng hồ tích tắc.

Đối với một công ty, khoản tiết kiệm không chỉ là hóa đơn GPU. Còn có cả quyền riêng tư. Tài liệu pháp lý, ghi chú y tế, hồ sơ khách hàng, mã nguồn, lộ trình sản phẩm, báo cáo tài chính và bản xuất Slack nội bộ không phải là dữ liệu tầm thường.

Nhiều nhóm muốn AI, nhưng họ không muốn những tài liệu đó rời khỏi môi trường của họ. Một hệ thống cục bộ mang đến cho họ một đề xuất rõ ràng hơn: giữ dữ liệu gần công ty, giữ mô hình gần dữ liệu và gửi ít hơn đến các API bên ngoài.

Đây là kế hoạch hành động thực tế. Bắt đầu với một quy trình làm việc đã tạo ra chi phí hoặc rủi ro. Chọn một chatbot nội bộ, trợ lý lập trình, công cụ tìm kiếm tài liệu hoặc agent nghiên cứu. Đặt các tệp, cơ sở dữ liệu vector, máy chủ mô hình và vòng lặp đánh giá trên máy cục bộ.

Đo lường những gì nó thay thế: các cuộc gọi API, giờ GPU thuê, thời gian của kỹ sư, nghiên cứu thủ công hoặc chi phí demo khách hàng. Sau đó, chỉ sử dụng đám mây cho các công việc thực sự vượt quá khả năng của chiếc hộp.

Đó là sự thay đổi thực sự. Cơ sở hạ tầng AI đang trở nên cá nhân hóa. Mười năm trước, máy tính mạnh mẽ đã chuyển từ phòng máy chủ sang máy tính xách tay. Bây giờ, compute AI đang bắt đầu chuyển từ các cụm GPU thuê sang những chiếc hộp nhỏ trên bàn làm việc.

Một khi bạn đã quen với việc sở hữu cơ sở hạ tầng AI của riêng mình, câu hỏi cũ bắt đầu nghe có vẻ ngược đời.

Cảm ơn bạn đã đọc, hãy theo dõi tôi để nhận thông tin mới về AI đầu tiên.