Suy luận LLM — Quá khứ, Hiện tại và Tương lai: Giá trị đang dịch chuyển về đâu?
Trong hai năm qua, suy luận LLM là một trong những tầng cạnh tranh khốc liệt nhất trong hạ tầng AI. Hàng chục nhà cung cấp suy luận, đám mây GPU, dự án mã nguồn mở và nhà sản xuất chip đều theo đuổi cùng một mục tiêu: phục vụ một mô hình đã huấn luyện nhanh hơn và rẻ hơn đối thủ.
Sức hấp dẫn nằm ở một ý tưởng hợp lý. Suy luận trông giống một bài toán phần mềm với hào phòng thủ từ phần mềm. Kernel tốt hơn, bộ lập lịch thông minh hơn, hoặc kỹ thuật giải mã suy đoán mạnh hơn có thể hỗ trợ mức giá cao hơn hoặc biên lợi nhuận tốt hơn ở cùng mức giá. Trong một thời gian, engine nội bộ là vũ khí cạnh tranh thực sự, và các bài benchmark đã giúp giành được hợp đồng.
Giai đoạn đó đang kết thúc. Suy luận quan trọng hơn bao giờ hết, và thị trường vẫn tiếp tục tăng trưởng, nhưng giá trị có thể phòng thủ đã dịch chuyển khỏi engine. Tầng engine đang nhanh chóng bị hàng hóa hóa. Giá trị đang dịch chuyển trước tiên sang vận hành và nền tảng phục vụ suy luận, sau đó đến vốn, công suất GPU, và cuối cùng là chính các trung tâm dữ liệu.
Hiệu năng phần mềm vẫn còn tính. Một engine chậm hoặc không ổn định có thể khiến nhà cung cấp bị loại. Tuy nhiên, hiệu năng tốt đã trở nên phổ biến rộng rãi, khiến bất kỳ công ty nào cũng khó thu phí cho nó. Câu hỏi không còn là engine có tạo ra giá trị hay không, mà là ai nắm giữ giá trị đó khi engine trở thành hạ tầng phổ dụng.
Ba thế hệ phần cứng làm cho sự dịch chuyển đó trở nên rõ ràng. Cùng một mô hình đó giải thích sự cạnh tranh giữa các nhà cung cấp suy luận hiện nay và hướng đi tiếp theo của nó.
Phần I: Quá khứ — Khi Engine là Hào phòng thủ
Ba thế hệ, ba danh sách kiểm tra
Mỗi thế hệ phần cứng NVIDIA đều đi kèm một danh sách kiểm tra cho engine nội bộ. Điều thay đổi là danh sách đó trở thành kiến thức phổ biến nhanh đến mức nào, và lợi thế còn sót lại ít ra sao sau khi mọi người đã hoàn thành nó.
Kỷ nguyên Ampere (A100). Tiêu chuẩn ban đầu rất cụ thể. Một engine hỗ trợ CUDA Graphs để loại bỏ chi phí khởi động, triển khai giải mã suy đoán như EAGLE-1 hoặc Medusa, và cung cấp lượng tử hóa W8A8 INT8 vững chắc sẽ vượt trội hơn hầu hết đối thủ. Công việc kỹ thuật rất khó nhưng có giới hạn, và hoàn thành danh sách ngắn đó đưa nhà cung cấp lên top đầu. Những tính năng đó đã giúp giành được hợp đồng.
Kỷ nguyên Hopper (H100/H200). Danh sách dài ra và chia làm hai nhánh. Đối với một triển khai đơn lẻ—một bản sao, một node, hoặc vài node—các yếu tố khác biệt là FlashAttention-3, FP8 attention, giải mã suy đoán EAGLE-3, và lượng tử hóa W8A8 FP8. Việc triển khai tốt tạo ra kết quả đơn-node nổi bật.
Hopper cũng mở ra mặt trận thứ hai trong triển khai phân tách. Hỗ trợ tách rời prefill–decode (PD), song song chuyên gia (EP) cho các kiến trúc MoE ngày càng thống trị, và giảm tải bộ đệm KV qua các tầng bộ nhớ đều quan trọng ở quy mô cụm, nơi các hợp đồng lớn nhất được ký kết. Tầng này đòi hỏi kỹ thuật hệ thống cũng như công việc kernel. Trong một thời gian, nó tách biệt các nhà cung cấp mạnh nhất khỏi tất cả những người còn lại.
Hai tầng này thưởng cho những năng lực khác nhau. Đội ngũ kernel vẫn có thể thắng một benchmark trên một triển khai giới hạn, trong khi các khối lượng công việc sản xuất lớn nhất đòi hỏi sự phối hợp giữa các máy, nhóm bộ nhớ và các vùng lỗi. Tầng thứ hai mất nhiều thời gian hơn để sao chép, mở ra cho các nhà cung cấp một khoảng thời gian dài hơn để biến công việc kỹ thuật thành doanh thu.
Kỷ nguyên Blackwell (B200/B300/GB200/GB300). Ở đây danh sách kiểm tra thu hẹp lại còn một mục chính: tối ưu hóa NVFP4. Lộ trình dẫn đầu không còn là triển khai độc lập. Các đội ngũ tích hợp các tệp cubin trtllm-gen do NVIDIA phát hành hoặc xây dựng trực tiếp trên TensorRT-LLM. Giải mã suy đoán, các đường FP8 và FP4, hỗ trợ phân tách, và song song MoE đã có sẵn trong ngăn xếp tham chiếu.
Blackwell thay đổi quyết định tự làm hay mua. Xây dựng ngăn xếp một lần từng chứng minh chiều sâu kỹ thuật; giờ đây nó có thể chỉ là tái tạo công việc của nhà cung cấp trong khi đối thủ dùng cùng số kỹ sư đó vào việc khác. Một triển khai độc quyền vẫn có thể phù hợp với mô hình hoặc trường hợp triển khai bất thường, nhưng nó không còn là con đường mặc định để đạt hiệu năng dẫn đầu.
Suy luận không có gì bí mật. Mọi kỹ thuật quan trọng đều có bài báo, triển khai mã nguồn mở, hoặc binary từ nhà cung cấp. Kiến thức từng chỉ lưu hành trong một số ít đội ngũ hiệu năng giờ đã được đóng gói thành mã nguồn mà bất kỳ nhóm có năng lực nào cũng có thể kiểm tra hoặc tích hợp. Danh sách kiểm tra vẫn đủ để một engine đạt chuẩn, nhưng không còn giúp nó tạo ra khác biệt.
Vì sao TRT-LLM trở thành chuẩn mực Blackwell
Vị thế của TensorRT-LLM trong kỷ nguyên Blackwell xuất phát từ các động lực ở cả hai phía thị trường.
NVIDIA cần TRT-LLM hoạt động tốt. Phần mềm này là nền tảng cho các benchmark phần cứng mới của họ, bao gồm các bài nộp InferenceX, các tuyên bố ngày ra mắt, và kết quả bài phát biểu chính. Do đó, các tối ưu hóa cho chip mới xuất hiện trong TRT-LLM ngay từ ngày đầu, được hậu thuẫn bởi một tổ chức kỹ thuật kernel lớn và một runtime có năng lực.
Các engine độc lập không thể tái tạo lợi thế đó chỉ bằng nỗ lực. NVIDIA thấy trước lộ trình phần cứng, kiểm soát các tầng phần mềm thấp nhất, và có động cơ thương mại trực tiếp để làm cho mỗi thế hệ trông mạnh mẽ khi ra mắt. TRT-LLM là nơi các động lực đó gặp nhau.
Đồng thời, một số ít dòng mô hình mở tiên phong (frontier open-weight) hiện chiếm đại đa số lưu lượng sản xuất nghiêm túc. Các nhà cung cấp ít cần hỗ trợ hàng trăm kiến trúc hơn. Với tập mô hình hẹp hơn đó và phần cứng Blackwell, TRT-LLM cung cấp trần hiệu năng cao nhất hiện có. Bề rộng hỗ trợ mô hình—lý do truyền thống cho một engine đa dụng—bớt quan trọng hơn khi chính nhu cầu đã thu hẹp.
Sản xuất giờ đây thưởng cho sự chuyên môn hóa. Một engine xử lý tốt các mô hình dài đuôi (long tail) là hữu ích, nhưng nhà cung cấp kiếm phần lớn doanh thu từ các mô hình khách hàng thực sự yêu cầu. Trên một ma trận nhỏ các mô hình phổ biến và phần cứng NVIDIA hiện tại, hiệu năng đỉnh quan trọng hơn bề rộng kiến trúc.
Từ giữa năm 2025, nhiều đội ngũ suy luận đã ngừng duy trì engine hoàn toàn độc lập và chuyển sang phát triển dựa trên TRT-LLM. Điểm yếu dai dẳng của nó là tính dễ sử dụng. Trải nghiệm nhà phát triển thô ráp, nhưng một đội ngũ được trả tiền để ép thêm 20% cuối cùng từ một hạm đội GPU sẽ chấp nhận một chuỗi công cụ khó khăn. Tính dễ sử dụng là yếu tố phân định khi mọi thứ ngang nhau; nhưng TRT-LLM trên Blackwell không có đối thủ ngang hàng nào để phân định.
Những đội ngũ đó không ngừng làm kỹ thuật. Họ vẫn tinh chỉnh mô hình, vá hành vi runtime, và xây dựng các hệ thống sản xuất xung quanh engine. Điều thay đổi là tầng họ bắt đầu. Bắt đầu từ chuẩn mực của NVIDIA định hướng nhiều nỗ lực hơn vào khối lượng công việc của họ và ít hơn vào việc tái tạo máy móc chung.
Chất xúc tác: các tác tử lập trình (coding agents)
Sự hội tụ mã nguồn mở và sức đẩy dọc của NVIDIA đã rút ngắn tuổi thọ của các lợi thế độc quyền. Trong sáu tháng qua, các tác tử lập trình còn rút ngắn thêm nữa bằng cách giảm chi phí kỹ thuật suy luận.
Công việc kernel, thay đổi runtime, và hạ tầng phục vụ đều có thể hoàn thành nhanh hơn với sự hỗ trợ của AI. Intent Lab mất khoảng một tuần, làm việc với tác tử hỗ trợ trên TRT-LLM, để chuyển giao các tối ưu hóa tạo ra các cải thiện end-to-end rất lớn. Trước đây, công việc quy mô đó có thể chiếm một kỹ sư chuyên trách cả một quý.
Kinh tế học của công việc engine độc quyền thay đổi với tốc độ đó. Một kỹ thuật cần sáu tháng công sức kỹ sư và mua được chín tháng độc quyền có thể biện minh cho khoản đầu tư. Nếu chỉ mất hai tuần để xây dựng và đối thủ tái tạo trong ba tuần, kết quả không phải là hào phòng thủ; đó là một vòng luẩn quẩn. Công việc vẫn khó về mặt kỹ thuật, nhưng tuổi thọ hữu ích của lợi thế đang tiến về con số không.
Điều quan trọng về mặt kinh tế là lợi thế kéo dài bao lâu. Một tối ưu hóa khó vẫn có thể yếu về mặt thương mại nếu nó lan truyền trước khi công ty thu hồi chi phí xây dựng. Các tác tử lập trình không làm cho kỹ thuật trở nên tầm thường; chúng khiến sự độc quyền hết hạn nhanh hơn.
Điều còn lại cho các engine mở: cộng đồng, tính dễ sử dụng, và rất ít lòng trung thành
vLLM, SGLang, và các engine mã nguồn mở khác phục vụ thị trường còn bỏ ngỏ bởi trải nghiệm nhà phát triển thô ráp của TRT-LLM. Nhiều người dùng ngoài các nhà cung cấp có đội ngũ suy luận chuyên trách là nhà nghiên cứu hoặc chạy tạo sinh ngoại tuyến: các khối lượng công việc batch hướng throughput thay vì phục vụ trực tuyến nhạy cảm độ trễ. Trong các môi trường đó, khoảng cách hiệu năng với TRT-LLM là khiêm tốn, thường không đáng kể.
Những người dùng đó tối ưu cho một quy trình làm việc khác. Họ cần đưa một mô hình lên nhanh chóng, thay đổi kiến trúc mà không viết lại toàn bộ ngăn xếp, và tìm câu trả lời khi có sự cố. Vài phần trăm throughput hiếm khi đáng để dành nhiều ngày vật lộn với runtime, đặc biệt khi khối lượng công việc không có mục tiêu độ trễ tương tác.
Việc áp dụng thay vào đó xoay quanh tính dễ sử dụng, tài liệu, và cộng đồng. Cài đặt package, trỏ đến một kho Hugging Face, và mở một endpoint tương thích OpenAI. Với nhà nghiên cứu hoặc một pipeline tạo sinh batch, đó là toàn bộ quyết định mua hàng.
Sự áp dụng không phải lòng trung thành. Chuẩn hóa trên API tương thích OpenAI giúp việc chuyển engine, trong trường hợp đơn giản nhất, chỉ là thay đổi base_url. Một đội ngũ có thể chạy vLLM hôm nay, thử SGLang ngày mai, và benchmark cả hai vào cuối tuần. Các engine mở phải tiếp tục cạnh tranh giành các khối lượng công việc họ đã thắng.
Người dùng hưởng lợi từ tính di động đó; các dự án tìm kiếm sự kiểm soát bền vững thì không. Kích thước cộng đồng có thể thu hút khối lượng công việc, và tài liệu có thể giữ chân họ một thời gian, nhưng cả hai không ngăn một đội ngũ chạy lại so sánh khi đối thủ phát hành phiên bản nhanh hơn.
Chi phí chuyển đổi thực sự xuất hiện trong sản xuất trực tuyến. Chúng đến từ giám sát và cảnh báo, pipeline triển khai, khôi phục thảm họa, phục hồi lỗi tự động, các bản vá lỗi tích lũy, và phần đuôi dài các trường hợp biên sản xuất. Riêng việc phân tích lời gọi công cụ (tool-call parsing) đã cung cấp đủ những thứ đó. Tầng vận hành này tạo ra sự khóa chân, nhưng đó là ma sát di chuyển chứ không phải hào phòng thủ năng lực. Một đội ngũ có năng lực có thể tái tạo nó quanh một engine khác trong vài tuần. Quan trọng hơn, kiến thức đó thuộc về tổ chức SRE của người dùng, nên dự án engine không thu được gì từ nó.
Về mặt thương mại, kiến thức vận hành giữ chân một triển khai mà không mang lại cho nhà cung cấp engine sức mạnh định giá. Người dùng chịu chi phí di chuyển và sở hữu hầu hết các hệ thống xung quanh. Ngay cả khi việc thay thế gây khó chịu, bản thân engine không đảm bảo được tài khoản.
Mã nguồn mở như một hàng hóa công cộng
Các engine mã nguồn mở lớn phần lớn đã chấp nhận vai trò này. vLLM và SGLang trả lại gần như toàn bộ công việc của họ cho cộng đồng. Mục tiêu chiến lược của họ là sự áp dụng; kết quả là một chuẩn mực miễn phí ngày càng tốt hơn về tính năng, hiệu năng, và độ ổn định. Trên thực tế, hệ sinh thái đang trợ cấp cho suy luận hiện đại nhất cho tất cả mọi người.
Có một cái giá cho chính các dự án. Mỗi cải thiện cho chuẩn mực thu hẹp không gian tạo khác biệt, bao gồm cho các engine nội bộ và các engine mở đã tạo ra cải thiện đó. Bằng cách nâng cao nền tảng, các dự án này cũng nén giá trị của chính tầng của họ.
Dấu hiệu: các công ty engine đang di chuyển lên tầng cao hơn
Hành vi của những người tạo engine là bằng chứng rõ ràng nhất rằng một mình engine không thể thu giữ nhiều giá trị.
Các công ty đứng sau hai engine mã nguồn mở hàng đầu đã bắt đầu nhận công việc phục vụ sản xuất, được báo cáo là ký hợp đồng suy luận với các phòng thí nghiệm mô hình nổi bật và các nền tảng tiêu dùng. Lý do họ đưa ra rất hợp lý: chạy sản xuất là cách nhanh nhất để phơi bày các lỗi mà engine phải xử lý. Dogfooding ở quy mô lớn tìm ra các trường hợp biên.
Điều đó cũng đặt các công ty này vào vị trí cạnh tranh với các nhà cung cấp từng là người dùng và người ủng hộ quan trọng nhất của họ. Dự án thúc đẩy việc áp dụng, trong khi các hợp đồng phục vụ tạo doanh thu. Các vai trò đó khó dung hòa khi người dùng của dự án bán cùng một dịch vụ.
Các công ty engine hiểu một cách thận trọng về nhãn nhà cung cấp. Hệ sinh thái của họ phụ thuộc vào các công ty muốn một dự án upstream trung lập, không phải một đối thủ được trợ cấp. Nhưng một khi công ty engine vận hành sản xuất cho khách hàng, sự chồng lấn là thật bất kể công việc được mô tả thế nào.
Việc bước vào phục vụ nói lên nhiều điều hơn lời giải thích kèm theo. Những người tạo engine không kỳ vọng tầng engine tự hỗ trợ một doanh nghiệp. Câu hỏi là liệu phục vụ có phòng thủ hơn không.
Phần II: Hiện tại — Điều Thực sự Tạo Khác biệt giữa các Nhà cung cấp
Lợi thế thực sự của các công ty đương nhiệm không liên quan đến kernel
Các lợi thế bền vững của các nhà cung cấp suy luận hàng đầu như Together AI, Fireworks, và Baseten không xuất hiện trên benchmark engine.
Lợi thế người đi đầu và thương hiệu. Khi một phòng thí nghiệm mô hình cần đối tác ra mắt hoặc một startup AI-native cần suy luận sản xuất, các công ty này nằm trong danh sách rút gọn đầu tiên. Thị phần tâm trí (mindshare) nghe có vẻ mềm mại cho đến khi nó quyết định hết hợp đồng này đến hợp đồng khác. Sự cân nhắc mặc định trong một thị trường nhanh đáng giá hơn một lợi thế benchmark hẹp.
Nền tảng. Nhiều năm công việc đã tích lũy trong công cụ triển khai, khả năng quan sát, kiểm soát doanh nghiệp, và tuân thủ. Một người mới phải xây dựng lại bề mặt đó từng phần một trong khi các công ty đương nhiệm tiếp tục mở rộng nó.
Không tính năng nào trong số này thắng một bảng xếp hạng tốc độ công khai, nhưng cùng nhau chúng quyết định liệu khách hàng có thể đưa một khối lượng công việc vào sản xuất hay không. Chúng cũng cộng dồn. Mỗi lần triển khai phơi bày thêm một điều khiển hoặc chế độ lỗi còn thiếu, và bản sửa trở thành một phần của nền tảng cung cấp cho khách hàng tiếp theo.
Công suất GPU và chuỗi cung ứng của nó. Đây là lợi thế khó nhất và ít được bàn luận nhất. Các nhà cung cấp phải đảm bảo phân bổ qua các thế hệ phần cứng, đàm phán với các đám mây và neocloud, quản lý các hạm đội không đồng nhất, và lập kế hoạch công suất trước nhu cầu không đều. Các công ty đương nhiệm đã học cách làm điều này dưới tải. Khi một hợp đồng lớn đến, câu hỏi quyết định thường không phải engine của ai nhanh hơn, mà là ai có thể đưa hàng nghìn GPU lên trực tuyến vào tháng tới.
Những người tham gia muộn đang phản ứng với kinh tế học đó. Modal đã ra mắt một dịch vụ suy luận. Nebius đã mua lại Eigen AI để bổ sung khả năng phục vụ mô hình vào đám mây của mình. Suy luận mang lại biên lợi nhuận tốt hơn giờ GPU thô, nên các đám mây GPU đang di chuyển lên trong khi các công ty engine di chuyển vào phục vụ từ phía dưới. Các nhà cung cấp, đám mây, và công ty engine đang hội tụ về cùng một tầng vì đó là nơi giá trị đang tập trung.
Mỗi nhóm bắt đầu với một lợi thế khác nhau. Các công ty engine mang đến chuyên môn phần mềm, các đám mây GPU mang đến công suất, và các nhà cung cấp đã thành lập mang đến khách hàng và kinh nghiệm vận hành. Sự di chuyển của họ về cùng một sản phẩm khiến các khác biệt còn lại dễ thấy hơn: phân phối, vốn, và khả năng vận hành một dịch vụ đáng tin cậy ở quy mô lớn.
Vì sao các bảng xếp hạng TPS batch nhỏ sẽ phai nhạt
Bảng xếp hạng tốc độ đầu ra với độ đồng thời thấp trên Artificial Analysis vẫn thu hút sự chú ý, và trong nhiều năm nó là đại diện công bằng cho chất lượng kỹ thuật. Nó nói ít hơn sau mỗi chu kỳ phần cứng. Các bài kiểm tra API tiêu chuẩn sử dụng một yêu cầu hoặc mười yêu cầu song song. Ở mức tải đó, một nhà cung cấp có thể kết hợp phần cứng mới hơn với giải mã suy đoán nhận biết tải như DSpark, dành nhiều dung lượng batch hơn cho mỗi yêu cầu trong khi máy khác rảnh rỗi, và đăng TPS mỗi người dùng phi thường. Con số đó là thật nhưng hẹp: nó cho thấy một endpoint ở tải nhẹ có thể phát ra token của một người dùng nhanh đến đâu, không phải một hạm đội phục vụ một doanh nghiệp hiệu quả ra sao.
Sản xuất có một mục tiêu khác. Đầu tiên, giữ TPS mỗi người dùng trên mức ứng dụng yêu cầu. Sau đó tối đa hóa tổng token mỗi phút mỗi GPU (TPM/GPU) mà không tụt xuống dưới mức sàn đó. Một khi trải nghiệm người dùng đủ nhanh, một mức tăng TPS tải nhẹ nữa có thể đáng giá ít hơn nhiều so với việc phục vụ nhiều người dùng đồng thời hơn trên cùng một GPU. Chi phí mỗi token được giao quan trọng hơn thứ hạng tiêu đề.
Giải mã suy đoán làm rõ sự khác biệt. Công việc xác minh rẻ ở batch thấp có thể tiêu tốn dung lượng batch quý giá khi có sự đồng thời, nên một cấu hình tối ưu cho TPS tải nhẹ cao nhất không nhất thiết nằm trên đường cong chi phí sản xuất tốt nhất. Kết quả hữu ích là một biên Pareto: TPS mỗi người dùng trên một trục và TPM/GPU trên trục kia, với mức sàn tốc độ của ứng dụng chọn điểm vận hành và chi phí mỗi token theo sau nó.
TPS batch nhỏ không vô dụng. Nó thiết lập một mức sàn tương tác và phơi bày các endpoint quá chậm một cách rõ ràng. Bài kiểm thử tăng dần độ đồng thời (ramped-concurrency) của chính Artificial Analysis chỉ về hướng hữu ích hơn, đo lường những gì toàn bộ hệ thống có thể duy trì. Điều sẽ phai nhạt là cách đọc người thắng lấy tất cả từ bảng xếp hạng batch nhỏ. Người mua sản xuất sẽ ít quan tâm ai đăng TPS cao nhất và quan tâm nhiều hơn mỗi GPU mang bao nhiêu lưu lượng trả phí trong khi TPS mỗi người dùng vẫn trên mức sàn yêu cầu. Đó là luận điểm của bài viết này ở dạng thu nhỏ: con số dễ thấy nhất ngừng dự đoán tiền sẽ đi về đâu.
Hỗ trợ Day-0: hào phòng thủ quan hệ ngày càng siết chặt
Một thay đổi trong 2026 đã củng cố thêm các công ty đương nhiệm: các nhà phát triển mô hình ngày càng hợp tác trực tiếp với các nhà cung cấp suy luận.
Hỗ trợ Day-0 từng chạy qua các engine mã nguồn mở. Trước khi ra mắt, một phòng thí nghiệm sẽ phối hợp với vLLM hoặc SGLang; engine sẽ hợp nhất hỗ trợ; các nhà cung cấp phía sau sẽ nhận nó. Điều này tạo cho các engine mở một vị trí trung tâm trong chuỗi phân phối.
Sự phụ thuộc cũ đang phai nhạt. Các phòng thí nghiệm lớn giờ đây cấp cho các nhà cung cấp suy luận quyền truy cập sớm trước khi phát hành, đôi khi trước cả các đội ngũ engine mã nguồn mở. Một phòng thí nghiệm cần nhiều hơn một pull request được hợp nhất vào ngày ra mắt. Họ cần công suất sản xuất được tinh chỉnh và kiểm thử tải với SLA. Một nhà cung cấp có thể giao trọn gói; một engine chỉ cung cấp thành phần đầu tiên.
Quyền truy cập sớm là một mối quan hệ chứ không phải kỹ thuật công bố, nên đối thủ không thể tái tạo nó từ một bài báo hoặc kernel. Các phòng thí nghiệm cấp nó cho các đối tác họ đã tin tưởng, củng cố các nhà cung cấp đã có thương hiệu và công suất. Trong khi đó, các engine mã nguồn mở đang mất vị trí tiên phong trong pipeline phát hành. Các nhà cung cấp ngày càng dẫn dắt công việc Day-0 và các engine theo sau.
Một lần ra mắt thành công khiến một nhà cung cấp có nhiều khả năng nhận được quyền truy cập sớm cho lần tiếp theo, và quyền truy cập sớm lại cải thiện tỷ lệ đó thêm nữa. Không giống một tối ưu hóa, mối quan hệ không trở nên sẵn có cho phần còn lại của thị trường sau khi công bố.
Trận cuối ở tầng phục vụ: một cuộc chơi vốn
Một khi các đối thủ chạm đến tầng phục vụ, họ đối mặt một tiêu chuẩn chung. Một nhà cung cấp đáng tin phải giữ SLA dưới áp lực, cung cấp độ trễ hàng đầu, và duy trì độ chính xác. Đây là các yêu cầu vận hành khó, và chúng tách biệt các nhà cung cấp khỏi những người bán lại GPU. Chúng cũng là điều kiện tham gia tối thiểu: đáp ứng chúng cho phép tham gia, trong khi thiếu chúng loại một nhà cung cấp.
Các engine dùng chung và kỹ thuật công khai kéo các nhà cung cấp nghiêm túc về phía hiệu năng, độ tin cậy, và giá cả tương đương. Trên đường đó, công suất GPU trở thành biến số quyết định. Nói cách khác, cuộc thi biến thành cuộc thi vốn.
Bánh đà rất trực tiếp. Vốn đảm bảo công suất GPU. Công suất cho phép các hợp đồng lớn hơn với phòng thí nghiệm mô hình và doanh nghiệp mà các đối thủ bị giới hạn phải từ chối. Các hợp đồng đó tạo ra khối lượng suy luận và ARR. ARR cao hơn hỗ trợ một vòng gọi vốn và định giá lớn hơn, trả tiền cho khối công suất tiếp theo.
Một hạm đội sẵn sàng cũng thay đổi cuộc trò chuyện bán hàng. Một khách hàng chọn nhà cung cấp cho một lần ra mắt lớn không thể dựa vào công suất có thể xuất hiện sau đó. Họ cần các máy được đặt trước, kết nối mạng, và sẵn sàng. Một nhà cung cấp có thể cam kết các tài nguyên đó có lợi thế trước khi độ trễ và giá token bước vào đàm phán.
Với các kỹ sư, đây là một kết quả không thoải mái. Trận cuối của phục vụ trông ít giống một cuộc thi phần mềm hơn và giống hạ tầng thâm dụng vốn hơn, gần với điện toán đám mây thời kỳ đầu, hàng không, hoặc viễn thông. Sự xuất sắc vận hành quyết định sự sống còn; khả năng tiếp cận vốn quyết định quy mô.
Vận hành vẫn tách biệt các công ty khả thi khỏi các công ty thất bại. Sử dụng kém, độ tin cậy yếu, hoặc hoạch định công suất tồi có thể phá hủy một nhà cung cấp được tài trợ tốt. Một khi mọi đối thủ nghiêm túc đạt mức kỹ thuật, một cải thiện kernel khác không thể thay thế cho bảng cân đối kế toán cần thiết để nhận hợp đồng lớn tiếp theo.
Thị trường đã đi theo hướng này. Các nhà cung cấp hàng đầu đã huy động các vòng gọi vốn lớn và chứng kiến định giá của họ nhân lên nhiều lần trong năm qua. Các nhà đầu tư đang trả tiền cho vị thế trong một cuộc chạy đua giành công suất, không phải cho kỹ thuật kernel.
Phần III: Tương lai — Giá trị Chìm vào Bê tông
Dự đoán: tất cả họ sẽ mua trung tâm dữ liệu
Logic vốn chỉ về quyền sở hữu. Ở quy mô đủ lớn, một công ty có giá vốn hàng bán bị chi phối bởi GPU và điện sẽ mất biên lợi nhuận mỗi khi thuê sức tính toán hoặc không gian trung tâm dữ liệu. Mỗi tầng thuê chuyển một phần biên lợi nhuận gộp sang bảng cân đối kế toán của người khác.
Do đó, các nhà cung cấp suy luận hàng đầu sẽ mua hoặc thâu tóm các trung tâm dữ liệu, bao gồm cả các cơ sở vật chất và hợp đồng điện bên dưới chúng, thay vì dừng lại ở phân bổ GPU hoặc cam kết đám mây dài hạn. Các khoản tiền họ đã huy động chỉ có ý nghĩa dưới một trận cuối như vậy.
Nhà cung cấp suy luận khởi đầu là một công ty phần mềm với engine là sản phẩm. Nó trở thành công ty dịch vụ quản lý bán một nền tảng và một SLA. Giờ đây nó đang trở thành một công ty hạ tầng bán công suất. Xuyên suốt quá trình đó, giá trị đã di chuyển từ kernel đến vận hành phục vụ rồi đến thép, đất đai, và các thỏa thuận mua điện.
Mỗi bước thay đổi kỹ năng và kinh tế học của công ty. Vòng lặp phần mềm nhường chỗ cho quản lý hạm đội, mua sắm, tài chính, và chiến lược năng lượng. Giao diện có thể vẫn là một API, nhưng doanh nghiệp bên dưới nó trở nên nặng nề hơn và dễ bị ảnh hưởng bởi tỷ lệ sử dụng hơn.
Câu chuyện bắt đầu với việc mất đi hào phòng thủ phần mềm. Nó kết thúc với cùng các công ty cạnh tranh cho những hào phòng thủ lâu đời nhất thế giới: đất đai, năng lượng, và vốn. Hào phòng thủ chưa bao giờ thực sự nằm trong phần mềm.
Vẫn là "nhà cung cấp suy luận", không bao giờ là "neocloud"
Ngay cả sau khi mua trung tâm dữ liệu, các công ty này sẽ tiếp tục mô tả mình là nhà cung cấp suy luận thay vì neocloud. Thị trường vốn trao bội số định giá cao hơn cho một công ty hạ tầng AI bán token so với một neocloud thuê giờ GPU.
Dưới nhãn đó, họ sẽ giống một loại neocloud mới: cùng nền tảng nặng tài sản với một giao diện khác, bán token, SLA, và API thay vì GPU trần. Những công ty như CoreWeave xây dựng nền tảng tài sản trước và đang tiến về phía phục vụ. Những công ty như Fireworks xây dựng giao diện trước và đang tiến về phía nền tảng tài sản. Cả hai con đường dẫn đến cùng một hình dạng doanh nghiệp; điểm xuất phát quyết định nhãn và bội số định giá gắn với nó.
Bán qua API thay đổi cách đóng gói. Token gộp phần mềm, vận hành, và công suất thành một sản phẩm khách hàng có thể tiêu dùng trực tiếp. Giờ GPU phơi bày nhiều hơn bản chất hàng hóa bên dưới. Hai công ty có thể sở hữu tài sản tương tự nhưng nhận định giá rất khác nhau vì một công ty đã đóng gói các tài sản đó cao hơn trong ngăn xếp.
Họ sẽ sở hữu các trung tâm dữ liệu và vẫn gọi mình là nhà cung cấp suy luận vì nhãn đó đáng giá hơn tòa nhà.
Đối thủ thực sự đang đến từ phía dưới
Nếu điểm đến là một doanh nghiệp token thâm dụng vốn, sở hữu trung tâm dữ liệu, thì việc xếp hạng các người chơi hiện tại theo khoảng cách tới nó sẽ thay đổi bức tranh cạnh tranh.
Together AI, Fireworks, và Baseten có thương hiệu, nền tảng, và hợp đồng. Họ vẫn cần xây dựng hoặc mua một nền tảng tài sản gồm cơ sở vật chất, điện, và một chuỗi cung ứng quy mô neocloud, tất cả bị ràng buộc bởi thời gian xây dựng và triển khai điện nhiều năm.
Nebius đã sở hữu các trung tâm dữ liệu và vận hành chuỗi cung ứng GPU của riêng mình. Là một công ty đại chúng, nó cũng có kênh huy động vốn mà các nhà cung cấp tư nhân chỉ có thể tiếp cận qua các vòng gọi vốn lớn lặp lại. Phần còn thiếu của nó là tầng phục vụ. Việc mua lại Eigen AI mang đến phần mềm và một đội ngũ, và một năm tập trung đóng phần lớn khoảng cách phần mềm vì suy luận không có bí mật.
Ngược lại, một nhà cung cấp ưu tiên phần mềm không thể nén lịch trình vật lý theo cùng cách. Kết nối điện, xây dựng, và giao thiết bị tuân theo các lịch trình nhiều năm. Vốn có thể đảm bảo một vị trí trong các hàng đợi đó, nhưng nó không thể biến chúng thành một chu kỳ phát hành phần mềm.
Phần mềm có thể được thêm vào cơ sở tài sản nhanh hơn nhiều so với việc thêm cơ sở tài sản vào một công ty phần mềm. Sự hàng hóa hóa engine giúp các nhà cung cấp tăng trưởng, nhưng nó cũng trang bị cho đối thủ nguy hiểm nhất của họ.
Đối thủ lớn nhất của Together AI, Fireworks và Baseten không phải là một nhà cung cấp khác. Đó là Nebius, tiếp theo là bất kỳ neocloud nào sẵn sàng leo lên stack.
Thay vào đó, giờ kỹ thuật sẽ được dành cho đâu
Kỹ thuật suy luận (inference) vẫn sẽ quan trọng trong các nhà cung cấp, nhưng cách phân bổ của nó sẽ thay đổi. Các engine mã nguồn mở giúp việc phân bổ lại này trở nên khả thi.
Khi nền tảng engine miễn phí được cải thiện, các nhà cung cấp có thể chuyển thời gian kỹ thuật đắt đỏ ra khỏi kernel và runtime. Số giờ đó được dành cho độ tin cậy hạ tầng – thứ mang lại nội dung thực chất cho SLA; trải nghiệm nền tảng – hỗ trợ việc gia hạn; và ngày càng nhiều cho RL. Các đợt triển khai học tăng cường (reinforcement learning) rất tốn tài nguyên suy luận, vì vậy chuyên môn phục vụ được chuyển trực tiếp vào hạ tầng RL cho thị trường hậu huấn luyện đang phát triển.
Các nhà cung cấp không rút lui khỏi công việc kỹ thuật. Độ tin cậy trên một hạ tầng không đồng nhất, khả năng phục hồi nhanh khi chịu tải và triển khai RL hiệu quả là những bài toán hệ thống khó. Lời giải của chúng vẫn gắn chặt với khách hàng và vận hành của nhà cung cấp, nhờ đó hữu ích hơn như một nguồn tạo khác biệt.
Giá trị ở tầng engine không hề biến mất. Mã nguồn mở đã gói nó vào một nền tảng miễn phí, cho phép giá trị kỹ thuật di chuyển vào các hệ thống được xây dựng bên trên. Câu hỏi chiến lược cho hầu hết các công ty không còn là có nên xây dựng engine hay không. Mà là nên dành thời gian mà engine miễn phí tiết kiệm được vào việc gì. Những người hưởng lợi từ công trình mã nguồn mở mang tính hàng hóa công cộng xuất hiện trong lộ trình phát triển của các công ty khác.
Câu chuyện chưa kết thúc
Kết cục vẫn chưa ngã ngũ. Vera Rubin, MI455, LPU và các phần cứng ưu tiên suy luận khác sẽ thiết lập lại danh sách kiểm tra, như mọi lần chuyển đổi phần cứng trước đây từng làm. Mỗi lần thiết lập lại tạm thời mở lại không gian cho sự khác biệt hóa engine thông qua các định dạng số mới, phân cấp bộ nhớ và các đánh đổi về song song hóa. Các kỹ thuật sau đó lan truyền và cánh cửa đóng lại.
Các kiến trúc mô hình và khối lượng công việc mới cũng sẽ tạo ra những cơ hội tương tự. Các tác nhân (agent) với ngữ cảnh tái sử dụng lớn, và RL ở quy mô sản xuất đặt ra những ràng buộc mới. Sự hàng hóa hóa engine là một chu kỳ lặp lại. Khoảng thời gian từ phát minh đến phổ biến đang rút ngắn, nhưng vẫn chưa biến mất.
Trong mỗi cơ hội như vậy, một đội ngũ nhanh nhạy vẫn có thể giành được những hợp đồng đáng kể. Lợi thế tạm thời có giá trị khi chúng xuất hiện cùng với một cuộc chuyển đổi phần cứng hoặc mô hình lớn, bởi vì doanh thu và mối quan hệ khách hàng có thể tồn tại ngay cả sau khi đối thủ đuổi kịp. Điều đã thay đổi là quỹ thời gian để nhận ra và khai thác cơ hội đó.
Các engine và nhà cung cấp vẫn phải đối mặt với hai bài kiểm tra. Bài kiểm tra đầu tiên là tốc độ phản ứng: liệu họ có thể bắt kịp một cuộc chuyển đổi khi lợi thế vẫn còn hiện hữu? Mỗi thế hệ đều bỏ lại những công ty vận hành tốt nhưng đến trễ một chu kỳ phần cứng. Các đội ngũ hành động sớm về disaggregation hoặc kinh tế học NVFP4 của Blackwell đã giành được những lợi thế tạm thời nhưng có tính cộng dồn.
Bài kiểm tra thứ hai là tài chính: liệu họ có thể duy trì biên lợi nhuận trong khi ARR tăng trưởng? Một nhà cung cấp có thể ghi nhận doanh thu nhiều hơn nhưng lại lỗ nhiều hơn nếu mua tăng trưởng bằng năng lực được bán dưới giá. Khi cạnh tranh gay gắt hơn và biên lợi nhuận gộp tiến gần đến kinh tế học hạ tầng, kỷ luật vận hành trở thành điều kiện sống còn. Tỷ lệ sử dụng hạ tầng (fleet utilization), chi phí điện năng, dự báo nhu cầu, lập kế hoạch năng lực, và sự cân bằng giữa doanh thu cam kết và doanh thu theo giá spot sẽ quyết định nhóm người chiến thắng tiếp theo. Huy động hàng tỷ đô la chỉ là khởi đầu; chi tiêu hàng tỷ đô la đó một cách hiệu quả mới là nghệ thuật.
Giá trị trong thị trường này liên tục dịch chuyển: từ mô hình sang engine, từ engine sang phục vụ, và từ phục vụ sang năng lực và điện năng. Nó bỏ lại những tầng đã không còn hào lũy bền vững. Những người chiến thắng tiếp theo sẽ nhận ra sự dịch chuyển trước khi danh sách kiểm tra trở thành kiến thức phổ biến.
