Câu chuyện phổ biến hiện nay là mã nguồn mở đang "ăn" dần doanh nghiệp. Khoảng cách năng lực giữa các mô hình đóng tốt nhất và mô hình mở đã thu hẹp xuống chỉ còn vài phần trăm. Một phần ba trong danh sách Fortune 500 có tài khoản đã xác minh trên Hugging Face, các phòng thí nghiệm Trung Quốc đang tung ra các mô hình tiên tiến với trọng số mở vài tuần một lần, và các nhà cung cấp dịch vụ suy luận đang hoạt động rất mạnh.
Trong khi đó, tại Decagon, chúng tôi hiện đang chạy khoảng 90% khối lượng công việc trên các mô hình mã nguồn mở thay vì OpenAI hay Anthropic. Điều này phù hợp với hầu hết các công ty ứng dụng đang tăng trưởng nhanh và chúng tôi cũng thấy các doanh nghiệp lớn mà chúng tôi hợp tác đang chuyển hướng theo cách này.
Tuy nhiên, tổng chi tiêu của doanh nghiệp lại đang đi theo hướng ngược lại. Các mô hình mã nguồn mở chỉ chiếm 11% chi tiêu cho LLM của doanh nghiệp, giảm từ mức 19% của một năm trước.
Xu hướng thực tế đang đi ngược lại so với câu chuyện phổ biến. Tại sao lại như vậy và điều này có ý nghĩa gì cho tương lai?
Đầu tiên, hãy xem xét bối cảnh tại sao chúng tôi lại sử dụng 90% mã nguồn mở. Không phải vì chi phí, và cũng không phải vì khách hàng yêu cầu (mặc dù họ không phản đối). Mà là vì chúng tôi không có lựa chọn nào khác.
Khi bạn đang chạy các tác nhân AI trong sản xuất cho dịch vụ khách hàng, độ trễ có thể quyết định sự thành bại của sản phẩm. Một cuộc trò chuyện mà mỗi lượt tương tác mất 8 giây sẽ không phải là sản phẩm mà ai cũng muốn sử dụng. Vì vậy, bạn cần các mô hình nhỏ, nhanh. Mỗi lần gọi mô hình không cần phải biết thủ đô của Lithuania hay kiến thức vật lý phổ thông.
Nhưng các mô hình nhỏ ngay khi xuất xưởng không đủ tốt để đáp ứng tiêu chuẩn chất lượng mà khách hàng của chúng tôi yêu cầu. Chúng chỉ đạt được điều đó thông qua việc tinh chỉnh (fine-tuning) sâu cho đúng nhiệm vụ cụ thể. Các phòng thí nghiệm tiên tiến không thực sự bán sự kết hợp này. Bạn không thể tinh chỉnh các mô hình tốt nhất của họ theo cách chúng tôi cần, và các mô hình nhỏ của họ không phải là của chúng tôi để định hình. Nhỏ + tinh chỉnh có nghĩa là trọng số mở. Tiết kiệm chi phí là có thật nhưng chỉ là thứ yếu, và sự thoải mái của doanh nghiệp với các mô hình tự lưu trữ là một tác dụng phụ tốt đẹp, chứ không phải là lý do chính.
Vậy tại sao một công ty như chúng tôi lại sử dụng 90% mã nguồn mở trong khi con số chung của doanh nghiệp lại đang giảm?
Câu trả lời nằm ở độ chín của trường hợp sử dụng. Khi một trường hợp sử dụng còn mới, bạn muốn có mô hình đa năng thông minh nhất có thể. Bạn chưa biết hình dạng của vấn đề, vì vậy bạn trả một khoản phí cao cho trí thông minh mà cuối cùng bạn có thể không cần đến. Đó là sự đánh đổi đúng đắn ở giai đoạn đó. Nhưng một khi trường hợp sử dụng đã được xây dựng hoàn chỉnh, khi bạn biết phân phối đầu vào, các hành vi bạn cần và các chế độ lỗi cần phòng tránh, thì sự đánh đổi sẽ thay đổi. Lúc này, trí thông minh đa năng trở thành chi phí chung, và bạn muốn mô hình nhỏ nhất, nhanh nhất được tinh chỉnh để thực hiện công việc cụ thể của bạn một cách xuất sắc.
Dịch vụ khách hàng tình cờ là một trong những trường hợp sử dụng AI rõ ràng nhất trong ngành. Quy trình làm việc được hiểu rõ, khối lượng hội thoại khổng lồ, tiêu chuẩn chất lượng chặt chẽ. Điều đó có nghĩa là các công ty như chúng tôi chỉ đơn giản là đi xa hơn trên đường cong so với triển khai doanh nghiệp trung bình.
Và đó là lời giải cho nghịch lý. Lý do thị phần mã nguồn mở giảm không phải vì mã nguồn mở đang thua. Mà là vì AI doanh nghiệp nói chung đang ở giai đoạn đầu của đường cong trưởng thành. Năm ngoái, các doanh nghiệp ngừng xây dựng và bắt đầu mua, và hàng nghìn trường hợp sử dụng hoàn toàn mới được khởi động cùng một lúc. Các trường hợp sử dụng mới chạy trên các mô hình tiên tiến, vì vậy thị phần đóng bùng nổ. Con số 11% là một vấn đề về mẫu số: nhóm các trường hợp sử dụng chưa trưởng thành đang phát triển nhanh hơn nhóm các trường hợp đã trưởng thành.
Nếu điều đó đúng, thì mọi trường hợp sử dụng đang được tạo mẫu trên một mô hình tiên tiến ngày hôm nay đều là một cuộc di cư tiềm năng sang mã nguồn mở trong tương lai. Khi các triển khai trưởng thành, các công ty sẽ làm những gì chúng tôi đã làm: chưng cất, tinh chỉnh, chuyên biệt hóa. Các phòng thí nghiệm tiên tiến sẽ tiếp tục sở hữu giai đoạn khám phá. Mã nguồn mở sẽ ngày càng sở hữu giai đoạn sản xuất.
Tuy nhiên, điều này sẽ mất nhiều thời gian hơn mọi người nghĩ. Hầu hết các trường hợp sử dụng chỉ chưa đến điểm mà "hình dạng" của tác nhân được hoàn thiện để có ý nghĩa bắt đầu tinh chỉnh các mô hình mã nguồn mở.
Tinh chỉnh đòi hỏi nỗ lực, và hầu hết các tổ chức không có đủ nguồn lực hoặc chuyên môn để thực hiện. Trường hợp sử dụng phải có ROI rất cao và đã được triển khai đầy đủ ở quy mô lớn thì mới đáng để làm. Bạn cũng cần đủ dữ liệu để đảm bảo các mô hình nhỏ hơn có thể hoạt động ở cùng cấp độ với các mô hình tiên tiến cho một nhiệm vụ nhất định.
Nếu không, sẽ dễ dàng hơn nhiều khi chỉ cần cắm một trong các mô hình nguồn đóng tiên tiến. Bạn không phải lo lắng về việc sở hữu bất kỳ cơ sở hạ tầng nào và bạn có quyền tự do lặp lại và thử nghiệm một cách thoải mái.
Do đó, tỷ trọng chi tiêu cho LLM trên mã nguồn mở cuối cùng sẽ tăng lên, nhưng điều đó sẽ không xảy ra trong nhiều năm nữa.
