Sandbox đã lỗi thời

Chúng ta đang ở giữa một cuộc tiến hóa của agent. Các agent trở nên vượt trội hơn rõ rệt mỗi năm, và toàn bộ các tech stack đang được định nghĩa lại xung quanh chúng.

Khi chúng tôi khởi động E2B vào năm 2023, các agent gần như chưa hoạt động hiệu quả. Phần lớn mọi người vẫn còn đang tranh luận xem agent thực chất là gì. Việc sử dụng công cụ (tool use) mới chỉ ở những bước sơ khai nhất. GPT-3.5 vừa ra mắt, và một agent có thể thành công trong ba trên mười lần thử, mà thậm chí khi đó cũng chỉ thực hiện được vài bước.

Nhưng khi nó hoạt động, có một điều hiển nhiên: loại phần mềm này cần một kiểu hạ tầng hoàn toàn khác. Các agent cần một môi trường linh hoạt, co giãn, an toàn và đủ mạnh mẽ để không bao giờ kìm hãm chúng khi chúng ngày càng thông minh hơn.

Đó là cách E2B Sandbox ra đời. Chúng tôi không xây dựng nó cho những gì agent có thể làm vào năm 2023. Chúng tôi xây dựng nó cho những gì chúng sẽ làm được tiếp theo.

Làn sóng đầu tiên: Copilot

Làn sóng agentic đầu tiên

Copilot chính là làn sóng agentic đầu tiên. Lúc này, các agent đã bắt đầu hỗ trợ lập trình viên hoàn thiện các đoạn code. Đây cũng là những use case đầu tiên của E2B. Chúng tôi xây dựng một thứ gọi là E2B Code Interpreter, một cách để chạy các đoạn code do AI tạo ra, chuyên biệt cho việc phân tích dữ liệu.

Mọi thứ đều chạy trong một notebook khoa học dữ liệu bên trong một E2B sandbox được cô lập. Chúng tôi trở thành công cụ AI mặc định cho bất kỳ nhà phân tích dữ liệu AI nào.

Làn sóng thứ hai: agent xây dựng ứng dụng

Làn sóng agentic thứ hai

Ngay sau đó, làn sóng thứ hai ập đến. Các agent đã đủ năng lực để vượt ra khỏi phạm vi khoa học dữ liệu và xây dựng toàn bộ ứng dụng web, chẳng hạn như các app React. Đây là thời điểm các agent bắt đầu tận dụng toàn bộ sandbox. So với làn sóng đầu tiên, khả năng của agent đã cải thiện đủ nhiều để chúng không chỉ dừng lại ở các tác vụ phân tích dữ liệu.

Các agent xây dựng và chạy ứng dụng web bên trong một E2B sandbox an toàn, được cô lập, giống hệt cách một lập trình viên phát triển ứng dụng trên máy tính cá nhân của họ.

Lần đầu tiên, các agent có máy tính của riêng mình: những máy ảo được cô lập, khởi tạo theo yêu cầu, chạy được mọi phần mềm Linux và duy trì trạng thái theo thời gian. Việc chạy ứng dụng web nhanh chóng chuyển thành chạy các container Docker, rồi tiến tới các cụm Kubernetes hoàn chỉnh chạy bên trong E2B Sandbox.

Làn sóng thứ ba: agent vận hành máy tính

Làn sóng agentic thứ ba

Làn sóng thứ ba đang diễn ra trong năm nay. Giờ đây, các agent kiểm soát toàn bộ máy tính. Chúng đảm nhận những tác vụ kéo dài xuyên suốt các ngữ cảnh phức tạp và xử lý công việc từ đầu đến cuối.

E2B đã trở thành hạ tầng cốt lõi cho mọi loại agent, chứ không chỉ riêng agent lập trình. Bao gồm cả trợ lý cá nhân, chuyên viên phân tích kinh doanh, trình biên tập video AI, agent công nghệ sinh học, agent bảo mật, hay những agent kể chuyện qua Slides.

E2B sandbox không còn là một chiếc hộp nữa. Một agent trong môi trường production không chỉ cần một nơi để chạy code hay ứng dụng. Nó cần một môi trường vận hành trọn vẹn: bộ lưu trữ chuyên dụng riêng, tường lửa, kết nối mạng giữa các sandbox, khả năng quan sát (observability), CPU và RAM có thể mở rộng tức thì, trình duyệt, lưu trữ secret an toàn, và nhiều hơn thế. Đó không còn là sandbox nữa. Đó là một nền tảng.

Phần lớn ngành công nghiệp vẫn coi sandbox như một mặt hàng phổ thông: một máy ảo khởi động nhanh nằm sau một API, cạnh tranh nhau bằng từng mili giây cold-start và giá tiền trên mỗi giờ vCPU. Đó là câu trả lời đúng cho làn sóng đầu tiên. Nhưng lại là câu trả lời sai cho làn sóng thứ ba.

Trong mỗi làn sóng, hạ tầng luôn phải vươn lên để đáp ứng agent. Đầu tiên là chạy các đoạn code, rồi đến ứng dụng web, sau đó là cụm Kubernetes, và bây giờ là nền tảng production dành cho agent. Những đội ngũ xây dựng sản phẩm cho làn sóng hiện tại thực chất đã chậm một nhịp ngay từ khi họ bắt tay vào làm.

Chúng tôi cho rằng tư duy đó đang đi ngược. Trong tương lai, agent sẽ dẫn dắt mọi thứ. Nó tự quyết định cần những công cụ và tài nguyên nào cho từng tác vụ cụ thể.

Chúng tôi gọi hạ tầng tương lai này là đám mây riêng do agent dẫn dắt.

Bài học từ việc vận hành hàng tỷ agent

Chúng tôi đã vận hành hàng tỷ agent. Điều đó giúp chúng tôi trở thành một trong số ít đội ngũ trên thế giới hiểu rõ các agent thực sự cần gì khi hoạt động ở quy mô lớn.

Hãy mang coding agent hoặc trợ lý AI của bạn đến E2B, và rất có thể chúng tôi sẽ nói cho bạn biết — thậm chí trước khi bạn chạy nó — rằng nó sẽ dùng những công cụ nào, chạy trong bao lâu, mức trung bình và lúc cao điểm là bao nhiêu. Chúng tôi có thể cho bạn biết nó sẽ tiêu thụ bao nhiêu CPU và RAM, cần thêm những dịch vụ nào, và có khả năng gửi những request mạng gì. Qua hàng tỷ lượt chạy, chúng tôi đã trở thành những "nhà phân loại học" đối với công việc của agent.

Hàng tỷ lượt chạy agent tạo ra hàng chục tỷ trace. Đó là những insight cực kỳ giá trị mà bạn chỉ có thể tích lũy được bằng cách vận hành agent trong môi trường production, ở quy mô lớn, trong nhiều năm. Liệu chúng tôi có thể dùng lượng dữ liệu và lợi thế quy mô này để giúp agent của bạn tốt hơn không? Chúng tôi có thể gợi ý cho agent của bạn những công cụ tốt hơn không? Dịch vụ tốt hơn? Cơ sở dữ liệu tốt hơn? Làm sao để agent của bạn bỗng chốc trở nên xuất sắc và hiệu quả hơn gần như chỉ sau một đêm?

Hướng tới đám mây của mọi đám mây

Hạ tầng agentic tương lai

Sandbox, theo cách ngành công nghiệp định nghĩa hôm nay, đã chết.

Tương lai không phải là một sandbox cho agent. Tương lai là một đám mây riêng cho từng agent, được tối ưu hóa tự động cho tác vụ mà agent đang xử lý và thích ứng với bất cứ điều gì agent cần tiếp theo.

Các agent vốn dĩ đã cho chúng ta biết chúng cần gì. Chúng ta chỉ cần tiếp tục đồng hành cùng chúng để xây dựng điều đó, giống như cách chúng ta làm với bất kỳ khách hàng nào khác.