Chúng tôi đã huy động được 355 triệu đô la sau khi tăng trưởng gấp năm lần kể từ tháng 9, vượt qua 300 triệu đô la doanh thu hàng năm. Định giá của chúng tôi đạt 4,65 tỷ đô la sau vòng gọi vốn do @generalcatalyst và @Redpoint dẫn đầu, với @MenloVentures và @Accel tham gia với tư cách nhà đầu tư mới. Tất cả các nhà đầu tư lớn hiện tại của chúng tôi cũng tham gia, khẳng định lại niềm tin vào Modal.
Một tầng cơ sở hạ tầng mới cho kỷ nguyên AI
Chúng tôi tạo ra Modal bởi vì đám mây được xây dựng cho các ứng dụng web truyền thống sẽ không bao giờ phù hợp với khối lượng công việc AI. Điều này rõ ràng với chúng tôi trước cuộc cách mạng GenAI và nó càng trở nên đúng hơn khi các mô hình và kỹ thuật tiến bộ.
Modal là một đám mây được xây dựng cho AI. Không phải là một đám mây GPU đơn mục đích, mà là một nền tảng với các khối xây dựng phù hợp để các nhà phát triển xây dựng một loạt ứng dụng rất rộng. Ngày nay, điều này bao gồm suy luận co giãn độ trễ thấp, thời gian chạy tác tử động, học tăng cường, các tác vụ hàng loạt quy mô lớn, và nhiều hơn nữa.
Từ API tiên phong đến quyền sở hữu mô hình
Từ các công ty kỹ thuật số bản địa như DoorDash đến các công ty AI bản địa như Reducto, những đội đang vươn lên đang nắm quyền sở hữu mô hình của họ. Họ đang tinh chỉnh với dữ liệu riêng, chạy RL, và điều chỉnh suy luận cho nhu cầu về độ trễ, thông lượng và chi phí của riêng họ. Các mô hình trọng số mở từ DeepSeek, Qwen và những hãng khác đã đạt chất lượng sản xuất, và các công cụ suy luận như vLLM và SGLang đã trưởng thành cùng với chúng. Lần đầu tiên, toàn bộ ngăn xếp để sở hữu và phục vụ mô hình của bạn đã sẵn sàng, mà không phải hy sinh năng lực.
Modal hỗ trợ cả cơ sở hạ tầng học tăng cường và suy luận sản xuất. Hàng triệu hộp cát ở một đầu, phục vụ thời gian thực ở đầu kia. Tất cả trên cùng một nền tảng. — @ScottWu46, CEO @cognition
Decagon đã đạt được độ trễ p90 là 342ms, thấp hơn nhiều so với yêu cầu dưới một giây cho các cuộc hội thoại tự nhiên với khách hàng, mang lại tốc độ, hiệu quả và độ tin cậy cấp doanh nghiệp — @DecagonAI
Tác tử cần môi trường thực thi tốt hơn
Vào năm 2023, chúng tôi bắt đầu thấy người dùng chạy mã do AI tạo ra trên Modal. Rõ ràng đây sẽ trở thành một nhu cầu phổ biến, vì vậy chúng tôi đã xây dựng Sandboxes, môi trường biệt lập cho mã không đáng tin cậy, như một khối xây dựng hạng nhất. Phải mất hai năm để sự bùng nổ xảy ra.
Trong sáu tháng qua, điều này trở nên rõ ràng: các tác tử sẽ xuất hiện ở khắp mọi nơi, và chúng mạnh mẽ hơn nhiều khi có thời gian chạy để hoạt động. DoorDash đang xây dựng các tác tử AI cho người bán, các tác tử lập trình như Inspect của Ramp chiếm 70% số PR được hợp nhất, khối lượng công việc RL chạy hàng nghìn môi trường song song, và các tác tử tự động nghiên cứu thu thập dữ liệu web trên quy mô lớn. Hơn 1 tỷ hộp cát đã được khởi chạy trên Modal.
Sandboxes là một trong những khối xây dựng quan trọng nhất cho Học tăng cường. Modal rõ ràng rất linh hoạt, được cấu trúc theo cách mà chúng tôi có thể xây dựng các môi trường phức tạp này, tập trung vào hiệu suất và độ tin cậy. — @ypatil125 , CEO @appliedcompute
Sẽ thực sự rất khó để xây dựng Inspect nếu không có Modal. Phần lớn sự phức tạp được ẩn đi chỉ bằng khả năng khởi chạy các hộp cát rất nhanh với nhiều dịch vụ và dữ liệu, và thực tế có vô số hộp cát tại bất kỳ thời điểm nào. — @rahulgs, Trưởng bộ phận AI Ứng dụng @tryramp
Hình dạng của AI không ngừng mở rộng
Modal là một nền tảng tính toán đa năng được xây dựng cho các nhu cầu cơ bản của khối lượng công việc AI: tính toán co giãn, cô lập an toàn và kiểm soát lập trình. Các nhà phát triển kết hợp chúng thành các ứng dụng rất khác nhau. Physical Intelligence chạy suy luận thời gian thực cho robot trực tiếp. Chai Discovery mở rộng quy mô các quy trình khám phá thuốc từ nhúng protein đến thiết kế kháng thể. Suno tạo ra hàng triệu bài hát mỗi ngày, mở rộng quy mô lên hàng nghìn GPU và trở lại gần như bằng không. Các khối xây dựng giống nhau, hình dạng hoàn toàn khác nhau.
Chúng tôi sử dụng Modal để chạy suy luận biên với độ trễ dưới 10ms và các tác vụ hàng loạt quy mô lớn. Nhóm của chúng tôi yêu thích nền tảng này vì sức mạnh và sự linh hoạt mà nó mang lại. — Brian Ichter, Đồng sáng lập @physical_int
Đó không chỉ là tiết kiệm thời gian, mà còn là chi phí tinh thần biến mất. Với Modal, chúng tôi thêm một vài bộ trang trí vào một hàm cần mở rộng, quên chúng đi, và chúng tự hoạt động — Kevin Wu, Nhà nghiên cứu ML tại @chaidiscovery
Những gì chúng tôi sẽ xây dựng tiếp theo
Chúng tôi đã dành năm năm qua để đi rất sâu vào công nghệ, bao gồm xây dựng lớp lưu trữ và tính toán của riêng mình từ đầu. Điều này đã cho phép chúng tôi đạt được những kết quả dường như không thể, ví dụ như cải thiện khởi động nguội lên 100 lần với chụp nhanh GPU, suy luận co giãn độ trễ thấp trên toàn cầu, và mở rộng từ 0 lên 1.000 GPU trong vài phút (hoặc thậm chí vài giây!) mà không cần đặt trước bằng cách tổng hợp công suất ở hàng trăm trung tâm dữ liệu trên khắp thế giới.
Bởi vì chúng tôi sở hữu toàn bộ ngăn xếp, chúng tôi có thể tiếp tục xây dựng trên những lợi thế đó để mang đến trải nghiệm ngày càng tốt hơn cho các nhà phát triển.
Nền tảng đó là thứ làm cho giai đoạn tiếp theo trở nên khả thi. Đây là hướng đi của chúng tôi:
Suy luận độ trễ thấp ở quy mô lớn.
Tiêu chuẩn cho suy luận sản xuất không ngừng thay đổi, và chúng tôi đang tăng cường đầu tư vào những điều giúp các đội lặp lại nhanh chóng: các khối xây dựng phục vụ tốt hơn, khả năng quan sát sắc nét hơn, và tiếp tục đầu tư vào ngăn xếp suy luận mở. Chúng tôi đã tập hợp một đội ngũ kỹ sư suy luận đóng góp cho Flash Attention, vLLM, SGLang, và nhiều hơn nữa, bởi vì những cải thiện về hiệu suất nên quay trở lại cộng đồng đang xây dựng trên cùng các công cụ đó.
Thu hẹp vòng lặp huấn luyện và suy luận.
Học tăng cường là một vấn đề cơ sở hạ tầng khó. Huấn luyện đa nút, suy luận co giãn và hộp cát đã có hỗ trợ hạng nhất trên Modal, điều này làm cho toàn bộ vòng lặp RL trở nên phù hợp tự nhiên. Người dùng của chúng tôi đã thấy kết quả tối ưu Pareto về chất lượng, chi phí, độ trễ và thông lượng. Chúng tôi muốn làm cho toàn bộ vòng đời huấn luyện mô hình, từ lần tinh chỉnh đầu tiên đến phục vụ sản xuất, trở nên dễ tiếp cận với nhiều đội ngũ hơn.
Lớp tính toán cho các tác tử.
Hộp cát đã đóng góp hơn một phần ba doanh thu của chúng tôi, và khách hàng liên tục yêu cầu nhiều hơn. Chúng tôi đang mở rộng bề mặt của Sandboxes với các khả năng mới và quy mô để chạy hàng triệu sandboxes song song. Đồng thời, chúng tôi nhận thấy sự phát triển của tác tử đã đến. Modal là mã, điều này làm nó trở thành một nơi tuyệt vời để các tác tử làm việc. Chúng tôi sẽ tiếp tục cải thiện ở đây, bắt đầu bằng việc phát hành RBAC chi tiết để khách hàng có thể trao quyền cho tác tử mà không gặp rủi ro.
Tầng cơ sở hạ tầng AI chỉ mới bắt đầu. Chúng tôi cũng vậy.
Nếu bạn muốn gia nhập đội ngũ hơn 120 thành viên của chúng tôi tại NY, SF và Stockholm, hãy xem các vị trí tuyển dụng của chúng tôi tại đây.
