We’ve raised $355 million after growing fivefold since September, surpassing $300 million in annualized revenue. Our valuation is $4.65B post-money in a round led by @generalcatalyst and @Redpoint, with @MenloVentures and @Accel joining as new investors. All our existing major investors participated as well, doubling down on their conviction in Modal.
AI çağı için yeni bir altyapı katmanı
Modal'ı, geleneksel web uygulamaları için inşa edilmiş bulutun AI iş yüklerine asla uymayacağını bildiğimiz için kurduk. Bu, GenAI devriminden önce bile bizim için açıktı ve modeller ve teknikler geliştikçe daha da doğru hale geliyor.
Modal, AI için inşa edilmiş bir buluttur. Tek amaçlı bir GPU bulutu değil, geliştiricilerin çok çeşitli uygulamalar oluşturması için doğru ilkellere sahip bir platform. Bugün bu, düşük gecikmeli elastik çıkarım, dinamik ajan çalışma zamanları, pekiştirmeli öğrenme, devasa ölçekte toplu işler ve çok daha fazlası anlamına geliyor.
Öncü API'lerden model sahipliğine
DoorDash gibi dijital yerlilerden Reducto gibi AI odaklı şirketlere kadar, öne çıkan ekipler modellerinin sahipliğini üstleniyor. Kendi verileriyle ince ayar yapıyor, RL çalıştırıyor ve çıkarımı kendi gecikme, verim ve maliyet ihtiyaçlarına göre ayarlıyorlar. DeepSeek, Qwen ve diğerlerinden gelen açık ağırlıklı modeller üretim kalitesine ulaştı ve vLLM ve SGLang gibi çıkarım motorları da onlarla birlikte olgunlaştı. İlk kez, yetenekten ödün vermeden modellerinize sahip olmak ve onları sunmak için tam yığın mevcut.
Modal, hem pekiştirmeli öğrenme altyapımızı hem de üretim çıkarımını güçlendiriyor. Bir uçta milyonlarca sanal kutu, diğer uçta gerçek zamanlı sunum. Hepsi aynı platformda. — @ScottWu46, CEO @cognition
Decagon, doğal müşteri konuşmaları için gereken saniye altı aralığın oldukça altında olan 342ms'lik bir p90 gecikmesi elde ederek hız, verimlilik ve kurumsal ölçekte güvenilirlik sundu — @DecagonAI
Ajanların daha iyi çalıştırma ortamlarına ihtiyacı var
2023'te kullanıcıların Modal'da AI tarafından oluşturulmuş kod çalıştırdığını görmeye başladık. Bunun evrensel bir ihtiyaç haline geleceği açıktı, bu yüzden güvenilmeyen kod için izole ortamlar olan Sandboxes'ı birinci sınıf bir ilkel olarak inşa ettik. Patlamanın gerçekleşmesi iki yıl sürdü.
Son altı ayda şu netleşti: ajanlar her yerde olacak ve çalışacakları bir çalışma zamanına sahip olduklarında çok daha güçlü olacaklar. DoorDash, tüccarlar için AI ajanları oluşturuyor, Ramp'ın Inspect gibi kodlama ajanları birleştirilen PR'ların %70'ini yazıyor, RL iş yükleri binlerce ortamı paralel olarak çalıştırıyor ve otomatik araştırma ajanları büyük ölçekte web'de gezinme yapıyor. Modal'da 1 milyarın üzerinde sanal kutu başlatıldı.
Sandbox'lar, Pekiştirmeli Öğrenme için en önemli yapı taşlarından biridir. Modal'ın çok esnek olduğu, bu karmaşık ortamları oluşturabileceğimiz şekilde yapılandırıldığı ve performans ile güvenilirliğe odaklandığı açıktı. — @ypatil125, CEO @appliedcompute
Inspect'i Modal olmadan oluşturmak gerçekten çok zor olurdu. Karmaşıklığın büyük bir kısmı, birçok hizmet ve veriyle çok hızlı bir şekilde sanal kutular başlatabilmenin ve herhangi bir zamanda etkin bir şekilde sınırsız sayıda sanal kutuya sahip olmanın arkasında gizlidir. — @rahulgs, Baş Uygulamalı AI Sorumlusu @tryramp
AI'nın şekli genişlemeye devam ediyor
Modal, AI iş yüklerinin temel ihtiyaçları için inşa edilmiş genel bir bilgi işlem platformudur: elastik bilgi işlem, güvenli izolasyon ve programatik kontrol. Geliştiriciler bunları çok farklı uygulamalarda birleştiriyor. Physical Intelligence, canlı robotlar için gerçek zamanlı çıkarım çalıştırıyor. Chai Discovery, ilaç keşif hatlarını protein gömme işlemlerinden antikor tasarımına kadar ölçeklendiriyor. Suno, günde milyonlarca şarkı üretiyor, binlerce GPU'ya ölçekleniyor ve tekrar sıfıra yakın seviyeye dönüyor. Aynı ilkeller, tamamen farklı şekiller.
Modal'ı, %10ms'nin altında gecikmeyle uç çıkarım ve büyük ölçekte toplu işler çalıştırmak için kullanıyoruz. Ekibimiz, bize sağladığı güç ve esneklik için platformu seviyor. — Brian Ichter, Kurucu Ortak @physical_int
Bu sadece bir zaman tasarrufu değil, aynı zamanda ortadan kalkan zihinsel yük. Modal ile ölçeklendirmemiz gereken bir fonksiyona birkaç dekoratör ekliyoruz, onları unutuyoruz ve çalışmaya devam ediyorlar — Kevin Wu, ML Araştırmacısı @chaidiscovery
Sırada ne inşa ediyoruz
Son beş yılı, kendi depolama ve bilgi işlem katmanımızı sıfırdan inşa etmek de dahil olmak üzere teknolojiye çok derinlemesine dalarak geçirdik. Bu, imkansız görünen sonuçlara ulaşmamızı sağladı; örneğin GPU anlık görüntüleme ile soğuk başlangıçları 100 kat iyileştirmek, küresel olarak elastik düşük gecikmeli çıkarım ve dünyanın dört bir yanındaki yüzlerce veri merkezinde kapasiteyi birleştirerek rezervasyon olmadan dakikalar (hatta saniyeler!) içinde 0'dan 1.000 GPU'ya ölçeklenmek.
Tam yığına sahip olduğumuz için, bu avantajların üzerine inşa etmeye ve geliştiricilere giderek daha iyi bir deneyim sunmaya devam edebiliriz.
Bu temel, bir sonraki aşamayı mümkün kılıyor. İşte gittiğimiz yer:
Ölçekte düşük gecikmeli çıkarım.
Üretim çıkarımı için çıta sürekli yükseliyor ve ekiplerin hızlı yineleme yapmasını sağlayan şeylere odaklanıyoruz: daha iyi sunum ilkelleri, daha keskin gözlemlenebilirlik ve açık çıkarım yığınına sürekli yatırım. Flash Attention, vLLM, SGLang ve daha fazlasına katkıda bulunan bir çıkarım mühendisleri ekibi oluşturduk çünkü performans kazanımları, aynı motorlar üzerinde inşa eden topluluğa geri dönmeli.
Eğitim ve çıkarım döngüsünü birleştirmek.
Pekiştirmeli Öğrenme zor bir altyapı sorunudur. Çok düğümlü eğitim, elastik çıkarım ve sanal kutular Modal'da zaten birinci sınıf desteğe sahiptir ve bu da tam RL döngüsünü doğal bir uyum haline getirir. Kullanıcılarımız şimdiden kalite, maliyet, gecikme ve verimde Pareto-verimli sonuçlar görüyor. İlk ince ayardan üretim sunumuna kadar eksiksiz model eğitim yaşam döngüsünü çok daha fazla ekibin erişimine sunmak istiyoruz.
Ajanlar için bilgi işlem katmanı.
Sandbox'lar zaten gelirimizin üçte birinden fazlasını oluşturuyor ve müşteriler bizi daha fazlası için zorlamaya devam ediyor. Yeni yetenekler ve milyonlarcasını paralel olarak çalıştırma ölçeğiyle Sandbox yüzey alanını genişletiyoruz. Aynı zamanda, ajan geliştirme çağının geldiğini kabul ediyoruz. Modal koddur ve bu da onu ajanların çalışması için harika bir yer haline getiriyor. Burada iyileştirmeye devam edeceğiz, müşterilerin risk almadan ajanlara yetenek verebilmesi için ayrıntılı RBAC göndererek başlayacağız.
AI altyapı katmanı daha yeni başlıyor. Biz de öyle.
NY, SF ve Stockholm'deki 120+ kişilik ekibimize katılmak isterseniz, açık pozisyonlarımıza buradan göz atabilirsiniz.
