Abbiamo raccolto 355 milioni di dollari dopo essere cresciuti di cinque volte da Settembre, superando i 300 milioni di dollari di fatturato annualizzato. La nostra valutazione è di 4,65 miliardi di dollari post-money in un round guidato da @generalcatalyst e @Redpoint, con @MenloVentures e @Accel che si uniscono come nuovi investitori. Anche tutti i nostri principali investitori esistenti hanno partecipato, raddoppiando la loro fiducia in Modal.
Un nuovo livello infrastrutturale per l'era dell'IA
Abbiamo fondato Modal perché il cloud creato per le applicazioni web tradizionali non sarebbe mai stato adatto ai carichi di lavoro dell'IA. Questo era chiaro per noi prima della rivoluzione GenAI e diventa ancora più vero con l'avanzare dei modelli e delle tecniche.
Modal è un cloud costruito per l'IA. Non un cloud GPU monouso, ma una piattaforma con i giusti primitivi per permettere agli sviluppatori di creare una gamma molto ampia di applicazioni. Oggi, questo si traduce in inferenza elastica a bassa latenza, runtime per agenti dinamici, reinforcement learning, batch job su larga scala, e molto altro.
Dalle API frontiere alla proprietà dei modelli
Dai nativi digitali come DoorDash alle aziende native dell'IA come Reducto, i team che stanno avanzando stanno prendendo possesso dei propri modelli. Stanno facendo fine-tuning con i propri dati, eseguendo RL e ottimizzando l'inferenza per le proprie esigenze di latenza, throughput e costi. Modelli a pesi aperti come DeepSeek, Qwen e altri hanno raggiunto la qualità di produzione, e motori di inferenza come vLLM e SGLang sono maturati insieme a loro. Per la prima volta, l'intero stack per possedere e servire i tuoi modelli è disponibile, senza sacrificare le capacità.
Modal alimenta sia la nostra infrastruttura di reinforcement learning che l'inferenza di produzione. Milioni di sandbox da un lato, serving in tempo reale dall'altro. Tutto sulla stessa piattaforma. — @ScottWu46, CEO @cognition
Decagon è riuscita a raggiungere una latenza p90 di 342ms, ben al di sotto dell'intervallo sub-secondo richiesto per conversazioni naturali con i clienti, offrendo velocità, efficienza e affidabilità a livello enterprise — @DecagonAI
Gli agenti hanno bisogno di ambienti di esecuzione migliori
Nel 2023, abbiamo iniziato a vedere utenti eseguire codice generato dall'IA su Modal. Era chiaro che sarebbe diventata un'esigenza universale, quindi abbiamo costruito Sandbox, ambienti isolati per codice non fidato, come primitiva di prima classe. Ci sono voluti due anni perché l'esplosione avvenisse.
Negli ultimi sei mesi, è diventato chiaro: gli agenti saranno ovunque, e sono molto più potenti quando hanno un runtime in cui operare. DoorDash sta costruendo agenti AI per i commercianti, agenti di codifica come Inspect di Ramp sono autori del 70% delle PR unite, i carichi di lavoro RL eseguono migliaia di ambienti in parallelo, e agenti di auto-ricerca esplorano il web su larga scala. Oltre 1 miliardo di sandbox sono state lanciate su Modal.
Le sandbox sono uno dei mattoni più importanti per il Reinforcement Learning. Modal era chiaramente molto flessibile, strutturato in modo tale da permetterci di costruire questi ambienti complessi, focalizzato sulle prestazioni e l'affidabilità. — @ypatil125 , CEO @appliedcompute
Sarebbe stato molto difficile costruire Inspect senza Modal. Gran parte della complessità è nascosta dietro la possibilità di creare sandbox molto velocemente con molti servizi e dati, e avere effettivamente infinite sandbox in qualsiasi momento. — @rahulgs, Head of Applied AI @tryramp
La forma dell'IA continua ad espandersi
Modal è una piattaforma di calcolo generale costruita per le esigenze sottostanti dei carichi di lavoro IA: calcolo elastico, isolamento sicuro e controllo programmatico. Gli sviluppatori le compongono in applicazioni molto diverse. Physical Intelligence esegue inferenza in tempo reale per robot viventi. Chai Discovery scala pipeline di scoperta di farmaci, dagli embedding proteici alla progettazione di anticorpi. Suno genera milioni di canzoni al giorno, scalando fino a migliaia di GPU e poi tornando quasi a zero. Stesse primitive, forme completamente diverse.
Usiamo Modal per eseguire inferenza edge con overhead <10ms e batch job su larga scala. Il nostro team ama la piattaforma per la potenza e la flessibilità che ci offre. — Brian Ichter, Co-founder @physical_int
Non è solo un risparmio di tempo, è il carico mentale che scompare. Con Modal, aggiungiamo alcuni decoratori a una funzione che dobbiamo scalare, ce ne dimentichiamo, e funzionano e basta — Kevin Wu, ML Researcher at @chaidiscovery
Cosa stiamo costruendo dopo
Abbiamo passato gli ultimi cinque anni ad approfondire la tecnologia, inclusa la costruzione del nostro strato di storage e calcolo da zero. Questo ci ha permesso di ottenere risultati che sembravano impossibili, ad esempio migliorare i cold start di 100x con lo snapshotting GPU, inferenza elastica a bassa latenza a livello globale, e scalare da 0 a 1.000 GPU in minuti (o addirittura secondi!) senza prenotazioni, raggruppando capacità in centinaia di data center in tutto il mondo.
Poiché possediamo l'intero stack, possiamo continuare a costruire su questi vantaggi per offrire un'esperienza sempre migliore agli sviluppatori.
Quella base è ciò che rende possibile la prossima fase. Ecco dove stiamo andando:
Inferenza a bassa latenza su larga scala.
Il livello per l'inferenza di produzione continua a spostarsi, e stiamo raddoppiando su ciò che permette ai team di iterare velocemente: migliori primitive di serving, osservabilità più nitida e investimenti continui nello stack di inferenza aperto. Abbiamo riunito un team di ingegneri dell'inferenza che contribuiscono a Flash Attention, vLLM, SGLang e altro, perché i guadagni in prestazioni dovrebbero tornare alla comunità che costruisce sugli stessi motori.
Unificare il ciclo di training e inferenza.
Il Reinforcement Learning è un problema infrastrutturale difficile. Il training multi-nodo, l'inferenza elastica e le sandbox hanno già supporto di prima classe su Modal, il che rende l'intero ciclo RL un adattamento naturale. I nostri utenti stanno già vedendo risultati efficienti secondo Pareto in qualità, costi, latenza e throughput. Vogliamo rendere l'intero ciclo di vita del training dei modelli, dal primo fine-tune al serving in produzione, accessibile a molti più team.
Il livello di calcolo per gli agenti.
Le sandbox già generano più di un terzo delle nostre entrate, e i clienti continuano a spingerci per di più. Stiamo espandendo la superficie delle Sandbox con nuove capacità e la scala per eseguirne milioni in parallelo. Allo stesso tempo, riconosciamo che lo sviluppo agentico è qui. Modal è codice, il che lo rende già un ottimo posto per far lavorare gli agenti. Continueremo a migliorare qui, iniziando dal rilascio di RBAC granulare in modo che i clienti possano dare capacità agli agenti senza rischi.
Il livello infrastrutturale dell'IA è solo all'inizio. E anche noi.
Se desideri unirti al nostro team di oltre 120 persone tra NY, SF e Stoccolma, dai un'occhiata alle nostre posizioni aperte qui.
