La narrazione dominante al momento è che l'open source stia conquistando il mondo enterprise. Il divario di capacità tra i migliori modelli chiusi e quelli aperti si è ridotto a pochi punti percentuali. Un terzo delle aziende Fortune 500 ha account verificati su Hugging Face, i laboratori cinesi rilasciano modelli quasi all'avanguardia con pesi aperti ogni poche settimane, e i provider di inferenza stanno macinando risultati.
Nel frattempo, in Decagon, ora eseguiamo circa il 90% dei nostri carichi di lavoro su modelli open source invece che su OpenAI o Anthropic. Questo è in linea con la maggior parte delle aziende in forte crescita e vediamo che anche le grandi imprese con cui collaboriamo si stanno muovendo in questa direzione.
Eppure, la spesa complessiva delle aziende si sta muovendo nella direzione opposta. I modelli open source sono scesi all'11% della spesa enterprise per LLM, rispetto al 19% di un anno fa.
La tendenza sta effettivamente andando nella direzione opposta rispetto alla narrazione popolare. Perché accade questo e cosa significa per il futuro?
Prima di tutto, un po' di contesto sul perché siamo al 90% open source. Non è stato per il costo, e nemmeno perché i nostri clienti lo richiedevano (anche se a loro non dispiace). È stato perché non avevamo altra scelta.
Quando gestisci agenti AI in produzione per il servizio clienti, la latenza determina il successo o il fallimento del prodotto. Una conversazione in cui ogni scambio richiede 8 secondi non è un prodotto che nessuno userà. Quindi hai bisogno di modelli piccoli e veloci. Ogni chiamata del modello non ha bisogno di sapere qual è la capitale della Lituania o la fisica del liceo.
Ma i modelli piccoli pronti all'uso non sono abbastanza buoni per lo standard di qualità a cui i nostri clienti ci tengono. Ci arrivano solo attraverso un pesante fine-tuning sul compito esatto. I laboratori all'avanguardia non offrono realmente questa combinazione. Non puoi fare fine-tuning dei loro migliori modelli nel modo in cui ne abbiamo bisogno, e i loro modelli piccoli non sono nostri da modellare. Piccolo + fine-tuning significa pesi aperti. I risparmi sui costi sono reali ma secondari, e il comfort delle aziende con modelli self-hosted è un piacevole effetto collaterale, non la ragione principale.
Allora perché un'azienda come la nostra è al 90% open source mentre il numero complessivo delle imprese sta scendendo?
La risposta è la maturità del caso d'uso. Quando un caso d'uso è nuovo, vuoi il modello generico più intelligente che puoi ottenere. Non conosci ancora la forma del problema, quindi paghi un premio per un'intelligenza che potresti non aver bisogno alla fine. È il compromesso giusto in quella fase. Ma una volta che il caso d'uso è completamente sviluppato, quando conosci la distribuzione degli input, i comportamenti di cui hai bisogno e le modalità di fallimento da prevenire, il compromesso si inverte. Ora l'intelligenza generica è un costo aggiuntivo, e vuoi il modello più piccolo e veloce, fine-tuned per fare la tua cosa specifica in modo eccezionale.
Il servizio clienti è uno dei casi d'uso AI più ovvi nel settore. Flussi di lavoro ben compresi, volume enorme di conversazioni, standard di qualità rigorosi. Il che significa che aziende come la nostra sono semplicemente più avanti lungo la curva rispetto alla media delle implementazioni enterprise.
E questa è la risoluzione del paradosso. Il motivo per cui la quota dell'open source è diminuita non è che l'open source stia perdendo. È che l'AI enterprise nel suo complesso è all'inizio della curva di maturità. L'anno scorso le aziende hanno smesso di costruire e hanno iniziato ad acquistare, e migliaia di nuovi casi d'uso sono stati avviati contemporaneamente. I nuovi casi d'uso girano su modelli all'avanguardia, quindi la quota dei modelli chiusi è esplosa. L'11% è un problema di denominatore: il pool di casi d'uso immaturi sta crescendo più velocemente del pool di quelli maturi.
Se è così, allora ogni caso d'uso che oggi viene prototipato su un modello all'avanguardia è una futura migrazione verso l'open source. Man mano che le implementazioni maturano, le aziende faranno quello che abbiamo fatto noi: distillare, fare fine-tuning, specializzare. I laboratori all'avanguardia continueranno a possedere la fase di scoperta. L'open source possederà sempre più la produzione.
Tuttavia, questo richiederà più tempo di quanto si pensi. La maggior parte dei casi d'uso non è ancora al punto in cui la "forma" dell'agente è finalizzata in modo tale che abbia senso iniziare a fare fine-tuning di modelli open source.
Il fine-tuning richiede impegno, e la maggior parte delle organizzazioni non ha le risorse o le competenze per farlo. Il caso d'uso dovrebbe avere un ROI molto alto ed essere già completamente implementato su larga scala perché valga la pena. Hai anche bisogno di dati sufficienti per assicurarti che i modelli più piccoli possano performare allo stesso livello di quelli all'avanguardia su un dato compito.
Altrimenti, è molto più semplice collegare uno dei modelli chiusi all'avanguardia. Non devi preoccuparti di possedere alcuna infrastruttura e hai la libertà di iterare e sperimentare liberamente.
Pertanto, la quota della spesa per LLM sull'open source alla fine aumenterà, ma non accadrà per molti anni.
