Stiamo iniziando a vedere cosa succede quando un'azienda impara a gestirsi da sola.
Negli ultimi sei mesi, gli ingegneri di Replit hanno quasi triplicato la produzione di codice. I tempi di revisione sono rimasti stabili. Le inversioni di codice (revert) e gli incidenti di prodotto sono rimasti invariati. I parametri di qualità sono migliorati e i rilasci hanno accelerato. Tutti i tipici compromessi che ci si potrebbe aspettare non si sono verificati.
Sebbene il codice sia la parte visibile, ciò che accade in superficie è molto più interessante.
Gli agenti ora indagano sugli incidenti di produzione, revisionano le pull request, rispondono a domande, analizzano dati aziendali, smistano i ticket di supporto, ricercano account di vendita e migliorano i sistemi che alimentano Replit Agent stesso.
Sembra quasi un'unica intelligenza maestra che attraversa ogni dipendente, anche se non lo è. È un sistema in espansione di agenti che operano in tutta l'azienda: ricevono obiettivi dalle persone, raccolgono contesto, svolgono lavoro, verificano i risultati e passano il compito a un essere umano quando è necessario un giudizio.
Crediamo che questo rappresenti l'inizio di un nuovo tipo di organizzazione: l'azienda a guida autonoma.
Un'azienda a guida autonoma non è un'azienda senza persone. Le persone scelgono ancora la destinazione. Decidono quali problemi contano, fanno compromessi difficili, esercitano il buon gusto e si assumono la responsabilità del risultato.
Ma, sempre più spesso, non eseguono ogni singolo passo necessario per arrivarci.
Il cambiamento è iniziato alla fine dello scorso anno. Come molte persone che lavorano nell'AI, siamo tornati dalle vacanze di Natale con la sensazione che qualcosa di fondamentale fosse cambiato. I modelli potevano sostenere il lavoro su orizzonti temporali molto più lunghi.
Compiti che avevano fallito ripetutamente, come lo smistamento degli alert e l'analisi delle cause profonde, hanno iniziato a funzionare. L'AI ha iniziato a risolvere alcuni dei nostri bug più ostinati. Così abbiamo smesso di trattare gli agenti come strumenti che vivono all'interno di un editor o di una chat. Li abbiamo intrecciati, con cura, nel tessuto stesso dell'azienda.
Una volta che l'ingegneria ha dimostrato il valore, l'adozione ha preso vita propria. Team dopo team hanno iniziato a delegare il lavoro più noioso, recuperando tempo per il pensiero strategico e creativo che fa davvero muovere il business. Le persone non si sentono automatizzate. Si sentono promosse.
Questa è la storia di come l'AI ha completamente cambiato il modo in cui lavoriamo in Replit.
L'ingegneria ha visto per prima l'impatto
A fine gennaio abbiamo attivato l'infrastruttura per sperimentare rapidamente con casi d'uso interni degli agenti. Abbiamo sfruttato il nostro agent harness, le microVM e l'infrastruttura di filesystem remoto in modo che qualsiasi ingegnere potesse orchestrare sciami di agenti in parallelo. Poi abbiamo bloccato il tutto dietro policy di accesso, proxy di token, log di audit e la nostra rete ZeroTrust. A quel punto ci siamo sentiti sicuri di dare all'agente accesso a tutti gli strumenti che usiamo per fare il nostro lavoro: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk e altro ancora.
Con il contesto tra i vari sistemi, abbiamo visto un balzo in avanti nella produttività. Esperimenti che in precedenza fallivano sono diventati facili. L'impatto più immediato è stato nelle statistiche del codice.
Eravamo nella settimana di sprint che precedeva il rilascio di Agent 4 a marzo, dove di solito vediamo un grande picco. Le riunioni scompaiono, l'ambito è noto e l'ingegneria entra in modalità pura esecuzione (spesso per 16 ore al giorno). Ma questa volta era diverso. La nostra curva di produttività ha iniziato a piegarsi verso l'alto in un modo che nessuno di noi aveva mai visto, e questo può essere ricondotto all'adozione del nostro nuovo sistema agentico interno. Da inizio gennaio a fine giugno, c'è stato un aumento di 5,8 volte delle righe di codice contribuite.
Righe di codice modificate a settimana, flussi di lavoro esistenti vs. nuovi con agenti
Parte di questo aumento può essere attribuito a buone assunzioni. Il nostro nuovo agente accelera il tempo di produttività, il che è fantastico, ma possiamo rimuovere l'effetto delle assunzioni per dati più puliti. Mantenendo una coorte consistente di autori, vediamo 2,9 volte più codice rispetto a prima. Tradizionalmente, è considerato eccellente mantenere la produzione per ingegnere costante mentre si scala un team. Noi abbiamo triplicato il tasso per ingegnere raddoppiando al contempo il team.
Potreste chiedervi chi revisiona tutto questo nuovo codice e se abbiamo creato un nuovo collo di bottiglia nel processo di revisione. La latenza della nostra revisione del codice è piatta, in gran parte perché abbiamo messo il nostro agente a lavorare nella revisione del codice. Ora è in grado di valutare i livelli di rischio e chiamare un secondo revisore umano solo quando necessario. Ciò significa che il 30% (e in crescita) del tempo di revisione umana delle PR è stato risparmiato.
Con il nostro agente che scrive e revisiona più codice, dovremmo preoccuparci della qualità. Se guardiamo ai tassi di revert delle PR (a sinistra) e agli incidenti aperti, le tendenze sono piatte. Questo significa che stiamo effettivamente migliorando in termini relativi.
Una ragione è che anche questi processi sono assistiti da agenti. Le revisioni umane del codice beneficiano di un co-revisore agentico, quindi più bug vengono individuati. Le indagini sugli incidenti (bug significativi o incidenti reali) sono assistite da un agente che tenta di trovare la causa principale, quindi il tempo medio di mitigazione (MTTM) sta diminuendo.
Il test finale è se gli input di codice aggiuntivi rappresentano un valore reale in output. Alla fine della giornata, l'ingegneria fornisce funzionalità per gli utenti. Tracciamo i progetti in Linear in modo che i team di vendita e marketing sappiano quando comunicare con gli utenti riguardo alle nuove funzionalità. Potete vedere che il tasso di completamento dei progetti è nettamente aumentato insieme al nostro volume di codice.
Un team di ingegneria a guida autonoma può spedire di più, aumentando allo stesso tempo la qualità.
Il nostro agente di agenti sta abilitando l'ingegneria a loop su larga scala
Ingrandendo, abbiamo un'idea di come appare. Quando gli ingegneri trovano modi per generare loop, inviando una flotta di agenti a completare un compito verificabile, vediamo il cambiamento più drammatico. Ogni dipendente ha accesso a un agente manager che può generare più agenti, consentendo l'orchestrazione di agenti che lavorano in loop per tuo conto. I loop hanno prodotto grafici PR molto particolari, come questi:
Un ingegnere ha completato una migrazione a lungo bloccata del nostro sistema CSS e ha condiviso i suoi apprendimenti. Un altro ingegnere ha automatizzato una migrazione che ci ha permesso di localizzare il prodotto. Un altro ancora ha automatizzato la manutenzione dei test instabili. Il nostro CTO ha finalmente risolto uno dei nostri bug di rete più difficili relativo a PSC e arresto del file descriptor con uno sciame di agenti. Tutte le nostre supposizioni su ciò che è possibile sono cambiate.
L'esempio di guida autonoma più entusiasmante viene dal nostro team AI. Hanno costruito un sistema di apprendimento continuo che analizza il feedback degli utenti, propone miglioramenti e utilizza una combinazione di benchmark e test A/B per convalidare i risultati. Replit Agent si sta auto-migliorando!
Il dibattito costruire vs. comprare è cambiato
Il nostro nuovo agente interno ha anche cambiato le conversazioni sul fatto di costruire o comprare software. Proviamo regolarmente nuovi strumenti AI. Acquistare soluzioni può aiutarci ad andare più veloci, e valutiamo costantemente il mercato. Ma più costruiamo, meno avremo bisogno di farlo. Il nostro agente interno ora supera i prodotti che testiamo e che sono considerati leader di mercato. Abbiamo appena cancellato una soluzione SaaS da sette cifre perché la nostra app interna, costruita interamente in Replit, era superiore e i dipendenti erano già migrati.
All'improvviso, gli strumenti sembrano fatti per noi. L'integrazione profonda con le nostre basi di conoscenza e la personalizzazione che abbiamo fatto rendono le altre soluzioni inferiori.
Ciò che ci ha sorpreso di più è stato che il nostro agente interno ha anche superato prodotti verticali specifici che abbiamo valutato. Uno strumento per aiutare gli ingegneri a smistare gli alert e analizzare le cause profonde degli incidenti è tornato con una qualità simile ma a un costo 10 volte superiore per eseguirlo sul nostro agente. Uno strumento che esegue test di penetrazione automatizzati ha trovato meno vulnerabilità della nostra versione interna a un costo 10 volte superiore. Entrambe le nostre versioni sono state messe in produzione con facilità, riducendo il MTTM negli incidenti e rafforzando i sistemi critici contro gli attacchi.
Con quanto stiamo ancora imparando e con quanto i modelli stanno migliorando, è chiaro che questo è solo l'inizio.
Oltre l'ingegneria e in tutta l'azienda
Un'azienda a guida autonoma non si ferma all'ingegneria. Ogni funzione in Replit sta cambiando.
L'uso si è diffuso rapidamente al di fuori dell'ingegneria, principalmente grazie a un'interfaccia Slack. Il resto dell'azienda ha notato gli ingegneri che assegnavano compiti al nostro agente e ha provato a farlo da sola. Inizialmente, il caso d'uso più popolare era fare domande. Combinando la nostra base di conoscenze con lo stato del codebase, chiunque poteva chiarire le aspettative sul prodotto senza aspettare il contributo dell'ingegneria. Quei dipendenti potevano poi correggere testi o documentazione come follow-up. È stato un immediato impulso nella capacità di rispondere più velocemente agli utenti.
Ma quello era solo l'inizio. Da lì, sono iniziati ad arrivare contributi di nuove competenze e integrazioni da tutte le parti dell'azienda.
Il primo grande passo avanti è arrivato dal nostro team data. Hanno dato all'agente un livello semantico sopra il nostro data warehouse, in modo che sappia quali tabelle sono fonti di verità e come si relazionano tra loro.
Ora chiunque in Replit può fare domande di business intelligence e ottenere una risposta affidabile. Possono creare grafici e presentazioni da dati live (inclusi tutti i grafici di questo post). Il team data dedica il suo tempo ad approfondire i problemi più difficili, invece di gestire le richieste. Di recente, un PM è stato in grado di auto-assistere un'analisi complessa di lancio perché il nostro agente comprende gli eventi nel codebase, come si manifestano nella nostra piattaforma di dati sui clienti e come unirli con stati di abbonamento complessi.
Le vendite hanno trovato la stessa leva. Il team di sviluppo vendite utilizza l'agente per trovare e arricchire lead qualificati per il prodotto, attingendo a conoscenze interne che gli strumenti più generici non possono vedere, quindi le attività di outreach arrivano con più contesto. Gli account executive lo usano per prepararsi alle conversazioni con i clienti, per capire chi sta ottenendo più valore, quali progetti sono più attivi e come l'utilizzo del credito si allinea al loro contratto. Il tutto viene poi confezionato in slide personalizzate per l'account. Un team di vendita a guida autonoma ha più punti di contatto di maggiore qualità con i propri clienti.
Il nostro team marketing può utilizzare l'agente per redigere specifiche di prodotto da zero con un singolo prompt, basandosi su conversazioni e documenti dei prodotti in ingegneria e prodotto. Questo dà loro la capacità di iniziare a muoversi sui lanci prima e di rimanere aggiornati, senza dover essere presenti a ogni singola riunione. Hanno più tempo per pianificare ed essere creativi, il che garantirà che i nostri rilasci abbiano un impatto maggiore quando saranno pubblicati.
Il nostro team di supporto ha dato all'agente competenze per indagare sui problemi e seguire playbook standard. Può scegliere di offrire una risposta con il nostro tono standard di servizio clienti, o di passare il caso all'ingegneria insieme a un riepilogo del ticket e dell'indagine. Un team di supporto a guida autonoma chiude i ticket più difficili (quelli passati agli umani) il 60% più velocemente. Gli utenti tornano a costruire prima.
In ogni esempio, l'umano non è stato automatizzato. È stato promosso. La guida autonoma trasforma gli esecutori in direttori, e le persone che stanno prosperando sono quelle che pensano in termini di risultati e stabiliscono la direzione. Questo è il lavoro più prezioso che esista ora.
—
Dove andare dopo?
Renderci più produttivi è entusiasmante, ma ciò che motiva davvero le persone in Replit è democratizzare la tecnologia.
Vogliamo portare questo nuovo modo di lavorare a tutti i nostri utenti. Stiamo lavorando sodo per assicurarci di poterlo fare con le policy, le autorizzazioni, la sicurezza e i controlli dei costi necessari per distribuirlo su larga scala. Gli utenti più attivi di Replit sono imprenditori e utenti enterprise che costruiscono vere aziende. La guida autonoma ha bisogno di misure di sicurezza che possano scalare per soddisfare questi utenti.
Stiamo lavorando sodo per costruirlo ora.
Visti tutti i grafici qui sopra, non dovrete aspettare molto.
