Estamos empezando a ver lo que sucede cuando una empresa aprende a operarse a sí misma.
En los últimos seis meses, los ingenieros de Replit casi han triplicado la producción de código. Los tiempos de revisión se mantuvieron estables. Las reversiones y los incidentes de producto se mantuvieron sin cambios. Las métricas de calidad mejoraron y los lanzamientos se aceleraron. Todas las compensaciones típicas que cabría esperar no se han producido.
Si bien el código es la parte visible, lo que sucede debajo de la superficie es mucho más interesante.
Ahora, los agentes investigan incidentes de producción, revisan solicitudes de extracción (pull requests), responden preguntas, analizan datos comerciales, clasifican tickets de soporte, investigan cuentas de ventas y mejoran los sistemas que impulsan al propio Replit Agent.
Se siente como una única inteligencia maestra que atraviesa a cada empleado, aunque no lo es. Es un sistema en expansión de agentes que operan en toda la empresa: toman objetivos de las personas, recopilan contexto, realizan trabajo, verifican los resultados y escalan cuando se necesita el juicio humano.
Creemos que esto representa el comienzo de un nuevo tipo de organización: la empresa autónoma.
Una empresa autónoma no es una empresa sin personas. Las personas aún eligen el destino. Deciden qué problemas importan, hacen compensaciones difíciles, ejercen el buen gusto y asumen la responsabilidad por el resultado.
Pero, cada vez más, no realizan cada paso necesario para llegar allí.
El cambio comenzó a finales del año pasado. Como muchas personas que trabajan en IA, regresamos de las vacaciones de Navidad sintiendo que algo fundamental había cambiado. Los modelos podían mantener el trabajo durante horizontes mucho más largos.
Las tareas que habían fallado repetidamente, como la clasificación de alertas y la investigación de causas raíz, comenzaron a funcionar. La IA comenzó a resolver algunos de nuestros errores más persistentes. Así que dejamos de tratar a los agentes como herramientas que viven dentro de un editor o una ventana de chat. Los tejimos, cuidadosamente, en el tejido mismo de la empresa.
Una vez que ingeniería demostró el valor, la adopción tomó vida propia. Equipo tras equipo comenzó a delegar su trabajo más tedioso, recuperando tiempo para el pensamiento estratégico y creativo que realmente mueve el negocio. Las personas no sienten que hayan sido automatizadas. Sienten que han sido promovidas.
Esta es la historia de cómo la IA ha cambiado por completo la forma en que trabajamos en Replit.
Ingeniería vio el impacto primero
A finales de enero, aumentamos la infraestructura para experimentar rápidamente con casos de uso de agentes internos. Aprovechamos nuestro arnés de agentes, microVMs y la infraestructura de sistema de archivos remoto para que cualquier ingeniero pudiera orquestar enjambres de agentes en paralelo. Luego, bloqueamos todo detrás de políticas de acceso, proxies de tokens, registros de auditoría y nuestra red de confianza cero (ZeroTrust). En ese momento, nos sentimos seguros de darle al agente acceso a todas las cosas que usamos para hacer nuestro trabajo: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk y más.
Con contexto a través de los sistemas, vimos un salto adelante en productividad. Los experimentos que antes fallaban se volvieron fáciles. El impacto más inmediato se vio en las estadísticas de codificación.
Estábamos en la semana de sprint previa al lanzamiento de Agent 4 en marzo, donde normalmente vemos un gran pico. Las reuniones desaparecen, el alcance se conoce y la ingeniería se pasa a modo de ejecución pura (a menudo hasta 16 horas al día). Pero esta vez fue diferente. Nuestra curva de productividad se inclinó hacia arriba de una manera que ninguno de nosotros había visto antes, lo que se puede atribuir a la adopción de nuestro nuevo sistema de agentes interno. Desde principios de enero hasta finales de junio, hubo un aumento de 5.8 veces en las líneas de código contribuidas.
Líneas de código modificadas por semana, flujos de trabajo existentes vs. nuevos con agentes
Parte de este aumento se puede atribuir a una buena contratación. Nuestro nuevo agente acelera el tiempo de productividad, lo cual es genial, pero podemos eliminar el efecto de contratación para obtener datos más limpios. Manteniendo un cohorte consistente de autores, vemos 2.9 veces más código que antes. Tradicionalmente, se considera excelente si mantienes la producción por ingeniero plana mientras escalas un equipo. Nosotros triplicamos la tasa por ingeniero mientras duplicábamos el equipo.
Quizás te preguntes quién está revisando todo este código nuevo y si hemos creado un nuevo cuello de botella en el proceso de revisión. Nuestra latencia de revisión de código se mantiene plana, en gran parte porque pusimos a nuestro agente a trabajar en la revisión de código. Ahora es capaz de evaluar niveles de riesgo y solo llamar a un segundo revisor humano cuando sea necesario. Eso significa que se ha ahorrado un 30% (y creciendo) del tiempo humano de revisión de PR.
Con nuestro agente escribiendo y revisando más código, deberíamos preocuparnos por la calidad. Si observamos las tasas de reversión de PR (izquierda) y los incidentes abiertos, las tendencias son planas. Esto significa que en realidad estamos mejorando en términos relativos.
Una razón es que estos procesos también están asistidos por agentes. Las revisiones de código humanas se benefician de un co-revisor agente, por lo que se detectan más errores. Las investigaciones de incidentes (errores significativos o incidentes reales) son asistidas por un agente que intenta encontrar la causa raíz, por lo que el tiempo medio de mitigación (MTTM) está disminuyendo.
La prueba final es si las entradas de código adicionales representan un valor de salida real. Al final del día, la ingeniería está entregando funciones para los usuarios. Hacemos seguimiento de proyectos en Linear para que los equipos de ventas y marketing sepan cuándo comunicarse con los usuarios sobre nuevas funciones. Puedes ver que la tasa de finalización de proyectos ha aumentado drásticamente junto con nuestro volumen de codificación.
Un equipo de ingeniería autónomo puede enviar más, mientras mejora la calidad al mismo tiempo.
Nuestro agente de agentes está habilitando la ingeniería en bucle a escala
Acercarnos nos da una idea de cómo se ve esto. Cuando los ingenieros encuentran formas de generar bucles, enviando una flota de agentes a completar una tarea verificable, vemos el cambio más dramático. Cada empleado tiene acceso a un agente gerente que puede generar múltiples agentes, lo que permite la orquestación de agentes que trabajan en bucles en tu nombre. Los bucles dieron como resultado algunos gráficos de PR muy singulares, como estos:
Un ingeniero completó una migración largamente estancada de nuestro sistema CSS y compartió sus aprendizajes. Otro ingeniero automatizó una migración que nos permitió localizar el producto. Otro más automatizó el mantenimiento de pruebas inestables. Nuestro CTO finalmente resolvió uno de nuestros errores de red más difíciles relacionados con PSC y el cierre de fd con un enjambre de agentes. Todas nuestras suposiciones sobre lo que es posible han cambiado.
El ejemplo autónomo más emocionante proviene de nuestro equipo de IA. Construyeron un sistema de aprendizaje continuo que analiza los comentarios de los usuarios, propone mejoras y utiliza una combinación de pruebas comparativas y pruebas A/B para validar los logros. ¡Replit Agent se está mejorando a sí mismo!
La conversación sobre construir vs. comprar ha cambiado
Nuestro nuevo agente interno también cambió las conversaciones sobre si construimos o compramos software. Probamos regularmente nuevas herramientas de IA. Comprar soluciones puede ayudarnos a ir más rápido, y también evaluamos el mercado constantemente. Pero cuanto más construimos, menos de esto necesitaremos hacer. Nuestro agente interno ahora supera a los productos que probamos y que son considerados líderes del mercado. Acabamos de cancelar una solución SaaS de siete cifras porque nuestra aplicación interna, construida completamente en Replit, era superior y los empleados ya se habían migrado a ella.
De repente, las herramientas se sienten como si estuvieran hechas para nosotros. La integración profunda con nuestras bases de conocimiento y la personalización que hemos realizado hacen que otras soluciones se sientan inferiores.
Lo que más nos sorprendió fue que nuestro agente interno también superó a los productos verticales específicos que evaluamos. Una herramienta para ayudar a los ingenieros a clasificar alertas y causas raíz de incidentes volvió con una calidad similar pero a 10 veces el costo de ejecutarla en nuestro agente. Una herramienta que ejecuta pruebas de penetración automatizadas encontró menos vulnerabilidades que nuestra versión interna a un costo 10 veces mayor. Ambas versiones se pusieron en producción con facilidad, reduciendo el MTTM en incidentes y fortaleciendo los sistemas críticos contra ataques.
Con todo lo que aún estamos aprendiendo y cómo están mejorando los modelos, está claro que esto es solo el comienzo.
Más allá de la ingeniería y hacia todo el negocio
Una empresa autónoma no se detiene en Ingeniería. Cada función en Replit está cambiando.
El uso se extendió rápidamente fuera de Ingeniería, principalmente debido a una interfaz de Slack. El resto de la empresa notó a los ingenieros etiquetando a nuestro agente con tareas y lo probaron por sí mismos. Inicialmente, el caso de uso más popular era hacer preguntas. Al combinar nuestra base de conocimiento con el estado del código base, cualquiera podía aclarar las expectativas del producto sin esperar la opinión de ingeniería. Esos empleados luego podían corregir el texto o la documentación como seguimiento. Fue un impulso inmediato para poder responder a los usuarios más rápido.
Pero eso fue solo el comienzo. A partir de ahí, comenzaron a llegar contribuciones de nuevas habilidades e integraciones de todas partes de la empresa.
El primer gran avance provino de nuestro equipo de datos. Le dieron al agente una capa semántica sobre nuestro almacén de datos, para que sepa qué tablas son fuentes de verdad y cómo se relacionan entre sí.
Ahora, cualquiera en Replit puede hacer preguntas de inteligencia de negocios y obtener una respuesta confiable. Pueden crear gráficos y presentaciones a partir de datos en vivo (incluyendo todos los gráficos de esta publicación). El equipo de datos dedica su tiempo a profundizar en los problemas más difíciles, en lugar de atender solicitudes. Recientemente, un PM pudo auto-gestionar un análisis de lanzamiento complejo porque nuestro agente entiende los eventos en el código base, cómo aparecen en nuestra plataforma de datos de clientes y cómo unirlos con estados de suscripción complejos.
Ventas encontró la misma ventaja. El equipo de desarrollo de ventas utiliza el agente para encontrar y enriquecer leads calificados de producto, aprovechando el conocimiento interno que las herramientas más genéricas no pueden ver, para que el alcance tenga más contexto. Los ejecutivos de cuentas lo utilizan para prepararse para conversaciones con clientes, para entender quién está obteniendo el mayor valor, qué proyectos son más activos y cómo se rastrea el uso de créditos con respecto a su contrato. Todo esto luego se empaqueta en diapositivas de marca personalizadas para la cuenta. Un equipo de ventas autónomo tiene más puntos de contacto de mayor calidad con sus clientes.
Nuestro equipo de marketing puede usar el agente para redactar especificaciones de producto desde cero con un solo prompt, basándose en conversaciones y documentos de productos a través de ingeniería y producto. Esto les da la capacidad de comenzar a moverse en los lanzamientos antes y mantenerse actualizados, sin necesidad de estar en cada reunión. Tienen más tiempo para planificar y ser creativos, lo que asegurará que nuestros lanzamientos tengan un mayor impacto cuando estén en el mundo.
Nuestro equipo de soporte le dio al agente habilidades para investigar problemas y seguir manuales de procedimiento estándar. Puede optar por ofrecer una respuesta con nuestro tono de servicio al cliente estándar, o escalar a ingeniería junto con un resumen del ticket y la investigación. Un equipo de soporte autónomo cierra los tickets más difíciles (aquellos escalados a humanos) un 60% más rápido. Los usuarios vuelven a construir más pronto.
En cada ejemplo, el humano no fue automatizado. Fue promovido. La autonomía convierte a los hacedores en directores, y las personas que prosperan son aquellas que piensan en resultados y marcan la dirección. Ese es el trabajo más valioso que existe ahora.
—
¿Hacia dónde seguir?
Hacernos más productivos es emocionante, pero lo que realmente motiva a las personas en Replit es democratizar la tecnología.
Queremos traer esta nueva forma de trabajar a todos nuestros usuarios. Estamos trabajando arduamente para asegurarnos de poder hacer esto con los controles de política, permisos, seguridad y costos necesarios para implementarlo a escala. Los usuarios más activos de Replit son emprendedores y usuarios empresariales que construyen negocios reales. La autonomía necesita medidas de seguridad que puedan escalar para satisfacer a esos usuarios.
Estamos trabajando arduamente para construir eso ahora.
Dados todos los gráficos anteriores, no tendrás que esperar mucho.
