Estamos começando a ver o que acontece quando uma empresa aprende a se operar sozinha.
Nos últimos seis meses, os engenheiros da Replit quase triplicaram a produção de código. O tempo de revisão se manteve estável. Reversões e incidentes de produto permaneceram estáveis. As métricas de qualidade melhoraram e os lançamentos se aceleraram. Todas as compensações típicas que você poderia esperar não ocorreram.
Embora o código seja a parte visível, o que está acontecendo por baixo da superfície é muito mais interessante.
Agentes agora investigam incidentes de produção, revisam pull requests, respondem perguntas, analisam dados de negócios, classificam tickets de suporte, pesquisam contas de vendas e melhoram os sistemas que alimentam o próprio Replit Agent.
Parece uma única inteligência mestra entrelaçada em cada funcionário, mesmo que não seja. É um sistema em expansão de agentes operando em toda a empresa: recebendo metas das pessoas, reunindo contexto, realizando trabalho, verificando os resultados e escalando quando o julgamento humano é necessário.
Acreditamos que isso representa o início de um novo tipo de organização: a empresa autônoma.
Uma empresa autônoma não é uma empresa sem pessoas. As pessoas ainda escolhem o destino. Elas decidem quais problemas são importantes, fazem compensações difíceis, exercem bom gosto e assumem responsabilidade pelo resultado.
Mas, cada vez mais, elas não realizam todas as etapas necessárias para chegar lá.
A mudança começou no final do ano passado. Como muitas pessoas que trabalham com IA, voltamos das férias de Natal sentindo que algo fundamental havia mudado. Os modelos conseguiam sustentar o trabalho por horizontes muito mais longos.
Tarefas que repetidamente falhavam, como triagem de alertas e investigação de causa raiz, começaram a funcionar. A IA começou a resolver alguns de nossos bugs mais teimosos. Então, paramos de tratar os agentes como ferramentas que vivem dentro de um editor ou janela de chat. Nós os tecemos, com cuidado, na própria estrutura da empresa.
Assim que a engenharia provou o valor, a adoção ganhou vida própria. Time após time começou a terceirizar seu trabalho mais tedioso, recuperando tempo para o pensamento estratégico e criativo que realmente move o negócio. As pessoas não sentem que foram automatizadas. Elas sentem que foram promovidas.
Esta é a história de como a IA mudou completamente a maneira como trabalhamos na Replit.
A engenharia viu o impacto primeiro
No final de janeiro, aumentamos a infraestrutura para experimentar rapidamente casos de uso internos de agentes. Aproveitamos nossa estrutura de agente, microVMs e infraestrutura de sistema de arquivos remoto para que qualquer engenheiro pudesse orquestrar enxames de agentes em paralelo. Em seguida, bloqueamos tudo por trás de políticas de acesso, proxies de token, registro de auditoria e nossa rede ZeroTrust. Nesse ponto, nos sentimos seguros em dar ao agente acesso a todas as coisas que usamos para fazer nosso trabalho: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk e muito mais.
Com contexto entre os sistemas, vimos um salto na produtividade. Experimentos que antes falhavam se tornaram fáceis. O impacto mais imediato foi nas estatísticas de codificação.
Estávamos na semana de sprint que antecedeu o lançamento do Agent 4 em março, onde normalmente vemos um grande pico. As reuniões desaparecem, o escopo é conhecido e a engenharia entra em modo de execução pura (geralmente por até 16 horas por dia). Mas desta vez foi diferente. Nossa curva de produtividade se inclinou para cima de uma maneira que nenhum de nós tinha visto antes, o que pode ser atribuído à adoção do nosso novo sistema interno de agentes. Do início de janeiro ao final de junho, houve um aumento de 5,8X nas linhas de código contribuídas.
Linhas de código alteradas por semana, fluxos de trabalho existentes vs. novos com agentes
Parte desse aumento pode ser atribuída a boas contratações. Nosso novo agente acelera o tempo para produtividade, o que é ótimo, mas podemos remover o efeito de contratação para dados mais limpos. Mantendo uma coorte consistente de autores, vemos 2,9x mais código do que antes. Tradicionalmente, é considerado excelente se você mantiver a produção por engenheiro estável à medida que escala uma equipe. Acabamos de triplicar a taxa por engenheiro enquanto dobramos a equipe.
Você pode estar se perguntando quem está revisando todo esse novo código e se criamos um novo gargalo no processo de revisão. Nossa latência de revisão de código está estável, em grande parte porque colocamos nosso agente para trabalhar na revisão de código. Agora ele é capaz de avaliar níveis de risco e chamar um segundo revisor humano apenas quando necessário. Isso significa que 30% (e crescendo) do tempo de revisão humana de PR foi economizado.
Com nosso agente escrevendo e revisando mais código, devemos nos preocupar com a qualidade. Se observarmos as taxas de reversão de PR (esquerda) e incidentes abertos, as tendências são estáveis. Isso significa que estamos realmente melhorando em uma base relativa.
Uma razão é que esses processos também são assistidos por agentes. As revisões de código humano têm o benefício de um co-revisor agente, então mais bugs são capturados. As investigações de incidentes (bugs significativos ou incidentes reais) são assistidas por um agente que tenta encontrar a causa raiz, então o tempo médio para mitigação (MTTM) está diminuindo.
O teste final é se as entradas de código adicionais representam valor real de saída. No final do dia, a engenharia está entregando recursos para os usuários. Acompanhamos projetos no Linear para que as equipes de vendas e marketing saibam quando se comunicar com os usuários sobre novos recursos. Você pode ver que a taxa de conclusão de projetos aumentou drasticamente junto com nosso volume de codificação.
Uma equipe de engenharia autônoma pode entregar mais, enquanto aumenta a qualidade ao mesmo tempo.
Nosso agente de agentes está possibilitando a engenharia em loop em escala
Aprofundar nos dá uma ideia de como isso se parece. Quando os engenheiros encontram maneiras de gerar loops, enviando uma frota de agentes para concluir uma tarefa verificável, vemos a mudança mais dramática. Cada funcionário tem acesso a um agente gerente que pode gerar vários agentes, permitindo a orquestração de agentes trabalhando em loops em seu nome. Os loops resultaram em alguns gráficos de PR muito peculiares, como estes:
Um engenheiro concluiu uma migração há muito parada do nosso sistema CSS e compartilhou seus aprendizados. Outro engenheiro automatizou uma migração que nos permitiu localizar o produto. Outro ainda automatizou a manutenção de testes instáveis. Nosso CTO finalmente resolveu um dos nossos bugs de rede mais difíceis relacionados ao PSC e desligamento de fd com um enxame de agentes. Todas as nossas suposições sobre o que é possível mudaram.
O exemplo mais empolgante de autonomia vem da nossa equipe de IA. Eles construíram um sistema de aprendizado contínuo que analisa o feedback dos usuários, propõe melhorias e usa uma combinação de benchmarks e testes A/B para validar os ganhos. O Replit Agent está se autoaperfeiçoando!
A conversa sobre construir vs. comprar mudou
Nosso novo agente interno também mudou as conversas sobre se construímos ou compramos software. Regularmente testamos novas ferramentas de IA. Comprar soluções pode nos ajudar a ir mais rápido, e também avaliamos o mercado constantemente. Mas quanto mais construímos, menos precisaremos fazer isso. Nosso agente interno agora supera os produtos que testamos e que são vistos como líderes de mercado. Acabamos de cancelar uma solução SaaS de sete dígitos porque nosso aplicativo interno, construído inteiramente em Replit, era superior e os funcionários já haviam migrado para ele.
De repente, as ferramentas parecem feitas para nós. A integração profunda com nossas bases de conhecimento e a personalização que fizemos tornam outras soluções inferiores.
O que nos surpreendeu ainda mais foi que nosso agente interno também superou produtos verticais específicos que avaliamos. Uma ferramenta para ajudar engenheiros a triar alertas e investigar incidentes de causa raiz retornou com qualidade semelhante, mas com um custo 10x maior do que executá-la em nosso agente. Uma ferramenta que executa testes de penetração automatizados encontrou menos vulnerabilidades do que nossa versão interna, com um custo 10x maior. Ambas as nossas versões foram colocadas em produção com facilidade, reduzindo o MTTM em incidentes e fortalecendo sistemas críticos contra ataques.
Com o quanto ainda estamos aprendendo e como os modelos estão melhorando, fica claro que isso é apenas o começo.
Além da engenharia e para todo o negócio
Uma empresa autônoma não para na Engenharia. Todas as funções na Replit estão mudando.
O uso se espalhou rapidamente para fora da Engenharia, principalmente por causa de uma interface no Slack. O resto da empresa percebeu os engenheiros marcando nosso agente com tarefas e experimentou por si mesmos. Inicialmente, o caso de uso mais popular era fazer perguntas. Ao combinar nossa base de conhecimento com o estado do código, qualquer pessoa podia esclarecer expectativas do produto sem esperar pela contribuição da engenharia. Esses funcionários podiam então corrigir textos ou documentação como acompanhamento. Foi um impulso imediato na capacidade de responder aos usuários mais rapidamente.
Mas isso foi apenas o começo. A partir daí, contribuições de novas habilidades e integrações começaram a vir de todas as partes da empresa.
O primeiro grande avanço veio da nossa equipe de dados. Eles deram ao agente uma camada semântica sobre nosso data warehouse, para que ele saiba quais tabelas são fontes da verdade e como elas se relacionam umas com as outras.
Agora, qualquer pessoa na Replit pode fazer perguntas de business intelligence e obter uma resposta confiável. Eles podem construir gráficos e apresentações a partir de dados ao vivo (incluindo todos os gráficos deste post). A equipe de dados gasta seu tempo se aprofundando nos problemas mais difíceis, em vez de atender solicitações. Recentemente, um PM conseguiu realizar uma análise de lançamento complexa de forma autônoma porque nosso agente entende os eventos no código, como eles aparecem em nossa plataforma de dados do cliente e como combiná-los com estados de assinatura complexos.
As vendas encontraram a mesma alavancagem. A equipe de desenvolvimento de vendas usa o agente para encontrar e enriquecer leads qualificados por produto, recorrendo a conhecimento interno que ferramentas mais genéricas não podem ver, de modo que o alcance tenha mais contexto. Os executivos de contas o usam para se preparar para conversas com clientes, entender quem está obtendo mais valor, quais projetos estão mais ativos e como o uso de crédito se alinha com o contrato. Tudo isso é então empacotado em slides personalizados e adaptados à conta. Uma equipe de vendas autônoma tem mais pontos de contato de maior qualidade com seus clientes.
Nossa equipe de marketing pode usar o agente para redigir especificações de produto do zero com um único prompt, com base em conversas e documentos de produtos em toda a engenharia e produto. Isso lhes dá a capacidade de começar a trabalhar nos lançamentos mais cedo e se manter atualizados, sem precisar estar em todas as reuniões. Eles têm mais tempo para planejar e ser criativos, o que garantirá que nossos lançamentos tenham maior impacto quando estiverem no mercado.
Nossa equipe de suporte deu ao agente habilidades para investigar problemas e seguir playbooks padrão. Ele pode optar por oferecer uma resposta em nossa voz padrão de atendimento ao cliente, ou escalar para a engenharia junto com um resumo do ticket e da investigação. Uma equipe de suporte autônoma fecha os tickets mais difíceis (aqueles escalados para humanos) 60% mais rápido. Os usuários voltam a construir mais cedo.
Em todos os exemplos, o humano não foi automatizado. Ele foi promovido. A autonomia transforma executores em diretores, e as pessoas que estão prosperando são aquelas que pensam em resultados e definem a direção. Esse é o trabalho mais valioso que existe agora.
—
Para onde ir a seguir?
Tornar-nos mais produtivos é empolgante, mas o que realmente motiva as pessoas na Replit é democratizar a tecnologia.
Queremos trazer essa nova forma de trabalhar para todos os nossos usuários. Estamos trabalhando duro para garantir que possamos fazer isso com as políticas, permissões, segurança e controles de custo necessários para implantar isso em escala. Os usuários mais ativos do Replit são empreendedores e usuários corporativos construindo negócios reais. A autonomia precisa de medidas de segurança que possam ser dimensionadas para atender a esses usuários.
Estamos trabalhando duro para construir isso agora.
Dados todos os gráficos acima, você não terá que esperar muito.
