Substituímos o Opus 4.8 pelo Fable 5, e a conta do Devin caiu.
O Fable 5 custa o dobro por token do Opus 4.8. Mas quando executamos ambos os modelos no FrontierCode 1.1 usando nossa nova arquitetura Fusion, o Fable custou menos. Não surpreendentemente, também pontuou mais alto. Este post explica por que, e o que isso significa para precificar trabalhos com agentes.
Introdução
Todo mundo que usa agentes de codificação sabe que modelos mais fortes dão melhores resultados, mas você arca com o custo.
Quando apresentamos o Devin Fusion, mostramos uma saída: manter um modelo de fronteira no comando, deixá-lo delegar para um sidekick mais barato e rápido, e você obtém desempenho de nível de fronteira com 35% menos custo.
Mas uma vez que o modelo líder delega a maior parte do trabalho, seu preço por token ainda domina a conta? O Fable 5 custa 2x mais por token do que o Opus 4.8, então um agente liderado pelo Fable deveria custar mais. Para descobrir, executamos 3.000 sessões de avaliação no FrontierCode 1.1 em quatro configurações: Fable e Opus na posição de líder, cada um com e sem o mesmo sidekick barato.
As execuções puras se comportam exatamente como a intuição sugere: Fable supera Opus (60,8 vs 55,4) e custa mais. Modelo melhor, conta maior.
As execuções com sidekick ativado são onde as coisas ficam interessantes.
Dado o mesmo sidekick, a ordem de custo se inverte: Fable + Sidekick custa menos que Opus + Sidekick ($1,86 vs $2,04), enquanto pontua mais alto (60,7 vs 54,6). Comparado ao Fable puro, Fable + Sidekick reduz o custo em 54% enquanto mantém a pontuação quase inalterada.
O prêmio de 2x por token acaba sendo o número errado para se observar. O custo de um agente é dominado por quantas rodadas o modelo líder executa, quanto contexto ele carrega, e acima de tudo, o que ele decide não fazer sozinho. A diferença se resume ao estilo de gestão: Opus se comporta como um microgerente com um estagiário; Fable é um gerente com um engenheiro competente.
A configuração
Uma rápida revisão de como a arquitetura de sidekick do Fusion funciona. O agente líder é dono da sessão: ele conversa com o usuário, planeja, revisa o trabalho e faz commit. Ele também tem um subagente sidekick persistente para delegar tarefas. O líder escreve um resumo de passagem de bastão (handoff) em linguagem simples, e o subagente, alimentado por um modelo muito mais barato, executa em seu próprio contexto e reporta de volta. O líder revisa o resultado e decide o que fazer a seguir.
Para descobrir para onde o custo vai, fizemos duas coisas. Primeiro, analisamos cada chamada de LLM em todas as 3.000 sessões: qual modelo estava falando, qual ferramenta chamou, quantos tokens leu e escreveu, e quanto cada chamada custou. Segundo, selecionamos 40 tarefas para uma análise mais detalhada: aquelas onde o Fable foi dramaticamente mais barato, aquelas onde o Opus foi, e outra amostra aleatória do meio. Para cada uma, analisamos a execução liderada pelo Fable contra a execução liderada pelo Opus lado a lado, examinando as trajetórias e observando para onde o dinheiro foi.
Custo de um agente
Aqui está como o custo se divide entre o líder e o sidekick em nosso experimento:
Fable gasta mais em seu sidekick do que Opus — $0,27 a mais por execução. Mas gasta $0,45 a menos em si mesmo. O líder do Fable executa 11,5 rodadas por execução contra 26,5 do Opus, escreve um terço dos tokens de saída (6,1k vs 19,0k), e consome um terço dos tokens de entrada. Fable é significativamente mais caro por token, mas vence no gerenciamento de contexto e na contagem de rodadas.
A economia de tokens do Fable surge de evitar trabalho por completo. Interessantemente, em 81% das execuções lideradas pelo Fable, o líder nunca faz uma única edição de código. Para Opus, isso é verdade em apenas 24% das execuções. Em 13% das execuções lideradas pelo Fable, o líder nunca lê um arquivo do repositório ele mesmo.
Um microgerente com um estagiário vs um gerente com um engenheiro
Aqui está o que torna a diferença interessante: ambos os líderes delegam o mesmo número de vezes, cerca de 3 passagens de bastão por execução. Os logs por chamada desmentem a explicação fácil de que Fable simplesmente delega mais. O que difere é quando e o que eles delegam. A primeira passagem de bastão do Fable ocorre cedo. Opus geralmente delega tarde, após um longo trecho de exploração e implementação solo; nesse ponto, as decisões de design já foram tomadas, os arquivos importantes estão em seu contexto, e o trabalho caro já foi feito.
GIF
Uma execução típica liderada pelo Fable realiza algumas ações de reconhecimento no repositório, depois escreve um resumo de qualidade de especificação delegando todo o loop de implementação + teste + lint. Então um git show para revisar o diff, e um commit.
Uma execução típica liderada pelo Opus passa por 20 a 45 rodadas de exploração solo, design e implementação, e uma passagem de bastão tardia para a parte mecânica.
Às vezes, a primeira ação do Fable em uma sessão é uma passagem de bastão. Na mesma tarefa, os dois líderes começaram assim:
A correção óbvia é fazer Opus delegar mais exploração, mas forçar esse comportamento tende a diminuir o desempenho. Saber quando uma investigação é segura para passar adiante e quando é algo que você precisa fazer você mesmo é, por si só, uma questão de julgamento. Um modelo coagido a delegar não adquire esse julgamento; ele apenas delega as coisas erradas.
O estilo de gestão de cada modelo também se revela nos próprios resumos de passagem de bastão. Quando Opus delega implementação, ele dita, enquanto Fable escreve um documento de design:
A delegação não apenas move o custo; ela também muda a qualidade do trabalho. A tarefa de hashing acima é um exemplo claro. A especificação da tarefa exigia que uma função hash fosse O(1) no comprimento do ponteiro. Opus a implementou manualmente e nunca escreveu esse requisito em lugar algum. Em algum ponto, esqueceu a restrição e enviou uma implementação de tempo linear, que pontuou 25. Em contraste, Fable delegou usando restrições de alto nível. Seu resumo dizia: "operator() deve ser O(1) no comprimento do ponteiro: SEM varredura completa de token." O sidekick implementou isso com sucesso para uma pontuação de 94.
Descobrimos que esse padrão se generaliza entre as tarefas. As passagens de bastão do Fable enumeravam restrições, casos de borda e uma definição de "pronto", economizando esforço para si mesmo enquanto permitia que o sidekick completasse a implementação de forma barata e correta.
Após a passagem de bastão
A outra metade é o que o agente líder faz com o trabalho que retorna do sidekick. Ambos os líderes frequentemente executam a mesma verificação barata: duas ou três chamadas de git diff/git show. Mas Opus não para por aí. Ele puxa os arquivos do sidekick de volta para seu próprio contexto 2x mais vezes e faz 4x mais edições corretivas a preços de líder. No caso extremo, ele reverteu o trabalho do sidekick e o reescreveu manualmente:
A desconfiança do Opus também não aumenta a correção. Em algumas tarefas de avaliação, a única revisão de diff do Fable capturou bugs reais do sidekick, e optou por outra passagem de bastão barata, em vez da reescrita em nível de líder que Opus frequentemente busca.
Quando a delegação não ajuda
A estratégia de delegação do Fable não é universalmente útil; ela falha quando a tarefa não possui componentes delegáveis. Os seguintes tipos de tarefas pareceram difíceis de decompor:
- Tarefas curtas que incluem apenas um punhado de rodadas do modelo líder, sem nada para delegar entre decidir e enviar.
- Tarefas de depuração serial onde a caça à causa raiz é uma longa cadeia de julgamentos. Aqui, o contexto acumulado é o trabalho.
Notavelmente, nessas tarefas, o Fable mal delega. O mesmo julgamento que escreve um bom resumo também sabe quando não escrever um. Mas quando uma tarefa não oferece nada que valha a pena passar adiante, a delegação não tem alavancagem sobre o custo.
Em produção, o Fusion lida com isso em outra camada: a delegação controla qual trabalho fica com o modelo caro, enquanto o roteamento decide se o modelo caro está envolvido ou não.
Conclusão
Começamos este experimento esperando medir o quanto o prêmio de 2x do Fable aumentaria o custo. Ficamos surpresos ao descobrir que a delegação eficaz do Fable na verdade diminuiu o custo geral. Ele especificou restrições e resultados em vez de detalhar a implementação, deu feedback em vez de fazer correções ele mesmo, e na maioria dos casos nunca tocou no código. Esses são os hábitos de um bom gerente.
À medida que os modelos sidekick se tornam mais baratos e melhores, mais trabalho pode ser passado para eles. O que permanecerá valendo preços de fronteira é o julgamento: o que construir, o que restringir e quem deve escrever.
