Agentes são úteis porque nos ajudam a automatizar o trabalho ao executar ações no mundo real. Mas fazer com que agentes realizem trabalho valioso de forma confiável exige mais do que um bom modelo: requer uma estrutura cuidadosamente projetada e adequada a um conjunto de tarefas.
O algoritmo central do agente é simples: fornecer contexto ao LLM e deixá-lo chamar ferramentas em um loop até concluir a tarefa. Este é o loop mais fundamental. Mas está longe de ser o único loop que impulsiona os agentes. @swyx escreveu recentemente um ótimo artigo sobre "loopcraft: a arte de empilhar loops", a ideia de que você pode empilhar e estender loops para construir agentes mais eficazes.
Veja como pensamos sobre essa pilha e como instrumentar cada nível com os primitivos do LangChain.
Loop 1: O Agente
Em sua essência, um agente é apenas um modelo que chama ferramentas em um loop até que uma tarefa seja concluída.
Isso é o que o create_agent do LangChain oferece. Escolha qualquer modelo, conecte ferramentas e você terá um loop funcional do agente. As ferramentas são o que dão ao agente o poder de agir no mundo real.
Tome nosso agente de documentação interna como exemplo (que usaremos como exemplo motivador para o restante deste blog). No primeiro nível do loop, ele recebe uma solicitação de melhoria na documentação, o modelo planeja e elabora as alterações, e usa ferramentas para clonar repositórios, ler arquivos, escrever documentos, abrir um pull request, etc.
Nível 2: Loop de verificação
O loop do agente realiza o trabalho, mas nem sempre produz resultados corretos ou consistentes na primeira tentativa. Quando a consistência é importante, geralmente é útil envolvê-lo em um loop de verificação que confere a saída e envia feedback de volta ao modelo quando algo não está bom.
O loop de verificação adiciona um avaliador: algo que verifica a saída do agente em relação a uma rubrica e, se falhar, envia o resultado de volta com feedback. Os avaliadores podem ser determinísticos ou agentivos (LLM como juiz é um exemplo clássico, aqui).
O RubricMiddleware lida com esse padrão, ou você pode configurá-lo com um hook after_agent no create_agent.
Para o nosso exemplo do redator de documentação, o avaliador executa testes após cada tentativa, verificando se todos os links funcionam, se todos os checks de CI passam e se o diff está limitado ao que foi realmente solicitado. Nenhuma revisão manual é necessária para detectar esses tipos de erro.
Uma desvantagem: adicionar verificação aumenta a latência e o custo por execução. Vale a pena quando a qualidade é mais importante que a velocidade, o que é o caso na maioria dos casos de uso em produção.
Nível 3: Loop orientado a eventos
Uma das partes mais importantes do desenvolvimento de agentes é a camada de integrações: conectar seu agente ao seu ecossistema para que ele possa ser executado em segundo plano.
O loop orientado a eventos conecta seu agente ao seu ecossistema. Um evento é disparado — um novo documento chega, um agendamento é acionado, um webhook é recebido — e o agente é executado. O agente não é algo que você invoca manualmente; é um componente sendo executado continuamente dentro de um sistema maior.
LangSmith Deployment oferece suporte à infraestrutura de triggers, incluindo suporte para cron schedules e webhooks. Um exemplo popular de crons em ação são os "heartbeats" no openclaw, que transformam seu agente em um assistente proativo e sempre ativo.
Nosso agente de documentação é alimentado pelo Fleet, nosso construtor de agentes no-code. Os channels e schedules do Fleet lidam com triggers orientados a eventos e estilo cron. Usamos um channel para disparar o agente de documentação sempre que uma mensagem é enviada em nosso canal do Slack #docs-plz.
Nível 4: Loop de escalada (Hill climbing loop)
Os três primeiros loops automatizam o trabalho. O quarto (e, sem dúvida, o mais importante) automatiza a melhoria!
Cada execução do agente produz um trace: um registro do que o modelo fez, as ferramentas que chamou, feedback do avaliador, etc. Esses traces contêm sinais de alto valor sobre o que está funcionando e o que não está. O loop de hill climbing executa um agente de análise sobre esses traces e usa os resultados para reescrever a estrutura com uma configuração melhorada. Isso pode incluir ajustes no prompt/ferramentas ou ajustes no avaliador.
No LangSmith, você pode usar o Engine, nosso agente de análise de traces, para instrumentar este quarto loop.
Finalizando a analogia do agente de documentação, executamos o Engine sobre os traces do agente de documentação para detectar quaisquer problemas. Quando vários traces sinalizam um problema potencial, uma issue é registrada solicitando alterações no prompt ou ferramenta ofensora.
O movimento chave aqui é que a seta de retorno não apenas volta ao topo — ela alcança o interior e atualiza o loop do agente diretamente. Cada ciclo do loop externo torna os loops internos mais eficazes.
Olhando para frente:
a configuração de prompts e ferramentas são as coisas mais simples de melhorar, mas não são as únicas opções. Para equipes que usam modelos de peso aberto, o loop de hill climbing pode alimentar o ajuste fino por RL, usando resultados de traces ou avaliações como sinal de treinamento para melhorar o próprio modelo. Contexto auxiliar, como memória e habilidades recuperadas, pode ser melhorado da mesma forma. O loop é o padrão; o que ele otimiza depende de você.
Supervisão humana e expertise
Automação não significa remover os humanos do loop. Em todos os níveis, existem pontos naturais onde a supervisão humana agrega valor. Um avaliador automatizado pode verificar se os links funcionam; é preciso um humano para notar que o enquadramento está errado para o público. Esse tipo de julgamento, obtido a partir de contexto, experiência e bom gosto, é exatamente onde a revisão humana conquista seu espaço.
Parte da expertise deve ser codificada nos próprios prompts/ferramentas, mas para ações sensíveis, a revisão humana ao vivo é essencial (pense em transações financeiras, operações de banco de dados, etc.). O LangChain torna simples instrumentar esses pontos de contato em cada loop:
- No loop do agente, exija entrada humana antes de ações/ferramentas sensíveis
- No loop de verificação, um humano pode atuar como avaliador para fluxos de trabalho sensíveis
- No loop de aplicação, um humano pode aprovar saídas antes de serem retornadas ao usuário final
- No loop de hill climbing, as melhorias na estrutura podem passar por revisão humana antes da implantação
Todos os frameworks de código aberto do LangChain tornam a adição de "human-in-the-loop" um primitive de primeira classe.
Juntando tudo
Caso você prefira uma visão mais tabular, aqui está como esses quatro loops se empilham:
Loop
O que faz
Impacto
Primitivo LangChain
1: Loop do agente
(modelo + ferramentas)
Modelo chama ferramentas repetidamente até concluir uma tarefa
Automatizar trabalho
create_agent
, qualquer modelo compatível com LangChain
2: Loop de verificação
(agente + avaliador)
Agente é executado, a saída é avaliada contra uma rubrica, repetida com feedback se falhar
Garantir qualidade
RubricMiddleware
3: Loop de eventos
(verificação + sistema)
Eventos disparam execuções do agente que atualizam um sistema real
Trabalhar em escala
LangSmith Deployment / Fleet channels
4: Loop de hill climbing
(sistema + engine)
Traces de produção alimentam um agente de análise que melhora a configuração da estrutura
Melhoria contínua
LangSmith Engine
É assim que a engenharia de loops — ou loopcraft, como @swyx chama — realmente se parece na prática. Líderes de IA como Steipete, Boris e Andrej chegaram todos à mesma conclusão: o potencial dos agentes está nos loops que você constrói ao redor deles.
Estamos pensando nos loops 1 e 2 há algum tempo. Mas o foco deve mudar para os loops 3 e 4, onde o valor se acumula ao incorporar agentes em seu ecossistema que melhoram continuamente em resposta aos seus critérios.
Satya define os stakes organizacionais: empresas que constroem loops de aprendizado cedo, onde o julgamento humano e o capital de token se combinam, construirão uma vantagem difícil de replicar.
Agradecimentos
Agradecimentos a @Vtrivedy10, @masondrxy, @hwchase17 e @huntlovell pela revisão cuidadosa.
