Agentes funcionam em um loop: um LLM decide o que fazer, uma ferramenta executa, um modelo avalia os resultados e então continua nesse ciclo até que a tarefa seja concluída.
Inicialmente, era difícil integrar agentes e LLMs em aplicações de software, que dependem de dados estruturados e interfaces previsíveis. Surgiram dois conceitos fundamentais que tornaram isso muito mais fácil:
- Chamada de ferramentas (Tool calling) permitiu que modelos fizessem solicitações estruturadas e recebessem resultados estruturados.
- Saídas estruturadas (Structured outputs) permitiu que modelos retornassem resultados estruturados.
Mas mesmo com esses elementos no lugar, o loop do agente ainda é lento e custoso: cada decisão requer outra chamada ao modelo.
Conheça o Jev. O Jev é um novo modelo lançado pela TypeSafe AI. A empresa reporta inferência até 200x mais rápida e custo 400x menor do que LLMs comparáveis em tarefas de classificação.
https://x.com/CompleteSkeptic/status/2099925682726002904
Este post aborda como o Jev funciona, onde ele se encaixa no loop do agente e como usá-lo com o LangChain.
Tudo sobre o Jev
O Jev não é, na verdade, um LLM tradicional; ele não gera texto. É o que a equipe da TypeSafe AI chama de modelo System One:
📖 Modelos System One são uma classe de modelos de IA construídos para tomar decisões rápidas e estruturadas que o software pode usar diretamente. Um modelo System One avalia um
estado e retorna respostas tipadas e probabilidades.
Ele é treinado usando aprendizado por reforço para decisões calibradas (RLCD). Seu código usa esses resultados para orientar o que um agente faz em seguida, sem uma chamada completa de chat LLM para cada decisão.
Para invocar um modelo Jev, você envia a ele um estado (o contexto) e perguntas sobre esse estado. Aqui está uma versão de pergunta única do exemplo de ticket de suporte em suas documentações:
1{2 "model": "jev-latest",3 "state": "Oi, estou tentando conectar minha conta Stripe há 3 dias e continua falhando. Estou perdendo vendas. Por favor, ajudem ASAP.",4 "questions": {5 "is_urgent": {6 "type": "noul",7 "instructions": "A mensagem transmite urgência ou sensibilidade ao tempo"8 }9 }10}
O exemplo das documentações fornece esta resposta de urgência, mostrada aqui sem o resto da resposta:
1{2 "is_urgent": {3 "type": "noul",4 "noul": 0.9995 }6}
Isso representa uma probabilidade de 99,9% de que a mensagem é urgente, o que sua aplicação pode usar para priorizar o ticket.
Existem três tipos de perguntas suportadas:
- Choice (Escolha): Selecione entre um conjunto de opções. Retorna uma probabilidade para cada opção e uma pontuação geral de confiança.
- Score (Pontuação): Avalie uma entrada contra níveis ordenados, como baixo, médio e alto. Retorna uma pontuação contínua, a distribuição subjacente e um valor de confiança.
- Noul: Responda a uma pergunta de sim ou não. Retorna a probabilidade de uma afirmação ser verdadeira.
Um recurso-chave aqui é que você pode fazer várias perguntas sobre o mesmo estado em uma única solicitação.
💡 Modelos System One avaliam todas as perguntas em uma solicitação em paralelo. Adicionar perguntas mal altera o tempo de resposta e custa apenas os tokens para as perguntas extras, que são baratos.
Para um exemplo de fazer várias perguntas sobre um ticket de suporte, veja o TypeSafe Quickstart.
Em resumo, diferentemente dos LLMs tradicionais, o Jev não é limitado nem pela geração de texto nem pela tomada de decisão sequencial!
Como Usar o Jev com LangChain
O modelo agnóstico de provedores do LangChain é bem adequado para suportar o Jev junto com milhares de outras integrações e provedores de modelos.
A integração do LangChain expõe o Jev através do TypeSafeClassifier. Você passa seu estado e perguntas para .invoke() e obtém resultados de classificação, em vez de uma resposta de chat.
Instale langchain-typesafe e defina sua TYPESAFE_API_KEY, então faça uma chamada:
1from langchain_typesafe import Noul, TypeSafeClassifier23classifier = TypeSafeClassifier()45response = classifier.invoke(6 state=(7 "The deploy failed twice and customers are seeing 500s. "8 "Can someone look now?"9 ),10 questions={11 "urgent": Noul(12 instructions="Does this need attention right now?"13 ),14 },15)1617urgency = response.nouls["urgent"].noul
O estado pode ser texto, dados estruturados ou mensagens do LangChain. Isso torna simples chamar o Jev de um nó ou hook de middleware usando o contexto que seu agente já possui.
Você pode incorporar isso em middlewares ou ferramentas personalizados!
Casos de Uso
O Jev não é um substituto direto para um LLM. Ele não gera texto, mas pode lidar com tarefas de classificação que frequentemente usamos LLMs para hoje, sem a mesma latência e custo. Isso o torna um complemento promissor para o modelo que impulsiona seu agente: use um LLM para raciocínio aberto e geração, e o Jev para decisões rápidas e estruturadas ao longo do caminho.
Roteamento de modelos (Model routing)
Uma busca simples não precisa do mesmo modelo que uma tarefa difícil de depuração. O middleware de roteamento de modelos permite que o Jev avalie a solicitação e escolha um modelo baseado em critérios definidos por você, sendo rápido e barato para tarefas diretas, e mais capaz para complexas.
1from langchain.agents import create_agent2from langchain_typesafe.experimental.middleware import (3 ModelChoice,4 ModelRouterMiddleware,5)67router = ModelRouterMiddleware(8 choices={9 "fast": ModelChoice(10 model="openai:luna",11 criteria="Direct lookups, extraction, and localized changes.",12 ),13 "powerful": ModelChoice(14 model="openai:sol",15 criteria="Architecture and high-stakes decisions.",16 ),17 },18 instructions="Choose the least costly model that can complete the task.",19)2021agent = create_agent("openai:gpt-5.6-luna", middleware=[router])
O roteador seleciona um modelo a partir da última mensagem do usuário e o utiliza durante toda a execução. As probabilidades e a confiança também permanecem disponíveis no estado do agente.
Modo Automático (Auto Mode)
Agentes ainda são inerentemente não confiáveis. Um agente pode receber instruções ruins (seja naturalmente ou de um atacante suficientemente motivado) que podem persuadi-lo a tomar ações que não queríamos.
Frameworks de codificação como claude, codex e cursor lançaram alguma forma de classificar ações perigosas antes que elas sejam tomadas, o que ajudou lentamente a construir confiança nos agentes. Até agora, essa etapa de classificação estava trancada nas partes de código fechado desses frameworks.
Agora que existe um modelo de classificação barato e performático, podemos adotar o mesmo padrão para todos os agentes!
1from langchain.agents import create_agent2from langchain_typesafe.experimental.middleware import (3 AutoModeMiddleware,4)56guardrail = AutoModeMiddleware(tools=["bash"])78agent = create_agent("openai:gpt-5.6-luna", middleware=[guardrail])
O AutoModeMiddleware usa o Jev para verificar chamadas de ferramentas quanto a decisões arriscadas que possam tomar, bloqueando as chamadas antes que a ferramenta execute.
Comece Agora!
Estamos bastante empolgados com o Jev e as possibilidades que vêm com ele. Alguns projetos legais que já vimos: Kyle Jeong da Browserbase está alimentando agentes de uso de navegador por frações de centavo, Jarrod Watts construiu um agente de negociação ao vivo, e Ryan Vogel está fazendo triagem de e-mails em escala.
Novos modelos surgem toda semana neste ponto, mas este teve uma resposta bastante desproporcional. Estamos ansiosos para ver o que você constrói com LangChain e Jev.
Conte-nos o que você acha no fórum, marque-nos no X e compartilhe o que você está construindo, ou interaja com as issues do LangChain!
Agradecimentos
Obrigado @huntlovell, @hwchase, @ccurme, @veryboldbagel e Nathan Drenzer por suas revisões cuidadosas e contribuições.
