Os agentes funcionam em um loop: um LLM decide o que fazer, uma ferramenta executa a ação, um modelo avalia os resultados e o ciclo continua até que a tarefa seja concluída.
Inicialmente, era difícil integrar agentes e LLMs a aplicações de software, que dependem de dados estruturados e interfaces previsíveis. Surgiram dois conceitos fundamentais que tornaram esse processo muito mais simples:
- Chamada de ferramentas (Tool calling) permitiu que os modelos fizessem solicitações estruturadas e recebessem resultados estruturados.
- Saídas estruturadas (Structured outputs) permitiu que os modelos retornassem resultados estruturados.
Mas, mesmo com esses recursos disponíveis, o loop do agente ainda é lento e custoso: cada decisão exige outra chamada ao modelo.
Conheça o Jev. O Jev é um novo modelo lançado pela TypeSafe AI. A empresa relata uma inferência até 200x mais rápida e um custo 400x menor em comparação com LLMs equivalentes em tarefas de classificação.
https://x.com/CompleteSkeptic/status/2099925682726002904
Este post aborda como o Jev funciona, onde ele se encaixa no loop do agente e como usá-lo com o LangChain.
Tudo sobre o Jev
O Jev não é, na verdade, um LLM tradicional; ele não gera texto. É o que a equipe da TypeSafe AI chama de modelo System One:
📖 Os modelos System One são uma classe de modelos de IA construídos para tomar decisões rápidas e estruturadas que o software pode usar diretamente. Um modelo System One avalia um
estado e retorna respostas tipadas e probabilidades.
Ele é treinado usando aprendizado por reforço para decisões calibradas (RLCD). Seu código usa esses resultados para orientar o que um agente fará em seguida, sem precisar de uma chamada completa de chat LLM para cada decisão.
Para invocar um modelo Jev, você envia a ele um estado (o contexto) e perguntas sobre esse estado. Aqui está uma versão de pergunta única do exemplo de ticket de suporte encontrado na documentação deles:
1{2 "model": "jev-latest",3 "state": "Oi, estou tentando conectar minha conta Stripe há 3 dias e continua falhando. Estou perdendo vendas. Por favor, ajudem o quanto antes.",4 "questions": {5 "is_urgent": {6 "type": "noul",7 "instructions": "A mensagem transmite urgência ou sensibilidade ao tempo"8 }9 }10}
O exemplo da documentação fornece esta resposta de urgência, mostrada aqui sem o resto da resposta:
1{2 "is_urgent": {3 "type": "noul",4 "noul": 0.9995 }6}
Isso representa uma probabilidade de 99,9% de que a mensagem seja urgente, informação que sua aplicação pode usar para priorizar o ticket.
Existem três tipos de perguntas suportadas:
- Choice (Escolha): Selecione entre um conjunto de opções. Retorna uma probabilidade para cada opção e uma pontuação geral de confiança.
- Score (Pontuação): Avalie uma entrada contra níveis ordenados, como baixo, médio e alto. Retorna uma pontuação contínua, a distribuição subjacente e um valor de confiança.
- Noul: Responda a uma pergunta de sim ou não. Retorna a probabilidade de uma afirmação ser verdadeira.
Um recurso-chave aqui é que você pode fazer várias perguntas sobre o mesmo estado em uma única solicitação.
💡 Os modelos System One avaliam todas as perguntas em uma solicitação em paralelo. Adicionar perguntas mal altera o tempo de resposta e custa apenas os tokens das perguntas extras, que são baratos.
Para ver um exemplo de como fazer várias perguntas sobre um ticket de suporte, consulte o Quickstart da TypeSafe.
Em resumo, diferentemente dos LLMs tradicionais, o Jev não está limitado pela geração de texto nem pela tomada de decisões sequencial!
Como usar o Jev com LangChain
O modelo agnóstico de provedores do LangChain é bem adequado para suportar o Jev junto com milhares de outras integrações e provedores de modelos.
A integração do LangChain expõe o Jev através do TypeSafeClassifier. Você passa seu estado e perguntas para .invoke() e obtém resultados de classificação, em vez de uma resposta de chat.
Instale langchain-typesafe e defina sua TYPESAFE_API_KEY, então faça uma chamada:
1from langchain_typesafe import Noul, TypeSafeClassifier23classifier = TypeSafeClassifier()45response = classifier.invoke(6 state=(7 "The deploy failed twice and customers are seeing 500s. "8 "Can someone look now?"9 ),10 questions={11 "urgent": Noul(12 instructions="Does this need attention right now?"13 ),14 },15)1617urgency = response.nouls["urgent"].noul
O estado pode ser texto, dados estruturados ou mensagens do LangChain. Isso torna fácil chamar o Jev de um nó ou hook de middleware usando o contexto que seu agente já possui.
Você pode incorporar isso em middlewares ou ferramentas personalizadas!
Casos de Uso
O Jev não é um substituto direto para um LLM. Ele não gera texto, mas pode lidar com tarefas de classificação que frequentemente usamos LLMs para realizar hoje, sem a mesma latência e custo. Isso faz dele um complemento promissor para o modelo que impulsiona seu agente: use um LLM para raciocínio aberto e geração, e o Jev para decisões rápidas e estruturadas ao longo do caminho.
Roteamento de modelos (Model routing)
Uma busca simples não precisa do mesmo modelo que uma tarefa difícil de depuração. O middleware de roteamento de modelos permite que o Jev avalie a solicitação e escolha um modelo baseado nos critérios que você define, sendo rápido e barato para tarefas diretas, e mais capaz para tarefas complexas.
1from langchain.agents import create_agent2from langchain_typesafe.experimental.middleware import (3 ModelChoice,4 ModelRouterMiddleware,5)67router = ModelRouterMiddleware(8 choices={9 "fast": ModelChoice(10 model="openai:luna",11 criteria="Direct lookups, extraction, and localized changes.",12 ),13 "powerful": ModelChoice(14 model="openai:sol",15 criteria="Architecture and high-stakes decisions.",16 ),17 },18 instructions="Choose the least costly model that can complete the task.",19)2021agent = create_agent("openai:gpt-5.6-luna", middleware=[router])
O roteador seleciona um modelo a partir da última mensagem do usuário e o utiliza durante toda a execução. As probabilidades e a confiança também permanecem disponíveis no estado do agente.
Modo Automático (Auto Mode)
Agentes ainda são inerentemente não confiáveis. Um agente pode receber instruções ruins (seja naturalmente ou de um atacante motivado) que podem persuadi-lo a tomar ações que não queríamos que ele tomasse.
Frameworks de codificação como claude, codex e cursor lançaram alguma forma de classificar ações perigosas antes que elas sejam tomadas, o que ajudou lentamente a construir confiança nos agentes. Até agora, essa etapa de classificação estava trancada nas partes de código fechado desses frameworks.
Agora que existe um modelo de classificação barato e performático, podemos adotar o mesmo padrão para todos os agentes!
1from langchain.agents import create_agent2from langchain_typesafe.experimental.middleware import (3 AutoModeMiddleware,4)56guardrail = AutoModeMiddleware(tools=["bash"])78agent = create_agent("openai:gpt-5.6-luna", middleware=[guardrail])
O AutoModeMiddleware usa o Jev para verificar chamadas de ferramentas por decisões arriscadas que possam ser tomadas, bloqueando as chamadas antes que a ferramenta execute.
Comece agora!
Estamos bastante empolgados com o Jev e as possibilidades que ele traz. Alguns projetos legais que já vimos: Kyle Jeong, da Browserbase, está alimentando agentes de uso de navegador por frações de centavo, Jarrod Watts criou um agente de trading ao vivo, e Ryan Vogel está fazendo triagem de e-mails em escala.
Novos modelos surgem toda semana neste ponto, mas este teve uma resposta bastante desproporcional. Estamos ansiosos para ver o que você constrói com LangChain e Jev.
Conte-nos o que acha no fórum, marque-nos no X e compartilhe o que você está construindo, ou interaja com as issues do LangChain!
Agradecimentos
Obrigado @huntlovell, @hwchase, @ccurme, @veryboldbagel e Nathan Drenzer por suas revisões cuidadosas e contribuições.
