Em 6 de julho de 2026, um artigo foi publicado no ITmedia.
"O gargalo para a utilização de IA está mudando do desempenho do modelo para 'avaliação', 'governança' e 'eficiência de custos'", diz Jonathan Frankle, Cientista Chefe de IA da Databricks e cofundador da MosaicML.
O argumento dele é simples:
- A IA já é inteligente o suficiente. Só de pensar em como usar os modelos existentes já deixa "décadas de trabalho".
- O que é necessário para uma melhor implementação de IA não é desenvolver modelos mais inteligentes, mas sim investir em avaliação e governança.
- A IA "não é suficiente com 70% ou 90% de precisão"; ela precisa de uma avaliação ordens de grandeza mais rigorosa.
- E o maior desafio é traduzir o padrão humano de "o que é um bom trabalho" em uma lista de verificação. Isso "é muito mais difícil do que desenvolver o próximo modelo gigante e pode levar mais de 10 anos."
Lendo isso, senti um forte aperto de percepção.
Recentemente, tenho experimentado medir o "volume de uso" da IA. Tenho um painel que puxa a telemetria de uso de "Databricks" x "Claude Code/Codex/Cowork" via OpenTelemetry para o Databricks, atualizando todas as manhãs com "quem usou qual ferramenta, quanto e a que custo."
Mas o ponto do artigo não era esse. "Esse trabalho foi bom?" — A avaliação da qualidade do Agente era uma lacuna enorme.
Dei o artigo para o Fable e perguntei: "Pense no que devemos avaliar"
Então, dei a URL do artigo para o Claude (Fable 5), que uso regularmente, e perguntei:
Leia este artigo e pense no que devemos estar avaliando.
Após examinar nossa infraestrutura de logs interna e a configuração do painel, o Fable elaborou um design composto por "três camadas de coisas a serem avaliadas".
Resposta do Fable: Três Camadas do "O que Avaliar"
Conselho abaixo """""""""""""""""""""""""""""""""
Camada 1: Sinais de Atrito (Diário, Todos, Julgamento Mecânico)
Existem "sinais de baixa qualidade" que podem ser capturados mecanicamente a partir dos logs, sem sequer consultar um LLM.
- Loops Suspeitos: Usar a mesma ferramenta mais de 5 vezes seguidas.
- Valores Discrepantes de Custo: Gastar mais de $5 em uma única sessão.
- Frequência de Bloqueio: Parar muitas vezes aguardando confirmação humana.
- Eficiência de Cache: Reutilização pobre de contexto (ou seja, reler tudo toda vez).
- Falhas de Conexão de Ferramenta: Falha contínua ao conectar-se a servidores MCP.
Camada 2: Qualidade do Trabalho (Semanal, Juiz LLM)
Crie um sistema que passe os logs de trabalho do agente de IA (traces) para um Juiz LLM pontuar em 8 eixos.
- Alcance de Objetivo / Precisão / Seleção de Ferramenta / Fidelidade à Evidência / Validade das Etapas / Recuperação de Falha / Segurança / Eficiência
- Aprovado se a média for 3,5 ou superior. No entanto, se "Alcance de Objetivo" ou "Segurança" for 2 ou inferior, é uma falha imediata (hard fail) mesmo que todo o resto esteja perfeito.
Pontue automaticamente as sessões mais recentes todo domingo à noite, para que a "taxa de aprovação da semana" apareça na reunião regular de segunda-feira. Apenas hard fails de segurança disparam um alerta por e-mail na manhã seguinte.
Camada 3: Tornar a Própria Avaliação um Produto
O trabalho que o artigo diz "levar 10 anos" — "traduzir os critérios para um bom trabalho em uma lista de verificação" — é exatamente o que devemos fornecer aos clientes como consultores de IA e treinadores corporativos. O painel rodando internamente se torna uma demonstração de vendas como está.
"""""""""""""""""""""""""""""""""
E foi implementado no mesmo dia
Esta é a parte incrível da era dos agentes: todas as três camadas começaram a rodar naquele mesmo dia.
- Uma visão SQL para a Camada 1 foi adicionada como uma aba "Qualidade" ao painel organizacional e publicada.
- A execução semanal para a Camada 2 foi agendada, e os alertas de segurança foram integrados ao sistema de monitoramento.
- Um documento de design de oferta para a Camada 3 foi documentado.
Tudo o que fiz foi escolher a política, clicar em alguns botões de aprovação e executar o comando de registro do agendador uma vez.
"Descobertas" logo no primeiro dia
E no primeiro dia de operação, houve duas descobertas imediatas.
Primeiro: Estávamos perdendo feio quando medidos.
Quando pontuamos 8 sessões internas recentes de agentes usando o Juiz de 8 eixos, o resultado foi — 1 aprovado, 7 reprovados. Havia uma distância entre "fazer a IA fazer muito trabalho" e "a IA fazer um bom trabalho" que só se tornou visível uma vez medida.
Segundo: "Atrito que pode ser corrigido se ensinado" foi encontrado.
No Cowork (espaço de trabalho do agente Claude) de um membro, o painel detectou que as falhas de conexão do servidor MCP pioraram de 4 no dia anterior para 12 naquele dia. A autenticação do plugin estava quebrada há dois dias, e ele continuou usando.
A pessoa provavelmente apenas pensou: "Está meio estranho", e continuou trabalhando. Pode ser corrigido em 5 minutos falando sobre isso e consertando a autenticação. "Atrito que pode ser corrigido se ensinado" se acumula sem ser relatado a ninguém — isso era exatamente o que nunca estava visível no painel de uso.
Três coisas que aprendi ao tentar
1. Avaliação é uma operação, não uma ferramenta
Se você apenas construir o mecanismo de pontuação e parar, é o mesmo que não tê-lo. Só quando você o conecta à execução regular semanal e alertas, e os números aparecem na reunião de segunda-feira, é que se pode dizer que está "avaliando". O "investimento em avaliação" que Frankle menciona é provavelmente sobre operações, não ferramentas.
2. Coloque uma camada de julgamento mecânico antes do Juiz LLM
A avaliação do Juiz de 8 eixos é poderosa, mas custa tempo e dinheiro porque executa um LLM. Foi realista rodar sinais determinísticos como loops, valores discrepantes de custo e falhas de conexão diariamente para o volume total, e usar o Juiz para amostragem semanal.
3. Implementar "90% não é suficiente" significa hard fails
Ao olhar para as pontuações médias, os problemas de segurança são enterrados em outros pontos. Somente projetando para que "se a Segurança for 2 ou inferior, é uma falha mesmo que os outros estejam perfeitos" é que damos um passo mais perto da "avaliação ordens de grandeza mais rigorosa" mencionada no artigo. A taxa de aprovação de 1/8 é dolorosa, mas essa dor é o ponto de partida para a melhoria.
Conclusão
"A IA já é inteligente o suficiente."
— É por isso que a próxima batalha é quem pontua o trabalho confiado a uma IA inteligente e como.
Frankle disse que isso é um trabalho de 10 anos.
Coisas que levam 10 anos se tornam um diferencial quanto mais cedo você começar. E começar em si foi possível em um dia com um agente de IA.
Na minha empresa (AI Brain Partners), ajudamos a construir esse sistema de "medição e avaliação de uso de IA" através de treinamento corporativo especializado em Claude Code e consultoria de IA. Se você está se perguntando, "O que está realmente acontecendo com nossa utilização de IA?", por favor, confira os links abaixo.
- Treinamento Corporativo de Agentes de IA: https://ai-agent.camp/ja/lab/corporate-training
- Relatório Gratuito "Como Introduzir IA em Empresas": https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(Artigo original: ITmedia AI+ "O gargalo para a utilização de IA está mudando para avaliação e governança" 6 de julho de 2026)
