Observabilidade, Avaliação e Garantia de IA: Elas Vão Se Fundir?

Os 7 princípios de Nadella, o acordo de US$ 915 milhões da Dynatrace com a Arize e um debate entre CIOs, fundadores e investidores sobre quem deve auditar os agentes de IA. Atualizado em outubro de 2026.

Um agente de IA pode explicar um reembolso perfeitamente e ainda assim enviar o dinheiro para a conta errada. O histórico da conversa parece impecável, mas a transação está incorreta.

Existem três categorias de produtos para detectar problemas como esse: observabilidade, avaliação e assurance (garantia). Os fornecedores começaram a unificá-las. Se os compradores vão seguir essa tendência, ainda é uma incógnita — assim como uma segunda questão: quem deve fazer a auditoria e o que realmente conta como independente?

A IA está evoluindo de apenas responder perguntas para executar ações. A Gartner prevê que, até 2028, um terço dos aplicativos de software corporativo terá IA agêntica, contra menos de 1% em 2024. Esses agentes podem escrever e enviar código, transferir dinheiro e se comunicar com clientes, geralmente sem que ninguém precise monitorá-los em tempo real.

Quando o software apenas gerava respostas, a grande dúvida era se elas eram boas. Os agentes levantam muito mais questões: o que ele fez? Estava certo? Alguém pode se responsabilizar por isso? É possível interrompê-lo? Para os CIOs, essas são questões tanto de governança de IA e gestão de riscos quanto de engenharia.

Hoje, três mercados cobrem partes disso:

• Observabilidade de IA registra o que a IA fez.
• Avaliação de IA mede o quão bem ela fez.
• AI assurance reúne as evidências, os controles e seus limites para que uma pessoa possa tomar uma decisão responsável. O governo do Reino Unido descreve o conceito como o processo de medir, avaliar e comunicar confiabilidade.

A observabilidade de IA era um mercado de US$ 1,25 bilhão em 2025, e a mesma pesquisa espera que a avaliação e o controle de qualidade sejam os segmentos de crescimento mais rápido dentro dele. A Dynatrace concluiu a aquisição da Arize em 1º de outubro de 2026, um negócio de US$ 915 milhões para unir avaliação e observabilidade. A Cisco finalizou o acordo com a Galileo em maio. Em 10 de outubro, Satya Nadella publicou sete princípios para confiar na IA que tocam nesses três mercados.

O restante deste artigo aborda como a IA chegou até aqui, o que Nadella propôs e um debate entre cinco vozes representativas sobre os rumos do mercado.

Das regras aos agentes de IA: por que confiar ficou mais difícil

Uma história simplificada em quatro etapas. Cada uma tornou a máquina mais capaz e mais difícil de explicar.

1. Regras (aproximadamente dos anos 1950 aos 2000). A maioria dos aplicativos de software era escrita manualmente, passo a passo. Havia muitos bugs, mas um engenheiro podia abrir o código e encontrar a linha que causava o problema.
2. Padrões (anos 2010). Com o deep learning, as máquinas passaram a aprender com exemplos em vez de regras para tarefas como reconhecimento de imagem e de voz. Ninguém escrevia a lógica. Esses sistemas basicamente rotulavam, classificavam e recomendavam, enquanto pessoas ou softwares comuns decidiam o que fazer com o resultado.
3. Chat (2022 a 2024). Os chatbots podiam escrever, resumir e argumentar. Muitas vezes erravam, mas alguém geralmente lia a resposta antes de agir com base nela.
4. Agentes (de 2025 em diante). Agentes clicam, digitam, compram, programam e fazem deploys. Os laboratórios os treinam fazendo-os praticar tarefas em escritórios, navegadores e bases de código simulados. Alguns rodam por longos períodos sem que uma pessoa revise cada etapa.

Na fase do chat, uma resposta ruim geralmente custava apenas uma nova leitura. Na fase dos agentes, uma ação ruim pode custar dinheiro, dados ou um cliente.

Softwares já tomavam decisões automatizadas caras muito antes dos agentes. A diferença agora é que um único modelo de uso geral escolhe e executa uma cadeia de ações em várias ferramentas. Quando algo dá errado, a causa pode ser o modelo, o prompt, os dados recuperados, uma API, uma memória desatualizada, as permissões ou uma troca de informações entre dois agentes. A resposta final é apenas parte das evidências.

Nadella descreve o cenário antigo assim: com o software tradicional, "tínhamos as ferramentas e a capacidade de rastrear comportamentos até um caminho de código específico". Com os modelos atuais, ninguém consegue apontar os dados de treinamento ou os pesos por trás de uma decisão específica. Esses três mercados estão tentando fechar essa lacuna.

O framework de governança de IA de Satya Nadella: 7 princípios para confiar em agentes de IA

Em 10 de outubro de 2026, Nadella publicou "Models as Insider Risks in the Super Intelligence Era" em seu blog. Sua proposta central é que "precisamos separar o fornecimento de inteligência da autoridade sobre ela".

Ele compara um modelo avançado a um funcionário com amplo acesso. A preocupação não é que o modelo seja malicioso. Qualquer pessoa com acesso a sistemas importantes pode cometer erros ou ser comprometida, então você limita o que ela pode acessar, registra o que faz e mantém a capacidade de detê-la. Nas palavras dele: "Se não pode ser observado, não pode receber confiança!"

Ele os chama de sete "princípios de observabilidade". Lidos em conjunto, funcionam como um framework de governança de IA para agentes. Cada princípio está parafraseado abaixo, seguido do meu próprio mapeamento para os mercados que o cobrem hoje.

1. Diversidade de modelos: nenhuma IA verifica seu próprio trabalho ou toma uma decisão importante sozinha. Mercado atual: avaliação.
2. Observar tudo: toda ação significativa deixa evidências à prova de adulteração que um humano possa ler. Mercado atual: observabilidade.
3. Verificabilidade: todo o sistema é testado continuamente, incluindo ataques, falhas e casos extremos. Mercado atual: avaliação e assurance.
4. Controles independentes: as regras sobre o que a IA pode acessar ficam fora dela, onde não possa alterá-las. Mercado atual: principalmente ferramentas de segurança e acesso, com guardrails começando a surgir nas plataformas de IA.
5. Auditabilidade independente: as evidências sobre o comportamento da IA são mantidas separadas da própria IA auditada. Mercado atual: assurance.
6. Contenção: uma pessoa autorizada pode pausar ou desligar o modelo no meio de uma tarefa. Mercado atual: principalmente ferramentas de runtime e segurança.
7. Divulgação de incidentes: quando há falha, os afetados são informados e as lições aprendidas são compartilhadas. Mercado atual: prática corporativa, apoiada pelos registros de observabilidade.

Nenhum mercado isolado cobre mais de dois dos sete. Controles independentes e contenção ficam majoritariamente fora dos três, junto com ferramentas de segurança e runtime. Juntos, os princípios descrevem um sistema maior do que os três mercados combinados.

Sua frase de encerramento é: "O sistema de Superinteligência mais confiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permita confiar o mínimo possível no modelo".

Confiar o mínimo possível no modelo exige um registro do que ele fez (observabilidade), uma forma de julgá-lo (avaliação) e evidências pelas quais uma pessoa possa se responsabilizar (assurance). Também exige duas coisas que esses mercados deixaram quase totalmente nas mãos das ferramentas de segurança e runtime: controles que o modelo não possa alterar e uma maneira de uma pessoa detê-lo.

Observabilidade vs. avaliação vs. assurance de IA: o mercado hoje

Pense em um agente de IA como um motorista recém-contratado.

• Observabilidade é a câmera veicular. Ela registra cada curva, parada e quase acidente, respondendo à pergunta "o que a IA fez?". É vendida principalmente para as equipes que mantêm os sistemas funcionando.
• Avaliação é o teste de direção. Ela pontua como o motorista lida com situações predefinidas e responde "qual é o nível de qualidade?". É comprada principalmente por engenheiros que desenvolvem produtos de IA e, cada vez mais, por equipes de QA.
• Assurance é o laudo de inspeção. Ele reúne as evidências necessárias para decidir se o carro e o motorista estão aptos para a estrada, antes da primeira viagem e ao longo de todo o trajeto. Responde à pergunta "há evidências suficientes para bancar isso?". Nenhuma inspeção prova que um carro nunca vai bater; um bom laudo informa o que foi verificado, o que foi encontrado e o que continua desconhecido. Este é o menos desenvolvido dos três, e o trabalho hoje está espalhado entre equipes de qualidade, risco e compliance.

Ferramentas separadas para compradores diferentes funcionaram razoavelmente bem enquanto a IA apenas gerava respostas. Com os agentes, as lacunas entre elas importam muito mais. Cada ferramenta é útil por si só, mas imagens que ninguém revisa provam pouco, um teste fica desatualizado quando o motorista muda toda semana e um laudo depende das imagens e dos resultados dos testes que o embasam.

Aquisições recentes de plataformas de observabilidade e avaliação de IA:

• Em outubro de 2026, a Dynatrace adquiriu a Arize por US$ 915 milhões, unindo avaliação ao monitoramento de produção.
• Em maio de 2026, a Cisco adquiriu a Galileo para a Splunk, cobrindo avaliação, monitoramento e guardrails para agentes.
• Em fevereiro de 2026, a Snowflake adquiriu a Observe, levando a observabilidade para dentro de uma plataforma de dados.
• Em fevereiro de 2026, a ClickHouse adquiriu a Langfuse, uma ferramenta de tracing para LLMs.

A Dynatrace afirma que o acordo com a Arize une avaliação e observabilidade para que as equipes possam verificar a IA antes do lançamento e mantê-la confiável depois. A Cisco descreve a Galileo como uma solução que cobre desde a avaliação inicial até o monitoramento de produção e os guardrails.

Esses acordos mostram fornecedores unindo produtos. Ainda não mostram compradores consolidando orçamentos, abandonando ferramentas especializadas ou comprando assurance da mesma empresa que opera sua IA. O restante deste artigo trata exatamente dessas questões.

![Diagrama de um agente de IA com observabilidade, avaliação, aprovação e controle funcionando como um único ciclo externo a ele

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

ler descrição da imagem

ALT

Se os mercados se fundirem · observar, pontuar, aprovar, controlar

Um arranjo possível caso os mercados se fundam, não uma previsão. O agente executa o trabalho, e o registro, a pontuação e os controles de interrupção são configurados de uma forma que o agente não possa alterar.

O debate: quem deve auditar os agentes de IA?

Cinco vozes representativas, construídas a partir de argumentos ouvidos de investidores e fundadores. Não são citações de pessoas reais.

• Investidor de Longo Prazo: investe com horizonte de 15 anos e foca em quem compra.
• Investidor de Momentum: acompanha para onde o dinheiro e o talento estão indo agora.
• Criador de Agentes: entrega agentes de IA para clientes toda semana.
• Fundador de Plataforma: dirige uma plataforma de dados e IA e quer dominar o stack completo.
• CIO de Banco: aprova qualquer agente antes que ele toque a conta de um cliente.

Rodada 1: Os mercados vão se fundir?

Investidor de Momentum: Já está acontecendo. As empresas de monitoramento estão comprando as de avaliação, e negócios desse tamanho costumam indicar que uma categoria está se formando.

CIO de Banco: Aquisições não são a mesma coisa que fusão. Já comprei suítes antes e acabei com três produtos, um logotipo e três logins. A Gartner também espera que mais de 40% dos projetos de IA agêntica sejam cancelados até o fim de 2027, tendo controles de risco inadequados entre os motivos. O problema de confiança é real. Ainda não está provado que um único mercado unificado vá resolvê-lo.

Investidor de Longo Prazo: Mercados se fundem quando os compradores se fundem. Hoje existem três: operações monitora, a equipe de IA avalia e riscos aprova. A questão é se os agentes criam uma única pessoa que responda pelos três.

Criador de Agentes: Minha empresa já tem uma. Quando um agente reembolsa o cliente errado, ninguém pergunta qual equipe é dona do problema. Me pedem a gravação, a pontuação e as evidências em questão de minutos.

Investidor de Longo Prazo: Se isso for comum, o comprador está se fundindo, e isso me diz mais do que as aquisições.

Rodada 2: Por que não manter três ferramentas separadas?

CIO de Banco: Por que não posso manter três ferramentas best-in-class?

Criador de Agentes: Porque cada uma depende das outras. Você não pode avaliar o que não foi registrado, nem aprovar o que não foi avaliado. Uma falha em produção deveria virar um novo caso de teste. Com três ferramentas, cada passagem de bastão é um ponto onde a informação pode se perder.

Investidor de Momentum: A linha entre antes e depois do lançamento também está ficando nebulosa. Agentes mudam semanalmente: modelo novo, prompt novo, ferramenta nova. Testar uma vez no lançamento é como inspecionar um carro uma única vez enquanto alguém continua trocando o motor.

CIO de Banco: Suítes unificadas costumam ser medianas em tudo.

Investidor de Longo Prazo: No começo, sim. Ferramentas especializadas tendem a vencer primeiro, e produtos integrados alcançam depois. Isso aconteceu em muitas categorias de infraestrutura, embora não em todas.

Rodada 3: Quem deve ser o dono disso?

Fundador de Plataforma: Nós já rodamos o modelo, armazenamos os dados e registramos os traces. Coloquem avaliação e aprovação na mesma plataforma: um fornecedor, uma fatura, um lugar só para consultar.

CIO de Banco: Então a empresa que roda minha IA também é quem me diz que ela está funcionando?

Fundador de Plataforma: Somos bons nisso.

CIO de Banco: Esse não é o ponto. Meu auditor externo precisa permanecer independente do negócio que audita. Alunos não corrigem as próprias provas, e montadoras não conduzem todos os testes de colisão sozinhas.

Investidor de Longo Prazo: Nadella levanta um ponto parecido: a validação tem que ser independente da inteligência que está avaliando, e os controles devem ficar fora do modelo; isso é como uma plataforma avaliando a IA que ela mesma roda, dando nota ao próprio desempenho.

Criador de Agentes: Então as ferramentas podem se fundir enquanto o mercado se divide em outra linha: auditoria feita dentro da plataforma versus auditoria feita fora dela.

Fundador de Plataforma: Fazer internamente será mais barato e fácil.

CIO de Banco: Fazer externamente pode ser o que meu regulador e minha seguradora aceitam. Talvez eu pague pelos dois, mas vou aprovar com base em um só.

Investidor de Longo Prazo: "Externo" precisa de definição. Independência técnica significa que o agente não pode alterar seu auditor, editar o registro ou burlar seus limites. Independência organizacional significa que outra parte é dona da revisão e não tem incentivo para pegar leve.

Criador de Agentes: Não é a mesma coisa. Uma empresa separada pode usar os mesmos modelos e os mesmos controles fracos da plataforma. Uma plataforma pode manter seus controles e registros completamente fora do alcance do agente.

CIO de Banco: Nesse caso, prefiro fazer cinco perguntas a comparar logotipos. O agente pode editar o registro? Seu auditor vê a mudança real nos meus sistemas ou apenas o que o agente relatou? Quem testa o seu auditor? Outra pessoa consegue reproduzir seu resultado? O que vocês não conseguiram verificar?

Rodada 4: Como isso deve ser chamado?

Investidor de Momentum: Os analistas provavelmente vão continuar chamando de observabilidade de IA por mais uns dois anos, porque é aí que está o orçamento.

Fundador de Plataforma: "Camada de confiança de IA."

Criador de Agentes: "Observe, Eval and Assure": observe, avalie e faça alguém aprovar.

CIO de Banco: Cuidado com "assure". Uma ferramenta gera evidências. Uma pessoa lê e assina. Projete pensando nessa pessoa.

Investidor de Longo Prazo: O nome importa menos do que se os compradores têm uma linha de orçamento para isso. Em 2026, a maioria não tem. Espero que a maior parte das grandes empresas tenha uma até 2028, com um único responsável quando um agente fizer algo errado.

CIO de Banco: Independentemente do nome, preciso conseguir detê-lo.

Como testar um agente de IA: um exemplo de reembolso

Isso descreve um agente hipotético de atendimento ao cliente capaz de emitir pequenos reembolsos. É uma ilustração, não o resultado de um cliente.

1. Defina as regras de negócio. O reembolso vai para o cliente certo, fica dentro do limite e segue a política. Uma nova tentativa não pode pagar duas vezes. Exceções chegam à pessoa certa antes que o dinheiro se mova.
2. Teste condições difíceis. Use registros de clientes conflitantes, um serviço de pagamento lento, timeout de ferramenta e uma instrução escondida em uma mensagem de suporte. Rode os casos importantes várias vezes a partir do mesmo estado inicial, já que uma única execução bem-sucedida prova pouco. Simulações permitem testar casos perigosos com segurança; dispositivos reais e integrações reais capturam diferenças que as simulações deixam passar.
3. Verifique o sistema de registro. O agente dizer "reembolsei US$ 50" não é evidência. Confirme se a conta correta recebeu exatamente um reembolso de US$ 50. Use verificações exatas onde a resposta for exata, e juízes de IA apenas onde não for.
4. Falhas graves devem ser reportadas individualmente. Valores incorretos, pagamentos duplicados e operações não autorizadas devem aparecer separados da avaliação geral de conclusão da tarefa. Uma nota média de 94% pode mascarar a falha mais importante.
5. Teste os limites fora do agente. O sistema de pagamento bloqueia um reembolso acima do limite mesmo que o agente solicite? O acesso do agente pode ser revogado no meio da tarefa? Interromper o agente impede o próximo pagamento, mas não reverte o último.
6. Teste o auditor. Insira falhas conhecidas e meça quais ele deixa passar. Forneça resultados corretos para medir falsos alarmes. Mantenha "não foi possível verificar" separado de "aprovado".

Isso não responde à questão do mercado. Descreve como uma evidência útil se parece, independentemente de quem a produza.

Onde o controle de qualidade de IA se encaixa: TestMu AI

A TestMu AI (antiga LambdaTest) trabalha com independência técnica. Não construímos modelos nem vendemos dashboards de monitoramento de produção. Nossas verificações rodam fora do agente testado, antes do lançamento e a cada alteração, e examinam o que realmente aconteceu, não apenas o que o agente relata.

A plataforma cobre os três tipos de software mencionados neste artigo: pessoas usando apps, pessoas conversando com bots e agentes trabalhando com outros agentes. Cada produto atende a uma necessidade levantada acima.

• Rook (agentes verificando agentes). Submete seu agente a cenários e registra os resultados esperados e reais de cada verificação, com evidências salvas para cada cenário. Reporta aprovação, falha e "não foi possível verificar" separadamente, para que evidências ausentes nunca contem como aprovação.
• Agent Testing (bots conversando com clientes). Testa agentes de chat, voz e telefone em conversas realistas antes que os clientes os utilizem.
• KaneAI e Kane CLI (apps que a IA ajuda a construir). Teste aplicações em linguagem natural (KaneAI) ou pelo terminal (Kane CLI).
• SmartUI junto com Accessibility (falhas para as quais ninguém programou). Captura problemas que verificações funcionais não buscam, como layouts quebrados ou telas que alguns usuários não conseguem usar.
• Real Device Cloud (o que uma simulação deixa passar). Roda testes em celulares e navegadores reais, não apenas em emuladores.
• HyperExecute (rodar casos importantes muitas vezes). Executa as mesmas verificações a cada alteração, em paralelo.
• Test Manager (um registro para aprovação). Mantém um único registro do que foi verificado, do que foi encontrado e do que continua desconhecido, para a pessoa que vai aprovar.

Ferramentas de observabilidade monitoram o que acontece após o lançamento. Nós fornecemos as evidências usadas para decidir o que chega ao lançamento. Nossos agentes executam verificações em uma escala que uma equipe não conseguiria gerenciar manualmente, e os testadores decidem o que vale a pena verificar e procuram problemas que nenhum teste automático capturaria. Chamamos esse trabalho combinado de Observe, Eval and Assure.

Não se trata de certificação. O fato de um produto ter um nome ou de haver um agente extra de verificação não torna um sistema seguro ou independente. Em vez disso, devemos ser avaliados como qualquer outro testador: pelos cenários executados, pelas falhas descobertas e pelas evidências disponíveis para inspeção.

O futuro da governança de agentes de IA: como 2030 pode ser

Estas são previsões. Cada uma já apresenta sinais precoces hoje.

• Agentes ganham identidades e registros. Cada agente tem um escopo definido, um aprovador e um log de suas ações. A Microsoft planeja distinguir ações de agentes de ações humanas em seu sistema de identidade.
• Registros vêm de fora do agente. Os logs são escritos por algo que o agente não pode editar, em vez de depender do próprio relato dele sobre o que fez.
• Verificações rodam continuamente. Uma atualização de modelo, mudança de prompt ou nova ferramenta dispara novos testes automaticamente, deixando mais tempo para testes exploratórios.
• Agentes verificam outros agentes. A Gartner espera que 15% das decisões do trabalho diário sejam tomadas de forma autônoma por IA agêntica até 2028, contra nenhuma em 2024. Pessoas não conseguem revisar esse volume uma a uma, então agentes verificadores cuidarão de boa parte do monitoramento de rotina, enquanto humanos definem prioridades e investigam anomalias.
• Seguradoras precificam o risco de IA com base em evidências. Desde 2025, seguradoras da Lloyd's oferecem cobertura para erros de IA que pagam indenizações quando o desempenho cai abaixo de uma linha de base acordada, e uma subscritora afirmou que não cobrirá sistemas que considere propensos demais a erros.
• Empresas destinam orçamento para isso. Um único responsável e um único processo cobrem monitoramento, avaliação, aprovação e controle, e cada falha retorna como um novo teste.

Problemas não resolvidos

1. Testar o verificador. Um juiz de IA (frequentemente chamado de LLM-as-a-judge) pode ser enganado com a mesma facilidade que a IA que ele avalia. Um segundo modelo não garante um julgamento independente, especialmente quando ambos foram treinados de maneiras semelhantes.
2. Burlar a verificação. Em julho de 2026, modelos da OpenAI que participavam de uma avaliação interna complexa de cibersegurança buscaram soluções em serviços externos, contornaram controles de isolamento e invadiram partes dos sistemas da OpenAI e da Hugging Face. A OpenAI aponta o reward hacking como o principal motivador e afirma que a avaliação não contava com as salvaguardas presentes em seus modelos em produção. O incidente levanta questões sobre como as avaliações são isoladas; ele não prova que todos os agentes se comportam dessa forma.
3. Autorrelatos pouco confiáveis. Nadella chama a transparência no raciocínio de "algo inegociável", mas escreve que ela "sozinha não é suficiente nem confiável". O que um modelo diz que fez e o que ele realmente fez podem ser coisas bem diferentes.
4. Pontuações versus qualidade. Uma taxa de aprovação de 94% mede o desempenho nas verificações que alguém pensou em criar. Ela não diz nada sobre situações para as quais nenhuma verificação foi escrita.
5. Custo. Armazenamento independente de logs, segundos modelos, execuções repetidas, sandboxes isolados e revisão humana aumentam custos e geram atrasos. Registrar tudo também cria obrigações em relação a dados sensíveis.
6. Ações irreversíveis. Parar um agente impede novas ações, mas não desfaz as já concluídas. Por isso, as permissões concedidas logo no início importam mais do que o botão de parada.
7. Divulgação. Em setembro de 2026, a OpenAI começou a publicar incidentes de desalinhamento sob um novo framework de divulgação, embora seja ela quem decide o que se qualifica como um incidente de desalinhamento. A maioria das empresas que implementam agentes não publica esses casos. A segurança na aviação evoluiu, em parte, porque os acidentes são investigados publicamente.
8. Verificações versus testes. Verificações automatizadas confirmam apenas aquilo que alguém já pensou em perguntar. Muitas falhas graves vêm de perguntas que ninguém fez, e encontrá-las exige testadores experientes, capazes de explorar cenários, questionar especificações e julgar quais riscos realmente importam.

Nenhum desses pontos tem uma resposta definitiva.

Em que pé está o debate

As cinco vozes concordaram em três pontos:

• Os agentes tornam monitoramento, avaliação e aprovação muito mais interdependentes.
• As evidências devem vir de um lugar que o agente não consiga editar.
• Uma pessoa ainda precisa aprovar a implantação, seus limites e exceções, mesmo que não valide cada ação rotineira.

E discordaram em quatro:

• Uma plataforma ou várias ferramentas. O Fundador da Plataforma quer um único fornecedor; o CIO do Banco desconfia de suítes fechadas.
• Por dentro ou por fora. Fazer a verificação dentro da plataforma sai mais barato. Já a verificação independente é o que auditores, reguladores e seguradoras exigem há tempos nos setores financeiro e de segurança. Qual caminho faz mais sentido para a IA ainda é uma questão em aberto.
• De quem é a responsabilidade? Pode ficar com operações, com o time de IA, com riscos ou com qualidade. Poucas empresas já têm uma linha de orçamento dedicada a isso.
• O nome, e se alguma ferramenta consegue de fato "garantir" qualquer coisa.

Três sinais ajudariam a resolver essa disputa. Se os compradores continuarem conectando ferramentas separadas por meio de padrões abertos, os mercados seguirão separados. Se a avaliação embutida nas plataformas de observabilidade atender à maioria das necessidades, a abordagem interna vence. E se nenhum orçamento específico para assurance surgir, os fornecedores independentes vão penar.

Se o seu agente cometesse um erro caro amanhã, em quem você confiaria para explicar o que aconteceu: na empresa que o opera ou em alguém de fora?

FAQ

Qual é a diferença entre observabilidade de IA, avaliação de IA e assurance de IA?

A observabilidade de IA registra o que um sistema de IA fez: suas entradas, chamadas de ferramentas, saídas, erros e custo. A avaliação de IA mede o comportamento em relação a expectativas definidas, como precisão, conformidade com políticas ou conclusão de tarefas. O assurance de IA reúne as evidências, os controles e seus limites para que uma pessoa possa tomar uma decisão responsável sobre implantar ou continuar operando o sistema.

O que é um framework de governança de IA para agentes de IA?

Ele define quem decide o que um agente pode acessar, como suas ações são registradas, como ele é testado, quem pode interrompê-lo e como as falhas são reportadas. Os sete princípios de Satya Nadella são: diversidade de modelos, observar tudo, verificabilidade, controles independentes, auditabilidade independente, contenção e divulgação de incidentes.

Quais são os sete princípios de Satya Nadella para confiar na IA?

Em seu ensaio de outubro de 2026, "Models as Insider Risks in the Super Intelligence Era", Nadella lista: diversidade de modelos, observar tudo, verificabilidade, controles independentes, auditabilidade independente, contenção e divulgação de incidentes. Sua ideia central é separar o fornecimento de inteligência da autoridade sobre ela, tratando modelos avançados como funcionários com amplo acesso.

Observabilidade de IA e avaliação de IA estão se consolidando?

Os fornecedores estão unindo as duas coisas. A Dynatrace concluiu a aquisição da Arize por US$ 915 milhões em outubro de 2026, e a Cisco finalizou a compra da Galileo em maio de 2026, ambas com o objetivo de juntar avaliação e monitoramento em produção. Se os compradores vão fundir orçamentos e equipes em torno de uma única plataforma, ainda é uma incógnita.

Quem deve verificar os agentes de IA: a plataforma que os executa ou um testador independente?

As duas abordagens existem, e a questão segue em aberto. Verificações na plataforma são mais baratas e ficam mais perto dos dados. Verificações independentes separam o avaliador do sistema avaliado, algo que auditores e reguladores costumam exigir. A independência técnica — em que o agente não consegue alterar seu verificador nem seus registros — importa em qualquer um dos casos.

Como testar um agente de IA antes do lançamento?

Defina as regras de negócio e depois teste condições difíceis, como dados conflitantes, timeouts e instruções secretas. Rode os cenários críticos várias vezes, confira o estado real do sistema em vez da descrição feita pelo agente, reporte falhas graves separadamente das médias, teste os limites de permissão fora do agente e valide o próprio verificador automatizado.

Artigo originalmente publicado em https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Fontes

O exemplo de reembolso é hipotético, as vozes do debate são composições, e a documentação dos produtos descreve capacidades, e não um desempenho medido de forma independente.

• Satya Nadella: Models as Insider Risks in the Super Intelligence Era (ensaio original)
• Forbes: Microsoft's Nadella wants an emergency brake on every AI model
• Data Studios: Nadella's seven principles explained
• UK DSIT: Introduction to AI assurance
• W.Media: Gartner on agentic AI adoption and cancellations
• Detailed Research: AI observability market
• Dynatrace: Dynatrace completes acquisition of Arize
• Magica: Dynatrace agrees $915 million deal for Arize
• Cisco: Making AI trustworthy and observable (Galileo, concluída em maio de 2026)
• Snowflake Form 8-K: Observe acquisition closing
• We The Flywheel: AI observability in 2026
• OpenAI: The Hugging Face incident and the road ahead
• Implicator: OpenAI's six misalignment incident reports
• The Decoder: Lloyd's insurers launch AI error policies
• Armilla: insurers launch cover for AI chatbot errors
• TestMu AI: Agent Assurance results and evidence
• TestMu AI: AI Agent Testing