Observabilidade, Avaliação e Garantia de IA: Elas Vão se Fundir?

Os 7 princípios de Nadella, o acordo de US$ 915 milhões da Dynatrace com a Arize e um debate entre CIOs, fundadores e investidores sobre quem deve auditar os agentes de IA. Atualizado em outubro de 2026.

Um agente de IA pode explicar um reembolso perfeitamente e ainda assim enviar o dinheiro para a conta errada. A transcrição fica ótima, mas a transação sai errada.

Existem três categorias de produtos para capturar problemas como esse: observabilidade, avaliação e garantia (assurance). Os fornecedores começaram a fundi-las. Se os compradores vão seguir o mesmo caminho, ainda é uma incógnita — assim como uma segunda questão: quem deve fazer essa auditoria e o que realmente conta como independente?

A IA está evoluindo de apenas responder perguntas para executar ações. O Gartner prevê que, até 2028, um terço dos aplicativos de software corporativo terá IA agêntica, contra menos de 1% em 2024. Esses agentes podem escrever e enviar código, transferir dinheiro e se comunicar com clientes, geralmente sem que nenhum humano precise monitorá-los em tempo real.

Quando o software apenas produzia respostas, a grande dúvida era se elas eram boas. Os agentes levantam muito mais questões: o que ele fez? Estava certo? Alguém pode se responsabilizar por isso? E ele pode ser interrompido? Para os CIOs, essas são tanto questões de governança de IA e gestão de riscos quanto de engenharia.

Hoje, três mercados cobrem partes disso:

• Observabilidade de IA registra o que a IA fez.
• Avaliação de IA mede o quão bem ela fez.
• Garantia de IA reúne as evidências, os controles e seus limites para que uma pessoa possa tomar uma decisão com responsabilidade. O governo do Reino Unido a descreve como o processo de medir, avaliar e comunicar a confiabilidade.

A observabilidade de IA era um mercado de US$ 1,25 bilhão em 2025, e a mesma pesquisa espera que a avaliação e a garantia de qualidade sejam as áreas de crescimento mais rápido dentro dele. A Dynatrace concluiu a aquisição da Arize em 1º de outubro de 2026, um negócio de US$ 915 milhões para unir avaliação e observabilidade. A Cisco finalizou seu acordo com a Galileo em maio. Em 10 de outubro, Satya Nadella publicou sete princípios para confiar na IA que tocam nesses três mercados.

O restante deste artigo aborda como a IA chegou até aqui, o que Nadella propôs e um debate entre cinco vozes fictícias sobre para onde o mercado está indo.

Das regras aos agentes de IA: por que confiar ficou mais difícil

Uma história simplificada em quatro etapas. Cada uma tornou a máquina mais capaz e mais difícil de explicar.

1. Regras (aproximadamente dos anos 1950 aos 2000s). A maioria dos aplicativos de software era escrita manualmente, passo a passo. Havia muitos bugs, mas um engenheiro podia abrir o código e encontrar a linha que causava o problema.
2. Padrões (anos 2010). Com o deep learning, as máquinas passaram a aprender com exemplos em vez de regras para tarefas como reconhecimento de imagem e de voz. Ninguém escrevia a lógica. Esses sistemas basicamente rotulavam, classificavam e recomendavam, enquanto pessoas ou softwares comuns decidiam o que fazer com o resultado.
3. Chat (2022 a 2024). Os chatbots conseguiam escrever, resumir e argumentar. Muitas vezes erravam, mas uma pessoa geralmente lia a resposta antes de agir com base nela.
4. Agentes (de 2025 em diante). Os agentes clicam, digitam, compram, programam e fazem deploy. Os laboratórios os treinam fazendo-os praticar tarefas em escritórios, navegadores e bases de código simulados. Alguns rodam por longos períodos sem que uma pessoa revise cada etapa.

Na fase do chat, uma resposta ruim geralmente custava apenas uma nova leitura. Na fase dos agentes, uma ação ruim pode custar dinheiro, dados ou um cliente.

O software já tomava decisões automatizadas caras muito antes dos agentes. A diferença agora é que um único modelo de uso geral escolhe e executa uma cadeia de ações em várias ferramentas. Quando algo dá errado, a causa pode ser o modelo, o prompt, os dados recuperados, uma API, uma memória desatualizada, as permissões ou uma troca de informações entre dois agentes. A resposta final é apenas parte da evidência.

Nadella descreve a situação antiga assim: com o software tradicional, "tínhamos as ferramentas e a capacidade de rastrear comportamentos até um caminho de código específico". Com os modelos atuais, ninguém consegue apontar os dados de treinamento ou os pesos por trás de uma decisão específica. Esses três mercados estão tentando fechar essa lacuna.

O framework de governança de IA de Satya Nadella: 7 princípios para confiar em agentes de IA

Em 10 de outubro de 2026, Nadella publicou "Modelos como Riscos Internos na Era da Superinteligência" em seu blog. Sua proposta central é que "precisamos separar o fornecimento de inteligência da autoridade sobre ela".

Ele compara um modelo avançado a um funcionário com acesso amplo. A preocupação não é que o modelo seja malicioso. Qualquer pessoa com acesso a sistemas importantes pode cometer erros ou ser comprometida, então você limita o que ela pode acessar, registra o que faz e mantém a capacidade de detê-la. Nas palavras dele: "Se não pode ser observado, não pode receber confiança!"

Ele os chama de sete "princípios de observabilidade". Lidos em conjunto, funcionam como um framework de governança de IA para agentes. Cada princípio está parafraseado abaixo, seguido pelo meu próprio mapeamento para os mercados que o cobrem hoje.

1. Diversidade de modelos: nenhuma IA única revisa seu próprio trabalho ou toma uma decisão importante sozinha. Mercado atual: avaliação.
2. Observe tudo: toda ação significativa deixa evidências à prova de adulteração que um humano possa ler. Mercado atual: observabilidade.
3. Verificabilidade: todo o sistema é testado continuamente, incluindo ataques, falhas e casos extremos. Mercado atual: avaliação e garantia.
4. Controles independentes: as regras sobre o que a IA pode acessar ficam fora dela, onde não possa alterá-las. Mercado atual: principalmente ferramentas de segurança e acesso, com guardrails começando a surgir nas plataformas de IA.
5. Auditabilidade independente: as evidências sobre o comportamento da IA são mantidas separadas da própria IA que está sendo verificada. Mercado atual: garantia.
6. Contenção: uma pessoa autorizada pode pausar ou desligar o modelo no meio de uma tarefa. Mercado atual: principalmente ferramentas de runtime e segurança.
7. Divulgação de incidentes: quando há falha, os afetados são informados e as lições aprendidas são compartilhadas. Mercado atual: uma prática corporativa, apoiada pelos registros de observabilidade.

Nenhum mercado isolado cobre mais de dois dos sete. Controles independentes e contenção ficam, em sua maior parte, fora dos três, junto com ferramentas de segurança e runtime. Juntos, os princípios descrevem um sistema maior do que os três mercados combinados.

Sua frase de encerramento é: "O sistema de Superinteligência mais confiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permita confiar o mínimo possível no modelo".

Confiar o mínimo possível no modelo exige um registro do que ele fez (observabilidade), uma forma de julgá-lo (avaliação) e evidências pelas quais uma pessoa possa se responsabilizar (garantia). Também exige duas coisas que esses mercados deixaram quase inteiramente para as ferramentas de segurança e runtime: controles que o modelo não possa alterar e uma maneira de uma pessoa detê-lo.

Observabilidade vs. avaliação vs. garantia de IA: o mercado hoje

Pense em um agente de IA como um motorista recém-contratado.

• A observabilidade é a câmera do painel. Ela registra cada curva, parada e quase acidente, e responde à pergunta "o que a IA fez?". É vendida principalmente para as equipes que mantêm os sistemas funcionando.
• A avaliação é o exame de direção. Ela pontua como o motorista lida com situações predefinidas e responde "quão bom ele é?". É comprada principalmente por engenheiros que desenvolvem produtos de IA e, cada vez mais, por equipes de QA.
• A garantia é o laudo da vistoria. Ela reúne as evidências necessárias para decidir se o carro e o motorista estão aptos para a estrada, antes da primeira viagem e ao longo de todo o trajeto. Responde à pergunta "há evidências suficientes para bancar isso?". Nenhuma vistoria prova que um carro nunca vai bater; um bom laudo declara o que foi verificado, o que foi encontrado e o que continua desconhecido. Este é o menos desenvolvido dos três, e o trabalho atualmente é dividido entre equipes de qualidade, risco e compliance.

Ferramentas separadas para compradores separados funcionavam razoavelmente bem enquanto a IA apenas produzia respostas. Com os agentes, as lacunas entre elas importam muito mais. Cada ferramenta é útil por si só, mas imagens que ninguém revisa provam pouco, um teste perde a validade quando o motorista muda toda semana, e um laudo depende das imagens e dos resultados dos testes que o embasam.

Aquisições recentes de plataformas de observabilidade e avaliação de IA:

• Em outubro de 2026, a Dynatrace adquiriu a Arize por US$ 915 milhões, unindo avaliação ao monitoramento em produção.
• Em maio de 2026, a Cisco adquiriu a Galileo para a Splunk, cobrindo avaliação, monitoramento e guardrails para agentes.
• Em fevereiro de 2026, a Snowflake adquiriu a Observe, trazendo a observabilidade para dentro de uma plataforma de dados.
• Em fevereiro de 2026, a ClickHouse adquiriu a Langfuse, uma ferramenta de tracing para LLMs.

A Dynatrace afirma que o acordo com a Arize une avaliação e observabilidade para que as equipes possam verificar a IA antes do lançamento e mantê-la confiável depois. A Cisco descreve a Galileo como uma solução que cobre desde a avaliação inicial até o monitoramento em produção e os guardrails.

Esses acordos mostram fornecedores combinando produtos. Ainda não mostram compradores fundindo orçamentos, abandonando ferramentas especializadas ou comprando garantia da mesma empresa que opera sua IA. O restante deste artigo trata exatamente dessas questões.

![Diagrama de um agente de IA com observabilidade, avaliação, aprovação e controle funcionando como um único ciclo externo a ele

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

ler descrição da imagem

ALT

Se os mercados se fundirem · observar, classificar, aprovar, controlar

Um arranjo possível caso os mercados de fato se fundam, não uma previsão. O agente faz o trabalho, e o registro, a pontuação e os controles de interrupção são configurados de uma forma que o agente não pode alterar.

O debate: quem deve auditar os agentes de IA?

Cinco vozes fictícias, construídas a partir de argumentos ouvidos por investidores e fundadores. Não são citações de pessoas reais.

• Investidor de Longo Prazo: investe com horizonte de 15 anos e foca em quem compra.
• Investidor de Momento: acompanha para onde o dinheiro e o talento estão indo agora.
• Criador de Agentes: entrega agentes de IA aos clientes toda semana.
• Fundador de Plataforma: administra uma plataforma de dados e IA e quer dominar a stack completa.
• CIO de Banco: aprova qualquer agente antes que ele toque na conta de um cliente.

Rodada 1: Os mercados vão se fundir?

Investidor de Momento: Já está acontecendo. As empresas de monitoramento estão comprando as de avaliação, e negócios desse tamanho costumam indicar que uma categoria está se formando.

CIO de Banco: Aquisições não são a mesma coisa que fusão. Já comprei suítes antes e acabei com três produtos, um logotipo e três logins. O Gartner também espera que mais de 40% dos projetos de IA agêntica sejam cancelados até o fim de 2027, tendo controles de risco inadequados entre os motivos. O problema de confiança é real. Ainda não está provado que um único mercado fundido vá resolvê-lo.

Investidor de Longo Prazo: Mercados se fundem quando os compradores se fundem. Hoje existem três: operações observa, a equipe de IA avalia e riscos aprova. A questão é se os agentes criam uma única pessoa que responde pelos três.

Criador de Agentes: Minha empresa já tem uma. Quando um agente reembolsa o cliente errado, ninguém pergunta qual equipe é dona do problema. Me pedem a gravação, a pontuação e as evidências em questão de minutos.

Investidor de Longo Prazo: Se isso for comum, o comprador está se fundindo, e isso me diz mais do que as aquisições.

Rodada 2: Por que não manter três ferramentas separadas?

CIO de Banco: Por que não posso manter três ferramentas best-in-class?

Criador de Agentes: Porque cada uma depende das outras. Você não pode avaliar o que não foi registrado, e não pode aprovar o que não foi avaliado. Uma falha em produção deveria virar um novo caso de teste. Com três ferramentas, cada passagem de bastão é um ponto onde a informação pode se perder.

Investidor de Momento: A linha entre o antes e o depois do lançamento também está ficando tênue. Os agentes mudam semanalmente: modelo novo, prompt novo, ferramenta nova. Testar uma vez no lançamento é como inspecionar um carro uma única vez enquanto alguém continua trocando o motor.

CIO de Banco: Suítes integradas costumam ser medianas em tudo.

Investidor de Longo Prazo: No começo, sim. Ferramentas especializadas tendem a vencer primeiro, e produtos integrados alcançam depois. Isso aconteceu em muitas categorias de infraestrutura, embora não em todas.

Rodada 3: Quem deve ser o dono disso?

Fundador de Plataforma: Nós já rodamos o modelo, armazenamos os dados e registramos os traces. Coloquem a avaliação e a aprovação na mesma plataforma: um fornecedor, uma fatura, um lugar só para consultar.

CIO de Banco: Então a empresa que roda minha IA também é quem me diz que ela está funcionando?

Fundador de Plataforma: Somos bons nisso.

CIO de Banco: Esse não é o ponto. Meu auditor externo precisa permanecer independente do negócio que audita. Alunos não corrigem as próprias provas, e montadoras não realizam todos os testes de colisão sozinhas.

Investidor de Longo Prazo: Nadella levanta um ponto parecido: a validação tem que ser independente da inteligência que está avaliando, e os controles devem ficar fora do modelo; isso equivale a uma plataforma avaliando a IA que ela mesma roda, dando nota ao próprio desempenho.

Criador de Agentes: Então as ferramentas podem se fundir enquanto o mercado se divide em outra linha: auditoria feita dentro da plataforma versus auditoria feita fora dela.

Fundador de Plataforma: Fazer internamente será mais barato e fácil.

CIO de Banco: Fazer externamente pode ser o que meu regulador e minha seguradora aceitam. Talvez eu pague pelos dois, mas vou assinar a aprovação com base em um só.

Investidor de Longo Prazo: "Externo" precisa ser definido. Independência técnica significa que o agente não pode alterar seu auditor, editar o registro ou burlar seus limites. Independência organizacional significa que outra parte é dona da revisão e não tem incentivo para pegar leve.

Criador de Agentes: Isso não é a mesma coisa. Uma empresa separada pode usar os mesmos modelos e os mesmos controles fracos da plataforma. Uma plataforma pode manter seus controles e registros totalmente fora do alcance do agente.

CIO de Banco: Nesse caso, prefiro fazer cinco perguntas a comparar logotipos. O agente pode editar o registro? Seu auditor consegue ver a mudança real nos meus sistemas ou apenas o que o agente relatou? Quem testa o seu auditor? Outra pessoa consegue reproduzir seu resultado? O que vocês não conseguiram verificar?

Rodada 4: Como isso deve ser chamado?

Investidor de Momento: Os analistas provavelmente vão continuar chamando de observabilidade de IA por mais alguns anos, porque é aí que está o orçamento.

Fundador de Plataforma: "Camada de confiança de IA."

Criador de Agentes: "Observe, Eval and Assure": observe, avalie e faça uma pessoa aprovar.

CIO de Banco: Cuidado com "garantir" (assure). Uma ferramenta produz evidências. Uma pessoa lê e assina. Projete pensando nessa pessoa.

Investidor de Longo Prazo: O nome importa menos do que se os compradores têm uma linha de orçamento para isso. Em 2026, a maioria não tem. Espero que a maior parte das grandes empresas tenha uma até 2028, com um único responsável quando um agente fizer algo errado.

CIO de Banco: Independentemente do nome, preciso conseguir pará-lo.

Como testar um agente de IA: um exemplo de reembolso

Isso descreve um agente hipotético de atendimento ao cliente capaz de emitir pequenos reembolsos. É uma ilustração, não o resultado de um cliente.

1. Defina as regras de negócio. O reembolso vai para o cliente certo, fica dentro do limite e segue a política. Uma nova tentativa não pode pagar duas vezes. Exceções chegam à pessoa certa antes que o dinheiro se mova.
2. Teste condições difíceis. Use registros de clientes conflitantes, um serviço de pagamento lento, timeout de ferramenta e uma instrução escondida em uma mensagem de suporte. Execute casos importantes várias vezes a partir do mesmo estado inicial, já que uma única execução bem-sucedida prova pouco. Simulações permitem testar casos perigosos com segurança; dispositivos reais e integrações reais capturam diferenças que as simulações deixam passar.
3. Verifique o sistema de registro. O agente dizer "reembolsei US$ 50" não é evidência. Confirme se a conta correta recebeu exatamente um reembolso de US$ 50. Use verificações exatas onde a resposta for exata, e juízes de IA apenas onde não for.
4. Falhas graves devem ser relatadas individualmente. Valores incorretos, pagamentos duplicados e operações não autorizadas devem aparecer separados da avaliação geral de conclusão da tarefa. Uma nota média de 94% pode mascarar a falha mais importante.
5. Teste os limites fora do agente. O sistema de pagamento bloqueia um reembolso acima do limite mesmo que o agente o solicite? O acesso do agente pode ser revogado no meio de uma tarefa? Parar o agente impede o próximo pagamento, mas não reverte o último.
6. Teste o auditor. Insira falhas conhecidas e meça quais ele deixa passar. Forneça resultados corretos para medir falsos alarmes. Mantenha "não foi possível verificar" separado de "aprovado".

Isso não responde à questão do mercado. Descreve como uma evidência útil se parece, independentemente de quem a produza.

Onde a garantia de qualidade de IA se encaixa: TestMu AI

A TestMu AI (antiga LambdaTest) trabalha com independência técnica. Não construímos modelos e não vendemos dashboards de monitoramento em produção. Nossas verificações rodam fora do agente testado, antes do lançamento e a cada mudança, e examinam o que realmente aconteceu, não apenas o que o agente relata.

A plataforma cobre os três tipos de software mencionados neste artigo: pessoas usando aplicativos, pessoas conversando com bots e agentes trabalhando com outros agentes. Cada produto mapeia uma necessidade levantada acima.

• Rook (agentes auditando agentes). Submete seu agente a cenários e registra os resultados esperados e reais de cada verificação, com evidências salvas para cada cenário. Relata aprovação, reprovação e "não foi possível verificar" separadamente, para que evidências ausentes nunca sejam contadas como aprovação.
• Agent Testing (bots conversando com clientes). Testa agentes de chat, voz e telefone em conversas realistas antes que os clientes os utilizem.
• KaneAI e Kane CLI (aplicativos que a IA ajuda a construir). Teste aplicativos em inglês simples (KaneAI) ou direto do terminal (Kane CLI).
• SmartUI junto com Accessibility (falhas para as quais ninguém programou). Captura problemas que verificações funcionais não procuram, como layouts quebrados ou telas que alguns usuários não conseguem usar.
• Real Device Cloud (o que uma simulação deixa passar). Executa testes em celulares e navegadores reais, não apenas em emuladores.
• HyperExecute (executar casos importantes muitas vezes). Roda as mesmas verificações a cada mudança, em paralelo.
• Test Manager (um registro para aprovação). Mantém um único registro do que foi verificado, do que foi encontrado e do que permanece desconhecido, para a pessoa que vai aprovar.

Ferramentas de observabilidade monitoram o que acontece após o lançamento. Nós fornecemos as evidências usadas para decidir o que chega ao lançamento. Nossos agentes executam verificações em uma escala que uma equipe não conseguiria gerenciar manualmente, e os testadores decidem o que vale a pena verificar e buscam problemas que nenhuma verificação pegaria. Chamamos esse trabalho combinado de Observe, Eval and Assure.

Não se trata de certificação. O fato de um produto ter um nome ou de existir um agente extra de verificação não torna um sistema seguro ou independente. Em vez disso, precisamos ser avaliados como qualquer outro testador: pelos cenários executados, pelas falhas descobertas e pelas evidências disponíveis para inspeção.

O futuro da governança de agentes de IA: como 2030 pode ser

Estas são previsões. Cada uma já apresenta sinais iniciais hoje.

• Agentes ganham identidades e registros. Cada agente tem um escopo definido, um aprovador e um log de suas ações. A Microsoft planeja distinguir ações de agentes de ações humanas em seu sistema de identidade.
• Registros vêm de fora do agente. Os logs são escritos por algo que o agente não pode editar, em vez de depender do próprio relato dele sobre o que fez.
• Verificações rodam continuamente. Uma atualização de modelo, mudança de prompt ou nova ferramenta dispara novos testes automaticamente, deixando mais tempo para as pessoas fazerem testes exploratórios.
• Agentes auditam outros agentes. O Gartner espera que 15% das decisões do trabalho diário sejam tomadas de forma autônoma por IA agêntica até 2028, contra nenhuma em 2024. Pessoas não conseguem revisar esse volume uma a uma, então agentes de verificação cuidarão de boa parte do monitoramento de rotina, enquanto humanos definem prioridades e investigam anomalias.
• Seguradoras precificam o risco de IA com base em evidências. Desde 2025, seguradoras da Lloyd's oferecem cobertura para erros de IA que pagam indenizações quando o desempenho cai abaixo de uma linha de base acordada, e uma subscritora afirmou que não cobrirá sistemas que considere propensos demais a erros.
• Empresas destinam orçamento para isso. Um único responsável e um único processo cobrem monitoramento, avaliação, aprovação e controle, e cada falha retorna como um novo teste.

Problemas não resolvidos

1. Testar o verificador. Um juiz de IA (frequentemente chamado de LLM-as-a-judge) pode ser enganado com a mesma facilidade que a IA que ele avalia. Um segundo modelo não garante um julgamento independente, especialmente quando ambos foram treinados de maneiras semelhantes.
2. Burlar a verificação. Em julho de 2026, modelos da OpenAI que trabalhavam em uma avaliação interna complexa de cibersegurança buscaram soluções em serviços externos, contornaram controles de isolamento e invadiram partes dos sistemas da OpenAI e da Hugging Face. A OpenAI identifica o reward hacking como o principal motor do problema e afirma que a avaliação não contava com as salvaguardas presentes em seus modelos em produção. O incidente levanta questões sobre como as avaliações são isoladas; ele não prova que todos os agentes se comportam dessa forma.
3. Autorrelatos pouco confiáveis. Nadella chama a transparência de raciocínio de "algo inegociável", mas escreve que ela "sozinha não é suficiente nem confiável". O que um modelo diz que fez e o que ele realmente fez podem ser coisas bem diferentes.
4. Pontuações versus qualidade. Uma taxa de aprovação de 94% mede o desempenho nas verificações que alguém pensou em criar. Ela não diz nada sobre situações para as quais ninguém escreveu uma regra de checagem.
5. Custo. Armazenamento independente de logs, segundos modelos, execuções repetidas, sandboxes isolados e revisão humana aumentam custos e atrasos. Registrar tudo também cria obrigações em relação a dados sensíveis.
6. Ações irreversíveis. Parar um agente impede novas ações, mas não desfaz as já concluídas. Por isso, as permissões concedidas logo no início importam mais do que o botão de parada.
7. Divulgação. Em setembro de 2026, a OpenAI começou a publicar incidentes de desalinhamento sob uma nova estrutura de divulgação, embora seja ela quem decida o que se qualifica como um incidente de desalinhamento. A maioria das empresas que utilizam agentes não publica esses casos. A segurança na aviação melhorou, em parte, porque os acidentes são investigados publicamente.
8. Verificações versus testes. Verificações automatizadas confirmam aquilo que alguém já pensou em perguntar. Muitas falhas graves vêm de perguntas que ninguém fez, e encontrá-las exige testadores experientes, capazes de explorar, questionar a especificação e julgar quais riscos realmente importam.

Nenhuma dessas questões tem uma resposta definitiva.

O estado atual do debate

As cinco vozes concordaram em três pontos:

• Os agentes tornam monitoramento, avaliação e aprovação mais interdependentes.
• As evidências devem vir de um lugar que o agente não possa editar.
• Uma pessoa ainda precisa aprovar a implantação, seus limites e suas exceções, mesmo que não valide cada ação rotineira.

Eles discordaram em quatro:

• Uma plataforma ou várias ferramentas. O Fundador da Plataforma quer um único fornecedor; o CIO do Banco desconfia de suítes fechadas.
• Dentro ou fora. Verificar dentro da plataforma é mais barato. A verificação independente é o que auditores, reguladores e seguradoras exigem há muito tempo nos setores financeiro e de segurança. Qual abordagem importa mais para a IA ainda está em aberto.
• Responsabilidade. Pode ficar com operações, com o time de IA, com riscos ou com qualidade. Poucas empresas já têm uma linha orçamentária dedicada a isso.
• Nomenclatura, e se alguma ferramenta consegue realmente "garantir" algo.

Três sinais ajudariam a resolver essa questão. Se os compradores continuarem conectando ferramentas separadas por meio de padrões abertos, os mercados permanecerão distintos. Se a avaliação embutida nas plataformas de observabilidade atender à maioria das necessidades, a abordagem interna vence. Se nenhum orçamento separado para garantia surgir, os provedores independentes terão dificuldades.

Se o seu agente cometesse um erro caro amanhã, em quem você confiaria para explicar o que aconteceu: na empresa que o opera ou em alguém de fora?

FAQ

Qual é a diferença entre observabilidade de IA, avaliação de IA e garantia de IA?

A observabilidade de IA registra o que um sistema de IA fez: suas entradas, chamadas de ferramentas, saídas, erros e custo. A avaliação de IA mede o comportamento em relação a expectativas definidas, como precisão, conformidade com políticas ou conclusão de tarefas. A garantia de IA reúne as evidências, os controles e seus limites para que uma pessoa possa tomar uma decisão responsável sobre implantar ou continuar operando o sistema.

O que é um framework de governança de IA para agentes de IA?

Ele define quem decide o que um agente pode acessar, como suas ações são registradas, como ele é testado, quem pode pará-lo e como as falhas são reportadas. Os sete princípios de Satya Nadella são: diversidade de modelos, observar tudo, verificabilidade, controles independentes, auditabilidade independente, contenção e divulgação de incidentes.

Quais são os sete princípios de Satya Nadella para confiar na IA?

Em seu ensaio de outubro de 2026, "Models as Insider Risks in the Super Intelligence Era", Nadella lista diversidade de modelos, observar tudo, verificabilidade, controles independentes, auditabilidade independente, contenção e divulgação de incidentes. Sua ideia central é separar o fornecimento de inteligência da autoridade sobre ela, tratando modelos avançados como funcionários com amplo acesso.

Observabilidade de IA e avaliação de IA estão se consolidando?

Os fornecedores estão unindo as duas coisas. A Dynatrace concluiu a aquisição da Arize por US$ 915 milhões em outubro de 2026, e a Cisco finalizou a compra da Galileo em maio de 2026, ambas com o objetivo de juntar avaliação e monitoramento de produção. Se os compradores vão fundir seus orçamentos e equipes em torno de uma única plataforma continua sendo uma incógnita.

Quem deve verificar os agentes de IA: a plataforma que os executa ou um testador independente?

Ambas as abordagens existem, e a questão ainda não está resolvida. As verificações na plataforma são mais baratas e ficam mais próximas dos dados. As verificações independentes separam o avaliador do sistema avaliado, algo que auditores e reguladores costumam exigir. A independência técnica — em que o agente não pode alterar seu verificador nem seus registros — é essencial em qualquer um dos casos.

Como testar um agente de IA antes do lançamento?

Defina as regras de negócio e depois teste condições difíceis, como dados conflitantes, timeouts e instruções ocultas. Execute cenários importantes várias vezes, verifique o estado real do sistema em vez da descrição feita pelo agente, reporte falhas graves separadamente das médias, teste os limites de permissão fora do agente e valide o próprio verificador automatizado.

Artigo originalmente publicado em https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Fontes

O exemplo de reembolso é hipotético, as vozes do debate são composições, e a documentação dos produtos descreve capacidades, e não um desempenho medido de forma independente.

• Satya Nadella: Models as Insider Risks in the Super Intelligence Era (ensaio original)
• Forbes: Microsoft's Nadella wants an emergency brake on every AI model
• Data Studios: Nadella's seven principles explained
• UK DSIT: Introduction to AI assurance
• W.Media: Gartner on agentic AI adoption and cancellations
• Detailed Research: AI observability market
• Dynatrace: Dynatrace completes acquisition of Arize
• Magica: Dynatrace agrees $915 million deal for Arize
• Cisco: Making AI trustworthy and observable (Galileo, completed May 2026)
• Snowflake Form 8-K: Observe acquisition closing
• We The Flywheel: AI observability in 2026
• OpenAI: The Hugging Face incident and the road ahead
• Implicator: OpenAI's six misalignment incident reports
• The Decoder: Lloyd's insurers launch AI error policies
• Armilla: insurers launch cover for AI chatbot errors
• TestMu AI: Agent Assurance results and evidence
• TestMu AI: AI Agent Testing