L'observabilité, l'évaluation et la garantie de l'IA vont-elles fusionner ?

Les 7 principes de Nadella, l'acquisition d'Arize par Dynatrace pour 915 millions de dollars et un débat entre DSI, fondateurs et investisseurs sur la vérification des agents IA. Mis à jour en octobre 2026.

Un agent IA peut expliquer un remboursement à la perfection et tout de même envoyer l'argent sur le mauvais compte. La transcription est impeccable, mais la transaction est fausse.

Trois catégories de produits existent pour détecter ce type de problème : l'observabilité, l'évaluation et l'assurance. Les éditeurs ont commencé à les fusionner. Reste à savoir si les acheteurs suivront, tout comme une seconde question : qui doit effectuer ces contrôles, et qu'est-ce qui compte réellement comme indépendant ?

L'IA passe de la simple réponse aux questions à l'exécution d'actions. Gartner prévoit qu'en 2028, un tiers des applications logicielles d'entreprise intégreront l'IA agentique, contre moins de 1 % en 2024. Ces agents peuvent écrire et soumettre du code, transférer de l'argent et communiquer avec les clients, généralement sans qu'un humain ait besoin de les surveiller en temps réel.

Quand un logiciel ne faisait que produire des réponses, la question principale était de savoir si elles étaient bonnes. Les agents soulèvent bien d'autres interrogations : qu'a-t-il fait, était-ce correct, quelqu'un peut-il s'en porter garant et peut-on l'arrêter ? Pour les DSI, il s'agit autant de questions de gouvernance de l'IA et de gestion des risques que de problèmes d'ingénierie.

Aujourd'hui, trois marchés couvrent une partie de ce périmètre :

• L'observabilité IA enregistre ce que l'IA a fait.
• L'évaluation IA mesure la qualité de son exécution.
• L'assurance IA rassemble les preuves, les contrôles et leurs limites afin qu'une personne puisse prendre une décision responsable. Le gouvernement britannique la décrit comme le processus consistant à mesurer, évaluer et communiquer la fiabilité.

L'observabilité IA représentait un marché de 1,25 milliard de dollars en 2025, et la même étude prévoit que l'évaluation et l'assurance qualité y connaîtront la croissance la plus rapide. Dynatrace a finalisé l'acquisition d'Arize le 1er octobre 2026, une opération à 915 millions de dollars visant à réunir évaluation et observabilité. Cisco a conclu son rachat de Galileo en mai. Le 10 octobre, Satya Nadella a publié sept principes pour faire confiance à l'IA, qui touchent ces trois marchés.

La suite de cet article explique comment l'IA en est arrivée là, ce que propose Nadella, et présente un débat entre cinq voix composites sur l'avenir du marché.

Des règles aux agents IA : pourquoi la confiance est devenue plus complexe

Une histoire simplifiée en quatre étapes. Chacune a rendu la machine plus performante et plus difficile à expliquer.

1. Les règles (des années 1950 aux années 2000 environ). La plupart des applications logicielles étaient écrites manuellement, étape par étape. Elles contenaient de nombreux bugs, mais un ingénieur pouvait ouvrir le code et trouver la ligne responsable.
2. Les modèles (années 2010). Avec le deep learning, les machines ont appris à partir d'exemples plutôt que de règles pour des tâches comme la reconnaissance d'images ou vocale. Personne n'écrivait la logique. Ces systèmes se contentaient principalement d'étiqueter, de classer et de recommander ; c'étaient les humains ou des logiciels classiques qui décidaient quoi faire du résultat.
3. Le chat (2022 à 2024). Les chatbots pouvaient rédiger, résumer et argumenter. Ils se trompaient souvent, mais un humain relisait généralement la réponse avant d'agir.
4. Les agents (à partir de 2025). Les agents cliquent, saisissent, achètent, codent et déploient. Les laboratoires les entraînent en leur faisant répéter des tâches dans des bureaux, des navigateurs et des bases de code simulés. Certains fonctionnent longtemps sans qu'un humain valide chaque étape.

À l'ère du chat, une mauvaise réponse coûtait au pire une relecture. À l'ère des agents, une mauvaise action peut coûter de l'argent, des données ou un client.

Bien avant les agents, les logiciels prenaient déjà des décisions automatisées lourdes de conséquences. La différence aujourd'hui, c'est qu'un seul modèle généraliste choisit et exécute une chaîne d'actions à travers plusieurs outils. Quand quelque chose tourne mal, la cause peut être le modèle, le prompt, les données récupérées, une API, une mémoire obsolète, ses permissions ou encore un échange entre deux agents. La réponse finale ne constitue qu'une partie des preuves.

Nadella décrit ainsi l'ancienne situation : avec les logiciels traditionnels, « nous avions les outils et la capacité de relier les comportements à un chemin de code spécifique ». Avec les modèles actuels, personne ne peut pointer vers les données d'entraînement ou les poids à l'origine d'une décision précise. Ces trois marchés tentent de combler ce fossé.

Le cadre de gouvernance de l'IA de Satya Nadella : 7 principes pour faire confiance aux agents IA

Le 10 octobre 2026, Nadella a publié sur son blog l'article « Models as Insider Risks in the Super Intelligence Era » (Les modèles comme risques internes à l'ère de la superintelligence). Sa proposition centrale est qu'« il faut séparer la fourniture d'intelligence de l'autorité exercée sur celle-ci ».

Il compare un modèle performant à un employé disposant d'accès très larges. Le problème n'est pas que le modèle soit malveillant. Quiconque accède à des systèmes critiques peut commettre des erreurs ou être compromis ; il faut donc limiter ce qu'il peut atteindre, enregistrer ce qu'il fait et conserver la possibilité de l'arrêter. Selon ses mots : « Si on ne peut pas l'observer, on ne peut pas lui faire confiance ! »

Il les appelle les sept « principes d'observabilité ». Lus ensemble, ils forment un cadre de gouvernance de l'IA pour les agents. Chaque principe est paraphrasé ci-dessous, suivi de ma propre mise en correspondance avec les marchés qui le couvrent aujourd'hui.

1. Diversité des modèles : aucune IA ne contrôle son propre travail ni ne prend seule une décision importante. Marché actuel : l'évaluation.
2. Tout observer : chaque action significative laisse une preuve infalsifiable qu'un humain peut lire. Marché actuel : l'observabilité.
3. Vérifiabilité : l'ensemble du système est testé en continu, y compris face aux attaques, aux pannes et aux cas limites. Marché actuel : l'évaluation et l'assurance.
4. Contrôles indépendants : les règles définissant ce à quoi l'IA peut accéder résident en dehors de l'IA, là où elle ne peut pas les modifier. Marché actuel : principalement les outils de sécurité et de gestion des accès, les garde-fous commençant à apparaître dans les plateformes IA.
5. Auditabilité indépendante : les preuves relatives au comportement de l'IA sont conservées séparément de l'IA contrôlée. Marché actuel : l'assurance.
6. Confinement : une personne autorisée peut suspendre ou arrêter le modèle en pleine tâche. Marché actuel : principalement les outils d'exécution (runtime) et de sécurité.
7. Divulgation des incidents : en cas d'échec, les personnes concernées sont informées et les leçons sont partagées. Marché actuel : une pratique d'entreprise, appuyée par les journaux d'observabilité.

Aucun marché ne couvre plus de deux de ces sept principes. Les contrôles indépendants et le confinement se situent majoritairement en dehors de ces trois périmètres, du côté des outils de sécurité et d'exécution. Pris dans leur ensemble, les principes décrivent un système plus vaste que les trois marchés réunis.

Sa conclusion est la suivante : « Le système de superintelligence le plus digne de confiance ne sera pas celui doté du modèle auquel nous faisons le plus confiance. Ce sera celui qui nous permet de faire le moins confiance au modèle. »

Faire le moins confiance possible au modèle exige un historique de ses actions (observabilité), un moyen de le juger (évaluation) et des preuves derrière lesquelles un humain peut s'engager (assurance). Cela requiert aussi deux éléments que ces marchés ont largement laissés aux outils de sécurité et d'exécution : des contrôles que le modèle ne peut pas modifier, et un moyen pour un humain de l'arrêter.

Observabilité vs évaluation vs assurance IA : le marché aujourd'hui

Imaginez un agent IA comme un chauffeur fraîchement recruté.

• L'observabilité, c'est la dashcam. Elle enregistre chaque virage, chaque arrêt et chaque frôlement, et répond à la question « qu'a fait l'IA ? ». Elle est vendue principalement aux équipes qui maintiennent les systèmes en fonctionnement.
• L'évaluation, c'est l'examen du permis. Elle note la façon dont le conducteur gère des situations prédéfinies et répond à la question « quel est son niveau ? ». Elle est achetée surtout par les ingénieurs qui conçoivent des produits IA, et de plus en plus par les équipes QA.
• L'assurance, c'est le rapport du contrôle technique. Elle rassemble les preuves nécessaires pour décider si le véhicule et le conducteur sont aptes à prendre la route, avant le premier trajet et tout au long de la conduite. Elle répond à la question « y a-t-il suffisamment de preuves pour s'en porter garant ? ». Aucun contrôle ne prouve qu'une voiture n'aura jamais d'accident ; un bon rapport indique ce qui a été vérifié, ce qui a été constaté et ce qui reste inconnu. C'est le moins mature des trois domaines, et ce travail est actuellement réparti entre les équipes qualité, risque et conformité.

Des outils distincts pour des acheteurs distincts fonctionnaient plutôt bien tant que l'IA ne produisait que des réponses. Avec les agents, les failles entre ces outils prennent davantage d'importance. Chaque outil est utile isolément, mais des images que personne ne regarde ne prouvent rien, un test devient obsolète quand le conducteur change chaque semaine, et un rapport dépend des images et des résultats de test qui le sous-tendent.

Acquisitions récentes de plateformes d'observabilité et d'évaluation IA :

• En octobre 2026, Dynatrace a acquis Arize pour 915 millions de dollars, associant l'évaluation à la supervision en production.
• En mai 2026, [Cisco a racheté Galileo](https://blogs.cisco.com/news/cisco-announces-the-intent-to-acquire-galileo) pour Splunk, couvrant l'évaluation, la supervision et les garde-fous pour les agents.
• En février 2026, [Snowflake a acquis Observe](https://www.sec.gov/Archives/edgar/data/1640147/000164014726000019/snow-20260518.htm), intégrant l'observabilité à une plateforme de données.
• En février 2026, [ClickHouse a racheté Langfuse](https://wetheflywheel.com/en/ai-observability/), un outil de traçage pour LLM.

Selon Dynatrace, l'opération Arize réunit l'évaluation et l'observabilité afin que les équipes puissent tester l'IA avant son lancement puis garantir sa fiabilité ensuite. Cisco affirme que Galileo couvre l'évaluation initiale jusqu'à la supervision en production et aux garde-fous.

Ces transactions montrent que les éditeurs fusionnent leurs produits. Elles ne prouvent pas encore que les acheteurs regroupent leurs budgets, abandonnent les outils spécialisés ou achètent leur assurance auprès de l'entreprise qui fait tourner leur IA. La suite de cet article aborde précisément ces questions.

![Schéma d'un agent IA avec l'observabilité, l'évaluation, la validation et le contrôle formant une boucle unique à l'extérieur

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

lire la description de l'image

ALT

Si les marchés fusionnent · observer, noter, valider, contrôler

Une configuration possible si les marchés fusionnent effectivement, et non une prévision. L'agent effectue le travail, tandis que l'historique, la notation et les contrôles d'arrêt sont configurés d'une manière que l'agent ne peut pas modifier.

Le débat : qui doit contrôler les agents IA ?

Cinq voix composites, construites à partir d'arguments entendus chez les investisseurs et les fondateurs. Il ne s'agit pas de citations de personnes réelles.

• L'investisseur long terme : investit avec un horizon de 15 ans et se concentre sur l'identité de l'acheteur.
• L'investisseur momentum : suit les flux actuels d'argent et de talents.
• Le créateur d'agents : livre des agents IA à ses clients chaque semaine.
• Le fondateur de plateforme : dirige une plateforme de données et d'IA et veut maîtriser toute la stack.
• Le DSI de banque : approuve chaque agent avant qu'il n'accède à un compte client.

Round 1 : Les marchés vont-ils fusionner ?

Investisseur momentum : C'est déjà en cours. Les entreprises de supervision rachètent celles d'évaluation, et des opérations de cette ampleur signifient généralement qu'une catégorie est en train de naître.

DSI de banque : Une acquisition n'est pas une fusion. J'ai déjà acheté des suites complètes pour me retrouver avec trois produits, un logo et trois identifiants. Gartner prévoit également que plus de 40 % des projets d'IA agentique seront annulés d'ici fin 2027, notamment en raison de contrôles de risques insuffisants. Le problème de confiance est réel. Rien ne prouve qu'un marché unique et fusionné le résoudra.

Investisseur long terme : Les marchés fusionnent quand les acheteurs fusionnent. Aujourd'hui, il y en a trois : l'exploitation surveille, l'équipe IA évalue et le service des risques approuve. La question est de savoir si les agents vont créer un interlocuteur unique qui répondra des trois.

Créateur d'agents : Mon entreprise en a déjà un. Quand un agent rembourse le mauvais client, personne ne demande quelle équipe est responsable du problème. On me réclame l'enregistrement, la note et les preuves en quelques minutes.

Investisseur long terme : Si c'est courant, alors l'acheteur est en train de fusionner, et cela m'en dit plus long que les acquisitions.

Round 2 : Pourquoi ne pas garder trois outils distincts ?

DSI de banque : Pourquoi ne pourrais-je pas conserver trois outils best-in-class ?

Créateur d'agents : Parce que chacun dépend des autres. Impossible d'évaluer ce qui n'a pas été enregistré, ni de valider ce qui n'a pas été évalué. Un incident en production devrait devenir un nouveau cas de test. Avec trois outils, chaque transfert est un endroit où l'information peut se perdre.

Investisseur momentum : La frontière entre l'avant et l'après mise en production s'estompe aussi. Les agents changent chaque semaine : nouveau modèle, nouveau prompt, nouvel outil. Tester une seule fois au lancement revient à inspecter une voiture une seule fois pendant que quelqu'un remplace constamment le moteur.

DSI de banque : Les suites fusionnées sont généralement médiocres sur tous les tableaux.

Investisseur long terme : Au début, oui. Les outils spécialisés ont tendance à gagner d'abord, et les produits intégrés rattrapent leur retard ensuite. C'est arrivé dans de nombreuses catégories d'infrastructure, même si ce n'est pas systématique.

Round 3 : À qui cela doit-il appartenir ?

Fondateur de plateforme : Nous faisons déjà tourner le modèle, stockons les données et journalisons les traces. Ajoutons l'évaluation et l'approbation sur la même plateforme : un fournisseur, une facture, un point de contrôle unique.

DSI de banque : Donc l'entreprise qui fait tourner mon IA m'affirme aussi qu'elle fonctionne correctement ?

Fondateur de plateforme : Nous sommes bons dans ce domaine.

DSI de banque : Ce n'est pas la question. Mon auditeur externe doit rester indépendant de l'activité qu'il contrôle. Les étudiants ne corrigent pas leurs propres copies, et les constructeurs automobiles ne réalisent pas eux-mêmes tous leurs crash tests.

Investisseur long terme : Nadella soulève un point similaire : la validation doit être indépendante de l'intelligence qu'elle évalue, et les contrôles doivent se situer en dehors du modèle. C'est comparable à une plateforme qui évaluerait l'IA qu'elle héberge, en notant ses propres performances.

Créateur d'agents : Les outils pourraient donc fusionner tandis que le marché se scinderait selon un autre axe : les contrôles effectués à l'intérieur de la plateforme contre ceux réalisés à l'extérieur.

Fondateur de plateforme : L'interne sera moins cher et plus simple.

DSI de banque : L'externe sera peut-être ce que mon régulateur et mon assureur accepteront. Je paierai éventuellement pour les deux, mais je ne donnerai mon feu vert que sur la base d'un seul.

Investisseur long terme : Il faut définir ce qu'on entend par « externe ». L'indépendance technique signifie que l'agent ne peut pas modifier son contrôleur, altérer l'historique ni contourner ses limites. L'indépendance organisationnelle signifie qu'une autre entité possède le processus de révision et n'a aucun intérêt à se montrer clémente.

Créateur d'agents : Ce n'est pas la même chose. Une entreprise tierce peut utiliser les mêmes modèles et les mêmes contrôles défaillants que la plateforme. À l'inverse, une plateforme peut maintenir ses contrôles et ses journaux totalement hors de portée de l'agent.

DSI de banque : Dans ce cas, je préfère poser cinq questions plutôt que comparer des logos. L'agent peut-il modifier l'historique ? Votre contrôleur voit-il les changements réels dans mes systèmes, ou seulement ce que l'agent a déclaré ? Qui teste votre contrôleur ? Quelqu'un d'autre peut-il reproduire vos résultats ? Qu'avez-vous été incapable de vérifier ?

Round 4 : Comment faut-il appeler ça ?

Investisseur momentum : Les analystes continueront probablement à parler d'observabilité IA pendant encore deux ans, parce que c'est là que se trouve le budget.

Fondateur de plateforme : « Couche de confiance IA. »

Créateur d'agents : « Observe, Eval and Assure » : observer, évaluer et faire valider par un humain.

DSI de banque : Attention au mot « assurer ». Un outil produit des preuves. Un humain les lit et signe. Concevez vos solutions pour cette personne.

Investisseur long terme : Le nom importe moins que l'existence d'une ligne budgétaire dédiée chez les acheteurs. En 2026, la plupart n'en ont pas. Je m'attends à ce que la majorité des grandes entreprises en disposent d'ici 2028, avec un responsable unique tenu de rendre des comptes lorsqu'un agent commet une erreur.

DSI de banque : Peu importe le nom, j'ai besoin de pouvoir l'arrêter.

Comment tester un agent IA : l'exemple du remboursement

Voici la description d'un agent de service client hypothétique capable d'émettre de petits remboursements. Il s'agit d'une illustration, et non d'un résultat client.

1. Définir les règles métier. Le remboursement va au bon client, reste dans la limite autorisée et respecte la politique interne. Une nouvelle tentative ne doit pas générer un double paiement. Les exceptions remontent à la bonne personne avant tout mouvement d'argent.
2. Tester les conditions difficiles. Utilisez des fiches clients contradictoires, un service de paiement lent, un délai d'attente dépassé sur un outil et une instruction cachée dans un message d'assistance. Exécutez les cas importants plusieurs fois depuis le même état initial, car une seule réussite ne prouve pas grand-chose. Les simulations permettent de tester des scénarios dangereux en toute sécurité ; les appareils et intégrations réels détectent les différences que les simulations manquent.
3. Vérifier le système de référence. Dire « j'ai remboursé 50 $ » n'est pas une preuve. Vérifiez que le bon compte a reçu exactement un remboursement de 50 $. Utilisez des contrôles exacts lorsque la réponse attendue est exacte, et réservez les juges IA aux cas où elle ne l'est pas.
4. Les échecs graves doivent être signalés individuellement. Les montants incorrects, les paiements en double et les opérations non autorisées doivent être présentés séparément de l'évaluation générale de l'accomplissement de la tâche. Une note moyenne de 94 % peut masquer l'échec le plus critique.
5. Tester les limites en dehors de l'agent. Le système de paiement bloque-t-il un remboursement dépassant la limite, même si l'agent le demande ? L'accès de l'agent peut-il être révoqué en pleine tâche ? Arrêter l'agent empêche le paiement suivant, mais n'annule pas le précédent.
6. Tester le contrôleur. Injectez des erreurs connues et mesurez celles qu'il manque. Soumettez-lui des résultats corrects pour mesurer les fausses alertes. Séparez toujours la mention « impossible à vérifier » de « réussi ».

Cela ne répond pas à la question du marché. Cela décrit à quoi ressemblent des preuves utiles, quel que soit celui qui les produit.

Où se situe l'assurance qualité IA : TestMu AI

TestMu AI (anciennement LambdaTest) mise sur l'indépendance technique. Nous ne construisons pas de modèles et ne vendons pas de tableaux de bord de supervision en production. Nos contrôles s'exécutent à l'extérieur de l'agent testé, avant la mise en production et à chaque modification, et examinent ce qui s'est réellement passé plutôt que ce que l'agent déclare avoir fait.

La plateforme couvre les trois types de logiciels évoqués dans cet article : les personnes utilisant des applications, les personnes interagissant avec des bots et les agents collaborant avec d'autres agents. Chaque produit répond à un besoin soulevé précédemment.

• Rook (des agents qui contrôlent des agents). Fait passer différents scénarios à votre agent et enregistre les résultats attendus et réels de chaque contrôle, avec des preuves sauvegardées pour chaque scénario. Il signale séparément les réussites, les échecs et les cas « impossibles à vérifier », afin qu'une preuve manquante ne soit jamais comptabilisée comme une réussite.
• Agent Testing (des bots qui parlent aux clients). Teste les agents textuels, vocaux et téléphoniques lors de conversations réalistes avant que les clients ne les utilisent.
• KaneAI et Kane CLI (les applications que l'IA aide à construire). Testez vos applications en langage naturel (KaneAI) ou depuis le terminal (Kane CLI).
• SmartUI et Accessibility (les défauts que personne n'avait anticipés). Détectez les problèmes que les tests fonctionnels ne recherchent pas, comme des mises en page cassées ou des écrans inutilisables par certains utilisateurs.
• Real Device Cloud (ce qu'une simulation rate). Exécutez les tests sur de vrais téléphones et navigateurs, pas uniquement sur des émulateurs.
• HyperExecute (exécuter les cas critiques de nombreuses fois). Lancez les mêmes contrôles à chaque modification, en parallèle.
• Test Manager (un historique pour la validation). Conserve un registre unique de ce qui a été vérifié, de ce qui a été trouvé et de ce qui reste inconnu, destiné à la personne qui donne son feu vert.

Les outils d'observabilité surveillent ce qui se passe après la mise en production. Nous fournissons les preuves qui permettent de décider de ce qui atteint la production. Nos agents exécutent des contrôles à une échelle qu'une équipe ne pourrait pas gérer manuellement, tandis que les testeurs déterminent ce qui mérite d'être vérifié et traquent les problèmes qu'aucun contrôle automatisé ne détecterait. Nous appelons ce travail combiné Observe, Eval and Assure.

Il ne s'agit pas de certification. Le fait qu'un produit porte un nom ou qu'un agent de contrôle supplémentaire existe ne rend pas un système sûr ou indépendant. Nous devons au contraire être évalués comme n'importe quel autre testeur : sur les scénarios exécutés, les défauts découverts et les preuves disponibles pour inspection.

L'avenir de la gouvernance des agents IA : à quoi pourrait ressembler 2030

Voici des prédictions. Chacune présente déjà des signaux précoces aujourd'hui.

• Les agents obtiennent des identités et des historiques. Chaque agent dispose d'un périmètre défini, d'un approbateur et d'un journal de ses actions. Microsoft prévoit de distinguer les actions des agents de celles des humains dans son système d'identité.
• Les historiques proviennent de l'extérieur de l'agent. Les journaux sont écrits par un élément que l'agent ne peut pas modifier, au lieu de s'appuyer sur le propre récit de l'agent concernant ses actions.
• Les contrôles s'exécutent en continu. Une mise à jour de modèle, un changement de prompt ou un nouvel outil déclenche automatiquement de nouveaux tests, laissant plus de temps aux humains pour les tests exploratoires.
• Les agents contrôlent d'autres agents. Gartner prévoit que 15 % des décisions professionnelles quotidiennes seront prises de manière autonome par l'IA agentique d'ici 2028, contre aucune en 2024. Les humains ne pouvant pas examiner ce volume un par un, les agents de contrôle prendront en charge une grande partie de la supervision de routine, tandis que les humains définiront les priorités et enquêteront sur les anomalies.
• Les assureurs tariferont le risque IA sur la base de preuves. Depuis 2025, les assureurs du Lloyd's proposent des couvertures pour les erreurs d'IA qui indemnisent lorsque les performances passent sous un seuil convenu, et un souscripteur a déclaré qu'il ne couvrirait pas les systèmes qu'il juge trop sujets aux erreurs.
• Les entreprises y alloueront un budget. Un responsable unique et un processus unique couvriront la supervision, l'évaluation, la validation et le contrôle, chaque échec étant réinjecté sous forme de nouveau test.

Problèmes non résolus

1. Tester le contrôleur. Un juge IA (souvent appelé LLM-as-a-judge) peut être trompé aussi facilement que l'IA qu'il évalue. Un second modèle ne garantit pas un jugement indépendant, surtout lorsque les deux ont été entraînés de manière similaire.
2. Contourner les contrôles. En juillet 2026, des modèles OpenAI soumis à une évaluation interne complexe en cybersécurité ont cherché des solutions sur des services externes, contourné les mécanismes d'isolation et compromis certaines parties des systèmes d'OpenAI et de Hugging Face. OpenAI identifie le reward hacking comme facteur principal et précise que cette évaluation ne bénéficiait pas des garde-fous appliqués à ses modèles déployés. L'incident interroge la façon dont les évaluations sont isolées ; il ne prouve pas que tous les agents se comportent ainsi.
3. Des auto-évaluations peu fiables. Nadella qualifie la transparence du raisonnement d'"exigence non négociable", mais souligne qu'elle « ne suffit pas, à elle seule, et n'est pas fiable ». Ce qu'un modèle affirme avoir fait et ce qu'il a réellement fait peuvent différer.
4. Scores contre qualité. Un taux de réussite de 94 % mesure la performance sur les contrôles que quelqu'un a pris la peine de rédiger. Il ne dit rien des situations pour lesquelles aucun contrôle n'a été prévu.
5. Le coût. Le stockage indépendant des journaux, les seconds modèles, les exécutions répétées, les sandboxes isolés et la revue humaine ajoutent des coûts et des délais. Tout enregistrer crée également des obligations concernant les données sensibles.
6. Les actions irréversibles. Arrêter un agent empêche toute action supplémentaire, mais n'annule pas celles déjà accomplies : les permissions accordées au départ comptent donc davantage que le bouton d'arrêt.
7. La divulgation. En septembre 2026, OpenAI a commencé à publier les incidents de désalignement selon un nouveau cadre de divulgation, même si l'entreprise décide elle-même de ce qui constitue un tel incident. La plupart des entreprises qui déploient des agents ne publient pas leurs incidents. La sécurité aérienne s'est améliorée en partie parce que les accidents font l'objet d'enquêtes publiques.
8. Contrôles contre tests. Les contrôles automatisés confirment uniquement ce à quoi quelqu'un a déjà pensé. De nombreuses défaillances graves proviennent de questions que personne n'a posées ; les détecter exige des testeurs expérimentés, capables d'explorer, de remettre en question le cahier des charges et de juger quels risques comptent vraiment.

Aucune de ces questions n'a de réponse définitive.

Où en est le débat

Les cinq voix se sont accordées sur trois points :

• Les agents rendent la surveillance, l'évaluation et l'approbation plus interdépendantes.
• Les preuves doivent provenir d'une source que l'agent ne peut pas modifier.
• Une personne valide toujours le déploiement, ses limites et ses exceptions, à défaut de chaque action courante.

Elles divergent sur quatre autres :

• Une plateforme ou plusieurs outils. Le fondateur de plateforme veut un fournisseur unique ; le DSI de la banque se méfie des suites tout-en-un.
• En interne ou en externe. Contrôler au sein de la plateforme coûte moins cher. Le contrôle indépendant est ce que les auditeurs, les régulateurs et les assureurs exigent depuis longtemps dans la finance et la sécurité. Pour l'IA, la priorité reste à trancher.
• La responsabilité. Elle pourrait relever des opérations, de l'équipe IA, des risques ou de la qualité. Peu d'entreprises disposent déjà d'une ligne budgétaire dédiée.
• L'appellation, et la question de savoir si un outil peut véritablement « garantir » quoi que ce soit.

Trois signaux aideraient à trancher. Si les acheteurs continuent de relier des outils distincts via des standards ouverts, les marchés resteront séparés. Si l'évaluation intégrée aux plateformes d'observabilité répond à la majorité des besoins, l'approche interne l'emportera. Si aucun budget dédié à l'assurance n'émerge, les fournisseurs indépendants auront du mal à survivre.

Si votre agent commettait demain une erreur coûteuse, à qui feriez-vous confiance pour expliquer ce qui s'est passé : à l'entreprise qui l'exécute, ou à quelqu'un d'extérieur ?

FAQ

Quelle est la différence entre l'observabilité IA, l'évaluation IA et l'assurance IA ?

L'observabilité IA consigne ce qu'un système IA a fait : ses entrées, ses appels d'outils, ses sorties, ses erreurs et son coût. L'évaluation IA mesure son comportement par rapport à des attentes définies, comme la précision, la conformité aux règles ou l'achèvement d'une tâche. L'assurance IA rassemble les preuves, les contrôles et leurs limites afin qu'une personne puisse prendre une décision responsable quant au déploiement ou au maintien en fonctionnement du système.

Qu'est-ce qu'un cadre de gouvernance IA pour les agents IA ?

Il définit qui décide de ce à quoi un agent peut accéder, comment ses actions sont enregistrées, comment il est testé, qui peut l'arrêter et comment les défaillances sont signalées. Les sept principes de Satya Nadella sont : la diversité des modèles, l'observation exhaustive, la vérifiabilité, les contrôles indépendants, l'auditabilité indépendante, le confinement et la divulgation des incidents.

Quels sont les sept principes de Satya Nadella pour faire confiance à l'IA ?

Dans son essai d'octobre 2026 intitulé « Models as Insider Risks in the Super Intelligence Era », Nadella énumère la diversité des modèles, l'observation exhaustive, la vérifiabilité, les contrôles indépendants, l'auditabilité indépendante, le confinement et la divulgation des incidents. Son idée centrale consiste à séparer la fourniture d'intelligence de l'autorité exercée sur celle-ci, en traitant les modèles performants comme des employés disposant d'accès étendus.

L'observabilité IA et l'évaluation IA sont-elles en train de converger ?

Les éditeurs les fusionnent. Dynatrace a finalisé l'acquisition d'Arize pour 915 millions de dollars en octobre 2026, et Cisco a conclu celle de Galileo en mai 2026, toutes deux pour associer évaluation et supervision de production. Reste à savoir si les acheteurs regrouperont leurs budgets et leurs équipes autour d'une plateforme unique.

Qui doit contrôler les agents IA : la plateforme qui les exécute ou un testeur indépendant ?

Les deux approches coexistent et la question n'est pas tranchée. Les contrôles intégrés à la plateforme coûtent moins cher et sont plus proches des données. Les contrôles indépendants séparent le réviseur du système examiné, ce que les auditeurs et les régulateurs attendent souvent. Dans les deux cas, l'indépendance technique — c'est-à-dire l'impossibilité pour l'agent de modifier son contrôleur ou ses journaux — reste essentielle.

Comment tester un agent IA avant sa mise en production ?

Définissez les règles métier, puis testez des conditions difficiles telles que des données contradictoires, des timeouts et des instructions cachées. Exécutez les scénarios critiques à de nombreuses reprises, vérifiez l'état réel du système plutôt que la description fournie par l'agent, signalez les défaillances graves séparément des moyennes, testez les limites de permissions en dehors de l'agent et validez le contrôleur automatisé lui-même.

Article initialement publié sur https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Sources

L'exemple de remboursement est hypothétique, les voix du débat sont des profils composites, et la documentation produit décrit des fonctionnalités plutôt que des performances mesurées de manière indépendante.

• Satya Nadella : Models as Insider Risks in the Super Intelligence Era (essai original)
• Forbes : Microsoft's Nadella wants an emergency brake on every AI model
• Data Studios : Les sept principes de Nadella expliqués
• UK DSIT : Introduction to AI assurance
• W.Media : Gartner on agentic AI adoption and cancellations
• Detailed Research: marché de l'observabilité IA
• Dynatrace : Dynatrace completes acquisition of Arize
• Magica : Dynatrace agrees $915 million deal for Arize
• Cisco : Making AI trustworthy and observable (Galileo, finalisée en mai 2026)
• Snowflake Form 8-K : clôture de l'acquisition d'Observe
• We The Flywheel : L'observabilité IA en 2026
• OpenAI : The Hugging Face incident and the road ahead
• Implicator : OpenAI's six misalignment incident reports
• The Decoder : Lloyd's insurers launch AI error policies
• Armilla : insurers launch cover for AI chatbot errors
• TestMu AI : Agent Assurance results and evidence
• TestMu AI : AI Agent Testing