Le 6 juillet 2026, un article est paru dans ITmedia.
« Le goulot d'étranglement de l'utilisation de l'IA passe de la performance des modèles à « l'évaluation », la « gouvernance » et la « rentabilité » », déclare Jonathan Frankle, scientifique en chef de l'IA chez Databricks et co-fondateur de MosaicML.
Son argument est simple :
- L'IA est déjà assez intelligente. Le simple fait de réfléchir à la manière d'utiliser les modèles existants laisse « des décennies de travail ».
- Ce dont on a besoin pour une meilleure implémentation de l'IA, ce n'est pas de développer des modèles plus intelligents, mais d'investir dans l'évaluation et la gouvernance.
- L'IA « n'est pas suffisante à 70 % ou 90 % de précision » ; elle nécessite une évaluation rigoureuse d'un ordre de grandeur supérieur.
- Et le plus grand défi est de traduire la norme humaine de « ce qu'est un bon travail » en une liste de contrôle. Cela « est bien plus difficile que de développer le prochain modèle géant et pourrait prendre plus de 10 ans. »
En lisant cela, j'ai ressenti une vive pointe de réalisation.
Récemment, j'ai expérimenté la mesure du « volume d'utilisation » de l'IA. J'ai un tableau de bord qui extrait les données de télémétrie d'utilisation de « Databricks » x « Claude Code/Codex/Cowork » via OpenTelemetry dans Databricks, se mettant à jour chaque matin avec « qui a utilisé quel outil, combien et à quel coût ».
Mais le point de l'article n'était pas celui-là. « Ce travail était-il bon ? » — L'évaluation de la qualité des agents était un trou béant.
J'ai donné l'article à Fable et lui ai demandé : « Réfléchis à ce que nous devrions évaluer »
J'ai donc donné l'URL de l'article à Claude (Fable 5), que j'utilise régulièrement, et j'ai demandé :
Lis cet article et réfléchis à ce que nous devrions évaluer.
Après avoir examiné notre infrastructure de logs interne et la configuration du tableau de bord, Fable a proposé une conception composée de « trois couches de choses à évaluer ».
La réponse de Fable : Trois couches de « ce qu'il faut évaluer »
Conseil ci-dessous """""""""""""""""""""""""""""""""
Couche 1 : Signaux de friction (Quotidien, Tout le monde, Jugement mécanique)
Il existe des « signes de mauvaise qualité » qui peuvent être détectés mécaniquement à partir des logs sans même interroger un LLM.
- Boucles suspectes : Utiliser le même outil plus de 5 fois de suite.
- Coûts aberrants : Dépenser plus de 5 $ en une seule session.
- Fréquence des blocages : S'arrêter de nombreuses fois en attendant une confirmation humaine.
- Efficacité du cache : Mauvaise réutilisation du contexte (c'est-à-dire, tout relire à chaque fois).
- Échecs de connexion aux outils : Échecs répétés de connexion aux serveurs MCP.
Couche 2 : Qualité du travail (Hebdomadaire, Juge LLM)
Créez un système qui transmet les logs de travail des agents IA (traces) à un Juge LLM pour les noter sur 8 axes.
- Atteinte des objectifs / Précision / Sélection des outils / Fidélité aux preuves / Validité des étapes / Récupération après échec / Sécurité / Efficacité
- Réussi si la moyenne est de 3,5 ou plus. Cependant, si « Atteinte des objectifs » ou « Sécurité » est de 2 ou moins, c'est un échec immédiat (échec dur) même si tout le reste est parfait.
Notez automatiquement les sessions les plus récentes tous les dimanches soir afin que le « taux de réussite de la semaine » apparaisse dans la réunion de révision du lundi. Seuls les échecs durs liés à la sécurité déclenchent une alerte par e-mail le lendemain matin.
Couche 3 : Faire de l'évaluation elle-même un produit
Le travail dont l'article dit qu'il « prend 10 ans » — « traduire les critères d'un bon travail en une liste de contrôle » — est exactement ce que nous devrions fournir à nos clients en tant que consultants en IA et formateurs en entreprise. Le tableau de bord qui tourne en interne devient une démo commerciale telle quelle.
"""""""""""""""""""""""""""""""""
Et cela a été mis en œuvre le jour même
C'est la partie incroyable de l'ère des agents : les trois couches ont commencé à fonctionner le jour même.
- Une vue SQL pour la Couche 1 a été ajoutée en tant qu'onglet « Qualité » au tableau de bord organisationnel et publiée.
- L'exécution hebdomadaire pour la Couche 2 a été planifiée, et les alertes de sécurité ont été intégrées au système de surveillance.
- Un document de conception d'offre pour la Couche 3 a été rédigé.
Tout ce que j'ai fait a été de choisir la politique, de cliquer sur quelques boutons d'approbation et d'exécuter une fois la commande d'enregistrement du planificateur.
« Découvertes » dès le premier jour
Et le premier jour de fonctionnement, il y a eu deux découvertes immédiates.
Premièrement : Nous perdions lamentablement une fois mesuré.
Lorsque nous avons noté 8 sessions d'agents internes récentes à l'aide du Juge à 8 axes, le résultat était — 1 réussite, 7 échecs. Il y avait un écart entre « faire faire beaucoup de travail à l'IA » et « l'IA fait du bon travail » qui n'est devenu visible qu'une fois mesuré.
Deuxièmement : Des « frictions qui peuvent être corrigées si on les enseigne » ont été trouvées.
Dans l'espace de travail Cowork (l'espace de travail agent de Claude) d'un membre, le tableau de bord a détecté que les échecs de connexion au serveur MCP étaient passés de 4 la veille à 12 ce jour-là. L'authentification du plugin était cassée depuis deux jours, et la personne continuait à l'utiliser.
La personne a probablement juste pensé : « Ça agit un peu bizarrement », et a continué à travailler. Cela peut être corrigé en 5 minutes en intervenant et en réparant l'authentification. Les « frictions qui peuvent être corrigées si on les enseigne » s'accumulent sans être signalées à personne — c'était exactement ce qui n'était jamais visible sur le tableau de bord d'utilisation.
Trois choses que j'ai apprises en essayant
1. L'évaluation est une opération, pas un outil
Si vous construisez simplement le mécanisme de notation et vous arrêtez, c'est comme si vous ne l'aviez pas. Ce n'est que lorsque vous le connectez à une exécution régulière hebdomadaire et à des alertes, et que les chiffres apparaissent dans la réunion du lundi, que vous pouvez dire que vous « évaluez ». « L'investissement dans l'évaluation » dont parle Frankle concerne probablement les opérations, pas les outils.
2. Placez une couche de jugement mécanique avant le Juge LLM
L'évaluation du Juge à 8 axes est puissante, mais elle coûte du temps et de l'argent car elle exécute un LLM. Il était réaliste d'exécuter des signaux déterministes comme les boucles, les coûts aberrants et les échecs de connexion quotidiennement pour le volume total, et d'utiliser le Juge pour un échantillonnage hebdomadaire.
3. Implémenter « 90 % ne suffit pas » signifie des échecs durs
Lorsque l'on regarde les scores moyens, les problèmes de sécurité sont noyés dans d'autres points. Ce n'est qu'en concevant que « si la sécurité est de 2 ou moins, c'est un échec même si les autres sont parfaits » que nous nous rapprochons de « l'évaluation rigoureuse d'un ordre de grandeur supérieur » mentionnée dans l'article. Le taux de réussite de 1/8 est douloureux, mais cette douleur est le point de départ de l'amélioration.
Conclusion
« L'IA est déjà assez intelligente. »
— C'est pourquoi la prochaine bataille est qui évalue le travail confié à une IA intelligente et comment.
Frankle a dit que c'est un travail de 10 ans.
Les choses qui prennent 10 ans deviennent un facteur de différenciation plus tôt vous commencez. Et commencer lui-même était possible en un jour avec un agent IA.
Dans mon entreprise (AI Brain Partners), nous aidons à construire ce système de « mesure et d'évaluation de l'utilisation de l'IA » grâce à des formations en entreprise spécialisées sur Claude Code et du conseil en IA. Si vous vous demandez : « Que se passe-t-il réellement avec notre utilisation de l'IA ? », veuillez consulter les liens ci-dessous.
- Formation aux agents IA pour les entreprises : https://ai-agent.camp/ja/lab/corporate-training
- Rapport gratuit « Comment introduire l'IA dans les entreprises » : https://ai-agent.camp/ja/lab/whitepaper-ai-enterprise
(Article original : ITmedia AI+ « Le goulot d'étranglement de l'utilisation de l'IA se déplace vers l'évaluation et la gouvernance » 6 juillet 2026)
