Bonjour, passionnés d'IA !
OpenAI l'a officialisé cette semaine : bienvenue à l'ère de l'AGI.
La GPT-6 Astra est sortie, et OpenAI la présente comme un bond générationnel — des progrès majeurs dans l'utilisation de l'ordinateur, le codage, la recherche, et ce genre de travail long et désordonné qui nécessitait auparavant une surveillance humaine constante.
Je vais prendre le marketing au pied de la lettre un instant, car cela soulève une question que l'industrie esquive discrètement : comment mesurons-nous réellement cette chose ?
Depuis quelques années, l'IA fonctionne sur des benchmarks. Chaque lancement est accompagné d'un tableau prouvant que le nouveau modèle est 3 % meilleur ici, 7 % meilleur là, et mystérieusement 12 % plus intelligent selon un benchmark qui n'existait pas au printemps dernier. Nous les classons, les codons par couleur, les empilons dans des classements, et couronnons un gagnant. Cela fonctionnait assez bien quand les modèles se contentaient de répondre à des questions. Cela cesse de fonctionner dès que les modèles commencent à faire des choses.
Voici le problème central : un benchmark n'est qu'une banque de questions. Vous donnez un problème au modèle, il produit une réponse, vous vérifiez la réponse par rapport à un corrigé. Même les benchmarks sophistiqués d'utilisation de l'ordinateur sont, en réalité, un tas de tâches pré-écrites s'exécutant dans des environnements pré-construits. C'est véritablement utile. Mais cela ne ressemble en rien à ce qui se passe quand on lâche un agent sur une machine réelle et qu'on lui demande de faire quelque chose.
La vraie vie n'est pas livrée avec un fichier de benchmark. Rien sur votre bureau ne vous dit exactement à quoi ressemble un « travail terminé ».
Un véritable ordinateur, c'est un navigateur qui plante en pleine tâche, un site qui a discrètement repensé son interface utilisateur hier, un tableur avec trois versions contradictoires, une permission dont personne n'a parlé, un PDF enterré six dossiers plus loin, une API qui expire sur la pire requête possible, et un humain qui dit « tu peux juste t'occuper de ça ? » puis s'en va sans définir « ça ».
L'agent doit se débrouiller. Et la partie que personne ne benchmarke bien : il doit se remettre de son premier échec. C'est une compétence complètement différente que de trouver la bonne réponse.
C'est pourquoi les rapports indiquant qu'OpenAI a acheté des dizaines de milliers de Mac grand public pour l'apprentissage par renforcement et l'entraînement à l'utilisation de l'ordinateur sont plus révélateurs qu'il n'y paraît. Les chiffres exacts ont été rapportés, non vérifiés — mais la direction est indéniable. Les laboratoires de pointe veulent leurs modèles sur de vraies machines, pas enfermés dans une boîte de discussion. Et cela brise discrètement tout le jeu des benchmarks.
Imaginez deux agents, sur le même ordinateur, avec le même brief vague :
Recherchez ce marché, sélectionnez trois entreprises prometteuses, construisez une comparaison financière et préparez une présentation pour le comité d'investissement.
Il n'y a pas une seule bonne façon de faire cela. Il y en a une centaine. Un agent navigue pendant deux heures. Un autre écrit un script. Un troisième tombe sur une meilleure source de données en cours de route et abandonne son plan initial. Un quatrième fait une erreur, la rattrape et la corrige. Un cinquième vous remet une superbe présentation basée sur des chiffres complètement faux.
Alors, lequel a gagné ? L'auteur du benchmark ne peut pas pré-écrire la réponse, car il n'y en a pas.
Et c'est là que ça devient vraiment inconfortable. La partie la plus difficile de l'évaluation d'un agent n'est peut-être plus la réponse était-elle correcte. C'est tout cela était-il réellement utile. Cela ressemble à de la querelle d'experts. Ça ne l'est pas.
Prenez un agent qui réussit 95 % d'un benchmark d'utilisation de l'ordinateur, puis lâchez-le dans une vraie entreprise pendant une semaine. Il construit la mauvaise structure de dossiers, écrase un tableur en direct, passe six heures à suivre une piste sans issue, cite avec confiance une statistique de 2023, et se heurte à un mur de permissions auquel il ne pense jamais à demander. Chaque tâche du benchmark : parfaite. Personne ne le garderait une deuxième semaine.
Maintenant, prenez un agent qui n'obtient que 85 % — mais qui sait quand il est confus, pose la seule question qui le débloque, change de cap quand quelque chose se casse, et livre discrètement un travail que vous pouvez réellement utiliser. Lequel est le plus intelligent ? Le classement n'en a aucune idée. Honnêtement, nous non plus.
C'est pourquoi je pense que les benchmarks indépendants se heurtent à un mur. Pas parce que les chercheurs se relâchent — ils construisent des tests plus difficiles et plus réalistes que jamais. Le problème, c'est que la réalité ne cesse de dépasser le test. Vous pouvez allonger le benchmark, ajouter plus d'outils, plus de sites, plus d'applications, plus d'étapes, plus d'aléatoire. Cela n'a pas d'importance. Vous construisez toujours un jeu avec des règles, et dès qu'un modèle apprend à jouer au jeu, vous revenez à la case départ.
Nous aurons donc les scores. 91,4 %. 94,7 %. 97,2 %. 98,1 %. Les gens se disputeront pour savoir si le modèle A bat le modèle B. Quelqu'un lancera un autre classement. Quelqu'un d'autre lancera un classement des classements. Et pendant tout ce temps, le modèle sera assis sur un véritable ordinateur, faisant des choses qu'aucun de ces chiffres ne peut décrire.
C'est le paradoxe du benchmark : plus l'IA se rapproche de l'intelligence générale, moins une banque de questions pré-écrites vous renseigne à son sujet.
Alors, qu'est-ce qui le remplace ? Je ne pense pas que la réponse soit « un meilleur benchmark ». Je pense que c'est quelque chose de différent dans son essence. Arrêtez de donner une question à l'agent et donnez-lui un objectif. Arrêtez de lui donner un bac à sable bien rangé et donnez-lui un environnement désordonné. Arrêtez de noter s'il a suivi les étapes attendues et notez s'il a obtenu le résultat. Arrêtez de relancer le même test public et jetez-le dans des environnements qui changent constamment, sur des tâches privées qu'il n'a jamais vues.
Et arrêtez de demander seulement s'il a réussi. Demandez avec quelle fiabilité il réussit, combien cela a coûté, combien de temps cela a pris, à quelle fréquence il a eu besoin d'un humain, comment il s'est comporté en toute sécurité, et si le travail a survécu au contact avec la réalité.
En termes simples : la prochaine génération d'évaluation de l'IA devrait ressembler moins à un examen et plus à un stage.
Ne demandez pas au modèle :
A-t-il réussi le test ?
Donnez-lui un ordinateur portable, un compte, un budget, un objectif et une semaine. Ensuite, regardez ce qu'il fait. Cela vous en dirait bien plus sur son intelligence — et ce serait un cauchemar à standardiser. C'est exactement le but.
L'intelligence du monde réel est désordonnée, contextuelle, adaptative et ouverte. Dès que vous l'aplatissez en une liste propre de questions avec des réponses fixes, vous avez cessé de mesurer l'intelligence. Vous mesurez la capacité à passer des tests.
Et c'est pourquoi Astra résonne différemment pour moi. OpenAI nous dit, ouvertement, que nous sommes entrés dans l'ère de l'AGI. D'accord. Mais si c'est vrai, nous devrions probablement arrêter de donner à l'AGI l'examen standardisé que nous avons conçu pour les chatbots.
La question intéressante n'est plus « quel score a-t-il obtenu ? » C'est « que se passe-t-il quand on lui donne un ordinateur et qu'on lui dit de faire quelque chose ? » Et je soupçonne que nous sommes sur le point de découvrir que nous n'avons pas encore de bonne réponse.
Alors — bienvenue à l'ère de l'AGI. Et, discrètement, en même temps : bienvenue à l'ère de l'IA non notable. Le benchmark ne s'est pas détérioré. La chose que nous essayons de mesurer vient de s'en échapper.
