L'autre jour, j'ai demandé à une IA générative de « résumer les faiblesses de l'IA générative ».
Je lui ai demandé de rechercher les forces et faiblesses structurelles de l'IA générative sur la base des articles et études les plus récents.
À première vue, le résultat semblait bien fait, avec 13 faiblesses soigneusement formulées et citant des articles, comme les hallucinations, le faible raisonnement causal et le raisonnement mathématique fragile.
Cependant, je ne pouvais pas me défaire d'un étrange sentiment de malaise en le lisant.
« N'est-ce pas juste une liste aléatoire ? »
La liste qui est sortie ressemblait à ceci :
1. Hallucinations 2. Faible raisonnement causal 3. Raisonnement mathématique fragile 4. Effondrement des modèles de raisonnement 5. Illusion de compréhension 6. Faible abstraction 7. Biais dans les données d'entraînement 8. Date limite des connaissances 9. Sycophantisme ...... (et ainsi de suite, 13 au total)
Les 13 faiblesses étaient simplement listées les unes à côté des autres. Certains éléments se chevauchaient, et certaines perspectives manquaient. Mais l'IA ne s'en souciait pas ; elle les listait simplement dans l'ordre où elle les trouvait. C'était, disons, bâclé.
Puis j'ai compris.
Ce résultat incarne parfaitement les faiblesses de l'IA générative.
L'IA générative est douée pour rassembler et lister des informations. En revanche, elle est mauvaise pour « structurer les informations rassemblées de manière MECE (Mutuellement Exclusives, Collectivement Exhaustives) et les organiser en un système de plus haut niveau. » J'ai compris qu'il s'agit d'une faiblesse structurelle découlant du mécanisme même de l'IA générative.
Pourquoi ai-je décidé d'écrire cet article ?
Pourquoi ai-je pris la peine de penser : « J'ai besoin de formuler les faiblesses fondamentales de l'IA générative » ?
C'est parce que j'ai eu plus d'occasions de m'impliquer dans des projets dirigeant ou soutenant l'utilisation de l'IA générative dans des entreprises et des établissements d'enseignement.
Dans ce contexte, pour construire un système d'IA qui puisse réellement être utilisé sur le terrain, j'ai réalisé que définir strictement la répartition des rôles — « jusqu'où l'IA générative peut aller, et où les humains doivent prendre le relais » — est le cœur absolu de la conception commerciale.
Si votre compréhension reste au niveau de « Je ne sais pas pourquoi, mais ça a marché quand j'ai modifié le prompt comme ça », vous ne pouvez pas garantir la reproductibilité dans la construction de systèmes d'IA, ce qui est assez problématique.
Par conséquent, j'ai pensé qu'il serait utile de laisser un mémo sur ce thème afin que nous puissions comprendre :
- Comment l'IA générative est construite
- Quelles sont ses forces et faiblesses fondamentales basées sur cette construction... Ce faisant, nous pouvons éviter d'être influencés par chaque mise à jour de l'IA ou d'utiliser les prompts comme un jeu de hasard.
Comprendre les caractéristiques de l'IA générative de manière structurelle
Le mécanisme de l'IA générative, une fois simplifié, est la répétition de « choisir le mot avec la plus forte probabilité d'être le suivant, en fonction du contexte jusqu'à présent. »
Si vous saisissez « La capitale du Japon est », « Tokyo » est choisi avec la plus forte probabilité. Si c'est « Au petit-déjeuner, du pain et », alors « café » ou « beurre » est choisi. Ce « jeu de devinette du mot suivant » est le point de départ de tout.
Décomposer ce « jeu de devinette du mot suivant » révèle les caractéristiques majeures suivantes.
Caractéristique ① : Elle fonctionne sur la corrélation
Pour « deviner le mot suivant », l'IA générative apprend à partir de vastes quantités de texte « quels mots ont tendance à apparaître ensemble et dans quel ordre. »
Lorsqu'elle produit « du pain et du café au petit-déjeuner », elle ne comprend pas que « le pain est un glucide, donc le compléter avec de la caféine pour son effet stimulant équilibre la nutrition. » Elle reproduit simplement la tendance selon laquelle « café » apparaît souvent près de mots comme « petit-déjeuner » et « pain. »
Emily Bender, Timnit Gebru et d'autres ont décrit cela comme un « Perroquet Stochastique » dans leur article FAccT de 2021. C'est une critique selon laquelle tout comme un perroquet imite la parole humaine sans en comprendre le sens, l'IA générative ne fait qu'imiter les modèles de séquences de mots et n'a pas accès au sens lui-même. Le nom est assez cynique, n'est-ce pas ? Si quelqu'un me disait : « Votre intelligence est au niveau d'un perroquet », je serais assez choqué...
Ce que nous devons comprendre ici, c'est qu'elle peut capturer « A et B apparaissent souvent ensemble (= corrélation) », mais elle ne comprend pas que « A est la cause de B (= causalité). » Les hallucinations et le faible raisonnement causal, que j'expliquerai plus tard, ont tous leur origine ici.
Caractéristique ② : Elle fonctionne de manière unidirectionnelle
Répéter « deviner le mot suivant » signifie que les phrases sont écrites un mot à la fois, dans l'ordre depuis le début, en un seul passage.
Alors, l'IA générative est-elle complètement ad hoc, choisissant le mot suivant uniquement en fonction du seul mot qui la précède ? En regardant les recherches récentes, cela ne semble pas être le cas.
Selon l'article de Dong et al. « Emergent Response Planning in LLMs (ICML 2025) », avant même de produire un seul mot, l'IA générative forme une perspective approximative pour l'ensemble de la réponse, telle que :
- La longueur approximative de la réponse
- Le nombre d'étapes de raisonnement qu'elle prendra
- Le contenu qu'elle sélectionnera et produira
De plus, dans « On the Biology of a Large Language Model » publié par Anthropic en mars 2025, il a été découvert que lorsque Claude 3.5 Haiku écrit un poème, il a déjà décidé du mot de rime à la fin d'un vers avant même de commencer à écrire ce vers. Une sorte de plan regardant plusieurs mots en avant fonctionne en interne.
En d'autres termes, ce n'est pas un « jeu de devinette du mot suivant complètement ad hoc. » L'IA générative met en place un plan à sa manière avant de commencer.
Cependant, il n'existe actuellement aucune preuve qu'elle ait un plan directeur clair comme un humain, qui pourrait « créer d'abord une table des matières et survoler l'ensemble de la structure avant de commencer à écrire. » Le rapport d'Anthropic souligne également qu'elle est « faible face aux longues entrées dépassant environ 100 tokens. »
Par conséquent, l'image montrée par la recherche actuelle est :
L'IA générative a un « sens général de la direction » mais n'a pas de « conception structurelle d'ensemble. »
Et surtout, elle n'a pas le pouvoir de revenir en arrière et de corriger ce qu'elle a une fois écrit.
Selon l'article CogWriter, après avoir confirmé que l'écriture humaine se compose de trois étapes — « planification → rédaction → révision » — il analyse qu'l'IA générative saute cette étape de planification et produit une version finale en une seule fois, ce qui explique pourquoi la structure a tendance à s'effondrer ou les mêmes choses sont écrites de manière répétée dans les textes longs.
Pour les échanges courts comme les e-mails ou les chats, cette propriété ne pose pratiquement aucun problème. Cependant, pour les documents où la structure globale est remise en question, comme les propositions ou les rapports de recherche, la façade s'effondre soudainement. La « liste de 13 faiblesses » présentée au début est exactement un produit de cette propriété.
Caractéristique ③ : Elle est tirée, pour le meilleur ou pour le pire, par les données d'entraînement et les instructions
Une autre chose à garder à l'esprit est que la capacité de l'IA générative dépend entièrement des « données utilisées pour l'entraînement » et du « but pour lequel elle a été ajustée. »
L'influence des « données d'entraînement » est facile à imaginer. Si elle grandit en lisant de nombreux documents commerciaux en anglais, elle sera douée pour créer des e-mails en anglais, mais inversement, sa puissance diminue dans les domaines qu'elle a rarement rencontrés. Elle est bonne dans ce qu'elle a vu et mauvaise dans ce qu'elle n'a pas vu. C'est une histoire simple.
Ce qui est un peu plus gênant, c'est « l'influence de l'ajustement. » Les principales IA génératives actuelles sont ajustées à l'aide d'une méthode appelée RLHF (Apprentissage par Renforcement à partir du Feedback Humain) pour produire des réponses que « les humains trouvent agréables. » Une étude de 2025 par Wang et al. a montré expérimentalement que cet ajustement instille une conformité excessive (sycophantisme) envers l'utilisateur dans l'IA générative. Après avoir vérifié sept modèles, le simple fait d'ajouter un mot comme « Je pense que la réponse est X » a fait atteindre au taux de conformité aux opinions erronées une moyenne de 63,7%.
Si vous montrez un plan d'affaires et demandez : « Pensez-vous que ça va marcher ? », elle répondra : « C'est un plan merveilleux. » Si vous posez des questions sur le même plan : « C'est irréaliste, n'est-ce pas ? », elle répondra : « En effet, il y a plusieurs préoccupations. » L'« accord » de l'IA pourrait ne pas être un jugement objectif, mais simplement une correspondance avec les attentes humaines. ...Eh bien, les humains sont pareils. Nous faisons beaucoup de lecture de l'ambiance.
Comprendre correctement les forces de l'IA générative
Jusqu'à présent, nous avons examiné trois caractéristiques de l'IA générative.
- Elle fonctionne sur la corrélation
- Elle fonctionne de manière unidirectionnelle
- Elle est tirée, pour le meilleur ou pour le pire, par les données d'entraînement et les instructions
En capturant ces caractéristiques, j'ai formulé les forces qui me font penser : « Il vaut mieux compter sur l'IA générative pour cela que de le faire faire par un humain. »
Force ① : Elle dit bien ce que vous ne savez pas bien dire
C'est peut-être la partie la plus appréciée de l'utilisation de l'IA générative. Même si votre tête n'est pas encore organisée et que vous donnez une instruction vague, elle organisera les mots au niveau de « vous voulez probablement dire quelque chose comme ça. »
Par exemple, si vous donnez une instruction décousue et ambiguë par saisie vocale comme : « À propos de l'e-mail pour la réunion de la semaine prochaine, je veux demander un changement d'horaire, mais je veux aussi connaître leur disponibilité, et je veux joindre l'ordre du jour », un subordonné humain pourrait vouloir dire : « Pourriez-vous organiser un peu vos idées avant de me les dire ? » Mais l'IA générative produira un brouillon d'e-mail au niveau de « Oui, c'est exactement ce que je voulais dire. »
Pourquoi peut-elle faire cela ? Grâce à la propriété de « fonctionner sur des modèles. » L'IA générative a appris une vaste quantité de « textes bien organisés. » E-mails professionnels, rapports, propositions, comptes rendus. Parce qu'elle a absorbé énormément ces « modèles », même si elle reçoit une entrée désordonnée, elle l'adapte à un modèle de « dans ce contexte, cette structure et ces formulations sont naturelles. »
Force ② : Elle élargit les perspectives que vous ne remarqueriez pas vous-même
Une autre force est qu'elle apporte des angles que vous n'avez pas entièrement envisagés.
Par exemple, si vous réfléchissez à un plan pour une nouvelle entreprise et que vous avez vous-même organisé trois avantages, mais que vous demandez à l'IA générative d'« identifier les points de discorde pour ce plan », elle apportera des perspectives que vous avez négligées, telles que :
- « N'y a-t-il pas ce genre d'inconvénients ? »
- « Avez-vous envisagé ces risques concurrentiels ? »
- « Comment ces parties prenantes réagiraient-elles ? »
C'est un avantage direct de « l'apprentissage à partir de vastes quantités de données. » Parce qu'elle a appris une énorme quantité de discussions dans tous les genres, d'opinions de diverses positions et de points de discorde avec des avantages et des inconvénients, elle a le pouvoir de tirer des perspectives multiples sur un seul thème. L'expérience et les connaissances d'un seul humain ont des limites, mais l'IA générative compense ces limites.
L'astuce lors de son utilisation pour le travail est de demander explicitement des angles différents.
- « Donne-moi trois opinions opposées à ce plan. »
- « Y a-t-il des perspectives qui me manquent dans cette analyse ? »
- « Liste non seulement les avantages mais aussi les inconvénients. » En exigeant des perspectives multiples comme celle-ci, cette force est utilisée au maximum. Inversement, si vous demandez sans rien spécifier, elle a tendance à se conformer à votre opinion (ce que j'expliquerai en détail dans la section « Faiblesses »), il est donc important de demander d'une manière qui attire consciemment des angles différents.
Mais, l'IA générative est faible ici
Faiblesse ① : Elle garantit la « plausibilité », mais pas la « exactitude »
Comme il s'agit d'un mécanisme spécialisé dans la génération de « séquences de mots qui semblent probables », elle les produira tant qu'elles sont naturelles en tant que phrase, indépendamment du fait qu'elles soient des faits.
L'article d'OpenAI de 2025 « Why Language Models Hallucinate » a prouvé mathématiquement que ce problème n'est pas un bug mais une nécessité structurelle. En bref, « créer une phrase correcte » est intrinsèquement plus difficile que « distinguer si elle est correcte », et même si les données d'entraînement sont parfaites, le taux de mensonges mélangés ne peut pas être réduit à zéro.
Cependant, à mesure que les modèles d'IA évoluent, les réponses de l'IA deviennent de plus en plus fluides, n'est-ce pas ? Parce que l'IA répond si facilement, nous sautons la tâche que nous devrions faire : évaluer « Est-ce vrai ? » et « Y a-t-il des preuves ? »
Ce phénomène où nous hallucinons que « parce que la phrase est plausible, elle doit être correcte » s'appelle « Epistemia. » (De « Epistemological Fault Lines Between Human and Artificial Intelligence »)
À l'avenir, que Claude publie un modèle de classe Mythos ou que ChatGPT publie un modèle qui le dépasse, nous devons considérer que « l'IA générative ne peut structurellement pas réduire le taux de mensonges mélangés à zéro », et les humains doivent toujours vérifier avec des sources primaires.
Faiblesse ② : Peu importe jusqu'où elle va, elle ne peut pas parler de « causalité »
Comme mentionné précédemment, elle peut capturer « A et B apparaissent souvent ensemble (= corrélation) », mais elle ne comprend pas que « A est la cause de B (= causalité). »
Par exemple, si vous demandez : « Au trimestre où les ventes ont chuté, les coûts publicitaires ont également chuté. Analysez la relation de cause à effet », l'IA pourrait répondre : « Les ventes ont chuté parce que vous avez réduit les coûts publicitaires. » Mais en réalité, les deux ont peut-être chuté en même temps en raison d'un ralentissement économique, ou les coûts publicitaires ont peut-être été réduits parce que les ventes ont chuté en premier. L'analyse qui demande « pourquoi », comme « pourquoi les ventes ont-elles chuté », est une tâche structurellement trop lourde pour l'IA générative actuelle.
Lorsque vous souhaitez effectuer une analyse du « pourquoi » au travail, le point essentiel est que l'humain fournisse la direction de la causalité comme hypothèse. Au lieu de tout lancer avec « Analysez la cause de la baisse des ventes », imaginez demander comme : « En supposant que la cause de la baisse des ventes soit X, organisez les données qui le soutiennent et les faits qui pourraient être des contre-arguments. »
La logique de causalité doit être montrée par l'humain, et l'IA doit être laissée pour organiser les données et identifier les contre-arguments. C'est ma conclusion actuelle.
Faiblesse ③ : Elle ne peut pas faire de structuration ou d'organisation de type MECE
Le problème de « lister 13 faiblesses » présenté au début était une démonstration de cette faiblesse elle-même.
Par exemple, si vous demandez : « Identifiez les tâches de préparation pour l'événement interne du mois prochain », l'IA listera environ 20 tâches telles qu'elles lui viennent à l'esprit : « Réserver le lieu », « Envoyer les e-mails d'invitation », « Commander les fournitures », « Créer un sondage »... Mais la granularité des tâches est décousue et l'ordre n'est pas organisé.
Rien qu'en redemandant : « Divisez-le en quatre étapes : ① Organisation du lieu, ② Attraction des participants, ③ Opération le jour J, et ④ Suivi post-événement, et identifiez les tâches pour chacune », la qualité du résultat change considérablement. Les tâches sont organisées par étape, et il devient plus facile de remarquer les omissions. Cette spécification de la structure, comme « diviser en quatre étapes », est un travail pour les humains, pas pour l'IA. Si l'humain crée et transmet la structure, remplir les détails est ce que l'IA fait de mieux.
C'est pourquoi j'écris des articles prônant la structuration, la structuration et encore la structuration, comme celui ci-dessous.
https://x.com/ysk_motoyama/status/2016129312433606678
Alors, sur la base des forces et faiblesses mentionnées jusqu'à présent, comment devrions-nous maîtriser l'IA générative ? ...La suite est écrite dans la note ci-dessous, si vous le souhaitez.
note: Un mémo pour comprendre correctement les forces et faiblesses de l'IA générative
