L'économie des tokens
Quand on parle d'IA aujourd'hui, les tokens sont rois. Plus précisément, les tokens d'inférence sont devenus la principale mesure indirecte pour suivre la croissance de l'écosystème de l'IA. Les entreprises cotées en bourse publient le nombre mensuel de tokens traités pour démontrer leur croissance dans l'IA, les analystes comparent le succès des modèles en se basant sur leurs volumes relatifs de tokens, et les équipes de direction mesurent leur engagement et leurs investissements dans l'IA en observant leur utilisation de tokens au fil du temps.
Cette popularité généralisée est logique ; les tokens sont une unité fondamentale de l'intelligence et du calcul de l'IA, et la croissance du nombre de tokens est une bonne représentation de la croissance globale de l'IA dans le monde. Les tokens abstraient également les complexités de l'inférence en une seule unité de mesure, ce qui les rend à la fois simples à comprendre (cela ne prend que 2 minutes !) et faciles à suivre de manière cohérente dans le temps. En tant qu'espèce de lingua franca, les tokens permettent à un large public de saisir les progrès rapides et complexes de l'IA, quel que soit son niveau de compétence technique.
Plus de gens utilisent l'IA ? Les tokens augmentent. Nous sommes passés de modèles non-raisonnants à des modèles de raisonnement ? Les tokens augmentent. Nous sommes passés des requêtes aux agents ? Les tokens augmentent. Les agents peuvent désormais travailler en arrière-plan ou sur des tâches à long terme ? Les tokens augmentent !
Le nombre absolu global de tokens traités augmente à la fois en raison de l'adoption croissante de l'IA, mais aussi en raison des évolutions de l'infrastructure qui rendent les modèles et les facteurs de forme de l'IA plus "gourmands en tokens", par exemple un agent qui travaille pendant une heure contre une minute.
Cette simplicité crée également une solide thèse d'investissement de croissance pour les investisseurs en capital-risque spécialisés dans la croissance. Tous ces changements — tant dans l'adoption que dans l'intensité en tokens des modèles — s'empilent les uns sur les autres pour créer une croissance explosive et exponentielle des volumes globaux de tokens. C'est facile à prévoir, et facile à croire que cela continuera dans cette direction avec les agents à long horizon et les agents en arrière-plan qui arrivent. Il n'est pas étonnant que l'inférence soit devenue une catégorie d'investissement très en vogue et que de nombreuses entreprises cherchent à se lancer dans le secteur de l'inférence.
L'inconvénient d'un porte-étendard de l'IA aussi lisible et populaire que l'inférence est qu'il peut obstruer le champ de vision, de sorte que des méga-tendances émergentes similaires passent relativement inaperçues parce qu'elles sont plus difficiles à voir et à comprendre pour un large public.
Une tendance en particulier est similaire à l'inférence à bien des égards et est appelée à devenir une partie beaucoup plus importante des discussions sur l'IA à mesure qu'elle deviendra plus omniprésente et largement comprise. Il s'agit du marché visant à améliorer les capacités des modèles via les données, que nous appelons l'Économie des Tâches.
L'Économie des Tâches
Au cours des trois dernières années, les LLM sont passés de la réponse à des requêtes basiques, au raisonnement à travers des problèmes complexes, pour devenir des agents capables d'effectuer un travail concret sur des horizons temporels de plus en plus longs. Au début de ce parcours, les améliorations des modèles étaient obtenues en les entraînant sur les données disponibles sur internet avec des quantités croissantes de calcul. Alors que nous avons 1) épuisé les données supplémentaires disponibles sur internet pour l'entraînement et 2) saturé des capacités simples/générales de plus en plus nombreuses, un goulot d'étranglement clair pour de nouvelles améliorations des modèles est apparu : les données incrémentales de haute qualité. Ces données seront générées et fournies par l'Économie des Tâches.
Les tâches sont "l'unité de pratique" dans l'apprentissage par renforcement : on donne à un modèle un état initial et un environnement dans lequel agir, et son comportement est noté par un signal de récompense/vérificateur. À travers de nombreuses tâches, ces scores sont agrégés en un signal d'entraînement qui oriente le comportement du modèle vers ce qui a été bien noté. Strictement parlant, "tâche" fait référence à ce substrat d'optimisation post-entraînement par RL. Mais je l'utiliserai de manière plus souple pour représenter l'unité d'amélioration basée sur les données en général, car l'industrie invente rapidement de nouvelles formes que prennent les données au service de l'amélioration des modèles, et franchement parce qu'"Économie des Tâches" sonne bien. Je veux aussi distinguer cette catégorie du terme désuet d'"étiquetage de données", qui évoque les cadres de délimitation et les pouces vers le haut/bas pour les réponses des LLM — le marché a bien évolué au-delà de ces primitives au cours des deux dernières années, vers des tâches beaucoup plus complexes et à forte valeur ajoutée.
Prenons l'industrie juridique comme exemple concret rapide. Les modèles d'IA entraînés sur l'internet ouvert peuvent acquérir une compréhension de haut niveau du droit, connaître les précédents jurisprudentiels publics, etc. Mais produire le travail concret d'un avocat talentueux nécessite des données qui ne sont pas disponibles sur internet. Pour qu'un modèle puisse reproduire des flux de travail juridiques de haute qualité, nous devons donner au modèle des instructions (examiner un contrat, rédiger un argument), placer le modèle dans des environnements pertinents (une salle de données juridiques), puis évaluer/vérifier la qualité du travail (via une grille d'évaluation, dont vous pouvez voir un exemple ici). Ces tâches enseignent au modèle non seulement quoi faire, mais aussi comment le faire. Et plus vous exposez le modèle à des tâches de haute qualité, meilleur il devient.
Ainsi, ce que les tokens sont à l'inférence/l'utilisation du modèle, les tâches le sont aux efforts d'amélioration du modèle. Les tokens sont une unité fondamentale de l'intelligence et du calcul de l'IA ; nous devrions considérer les tâches comme une unité fondamentale d'amélioration de l'IA. Et tout comme les tokens, les tâches croissent à la fois en fonction de l'adoption de l'IA, et à mesure que l'intelligence de pointe en développement devient de plus en plus "gourmande en tâches".
Ce n'est ni précis ni exhaustif, mais donne quelques exemples de chaque augmentation par palier de l'intelligence du modèle nécessitant beaucoup plus de tâches, et de complexité bien supérieure.
Nous sommes passés des simples étiquettes de préférence à des experts qualifiés utilisant des grilles d'évaluation ? Les tâches augmentent. Nous avons introduit des agents verticaux qui reproduisent un travail d'expert dans un domaine ? Les tâches augmentent. Les agents doivent travailler sur des horizons plus longs ? Les tâches augmentent. Les entreprises adoptent les évaluations en masse ? Les tâches augmentent !
À l'instar du marché de l'inférence, ces intrants de croissance qui s'empilent ont produit une croissance tout aussi sans précédent pour l'Économie des Tâches :
- OpenAI et Anthropic multiplient leurs dépenses en données par 10 d'une année sur l'autre, dépensant des milliards de dollars pour mobiliser des experts dans tous les domaines afin de créer des données et d'entraîner des agents.
- Les principales entreprises d'applications d'IA et les entreprises de notre réseau augmentent leurs dépenses individuelles liées aux tâches à plus de 100 millions de dollars à court terme, reconnaissant que les données sont leur avantage concurrentiel, et que l'IA appliquée avec une stratégie de données différenciée peut surpasser les modèles standard.
- La société du portefeuille de Benchmark, Mercor, la plateforme leader de l'Économie des Tâches, a atteint 1 milliard de dollars de revenus annuels récurrents (ARR) en février dernier, puis a atteint 2 milliards de dollars d'ARR seulement 4 mois plus tard.
Le nombre de tâches brutes, la longueur et la complexité de ces tâches, ainsi que le coût horaire des experts réalisant les tâches, tout cela croît, s'empilant pour créer une croissance exponentielle des dépenses globales en tâches.
Et aussi impressionnants que soient les signaux de croissance récents sur ce marché, nous n'en sommes clairement qu'au premier tour de la croissance et de l'impact globaux de ce marché. Nous commençons tout juste à voir des agents capables de reproduire un travail de haute qualité dans n'importe quel domaine avancé, et les entreprises ne commencent à augmenter leurs dépenses que cette année, alors qu'elles prennent conscience de l'importance des données comme facteur de différenciation vis-à-vis des laboratoires. Comparez cela avec le fait que 99 % des connaissances humaines pertinentes pour les capacités futures que nous voulons que l'IA couvre se trouvent dans la tête des gens. Si nous croyons que les entreprises d'IA appliquée de toutes sortes (laboratoires, entreprises d'applications d'IA, entreprises traditionnelles) voudront transmettre ces connaissances tacites aux modèles et aux agents (et je le crois), alors le marché total adressable pour l'Économie des Tâches est immense et nous nous dirigeons vers de nombreuses autres années de croissance rapide de l'Économie des Tâches, avec un ensemble d'acheteurs/participants beaucoup plus large que par le passé.
Rendre la méga-tendance des Tâches plus lisible
Les tokens et les tâches sont des baromètres importants du progrès et de l'évolution de l'IA, et tous deux s'accélèrent rapidement. Pourtant, malgré cette croissance tout aussi explosive, il y a bien moins de conversations sur les tâches que sur les tokens en ligne aujourd'hui. Je pense que cela est principalement dû au fait que :
1) historiquement, les dépenses sur ce marché ont été concentrées dans les laboratoires de pointe, qui sont très secrets concernant leurs stratégies d'amélioration des modèles, y compris leurs dépenses en données/tâches. Cela change rapidement à partir de cette année, car les entreprises d'applications d'IA et les entreprises traditionnelles adoptent l'Économie des Tâches pour construire une différenciation par rapport aux modèles standard. Ces entreprises sont plus susceptibles de promouvoir leurs efforts dans ce domaine et de pousser la catégorie dans la conversation régulière sur l'IA.
et
2) le marché n'a pas eu d'abstraction d'unité de valeur aussi propre que l'inférence avec les tokens. L'un des objectifs de cet article est de changer cela et de fédérer la conversation autour des tâches en tant qu'unité de valeur sur laquelle nous pouvons nous normaliser. Les tokens sont une lingua franca qui permet à un large public de saisir les progrès de l'IA, quel que soit son niveau de compétence technique ; les tâches devraient agir de la même manière pour permettre à un large public de comprendre l'investissement de l'industrie dans l'avancement des capacités de l'IA.
Compte tenu de ces goulots d'étranglement, l'industrie n'a pas d'"OpenRouter pour le volume de tâches" ou d'équivalent aujourd'hui qui puisse nous donner une vue indirecte en direct de l'ampleur et de la croissance de l'Économie des Tâches au fil du temps. Bien qu'il serait extrêmement précieux pour une entreprise de publier quelque chose de ce genre à l'avenir, pour l'instant, l'équipe de Mercor a eu la gentillesse de fournir un graphique des heures de travail d'experts par trimestre sur leur plateforme, comme fenêtre sur la croissance exponentielle du marché. Comme vous pouvez le voir, les données réelles correspondent à l'ampleur/la vélocité de la croissance dont nous avons discuté dans la section précédente :
Source : Mercor
À bien des égards, l'Économie des Tâches est le marché déterminant pour l'avenir de l'IA — le frein à l'automatisation de toutes les tâches que nous pouvons effectuer sur nos ordinateurs portables avec des agents est de couvrir toute la distribution de toutes les applications, de tous les environnements et de toutes les tâches qui correspondent à tout dans l'économie. Cela nécessitera une vaste construction de données dans tous les domaines professionnels, disciplines académiques et cas d'usage grand public. Le droit, la médecine, la finance, le logiciel, la science, et au-delà, chacun nécessitera ses propres ensembles de données générés par des experts, évaluations et environnements RL. Les laboratoires, les entreprises d'applications d'IA et les entreprises traditionnelles se battront tous pour faire évoluer rapidement cette infrastructure de données sur toute la surface du travail économiquement utile et ceux qui réussiront continueront à améliorer les capacités de pointe et à gagner des parts de marché.
Nous commencerons à suivre ces efforts de beaucoup plus près en tant que communauté à mesure que l'Économie des Tâches deviendra plus visible et omniprésente dans les années à venir. Et un jour, bientôt, quand nous parlerons d'IA, les tâches seront reines.
Note de bas de page : Un autre domaine évident où nous verrons des améliorations des capacités générales de l'IA est dans les améliorations algorithmiques des modèles. Je les ai exclues pour garder l'accent de cet article sur les données, mais c'est un choix de concentration/stylistique plutôt que le fait de ne pas penser que nous obtiendrons également des améliorations algorithmiques à l'avenir.
