Le récit dominant actuel est que l'open source est en train de conquérir l'entreprise. L'écart de capacités entre les meilleurs modèles fermés et ouverts s'est réduit à quelques points de pourcentage. Un tiers du Fortune 500 possède des comptes vérifiés sur Hugging Face, les laboratoires chinois publient des modèles quasi-frontaliers avec des poids ouverts toutes les quelques semaines, et les fournisseurs d'inférence explosent.
Pendant ce temps, chez Decagon, nous exécutons désormais environ 90 % de nos charges de travail sur des modèles open source plutôt que sur OpenAI ou Anthropic. Cela correspond à la tendance de la plupart des entreprises à hypercroissance, et nous constatons que les grandes entreprises avec lesquelles nous travaillons évoluent également dans cette direction.
Pourtant, les dépenses des entreprises dans leur ensemble vont dans la direction opposée. Les modèles open source ne représentent plus que 11 % des dépenses LLM des entreprises, contre 19 % il y a un an.
La tendance va en réalité dans l'autre sens par rapport au récit populaire. Pourquoi cela se produit-il et qu'est-ce que cela signifie pour l'avenir ?
Tout d'abord, un peu de contexte sur la raison pour laquelle nous sommes à 90 % open source. Ce n'était pas une question de coût, et ce n'était pas parce que nos clients l'exigeaient (bien qu'ils ne s'y opposent pas). C'était parce que nous n'avions pas d'autre option.
Lorsque vous déployez des agents d'IA en production pour le service client, la latence fait ou défait le produit. Une conversation où chaque échange prend 8 secondes n'est pas un produit que quelqu'un utilisera. Vous avez donc besoin de modèles petits et rapides. Chaque appel de modèle n'a pas besoin de connaître la capitale de la Lituanie ou la physique du lycée.
Mais les petits modèles prêts à l'emploi ne sont pas assez bons pour la barre de qualité que nos clients nous imposent. Ils n'y parviennent que grâce à un réglage fin intensif sur la tâche exacte. Les laboratoires frontaliers ne vendent pas vraiment cette combinaison. Vous ne pouvez pas affiner leurs meilleurs modèles comme nous en avons besoin, et leurs petits modèles ne nous appartiennent pas pour les façonner. Petit + affiné signifie poids ouverts. Les économies de coûts sont réelles mais secondaires, et le confort des entreprises avec les modèles auto-hébergés est un effet secondaire agréable, pas la raison.
Alors, pourquoi une entreprise comme la nôtre est-elle à 90 % open source alors que le chiffre global des entreprises diminue ?
La réponse est la maturité des cas d'utilisation. Lorsqu'un cas d'utilisation est nouveau, vous voulez le modèle généraliste le plus intelligent que vous puissiez trouver. Vous ne connaissez pas encore la forme du problème, donc vous payez une prime pour une intelligence dont vous n'aurez peut-être pas besoin. C'est le bon compromis à ce stade. Mais une fois que le cas d'utilisation est entièrement développé, lorsque vous connaissez la distribution des entrées, les comportements dont vous avez besoin et les modes de défaillance à éviter, le compromis s'inverse. Maintenant, l'intelligence générale est un surcoût, et vous voulez le modèle le plus petit et le plus rapide, affiné pour faire votre chose spécifique extrêmement bien.
Le service client se trouve être l'un des cas d'utilisation les plus évidents de l'IA dans l'industrie. Des workflows bien compris, un volume de conversations énorme, des barres de qualité strictes. Ce qui signifie que des entreprises comme la nôtre sont simplement plus avancées sur la courbe que le déploiement moyen des entreprises.
Et c'est là la résolution du paradoxe. La raison pour laquelle la part de l'open source a chuté n'est pas que l'open source perd. C'est que l'IA d'entreprise dans son ensemble est au tout début de la courbe de maturité. L'année dernière, les entreprises ont cessé de construire et ont commencé à acheter, et des milliers de nouveaux cas d'utilisation ont été lancés en même temps. Les nouveaux cas d'utilisation fonctionnent sur des modèles frontaliers, donc la part des modèles fermés a explosé. Les 11 % sont un problème de dénominateur : le pool de cas d'utilisation immatures croît plus vite que le pool de cas d'utilisation matures.
Si c'est exact, alors chaque cas d'utilisation prototypé aujourd'hui sur un modèle frontalier est une future migration vers l'open source. À mesure que les déploiements mûrissent, les entreprises feront ce que nous avons fait : distiller, affiner, spécialiser. Les laboratoires frontaliers continueront de posséder la découverte. L'open source possédera de plus en plus la production.
Cependant, cela prendra plus de temps que les gens ne le pensent. La plupart des cas d'utilisation ne sont tout simplement pas au point où la « forme » de l'agent est finalisée au point qu'il soit logique de commencer à affiner les modèles open source.
Le réglage fin demande des efforts, et la plupart des organisations n'ont pas les ressources ou l'expertise pour le faire. Le cas d'utilisation devrait avoir un ROI très élevé et être déjà entièrement déployé à grande échelle pour que cela en vaille la peine. Vous avez également besoin de suffisamment de données pour vous assurer que les modèles plus petits peuvent fonctionner au même niveau que les modèles frontaliers sur une tâche donnée.
Sinon, il est tout simplement beaucoup plus facile de brancher l'un des modèles propriétaires frontaliers. Vous n'avez pas à vous soucier de posséder l'infrastructure et vous avez la liberté d'itérer et d'expérimenter librement.
Par conséquent, la part des dépenses LLM consacrée à l'open source finira par s'infléchir à la hausse, mais cela n'arrivera pas avant de nombreuses années.
