L'auto-amélioration est le nouveau fossé défensif, permettant aux entreprises de produits d'aller au-delà du simple enrobage des API LLM.
Il y a deux endroits où récolter cet apprentissage : l'activité du navigateur (ce que les utilisateurs font réellement dans les applications) et les traces de l'agent (ce que votre agent a réellement fait).
Si c'est fait correctement, votre produit peut s'améliorer simplement en étant utilisé.
Votre produit peut avoir des centaines, des milliers ou des millions d'interactions agent-utilisateur chaque jour. C'est une mine d'or de données.
Aujourd'hui, cependant, la majeure partie de cette valeur n'est pas capturée.
Vos utilisateurs « enseignent » à l'agent et cette « leçon » disparaît tout simplement.
Capturer les signaux de données est un actif qui se compose.
Mais capturer ne suffit pas -- l'agent doit encore les utiliser sans se noyer dans le contexte. Les modèles ont un budget d'attention limité, et bourrer le contexte avec tout n'est pas la solution...
Aperçu de l'article
Nous allons parcourir les agents auto-améliorants autour desquels vous pouvez construire un fossé défensif pour votre entreprise, notamment :
- Apprendre à partir des traces d'agent et de l'activité dans le navigateur
- Où les apprentissages peuvent être appliqués : les poids du modèle, le harnais et le contexte
- Les différents types d'apprentissages : procédural, sémantique, épisodique
- Confidentialité des données : garder les données de vos utilisateurs en sécurité
- Propriété des données : construire un fossé défensif pour l'entreprise
- Conseils pratiques pour implémenter facilement l'auto-apprentissage pour n'importe quel agent, en utilisant AG-UI
Nous publions notre solution d'auto-apprentissage dans les semaines à venir.
Inscrivez-vous ici pour un accès anticipé et un partenariat de conception.
Votre agent devrait apprendre de 2 endroits
Les agents devraient apprendre des traces d'agent et de l'activité ambiante dans le navigateur.
La plupart des approches d'apprentissage n'utilisent qu'un seul de ces éléments, mais les produits qui exploitent les deux surpasseront significativement ceux qui ne le font pas.
1. Traces d'agent
L'agent s'exécute et chaque étape est enregistrée comme une trace. Ce qui lui a été demandé, quels outils il a appelés, ce qui est revenu, où il a échoué.
Pointez un autre agent vers ces traces, et il trouve les schémas d'échec et réécrit les prompts, les outils et les instructions.
La moitié manquante : Tout ce qui se trouve en dehors de l'interaction avec l'agent, là où la plupart des activités ont encore lieu.
2. Activité ambiante de l'utilisateur dans le navigateur
Autrement dit, observer l'utilisateur.
Ses clics, ses modifications, ses réponses et ses flux de travail.
Brex a construit son processus d'intégration de cette façon. Ils ont observé leurs analystes travailler et ont renvoyé chaque correction humaine comme un signal d'entraînement.
Chaque correction humaine crée un point de données étiqueté qui affine la prochaine exécution.
La moitié manquante : Cette méthode voit parfaitement l'humain. Mais elle ne sait rien de ce que l'agent a essayé ni pourquoi il a échoué.
Vous devriez capturer les deux signaux
Comment ? Ou mieux encore, où ?
Il y a un endroit dans presque tous les produits aujourd'hui qui voit les deux simultanément : la surface où la personne et l'agent travaillent côte à côte.
Autrement dit, l'interface.
Le comment se fait via le Protocole d'Interaction Agent-Utilisateur (AG-UI): une norme ouverte qui diffuse chaque événement entre votre application, vos utilisateurs et l'agent. Plus d'informations sur pourquoi c'est important ci-dessous.
Où l'apprentissage peut être appliqué
Il y a trois endroits, chacun avec ses propres compromis.
→ Poids du modèle : Affiner la leçon dans le modèle lui-même.
→ Harnais : Tout ce qui entoure le modèle. Le cycle qu'il suit, les outils qu'il est autorisé à appeler, les vérifications qui l'attrapent avant qu'il n'agisse.
→ Dans le contexte : Ajouter les nouvelles informations directement dans le prompt. L'agent les lit à chaque appel.
J'ai couvert les 10 approches à travers ces trois couches dans le premier article ↓
https://x.com/svpino/status/2070210421995569537
Les différents types d'apprentissages
Il y a trois types principaux qui aideront vos agents à s'améliorer au fil du temps.
1. Procédural (flux de travail/comment faire les choses)
La mémoire procédurale est ce que beaucoup d'entre nous incluent dans les fichiers skills ou agents.md :
Des flux de travail et des règles appris pour accomplir une tâche.
Par exemple :
Un manager approuvant un remboursement dépassant la limite pour un client fidèle. L'agent apprend cela et fait de même la prochaine fois.
Avantage : L'agent traite le même cas de la même manière à chaque fois. Cohérent et indépendant.
Inconvénient : S'il apprend le mauvais flux de travail, il fera la mauvaise chose avec confiance, à chaque fois.
2. Épisodique (les choses qui se sont produites)
Un enregistrement d'événements et d'interactions passés spécifiques.
Par exemple :
« Le 5 janvier, le remboursement de Joe Jonas a été rejeté parce que sa carte avait expiré. »
Avantage : Un cas passé réel bat une règle abstraite. L'agent voit comment cela s'est déroulé et copie ce qui a fonctionné.
Inconvénient : La plupart des cas passés sont du bruit inutile. Quelqu'un doit passer au crible et ne garder que ceux qui valent la peine d'être retenus, sinon l'utile se retrouve enterré.
3. Sémantique (les faits)
Des faits stables que l'agent doit connaître.
Par exemple :
« Tous les plans de carte de crédit ont une certaine limite, mais la limite varie selon le plan »
Avantage : Réutilisable partout. Un fait est un fait.
Inconvénient : Devient obsolète sans avertissement. Le jour où la limite change, l'agent a tort avec confiance et agit quand même en conséquence.
L'auto-apprentissage en action via CopilotKit Intelligence et AG-UI
Sémantique garde ce qui est vrai.
Épisodique garde le cas qui s'est produit.
Procédural garde la règle pour le traiter.
Le parcours de l'interaction agent-utilisateur à l'auto-apprentissage
Posséder la boucle vous-même et construire un fossé défensif
Les données d'apprentissage sont la partie la plus importante de votre produit, et elles deviendront de plus en plus précieuses à mesure que le coût de création de logiciels à partir de zéro diminue.
Posséder les données d'apprentissage vous permet de devenir plus qu'un simple enrobage d'une API LLM.
L'échec de l'agent et la correction de l'humain finissent généralement à deux endroits différents.
Et personne ne les connecte.
La surface pour ce faire existe déjà dans votre produit : l'interface.
Les outils de trace ne voient que l'agent.
Les outils ambiants, ceux qui surveillent le navigateur, ne voient que l'humain, et envahissent la vie privée pour y parvenir.
Mais CopilotKit voit les deux signaux.
CopilotKit lit les événements qui circulent dans votre application : chaque appel d'outil, changement d'état, approbation et modification, à la fois de l'agent et de la personne qui l'utilise.
Il le fait via AG-UI (Protocole d'Interaction Agent-Utilisateur) qui transporte chaque événement entre votre application, vos utilisateurs et l'agent en temps réel.
Maintenant, la tentative de l'agent et la correction de l'humain arrivent dans le même flux.
AG-UI fonctionne avec n'importe quel agent et n'importe quel harnais
AG-UI est une norme ouverte qui est indépendante du framework.
Elle a été adoptée par AWS, Google, Microsoft, Oracle, LangChain, Mastra, Pydantic AI, CrewAI, LlamaIndex et plus encore.
AG-UI voit les événements et injecte le contexte appris directement dans l'agent, quel que soit le harnais propre à cet agent en dessous.
Cela signifie que le même apprentissage s'applique à n'importe quel agent que vous intégrez, aujourd'hui ou l'année prochaine, automatiquement, sans travail d'intégration personnalisé pour chaque nouveau.
Un de nos clients exécute une interface qui parle à l'agent de CopilotKit + Google ADK + Microsoft Agent Framework, et tous les souvenirs sont partagés entre les trois.
Mémoire détachée du choix du framework = portabilité
Tout s'exécute sur votre infrastructure, donc vous possédez l'apprentissage
CopilotKit Intelligence s'auto-héberge sur votre propre cluster Kubernetes. Souveraineté totale des données, SOC 2 Type II, déploiement en environnement isolé si nécessaire.
Les données restent avec vous. Il en va de même pour tout ce que l'agent en apprend.
L'approche de tous les autres soit garde votre apprentissage dans leur cloud, soit, comme celle de Meta, a recours à la surveillance pour l'obtenir.
@CopilotKit Intelligence est en production dans des entreprises du Fortune 500 aujourd'hui, et ouvert pour un accès anticipé. Si vous voulez que votre agent s'améliore plus les gens l'utilisent, contactez-nous.
Conteneurs d'apprentissage : décider « qui » reçoit les nouveaux apprentissages
Dès que vous activez l'apprentissage dans votre produit, la question se pose : jusqu'où l'apprentissage s'étend-il ? Les faits sensibles d'un utilisateur ne doivent pas fuir dans le contexte de l'agent d'un autre utilisateur.
La solution de CopilotKit est les Conteneurs d'apprentissage : des périmètres faciles à utiliser pour les développeurs que vous pouvez contrôler, décidant jusqu'où chaque leçon se propage.
CopilotKit vous permet de définir facilement des conteneurs d'apprentissage pour différents groupes d'utilisateurs :
- Par utilisateur. Comme des préférences spécifiques.
- Par équipe. Comme des procédures d'approbation.
- Par application. Comme des règles à l'échelle de l'entreprise.
Les conteneurs d'apprentissage sont entièrement auditables. Vous pouvez voir exactement ce qui a été appris et dans quel conteneur cela a atterri.
Il y a bien plus à ce sujet.
Récemment, nous avons organisé un livestream approfondi passant en revue tout ce que je viens de mentionner.
Regardez l'enregistrement complet ici.
Résumé en un mot
Partagez cette infographie avec votre réseau comme TL;DR
@CopilotKit Intelligence exécute déjà cela en production dans de grandes entreprises, et c'est ouvert pour un accès anticipé.
Si vous voulez un agent qui s'améliore plus vos utilisateurs l'utilisent, contactez-nous et nous vous intégrerons.
Suivez @ataiiam pour plus d'informations.
