Comment créer votre propre LLM à partir de zéro (le pipeline en 5 étapes derrière GPT et Claude)

La plupart des gens utilisent ChatGPT et Claude au quotidien sans avoir la moindre idée de la manière dont ils ont été conçus.

Gardez ceci précieusement :)

Un petit groupe de personnes comprend le pipeline exact qui transforme du texte brut provenant d'Internet en un modèle capable d'écrire, de raisonner et de coder. Comprendre ce pipeline change à jamais votre façon d'utiliser ces outils, car vous voyez enfin ce qui se passe « sous le capot » au lieu de considérer cela comme de la magie.

La différence entre ces deux groupes ne réside pas dans un diplôme en mathématiques.

Elle tient en un modèle mental clair.

Voici la vérité que presque personne n'explique simplement : chaque modèle de pointe, GPT, Claude, tous, sont construits selon le même pipeline en cinq étapes. Les entreprises diffèrent par leur échelle, leurs données et un millier de détails techniques, mais la forme du processus est identique partout. Apprenez cette forme et vous comprendrez comment ils sont tous fabriqués.

Laissez-moi définir les attentes honnêtement avant de commencer. Vous n'allez pas entraîner un modèle rivalisant avec GPT ou Claude à partir de zéro sur votre ordinateur portable. Ces modèles coûtent des dizaines de millions de dollars en puissance de calcul et nécessitent d'énormes équipes d'ingénieurs. Ce n'est pas l'objectif ici. L'objectif est de comprendre le pipeline si profondément que vous pourriez en construire une version miniature fonctionnelle, raisonner sur le comportement des grands modèles et ne plus être mystifié par tout cela. Cette compréhension vaut bien plus que ce que la plupart des gens imaginent, et elle est tout à fait à votre portée.

Voici les cinq étapes, dans l'ordre, exactement telles qu'elles se déroulent.

Étape 1 : Les données — La fondation sur laquelle tout repose

Avant qu'il n'y ait un modèle, il y a du texte. Une quantité colossale.

La première étape consiste à rassembler et à préparer les données à partir desquelles le modèle va apprendre. Pour un modèle de pointe, cela signifie une quantité de texte stupéfiante : une grande partie de l'Internet public, des livres, des dépôts de code, et plus encore. Mais le texte brut est désordonné, donc la majeure partie du travail à cette étape ne consiste pas à collecter, mais à nettoyer.

Les données sont filtrées pour supprimer les déchets, le contenu dupliqué est éliminé (le même paragraphe apparaissant mille fois fausserait ce que le modèle apprend), et les matériaux de faible qualité ou nuisibles sont écartés. Ce nettoyage compte plus que ce que les gens pensent. Le vieux principe reste vrai : « garbage in, garbage out » (déchets en entrée, déchets en sortie). Un modèle entraîné sur des données plus propres et de meilleure qualité apprend mieux qu'un modèle entraîné sur des données plus volumineuses mais plus désordonnées. La qualité des données est l'un des leviers les plus importants et les moins glamour de tout le domaine.

Vient ensuite l'étape qui surprend les débutants : la tokenisation. Le modèle ne peut pas lire le texte directement. Le texte est découpé en « tokens », qui sont des morceaux de la taille approximative d'une partie de mot. Le mot « tokenisation » pourrait devenir trois ou quatre tokens. Chaque élément de données d'entraînement est converti en ces tokens, et à partir de ce moment, le modèle ne voit que des nombres représentant des tokens, jamais des lettres. C'est pourquoi les modèles comptent parfois mal les lettres d'un mot : ils n'ont jamais vu les lettres, seulement le token.

Le résultat de cette étape est un ensemble de données massif, propre et tokenisé. Rien n'a encore été appris. Vous avez simplement préparé la matière première.

Que faire pour maîtriser cette étape

• Apprenez ce qu'un tokenizer fait réellement en passant du texte à travers lui et en le regardant se diviser en tokens.
• Prenez un petit jeu de données textuelles et entraînez-vous à le nettoyer : supprimer les doublons, filtrer les déchets, normaliser le format.
• Comprenez pourquoi la qualité des données l'emporte sur la quantité en comparant ce qu'un petit modèle apprend à partir de données propres par rapport à des données désordonnées.
• Lisez comment les grands laboratoires décrivent leur filtrage de données et remarquez l'effort considérable qui y est consacré.

Étape 2 : Le pré-entraînement — Là où le modèle apprend réellement le langage

C'est l'étape qui coûte des millions, et c'est là que le modèle apprend presque tout ce qu'il sait.

Le pré-entraînement a un objectif d'une simplicité magnifique : prédire le token suivant. Le modèle reçoit une séquence de tokens et doit deviner le suivant. Il devine, sa proposition est comparée au token réel, et les nombres internes du modèle (ses paramètres, souvent des milliards) sont ajustés pour faire une meilleure supposition la prochaine fois. Puis il recommence. Encore et encore. Sur des billions de tokens.

C'est tout l'objectif de l'entraînement. Prédire le token suivant, encore et encore, à une échelle colossale. Et de cet objectif absurdement simple, quelque chose de remarquable émerge. Pour devenir bon à prédire le token suivant sur l'ensemble du texte humain, le modèle est forcé d'apprendre la grammaire, les faits, les modèles de raisonnement, la syntaxe de code et la structure des arguments, car tout cela l'aide à mieux prédire. Personne ne lui a explicitement enseigné la grammaire. Il l'a apprise parce que la grammaire l'aide à deviner le mot suivant.

Le résultat du pré-entraînement est appelé un modèle de base. C'est un puissant moteur de langage, mais il est brut. Un modèle de base ne sait pas qu'il est censé être un assistant utile. Posez-lui une question et il pourrait simplement continuer votre phrase ou générer une liste de questions similaires, car tout ce qu'il a appris à faire, c'est de continuer le texte de manière plausible. Il possède des connaissances vastes et aucune politesse. C'est un instrument incroyablement capable à qui on n'a pas dit quel était son travail.

Comprendre cette étape est la clé la plus importante de tout cet article. Une fois que vous comprenez que le cœur de ces modèles est la prédiction du token suivant à grande échelle, leur fluidité et leurs hallucinations deviennent parfaitement logiques. Ils sont conçus pour continuer de manière plausible, pas pour dire la vérité. La vérité est quelque chose que les étapes ultérieures et votre propre ingénierie doivent ajouter.

Que faire pour maîtriser cette étape

• Intégrez l'objectif de prédiction du token suivant jusqu'à ce que vous puissiez l'expliquer à un ami en une phrase.
• Entraînez un minuscule modèle de langage sur un petit jeu de données (il existe des tutoriels pour débutants bien connus pour cela) pour ressentir la boucle par vous-même.
• Comprenez la relation entre les paramètres, les données et la puissance de calcul, et pourquoi la mise à l'échelle des trois a amélioré les modèles.
• Remarquez comment cette étape explique à la fois pourquoi les modèles sont fluides et pourquoi ils inventent des choses avec assurance.

Étape 3 : Le réglage fin supervisé (SFT) — Apprendre au modèle à être utile

Maintenant, vous prenez ce modèle de base brillant mais sans manières et vous lui apprenez quel est son travail.

Le modèle de base connaît le langage mais ne sait pas qu'il est censé répondre aux questions de manière utile. Le réglage fin supervisé, généralement abrégé en SFT (Supervised Fine-Tuning), corrige cela. Vous montrez au modèle des milliers d'exemples du comportement souhaité : une question associée à une bonne réponse, une instruction associée à une réponse correcte, un problème associé à une solution claire.

Le modèle est entraîné sur ces exemples de la même manière qu'il a été pré-entraîné, en prédisant des tokens, mais maintenant les données sont des démonstrations soignées de la façon dont un assistant utile doit répondre. Il apprend le format de l'utilité : lorsqu'on lui pose une question, produire une réponse utile plutôt que de continuer le texte ou de divaguer.

La qualité de ces exemples compte énormément, et ils sont souvent écrits ou soigneusement sélectionnés par des humains. C'est beaucoup moins de données que pour le pré-entraînement, parfois des milliers ou des dizaines de milliers d'exemples au lieu de billions de tokens, mais ce sont des données de haute qualité, délibérées et ciblées. Une quantité relativement faible d'excellentes données de démonstration transforme un modèle de base brut en quelque chose qui se comporte comme un assistant.

Après le SFT, vous avez un modèle qui est réellement utile. Il suit les instructions, répond aux questions et reste concentré sur sa tâche. Pour de nombreux usages, c'est déjà un assistant fonctionnel. Mais il n'est pas encore aussi utile, inoffensif et raffiné que les modèles que vous utilisez réellement, et c'est à cela que servent les deux dernières étapes.

Que faire pour maîtriser cette étape

• Comprenez la différence entre un modèle de base et un modèle réglé finement en lisant des exemples de la façon dont chacun répond.
• Construisez ou examinez un petit jeu de données d'instructions : des paires question-réponse qui démontrent le comportement souhaité.
• Essayez de régler finement un petit modèle ouvert sur une tâche ciblée et observez comment son comportement change.
• Remarquez à quel point la qualité des exemples de démonstration compte par rapport à leur quantité.

Étape 4 : La modélisation de la récompense — Apprendre au modèle à quoi ressemble le « bien »

C'est l'étape que la plupart des explications sautent, et c'est le cœur ingénieux de la façon dont les modèles modernes deviennent si polis.

Voici le problème auquel les laboratoires ont été confrontés. Après le SFT, un modèle donne de bonnes réponses, mais le « bien » est difficile à définir avec des exemples seuls. Pour la plupart des questions, il n'y a pas une seule réponse correcte ; il y en a des meilleures et des moins bonnes. Comment apprendre à un modèle à préférer la meilleure réponse quand on ne peut pas écrire de règle pour cela ?

La solution est élégante. Vous faites générer au modèle plusieurs réponses différentes à la même requête. Ensuite, des humains examinent ces réponses et les classent : celle-ci est meilleure que celle-là. Vous collectez un grand nombre de ces comparaisons de préférences humaines. Et ensuite, au lieu de les utiliser directement, vous entraînez un deuxième modèle, appelé modèle de récompense, dont le seul travail est d'examiner n'importe quelle réponse et de prédire comment un humain la noterait.

Pensez à ce que cela permet d'accomplir. Vous ne pouvez pas demander à des humains de noter chaque réponse que le modèle principal produit ; cela ne passerait jamais à l'échelle. Mais vous pouvez entraîner un modèle de récompense sur un échantillon de jugements humains, et vous avez maintenant un remplaçant automatisé pour la préférence humaine qui peut noter des millions de réponses. Le modèle de récompense est le pont entre « ce que les humains aiment » et « quelque chose qu'un ordinateur peut optimiser ».

Le modèle de récompense ne parle jamais aux utilisateurs. C'est un juge en coulisses. Mais c'est la clé qui déverrouille l'étape finale, car il vous donne un moyen de pousser le modèle principal vers des réponses que les humains préfèrent réellement, à une échelle qu'aucune équipe humaine ne pourrait jamais égaler.

Que faire pour maîtriser cette étape

• Comprenez pourquoi classer les réponses (celle-ci est meilleure que celle-là) est plus facile et plus évolutif que d'écrire des réponses parfaites.
• Saisissez l'idée centrale : un modèle de récompense apprend à imiter le jugement humain afin de pouvoir noter les réponses automatiquement.
• Lisez comment les données de préférence sont collectées par le biais de comparaisons humaines.
• Voyez comment cette étape connecte le désordre des goûts humains à quelque chose qu'un processus d'entraînement peut utiliser.

Étape 5 : L'apprentissage par renforcement — Polir le modèle pour en faire ce que vous utilisez

L'étape finale prend tout ce qui a été construit jusqu'à présent et affine le modèle pour en faire l'assistant utile et prudent avec lequel vous interagissez réellement.

Cette étape est généralement appelée RLHF (Reinforcement Learning from Human Feedback), soit l'apprentissage par renforcement à partir de la rétroaction humaine. Voici comment les pièces s'assemblent. Vous prenez votre modèle réglé finement de l'étape 3 et le modèle de récompense de l'étape 4. Le modèle réglé finement génère des réponses. Le modèle de récompense les note. Et le modèle réglé finement est poussé, par l'apprentissage par renforcement, à produire des réponses qui obtiennent de meilleurs scores. C'est une boucle : générer, noter, améliorer, répéter.

Parce que le modèle de récompense peut noter à l'infini, le modèle principal peut s'entraîner et s'améliorer bien au-delà de ce que des exemples humains directs pourraient jamais fournir. Au fil de nombreux cycles, il apprend à être plus utile, plus cohérent, meilleur pour suivre les nuances et meilleur pour refuser les choses qu'il ne devrait pas faire. C'est l'étape qui donne aux modèles leur finition, leur bon jugement et une grande partie de leur comportement de sécurité.

Une variante moderne qui vaut la peine d'être connue : une partie de la rétroaction humaine peut être remplacée ou complétée par une rétroaction générée selon un ensemble de principes écrits, une approche parfois appelée RLAIF ou méthodes constitutionnelles. L'esprit est le même : au lieu de compter uniquement sur les humains pour tout noter, vous augmentez la rétroaction qui façonne le comportement du modèle, guidé par des valeurs clairement énoncées.

Après cette étape, vous avez le produit fini. Un modèle fluide grâce au pré-entraînement, utile grâce au réglage fin, et raffiné et aligné grâce à l'apprentissage par renforcement. C'est à cela que vous parlez lorsque vous ouvrez ChatGPT ou Claude. Cinq étapes, chacune s'appuyant sur la précédente.

Que faire pour maîtriser cette étape

• Comprenez la boucle : le modèle génère, le modèle de récompense note, le modèle s'améliore vers des scores plus élevés.
• Saisissez pourquoi cela permet au modèle de s'entraîner bien au-delà des limites des exemples humains directs.
• Lisez la différence entre apprendre de la rétroaction humaine et apprendre de la rétroaction de l'IA guidée par des principes.
• Voyez comment cette étape finale produit l'utilité, le jugement et le comportement de sécurité que vous expérimentez en tant qu'utilisateur.

Tout le pipeline en une respiration

Laissez-moi tout rassembler pour que cela s'imprime.

Vous rassemblez et nettoyez une montagne de texte et vous la transformez en tokens. Vous entraînez un modèle à prédire le token suivant sur l'ensemble de ces données, et de cet objectif simple émerge un modèle de base qui comprend le langage mais n'a aucune politesse. Vous le réglez finement sur des exemples soignés pour qu'il apprenne à se comporter comme un assistant utile. Vous collectez des classements humains de ses réponses et entraînez un modèle de récompense à imiter le jugement humain. Et enfin, vous utilisez ce modèle de récompense pour affiner l'assistant par l'apprentissage par renforcement jusqu'à ce qu'il soit poli, utile et aligné.

Données, pré-entraînement, réglage fin, modélisation de la récompense, apprentissage par renforcement. Cinq étapes. C'est ainsi que chaque modèle de pointe est fabriqué.

La vérité honnête sur la construction de votre propre LLM

Vous n'allez pas surpasser les laboratoires de pointe depuis votre chambre, et cela n'a jamais été le but.

Le but est la compréhension. Une fois que ce pipeline est clair dans votre tête, vous cessez d'être un utilisateur passif de ces outils pour devenir quelqu'un qui raisonne à leur sujet. Vous comprenez pourquoi ils hallucinent (prédiction du token suivant). Vous comprenez pourquoi le « prompting » fonctionne (vous façonnez ce qui va être prédit). Vous comprenez pourquoi certains modèles semblent plus alignés que d'autres (la qualité des étapes quatre et cinq). Vous comprenez pourquoi vos propres données, dans vos propres expériences de réglage fin, comptent tant. Cette compréhension est la fondation sur laquelle se tiennent les constructeurs d'IA les plus capables.

Et voici la partie vraiment stimulante : vous pouvez construire une version miniature fonctionnelle de chacune de ces étapes vous-même, à petite échelle, pour apprendre. Les gens entraînent des modèles miniatures, règlent finement de petits modèles ouverts et expérimentent avec des données de préférence tout le temps. Vous ne construirez pas Claude. Mais vous pouvez construire quelque chose qui vous enseigne exactement comment Claude a été construit, et cette connaissance se cumule pour le reste de votre carrière dans ce domaine.

La plupart des gens utiliseront ces modèles pendant des années sans jamais comprendre comment ils ont été fabriqués.

Vous venez de lire tout le pipeline. Vous avez déjà une longueur d'avance sur presque tous ceux qui tapent dans ces outils chaque jour.

La seule question est de savoir si vous allez construire une petite version vous-même et transformer cette compréhension en quelque chose que vous pouvez réellement faire.

Les cinq étapes sont juste au-dessus de vous. Choisissez la première étape, et commencez.

Si vous avez trouvé cela utile, suivez-moi @eng_khairallah1 pour plus de contenu sur l'IA comme celui-ci. Je publie des analyses, des cours et des outils chaque semaine.

J'espère que cela vous a été utile, Khairallah ❤️