Come costruire il tuo LLM da zero (La pipeline in 5 fasi dietro GPT e Claude)

La maggior parte delle persone utilizza ChatGPT e Claude ogni singolo giorno senza avere la minima idea di come siano stati effettivamente costruiti.

Salva questo post :)

Un piccolo gruppo di persone comprende l'esatta pipeline che trasforma il testo grezzo di Internet in un modello in grado di scrivere, ragionare e programmare. Comprendere questa pipeline cambia per sempre il modo in cui utilizzi questi strumenti, perché finalmente vedi cosa succede "sotto il cofano" invece di considerarlo una magia.

La differenza tra questi due gruppi non è una laurea in matematica.

È un chiaro modello mentale.

Ecco la verità che quasi nessuno spiega in modo semplice: ogni modello di frontiera, GPT, Claude, tutti quanti, è costruito attraverso la stessa pipeline in cinque fasi. Le aziende differiscono per scala, dati e mille dettagli ingegneristici, ma la forma del processo è la stessa ovunque. Impara la forma e capirai come sono fatti tutti.

Lascia che imposti le aspettative con onestà prima di iniziare. Non addestrerai da zero sul tuo portatile un modello che rivaleggia con GPT o Claude. Quei modelli costano decine di milioni di dollari in potenza di calcolo e richiedono enormi team di ingegneri. Non è questo l'obiettivo. L'obiettivo è comprendere la pipeline così a fondo da poter costruire tu stesso una versione minuscola e funzionante, ragionare su come si comportano quelli grandi e smettere di esserne confuso. Quella comprensione vale molto più di quanto la maggior parte delle persone realizzi, ed è assolutamente alla portata di tutti.

Ecco le cinque fasi, in ordine, esattamente come avvengono.

Fase 1: Dati — Le fondamenta su cui tutto è costruito

Prima che ci sia un modello, c'è il testo. Una quantità enorme.

La prima fase consiste nel raccogliere e preparare i dati da cui il modello imparerà. Per un modello di frontiera, questo significa una quantità sbalorditiva di testo: una gran parte di Internet pubblico, libri, repository di codice e altro ancora. Ma il testo grezzo è disordinato, quindi gran parte del lavoro in questa fase non è la raccolta, ma la pulizia.

I dati vengono filtrati per rimuovere la spazzatura, i contenuti duplicati vengono eliminati (lo stesso paragrafo che appare mille volte distorcerebbe ciò che il modello impara) e il materiale di bassa qualità o dannoso viene scartato. Questa pulizia conta più di quanto si pensi. Vale il vecchio principio: garbage in, garbage out (spazzatura dentro, spazzatura fuori). Un modello addestrato su dati più puliti e di qualità superiore impara meglio di uno addestrato su dati più numerosi ma più disordinati. La qualità dei dati è una delle leve più importanti e meno affascinanti dell'intero settore.

Poi arriva il passaggio che sorprende i principianti: la tokenizzazione. Il modello non può leggere direttamente il testo. Il testo viene suddiviso in token, che sono blocchi grandi all'incirca quanto una parte di parola. La parola "tokenizzazione" potrebbe diventare tre o quattro token. Ogni pezzo di dati di addestramento viene convertito in questi token e, da quel momento in poi, il modello vede solo numeri che rappresentano i token, mai lettere. Ecco perché i modelli a volte contano male le lettere in una parola: non hanno mai visto le lettere, solo il token.

Il risultato di questa fase è un set di dati massiccio, pulito e tokenizzato. Non è stato ancora imparato nulla. Hai solo preparato la materia prima.

Cosa fare per imparare questa fase

• Impara cosa fa effettivamente un tokenizer eseguendo del testo attraverso di esso e osservando come si divide in token
• Prendi un piccolo set di dati testuali ed esercitati a pulirlo: rimuovendo i duplicati, filtrando la spazzatura, normalizzando il formato
• Comprendi perché la qualità dei dati batte la quantità confrontando ciò che un piccolo modello impara da dati puliti rispetto a quelli disordinati
• Leggi come i principali laboratori descrivono il loro filtraggio dei dati e nota quanto impegno viene profuso

Fase 2: Pre-addestramento — Dove il modello impara davvero il linguaggio

Questa è la fase che costa milioni, ed è dove il modello impara quasi tutto ciò che sa.

Il pre-addestramento ha un obiettivo meravigliosamente semplice: prevedere il token successivo. Al modello viene mostrata una sequenza di token e gli viene chiesto di indovinare quello successivo. Il modello indovina, l'ipotesi viene confrontata con il token successivo reale e i numeri interni del modello (i suoi parametri, spesso miliardi) vengono modificati per fare un'ipotesi migliore la volta successiva. Poi lo fa di nuovo. E ancora. Attraverso trilioni di token.

Questo è l'intero obiettivo dell'addestramento. Prevedere il token successivo, più e più volte, su scala colossale. E da quell'obiettivo assurdamente semplice, emerge qualcosa di straordinario. Per diventare bravo a prevedere il token successivo in tutto il testo umano, il modello è costretto a imparare la grammatica, i fatti, i modelli di ragionamento, la sintassi del codice e la struttura delle argomentazioni, perché tutto ciò lo aiuta a prevedere meglio. Nessuno gli ha insegnato esplicitamente la grammatica. L'ha imparata perché la grammatica aiuta a indovinare la parola successiva.

Il risultato del pre-addestramento è chiamato modello base. È un potente motore linguistico, ma è grezzo. Un modello base non sa che dovrebbe essere un assistente utile. Fagli una domanda e potrebbe semplicemente continuare la tua frase o generare un elenco di domande simili, perché tutto ciò che ha imparato a fare è continuare il testo in modo plausibile. Ha una vasta conoscenza e zero buone maniere. È uno strumento incredibilmente capace a cui non è stato detto quale lavoro deve svolgere.

Comprendere questa fase è il singolo sblocco più importante di tutto questo articolo. Una volta capito che il nucleo di questi modelli è la previsione del token successivo su scala massiccia, sia la loro fluidità che le loro allucinazioni hanno perfettamente senso. Sono costruiti per continuare in modo plausibile, non per dire la verità. La verità è qualcosa che le fasi successive e la tua ingegneria devono aggiungere.

Cosa fare per imparare questa fase

• Interiorizza l'obiettivo della previsione del token successivo finché non riesci a spiegarlo a un amico in una frase
• Addestra un minuscolo modello linguistico su un piccolo set di dati (esistono noti tutorial per principianti) per sperimentare il ciclo in prima persona
• Comprendi la relazione tra parametri, dati e potenza di calcolo, e perché scalare tutti e tre ha migliorato i modelli
• Nota come questa fase spieghi sia perché i modelli sono fluidi sia perché inventano le cose con sicurezza

Fase 3: Fine-tuning supervisionato — Insegnare al modello a essere utile

Ora prendi quel brillante modello base senza buone maniere e gli insegni quale lavoro deve svolgere.

Il modello base conosce il linguaggio ma non sa che dovrebbe rispondere alle domande in modo utile. Il fine-tuning supervisionato, solitamente abbreviato in SFT, risolve questo problema. Mostri al modello migliaia di esempi del comportamento che desideri: una domanda abbinata a una buona risposta, un'istruzione abbinata a una risposta corretta, un problema abbinato a una soluzione chiara.

Il modello viene addestrato su questi esempi nello stesso modo in cui è stato pre-addestrato, prevedendo i token, ma ora i dati sono dimostrazioni curate di come esattamente dovrebbe rispondere un assistente utile. Impara il formato dell'essere utile: quando riceve una domanda, produce una risposta utile invece di continuare il testo o divagare.

La qualità di questi esempi conta enormemente e spesso sono scritti o curati attentamente dagli esseri umani. Si tratta di molti meno dati rispetto al pre-addestramento, a volte migliaia o decine di migliaia di esempi invece di trilioni di token, ma sono di alta qualità, deliberati e mirati. Una quantità relativamente piccola di eccellenti dati dimostrativi trasforma un modello base grezzo in qualcosa che si comporta come un assistente.

Dopo l'SFT, hai un modello che è genuinamente utile. Segue le istruzioni, risponde alle domande e rimane in linea con il compito. Per molti scopi, questo è già un assistente funzionante. Ma non è ancora utile, innocuo e raffinato come i modelli che utilizzi effettivamente, ed è a questo che servono le ultime due fasi.

Cosa fare per imparare questa fase

• Comprendi la differenza tra un modello base e un modello sottoposto a fine-tuning leggendo esempi di come risponde ciascuno
• Costruisci o esamina un piccolo set di dati di istruzioni: coppie di domande e risposte che dimostrano il comportamento desiderato
• Prova a eseguire il fine-tuning di un piccolo modello open source su un compito specifico e osserva come cambia il suo comportamento
• Nota quanto la qualità degli esempi dimostrativi conti rispetto alla loro quantità

Fase 4: Modellazione della ricompensa — Insegnare a un modello com'è fatto il "bene"

Questa è la fase che la maggior parte delle spiegazioni salta, ed è il cuore ingegnoso di come i modelli moderni diventano così raffinati.

Ecco il problema che i laboratori hanno dovuto affrontare. Dopo l'SFT, un modello fornisce buone risposte, ma "buono" è difficile da definire solo con gli esempi. Per la maggior parte delle domande non esiste una sola risposta corretta; ce ne sono di migliori e di peggiori. Come insegni a un modello a preferire la risposta migliore quando non puoi scrivere una regola per questo?

La soluzione è elegante. Fai in modo che il modello generi diverse risposte alla stessa richiesta. Poi gli esseri umani guardano quelle risposte e le classificano: questa è migliore di quella. Raccogli un gran numero di questi confronti di preferenza umana. E poi, invece di usarli direttamente, addestri un secondo modello, chiamato modello di ricompensa (reward model), il cui unico compito è guardare qualsiasi risposta e prevedere come la valuterebbe un essere umano.

Pensa a cosa si ottiene. Non puoi far valutare agli esseri umani ogni risposta che il modello principale produce; non sarebbe scalabile. Ma puoi addestrare un modello di ricompensa su un campione di giudizi umani, e ora hai un sostituto automatizzato per la preferenza umana in grado di valutare milioni di risposte. Il modello di ricompensa è il ponte tra "ciò che piace agli umani" e "qualcosa che un computer può ottimizzare".

Il modello di ricompensa non parla mai con gli utenti. È un giudice dietro le quinte. Ma è la chiave che sblocca la fase finale, perché ti dà un modo per spingere il modello principale verso risposte che gli umani preferiscono davvero, su una scala che nessun team umano potrebbe mai eguagliare.

Cosa fare per imparare questa fase

• Comprendi perché classificare le risposte (questo è meglio di quello) è più facile e scalabile rispetto allo scrivere risposte perfette
• Afferra l'idea centrale: un modello di ricompensa impara a imitare il giudizio umano in modo da poter valutare le risposte automaticamente
• Leggi come vengono raccolti i dati di preferenza attraverso i confronti umani
• Vedi come questa fase collega la confusione del gusto umano a qualcosa che un processo di addestramento può utilizzare

Fase 5: Apprendimento per rinforzo — Rifinire il modello in ciò che usi

La fase finale prende tutto ciò che è stato costruito finora e raffina il modello nell'assistente utile e attento con cui interagisci effettivamente.

Questa fase è solitamente chiamata RLHF, apprendimento per rinforzo da feedback umano. Ecco come i pezzi si incastrano. Prendi il tuo modello sottoposto a fine-tuning dalla Fase 3 e il modello di ricompensa dalla Fase 4. Il modello sottoposto a fine-tuning genera risposte. Il modello di ricompensa le valuta. E il modello sottoposto a fine-tuning viene spinto, attraverso l'apprendimento per rinforzo, a produrre risposte che ottengono punteggi più alti. È un ciclo: genera, valuta, migliora, ripeti.

Poiché il modello di ricompensa può valutare all'infinito, il modello principale può esercitarsi e migliorare ben oltre ciò che gli esempi umani diretti potrebbero mai fornire. Nel corso di molti cicli, impara a essere più utile, più coerente, più bravo a seguire le sfumature e più bravo a rifiutare cose che non dovrebbe fare. Questa è la fase che conferisce ai modelli la loro raffinatezza, il loro buon senso e gran parte del loro comportamento di sicurezza.

Una variante moderna che vale la pena conoscere: parte del feedback umano può essere sostituita o integrata con feedback generato secondo una serie di principi scritti, un approccio talvolta chiamato RLAIF o metodi costituzionali. Lo spirito è lo stesso: invece di fare affidamento esclusivamente sugli esseri umani per valutare tutto, aumenti il feedback che modella il comportamento del modello, guidato da valori chiaramente dichiarati.

Dopo questa fase, hai il prodotto finito. Un modello fluido grazie al pre-addestramento, utile grazie al fine-tuning, e raffinato e allineato grazie all'apprendimento per rinforzo. È con questo che stai parlando quando apri ChatGPT o Claude. Cinque fasi, ognuna basata sulla precedente.

Cosa fare per imparare questa fase

• Comprendi il ciclo: il modello genera, il modello di ricompensa valuta, il modello migliora verso punteggi più alti
• Afferra perché questo permette al modello di esercitarsi ben oltre i limiti degli esempi umani diretti
• Leggi la differenza tra imparare dal feedback umano e imparare dal feedback dell'IA guidato da principi
• Vedi come questa fase finale produce l'utilità, il giudizio e il comportamento di sicurezza che sperimenti come utente

L'intera pipeline in un solo respiro

Lascia che metta tutto insieme in modo che si fissi bene.

Raccogli e pulisci una montagna di testo e la trasformi in token. Addestri un modello a prevedere il token successivo su tutto quel materiale, e da quell'obiettivo semplice emerge un modello base che comprende il linguaggio ma non ha buone maniere. Lo sottoponi a fine-tuning su esempi curati in modo che impari a comportarsi come un assistente utile. Raccogli le classifiche umane delle sue risposte e addestri un modello di ricompensa per imitare il giudizio umano. E infine usi quel modello di ricompensa per raffinare l'assistente attraverso l'apprendimento per rinforzo finché non è raffinato, utile e allineato.

Dati, pre-addestramento, fine-tuning, modellazione della ricompensa, apprendimento per rinforzo. Cinque fasi. Ecco come viene creato ogni modello di frontiera.

La verità onesta sulla costruzione del tuo LLM

Non supererai i laboratori di frontiera dalla tua camera da letto, e non è mai stato questo il punto.

Il punto è la comprensione. Una volta che questa pipeline è chiara nella tua testa, smetti di essere un utente passivo di questi strumenti e inizi a essere qualcuno che ragiona su di essi. Capisci perché hanno allucinazioni (previsione del token successivo). Capisci perché il prompting funziona (stai modellando ciò che viene previsto). Capisci perché alcuni modelli sembrano più allineati di altri (la qualità delle fasi quattro e cinque). Capisci perché i tuoi dati, nei tuoi esperimenti di fine-tuning, contano così tanto. Questa comprensione è la base su cui poggiano i costruttori di IA più capaci.

Ed ecco la parte genuinamente stimolante: puoi costruire tu stesso una minuscola versione funzionante di ognuna di queste fasi, su piccola scala, per imparare. Le persone addestrano modelli in miniatura, eseguono il fine-tuning di piccoli modelli open source e sperimentano con i dati di preferenza tutto il tempo. Non costruirai Claude. Ma puoi costruire qualcosa che ti insegni esattamente come è stato costruito Claude, e quella conoscenza si accumulerà per il resto della tua carriera in questo campo.

La maggior parte delle persone userà questi modelli per anni senza mai capire come sono stati fatti.

Hai appena letto l'intera pipeline. Sei già avanti rispetto a quasi tutti coloro che digitano in questi strumenti ogni giorno.

L'unica domanda è se costruirai tu stesso una piccola versione e trasformerai la comprensione in qualcosa che puoi effettivamente fare.

Le cinque fasi sono proprio sopra di te. Scegli la fase uno e inizia.

Se hai trovato utile questo post, seguimi @eng_khairallah1 per altri contenuti sull'IA come questo. Pubblico analisi, corsi e strumenti ogni settimana.

spero che questo ti sia stato utile, Khairallah ❤️