A maioria das pessoas usa o ChatGPT e o Claude todos os dias e não faz ideia de como eles foram realmente construídos.
Salve isso :)
Um pequeno grupo de pessoas entende o pipeline exato que transforma texto bruto da internet em um modelo capaz de escrever, raciocinar e programar. E entender esse pipeline muda para sempre a forma como você usa essas ferramentas, porque você finalmente vê o que está acontecendo por trás das câmeras, em vez de tratar tudo como mágica.
A diferença entre esses dois grupos não é um diploma em matemática.
É um modelo mental claro.
Aqui está a verdade que quase ninguém explica de forma simples: todo modelo de fronteira, GPT, Claude, todos eles, é construído através do mesmo pipeline de cinco estágios. As empresas diferem em escala, dados e mil detalhes de engenharia, mas a forma do processo é a mesma em todos os lugares. Aprenda a forma e você entenderá como todos eles são feitos.
Deixe-me alinhar as expectativas honestamente antes de começarmos. Você não vai treinar um modelo que rivalize com o GPT ou o Claude do zero no seu laptop. Esses modelos custam dezenas de milhões de dólares em processamento e exigem equipes de engenharia enormes. Esse não é o objetivo aqui. O objetivo é entender o pipeline tão profundamente que você possa construir uma versão minúscula e funcional por conta própria, raciocinar sobre como os grandes se comportam e parar de se sentir confuso com tudo isso. Esse entendimento vale muito mais do que a maioria das pessoas imagina, e está completamente ao seu alcance.
Aqui estão os cinco estágios, em ordem, exatamente como acontecem.
Estágio 1: Dados — A base sobre a qual tudo é construído
Antes de existir um modelo, existe o texto. Uma quantidade enorme dele.
O primeiro estágio é coletar e preparar os dados com os quais o modelo aprenderá. Para um modelo de fronteira, isso significa uma quantidade impressionante de texto: uma grande fração da internet pública, livros, repositórios de código e muito mais. Mas o texto bruto é bagunçado, então a maior parte do trabalho neste estágio não é coletar, é limpar.
Os dados são filtrados para remover lixo, conteúdo duplicado é descartado (o mesmo parágrafo aparecendo mil vezes distorceria o que o modelo aprende) e material de baixa qualidade ou prejudicial é filtrado. Essa limpeza importa mais do que as pessoas pensam. O velho princípio se mantém: lixo entra, lixo sai. Um modelo treinado com dados mais limpos e de maior qualidade aprende melhor do que um treinado com mais dados, porém mais bagunçados. A qualidade dos dados é uma das alavancas mais importantes e menos glamorosas de todo o campo.
Depois vem o passo que surpreende os iniciantes: tokenização. O modelo não consegue ler texto diretamente. O texto é quebrado em tokens, que são pedaços aproximadamente do tamanho de uma parte de uma palavra. A palavra "tokenização" pode se tornar três ou quatro tokens. Cada pedaço de dados de treinamento é convertido nesses tokens e, a partir desse ponto, o modelo só vê números representando tokens, nunca letras. É por isso que os modelos às vezes contam errado as letras de uma palavra: eles nunca viram as letras, apenas o token.
O resultado deste estágio é um conjunto de dados massivo, limpo e tokenizado. Nada foi aprendido ainda. Você apenas preparou a matéria-prima.
O que fazer para aprender este estágio
- Aprenda o que um tokenizador realmente faz, executando um texto através dele e observando-o ser dividido em tokens
- Pegue um pequeno conjunto de dados de texto e pratique a limpeza: removendo duplicatas, filtrando lixo, normalizando o formato
- Entenda por que a qualidade dos dados supera a quantidade de dados, comparando o que um modelo pequeno aprende com dados limpos versus dados bagunçados
- Leia sobre como os grandes laboratórios descrevem sua filtragem de dados e observe quanto esforço é dedicado a isso
Estágio 2: Pré-treinamento — Onde o modelo realmente aprende o idioma
Este é o estágio que custa milhões, e é onde o modelo aprende quase tudo o que sabe.
O pré-treinamento tem um objetivo maravilhosamente simples: prever o próximo token. O modelo recebe uma sequência de tokens e é solicitado a adivinhar o próximo. Ele adivinha, o palpite é comparado ao próximo token real e os números internos do modelo (seus parâmetros, muitas vezes bilhões deles) são ajustados para fazer um palpite melhor na próxima vez. Então ele faz isso de novo. E de novo. Através de trilhões de tokens.
Esse é todo o objetivo do treinamento. Prever o próximo token, repetidamente, em uma escala colossal. E desse objetivo absurdamente simples, algo notável emerge. Para ficar bom em prever o próximo token em todo o texto humano, o modelo é forçado a aprender gramática, fatos, padrões de raciocínio, sintaxe de código e a estrutura de argumentos, porque tudo isso o ajuda a prever melhor. Ninguém ensinou gramática explicitamente a ele. Ele aprendeu gramática porque a gramática ajuda a adivinhar a próxima palavra.
O resultado do pré-treinamento é chamado de modelo base. É um poderoso motor de linguagem, mas é bruto. Um modelo base não sabe que deveria ser um assistente útil. Faça uma pergunta a ele e ele pode simplesmente continuar sua frase ou gerar uma lista de perguntas semelhantes, porque tudo o que ele aprendeu a fazer é continuar o texto de forma plausível. Ele tem vasto conhecimento e zero modos. É um instrumento incrivelmente capaz que não foi instruído sobre qual é o seu trabalho.
Entender este estágio é a maior chave de todo este artigo. Uma vez que você entende que o núcleo desses modelos é a previsão do próximo token em escala massiva, sua fluência e suas alucinações fazem todo o sentido. Eles são construídos para continuar de forma plausível, não para dizer a verdade. A verdade é algo que os estágios posteriores e sua própria engenharia precisam adicionar.
O que fazer para aprender este estágio
- Internalize o objetivo de previsão do próximo token até que você consiga explicá-lo a um amigo em uma frase
- Treine um modelo de linguagem minúsculo em um pequeno conjunto de dados (existem tutoriais para iniciantes bem conhecidos para isso) para sentir o ciclo em primeira mão
- Entenda a relação entre parâmetros, dados e processamento, e por que escalar os três melhorou os modelos
- Observe como este estágio explica tanto por que os modelos são fluentes quanto por que eles inventam coisas com confiança
Estágio 3: Ajuste Fino Supervisionado — Ensinando o modelo a ser útil
Agora você pega aquele modelo base brilhante e sem modos e ensina a ele qual é o seu trabalho.
O modelo base conhece o idioma, mas não sabe que deveria responder perguntas de forma útil. O ajuste fino supervisionado, geralmente abreviado como SFT, corrige isso. Você mostra ao modelo milhares de exemplos do comportamento que deseja: uma pergunta acompanhada de uma boa resposta, uma instrução acompanhada de uma resposta correta, um problema acompanhado de uma solução clara.
O modelo é treinado nesses exemplos da mesma forma que foi pré-treinado, prevendo tokens, mas agora os dados são demonstrações curadas de exatamente como um assistente útil deve responder. Ele aprende o formato de ser útil: quando recebe uma pergunta, produz uma resposta útil em vez de continuar o texto ou divagar.
A qualidade desses exemplos importa enormemente, e eles são frequentemente escritos ou cuidadosamente curados por humanos. Isso é muito menos dados do que o pré-treinamento, às vezes milhares ou dezenas de milhares de exemplos em vez de trilhões de tokens, mas é de alta qualidade, deliberado e direcionado. Uma quantidade relativamente pequena de excelentes dados de demonstração transforma um modelo base bruto em algo que se comporta como um assistente.
Após o SFT, você tem um modelo que é genuinamente útil. Ele segue instruções, responde perguntas e mantém o foco na tarefa. Para muitos propósitos, isso já é um assistente funcional. Mas ele ainda não é tão útil, inofensivo e refinado quanto os modelos que você realmente usa, e é para isso que servem os dois últimos estágios.
O que fazer para aprender este estágio
- Entenda a diferença entre um modelo base e um modelo ajustado lendo exemplos de como cada um responde
- Construa ou examine um pequeno conjunto de dados de instrução: pares de perguntas e respostas que demonstram o comportamento que você deseja
- Tente ajustar um pequeno modelo aberto em uma tarefa focada e observe seu comportamento mudar
- Observe o quanto a qualidade dos exemplos de demonstração importa em comparação com a quantidade deles
Estágio 4: Modelagem de Recompensa — Ensinando ao modelo como é um "bom" resultado
Este é o estágio que a maioria das explicações pula, e é o coração inteligente de como os modelos modernos se tornam tão polidos.
Aqui está o problema que os laboratórios enfrentaram. Após o SFT, um modelo dá boas respostas, mas "bom" é difícil de definir apenas com exemplos. Para a maioria das perguntas, não existe uma resposta correta; existem melhores e piores. Como você ensina um modelo a preferir a melhor resposta quando não consegue escrever uma regra para isso?
A solução é elegante. Você faz o modelo gerar várias respostas diferentes para o mesmo prompt. Então, humanos olham para essas respostas e as classificam: esta é melhor do que aquela. Você coleta um grande número dessas comparações de preferência humana. E então, em vez de usá-las diretamente, você treina um segundo modelo, chamado de modelo de recompensa, cujo único trabalho é olhar para qualquer resposta e prever como um humano a avaliaria.
Pense no que isso realiza. Você não pode ter humanos avaliando cada resposta que o modelo principal produz; isso nunca seria escalável. Mas você pode treinar um modelo de recompensa em uma amostra de julgamentos humanos, e agora você tem um substituto automatizado para a preferência humana que pode pontuar milhões de respostas. O modelo de recompensa é a ponte entre "o que os humanos gostam" e "algo que um computador pode otimizar".
O modelo de recompensa nunca fala com os usuários. Ele é um juiz de bastidores. Mas é a chave que desbloqueia o estágio final, porque lhe dá uma maneira de empurrar o modelo principal para respostas que os humanos realmente preferem, em uma escala que nenhuma equipe humana jamais poderia igualar.
O que fazer para aprender este estágio
- Entenda por que classificar respostas (isto é melhor do que aquilo) é mais fácil e mais escalável do que escrever respostas perfeitas
- Compreenda a ideia central: um modelo de recompensa aprende a imitar o julgamento humano para que possa pontuar respostas automaticamente
- Leia sobre como os dados de preferência são coletados através de comparações humanas
- Veja como este estágio conecta a bagunça do gosto humano a algo que um processo de treinamento pode usar
Estágio 5: Aprendizado por Reforço — Polindo o modelo para o que você usa
O estágio final pega tudo o que foi construído até agora e refina o modelo no assistente útil e cuidadoso com o qual você realmente interage.
Este estágio é geralmente chamado de RLHF, aprendizado por reforço a partir de feedback humano. Veja como as peças se encaixam. Você pega seu modelo ajustado do Estágio 3 e o modelo de recompensa do Estágio 4. O modelo ajustado gera respostas. O modelo de recompensa as pontua. E o modelo ajustado é impulsionado, através de aprendizado por reforço, a produzir respostas que pontuam mais alto. É um ciclo: gerar, pontuar, melhorar, repetir.
Como o modelo de recompensa pode pontuar infinitamente, o modelo principal pode praticar e melhorar muito além do que exemplos humanos diretos poderiam fornecer. Ao longo de muitas rodadas, ele aprende a ser mais útil, mais coerente, melhor em seguir nuances e melhor em recusar coisas que não deveria fazer. Este é o estágio que dá aos modelos seu polimento, seu bom senso e muito de seu comportamento de segurança.
Uma variação moderna que vale a pena conhecer: parte do feedback humano pode ser substituída ou complementada com feedback gerado de acordo com um conjunto escrito de princípios, uma abordagem às vezes chamada de RLAIF ou métodos constitucionais. O espírito é o mesmo: em vez de confiar apenas em humanos para avaliar tudo, você escala o feedback que molda o comportamento do modelo, guiado por valores claramente declarados.
Após este estágio, você tem o produto final. Um modelo que é fluente a partir do pré-treinamento, útil a partir do ajuste fino, e refinado e alinhado a partir do aprendizado por reforço. É com isso que você está falando quando abre o ChatGPT ou o Claude. Cinco estágios, cada um construindo sobre o anterior.
O que fazer para aprender este estágio
- Entenda o ciclo: o modelo gera, o modelo de recompensa pontua, o modelo melhora em direção a pontuações mais altas
- Compreenda por que isso permite que o modelo pratique muito além dos limites dos exemplos humanos diretos
- Leia sobre a diferença entre aprender com feedback humano e aprender com feedback de IA guiado por princípios
- Veja como este estágio final produz a utilidade, o julgamento e o comportamento de segurança que você experimenta como usuário
Todo o pipeline em uma respiração
Deixe-me reunir tudo para que fique claro.
Você coleta e limpa uma montanha de texto e a transforma em tokens. Você treina um modelo para prever o próximo token em tudo isso, e desse objetivo simples emerge um modelo base que entende o idioma, mas não tem modos. Você o ajusta em exemplos curados para que ele aprenda a se comportar como um assistente útil. Você coleta classificações humanas de suas respostas e treina um modelo de recompensa para imitar o julgamento humano. E, finalmente, você usa esse modelo de recompensa para refinar o assistente através de aprendizado por reforço até que ele esteja polido, útil e alinhado.
Dados, pré-treinamento, ajuste fino, modelagem de recompensa, aprendizado por reforço. Cinco estágios. É assim que todo modelo de fronteira é feito.
A verdade honesta sobre construir seu próprio LLM
Você não vai superar os laboratórios de fronteira do seu quarto, e esse nunca foi o ponto.
O ponto é o entendimento. Uma vez que esse pipeline está claro em sua cabeça, você deixa de ser um usuário passivo dessas ferramentas e começa a ser alguém que raciocina sobre elas. Você entende por que eles alucinam (previsão do próximo token). Você entende por que o prompting funciona (você está moldando o que será previsto). Você entende por que alguns modelos parecem mais alinhados do que outros (a qualidade dos estágios quatro e cinco). Você entende por que seus próprios dados, em seus próprios experimentos de ajuste fino, importam tanto. Esse entendimento é a base sobre a qual os construtores de IA mais capazes estão apoiados.
E aqui está a parte genuinamente empoderadora: você pode construir uma versão minúscula e funcional de cada um desses estágios por conta própria, em pequena escala, para aprender. As pessoas treinam modelos em miniatura, ajustam pequenos modelos abertos e experimentam com dados de preferência o tempo todo. Você não vai construir o Claude. Mas você pode construir algo que lhe ensine exatamente como o Claude foi construído, e esse conhecimento se acumula pelo resto da sua carreira neste campo.
A maioria das pessoas usará esses modelos por anos e nunca entenderá como eles foram feitos.
Você acabou de ler todo o pipeline. Você já está à frente de quase todos que digitam nessas ferramentas todos os dias.
A única pergunta é se você vai construir uma pequena versão por conta própria e transformar o entendimento em algo que você realmente pode fazer.
Os cinco estágios estão logo acima de você. Escolha o estágio um e comece.
Se você achou isso útil, siga-me @eng_khairallah1 para mais conteúdo de IA como este. Eu posto análises, cursos e ferramentas toda semana.
espero que isso tenha sido útil para você, Khairallah ❤️
