La mayoría de las personas usan ChatGPT y Claude todos los días y no tienen idea de cómo fueron construidos realmente.
Guarda esto :)
Un pequeño grupo de personas entiende la tubería (pipeline) exacta que convierte el texto crudo de internet en un modelo que puede escribir, razonar y programar. Y entender esa tubería cambia para siempre la forma en que usas estas herramientas, porque finalmente ves lo que sucede bajo el capó en lugar de tratarlo como si fuera magia.
La diferencia entre esos dos grupos no es un título en matemáticas.
Es un modelo mental claro.
Aquí está la verdad que casi nadie explica de forma sencilla: cada modelo de frontera, GPT, Claude, todos ellos, están construidos a través de la misma tubería de cinco etapas. Las empresas difieren en escala, datos y mil detalles de ingeniería, pero la forma del proceso es la misma en todas partes. Aprende la forma y entenderás cómo se hacen todos ellos.
Permíteme establecer expectativas honestas antes de comenzar. No vas a entrenar un modelo que compita con GPT o Claude desde cero en tu computadora portátil. Esos modelos cuestan decenas de millones de dólares en cómputo y requieren enormes equipos de ingeniería. Ese no es el objetivo aquí. El objetivo es entender la tubería tan profundamente que podrías construir una versión pequeña y funcional tú mismo, razonar sobre cómo se comportan los grandes y dejar de sentirte desconcertado por todo esto. Ese entendimiento vale mucho más de lo que la mayoría de la gente cree, y está completamente a tu alcance.
Aquí están las cinco etapas, en orden, exactamente como suceden.
Etapa 1: Datos — La base sobre la que todo está construido
Antes de que exista un modelo, hay texto. Una cantidad enorme de él.
La primera etapa es recopilar y preparar los datos de los que aprenderá el modelo. Para un modelo de frontera, esto significa una cantidad asombrosa de texto: una gran fracción de la internet pública, libros, repositorios de código y más. Pero el texto crudo es desordenado, así que la mayor parte del trabajo en esta etapa no es recopilar, sino limpiar.
Los datos se filtran para eliminar basura, se elimina el contenido duplicado (el mismo párrafo apareciendo mil veces distorsionaría lo que el modelo aprende) y se filtra el material de baja calidad o dañino. Esta limpieza importa más de lo que la gente piensa. Se mantiene el viejo principio: entra basura, sale basura. Un modelo entrenado con datos más limpios y de mayor calidad aprende mejor que uno entrenado con más datos, pero más desordenados. La calidad de los datos es una de las palancas más importantes y menos glamorosas en todo el campo.
Luego viene el paso que sorprende a los principiantes: tokenización. El modelo no puede leer texto directamente. El texto se divide en tokens, que son fragmentos aproximadamente del tamaño de una parte de una palabra. La palabra "tokenización" podría convertirse en tres o cuatro tokens. Cada pieza de datos de entrenamiento se convierte en estos tokens, y a partir de ese momento el modelo solo ve números que representan tokens, nunca letras. Es por esto que los modelos a veces cuentan mal las letras de una palabra: nunca vieron las letras, solo el token.
El resultado de esta etapa es un conjunto de datos masivo, limpio y tokenizado. Todavía no se ha aprendido nada. Solo has preparado la materia prima.
Qué hacer para aprender esta etapa
- Aprende qué hace realmente un tokenizador ejecutando texto a través de uno y observando cómo se divide en tokens.
- Toma un pequeño conjunto de datos de texto y practica limpiándolo: eliminando duplicados, filtrando basura, normalizando el formato.
- Entiende por qué la calidad de los datos supera a la cantidad comparando lo que un modelo pequeño aprende de datos limpios frente a datos desordenados.
- Lee sobre cómo los principales laboratorios describen su filtrado de datos y nota cuánto esfuerzo se dedica a ello.
Etapa 2: Preentrenamiento — Donde el modelo realmente aprende el lenguaje
Esta es la etapa que cuesta millones, y es donde el modelo aprende casi todo lo que sabe.
El preentrenamiento tiene un objetivo maravillosamente simple: predecir el siguiente token. Al modelo se le muestra una secuencia de tokens y se le pide que adivine el siguiente. Adivina, la suposición se compara con el siguiente token real, y los números internos del modelo (sus parámetros, a menudo miles de millones de ellos) se ajustan para hacer una mejor suposición la próxima vez. Luego hace esto de nuevo. Y otra vez. A través de billones de tokens.
Ese es todo el objetivo del entrenamiento. Predecir el siguiente token, una y otra vez, a una escala colosal. Y de ese objetivo absurdamente simple, emerge algo notable. Para volverse bueno prediciendo el siguiente token en todo el texto humano, el modelo se ve obligado a aprender gramática, hechos, patrones de razonamiento, sintaxis de código y la estructura de los argumentos, porque todo eso le ayuda a predecir mejor. Nadie le enseñó gramática explícitamente. Aprendió gramática porque la gramática le ayuda a adivinar la siguiente palabra.
El resultado del preentrenamiento se llama modelo base. Es un motor de lenguaje potente, pero está crudo. Un modelo base no sabe que se supone que debe ser un asistente útil. Hazle una pregunta y podría simplemente continuar tu oración, o generar una lista de preguntas similares, porque todo lo que aprendió a hacer es continuar texto de manera plausible. Tiene un vasto conocimiento y cero modales. Es un instrumento increíblemente capaz al que no se le ha dicho qué trabajo tiene.
Entender esta etapa es el mayor desbloqueo en todo este artículo. Una vez que entiendes que el núcleo de estos modelos es la predicción del siguiente token a gran escala, tanto su fluidez como sus alucinaciones cobran perfecto sentido. Están construidos para continuar de manera plausible, no para decir la verdad. La verdad es algo que las etapas posteriores y tu propia ingeniería tienen que añadir.
Qué hacer para aprender esta etapa
- Interioriza el objetivo de predicción del siguiente token hasta que puedas explicárselo a un amigo en una oración.
- Entrena un modelo de lenguaje diminuto en un conjunto de datos pequeño (hay tutoriales para principiantes muy conocidos para esto) para sentir el ciclo de primera mano.
- Entiende la relación entre parámetros, datos y cómputo, y por qué escalar los tres mejoró los modelos.
- Nota cómo esta etapa explica tanto por qué los modelos son fluidos como por qué inventan cosas con confianza.
Etapa 3: Ajuste fino supervisado (SFT) — Enseñando al modelo a ser útil
Ahora tomas ese modelo base brillante y sin modales y le enseñas qué trabajo tiene.
El modelo base conoce el lenguaje pero no sabe que se supone que debe responder preguntas de manera útil. El ajuste fino supervisado, generalmente abreviado como SFT, soluciona eso. Le muestras al modelo miles de ejemplos del comportamiento que deseas: una pregunta emparejada con una buena respuesta, una instrucción emparejada con una respuesta correcta, un problema emparejado con una solución clara.
El modelo se entrena con estos ejemplos de la misma manera que se preentrenó, prediciendo tokens, pero ahora los datos son demostraciones curadas de exactamente cómo debería responder un asistente útil. Aprende el formato de ser útil: cuando se le da una pregunta, produce una respuesta útil en lugar de continuar el texto o divagar.
La calidad de estos ejemplos importa enormemente, y a menudo son escritos o cuidadosamente curados por humanos. Estos son muchos menos datos que en el preentrenamiento, a veces miles o decenas de miles de ejemplos en lugar de billones de tokens, pero son de alta calidad, deliberados y específicos. Una cantidad relativamente pequeña de excelentes datos de demostración transforma un modelo base crudo en algo que se comporta como un asistente.
Después del SFT, tienes un modelo que es genuinamente útil. Sigue instrucciones, responde preguntas y se mantiene en la tarea. Para muchos propósitos, esto ya es un asistente funcional. Pero aún no es tan útil, inofensivo y refinado como los modelos que realmente usas, y para eso son las dos últimas etapas.
Qué hacer para aprender esta etapa
- Entiende la diferencia entre un modelo base y un modelo ajustado leyendo ejemplos de cómo responde cada uno.
- Construye o examina un pequeño conjunto de datos de instrucciones: pares de preguntas y respuestas que demuestren el comportamiento que deseas.
- Intenta ajustar un modelo abierto pequeño en una tarea enfocada y observa cómo cambia su comportamiento.
- Nota cuánto importa la calidad de los ejemplos de demostración en comparación con su cantidad.
Etapa 4: Modelado de recompensa — Enseñando a un modelo cómo se ve lo "bueno"
Esta es la etapa que la mayoría de las explicaciones omiten, y es el corazón inteligente de cómo los modelos modernos se vuelven tan pulidos.
Aquí está el problema que enfrentaron los laboratorios. Después del SFT, un modelo da buenas respuestas, pero lo "bueno" es difícil de definir solo con ejemplos. Para la mayoría de las preguntas no hay una respuesta correcta; hay mejores y peores. ¿Cómo le enseñas a un modelo a preferir la mejor respuesta cuando no puedes escribir una regla para ello?
La solución es elegante. Haces que el modelo genere varias respuestas diferentes a la misma instrucción (prompt). Luego, los humanos miran esas respuestas y las clasifican: esta es mejor que aquella. Recopilas una gran cantidad de estas comparaciones de preferencias humanas. Y luego, en lugar de usarlas directamente, entrenas un segundo modelo, llamado modelo de recompensa, cuyo único trabajo es mirar cualquier respuesta y predecir cómo la calificaría un humano.
Piensa en lo que eso logra. No puedes hacer que los humanos califiquen cada respuesta que produce el modelo principal; eso nunca escalaría. Pero puedes entrenar un modelo de recompensa con una muestra de juicios humanos, y ahora tienes un sustituto automatizado para la preferencia humana que puede calificar millones de respuestas. El modelo de recompensa es el puente entre "lo que les gusta a los humanos" y "algo contra lo que una computadora puede optimizar".
El modelo de recompensa nunca habla con los usuarios. Es un juez detrás de escena. Pero es la clave que desbloquea la etapa final, porque te da una forma de empujar al modelo principal hacia respuestas que los humanos realmente prefieren, a una escala que ningún equipo humano podría igualar.
Qué hacer para aprender esta etapa
- Entiende por qué clasificar respuestas (esto es mejor que aquello) es más fácil y escalable que escribir respuestas perfectas.
- Comprende la idea central: un modelo de recompensa aprende a imitar el juicio humano para poder calificar respuestas automáticamente.
- Lee sobre cómo se recopilan los datos de preferencia a través de comparaciones humanas.
- Mira cómo esta etapa conecta el desorden del gusto humano con algo que un proceso de entrenamiento puede usar.
Etapa 5: Aprendizaje por refuerzo — Pulir el modelo hasta convertirlo en lo que usas
La etapa final toma todo lo construido hasta ahora y refina el modelo hasta convertirlo en el asistente útil y cuidadoso con el que realmente interactúas.
Esta etapa generalmente se llama RLHF, aprendizaje por refuerzo a partir de retroalimentación humana. Así es como encajan las piezas. Tomas tu modelo ajustado de la Etapa 3 y el modelo de recompensa de la Etapa 4. El modelo ajustado genera respuestas. El modelo de recompensa las califica. Y el modelo ajustado es empujado, a través del aprendizaje por refuerzo, a producir respuestas que obtengan una puntuación más alta. Es un ciclo: generar, calificar, mejorar, repetir.
Debido a que el modelo de recompensa puede calificar sin cesar, el modelo principal puede practicar y mejorar mucho más allá de lo que los ejemplos humanos directos podrían proporcionar. A lo largo de muchas rondas, aprende a ser más útil, más coherente, mejor para seguir matices y mejor para rechazar cosas que no debería hacer. Esta es la etapa que les da a los modelos su pulido, su buen juicio y gran parte de su comportamiento de seguridad.
Una variación moderna que vale la pena conocer: parte de la retroalimentación humana puede ser reemplazada o complementada con retroalimentación generada de acuerdo con un conjunto escrito de principios, un enfoque a veces llamado RLAIF o métodos constitucionales. El espíritu es el mismo: en lugar de depender únicamente de los humanos para calificar todo, escalas la retroalimentación que da forma al comportamiento del modelo, guiado por valores claramente establecidos.
Después de esta etapa, tienes el producto terminado. Un modelo que es fluido gracias al preentrenamiento, útil gracias al ajuste fino, y refinado y alineado gracias al aprendizaje por refuerzo. Con esto es con lo que estás hablando cuando abres ChatGPT o Claude. Cinco etapas, cada una construida sobre la anterior.
Qué hacer para aprender esta etapa
- Entiende el ciclo: el modelo genera, el modelo de recompensa califica, el modelo mejora hacia puntuaciones más altas.
- Comprende por qué esto permite que el modelo practique mucho más allá de los límites de los ejemplos humanos directos.
- Lee sobre la diferencia entre aprender de la retroalimentación humana y aprender de la retroalimentación de IA guiada por principios.
- Mira cómo esta etapa final produce la utilidad, el juicio y el comportamiento de seguridad que experimentas como usuario.
Toda la tubería en un solo aliento
Déjame ponerlo todo junto para que quede claro.
Recopilas y limpias una montaña de texto y la conviertes en tokens. Entrenas a un modelo para predecir el siguiente token en todo ello, y de ese objetivo simple emerge un modelo base que entiende el lenguaje pero no tiene modales. Lo ajustas con ejemplos curados para que aprenda a comportarse como un asistente útil. Recopilas clasificaciones humanas de sus respuestas y entrenas un modelo de recompensa para imitar el juicio humano. Y finalmente usas ese modelo de recompensa para refinar al asistente a través del aprendizaje por refuerzo hasta que esté pulido, sea útil y esté alineado.
Datos, preentrenamiento, ajuste fino, modelado de recompensa, aprendizaje por refuerzo. Cinco etapas. Así es como se hace cada modelo de frontera.
La verdad honesta sobre construir tu propio LLM
No vas a superar a los laboratorios de frontera desde tu habitación, y ese nunca fue el punto.
El punto es el entendimiento. Una vez que esta tubería está clara en tu cabeza, dejas de ser un usuario pasivo de estas herramientas y comienzas a ser alguien que razona sobre ellas. Entiendes por qué alucinan (predicción del siguiente token). Entiendes por qué funciona el prompting (estás dando forma a lo que se predice). Entiendes por qué algunos modelos se sienten más alineados que otros (la calidad de las etapas cuatro y cinco). Entiendes por qué tus propios datos, en tus propios experimentos de ajuste fino, importan tanto. Este entendimiento es la base sobre la que se encuentran los constructores de IA más capaces.
Y aquí está la parte genuinamente empoderadora: puedes construir una versión pequeña y funcional de cada una de estas etapas tú mismo, a pequeña escala, para aprender. La gente entrena modelos en miniatura, ajusta pequeños modelos abiertos y experimenta con datos de preferencia todo el tiempo. No construirás Claude. Pero puedes construir algo que te enseñe exactamente cómo se construyó Claude, y ese conocimiento se acumula durante el resto de tu carrera en este campo.
La mayoría de las personas usarán estos modelos durante años y nunca entenderán cómo fueron hechos.
Acabas de leer toda la tubería. Ya estás por delante de casi todos los que escriben en estas herramientas todos los días.
La única pregunta es si tú mismo construirás una versión pequeña y convertirás el entendimiento en algo que realmente puedas hacer.
Las cinco etapas están justo encima de ti. Elige la etapa uno y comienza.
Si encontraste esto útil, sígueme @eng_khairallah1 para más contenido de IA como este. Publico desgloses, cursos y herramientas cada semana.
espero que esto te haya sido útil, Khairallah ❤️
