La mayoría de las personas usa ChatGPT y Claude todos los días y no tiene idea de cómo fueron construidos realmente.
Guarda esto :)
Un pequeño grupo de personas entiende el proceso exacto que convierte el texto sin procesar de internet en un modelo capaz de escribir, razonar y programar. Y entender ese proceso cambia para siempre la forma en que usas estas herramientas, porque finalmente ves lo que sucede detrás de escena en lugar de tratarlo como si fuera magia.
La diferencia entre esos dos grupos no es un título en matemáticas.
Es un modelo mental claro.
Aquí está la verdad que casi nadie explica de forma sencilla: cada modelo de frontera, GPT, Claude, todos ellos, están construidos a través del mismo proceso de cinco etapas. Las empresas difieren en escala, datos y miles de detalles de ingeniería, pero la forma del proceso es la misma en todas partes. Aprende la forma y entenderás cómo se hacen todos.
Permíteme establecer expectativas honestas antes de comenzar. No vas a entrenar un modelo que rivalice con GPT o Claude desde cero en tu laptop. Esos modelos cuestan decenas de millones de dólares en cómputo y requieren equipos de ingeniería enormes. Ese no es el objetivo aquí. El objetivo es entender el proceso tan profundamente que puedas construir una versión pequeña y funcional tú mismo, razonar sobre cómo se comportan los grandes y dejar de sentirte desconcertado por todo esto. Esa comprensión vale mucho más de lo que la mayoría de la gente cree, y está completamente a tu alcance.
Aquí están las cinco etapas, en orden, exactamente como ocurren.
Etapa 1: Datos — La base sobre la que todo está construido
Antes de que exista un modelo, hay texto. Una cantidad enorme de él.
La primera etapa es recopilar y preparar los datos de los que aprenderá el modelo. Para un modelo de frontera, esto significa una cantidad asombrosa de texto: una gran parte de internet público, libros, repositorios de código y más. Pero el texto sin procesar es desordenado, así que la mayor parte del trabajo en esta etapa no es recopilar, sino limpiar.
Los datos se filtran para eliminar basura, se elimina el contenido duplicado (el mismo párrafo apareciendo mil veces distorsionaría lo que aprende el modelo) y se filtra el material de baja calidad o dañino. Esta limpieza importa más de lo que la gente piensa. Se mantiene el viejo principio: entra basura, sale basura. Un modelo entrenado con datos más limpios y de mayor calidad aprende mejor que uno entrenado con más datos, pero más desordenados. La calidad de los datos es una de las palancas más importantes y menos glamorosas de todo el campo.
Luego viene el paso que sorprende a los principiantes: tokenización. El modelo no puede leer texto directamente. El texto se divide en tokens, que son fragmentos aproximadamente del tamaño de una parte de una palabra. La palabra "tokenización" podría convertirse en tres o cuatro tokens. Cada pieza de datos de entrenamiento se convierte en estos tokens, y a partir de ese momento el modelo solo ve números que representan tokens, nunca letras. Es por esto que los modelos a veces cuentan mal las letras de una palabra: nunca vieron las letras, solo el token.
El resultado de esta etapa es un conjunto de datos masivo, limpio y tokenizado. Todavía no se ha aprendido nada. Solo has preparado la materia prima.
Qué hacer para aprender esta etapa
- Aprende qué hace realmente un tokenizador ejecutando texto a través de uno y observando cómo se divide en tokens.
- Toma un conjunto de datos de texto pequeño y practica limpiándolo: eliminando duplicados, filtrando basura, normalizando el formato.
- Entiende por qué la calidad de los datos supera a la cantidad comparando lo que aprende un modelo pequeño con datos limpios frente a datos desordenados.
- Lee sobre cómo los principales laboratorios describen su filtrado de datos y nota cuánto esfuerzo se dedica a ello.
Etapa 2: Preentrenamiento — Donde el modelo realmente aprende el lenguaje
Esta es la etapa que cuesta millones, y es donde el modelo aprende casi todo lo que sabe.
El preentrenamiento tiene un objetivo maravillosamente simple: predecir el siguiente token. Al modelo se le muestra una secuencia de tokens y se le pide que adivine el siguiente. Adivina, la suposición se compara con el siguiente token real, y los números internos del modelo (sus parámetros, a menudo miles de millones de ellos) se ajustan para hacer una mejor suposición la próxima vez. Luego hace esto de nuevo. Y de nuevo. A través de billones de tokens.
Ese es todo el objetivo del entrenamiento. Predecir el siguiente token, una y otra vez, a una escala colosal. Y de ese objetivo absurdamente simple, surge algo notable. Para volverse bueno prediciendo el siguiente token en todo el texto humano, el modelo se ve obligado a aprender gramática, hechos, patrones de razonamiento, sintaxis de programación y la estructura de los argumentos, porque todo eso le ayuda a predecir mejor. Nadie le enseñó gramática explícitamente. Aprendió gramática porque la gramática le ayuda a adivinar la siguiente palabra.
El resultado del preentrenamiento se llama modelo base. Es un motor de lenguaje potente, pero está en bruto. Un modelo base no sabe que se supone que debe ser un asistente útil. Hazle una pregunta y podría simplemente continuar tu oración, o generar una lista de preguntas similares, porque todo lo que aprendió a hacer es continuar el texto de manera plausible. Tiene un vasto conocimiento y cero modales. Es un instrumento increíblemente capaz al que no se le ha dicho qué trabajo tiene.
Entender esta etapa es el mayor desbloqueo en todo este artículo. Una vez que entiendes que el núcleo de estos modelos es la predicción del siguiente token a escala masiva, tanto su fluidez como sus alucinaciones tienen perfecto sentido. Están construidos para continuar de manera plausible, no para decir la verdad. La verdad es algo que las etapas posteriores y tu propia ingeniería tienen que añadir.
Qué hacer para aprender esta etapa
- Interioriza el objetivo de predicción del siguiente token hasta que puedas explicárselo a un amigo en una oración.
- Entrena un modelo de lenguaje diminuto con un conjunto de datos pequeño (existen tutoriales para principiantes muy conocidos para esto) para sentir el ciclo de primera mano.
- Entiende la relación entre parámetros, datos y cómputo, y por qué escalar los tres mejoró los modelos.
- Nota cómo esta etapa explica tanto por qué los modelos son fluidos como por qué inventan cosas con confianza.
Etapa 3: Ajuste fino supervisado — Enseñando al modelo a ser útil
Ahora tomas ese modelo base brillante y sin modales y le enseñas qué trabajo tiene.
El modelo base conoce el lenguaje pero no sabe que se supone que debe responder preguntas de manera útil. El ajuste fino supervisado, generalmente abreviado como SFT, soluciona eso. Le muestras al modelo miles de ejemplos del comportamiento que deseas: una pregunta acompañada de una buena respuesta, una instrucción acompañada de una respuesta correcta, un problema acompañado de una solución clara.
El modelo se entrena con estos ejemplos de la misma manera que se preentrenó, prediciendo tokens, pero ahora los datos son demostraciones curadas de exactamente cómo debería responder un asistente útil. Aprende el formato de ser útil: cuando se le da una pregunta, producir una respuesta útil en lugar de continuar el texto o divagar.
La calidad de estos ejemplos importa enormemente, y a menudo son escritos o cuidadosamente curados por humanos. Estos son muchos menos datos que en el preentrenamiento, a veces miles o decenas de miles de ejemplos en lugar de billones de tokens, pero son de alta calidad, deliberados y específicos. Una cantidad relativamente pequeña de excelentes datos de demostración transforma un modelo base en bruto en algo que se comporta como un asistente.
Después del SFT, tienes un modelo que es genuinamente útil. Sigue instrucciones, responde preguntas y se mantiene enfocado en la tarea. Para muchos propósitos, esto ya es un asistente funcional. Pero aún no es tan útil, inofensivo y refinado como los modelos que realmente usas, y para eso son las dos últimas etapas.
Qué hacer para aprender esta etapa
- Entiende la diferencia entre un modelo base y un modelo ajustado leyendo ejemplos de cómo responde cada uno.
- Construye o examina un pequeño conjunto de datos de instrucciones: pares de preguntas y respuestas que demuestren el comportamiento que deseas.
- Intenta ajustar un modelo abierto pequeño en una tarea enfocada y observa cómo cambia su comportamiento.
- Nota cuánto importa la calidad de los ejemplos de demostración en comparación con su cantidad.
Etapa 4: Modelado de recompensa — Enseñando a un modelo cómo se ve lo "bueno"
Esta es la etapa que la mayoría de las explicaciones omiten, y es el corazón inteligente de cómo los modelos modernos se vuelven tan pulidos.
Aquí está el problema que enfrentaron los laboratorios. Después del SFT, un modelo da buenas respuestas, pero lo "bueno" es difícil de definir solo con ejemplos. Para la mayoría de las preguntas no hay una respuesta correcta; hay mejores y peores. ¿Cómo le enseñas a un modelo a preferir la mejor respuesta cuando no puedes escribir una regla para ello?
La solución es elegante. Haces que el modelo genere varias respuestas diferentes para el mismo prompt. Luego, los humanos miran esas respuestas y las clasifican: esta es mejor que aquella. Recopilas una gran cantidad de estas comparaciones de preferencia humana. Y luego, en lugar de usarlas directamente, entrenas un segundo modelo, llamado modelo de recompensa, cuyo único trabajo es mirar cualquier respuesta y predecir cómo la calificaría un humano.
Piensa en lo que eso logra. No puedes hacer que los humanos califiquen cada respuesta que produce el modelo principal; eso nunca escalaría. Pero puedes entrenar un modelo de recompensa con una muestra de juicios humanos, y ahora tienes un sustituto automatizado para la preferencia humana que puede calificar millones de respuestas. El modelo de recompensa es el puente entre "lo que les gusta a los humanos" y "algo contra lo que una computadora puede optimizar".
El modelo de recompensa nunca habla con los usuarios. Es un juez detrás de escena. Pero es la clave que desbloquea la etapa final, porque te da una forma de empujar al modelo principal hacia respuestas que los humanos realmente prefieren, a una escala que ningún equipo humano podría igualar.
Qué hacer para aprender esta etapa
- Entiende por qué clasificar respuestas (esto es mejor que aquello) es más fácil y escalable que escribir respuestas perfectas.
- Capta la idea central: un modelo de recompensa aprende a imitar el juicio humano para poder calificar respuestas automáticamente.
- Lee sobre cómo se recopilan los datos de preferencia a través de comparaciones humanas.
- Mira cómo esta etapa conecta el desorden del gusto humano con algo que un proceso de entrenamiento puede usar.
Etapa 5: Aprendizaje por refuerzo — Pulir el modelo hasta convertirlo en lo que usas
La etapa final toma todo lo construido hasta ahora y refina el modelo para convertirlo en el asistente útil y cuidadoso con el que realmente interactúas.
Esta etapa generalmente se llama RLHF, aprendizaje por refuerzo a partir de retroalimentación humana. Así es como encajan las piezas. Tomas tu modelo ajustado de la Etapa 3 y el modelo de recompensa de la Etapa 4. El modelo ajustado genera respuestas. El modelo de recompensa las califica. Y el modelo ajustado es empujado, a través del aprendizaje por refuerzo, a producir respuestas que obtengan una puntuación más alta. Es un ciclo: generar, calificar, mejorar, repetir.
Debido a que el modelo de recompensa puede calificar sin cesar, el modelo principal puede practicar y mejorar mucho más allá de lo que los ejemplos humanos directos podrían proporcionar. A lo largo de muchas rondas, aprende a ser más útil, más coherente, mejor para seguir matices y mejor para rechazar cosas que no debería hacer. Esta es la etapa que le da a los modelos su pulido, su buen juicio y gran parte de su comportamiento de seguridad.
Una variación moderna que vale la pena conocer: parte de la retroalimentación humana puede ser reemplazada o complementada con retroalimentación generada de acuerdo con un conjunto de principios escritos, un enfoque a veces llamado RLAIF o métodos constitucionales. El espíritu es el mismo: en lugar de depender únicamente de los humanos para calificar todo, escalas la retroalimentación que da forma al comportamiento del modelo, guiado por valores claramente establecidos.
Después de esta etapa, tienes el producto terminado. Un modelo que es fluido gracias al preentrenamiento, útil gracias al ajuste fino, y refinado y alineado gracias al aprendizaje por refuerzo. Con esto es con lo que estás hablando cuando abres ChatGPT o Claude. Cinco etapas, cada una construida sobre la anterior.
Qué hacer para aprender esta etapa
- Entiende el ciclo: el modelo genera, el modelo de recompensa califica, el modelo mejora hacia puntuaciones más altas.
- Capta por qué esto permite que el modelo practique mucho más allá de los límites de los ejemplos humanos directos.
- Lee sobre la diferencia entre aprender de la retroalimentación humana y aprender de la retroalimentación de IA guiada por principios.
- Mira cómo esta etapa final produce la utilidad, el juicio y el comportamiento de seguridad que experimentas como usuario.
Todo el proceso en un solo aliento
Permíteme unirlo todo para que quede claro.
Recopilas y limpias una montaña de texto y lo conviertes en tokens. Entrenas a un modelo para predecir el siguiente token en todo ese texto, y de ese objetivo simple surge un modelo base que entiende el lenguaje pero no tiene modales. Lo ajustas con ejemplos curados para que aprenda a comportarse como un asistente útil. Recopilas clasificaciones humanas de sus respuestas y entrenas un modelo de recompensa para imitar el juicio humano. Y finalmente usas ese modelo de recompensa para refinar al asistente a través del aprendizaje por refuerzo hasta que esté pulido, sea útil y esté alineado.
Datos, preentrenamiento, ajuste fino, modelado de recompensa, aprendizaje por refuerzo. Cinco etapas. Así es como se hace cada modelo de frontera.
La verdad honesta sobre construir tu propio LLM
No vas a superar a los laboratorios de frontera desde tu habitación, y ese nunca fue el punto.
El punto es la comprensión. Una vez que este proceso está claro en tu cabeza, dejas de ser un usuario pasivo de estas herramientas y comienzas a ser alguien que razona sobre ellas. Entiendes por qué alucinan (predicción del siguiente token). Entiendes por qué funciona el prompting (estás dando forma a lo que se predice). Entiendes por qué algunos modelos se sienten más alineados que otros (la calidad de las etapas cuatro y cinco). Entiendes por qué tus propios datos, en tus propios experimentos de ajuste fino, importan tanto. Esta comprensión es la base sobre la que se encuentran los constructores de IA más capaces.
Y aquí está la parte genuinamente empoderadora: puedes construir una versión pequeña y funcional de cada una de estas etapas tú mismo, a pequeña escala, para aprender. La gente entrena modelos en miniatura, ajusta pequeños modelos abiertos y experimenta con datos de preferencia todo el tiempo. No construirás Claude. Pero puedes construir algo que te enseñe exactamente cómo se construyó Claude, y ese conocimiento se acumula durante el resto de tu carrera en este campo.
La mayoría de las personas usará estos modelos durante años y nunca entenderá cómo fueron hechos.
Acabas de leer todo el proceso. Ya estás por delante de casi todos los que escriben en estas herramientas todos los días.
La única pregunta es si irás a construir una versión pequeña tú mismo y convertirás la comprensión en algo que realmente puedas hacer.
Las cinco etapas están justo encima de ti. Elige la etapa uno y comienza.
Si encontraste esto útil, sígueme en @eng_khairallah1 para más contenido de IA como este. Publico desgloses, cursos y herramientas cada semana.
espero que esto haya sido útil para ti, Khairallah ❤️
