La Economía de los Tokens
Hoy en día, cuando hablamos de IA, los tokens son los reyes. Específicamente, los tokens de inferencia se han convertido en el principal indicador para rastrear el crecimiento del ecosistema de IA. Las empresas públicas informan mensualmente sobre los tokens procesados para mostrar su crecimiento en IA, los analistas comparan el éxito de los modelos basándose en sus volúmenes relativos de tokens, y los equipos directivos miden su compromiso e inversión en IA analizando su uso de tokens a lo largo del tiempo.
Esta popularidad general tiene sentido; los tokens son una unidad fundamental de inteligencia y computación de la IA, y el crecimiento en tokens representa bien el crecimiento global de la IA en el mundo. Los tokens también abstraen las complejidades de la inferencia en una sola unidad de medida, lo que los hace fáciles de entender (solo toma 2 minutos) y sencillos de rastrear de manera consistente a lo largo del tiempo. Como una especie de lengua franca, los tokens permiten que una amplia audiencia comprenda el rápido y complejo progreso de la IA, independientemente de su nivel técnico.
¿Más personas usando IA? Los tokens suben. ¿Pasamos de modelos no razonadores a modelos razonadores? Los tokens suben. ¿Pasamos de consultas a agentes? Los tokens suben. ¿Los agentes ahora pueden trabajar en segundo plano o en tareas de largo plazo? ¡Los tokens suben!
El volumen absoluto de tokens procesados aumenta tanto en función de una mayor adopción de la IA, como también debido a evoluciones en la infraestructura que hacen que los modelos y los formatos de IA sean más "hambrientos de tokens", por ejemplo, un agente que trabaja una hora en lugar de un minuto.
Esta simplicidad también crea una sólida tesis de inversión de crecimiento para los inversores de capital de riesgo en crecimiento. Todos estos cambios —tanto en la adopción como en la intensidad de tokens de los modelos— se acumulan unos sobre otros para generar un crecimiento explosivo y exponencial en los volúmenes totales de tokens. Es fácil de visualizar y fácil creer que continuará en esta dirección con agentes de largo plazo y agentes en segundo plano por venir. No es de extrañar que la inferencia se haya convertido en una categoría de inversión candente y que muchas empresas busquen entrar en el negocio de la inferencia.
La desventaja de que la inferencia sea el abanderado popular y comprensible de la IA es que puede acaparar el campo de visión, haciendo que otras mega tendencias emergentes pasen relativamente desapercibidas porque son más difíciles de ver y entender para una audiencia amplia.
Una tendencia en particular es similar a la inferencia en muchos aspectos y está destinada a convertirse en una parte mucho más grande de la discusión sobre IA a medida que se vuelva más ubicua y ampliamente comprendida. Se trata del mercado para mejorar las capacidades de los modelos a través de datos, al que llamamos la Economía de las Tareas.
La Economía de las Tareas
En los últimos tres años, los LLM pasaron de responder consultas básicas a razonar problemas complejos, y luego a convertirse en agentes capaces de completar trabajo real en horizontes de tiempo cada vez más largos. Al principio de este camino, las mejoras de los modelos se lograban entrenándolos con los datos disponibles en internet y cantidades crecientes de cómputo. A medida que 1) nos quedamos sin más datos en internet para entrenar y 2) saturamos más y más capacidades simples/generales, ha surgido un claro cuello de botella para futuras mejoras de los modelos: la necesidad de datos incrementales de alta calidad. Estos datos serán generados y provistos por la Economía de las Tareas.
Las tareas son la "unidad de práctica" en el aprendizaje por refuerzo: se le da a un modelo un estado inicial y un entorno para actuar, y su comportamiento se evalúa mediante una señal de recompensa/verificador. A través de muchas tareas, esas puntuaciones se agregan en una señal de entrenamiento que desplaza el comportamiento del modelo hacia lo que obtuvo buenos puntajes. Estrictamente hablando, "tarea" se refiere a este sustrato de entrenamiento posterior (post-training) con RL. Pero lo usaré de manera más flexible para representar la unidad de mejora impulsada por datos en general, ya que la industria está inventando rápidamente nuevas formas que los datos toman al servicio de mejorar los modelos, y francamente porque "Economía de las Tareas" suena muy bien. También quiero distinguir esta categoría del anticuado término de "etiquetado de datos", que evoca cajas delimitadoras y pulgares arriba/abajo para respuestas de LLM — el mercado ha evolucionado mucho más allá de esos elementos básicos en los últimos dos años hacia tareas mucho más complejas y de mayor valor.
Tomemos la industria legal como un ejemplo rápido y real. Los modelos de IA entrenados en internet abierto pueden adquirir un conocimiento general del derecho, conocer precedentes de jurisprudencia pública, etc. Pero producir el trabajo real de un abogado talentoso requiere datos que no están disponibles en internet. Para que un modelo replique flujos de trabajo legales de alta calidad, debemos darle instrucciones (revisar un contrato, redactar un argumento), colocarlo en entornos relevantes (una sala de datos legal) y luego calificar/verificar la calidad del trabajo (mediante una rúbrica, un ejemplo de la cual puedes ver aquí). Estas tareas enseñan al modelo no solo qué hacer, sino cómo hacerlo. Y cuantas más tareas de alta calidad expongas al modelo, mejor se vuelve el modelo.
De esta manera, lo que los tokens son para la inferencia/uso del modelo, las tareas lo son para los esfuerzos de mejora del modelo. Los tokens son una unidad fundamental de inteligencia y cómputo de la IA; debemos pensar en las tareas como una unidad fundamental de mejora de la IA. Y al igual que los tokens, las tareas crecen tanto en función de la adopción de la IA, como a medida que la inteligencia fronteriza en desarrollo se vuelve cada vez más "hambrienta de tareas".
Esto no es preciso ni exhaustivo, pero da algunos ejemplos de cada aumento escalonado en la inteligencia del modelo que requiere muchas más tareas de mayor complejidad.
Hemos pasado de etiquetas de preferencia básicas a expertos calificados que usan rúbricas? Las tareas suben. Hemos introducido agentes verticales que replican trabajo experto en dominio? Las tareas suben. ¿Los agentes necesitan trabajar en horizontes más largos? Las tareas suben. ¿Las empresas están adoptando evaluaciones en masa? ¡Las tareas suben!
Al igual que el mercado de inferencia, estas entradas de crecimiento apiladas han producido un crecimiento igualmente sin precedentes para la Economía de las Tareas:
- OpenAI y Anthropic están escalando su gasto en datos en 10 veces año tras año, gastando miles de millones de dólares en movilizar expertos en todos los dominios para crear datos y entrenar agentes.
- Las principales empresas de aplicaciones de IA y empresas en nuestra red están escalando su gasto individual relacionado con tareas a $100m+ en el corto plazo, al reconocer que los datos son su ventaja competitiva, y que la IA Aplicada con una estrategia de datos diferenciada puede superar a los modelos estándar.
- Mercor, empresa del portafolio de Benchmark y la plataforma líder en la Economía de las Tareas, alcanzó $1b en ARR este febrero y luego alcanzó $2b en ARR solo 4 meses después.
La cantidad de tareas brutas, la duración y complejidad de esas tareas, y el costo por hora de los expertos que completan las tareas están todos creciendo, apilándose para crear un crecimiento exponencial del gasto total en tareas.
Y por impresionantes que hayan sido las señales recientes de crecimiento en este mercado, claramente solo estamos en el primer inning del crecimiento e impacto general de este mercado. Apenas estamos empezando a ver agentes que pueden replicar trabajo de alta calidad en cualquier dominio avanzado, y las empresas apenas están comenzando a escalar su gasto este año, al darse cuenta de la importancia de los datos como factor diferenciador frente a los laboratorios. Comparemos eso con el telón de fondo de que el 99% del conocimiento humano relevante para las capacidades futuras que queremos que cubra la IA está en la cabeza de las personas. Si creemos que las empresas de IA aplicada de todo tipo (laboratorios, empresas de aplicaciones de IA, empresas) van a querer transmitir ese conocimiento tácito a modelos y agentes (y creemos que así es), estamos en camino a muchos más años de rápido crecimiento de la Economía de las Tareas en un conjunto mucho más amplio de compradores/participantes de los que hemos tenido en el pasado.
Haciendo la Mega Tendencia de las Tareas más Comprensible
Los tokens y las tareas son barómetros importantes del progreso y evolución de la IA, y ambos están acelerándose rápidamente. Sin embargo, a pesar de este crecimiento igualmente explosivo, hoy en día hay muchas menos conversaciones sobre tareas que sobre tokens en línea. Creo que esto se debe principalmente a:
1) históricamente, el gasto en este mercado se ha concentrado en los laboratorios fronterizos, que son muy reservados sobre sus estrategias de mejora de modelos, incluido su gasto en datos/tareas. Esto está cambiando rápidamente a partir de este año, a medida que las empresas de aplicaciones de IA y las empresas abrazan la Economía de las Tareas para construir diferenciación frente a los modelos estándar. Estas empresas son más propensas a promocionar sus esfuerzos en este dominio y llevar la categoría a la conversación habitual sobre IA.
y 2) el mercado no ha tenido una unidad de abstracción de valor tan clara como la que los tokens proporcionan a la inferencia. Parte del propósito de este artículo es cambiar esto y unificar la conversación en torno a las tareas como una unidad de valor en la que podamos estandarizarnos. Los tokens son una lengua franca que permite a una amplia audiencia comprender el progreso de la IA, independientemente de su nivel técnico; las tareas deberían actuar de la misma manera para permitir que una amplia audiencia comprenda la inversión de la industria en el avance de las capacidades de IA.
Dados estos cuellos de botella, la industria no tiene un "OpenRouter para el volumen de tareas" o algo similar hoy que nos pueda dar una visión proxy en vivo de la escala y el crecimiento de la Economía de las Tareas a lo largo del tiempo. Si bien sería enormemente valioso que una empresa publicara algo así en el futuro, por ahora el equipo de Mercor fue tan amable de proporcionar un gráfico de las horas de trabajo de expertos por trimestre en su plataforma como una ventana al crecimiento exponencial del mercado. Como puedes ver, los datos reales coinciden con la magnitud/velocidad de crecimiento que discutimos en la última sección:
Fuente: Mercor
En muchos sentidos, la Economía de las Tareas es el mercado definitorio para el futuro de la IA: la barrera para automatizar cada tarea que podemos hacer en nuestras laptops con agentes es cubrir la distribución completa de todas las aplicaciones, todos los entornos y todas las tareas que corresponden a todo en la economía. Esto requerirá un despliegue masivo de datos en todos los dominios profesionales, disciplinas académicas y casos de uso de consumo. Legal, medicina, finanzas, software, ciencia y más allá requerirán cada uno sus propios conjuntos de datos generados por expertos, evaluaciones y entornos de RL. Los laboratorios, las empresas de aplicaciones de IA y las empresas lucharán por escalar rápidamente esta infraestructura de datos en toda la superficie del trabajo económicamente útil y quienes tengan éxito continuarán mejorando las capacidades fronterizas y ganando cuota de mercado.
Comenzaremos a rastrear estos esfuerzos mucho más de cerca como comunidad a medida que la Economía de las Tareas se vuelva más visible y ubicua en los próximos años. Y en algún momento pronto, cuando hablemos de IA, las tareas serán las reinas.
Nota al pie: Otro lugar obvio donde veremos mejoras en la capacidad general de la IA es en las mejoras algorítmicas de los modelos. Las he excluido para mantener el enfoque de este artículo en los datos, pero es una elección de enfoque/estilística más que pensar que no obtendremos mejoras algorítmicas en el futuro también.
