¡Hola, entusiastas de la IA!
OpenAI lo hizo oficial esta semana: bienvenidos a la Era de la IAG.
GPT-6 Astra ya está aquí, y OpenAI lo vende como un salto generacional: grandes avances en uso de computadoras, codificación, investigación y ese tipo de trabajo largo y desordenado que antes necesitaba supervisión humana constante.
Voy a tomar el marketing al pie de la letra por un momento, porque saca a la luz una pregunta que la industria ha estado evadiendo en silencio: ¿cómo medimos realmente esto?
Durante algunos años, la IA se ha basado en benchmarks. Cada lanzamiento incluye una tabla que demuestra que el nuevo modelo es un 3% mejor aquí, un 7% mejor allá, y misteriosamente un 12% más inteligente según un benchmark que no existía la primavera pasada. Los clasificamos, los codificamos por colores, los apilamos en tablas de clasificación y coronamos a un ganador. Funcionaba lo suficientemente bien cuando los modelos básicamente respondían preguntas. Deja de funcionar en el momento en que los modelos comienzan a hacer cosas.
Aquí está el problema central: un benchmark es solo un banco de preguntas. Le das un problema al modelo, produce una respuesta, verificas la respuesta contra una clave. Incluso los benchmarks sofisticados de uso de computadoras son, en el fondo, un montón de tareas preescritas que se ejecutan en entornos preconstruidos. Eso es genuinamente útil. Pero no se parece en nada a lo que sucede cuando colocas un agente en una máquina real y le dices que haga algo.
La vida real no viene con un archivo de benchmark. Nada en tu escritorio te dice exactamente cómo se ve "terminado".
Una computadora real es un navegador que se bloquea a mitad de una tarea, un sitio que rediseñó silenciosamente su interfaz ayer, una hoja de cálculo con tres versiones contradictorias, un permiso del que nadie habló, un PDF enterrado en seis carpetas de profundidad, una API que se agota en la peor solicitud posible, y un humano que dice "¿puedes encargarte de esto?" y luego se va sin definir "esto".
El agente tiene que resolverlo. Y la parte que nadie benchmarkea bien: tiene que recuperarse cuando el primer intento falla. Esa es una habilidad completamente diferente a obtener la respuesta correcta.
Por eso, los informes de que OpenAI compró decenas de miles de Mac de consumo para aprendizaje por refuerzo y entrenamiento en uso de computadoras son más reveladores de lo que parecen. Las cifras exactas han sido reportadas, no auditadas, pero la dirección es inconfundible. Los laboratorios fronterizos quieren sus modelos en máquinas reales, no atrapados en una caja de chat. Y eso rompe silenciosamente todo el juego de los benchmarks.
Imagina dos agentes, la misma computadora, el mismo resumen vago:
Investiga este mercado, elige tres empresas prometedoras, construye una comparación financiera y prepara una presentación para el comité de inversiones.
No hay una única forma correcta de hacerlo. Hay cien. Un agente navega durante dos horas. Otro escribe un script. Un tercero se topa con una mejor fuente de datos a mitad de camino y descarta su plan original. Un cuarto comete un error, lo detecta y lo corrige. Un quinto te entrega una presentación hermosa basada en números completamente equivocados.
Entonces, ¿cuál ganó? El autor del benchmark no puede preescribir la respuesta, porque no existe una.
Y aquí es donde se pone realmente incómodo. La parte más difícil de calificar a un agente puede que ya no sea si la respuesta fue correcta. Es si todo esto fue realmente útil. Eso suena a sutileza. No lo es.
Toma un agente que supera el 95% de un benchmark de uso de computadoras, luego colócalo en una empresa real durante una semana. Construye la estructura de carpetas incorrecta, sobrescribe una hoja de cálculo activa, pierde seis horas persiguiendo una pista falsa, cita con confianza una estadística de 2023 y se queda atascado en un muro de permisos que nunca piensa en preguntar. Cada tarea del benchmark: perfecta. Nadie lo mantendría empleado una segunda semana.
Ahora toma un agente que solo obtiene un 85%, pero sabe cuándo está confundido, hace la única pregunta que lo desbloquea, cambia de rumbo cuando algo se rompe y entrega silenciosamente trabajo que realmente puedes usar. ¿Cuál es más inteligente? La tabla de clasificación no tiene idea. Honestamente, nosotros tampoco.
Por eso creo que los benchmarks independientes están chocando contra una pared. No porque los investigadores estén descuidando su trabajo — están construyendo pruebas más difíciles y realistas que nunca. El problema es que la realidad sigue siendo más grande que la prueba. Puedes hacer el benchmark más largo, agregar más herramientas, más sitios, más aplicaciones, más pasos, más aleatoriedad. No importa. Sigues construyendo un juego con reglas, y en el momento en que un modelo aprende a jugar el juego, vuelves al punto de partida.
Así que obtendremos las puntuaciones. 91.4%. 94.7%. 97.2%. 98.1%. La gente discutirá si el Modelo A vence al Modelo B. Alguien lanzará otra tabla de clasificación. Otro lanzará una tabla de clasificación de las tablas de clasificación. Y todo el tiempo, el modelo estará sentado en una computadora real haciendo cosas que ninguno de esos números puede describir.
Esa es la paradoja del benchmark: cuanto más se acerca la IA a la inteligencia de propósito general, menos te dice un banco de preguntas preescritas sobre ella.
Entonces, ¿qué lo reemplaza? No creo que la respuesta sea "un mejor benchmark". Creo que es algo diferente en esencia. Deja de darle al agente una pregunta y dale un objetivo. Deja de darle un arenero ordenado y dale uno desordenado. Deja de calificar si siguió los pasos esperados y califica si logró el resultado. Deja de repetir la misma prueba pública y lánzalo a entornos que cambian constantemente, en tareas privadas que nunca ha visto.
Y deja de preguntar solo si tuvo éxito. Pregunta con qué fiabilidad tiene éxito, cuánto costó, cuánto tiempo tomó, con qué frecuencia necesitó a un humano, qué tan seguro se comportó y si el trabajo sobrevivió al contacto con la realidad.
En pocas palabras: la próxima generación de evaluación de IA debería parecerse menos a un examen y más a una pasantía.
No le preguntes al modelo:
¿Pasó la prueba?
Dale una laptop, una cuenta, un presupuesto, un objetivo y una semana. Luego observa lo que hace. Eso te diría mucho más sobre su inteligencia — y sería una pesadilla de estandarizar. Que es exactamente el punto.
La inteligencia del mundo real es desordenada, contextual, adaptativa y abierta. En el momento en que la aplanas en una lista limpia de preguntas con respuestas fijas, has dejado de medir la inteligencia. Estás midiendo la capacidad de tomar exámenes.
Y por eso Astra me impacta de manera diferente. OpenAI nos está diciendo, en voz alta, que hemos entrado en la Era de la IAG. Bien. Pero si eso es cierto, probablemente deberíamos dejar de darle a la IAG el examen estandarizado que diseñamos para los chatbots.
La pregunta interesante ya no es "¿qué puntuación obtuvo?" Es "¿qué sucede cuando le das una computadora y le dices que haga algo?" Y sospecho que estamos a punto de descubrir que aún no tenemos una buena respuesta.
Así que — bienvenidos a la Era de la IAG. Y, silenciosamente, al mismo tiempo: bienvenidos a la Era de la IA Incalificable. El benchmark no empeoró. Lo que estamos tratando de medir simplemente salió de él.
