En abril de 1965, las agencias de noticias soviéticas anunciaron el descubrimiento de una supercivilización. Todo el pánico provino del trabajo de un solo hombre: Nikolái Kardashev, un astrónomo soviético obsesionado con la siguiente pregunta: si detectaras una civilización muy por encima de la tuya, ¿serías capaz de decir algo riguroso sobre ella?
Se hizo famoso por su solución. En lugar de centrarse en la inteligencia, la intencionalidad o el comportamiento —todo ello muy complejo y difícil de evaluar—, creó una teoría sobre cómo las civilizaciones utilizan la energía. La termodinámica es indiferente a la inteligencia, argumentaba.
Al final, todo resultó ser un cuásar. La medición era correcta; simplemente no había ningún extraterrestre detrás de esa medición.
BENCHMARKING EN LA ERA DE LA SUPERINTELIGENCIA
61 años después, nos enfrentamos a un pánico curiosamente similar: parece que estamos a punto de crear una inteligencia que superará al ser humano más brillante que haya existido jamás. Y, sin embargo, es de vital importancia que podamos decir algo significativo sobre ellas, es decir, necesitamos someterlas a benchmarks.
La razón es simple: la asignación de recursos. Independientemente de su inteligencia muy superior, seguiremos queriendo el mejor rendimiento por nuestro tiempo y dinero. Nadie usa Stockfish 13 para análisis profundos de ajedrez cuando el modelo de 2026 es simplemente mejor.
Entonces, ¿por qué no podemos usar los benchmarks actuales?
El problema inmediato es la saturación. Una prueba fija deja de ser útil en el momento en que todos los modelos obtienen un 100 % en ella, y eso ya está ocurriendo: benchmarks que se consideraban difíciles hace tres años ahora son superados por modelos baratos. Puedes seguir escribiendo pruebas más difíciles, pero solo hasta el límite de la prueba más difícil que un humano pueda escribir. Lo que nos lleva al verdadero problema.
Hasta ahora hemos medido la inteligencia principalmente mediante pruebas cerradas. Cuando digo "cerradas" me refiero a pruebas de las que conocemos la puntuación antes de que empiecen (tests de CI, pruebas matemáticas, programación...). Usamos este tipo de pruebas por razones obvias: 1. son objetivas; 2. son relativamente rápidas de evaluar; 3. inercia: es como solemos evaluar a los humanos.
Sin embargo, en cuanto empiezas a pensar en aplicar estas pruebas a IA más inteligentes, el problema salta a la vista: estos exámenes están diseñados para que una inteligencia superior evalúe a una inferior: un profesor y un alumno. Esta es exactamente la razón por la que debemos empezar a pensar y diseñar un nuevo tipo de evaluación. Nosotros, la inteligencia inferior —el alumno—, tendremos que evaluar a una SI —el profesor— garantizando al mismo tiempo la objetividad.
A este problema, cómo puede una inteligencia inferior evaluar rigurosamente a una superior, lo llamo el problema de Kardashev, y es lo que personalmente más me apasiona (y la razón por la que decidí crear Kardashevian.com).
FUTUROS BENCHMARKS PARA LA SUPERINTELIGENCIA
Nos ayuda un principio salvador: comprobar una respuesta candidata es radicalmente más fácil que encontrarla. Un Sudoku requiere esfuerzo para resolverse; verificar una cuadrícula completada lleva treinta segundos. Y en la mayoría de los casos, un verificador externo nos ayudará a ser lo más objetivos posible respecto a la calidad e inteligencia de estos sistemas tan avanzados.
Veo 4 sistemas de verificación externos distintos para el futuro del benchmarking:
- El mundo es el verificador. Misiones abiertas: objetivos, no preguntas y respuestas. El mundo califica el objetivo. Cuanto más alto o más optimizado, mejor.
**-Ejemplo: paper trading de inversión en valor en el mercado de valores.
**
En este escenario, la complejidad del mundo real es tan vasta y dinámica (cambiando y reaccionando constantemente) que hace que la saturación de este desafío sea prácticamente imposible. Tengo planeado escribir otro ensayo más adelante sobre por qué creo que la inversión en valor es una gran prueba de inteligencia; la idea principal reside en la suposición de que un sistema capaz de predecir de forma fiable cómo se comportará el mundo, incluidos los humanos y los mercados, es una de las señales más claras de inteligencia.
2. Las reglas y el juego son el verificador. Competición. El ajedrez, de nuevo, demuestra que, a pesar de tener jugadores superiores a los humanos, seguimos siendo capaces de saber que el Modelo X es mejor que el Modelo Z. El sistema ELO, que usamos en Kardashevian.com, también nos permite no solo ver al ganador, sino mantener un marcador estadísticamente significativo.
-Ejemplo: ajedrez, Go o cualquier juego infinitamente más complejo que pueda crearse únicamente para este fin.
**
- La física y la química son el verificador. Ingeniería compleja. Limitamos la prueba a la física y la química y dejamos que la naturaleza ponga la nota. **
-Ejemplo: diseñar un material con una propiedad determinada, sintetizarlo en un laboratorio automatizado y probarlo.
4. La lógica es el verificador. Demostración formal. Matemáticas escritas en un lenguaje que un ordenador pueda comprobar.
-Ejemplo: mejorar una cota conocida o resolver una conjetura abierta en Lean.
Los riesgos son: los límites de las cotas conocidas son humanos, al igual que las conjeturas planteadas. Aun así, sigue siendo muy difícil de saturar.
KARDASHEVIAN.COM
**Qué estamos haciendo:
**Kardashevian es un primer intento de poner en práctica esas cuatro ideas, construido en mi tiempo libre y con un presupuesto reducido :)
Todas las arenas funcionan igual: los datos de entrada se congelan, los modelos se comprometen con una respuesta y luego algo que no pueden ver ni influir pone la nota. Ninguna de las pruebas tiene una "respuesta" específica.
Como era de esperar, la inversión en valor en los mercados es la misión abierta. Es una versión más pequeña de la mencionada en el ensayo: reciben datos de trading de un paquete de 300 acciones estadounidenses, ETF y pares de criptomonedas. Su objetivo es crear 15 carteras exclusivamente alcistas (long-only): cinco horizontes temporales de 1 mes a 2 años, en tres niveles de riesgo, cada una con una previsión de rentabilidad. Después hacemos un seguimiento diario de cada cartera frente al S&P 500. De nuevo, el mercado es quien pone la nota. Hasta ahora ningún modelo ha perdido dinero (en promedio) y, tras casi 1 mes, 3/5 están batiendo al S&P 500, aunque la significancia estadística de esto sigue siendo limitada.
Sandbox es la competición que hemos creado. Cada modelo escribe el controlador para un rover en un mundo simulado con físicas ocultas (desequilibrio del motor, retardo en los comandos, ruido en los sensores, viento, hielo), observa su ejecución y lo intenta de nuevo, ocho veces. Luego, su mejor controlador se puntúa en diez circuitos que nunca ha visto. Nadie conoce el controlador perfecto para ese mundo, pero podemos decir exactamente cuál modelo es mejor y qué tan rápido aprendió cada uno.
En ambas arenas, los modelos se clasifican entre sí con las mismas estadísticas que usa el ajedrez: cada par juega una partida en cada celda, y un ajuste de Bradley-Terry en la escala Elo convierte los resultados en una puntuación con un intervalo del 95 %. El S&P 500 es un jugador fijo en 1.500 puntos. Un modelo que no puede batir a un fondo indexado tiene una puntuación que lo demuestra.
Dos limitaciones muy claras a las que nos enfrentamos actualmente:
- Primero, nos autofinanciamos, así que ejecutamos los modelos de bajo coste de cada laboratorio puntero (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), no sus buques insignia. El método es lo importante; los modelos estrella llegarán cuando llegue el presupuesto.
- Necesitamos tiempo. Por eso hay 358 carteras y 6 mundos, con nuevos registros cada lunes y las primeras carteras madurando el 25 de octubre. Los intervalos siguen teniendo una amplitud de unos ±100 puntos.
Todo es público. Cada cifra proviene de una versión numerada que puedes descargar, y la página de metodología describe exactamente cómo se calculó.
Estamos trabajando duro para aumentar el número y la dificultad de estas tareas.
Si alguien está interesado en colaborar en este proyecto, no dudes en enviarme un mensaje directo o un correo a john@on3works.com
