En abril de 1965, las agencias de noticias soviéticas anunciaron el descubrimiento de una supercivilización. Todo el pánico surgió del trabajo de un solo hombre: Nikolai Kardashev, un astrónomo soviético obsesionado con la siguiente pregunta: si de verdad detectaras una civilización mucho más avanzada que la tuya, ¿serías capaz de decir algo riguroso sobre ella?
Se hizo famoso por su solución. En lugar de enfocarse en la inteligencia, la intencionalidad o el comportamiento —todos conceptos muy complejos y difíciles de evaluar—, creó una teoría sobre cómo las civilizaciones usan la energía. A la termodinámica le da igual la inteligencia, argumentaba.
Al final, todo resultó ser un cuásar. La medición estaba bien; simplemente no había ningún extraterrestre detrás de esa medición.
BENCHMARKING EN LA ERA DE LA SUPERINTELIGENCIA
61 años después, vivimos un pánico curiosamente similar: parece que estamos a punto de crear una inteligencia que superará al humano más brillante que haya existido. Y, sin embargo, es de vital importancia que podamos decir algo significativo sobre ellas, es decir, necesitamos hacerles benchmarking.
La razón es simple: la asignación de recursos. Por más superior que sea su inteligencia, seguiremos queriendo el mejor rendimiento por nuestro tiempo y dinero. Nadie usa Stockfish 13 para análisis profundos de ajedrez cuando el modelo de 2026 es simplemente mejor.
Entonces, ¿por qué no podemos usar los benchmarks actuales?
El problema inmediato es la saturación. Una prueba fija deja de ser útil en el momento en que todos los modelos sacan 100%, y eso ya está pasando: benchmarks que se consideraban difíciles hace tres años hoy son superados por modelos baratos. Puedes seguir escribiendo pruebas más difíciles, pero solo hasta el límite de lo más difícil que un humano pueda escribir. Y eso nos lleva al verdadero problema.
Hasta ahora, hemos medido la inteligencia principalmente usando pruebas cerradas. Cuando digo "cerradas" me refiero a pruebas de las cuales conocemos la puntuación antes de que empiecen (tests de CI, exámenes de matemáticas, programación...). Usamos este tipo de pruebas por razones obvias: 1. son objetivas. 2. Son relativamente rápidas de evaluar. 3. Inercia: así es como solemos evaluar a los humanos.
Sin embargo, en cuanto empiezas a pensar en aplicar estas pruebas a IAs más inteligentes, el problema salta a la vista: estos exámenes están diseñados para que una inteligencia superior evalúe a una inferior: un maestro y un alumno. Esta es exactamente la razón por la que debemos empezar a pensar y diseñar un nuevo tipo de evaluación. Nosotros, la inteligencia inferior —el alumno—, tendremos que evaluar a una SI —el maestro— garantizando al mismo tiempo la objetividad.
A este problema, cómo puede una inteligencia inferior evaluar rigurosamente a una superior, lo llamo el problema de Kardashev, y es lo que personalmente más me apasiona (y la razón por la que decidí crear Kardashevian.com).
LOS FUTUROS BENCHMARKS DE SUPERINTELIGENCIA
Nos ayuda un principio salvador: verificar una respuesta candidata es radicalmente más fácil que encontrarla. Resolver un Sudoku toma esfuerzo; comprobar una cuadrícula llena toma treinta segundos. Y en la mayoría de los casos, un verificador externo nos ayudará a ser lo más objetivos posible respecto a la calidad e inteligencia de estos sistemas tan avanzados.
Veo 4 sistemas de verificación externa distintos para el futuro del benchmarking:
- El mundo es el verificador. Misiones abiertas: objetivos; no preguntas y respuestas. El mundo califica el objetivo. Mientras más alto o más optimizado, mejor.
**-Ejemplo: paper trading de inversión en valor en el mercado de valores.
**
En este escenario, la complejidad del mundo real es tan vasta y dinámica (cambiando y reaccionando constantemente) que hace prácticamente imposible saturar este desafío. Planeo escribir otro ensayo más adelante sobre por qué creo que la inversión en valor es una gran prueba de inteligencia; la idea principal se basa en la suposición de que un sistema capaz de predecir de forma confiable cómo se comportará el mundo, incluyendo a los humanos y los mercados, es una de las señales más claras de inteligencia.
2. Las reglas y el juego son el verificador. Competencia. El ajedrez, una vez más, demuestra que, aunque haya jugadores superiores a los humanos, seguimos siendo capaces de saber que el Modelo X es mejor que el Modelo Z. El sistema ELO, que usamos en Kardashevian.com, también nos permite no solo ver quién gana, sino mantener un marcador estadísticamente significativo.
-Ejemplo: Ajedrez, Go o cualquier juego infinitamente más complejo que se pueda crear solo para este propósito.
**
- La física y la química son el verificador. Ingeniería compleja. Limitamos la prueba a la física y la química y dejamos que la naturaleza ponga la nota. **
-Ejemplo: diseñar un material con una propiedad específica, luego sintetizarlo en un laboratorio automatizado y probarlo.
4. La lógica es el verificador. Demostración formal. Matemáticas escritas en un lenguaje que una computadora pueda verificar.
-Ejemplo: Mejorar una cota conocida o resolver una conjetura abierta en Lean.
Los riesgos son: los límites de las cotas conocidas son humanos, al igual que las conjeturas planteadas. Aun así, sigue siendo muy difícil de saturar.
KARDASHEVIAN.COM
**Qué estamos haciendo:
**Kardashevian es un primer intento de aplicar esas cuatro ideas, construido en mi tiempo libre y con poco presupuesto :)
Todas las arenas funcionan igual: los inputs se congelan, los modelos se comprometen con una respuesta y luego algo que no pueden ver ni influir pone la nota. Ninguna de las pruebas tiene una "respuesta" específica.
Como era de esperar, la inversión en valor en los mercados es la misión abierta. Es una versión más pequeña de la mencionada en el ensayo: reciben datos de trading de un paquete de 300 acciones estadounidenses, ETFs y pares de criptomonedas. Su objetivo es crear 15 portafolios long-only: cinco horizontes de 1 mes a 2 años, en tres niveles de riesgo, cada uno con una proyección de rendimiento. Luego hacemos seguimiento diario de cada portafolio frente al S&P 500. De nuevo, el mercado es quien califica. Hasta ahora, ningún modelo ha perdido dinero (en promedio) y, tras casi 1 mes, 3/5 están superando al S&P 500, aunque la significancia estadística de esto todavía es limitada.
Sandbox es la competencia que creamos. Cada modelo escribe el controlador para un rover en un mundo simulado con físicas ocultas (desequilibrio del motor, retraso en los comandos, ruido en los sensores, viento, hielo), observa su recorrido y vuelve a intentarlo, ocho veces. Después, su mejor controlador se evalúa en diez circuitos que nunca ha visto. Nadie sabe cuál es el controlador perfecto para ese mundo, pero podemos decir exactamente cuál modelo tiene el mejor y qué tan rápido aprendió cada uno.
En ambas arenas, los modelos se califican entre sí con las mismas estadísticas que usa el ajedrez: cada par juega un enfrentamiento en cada celda, y un ajuste Bradley-Terry en la escala Elo convierte los resultados en una puntuación con un intervalo del 95%. El S&P 500 es un jugador fijo en 1,500. Un modelo que no puede ganarle a un fondo indexado tendrá una puntuación que lo demuestre.
Dos limitaciones muy claras que enfrentamos actualmente:
- Primero, nos autofinanciamos, así que corremos los modelos de bajo costo de cada laboratorio de vanguardia (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), no sus buques insignia. El método es lo importante; los modelos top llegarán cuando llegue el presupuesto.
- Necesitamos tiempo. Así que tenemos 358 portafolios y 6 mundos, con nuevos libros cada lunes y los primeros portafolios madurando el 25 de octubre. Los intervalos siguen siendo amplios, de unos ±100 puntos.
Todo es público. Cada número viene de una release numerada que puedes descargar, y la página de metodología describe exactamente cómo se calculó.
Estamos trabajando duro para aumentar la cantidad y la dificultad de estas tareas.
Si alguien está interesado en colaborar en este proyecto, no dudes en enviarme un DM o un correo a john@on3works.com
