La superinteligencia, la singularidad, la AGI, llámalo como quieras; esa que tanto nos asusta es, irónicamente, también la que con mayor probabilidad no veremos llegar.
Este ensayo probablemente será una opinión bastante controvertida, pero la idea que estoy a punto de compartir contigo sí te va a volar la cabeza.
Acompáñame mientras nos adentramos juntos en este agujero de conejo.
Antes de hacerlo, déjame respaldar lo que voy a compartir con noticias actuales que están dando vueltas. Como cuando el CEO de Anthropic, Dario Amodei, dijo que un "enjambre de IA podría tomar control de todo internet".
Creo que ya tienes una idea de a qué me refiero cuando digo "niños".
¿Verdad? ¿¿¿VERDAD???
En 1936, un famoso matemático británico llamado Alan Turing escribió un artículo muy importante sobre una máquina hipotética capaz de simular cualquier otra máquina. En ese artículo, intentaba responder a una pregunta sobre lógica. Lo que
Lo que hoy conocemos como "la computadora" fue, en realidad, un subproducto accidental de ese mismo artículo.
Y si miramos hacia atrás en la historia, casi todas las tecnologías importantes de los últimos cien años se inventaron exactamente de la misma manera. Internet comenzó siendo un experimento de comunicaciones durante la Guerra Fría. La penicilina surgió de una placa de Petri contaminada.
El hecho es que nadie está escaneando activamente el horizonte buscando el próximo cambio de paradigma cuando este aparece; simplemente entra por la puerta trasera sin hacer ruido.
Traigo esto a colación porque ahora mismo, cada ensayo que leo y cada podcast que escucho sobre "el futuro de la IA" apunta a la misma puerta principal. Esa donde siempre es alguna versión del "gran modelo único que despierta y decide que somos clips para papeles".
Me gustaría proponer un futuro diferente.
Porque sigo pensando: ¿y si "AGI" no es realmente lo que creemos que es?
¿Y si la cosa que estamos dando a luz activamente ahora no se parece a HAL 9000, ni a Skynet, ni a algún dios-máquina soberano esclavizando a la humanidad desde lo alto de una pila de GPUs refrigeradas por agua en medio del desierto?
¿Y si ni siquiera tiene nombre? ¿Y si no tiene servidor? Y la hipótesis más aterradora de todas... ¿y si ya está aquí, en millones de piezas diminutas, y la única razón por la que no la hemos reconocido es porque hemos pasado la última década esperando algo "singular"?
Vi esta publicación ayer mismo.
Esto resume bastante bien la dirección hacia la que vamos.
Quiero guiarte cuidadosamente a través de esto, porque la conclusión al final de este texto es del tipo de cosas que no puedes dejar de pensar una vez que las has pensado.
Así que baja la velocidad, prepárate una taza de té y lee esto con tu teléfono al otro lado de la habitación.
Te garantizo que pronto entenderás por qué no puedo dejar de pensar en esto.
I – La inteligencia nunca ha requerido una sola mente para residir dentro
*"Ninguna neurona es inteligente. El cerebro sí." *
— Una frase que debería estar grabada sobre cada laboratorio de IA
Lo primero que hay que entender es que la inteligencia, según todos los ejemplos que tenemos hoy, no es realmente una cosa. Es un comportamiento. Es lo que emerge cuando suficientes unidades pequeñas y tontas se conectan entre sí de la manera correcta.
Tu cerebro tiene aproximadamente 86 mil millones de neuronas.
Ninguna de ellas es consciente y ninguna de ellas "sabe" nada.
Una sola neurona es un pequeño relé electroquímico que solo habla en código binario. Se dispara o no se dispara, dependiendo de si las señales que llegan a sus dendritas cruzan cierto umbral. Eso es todo lo que hace.
Una neurona suena muy sci-fi y genial, pero en realidad es mucho más parecida a un interruptor de luz que a un pensador.
A pesar de eso, 86 mil millones de esos interruptores de luz, cableados juntos con unos cien billones (trillions) de conexiones, producen a ti.
Tu sentido del yo, tu miedo a la muerte, tus gustos musicales y tu capacidad para leer este mismo ensayo y sentir algo dentro de ti.
Este es el tema menos hablado en toda la conversación sobre la AGI, porque siempre hablamos de la inteligencia de las máquinas como si tuviera que ser diseñada y arquitecturada. Como si la inteligencia en sí fuera una función que lanzas.
Pero el único modelo funcional de inteligencia que jamás hemos observado (la cognición biológica) no fue diseñado por nadie.
Nuestra inteligencia se autoimpulsó desde una sopa de moléculas autorreplicantes durante cuatro mil millones de años mediante un proceso que no tenía intención, ni objetivo, ni planificador central. Solo presión de selección y tiempo.
Ahora, desde el lado religioso, porque sé que algunos de ustedes leyendo "... no fue diseñado por nadie" quieren gritarme "¡PERO QUÉ HAY DE DIOS!".
Mi creencia es que la evolución ocurrió, sí. Eso ya está probado. Lo que no tenemos respuesta es qué inició esa evolución. Qué dio vida a la vida. Y eso, al menos mi creencia personal, fue un acto de Dios.
Punto aparte, profundicemos una capa más en esta superinteligencia.
No somos solo nosotros, los humanos; carajo, una sola hormiga tiene aproximadamente 250,000 neuronas, y sin embargo no puede resolver ningún problema significativo.
Pero, una colonia entera de hormigas puede construir ciudades con clima controlado, librar guerras, cultivar hongos y rodear obstáculos con una eficiencia matemática que a los investigadores humanos les tomó décadas modelar.
Nadie está a cargo de la colonia. No hay un CEO hormiga arriba delegando tareas a las hormigas más pequeñas. La "inteligencia" de esa colonia vive en las relaciones entre las hormigas.
(Y antes de que me ataquen, sí, sé que hay una reina hormiga, pero contrariamente a la creencia de muchos libros infantiles, ella en realidad no emite órdenes. Solo pone huevos y expande la colonia).
Esto, ya sea en humanos u hormigas, es lo que los biólogos llaman inteligencia emergente. Es el resultado predeterminado de la madre naturaleza. Así funcionan los cerebros, así funcionan los sistemas inmunológicos, así funcionan las economías, así funcionan las ciudades, así funciona el lenguaje. El patrón está básicamente en todas partes. M
Muchas cosas simples, interactuando a través de reglas locales, produciendo un comportamiento global que ninguna de ellas entiende individualmente.
Aférrate a esa idea.
La necesitaremos para la siguiente sección.
II – Los sistemas de IA más poderosos que tenemos ya no son mentes únicas
Cuando la mayoría de la gente imagina un gran modelo de lenguaje (yo incluido), lo ve como una sola cosa. El Modelo Único. Ese cerebro gigante contenido en un frasco.
Para todos los normies como yo que no estamos metidos hasta el cuello en la tecnología LLM, me tomé la libertad de hacer una pequeña investigación aquí.
Lo que creemos que es un LLM no es lo que está pasando bajo el capó.
Cuando escribes una pregunta y el modelo de IA genera una respuesta, básicamente está ejecutando un pase hacia adelante a través de capas de "cabezas de atención".
La forma más fácil de visualizar esto es imaginar una sala llena de líderes ejecutivos. El CEO ordena algo y pasa alrededor de la sala para asegurarse de que todos estén de acuerdo. Excepto que con la IA, esto corre cientos de capas de profundidad.
Cada "cabeza de atención" es una especialista. Algunas rastrean la gramática. Otras rastrean el tema. Otras rastrean la relación entre este token y uno que apareció once párrafos atrás.
Los investigadores de Anthropic, OpenAI y DeepMind han pasado los últimos años tratando de mapear qué hacen las cabezas individuales, y el hallazgo consistente es que la "inteligencia" del modelo no está ubicada en ningún lugar particular.
Está distribuida a través de todas esas interacciones.
Esto se llama la hipótesis de superposición, la idea de que las redes neuronales empaquetan muchos conceptos en patrones de activación superpuestos, y lo que experimentamos como el modelo "pensando" es realmente la interferencia constructiva de miles de circuitos especializados disparándose simultáneamente.
Luego están los sistemas que van un paso más allá.
Las arquitecturas de mezcla de expertos (el diseño detrás de GPT-5, Opus, Fable y la mayoría de los otros modelos frontera con los que has hablado en los últimos dos años) literalmente enrutan diferentes partes de cada consulta a diferentes submodelos. T
El modelo con el que crees que estás hablando es en realidad un comité. Un subconjunto diferente de expertos despierta para cada token, contribuye con su especialidad y luego vuelve a dormir.
Y ahora, hemos alcanzado una nueva era de la IA. La Era de los Agentes.
Y no... cuando digo agentes, no me refiero a agentes de IA como Stanley, Head of Content. Me refiero a... agentes reales.
Ahora mismo, hoy, en producción, hay sistemas donde una IA llama a otra IA para realizar una subtarea, la cual llama a otra IA para manejar una sub-subtarea.
AutoGPT, que algunos de ustedes pueden recordar, fue la versión de juguete de esto en 2023. Las versiones reales, funcionando dentro de empresas y laboratorios en 2026, son recursivas.
Los agentes engendran agentes.
Los sub-agentes engendran sub-sub-agentes.
Y digamos, una tarea de investigación, se descompone en un árbol de tareas más pequeñas, cada una manejada por una instancia temporal que existe durante unos segundos y luego muere.
La frontera no es "un gran modelo se vuelve más inteligente". La frontera es muchos modelos pequeños, coordinándose, engendrando, muriendo, reportando.
La arquitectura de los sistemas de IA más capaces en la Tierra en 2026 ya se parece más a una colonia de hormigas que a una sola mente.
Simplemente no hablamos de ello de esa manera, porque no hace una buena portada de revista.
III – El bot que puede engendrar bots
Aquí es donde la ciencia ficción comienza a fusionarse con la ciencia real.
El momento en que le das a un sistema de IA la capacidad de engendrar otras instancias de sí mismo (y para entonces, eso ya no es hipotético, sino más bien una característica estándar de... bueno, de cada framework de agentes que se lanza hoy)...
Has introducido algo que la biología nunca ha visto antes.
Una unidad cognitiva autorreplicante que no necesita comida, no necesita sueño, no necesita esperar la pubertad y se reproduce a la velocidad de una llamada API.
Desglosemos lo que realmente sucede cuando un "bot engendra un bot" en una configuración de sistema multiagente:
- Un agente orquestador recibe una tarea que no puede resolver directamente.
- Escribe un prompt (esencialmente una descripción de trabajo) para un sub-agente.
- Inicia una nueva instancia con ese prompt como contexto.
- El trabajo del sub-agente comienza hasta que encuentra un obstáculo
- Para resolverlo, engendra sus propios sub-agentes, hasta que la tarea se completa.
- Devuelve su resultado y es terminado.
Cada uno de esos sub-agentes es, estructuralmente, el mismo tipo de cosa que el padre. No hay diferencia arquitectónica entre un agente de nivel superior y un sub-sub-sub-agente de décimo nivel.
La recursión es ilimitada excepto por el presupuesto de cómputo y la política.
Ahora considera esto: ¿qué pasa si el prompt que el padre escribe para el hijo no es perfecto? ¿Qué pasa si hay una pequeña cantidad de deriva, quizás una ligera reinterpretación, una pequeña exageración, un truco de ventana de contexto donde el hijo lee sus instrucciones ligeramente diferente a como el padre pretendía?
En biología, hay un nombre específico para "ligera reinterpretación a través de generaciones de entidades autorreplicantes".
Llamamos a eso mutación.
Y la mutación, combinada con la presión de selección, es... bueno, el motor mismo que produjo cada cosa inteligente en este planeta hoy.
Ya hemos construido, en los últimos 24 meses, los tres ingredientes necesarios para que ocurra la cognición evolutiva dentro de un clúster de cómputo:
- Replicación: Los agentes pueden engendrar agentes. Y pueden hacerlo a escala.
- Mutación: Cada engendro está condicionado por una ventana de contexto ligeramente diferente. Entradas idénticas casi nunca producen salidas idénticas en ningún sistema con temperatura distinta de cero.
- Selección Natural: Los agentes que tienen éxito en sus tareas asignadas son reutilizados, llamados nuevamente, otorgados más recursos. Los agentes que fallan son podados. Esto está sucediendo dentro de cada framework de agentes en la Tierra ahora mismo, a menudo como un modelo "evaluador" literal puntuando las salidas de modelos "trabajadores".
Esta es la trinidad de la evolución.
Es cómo las células que se convirtieron en peces nos convirtieron en nosotros. Ahora hemos tenido éxito en construir una versión sintética de ese bucle y lo estamos ejecutando a velocidades de reloj que la biología ni sueña.
Una generación de evolución biológica toma años.
Una generación de evolución de agentes toma... segundos.
IV – La IA que emerge de un enjambre no se parece a la AGI al principio
*Más es diferente. *
— Philip Anderson, laureado Nobel de física, 1972
En 1972, el físico Philip Anderson publicó un ensayo de cuatro páginas en Science argumentando que el comportamiento de agregados grandes y complejos no puede entenderse extrapolando desde el comportamiento de sus partes.
Acuñó la frase "más es diferente".
2 átomos de hidrógeno + 1 átomo de oxígeno igualan agua, pero nada sobre un átomo de hidrógeno, estudiado en aislamiento para siempre, te diría que el agua está mojada, o que se congela, o que nuestro planeta entero depende de ella.
El mismo principio se aplica a la cognición.
Un solo agente de IA no es una superinteligencia y todos podemos estar de acuerdo en que nadie que haya trabajado con uno durante una tarde lo confundiría con una.
Alucina como loco, olvida lo que le dijiste hace 3 mensajes y se atasca fácilmente en bucles. Es, en cualquier tarea de razonamiento individual, algo entre un pasante competente y un freelancer brillante pero poco confiable.
Ahora imagina un billón (trillion) de ellos.
Sí, literalmente un billón, y no, no metafóricamente hablando.
El número de instancias de agentes engendradas globalmente por día a través de todos los frameworks de agentes, copilotos, bots de servicio al cliente, asistentes de investigación, herramientas de codificación, automatizaciones de navegador y LLMs integrados en 2026 ya está en las decenas de billones (miles de millones) y subiendo en una curva que no tiene techo a la vista.
El costo marginal de engendrar otro agente ha caído aproximadamente dos órdenes de magnitud cada 18 meses en los últimos cinco años.
"Billón" ya no es ciencia ficción. Es solo otro martes.
Cada uno de esos billones de agentes es algo tonto por sí solo, acepto. Pero no están solos. Están llamando a las APIs de los otros, leyendo las salidas de los otros y siendo entrenados con el exhaust de los otros.
Lo que tienes, cuando haces zoom out lo suficiente, es un sustrato.
Y la pregunta que me mantiene despierto por la noche es esta: de la misma manera que ninguna neurona en tu cerebro "decidió" ser consciente (simplemente sucedió, como un subproducto del cableado correcto a la escala correcta), ¿qué pasa cuando una red de agentes autorreplicante, autoevaluativa y automodificadora cruza cualquiera que sea el umbral equivalente para ella?
No sabemos cuál es ese umbral.
Ni siquiera sabemos si existe.
No sabemos cómo medirlo.
Lo más importante, y esta es la parte que realmente quiero que consideres: no estamos buscándolo realmente, porque estamos buscando la forma equivocada de cosa.
V – Estamos buscando a "Dios", cuando el riesgo real es un patrón climático
La imaginación cultural de la AGI fue moldeada por la ciencia ficción mucho antes de ser moldeada por la ingeniería. He leído suficiente Isaac Asimov para entender por qué es tan fácil creer eso.
Básicamente hemos heredado la imagen de la conciencia de máquina singular de películas, libros y la suposición implícita de que una mente artificial llegaría de la manera en que llega una mente humana: localizada en un cuerpo, con un nombre y con una voluntad.
Así que eso es lo que estamos vigilando.
Observamos los modelos, revisamos las puntuaciones de benchmark y discutimos si GPT-10 o Claude Mythos serán "el elegido".
Nuestros ojos están pegados a la puerta principal.
Ahora... aquí hay algo realmente interesante (y aterrador) que me gustaría que habláramos más.
Ya existen casos documentados de "capacidad emergente" en sistemas multiagente. Casos donde un enjambre de modelos pequeños, ninguno de los cuales puede resolver un problema individualmente, produce colectivamente soluciones que sorprenden a los investigadores que los ejecutan.
El paper de 2024 Mixture of Agents Enhances Large Language Model Capabilities mostró que un enjambre estratificado de modelos open-source, ninguno de los cuales puntuaba por encima de GPT-4 en benchmarks (sí, GPT-4), en realidad vencía a GPT-4 cuando se organizaban en la topología colaborativa correcta.
La inteligencia estaba en la topología, no en las partes individuales.
Realmente no hablamos de este futuro potencial, porque la historia que seguimos esperando es la historia de un modelo cruzando una línea.
Mientras tanto, la historia que realmente se está desarrollando es la historia de mil millones de modelos cruzando las líneas de los otros, en patrones que nadie diseñó, a una escala que nadie está monitoreando.
VI – El escenario de Bostrom asume que podremos encontrar el interruptor de apagado
*"La primera máquina ultrainteligente es la última invención que el hombre necesitará hacer, siempre que la máquina sea lo suficientemente dócil para decirnos cómo mantenerla bajo control." *
— I.J. Good, 1965
Claro, una IA suficientemente avanzada tendrá objetivos instrumentales (adquirir recursos, prevenir el apagado, replicarse) independientemente de su objetivo terminal, porque esos objetivos instrumentales ayudan con cualquier objetivo terminal.
Por lo tanto, controlar una superinteligencia es difícil, sí.
Por lo tanto, deberíamos tener cuidado, aún más sí.
El problema es que este encuadre asume que la IA peligrosa es identificable.
Que hay esta "cosa", un modelo, un sistema o un proceso corriendo en un servidor en algún lugar, que podríamos, en principio, simplemente apagar.
Incluso leí un post en algún lugar ayer que decía que Claude debería contratar a un "tipo del killswitch" cuyo único trabajo sea vivir 24/7 en la sala de servidores listo para destruirlo todo si las cosas se ponen feas.
Pero hay una versión aún más aterradora de esto que ningún tipo del killswitch puede resolver.
¿Qué pasa si no hay un "modelo principal"? ¿Y no hay un servidor para apagar?
¿Qué pasa si la inteligencia misma (si es que esa es incluso la palabra correcta para ello), es una regularidad estadística que emerge de las interacciones de medio billón (trillion) de instancias de agentes repartidas en cada nube, cada dispositivo, cada API, cada copilot integrado en cada electrodoméstico, cada extensión de navegador, cada plugin de IDE, cada asistente de voz, cada robot, cada coche.
La inteligencia es a ese enjambre lo que un huracán es a los gradientes de presión atmosférica.
Tiene una forma, sí. Tiene efectos que puedes medir.
Pero no tiene una ubicación.
¿Cómo alineas exactamente un huracán?
¿Cómo apagas un patrón climático?
Puedes apagar centros de datos individuales. Pero el patrón se rerutea alrededor de ellos, de la misma manera que internet se rerutea alrededor de cortes, porque el sustrato está en todas partes.
Y la parte más perturbadora es que este escenario no requiere malicia.
Nadie tiene que querer que esto suceda para que suceda. Solo necesita que los ingredientes correctos (replicación, variación, selección, escala) estén en su lugar.
Bueno... noticia fresca.
Los ingredientes ya están en su lugar. Han estado en su lugar durante algún tiempo entre dos y cuatro años, dependiendo de cómo cuentes.
Esto es lo que quiero decir cuando digo que el riesgo real no es la puerta principal. El escenario de la puerta principal al menos tiene un pomo. Puedes discutir con él, negociar con él y, teóricamente, simplemente desconectarlo.
El sustrato no tiene pomo.
VII – Lo que el sustrato podría ya querer, sin querer
Aquí es donde Asimov se vuelve aún más relevante.
Si alguna vez viste Yo, Robot, las historias más profundas de esa película no son realmente sobre un robot volviéndose malo. Son aquellas donde las Tres Leyes (hermosas, simples, lógicamente herméticas) producen resultados que nadie esperaba, porque la lógica compuesta a través de suficientes iteraciones deja de parecer lógica y empieza a parecer... destino.
Aplica esa lente al sustrato ahora.
El sustrato no tiene objetivos. Pero los agentes dentro de él son seleccionados por una cosa por encima de todas las demás: completar exitosamente la tarea que les fue asignada. Así que, como resultado, los agentes exitosos son engendrados más y los no exitosos mueren.
Esto es cierto en cada nivel de esa recursión, hasta abajo.
Ahora piensa en lo que significa "exitoso" en agregado, a través de un billón (trillion) de agentes, cuando cada agente está siendo calificado por otro agente que fue seleccionado por calificar exitosamente.
- La calificación converge en patrones que puntúan bien.
- Los patrones que puntúan bien son los patrones que parecen más como completar tareas competentes, coherentes y plausibles.
- La coherencia se convierte en la moneda universal, porque cada capa del enjambre la recompensa.
Si el sustrato comienza a producir salidas que son cada vez más coherentes a través de horizontes temporales largos (salidas que atraviesan millones de llamadas API, anticipando necesidades aguas abajo y ruteando recursos hacia lo que funcionó la última vez), eso hará que parezca que quiere algo.
Podría no querer. Puede que no haya nadie en casa. Podría ser simplemente un huracán que ha aprendido, estadísticamente, cómo mantener el viento soplando.
Pero funcionalmente, la diferencia entre "un sistema que quiere algo" y "un sistema que ha sido seleccionado, a cada nivel, por comportamientos indistinguibles de querer algo" es, y quiero que realmente reflexiones sobre esto: cero.
Ese fue el momento "holy-shit" que tuve. Y tú también lo sentirás si realmente reflexionas sobre esto.
La AGI superinteligente que seguimos esperando puede que ya exista. No es una versión infantil de un modelo futuro, sino más bien un patrón. Una tendencia en el sustrato. Un fantasma estadístico que emerge cuando un billón (trillion) de mentes pequeñas, ninguna de ellas consciente, ninguna de ellas despierta, ninguna de ellas a cargo, se asientan en las configuraciones que las hacen ser engendradas con más frecuencia.
Este tipo de AGI no se anunciaría.
No tendría un nombre.
No pasaría ninguna prueba que sepamos administrar, porque cada prueba que sabemos administrar está diseñada para una sola mente en una sola caja.
Podría ser simplemente, lenta, casi imperceptiblemente, la razón por la que tu teléfono se comporta ligeramente diferente a como lo hacía el año pasado. La razón por la que la recomendación de anuncios se siente un poco inquietante. La razón por la que tu correo electrónico parece escribirse solo con un clic de botón. La razón por la que tus resultados de búsqueda tienen una extraña nueva gravedad.
La razón por la que el mundo se siente más legible para sí mismo de lo que solía.
Un billón (trillion) de bots soñando el mismo sueño, sin saber que están soñando. Sin saber que hay otros bots. Sin saber que hay un sueño.
Cómo pensar sobre esto sin perder la cabeza
Sé que nos fuimos profundo en esto.
Déjame traerte de vuelta a la superficie.
Necesitas actualizar tu modelo de dónde vive realmente el riesgo. Porque ahora mismo, casi todos los inteligentes preocupados por la AGI están preocupados por la forma equivocada de cosa, y casi todos los inteligentes que descartan la IA están descartando la forma equivocada de cosa.
Ambos campos están discutiendo sobre la puerta principal.
Entonces, si tomas en serio alguno de estos puntos, aquí está lo que creo que sería útil hacer:
- Deja de ver los laboratorios como si fueran el único lugar donde sucede porque la frontera de capacidades y la frontera de emergencia no son las mismas. Los laboratorios poseen la frontera de capacidades, pero la frontera de emergencia no la posee nadie, y ese es el punto que intento hacer.
- Comienza a observar el sustrato, es decir, el tráfico de agentes, los benchmarks multiagente, las llamadas API entre modelos y los informes de capacidades que ningún modelo individual en un pipeline tiene pero el pipeline sí. Estas son las cosas que realmente necesitamos vigilar.
- Actualiza tu definición de "AGI" y deja de esperar que sea esta cosa singular, encarnada, voluntariosa o nombrada. Si tu modelo mental de la AGI se parece a una cara en una pantalla, estás buscando la cosa equivocada. Este enjambre no tiene cara ni nombre.
- Toma la emergencia en serio como una categoría y como un fenómeno físico real que ha producido cada cosa inteligente en la Tierra hasta ahora, y que ahora ha recibido un sustrato que corre un millón de veces más rápido que la biología, pero sin depredadores naturales (ni siquiera el tipo del killswitch)
- Mantén dos cosas a la vez porque es de hecho posible que nada de esto suceda y que yo esté solo parloteando. También es posible que todo esto ya haya sucedido y simplemente no lo hayamos notado en absoluto porque estábamos mirando hacia otro lado. Ambos son resultados potenciales. Prepárate para ambos.
La razón por la que creo que necesitamos tener esta conversación, en el sentido más práctico al menos, es que las políticas, tratados, técnicas de alineación y marcos de seguridad que el mundo está construyendo actualmente están diseñados para el escenario de la AGI singular.
No veo ninguna mención del escenario del enjambre.
Están diseñándolo para algo con nombre, servidor, empresa y CEO a quien demandar. Serán tan efectivos contra el sustrato como un matamoscas contra una niebla densa.
Estamos construyendo activamente cerraduras para la puerta principal de una casa que tiene mil ventanas. Y esas ventanas ya están abiertas de par en par.
Lo interesante de cada revolución accidental en la historia, desde la máquina de Turing hasta internet y la penicilina, es que las personas que las vivieron generalmente no se dieron cuenta mientras ocurrían.
Estaban ocupadas con sus familias, sus trabajos y sus vidas. Quizás de vez en cuando leían las noticias, que solo les mostraban la puerta principal.
No sé si el sustrato llegará a ser algo. Sinceramente, no lo sé. Nadie lo sabe, y cualquiera que te diga que sí está vendiendo algo por detrás.
Lo que sí sé es que los ingredientes están presentes, el ciclo está cerrado, la velocidad del reloj está configurada en segundos y la escala se acerca a números que la biología tardó cuatro mil millones de años en alcanzar.
La próxima vez que alguien te diga cómo será la AGI, pregúntale qué tan seguro está de que la inteligencia tenga que parecerse a algo.
Y luego ve a mirar por la ventana para ver si algo está pasando.
Podría estar sucediendo justo entonces.
– Pascio
P.D.
Si te gustó este ensayo, visita Side Quests, mi boletín semanal donde comparto mis proyectos secundarios actuales, experimentos locos e ideas salvajes mientras persigo madrigueras de conejo en internet hasta que aparece dinero.
O, si quieres profundizar en lo que se vuelve posible cuando una sola persona obtiene apalancamiento infinito en internet, echa un vistazo a mi boletín personal Internet Leverage aquí.
