Recientemente he estado releyendo "Hackers" de Steven Levy con mi hija. Levy describe cómo el poema de Brautigan de 1967 "Todos vigilados por máquinas de amorosa gracia" fue una inspiración para los "Hackers de Hardware" de California en los años 70 y para organizaciones como Community Memory.
En 2026, la frase "todos vigilados por máquinas de amorosa gracia" evoca la imagen de la humanidad acunada en los brazos de una IA poderosa y alineada ("amante de la humanidad"): una IA dictadora benevolente. De hecho, en su ensayo titulado "machines of loving grace", Dario Amodei sugiere (aunque reconociendo una profunda incertidumbre) que una forma de la economía futura podría organizarse en torno a sistemas de IA (alineados con los valores humanos) que determinen cómo "distribuir recursos... a los humanos basándose en una economía secundaria de lo que los sistemas de IA consideran que tiene sentido recompensar en los humanos". Esto parece situar a las IAs como padres que controlan y cuidan las necesidades materiales de sus hijos humanos y deciden cómo recompensarlos o castigarlos. Para mí, un "padre IA" de este tipo se parece bastante a un dictador benevolente.¹
Independientemente de si consideras que una IA como padre amoroso es un resultado bueno o malo, Brautigan y (más importante aún) los hackers de California tenían una visión bastante diferente y más descentralizada. En los años 60, las computadoras eran máquinas grandes fabricadas por empresas como IBM. Eran odiadas por muchos en la izquierda y consideradas parte del complejo militar-industrial. Pero había un grupo que combinaba la política de izquierdas (o al menos una actitud antisistema) con el amor por la tecnología, y creía que las computadoras podían convertirse en herramientas de descentralización y liberación. Para ello, las enormes y costosas computadoras debían dar paso a máquinas pequeñas y baratas. De esto se trataban los "hackers de hardware", y este es el movimiento que llevó al Apple II y a la revolución de la computadora personal.
Hoy, como las mainframes de IBM de los años 60, los sistemas de IA son grandes y costosos, y se están integrando cada vez más en aplicaciones militares. Una vez más, muchas personas en la izquierda (y recientemente también en la derecha) sienten un fuerte odio y miedo hacia esta tecnología. Si bien cierta aprensión puede estar justificada, al negarse a interactuar con la IA y reconocer sus capacidades, estos grupos se están volviendo menos relevantes para moldear el progreso de la IA. Además, mientras Estados Unidos lidera la frontera, estamos quedándonos atrás en IA de pesos abiertos, y los modelos cerrados enfrentan restricciones crecientes. Todas estas tendencias no auguran nada bueno para un futuro más descentralizado.
Las leyes de escalado nos dicen que la forma de aumentar la inteligencia es a través de cada vez más recursos: cómputo, datos, energía. Por lo tanto, a diferencia de los años 70, las IAs no se están volviendo más pequeñas y distribuidas, sino más grandes y en centros de datos cada vez más enormes. En su ensayo, Amodei describió la AGI como "un país de genios en un centro de datos". Pero, ¿quién es el gobernante de este país? ¿La empresa de IA que posee el centro de datos? ¿La propia IA?
Dada la tendencia hacia sistemas más grandes y costosos, es posible que las pocas partes que puedan permitirse tales sistemas capturen todo el valor económico que generan. Además, si las IAs son más inteligentes que nosotros, la tentación de darles más control por ventajas económicas o militares puede ser difícil de resistir. Me preocupa que la concentración de poder, ya sea en manos de unas pocas entidades o de la propia IA, pueda ser el "camino predeterminado". Pero esta elección no es inevitable.
Estoy tan "influenciado por la lección amarga" y "por las leyes de escalado" como cualquiera. Estoy de acuerdo en que, en última instancia, la inteligencia es simplemente computación, independientemente de si ocurre sobre proteínas o silicio, y aumentar las unidades de cómputo aumentará la inteligencia. Pero esto no determina el resultado social o económico. Sí, los sistemas de IA se volverán más poderosos y mucho más inteligentes que nosotros. No, eso no significa que debamos aceptar dictadores de IA, benevolentes o no. Tampoco significa que solo el gobierno y unos pocos laboratorios deban tener acceso a la IA avanzada. Podríamos ir por el camino del control centralizado, pero no tenemos que hacerlo. Las personas, las instituciones y los legisladores pueden tomar decisiones sobre cómo equilibrar la eficiencia, la seguridad y la autonomía individual. No tienen que sacrificar esta última por las primeras.
Algunos podrían afirmar que las fuerzas del mercado y el capitalismo llevarán a las personas a ceder el control a las IAs. Pero la economía, en última instancia, trata sobre lo que los humanos valoran. Los humanos somos animales sociales y damos valor a los bienes (por ejemplo, el oro) no por su valor intrínseco, sino por cómo otros humanos los valoran. La IA cambiará radicalmente lo que valoramos, aunque es difícil predecir de qué maneras. Ni siquiera estoy seguro de que conceptos económicos como productividad, trabajo, capital y PIB sigan teniendo sentido en el mundo post-AGI. Los físicos saben que "más es diferente". A medida que los científicos estudiaban nuevas escalas, ya sean galácticas o subatómicas, necesitaban inventar nuevas teorías, desde la física newtoniana hasta la relatividad general y la mecánica cuántica. Quizás necesitaríamos un nuevo tipo de economía.
Otros podrían decir que, dado su poder, la seguridad requiere que la IA sea controlada por el gobierno, un laboratorio "consciente de la seguridad" o la propia IA alineada. Los riesgos son reales: yo mismo trabajo en seguridad de IA. Pero también debemos recordar la larga historia de usar amenazas para quitarle libertades a la gente. Algunas de estas amenazas eran reales: en realidad, hubo muchos espías soviéticos durante el período McCarthy y la NSA lidiaba con organizaciones terroristas reales durante la época de Snowden. Pero en retrospectiva, nos dimos cuenta de que la compensación no valía la pena. Deberíamos invertir en salvaguardas, pero ser empíricos tanto sobre los riesgos como sobre la eficacia de nuestros métodos. Intentar lograr una seguridad perfecta contra todos los riesgos, reales e imaginarios, no solo está condenado al fracaso, sino que nos costará nuestra libertad en el proceso.
Los riesgos de la IA pueden llevar a una mentalidad de "el fin justifica los medios": "los buenos deben ganar" y ellos o la "IA buena" deben estar al mando. Pero si queremos un futuro centrado en el ser humano y descentralizado, entonces ninguna entidad debería estar al mando. Ninguna parte debería tener un monopolio sobre la inteligencia. Eso incluye a la propia IA: si bien podemos y debemos entrenar barreras de seguridad, la personalidad del modelo, por buena que sea, nunca es un sustituto de nuestro proceso democrático.
Estados Unidos sobrevivió y prosperó en los últimos 250 años no porque nuestros presidentes hayan sido todos santos o genios, sino por nuestro sistema de controles y equilibrios. Espero que podamos mantener un sistema así durante los próximos 250 años, y para asegurar que nosotros, los humanos, seamos libres de buscar nuestra felicidad en la forma en que la definimos. Esto requiere que la distribución del poder de las IAs esté "grabada en el ADN" de cómo construimos e implementamos esta tecnología. Si no lo logramos, entonces, al igual que las revoluciones sangrientas a menudo conducen a regímenes autoritarios, es posible que no podamos llegar a un futuro descentralizado a través de medios centralizados.
Agradecimiento: Decidí escribir este artículo después de una discusión sobre AGI con Sam Altman. Sin embargo, las opiniones aquí expresadas son mías y no representan a Sam, OpenAI ni a Harvard.
Notas:
¹ Como se mencionó, Amodei admite incertidumbre sobre el asunto; Véase también "La Adolescencia de la Tecnología". Hay muchas partes en ambos ensayos con las que estoy de acuerdo.
