He estado releyendo recientemente "Hackers" de Steven Levy con mi hija. Levy describe cómo el poema de Brautigan de 1967 "All watched over by machines of loving grace" fue una inspiración para los "Hardware Hackers" de California en la década de 1970 y para organizaciones como Community Memory.
En 2026, la frase "all watched over by machines of loving grace" evoca la imagen de la humanidad arropada en los brazos de una IA poderosa y alineada ("amante de la humanidad"): una IA dictadora benevolente. De hecho, en su ensayo titulado "machines of loving grace", Dario Amodei sugiere (aunque reconociendo una profunda incertidumbre) que una forma de la economía futura podría organizarse en torno a sistemas de IA (alineados con los valores humanos) que determinen cómo "distribuir recursos... a los humanos basándose en una economía secundaria de lo que los sistemas de IA consideren que tiene sentido recompensar en los humanos". Esto parece colocar a las IAs como padres que controlan y satisfacen las necesidades materiales de sus hijos humanos y deciden cómo recompensarlos o castigarlos. Para mí, ese "padre IA" se parece bastante a un dictador benevolente.¹
Independientemente de si consideras que la IA como padre amoroso es un resultado bueno o malo, Brautigan y (más importante aún) los hackers de California tenían una visión bastante diferente y más descentralizada. En la década de 1960, las computadoras eran máquinas grandes fabricadas por empresas como IBM. Eran odiadas por muchos en la izquierda y consideradas parte del complejo militar-industrial. Pero había un grupo que combinaba la política de izquierda (o al menos una actitud anti-establishment) con el amor por la tecnología, y creía que las computadoras podían convertirse en herramientas de descentralización y liberación. Para lograrlo, las enormes y costosas computadoras debían dar paso a máquinas pequeñas y baratas. De esto se trataban los "hardware hackers", y este es el movimiento que llevó a la Apple II y a la revolución de la computadora personal.
Hoy, como las mainframes de IBM en los años 60, los sistemas de IA son grandes y costosos, y se están integrando cada vez más en aplicaciones militares. Una vez más, muchas personas en la izquierda (y recientemente también en la derecha) sienten un fuerte odio y miedo hacia esta tecnología. Si bien cierta aprensión puede estar justificada, al negarse a interactuar con la IA y reconocer sus capacidades, estos grupos se están volviendo menos relevantes para moldear el progreso de la IA. Además, mientras EE. UU. lidera la frontera, estamos quedándonos atrás en la IA de pesos abiertos, y los modelos cerrados enfrentan restricciones crecientes. Todas estas tendencias no auguran un buen futuro para una mayor descentralización.
Las leyes de escalamiento nos dicen que la forma de aumentar la inteligencia es a través de cada vez más recursos: cómputo, datos, energía. Por lo tanto, a diferencia de los años 70, las IAs no se están volviendo más pequeñas y distribuidas, sino más grandes y en centros de datos cada vez más grandes. En su ensayo, Amodei describió la AGI como "un país de genios en un centro de datos". Pero ¿quién es el gobernante de este país? ¿Es la empresa de IA dueña del centro de datos? ¿La IA misma?
Dada la tendencia hacia sistemas más grandes y costosos, es posible que las pocas partes que puedan permitirse dichos sistemas capturen todo el valor económico que generan. Además, si las IAs son más inteligentes que nosotros, la tentación de darles más control para obtener ventajas económicas o militares puede ser difícil de resistir. Me preocupa que la concentración de poder, ya sea en manos de unas pocas entidades o de la propia IA, pueda ser el "camino predeterminado". Pero esta elección no es inevitable.
Estoy tan "convencido por la amarga lección" y "convencido por las leyes de escalamiento" como cualquiera. Estoy de acuerdo en que, en última instancia, la inteligencia es simplemente computación, ya sea que ocurra sobre proteínas o silicio, y aumentar las unidades de cómputo aumentará la inteligencia. Pero esto no determina el resultado social o económico. Sí, los sistemas de IA se volverán más poderosos y mucho más inteligentes que nosotros. No, eso no significa que debamos aceptar dictadores de IA, benevolentes o no. Tampoco significa que solo el gobierno y unos pocos laboratorios deban tener acceso a la IA avanzada. Podríamos ir por el camino del control centralizado, pero no tenemos que hacerlo. Las personas, las instituciones y los legisladores pueden tomar decisiones sobre cómo equilibrar la eficiencia, la seguridad y la autonomía individual. No tienen que sacrificar esto último por lo primero.
Algunos podrían afirmar que las fuerzas del mercado y el capitalismo llevarán a las personas a ceder el control a las IAs. Pero la economía, en última instancia, se trata de lo que los humanos valoran. Los humanos somos animales sociales y damos valor a los bienes (por ejemplo, el oro) no por su valor intrínseco, sino por cómo otros humanos los valoran. La IA cambiará radicalmente lo que valoramos, aunque es difícil predecir de qué manera. Ni siquiera estoy seguro de que conceptos económicos como productividad, trabajo, capital y PIB sigan teniendo sentido en el mundo posterior a la AGI. Los físicos saben que "más es diferente". A medida que los científicos estudiaban nuevas escalas, ya sean galácticas o subatómicas, necesitaban inventar nuevas teorías, desde la física newtoniana hasta la relatividad general y la mecánica cuántica. Quizás necesitaríamos un nuevo tipo de economía.
Otros podrían decir que, dado su poder, la seguridad requiere que la IA sea controlada por el gobierno, un laboratorio "consciente de la seguridad" o la propia IA alineada. Los riesgos son reales: yo mismo trabajo en seguridad de IA. Pero también debemos recordar la larga historia de usar amenazas para quitarle las libertades a las personas. Algunas de estas amenazas eran reales; de hecho, hubo muchos espías soviéticos durante la era McCarthy y la NSA trató con organizaciones terroristas reales durante la época de Snowden. Pero en retrospectiva, nos dimos cuenta de que la compensación no valía la pena. Deberíamos invertir en salvaguardas, pero ser empíricos tanto sobre los riesgos como sobre la eficacia de nuestros métodos. Intentar lograr una seguridad perfecta contra todos los riesgos, reales e imaginarios, no solo está condenado al fracaso, sino que nos costará nuestra libertad en el proceso.
Los riesgos de la IA pueden llevar a una mentalidad de "el fin justifica los medios": "los buenos deben ganar" y ellos o la "IA buena" deben estar a cargo. Pero si queremos un futuro centrado en el ser humano y descentralizado, entonces ninguna entidad debe estar a cargo. Ninguna parte debe tener un monopolio sobre la inteligencia. Eso incluye a la propia IA: si bien podemos y debemos entrenar barreras de seguridad, la personalidad del modelo, por buena que sea, nunca es un sustituto de nuestro proceso democrático.
EE. UU. ha sobrevivido y prosperado en los últimos 250 años no porque todos sus presidentes hayan sido santos o genios, sino debido a su sistema de controles y equilibrios. Espero que podamos mantener dicho sistema durante los próximos 250 años y asegurar que nosotros, los humanos, seamos libres de buscar nuestra felicidad de la manera que la definamos. Esto requiere que la distribución del poder de las IAs esté "integrada en el ADN" de cómo construimos e implementamos esta tecnología. Si no lo logramos, entonces, al igual que las revoluciones sangrientas a menudo conducen a regímenes autoritarios, es posible que no podamos llegar a un futuro descentralizado a través de medios centralizados.
Agradecimiento: Decidí escribir este artículo después de una discusión sobre AGI con Sam Altman. Sin embargo, las opiniones aquí expresadas son mías y no representan a Sam, OpenAI ni a Harvard.
Notas:
¹ Como se mencionó, Amodei admite incertidumbre sobre el asunto; Véase también "The Adolescence of Technology". Hay muchas partes en ambos ensayos con las que estoy de acuerdo.
