Recentemente, reli "Hackers", de Steven Levy, com minha filha. Levy descreve como o poema de Brautigan de 1967, "All watched over by machines of loving grace", foi inspirador para os "Hardware Hackers" da Califórnia dos anos 1970 e para organizações como a Community Memory.
Em 2026, a frase "all watched over by machines of loving grace" evoca a imagem da humanidade aninhada nos braços de uma IA poderosa e alinhada ("amante da humanidade"): uma IA ditadora benevolente. De fato, em seu ensaio intitulado "machines of loving grace", Dario Amodei sugere (embora reconheça grande incerteza) que uma forma da economia futura poderia ser organizada em torno de sistemas de IA (alinhados aos valores humanos) que determinam como "distribuir recursos... aos humanos com base em uma economia secundária do que os sistemas de IA acham que faz sentido recompensar nos humanos". Isso parece colocar as IAs como pais que controlam e cuidam das necessidades materiais de seus filhos humanos e decidem como recompensá-los ou puni-los. Para mim, um "IA pai" assim se parece muito com um ditador benevolente.¹
Independentemente de você pensar que uma IA como pai amoroso é um resultado bom ou ruim, Brautigan e (mais importante) os hackers da Califórnia tinham uma visão bastante diferente e mais descentralizada. Nos anos 1960, os computadores eram máquinas grandes fabricadas por empresas como a IBM. Eles eram odiados por muitos na esquerda e considerados parte do complexo militar-industrial. Mas havia um grupo que combinava política de esquerda (ou pelo menos uma atitude anti-establishment) com o amor pela tecnologia, e acreditava que os computadores poderiam se tornar ferramentas de descentralização e libertação. Para isso, os computadores gigantes e caros precisariam dar lugar a máquinas pequenas e baratas. Era sobre isso que os "hardware hackers" se tratavam, e esse foi o movimento que levou ao Apple II e à revolução do computador pessoal.
Hoje, como os mainframes da IBM dos anos 60, os sistemas de IA são grandes e caros, e estão cada vez mais integrados em aplicações militares. Mais uma vez, muitas pessoas na esquerda (e recentemente também na direita) sentem forte ódio e medo dessa tecnologia. Embora alguma apreensão possa ser justificada, ao se recusar a se envolver com a IA e reconhecer suas capacidades, essas pessoas estão se tornando menos relevantes para moldar o progresso da IA. Além disso, enquanto os EUA estão liderando a fronteira, estamos ficando para trás em IA de pesos abertos, e os modelos fechados estão enfrentando restrições crescentes. Todas essas tendências não são bons presságios para um futuro mais descentralizado.
As leis de escala nos dizem que a maneira de aumentar a inteligência é através de cada vez mais recursos — computação, dados, energia. Portanto, ao contrário dos anos 1970, as IAs não estão ficando menores e mais distribuídas, mas sim maiores e em data centers cada vez maiores. Em seu ensaio, Amodei descreveu a AGI como "um país de gênios em um data center". Mas quem é o governante deste país? É a empresa de IA que possui o data center? A própria IA?
Dada a tendência para sistemas maiores e mais caros, é possível que as poucas partes que podem pagar por tais sistemas capturem todo o valor econômico que eles geram. Além disso, se as IAs forem mais inteligentes que nós, a tentação de dar a elas mais controle por vantagens econômicas ou militares pode ser difícil de resistir. Eu me preocupo que a concentração de poder, seja nas mãos de algumas entidades ou da própria IA, possa ser o "caminho padrão". Mas essa escolha não é inevitável.
Sou tão "pilled da lição amarga" e "pilled da lei de escala" quanto qualquer um. Concordo que, em última análise, inteligência é simplesmente computação, independentemente de ocorrer sobre proteínas ou silício, e aumentar as unidades de computação aumentará a inteligência. Mas isso não determina o resultado social ou econômico. Sim, os sistemas de IA se tornarão mais poderosos e muito mais inteligentes do que nós. Não, isso não significa que precisamos aceitar ditadores de IA, benevolentes ou não. Nem significa que apenas o governo e alguns laboratórios devem ter acesso à IA avançada. Poderíamos seguir o caminho do controle centralizado, mas não precisamos fazê-lo. Pessoas, instituições e legisladores podem fazer escolhas sobre como equilibrar eficiência, segurança e autonomia individual. Eles não precisam sacrificar esta última pela primeira.
Alguns podem alegar que as forças do mercado e do capitalismo levarão as pessoas a ceder o controle às IAs. Mas a economia, em última análise, é sobre o que os humanos valorizam. Os humanos são animais sociais e damos valor aos bens (por exemplo, ouro) não por seu valor intrínseco, mas por como outros humanos os valorizam. A IA mudará radicalmente o que valorizamos, embora seja difícil prever de que maneiras. Não tenho nem certeza se conceitos econômicos como produtividade, trabalho, capital e PIB continuarão a fazer sentido no mundo pós-AGI. Os físicos sabem que "mais é diferente". À medida que os cientistas estudavam novas escalas, sejam galácticas ou subatômicas, precisavam inventar novas teorias, da física newtoniana à relatividade geral e à mecânica quântica. Talvez precisássemos de um novo tipo de economia.
Outros podem dizer que, dado seu poder, a segurança exige que a IA seja controlada pelo governo, por um laboratório "consciente da segurança" ou pela própria IA alinhada. Os riscos são reais — eu mesmo trabalho em segurança de IA. Mas também devemos lembrar a longa história de uso de ameaças para tirar as liberdades das pessoas. Algumas dessas ameaças eram reais — havia realmente muitos espiões soviéticos durante o período McCarthy e a NSA lidou com organizações terroristas reais durante o tempo de Snowden lá. Mas, em retrospecto, percebemos que a troca não valeu a pena. Devemos investir em salvaguardas, mas ser empíricos tanto sobre os riscos quanto sobre a eficácia de nossos métodos. Tentar alcançar segurança perfeita contra todos os riscos, reais e imaginários, não só está fadado ao fracasso, mas nos custará nossa liberdade no processo.
Os riscos da IA podem levar a uma mentalidade de "os fins justificam os meios": "os mocinhos devem vencer" e eles ou a "IA boa" devem estar no comando. Mas se queremos um futuro centrado no ser humano e descentralizado, então nenhuma entidade deve estar no comando. Nenhuma parte deve ter um monopólio sobre a inteligência. Isso inclui a própria IA: embora possamos e devamos treinar com proteções, a personalidade do modelo, por mais boa que seja, nunca substitui nosso processo democrático.
Os EUA sobreviveram e prosperaram nos últimos 250 anos não porque nossos presidentes foram todos santos ou gênios, mas por causa do nosso sistema de freios e contrapesos. Espero que possamos manter esse sistema em vigor pelos próximos 250 anos e garantir que nós, humanos, sejamos livres para buscar nossa felicidade da maneira que a definimos. Isso requer que a distribuição do poder das IAs esteja "gravada no DNA" de como construímos e implantamos essa tecnologia. Se falharmos em fazer isso, então, assim como revoluções sangrentas frequentemente levam a regimes autoritários, podemos não ser capazes de chegar a um futuro descentralizado por meios centralizados.
Agradecimento: Decidi escrever este post após uma discussão sobre AGI com Sam Altman. No entanto, as opiniões aqui são minhas e não representam Sam, OpenAI ou Harvard.
Notas:
¹ Como mencionado, Amodei admite incerteza sobre o assunto; Veja também "The Adolescence of Technology". Há muitas partes em ambos os ensaios com as quais concordo.
