최근에 딸과 함께 스티븐 레비의 『해커스』를 다시 읽고 있습니다. 레비는 브라우티건의 1967년 시 "사랑의 은혜를 베푸는 기계들이 지켜보는 세상"이 1970년대 캘리포니아의 "하드웨어 해커들"과 커뮤니티 메모리 같은 조직에 영감을 주었다고 설명합니다.
2026년, "사랑의 은혜를 베푸는 기계들이 지켜보는 세상"이라는 문구는 인류가 강력하고 인간을 사랑하는 정렬된 AI의 품에 안겨 있는 모습, 즉 자비로운 독재자로서의 AI를 연상시킵니다. 실제로 다리오 아모데이는 자신의 에세이 "machines of loving grace"에서 (깊은 불확실성을 인정하면서도) 미래 경제의 한 형태가 AI 시스템(인간의 가치에 정렬된)이 "AI 시스템이 인간에게 보상하는 것이 합리적이라고 판단하는 기준에 기반한 2차 경제를 통해 인간에게 자원을 분배하는 방법"을 결정하는 방식으로 조직될 수 있다고 제안합니다. 이는 AI를 자녀의 물질적 필요를 통제하고 돌보며, 보상이나 처벌 방법을 결정하는 부모의 위치에 두는 것으로 보입니다. 제게는 이러한 "AI 부모"가 자비로운 독재자에 매우 가까워 보입니다.¹
AI를 사랑하는 부모로 보는 것이 좋은 결과인지 나쁜 결과인지에 관계없이, 브라우티건과 (더 중요하게는) 캘리포니아 해커들은 상당히 다르고 더 분산된 비전을 가지고 있었습니다. 1960년대에 컴퓨터는 IBM과 같은 회사가 만든 대형 기계였습니다. 그들은 좌파의 많은 사람들에게 증오의 대상이었고, 군산 복합체의 일부로 간주되었습니다. 하지만 좌파 정치(또는 적어도 반체제 태도)와 기술에 대한 사랑을 결합하여 컴퓨터가 분산화와 해방의 도구가 될 수 있다고 믿는 그룹이 있었습니다. 그러기 위해서는 거대하고 값비싼 컴퓨터가 작고 저렴한 기계로 대체되어야 했습니다. 이것이 바로 "하드웨어 해커들"의 목표였고, 이 운동이 Apple II와 개인용 컴퓨터 혁명으로 이어졌습니다.
오늘날, 60년대의 IBM 메인프레임처럼 AI 시스템은 크고 비싸며, 군사 분야에 점점 더 통합되고 있습니다. 다시 한 번, 많은 좌파(그리고 최근에는 우파까지도) 사람들은 이 기술에 대해 강한 증오와 두려움을 가지고 있습니다. 일부 우려는 정당할 수 있지만, AI에 관여하고 그 능력을 인정하는 것을 거부함으로써, 이들은 AI 발전을 형성하는 데 있어 자신들의 영향력을 약화시키고 있습니다. 또한, 미국이 최전선을 선도하고 있지만, 오픈 웨이트 AI 분야에서는 뒤쳐지고 있으며, 클로즈드 모델은 점점 더 많은 제한에 직면하고 있습니다. 이러한 모든 추세는 더 분산된 미래에 좋은 징조가 아닙니다.
스케일링 법칙은 지능을 높이는 방법이 더 많은 자원(컴퓨팅, 데이터, 전력)을 필요로 한다는 것을 알려줍니다. 따라서 1970년대와 달리, AI는 점점 작아지고 분산되지 않고, 오히려 더 커지고 더 큰 데이터 센터에 위치하게 됩니다. 에세이에서 아모데이는 AGI를 "데이터 센터 안의 천재들의 나라"라고 묘사했습니다. 하지만 이 나라의 통치자는 누구일까요? 데이터 센터를 소유한 AI 회사일까요? AI 자체일까요?
더 크고 더 비싼 시스템으로의 추세를 감안할 때, 그러한 시스템을 감당할 수 있는 소수의 주체들이 그 시스템이 창출하는 모든 경제적 가치를 독점할 가능성이 있습니다. 더욱이, AI가 우리보다 더 지능적이라면, 경제적 또는 군사적 이점을 위해 AI에 더 많은 통제권을 부여하려는 유혹에 저항하기 어려울 수 있습니다. 저는 소수의 주체나 AI 자체의 손에 권력이 집중되는 것이 "기본 경로"가 될 수 있다고 우려합니다. 하지만 이 선택은 불가피하지 않습니다.
저는 누구 못지않게 "비터 레슨"과 "스케일링 법칙"을 확신합니다. 궁극적으로 지능은 단백질이든 실리콘이든 상관없이 단순히 계산이며, 컴퓨팅 유닛을 늘리면 지능이 향상된다는 데 동의합니다. 하지만 이것이 사회적 또는 경제적 결과를 결정하지는 않습니다. 그렇습니다. AI 시스템은 더 강력해지고 우리보다 훨씬 더 지능적이 될 것입니다. 아니요, 그것이 우리가 자비로운 독재자든 아니든 AI 독재자를 받아들여야 한다는 의미는 아닙니다. 또한 오직 정부와 소수의 연구소만이 고급 AI에 접근할 수 있어야 한다는 의미도 아닙니다. 우리는 중앙 집중식 통제의 길로 갈 수도 있지만, 꼭 그럴 필요는 없습니다. 사람, 기관, 입법자는 효율성, 안전성, 개인 자율성 사이에서 균형을 맞추는 방법을 선택할 수 있습니다. 그들은 후자를 위해 전자를 희생할 필요가 없습니다.
어떤 이들은 시장과 자본주의의 힘이 사람들로 하여금 AI에 통제권을 넘기도록 만들 것이라고 주장할 수도 있습니다. 하지만 경제는 궁극적으로 인간이 가치를 두는 것에 관한 것입니다. 인간은 사회적 동물이며, 우리는 상품(예: 금)에 본질적인 가치가 아니라 다른 인간이 그것을 어떻게 평가하는지 때문에 가치를 부여합니다. AI는 우리가 가치를 두는 것을 근본적으로 변화시킬 것이지만, 어떤 방식으로 변화할지 예측하기는 어렵습니다. 저는 생산성, 노동, 자본, GDP와 같은 경제 개념이 AGI 이후의 세계에서 여전히 의미가 있을지조차 확신하지 못합니다. 물리학자들은 "더 많은 것은 다르다"는 것을 알고 있습니다. 과학자들이 은하계든 아원자든 새로운 규모를 연구할 때, 뉴턴 물리학에서 일반 상대성 이론과 양자 역학에 이르기까지 새로운 이론을 발명해야 했습니다. 아마도 우리에게는 새로운 유형의 경제가 필요할지도 모릅니다.
다른 사람들은 그 힘을 고려할 때, 안전을 위해 AI가 정부, "안전 의식이 있는" 연구소, 또는 정렬된 AI 자체에 의해 통제되어야 한다고 말할 수도 있습니다. 위험은 실제로 존재합니다. 저도 AI 안전 연구를 하고 있습니다. 하지만 우리는 위협을 이용해 사람들의 자유를 빼앗아온 오랜 역사를 기억해야 합니다. 이러한 위협 중 일부는 실제로 존재했습니다. 매카시 시대에는 실제로 많은 소련 스파이가 있었고, NSA는 스노든이 근무하던 시절에 실제 테러 조직을 상대했습니다. 하지만 결과적으로 우리는 그 균형이 가치가 없었다는 것을 깨달았습니다. 우리는 안전 장치에 투자해야 하지만, 위험과 우리 방법의 효율성 모두에 대해 경험적으로 접근해야 합니다. 실제적이든 상상이든 모든 위험에 대해 완벽한 안전을 추구하는 것은 실패할 뿐만 아니라, 그 과정에서 우리의 자유를 잃게 될 것입니다.
AI의 위험은 "목적이 수단을 정당화한다"는 사고방식으로 이어질 수 있습니다. "좋은 사람이 이겨야 한다"는 사고방식이며, 그들 또는 "좋은 AI"가 책임을 져야 한다는 생각입니다. 하지만 우리가 인간 중심적이고 분산된 미래를 원한다면, 어떤 단일 주체도 책임을 져서는 안 됩니다. 어떤 주체도 지능에 대한 독점권을 가져서는 안 됩니다. 여기에는 AI 자체도 포함됩니다. 우리는 가드레일을 훈련시킬 수 있고 또 그래야 하지만, 아무리 훌륭한 모델의 성격이라 할지라도 결코 우리의 민주적 과정을 대체할 수 없습니다.
미국이 지난 250년 동안 생존하고 번영할 수 있었던 이유는 대통령이 모두 성인이거나 천재였기 때문이 아니라, 견제와 균형 시스템 덕분이었습니다. 저는 우리가 앞으로 250년 동안 그러한 시스템을 유지하고, 우리 인간이 스스로 정의하는 방식으로 행복을 추구할 자유를 보장할 수 있기를 바랍니다. 이를 위해서는 AI 권력의 분배가 이 기술을 구축하고 배포하는 방식의 "DNA에 내장"되어야 합니다. 그렇게 하지 못한다면, 피비린내 나는 혁명이 종종 권위주의 정권으로 이어지는 것처럼, 우리는 중앙 집권적 수단을 통해 분산된 미래에 도달하지 못할 수도 있습니다.
감사의 말: 저는 샘 알트만과 AGI에 대한 토론 후에 이 글을 쓰기로 결정했습니다. 하지만 여기에 담긴 견해는 저의 개인적인 의견이며, 샘, OpenAI, 또는 하버드의 의견을 대표하지 않습니다.
참고:
¹ 언급했듯이, 아모데이는 이 문제에 대한 불확실성을 인정합니다. "기술의 청년기"도 참조하십시오. 두 에세이 모두 제가 동의하는 부분이 많습니다.
