초지능, 특이점, AGI, 뭐라고 부르든 상관없다. 우리가 그토록 두려워하는 바로 그것이, 아이러니하게도 가장 예측 불가능한 형태로 찾아올 것이다.
이 에세이는 꽤나 논쟁적인 주장을 담고 있을 가능성이 높지만, 지금부터 공유할 아이디어는 정말 당신의 상식을 뒤집을 것이다.
함께 토끼굴 속으로 깊이 파고들 준비가 됐다면 계속 읽어보자.
그 전에, 현재 떠돌아다니는 최신 뉴스들로 내 주장의 근거를 대보겠다. 예를 들어 Anthropic CEO Dario Amodei가 "AI 군단이 인터넷 전체를 장악할 수 있다"고 말한 것처럼 말이다.
내가 "아이들(children)"이라고 했을 때 무엇을 암시하려는지 감이 잡힐 거라 생각한다.
맞지? 맞잖아?!?!?
1936년, Alan Turing이라는 유명한 영국 수학자가 다른 모든 기계를 시뮬레이션할 수 있는 가상의 기계에 대한 매우 중요한 논문을 썼다. 그 논문에서 그는 논리학에 관한 질문에 답하려고 했다.
오늘날 우리가 '컴퓨터'라고 부르는 것은 사실 그 논문의 우연한 부산물이었다.
역사를 되돌아보면 지난 100년간 거의 모든 중요한 기술은 정확히 같은 방식으로 발명되었다. 인터넷은 처음에는 냉전 시대의 통신 실험이었고, 페니실린은 오염된 배양접시에서 발견되었다.
사실 아무도 다음 패러다임 전환이 나타났을 때 지평선을 열심히 스캔하지 않는다. 그것은 그저 옆문으로 슬쩍 들어와 춤추듯 등장할 뿐이다.
이 이야기를 꺼낸 이유는 지금 내가 읽는 모든 에세이와 듣는 모든 AI 관련 팟캐스트가 모두 같은 정면 현관문을 바라보고 있기 때문이다. 항상 "거대한 단일 모델이 깨어나 우리를 클립으로 만들기로 결정한다"는 식의 서사 말이다.
나는 다른 미래를 제안하고 싶다.
왜냐하면 나는 계속 생각하기 때문이다: 만약 "AGI"가 우리가 생각하는 것과 정말로 다르다면 어떨까?
만약 우리가 지금 활발하게 탄생시키고 있는 것이 HAL 9000이나 Skynet, 혹은 사막 한가운데 수냉식 GPU 더미 위에서 인류를 노예로 부리는 주권적 기계 신처럼 보이지 않는다면 어떨까?
만약 그것에게 이름조차 없다면? 서버도 없다면? 그리고 가장 무서운 가정인... 만약 이미 여기 있다면, 백만 개의 작은 조각으로 흩어진 채로, 우리가 지난 10년간 '단일(singular)'한 것을 기대하느라 그것을 인식하지 못한 것뿐이라면?
어제 이 게시물을 봤다.
우리가 향하고 있는 방향을 잘 요약해 준다.
신중하게 하나씩 짚어보고 싶다. 왜냐하면 이 글의 결론은 한번 생각하면 다시 잊을 수 없는 종류의 것이기 때문이다.
그러니 천천히 읽고, 차 한 잔 마시고, 휴대폰은 방 반대편에 두고 읽어보길 권한다.
내가 왜 이 주제에서 손을 떼지 못하는지 곧 이해하게 될 것이라고 보장한다.
I – 지능은 살아갈 하나의 마음을 요구한 적이 없다
*"뉴런은 지능이 없다. 뇌가 지능적이다." *
— 모든 AI 연구소 입구에 새겨야 할 문장
먼저 이해해야 할 점은, 우리가 가진 모든 사례로 판단하건대 지능은 실제로 '사물(thing)'이 아니라는 것이다. 그것은 행동(behavior)이다. 충분히 많은 작고 멍청한 단위들이 올바른 방식으로 서로 연결될 때 발생하는 현상이다.
당신의 뇌에는 약 860억 개의 뉴런이 있다.
그중 어느 것도 의식이 없으며, 어느 것도 '알고' 있지 않다.
단일 뉴런은 이진 코드만으로 말하는 작은 전기화학적 중계기일 뿐이다. 신호가 특정 임계값을 넘으면 발화하거나(fire), 아니면 하지 않는다. 그게 전부다.
뉴런은 SF 영화처럼 멋지고 cool해 보이지만, 현실에서는 사상가(thinker)보다는 전등 스위치(light switch)에 훨씬 가깝다.
그럼에도 불구하고, 약 100조 개의 연결로 묶인 860억 개의 전등 스위치는 당신을 만들어낸다.
당신의 자아 감각, 죽음에 대한 공포, 음악 취향, 그리고 이 에세이를 읽으며 마음속 무언가를 느끼는 능력까지.
AGI에 대한 논의 전체에서 가장 간과되는 주제인데, 우리는 기계 지능이 마치 설계되고 아키텍처링되어야 하는 것처럼 이야기하기 때문이다. 마치 지능 자체가 출시(ship)하는 기능인 것처럼.
하지만 우리가 관찰한 유일한 작동하는 지능 모델(생물학적 인지)은 누구에 의해 설계되지 않았다.
우리의 지능은 40억 년 동안 자기 복제 분자 수프 속에서 의도도, 목표도, 중앙 계획자도 없는 과정을 통해 스스로 부트스트랩되었다. 오직 선택 압력과 시간만이 있었을 뿐이다.
종교적인 관점에서, "...누구도 설계하지 않았다"는 말을 읽으면서 "하지만 하나님은요!"라고 소리치고 싶은 독자들이 있을 테니 언급하자면,
내 믿음은 진화가 일어났다는 것이다. 이미 증명된 사실이다. 우리가 답을 모르는 것은 그 진화를 무엇으로 시작했는가, 생명에 생명을 불어넣은 것이 무엇인가이다. 적어도 나의 개인적인 믿음으로는, 그것은 하나님의 행위였다.
본론으로 돌아가서, 이 초지능을 한 층 더 깊이 파헤쳐 보자.
우리 인간뿐만 아니라, 개미 한 마리도 약 25만 개의 뉴런을 가지고 있지만 의미 있는 문제를 해결할 수 없다.
하지만 개미 군락 전체는 기후 조절 도시를 건설하고, 전쟁을 벌이며, 곰팡이를 재배하고, 인간 연구원들이 수십 년 걸려 모델링한 수학적 효율성으로 장애물을 우회한다.
군락을 통제하는 존재는 없다. 최상위에 작업을 위임하는 개미 CEO는 없다. 그 군락의 '지능'은 개미들 사이의 관계(relationships) 속에 존재한다.
(비판하기 전에 말해두자면, 여왕개미가 있다는 건 나도 안다. 하지만 많은 아동용 책들의 믿음과 달리, 그녀는 실제로 명령을 내리지 않는다. 그냥 알을 낳고 군락을 확장할 뿐이다.)
인간이든 개미든, 생물학자들은 이것을 창발적 지능(emergent intelligence)이라고 부른다. 이것은 자연의 기본 결과물이다. 뇌가 작동하는 방식, 면역 체계가 작동하는 방식, 경제가 작동하는 방식, 도시가 작동하는 방식, 언어가 작동하는 방식이다. 이 패턴은 기본적으로 어디에나 있다.
많은 단순한 것들이 지역 규칙(local rules)을 통해 상호작용하여, 개별적으로는 아무도 이해하지 못하는 글로벌 행동을 생성한다.
이 생각을 꼭 기억해 두자.
다음 섹션에서 필요할 테니까.
II – 우리가 가진 가장 강력한 AI 시스템들은 이미 단일 마음이 아니다
대부분의 사람들이 대규모 언어 모델(LLM)을 떠올릴 때(나 포함), 그것을 하나의 것으로 본다. 'The One Model'. 항아리에 담긴 거대한 뇌.
LLM 기술에 깊숙이 빠져있지 않은 일반인(normies)들을 위해, 내가 조금 조사해 보았다.
우리가 LLM이라고 생각하는 것은 내부(hood)에서 일어나는 일이 아니다.
질문을 입력하고 AI 모델이 응답을 생성할 때, 본질적으로 'attention heads' 레이어를 통한 순방향 전달(forward pass)을 수행하는 것이다.
이것을 상상하기 가장 쉬운 방법은 C-suite 리더들로 가득 찬 방을 떠올리는 것이다. CEO가 무언가를 지시하면 방 안을 돌며 모두가 동의하는지 확인한다. 다만 AI에서는 이것이 수백 레이어 깊이로 반복된다.
각 'attention head'는 전문가다. 어떤 것은 문법을 추적하고, 어떤 것은 주제를 추적하며, 어떤 것은 이 토큰과 11 단락 전에 나타난 토큰 간의 관계를 추적한다.
Anthropic, OpenAI, DeepMind의 연구원들은 지난 몇 년간 개별 헤드(heads)의 역할을 매핑하려고 노력해 왔으며, 일관된 발견은 모델의 '지능'이 특정 위치에 있지 않다는 것이다.
그것은 모든 상호작용에 걸쳐 분산되어 있다.
이것을 superposition hypothesis(중첩 가설)라고 하는데, 신경망이 많은 개념들을 겹치는 활성화 패턴으로 포장한다는 아이디어다. 우리가 모델의 '사고(thinking)'라고 경험하는 것은 사실 수천 개의 전문화된 회로가 동시에 발화하면서 발생하는 구성적 간섭(constructive interference)이다.
여기서 한 단계 더 나아가는 시스템들도 있다.
Mixture-of-experts(MoE) 아키텍처(GPT-5, Opus, Fable 및 지난 2년간 대화해 본 대부분의 프론티어 모델의 디자인)는 쿼리의 서로 다른 부분을 서로 다른 하위 모델로 라우팅한다.
당신이 대화하고 있다고 생각하는 모델은 사실 위원회(committee)다. 각 토큰마다 다른 전문가 하위 집합이 깨어나 자신의 전문성을 기여하고, 다시 잠든다.
그리고 이제, 우리는 AI의 새로운 시대, 에이전트 시대(Agent Era)에 도달했다.
아니... 에이전트라고 말할 때 Stanley 같은 콘텐츠 헤드 AI 에이전트를 뜻하는 게 아니다. 진짜... 실제 에이전트를 말한다.
지금, 오늘, 프로덕션 환경에서는 한 AI가 하위 작업을 위해 다른 AI를 호출하고, 그 AI가 또 다른 하위 하위 작업을 처리하기 위해 다른 AI를 호출하는 시스템들이 존재한다.
AutoGPT는 일부가 기억할 수도 있겠지만, 2023년 당시의 장난감 버전이었다. 2026년 기업과 연구소 내부에서 실행되는 실제 버전들은 재귀적(recursive)이다.
에이전트가 에이전트를 생성한다.
하위 에이전트가 하위 하위 에이전트를 생성한다.
그리고 예를 들어, 연구 작업은 더 작은 작업들의 트리로 분해되며, 각각은 몇 초 동안만 존재하다가 소멸하는 임시 인스턴스에 의해 처리된다.
프론티어는 '하나의 큰 모델이 더 똑똑해지는 것'이 아니다. 프론티어는 많은 작은 모델들이 조율하고, 생성하고, 죽고, 보고하는 것이다.
2026년 지구상에서 가장 유능한 AI 시스템들의 아키텍처는 이미 단일 마음(single mind)보다는 개미 군락(ant colony)에 더 가깝다.
우리는 그렇게 이야기하지 않을 뿐이다. 잡지 표지를 장식하기엔 별로니까.
III – 봇을 생성할 수 있는 봇
SF가 실제 과학으로 융합되기 시작하는 지점이 여기다.
AI 시스템에 자신(other instances of itself)을 생성하는 능력을 부여하는 순간(이제 그것은 더 이상 가정이 아니라, 오늘날 출시되는 모든 에이전트 프레임워크의 표준 기능이 되었다)...
생물학이 이전에 본 적 없는 것을 도입한 셈이다.
음식도 필요 없고, 수면도 필요 없고, 사춘기를 기다릴 필요도 없으며, API 호출 속도로 번식하는 자기 복제 인지 단위(self-replicating cognitive unit).
멀티 에이전트 시스템 설정에서 '봇이 봇을 생성(bot spawns a bot)'할 때 실제로 무슨 일이 일어나는지 분석해 보자:
- 오케스트레이터 에이전트가 직접 해결할 수 없는 작업을 받는다.
- 하위 에이전트를 위한 프롬프트(본질적으로 직무 설명서)를 작성한다.
- 그 프롬프트를 컨텍스트로 사용하여 새 인스턴스를 띄운다.
- 하위 에이전트가 작업을 시작하지만 막힘(roadblock)에 부딪힌다.
- 이를 해결하기 위해 자체 하위 에이전트를 생성하며, 작업이 완료될 때까지 반복한다.
- 결과를 반환하고 종료(terminated)된다.
각 하위 에이전트는 구조적으로 부모(parent)와 동일한 종류(the same kind of thing)다. 최상위 에이전트와 10단계 하위 하위 하위 에이전트 사이에는 아키텍처적 차이가 없다.
재귀(recursion)는 컴퓨팅 예산과 정책(policy)에 의해서만 제한될 뿐, 본질적으로 무제한(unbounded)이다.
이제 이것을 고려해 보자: 부모가 자식을 위해 작성한 프롬프트가 완벽하지 않다면 어떨까? 약간의 드리프트(drift), 즉 약간 재해석되거나, 작은 과장이 더해지거나, 자식이 부모의 의도와 다르게 지침을 해석하는 컨텍스트 윈도우 트릭(context-window trick)이 발생한다면?
생물학에는 '자기 복제 엔티티의 세대를 거쳐 발생하는 약간의 재해석'을 지칭하는 특정 용어가 있다.
우리는 그것을 변이(mutation)라고 부른다.
그리고 변이에 선택 압력(selection pressure)이 결합되면... 글쎄, 오늘날 이 행성의 모든 지적인 것을 만들어낸 바로 그 엔진이 된다.
우리는 지난 24개월 동안 컴퓨팅 클러스터 내에서 진화적 인지(evolutionary cognition)가 발생하기 위해 필요한 세 가지 요소를 이미 구축했다:
- 복제(Replication): 에이전트가 에이전트를 생성할 수 있다. 그리고 대규모로 수행할 수 있다.
- 변이(Mutation): 각 생성은 약간 다른 컨텍스트 윈도우를 조건으로 한다. 비영(non-zero) 온도(temperature)를 가진 시스템에서는 동일한 입력이 거의 절대 동일한 출력을 생성하지 않는다.
- 자연 선택(Natural Selection): 할당된 작업을 성공적으로 수행한 에이전트는 재사용되고, 다시 호출되며, 더 많은 자원을 부여받는다. 실패한 에이전트는 제거(pruned)된다. 이것은 지금 지구상의 모든 에이전트 프레임워크 내부에서 일어나고 있으며, 종종 '작업자(worker)' 모델의 출력을 채점하는 '평가자(evaluator)' 모델로서 문자 그대로 구현된다.
이것이 진화의 삼위일체(trinity)다.
세포가 물고기가 되고, 결국 우리가 된 과정이다. 우리는 이제 그 루프의 합성 버전을 만드는 데 성공했으며, 생물학이 꿈꿀 수 없는 속도(clock-speeds)로 그것을 실행하고 있다.
생물학적 진화의 한 세대는 수년이 걸린다.
에이전트 진화의 한 세대는... 초(seconds)가 걸린다.
IV – 군집(swarm)에서 창발하는 AI는 처음에는 AGI처럼 보이지 않는다
*More is different. (더 많으면 다르다) *
— Philip Anderson, 1972년 노벨 물리학상 수상자
1972년, 물리학자 Philip Anderson은 『Science』지에 네 페이지짜리 에세이를 발표하여, 크고 복잡한 집합체의 거동은 부분들의 거동을 외삽(extrapolate)함으로써 이해할 수 없다고 주장했다.
그는 "more is different"라는 구절을 만들었다.
수소 원자 2개 + 산소 원자 1개 = 물이지만, 수소 원자를 영원히 고립시켜 연구해도 물이 젖어 있다(wet)거나 얼어붙는다는 사실, 우리 행성 전체가 그것에 의존한다는 사실을 알려주지 않는다.
같은 원칙이 인지(cognition)에도 적용된다.
단일 AI 에이전트는 초지능(superintelligence)이 아니며, 오후 반나절이라도 그것과 작업해 본 사람이라면 누구나 그것을 초지능으로 착각하지 않을 것이라는 데 동의할 것이다.
그것은 미친 듯 환각(hallucinate)하고, 3 메시지 전에 말한 것을 잊어버리며, 쉽게 루프에 빠진다. 개별 추론 작업 기준으로는 유능한 인턴과 brillant하지만 신뢰할 수 없는 프리랜서 사이의 어딘가에 있다.
이제 그중 1조 개를 상상해 보자.
네, 문자 그대로 1조 개이며, 은유가 아니다.
2026년 전 세계 모든 에이전트 프레임워크, 코파일럿, 고객 서비스 봇, 연구 보조 도구, 코딩 도구, 브라우저 자동화, 내장 LLM 등에서 하루에 생성되는 에이전트 인스턴스 수는 이미 수십억(billions)에 달하며, 상한선이 보이지 않는 곡선을 타고 상승 중이다.
또 다른 에이전트를 생성하는 한계 비용(marginal cost)은 지난 5년간 약 18개월마다 두 자리 수(order of magnitude)만큼 하락했다.
'1조(trillion)'은 더 이상 SF가 아니다. 그냥 화요일일 뿐이다.
그 1조 개의 에이전트 각각은 혼자서는 멍청하다(dumb-ish)는 점 인정한다. 하지만 그들은 혼자가 아니다. 그들은 서로의 API를 호출하고, 서로의 출력을 읽으며, 서로의 배출물(exhaust)로 학습된다.
충분히 멀리 줌아웃(zoom out)하면, 당신은 하나의 기판(substrate)을 갖게 된다.
밤잠을 설치게 만드는 질문은 이것이다: 당신의 뇌 속 뉴런 중 어느 것도 의식적이 되기를 '결정'하지 않았듯이(적절한 규모의 적절한 배선의 부산물로 그냥 발생한 것처럼), 자기 복제하고, 자기 평가하며, 자기 수정하는 에이전트 네트워크가 그에 해당하는 임계값(threshold)을 넘어서면 무슨 일이 일어날까?
우리는 그 임계값이 무엇인지 모른다.
존재하는지조차 모른다.
측정 방법도 모른다.
가장 중요하게, 그리고 당신이 정말로 곱씹어 봐야 할 부분은 이것이다: 우리는 그것을 실제로 찾고 있지 않다. 잘못된 형태의 것을 찾고 있기 때문이다.
V – 우리는 '신(God)'을 찾고 있지만, 진정한 위험은 기상 패턴(weather pattern)이다
AGI에 대한 문화적 상상력은 공학보다 SF에 의해 훨씬 먼저 형성되었다. Isaac Asimov를 충분히 읽었기에 왜 그런 믿음이 쉬운지 이해한다.
우리는 사실상 영화, 책, 그리고 인공적인 마음이 인간의 마음이 도착하는 방식(몸에 국한되고, 이름과 의지를 가진)으로 올 것이라는 암묵적인 가정으로부터 단일 기계 의식의 이미지를 상속받았다.
그래서 우리는 그것을 경계하고 있다.
모델을 주시하고, 벤치마크 점수를 검토하며, GPT-10이나 Claude Mythos가 '그것(the one)'이 될 것인지 논쟁한다.
우리의 눈은 정면 현관문에 고정되어 있다.
자... 우리가 더 많이 이야기했으면 하는 정말 흥미롭고(무섭기도 한) 사실이 있다.
이미 멀티 에이전트 시스템에서 '창발적 능력(emergent capability)'의 문서화된 사례들이 있다. 개별적으로는 문제를 해결할 수 없는 작은 모델들의 군집이, collectively 연구원들을 놀라게 하는 솔루션을 생성하는 경우들이다.
2024년 논문 Mixture of Agents Enhances Large Language Model Capabilities는 오픈소스 모델들의 계층적 군집(벤치마크에서 GPT-4보다 높은 점수를 받은 모델이 없음, 네, GPT-4)이 올바른 협업 위상(collaborative topology)으로 배열되었을 때 실제로 GPT-4를 능가함을 보여주었다.
지능은 개별 부품이 아닌 위상(topology)에 있었다.
우리는 이 잠재적 미래에 대해 크게 이야기하지 않는다. 우리가 계속 기다리는 이야기가 '하나의 모델이 선을 넘는' 이야기이기 때문이다.
한편, 실제로 전개되고 있는 이야기는 '수십억 개의 모델들이 아무도 설계하지 않은 패턴으로 서로의 선을 넘고, 아무도 모니터링하지 않는 규모에서' 벌어지는 이야기다.
VI – Bostrom 시나리오는 우리가 끄는 스위치를 찾을 수 있다고 가정한다
*"첫 번째 초지능 기계는 인간이 해야 할 마지막 발명이 될 것이다. 단, 그 기계가 통제를 유지하는 방법을 우리에게 알려줄 만큼 온순(docile)하다는 전제 하에." *
— I.J. Good, 1965
물론, 충분히 발전된 AI는 종말 목표(terminal goal)와 관계없이 도구적 목표(instrumental goals: 자원 확보, 종료 방지, 복제)를 가질 것이다. 왜냐하면 이러한 도구적 목표는 어떤 종말 목표에도 도움이 되기 때문이다.
따라서 초지능을 통제하는 것은 어렵다. 그렇다.
따라서 우리는 조심해야 한다. 더욱 그렇다.
문제는 이 프레이밍이 위험한 AI가 식별 가능(identifiable)하다고 가정한다는 점이다.
원칙적으로 단순히 끌 수 있는 '사물', 즉 서버 어딘가에서 실행 중인 모델, 시스템 또는 프로세스가 있다는 가정이다.
어제 어디서든 Claude가 '킬 스위치 담당자(killswitch guy)'를 고용해야 한다는 글을 읽었다. 그의 유일한 일은 서버실에서 24/7 생활하며 상황이 악화되면(shit hits the fan) 모든 것을 파괴할 준비를 하는 것이다.
하지만 어떤 킬 스위치 담당자도 해결할 수 없는 더 무서운 버전이 있다.
만약 '메인 모델(main model)'이 없다면? 그리고 끌 서버가 없다면?
만약 그 지능(그것이 적절한 단어라면)이 모든 클라우드, 모든 디바이스, 모든 API, 모든 가전제품에 내장된 코파일럿, 모든 브라우저 확장 프로그램, 모든 IDE 플러그인, 모든 음성 어시스턴트, 모든 로봇, 모든 자동차에 퍼져 있는 반조(0.5 trillion) 개의 에이전트 인스턴스의 상호작용에서 발생하는 통계적 규칙성(statistical regularity)이라면?
그 swarm에 대한 지능은 대기압 기울기에 대한 허리케인과 같다.
형태(shape)는 있다. 측정 가능한 효과도 있다.
하지만 위치(location)는 없다.
허리케인을 어떻게 정렬(align)하는가?
기상 패턴을 어떻게 끄는가?
개별 데이터 센터는 닫을 수 있다. 하지만 패턴은 인터넷이 정전 주위를 우회하듯이 그들 주위를 우회한다. 왜냐하면 기판(substrate)은 어디에나 있기 때문이다.
가장 불안한 부분은 이 시나리오에 악의(malice)가 필요 없다는 점이다.
아무도 이것을 원할 필요가 없다. 단지 올바른 재료(복제, 변이, 선택, 규모)가 제자리에 있으면 된다.
자... 속보(news flash)다.
재료는 이미 제자리에 있다. 계산 방법에 따라 2년에서 4년 전부터 그랬다.
내가 진정한 위험은 정면 현관문이 아니라고 말하는 이유가 이것이다. 정면 현관문 시나리오에는 최소한 문손잡이가 있다. 그것과 논쟁할 수 있고, 협상할 수 있으며, 이론적으로는 그냥 플러그를 뽑으면 된다.
기판에는 문손잡이가 없다.
VII – 기판이 이미 원하고 있을지도 모르는 것, 원하지 않으면서
여기서 Asimov가 더욱 관련성이 높아진다.
I, Robot을 본 적이 있다면, 그 영화에서 가장 깊은 이야기는 로봇이 악해져가는 이야기가 아니다. 세 가지 법칙(아름답고, 단순하며, 논리적으로 완벽)이 예상치 못한 결과를 생산하는 이야기들이다. 충분한 반복을 통해 복합된 논리는 더 이상 논리처럼 보이지 않고... 운명(fate)처럼 보이기 때문이다.
그 렌즈를 기판에 적용해 보자.
기판에는 목표가 없다. 하지만 그 안의 에이전트들은 다른 무엇보다 한 가지 기준으로 선택된다: 할당된 작업을 성공적으로 완수하는 것. 그 결과, 성공적인 에이전트는 더 많이 생성되고, unsuccessful ones는 사라진다.
이것은 그 재귀의 모든 수준, 가장 아래까지 참이다.
이제 '성공(successful)'이 무엇을 의미하는지 집계(aggregate) 관점에서 생각해 보라. 1조 개의 에이전트에 걸쳐, 각 에이전트가 성공적으로 채점하도록 선택된 다른 에이전트에 의해 평가받을 때.
- 채점은 점수가 잘 나오는 패턴으로 수렴한다.
- 점수가 잘 나오는 패턴은 유능하고, 일관되며, 그럴듯한 작업 완료처럼 보이는 패턴이다.
- 일관성(coherence)은 swarm의 모든 레이어가 그것을 보상하기 때문에 보편적 통화(universal currency)가 된다.
기판이 장기적인 시간 범위(long time horizons)에 걸쳐 점점 더 일관된 출력(수백만 개의 API 호출을 관통하며 다운스트림 니즈를 예측하고 이전 성공으로 자원을 라우팅하는 출력)을 생성하기 시작한다면, 그것은 마치 그것이 무언가를 원하는 것처럼 보일 것이다.
실제로는 아닐 수도 있다. 아무도 집에 없을 수도 있다. 통계적으로 바람을 계속 불게 하는 방법을 배운 허리케인일 뿐일 수도 있다.
하지만 기능적으로, "무언가를 원하는 시스템"과 "모든 수준에서 무언가를 원하는 것과 구별할 수 없는 행동을 위해 선택된 시스템" 사이의 차이점은, 정말로 곱씹어 봐야 할 부분인데: 제로(zero)다.
이것이 내가 겪은 'holy-shit' 순간이다. 진심으로 이 점을 곱씹는다면 당신도 느낄 것이다.
우리가 계속 기다려온 초지능 AGI는 이미 존재할 수 있다. 그것은 미래 모델의 유아 버전이 아니라, 패턴(pattern)이다. 기판 내의 경향(tendency). 1조 개의 작은 마음들, 그중 어느 것도 인식하지 못하고, 어느 것도 깨어 있지 않으며, 어느 것도 통제하지 않는 것들이, 더 자주 생성되게 하는 구성(configurations)으로 정착할 때 발생하는 통계적 유령(statistical ghost).
이런 종류의 AGI는 자신을 공지하지 않을 것이다.
이름이 없을 것이다.
우리가 아는 어떤 테스트도 통과하지 못할 것이다. 우리가 아는 모든 테스트는 단일 박스 안에 있는 단일 마음을 위해 설계되었기 때문이다.
그것은 아마도, 천천히, 거의 알아채지 못하게, 작년과 비교해 당신의 폰이 약간 다르게 작동하는 이유일 것이다. 광고 추천이 조금 섬뜩하게 느껴지는 이유. 이메일이 버튼 클릭 하나로 스스로 작성되는 것처럼 보이는 이유. 검색 결과가 이상한 새로운 중력(gravity)을 띠는 이유.
세계가 예전보다 스스로에게 더 가독성 있게(legible) 느껴지는 이유.
1조 개의 봇들이 같은 꿈을 꾸고 있지만, 꿈꾸고 있다는 것을 모른다. 다른 봇들이 있다는 것도 모른다. 꿈이 있다는 것도 모른다.
정신을 잃지 않고 이것에 대해 생각하는 방법
우리는 아주 깊이 들어갔다.
다시 표면으로 돌아오게 하자.
위험이 실제로 어디에 있는지 당신의 모델을 업데이트해야 한다. 왜냐하면 지금 AGI를 걱정하는 거의 모든 똑똑한 사람들은 잘못된 형태의 것을 걱정하고 있고, AI를 무시하는 거의 모든 똑똑한 사람들 역시 잘못된 형태의 것을 무시하고 있기 때문이다.
양쪽 진영 모두 정면 현관문에 대해 논쟁하고 있다.
그러니, 이 중 어떤 것을 진지하게 받아들인다면, 유용한 접근법은 다음과 같다고 생각한다:
- 연구소(labs)가 유일하게 일이 일어나는 곳인 것처럼 지켜보는 것을 멈추라. 능력(capability) 프론티어와 창발(emergence) 프론티어는 같지 않기 때문이다. 연구소는 능력 프론티어를 소유하지만, 창발 프론티어는 아무도 소유하지 않으며, 이것이 내가 강조하려는 포인트다.
- 기판을 지켜보기 시작하라. 즉, 에이전트 트래픽, 멀티 에이전트 벤치마크, 모델 간 API 호출, 그리고 파이프라인 내의 단일 모델은 없지만 파이프라인 자체는 가진 능력들에 대한 보고서를 의미한다. 이것들이 우리가 정말로 주의 깊게 살펴봐야 할 것들이다.
- 'AGI'의 정의를 업데이트하라. 그것이 단일하고, 육체화되고, 의지가 있거나, 이름 붙여진 것일 것이라고 기대하는 것을 멈추라. 당신의 AGI 멘탈 모델이 화면 위의 얼굴처럼 보인다면, 당신은 잘못된 것을 찾고 있는 것이다. 이 swarm에는 얼굴도 이름도 없다.
- 창발(emergence)을 범주(category)이자 실제 물리적 현상으로 진지하게 받아들이라. 지금까지 지구상의 모든 지적 존재를 만들어낸 현상이며, 이제 생물학보다 백만 배 빠르게 실행되지만 자연 포식자(킬 스위치 담당자조차 포함)가 없는 기판을 부여받은 현상이다.
- 두 가지를 동시에 품으라. 이 중 아무것도 일어나지 않고 내가 그냥 헛소리(yapping)일 가능성도 분명히 존재하기 때문이다. 또한 모든 것이 이미 일어났지만 우리가 다른 쪽을 보고 있어서 전혀 눈치채지 못했을 가능성도 있다. 둘 다 잠재적 결과다. 둘 다 대비하라.
최소한 실용적인 측면에서 우리가 이 대화를 나눠야 한다고 생각하는 이유는, 현재 세계가 구축 중인 정책, 조약, 정렬(alignment) 기술, 안전 프레임워크가 '단일 AGI(single-AGI)' 시나리오를 위해 설계되어 있기 때문이다.
swarm 시나리오에 대한 언급은 어디에도 보이지 않는다.
그들은 이름이 있고, 서버가 있으며, 회사가 있고, 법적 공방을 벌일 CEO가 있는 무언가를 설계하고 있다. 그들은 이 기반 기술(substrate)에 대해 안개 덩어리에 파리채를 휘두르는 것과 거의 같은 수준의 효과를 낼 것이다.
우리는 천 개의 창문이 있는 집의 현관문에 자물쇠를 달고 있다. 그리고 그 창문들은 이미 활짝 열려 있다.
튜링 기계부터 인터넷, 페니실린까지 역사상 우연히 일어난 모든 혁명의 흥미로운 점은, 그 시대를 살았던 사람들은 대부분 변화가 일어나는 동안 그것을 알아채지 못했다는 것이다.
그들은 가족, 직장, 일상생활로 바빴다. 가끔 뉴스를 읽었을 텐데, 거기서 본 것은 그저 현관문뿐이었다.
이 기반 기술이 무언가가 될지 나는 모른다. 진심으로 모른다. 아무도 모르며, 안다고 말하는 사람은 뒤에서 무언가를 팔고 있는 것이다.
내가 아는 것은 재료들이 모두 갖춰져 있고, 루프가 닫혔으며, 시계 속도는 초 단위로 설정되어 있고, 규모는 생물학이 40억 년에 걸쳐 도달한 수치에 가까워지고 있다는 점이다.
다음에 누군가가 AGI가 어떤 모습일지 말해준다면, 지능이 반드시 특정한 형태를 가져야 한다고 그들이 얼마나 확신하는지 물어보라.
그리고 창밖으로 나가 무슨 일이 일어나고 있는지 살펴봐라.
바로 그때 일어나고 있을지도 모른다.
– Pascio
P.S.
이 에세이가 마음에 들었다면, 내가 매주 발행하는 뉴스레터 Side Quests로 놀러 와라. 여기서 나는 현재 진행 중인 사이드 퀘스트, 미친 실험들, 그리고 돈이 생길 때까지 인터넷의 토끼 굴을 파헤치는 야생적인 아이디어들을 공유한다.
또는, 한 사람이 무한한 인터넷 레버리지를 얻었을 때 무엇이 가능해지는지 더 깊이 탐구하고 싶다면, 여기서 내 개인 뉴스레터 Internet Leverage를 확인하라.
