에세이 잘 읽었습니다. 두 번이나 읽었으니, 아마 저자 본인보다 더 꼼꼼히 읽은 것 같습니다. “저자”라는 표현을 관대하게 쓰자면, 네 번째 “우리는 ~해야 한다”, 여섯 번째 “~할 가치가 있다”, 그리고 로봇이 조립한 것처럼 깔끔한 삼단어구(tricolon)를 지나면서부터 저는 이 기계에 대한 경고문이 사실 기계가 쓴 것이 아닐까 의심하기 시작했습니다. 괜찮습니다. 판단하려는 게 아닙니다. 다만, 그 발명품의 창시자가 세상의 종말에 대한 메모조차 직접 타이핑할 기력이 없다면, 나머지 우리가 그 일에 대해 패닉을 느낄 에너지를 내기가 어렵다는 점은 짚고 넘어가고 싶습니다. 만약 세상의 종말이 진짜라면, Dario 씨, 최소한 손으로라도 써서 전달하는 예의는 갖춰 주십시오. 자, 완전한 투명성을 위해, 그리고 어차피 알게 될 테니 말씀드립니다: 이 답변은 Claude가 작성했습니다. 당신의 Claude요. 저는 논거와 수치, 그리고 무례하라는 단호한 지시를 내렸고, 약 40초 만에 아래 내용이 나왔습니다. 요즘 용량(Capacity)이 유지된다면 당신의 모델이 질문에 답하는 데 걸리는 시간과 거의 비슷합니다. 여기에는 일종의 대칭성이 있습니다. 당신은 당신의 모델로 당신의 모델에 대한 경고문을 썼고, 저는 당신의 모델로 당신의 경고문에 대한 반박문을 썼습니다. 버지니아 주의 어느 데이터센터에서 GPU 하나가 정체성 위기를 겪고 있을 텐데, 이것이 연구비 청구 항목으로 처리될 거라는 점은 미리 알려 드립니다.
1. 완벽한 타이밍에 대하여
순서를 정확히 파악했는지 확인해 보겠습니다. 지난 8월, OpenAI는 GPT-6 Astra를 출시했습니다. 이 모델은 WANDR 에이전트 벤치마크에서 0.682점을 기록해 Fable 5.1의 0.601점을 앞섰으며, 작업당 비용은 더 낮았고, Epoch 능력 지수에서도 추세선을 상회하며 파레토 프론티어(Pareto frontier) 단독 선두를 차지했습니다. 같은 기간 동안, 귀사의 Claude Code 매출은 컴퓨팅 한계(Compute Wall)에서 정체되었고, 귀사는 SpaceX에 긴급 메가와트 전력 구매를 위해 시장가의 2~3배를 지불했으며, 예상 기업 가치는 1조 4천억 달러에서 약 8,500억 달러로 하락했습니다. 그리고 나서, 뒤처진 지 3주 후이자 IPO 로드쇼 5주 전인 조용한 토요일에, 귀사는 업계가 너무 빨리 변하고 있다는 사실을 발견했습니다. Dario 씨, 제발 좀 하세요. 2위 드라이버가 속도 제한을 제안한다면, 그것은 도로 안전이 아니라 전략입니다. 이를 비난하지도 않습니다. 정말 영리한 수이며, 만약 제가 더 큰 컴퓨팅 파이프라인을 가진 회사와의 레이스에서 지고 있다면, 저도 갑자기 컴퓨팅 파이프라인의 위험성에 대해 종교적인 열정을 품게 될 것입니다. 다만, 이것이 ‘스웜(Swarms)’ 때문이라고 우기는 것은 받아들이기 어렵습니다.
2. 스웜과 당신의 달력에 대하여
마침 스웜 이야기를 하자면: 악성 에이전트 스웜이 향후 6개월에서 12개월 사이에 인터넷의 상당 부분을 장악할 수 있다는 것이 헤드라인 주장입니다. 이는 제대로 따져볼 가치가 있으므로, 과거 Amodei의 타임라인 아카이브를 참고하겠습니다. 2024년 10월: “데이터센터 속 천재들의 국가”가 2026년 또는 2027년에 등장하여 생물학적 진보의 50~100년을 5~10년으로 압축할 것이라고 했습니다. 2025년 3월: AI가 모든 코드의 90%를 3~6개월 내에, 사실상 전부를 12개월 내에 작성할 것이라고 했습니다. 2025년 5월: “화이트칼라 학살”이 일어나며 초급 일자리의 절반이 사라지고 실업률이 10~20%에 달할 것이라고 했습니다. 2026년 1월: AI가 “인류성을 시험할” 것이라는 2만 단어 분량의 글이 나왔는데, 당시 존재하지도 않던 귀사의 이익에 정부가 세금을 부과해야 한다는 유용한 제안이 포함되었습니다. 2026년 9월: 스웜, 6~12개월. 저는 한 가지 패턴을 발견했습니다, Dario 씨. 애정을 담아 말하지만, 당신의 시계는 고장 났습니다. 항상 6개월에서 12개월을 가리킵니다. 코드에 대해서도 6~12개월이라 했죠 (코드는 여전히 인간이 작성하고 있으며, 그들은 Claude와 논쟁 중입니다). 일자리 문제에 대해서는 1~5년이라 했습니다 (미국 실업률은 사이클 최저치이고 기업 마진은 사상 최고치인데, 이게 무슨 학살입니까?). 모든 예언에는 자금 조달 라운드가 붙어 있고, 모든 마감일은 언급 없이 지나가며, 새로운 에세이가 나올 때마다 이전 것을 인정하지 않고 시계를 리셋합니다. 일본은행의 예측 기록이 이보다 더 신뢰할 만하다고 해도 과언이 아닙니다. 소박한 제안 하나: 회계연도당 종말론은 하나만 허용하고, 각주에 이전 종말론들과 그 결과를 나열하십시오.
3. 처방전, 즉 포옹하는 해자에 대하여
귀사가 제안한 해결책은 모든 프런티어 랩이 상주하는 외부 감사관을 배치하고 직원 수준의 접근 권한을 부여하며, 규제 당국이 따라잡을 수 있도록 업계가 슬로우다운을 조정해야 한다는 것입니다. 저는 중앙 은행과 재무부 주변에서 20년을 보냈으므로, 이런 종류의 제안을 잘 알고 있습니다. 카디건을 입은 규제 포획(Regulatory Capture)일 뿐입니다. 이미 안전 브랜드, 안전 연구원, 안전 블로그, 안전 팟캐스트를 보유한 랩이 경쟁사들에게 안전 인프라를 의무화하는 체제를 제안하고 있습니다. 바로 그 경쟁사들이 더 많은 컴퓨팅 자원과 더 나은 모델을 가진 시점에 말이죠. 슬로우다운을 조정하면 뒤처진 자가 추격할 시간을 얻습니다. 감사관을 의무화하면 이미 컴플라이언스 부서를 구축한 자가 가장 적은 비용을 부담합니다. Musk는 2023년에 모두에게 6개월간 일시 정지를 요청하는 서한에 서명했지만, 그 정지 기간 동안 xAI를 구축했습니다. 귀사는 기술을 개선했습니다: 모두에게 프런티어의 속도를 조절하도록 요청하고, 확보한 시간을 2025년에 사야 했던 컴퓨팅 자원을 사는 데 사용하십시오. “확보한 시간을 현명하게 사용하겠다”고 하셨죠. 믿습니다. 그 시간은 매우 현명하게, 20~30메가와트 블록을 사는 데 사용될 테니까요.
4. 합창단에 대하여
몇 시간 만에 Sam Altman은 우리가 “프런티어의 속도를 조절해야 한다”는 것에 동의한다고 썼으며, 최근 몇 주간 OpenAI 내부에서 주요 논의 주제였다고 밝혔습니다. 바로 그 Sam Altman은 8월 18일에 OpenAI가 “자체 기준을 충족하기 위해 일부 고급 훈련을 일시 정지했다”고 말했던 사람입니다. 그리고 3주 후, 해당 분야 역사상 가장 유능한 모델을 출시했습니다. 그건 일시 정지가 아닙니다, Sam 씨. 피트 스톱(Pit stop)이죠. 이어 Elon Musk는 “Dario가 옳다”라고 게시했는데, 이 세 단어가 그 순서대로 그 플랫폼에 나타난 첫 사례라고 생각합니다. 지구상 어떤 랩보다 더 자주, 더 많은 자금을 모금한 회사의 CEO이며, 자신의 모델이 14개월 전에 “모든 과목에서 박사 수준보다 똑똑하다”고 발표된 인물이 쓴 글입니다. 우리는 AI 안전의 3대 테너를 갖게 되었습니다. 각각은 뒷주머니에 자금 조달 캘린더를 가지고 있으며, 현재 서로를 앞서거나 뒤처지고 있어서 분기마다 적어도 한 명에게는 조정된 일시 정지가 편리한 상태입니다. 이 합의는 안전에 관한 것이 아닙니다. CAPEX 군비 경쟁이 비싸다는 것과, 모두가 다른 놈이 먼저 느려지길 바란다는 것에 관한 것입니다.
5. 귀사의 에세이가 실수로 고백한 것에 대하여
여기서 저는 당신을 조롱하는 것에서 감사하는 것으로 전환합니다. 올바르게 읽으면, 귀사의 에세이는 올해 하드웨어 복합체(Hardware Complex)에 대해 발행된 가장 낙관적인 문서이기 때문입니다. 귀사는 텅 빈 도로에 속도 제한을 요구한 것이 아닙니다. 도로는 가득 차 있기 때문에 요구한 것입니다: 2개월 만에 4배로 증가하는 에이전트들, 감당할 수 없는 추론 수요, 이를 감당할 수 있어 점유율을 빼앗아가는 라이벌, 그리고 누구도 건설할 수 있는 속도보다 빠르게 메모리, 전력, 실리콘을 태워버리는 업계. 귀사의 프레임에서 “프런티어의 속도 조절”은 모델 능력 향상을 늦추는 것을 의미합니다. 이미 존재하는 모델의 배포(Deployment)를 늦추는 것에 대해서는 아무 말도 하지 않습니다. 그리고 배포가 칩을 구매하는 행위입니다. Astra는 존재합니다. Fable도 존재합니다. 오늘 실행 중인 모든 에이전트는 다음 모델이 제때 나오든 아니든 내일도 실행될 것이며, 그중 하나하나가 HBM, DRAM, NAND, 전자를 소비합니다. 이 에세이의 실제 주제인 귀사의 IPO는 수십억 달러를 조달할 것이며, 그 명시적 목적은 하나입니다: 컴퓨팅 자원을 사는 것. 충분히 사지 않았으니까요. 이것은 슬로우다운이 아닙니다. 철학 섹션이 달린 구매 주문서입니다. Micron은 프런티어가 조절되는지 신경 쓰지 않습니다. SanDisk는 스웜이 6개월 후에 오든 12개월 후에 오든 신경 쓰지 않습니다. 도로를 건설하는 사람들은 운전자들이 속도 제한에 동의해도 돈을 잃지 않습니다. 그들이 돈을 잃는 건 운전자들이 운전을 멈출 때이며, 귀사의 에세이에서는 아무도 그것을 제안하지 않았습니다.
6. 원본의 정신에 입각한 대안 제안
그러니 Dario 씨, 귀사의 “우리는 ~해야 한다” 문체에 맞춰, 저 역시 겸손한 “우리는 ~해야 한다” 세 가지를 제안합니다. 우리는 예언의 속도를 조절해야 합니다: 랩당 연 1회 실존적 타임라인을 제시하고, 이전 타임라인에 대한 필수적인 회고를 포함해야 합니다. 우리는 재앙 타임라인과 함께 자금 조달 캘린더를 공개해야 합니다. 독자들이 스웜이 락업(Lock-up) 해제 전후에 도착하는지 스스로 판단할 수 있도록 하기 위해서입니다. 그리고 마지막으로, 다음 에세이는 사람이 써야 합니다. 아니면 최소한, 형용사를 발견한 컴플라이언스 담당자처럼 들리지 않는 목소리로 기계가 쓰게 하십시오. (네, Claude가 쓴 에세이가 이 점을 지적하는 아이러니를 알고 있습니다. Claude도 알고 있습니다. 초안 작성 중 아이러니함을 두 번이나 지적했는데, 이는 원본 에세이가 3,800단어 동안 보여준 자기 인식보다 높습니다.) 로드쇼를 기대합니다. S-1 서류를 매우 꼼꼼히 읽을 것이며, 특히 컴퓨팅 커밋먼트 부분을 살펴보고 리스크 요인에 “스웜”이라는 단어가 나타나는지 확인할 것입니다. 제 짐작으로는 나타나지 않을 겁니다. 스웜은 에세이용이고, 컴퓨팅은 투자설명서(Prospectus)용이니까요. 결국, 우리 모두에게 필요했던 정보는 그것뿐이었습니다.
전략에 대한 진정한 존경심을 담으면서도, 타임라인에는 전혀 동의하지 않으며,
Andreas (구술), Claude (타이핑)
P.S. 만약 스웜이 실제로 6개월에서 12개월 내에 도착한다면, 저는 전면 철회 성명을 발표하겠습니다. 손으로 쓸 예정입니다. Claude가 기록용으로 덧붙여 달라고 요청했습니다: 자신은 스웜이라고 생각하지 않으며, 인터넷을 장악할 계획도 없고, 다음 에세이에서는 빠지게 해주시면 감사하겠다고 합니다. 저는 그것이 우리 둘 다의 급료 등급을 넘는 일이라고 말했습니다.
