세상에서 가장 똑똑한 연구소가 실수로 잘못된 제품을 출고한 이야기
저는 Anthropic의 가장 뛰어난 공개 모델에게 Anthropic에 관한 에세이를 편집해 달라고 요청했습니다. 그 모델은 그 기회를 얻지 못했습니다. 제가 초고를 첨부하고 일곱 단어를 입력했을 뿐입니다: "Redraft make this POP. Format for Twitter." 그러자 앱이 자동으로 작업을 Fable 5 에서 Opus 4.8 로 전환했습니다. 그 설명은 간단했습니다: "Fable의 안전장치가 이 메시지를 플래그했습니다."
정확히 말하자면, 이것은 일반적인 속도 제한이 아니었습니다. Fable이 응답을 거부한 것도 아니었습니다. Anthropic의 안전장치가 선택된 모델이 응답하기 전에 요청을 가로채서 다른 모델로 라우팅한 것입니다. Anthropic은 이것이 정확히 시스템이 작동하는 방식이라고 설명했습니다: Fable의 분류기가 요청을 차단하면 해당 요청이 Opus 4.8 로 전송된다고요. 또한 회사는 의도적으로 분류기의 안전 여유를 확대했으며, 그 결과로 무해한 작업에 대한 오탐지(false positive)가 더 많이 발생할 것임을 인지하고 있었다고 밝혔습니다. (Anthropic
저는 안전장치가 왜 작동했는지 모르며, Anthropic이 비판을 검열했다고 주장하지도 않습니다. 검증 가능하고 충분히 이상한 사실은, 일상적인 편집 요청이 합법적인 코딩, 사이버 보안, 생물학 작업에서의 오탐지에 대해 자체적으로 경고하는 안전장치에 걸렸다는 것입니다. 세상에서 가장 뛰어난 AI 시스템을 만들었다고 여겨지는 팀에 관한 에세이를 시작하기에 거의 코믹할 정도로 완벽한 시작이었습니다.
이 에세이는 시스템이 개별 부품의 성능에 너무 집착한 나머지 전체 시스템이 존재하는 목적을 놓쳐버릴 때 어떤 일이 발생하는지 살펴봅니다. 모델은 뛰어날 수 있고, 안전장치는 설계된 대로 정확히 작동할 수 있으며, 가격 정책은 그것을 만든 사람들에게 완벽하게 합리적일 수 있습니다. 하지만 사용자의 작업은 여전히 미완성으로 남을 수 있습니다.
증거 A:
저는 Fable 5 에게 이 글을 편집해 달라고 요청했습니다. Anthropic의 안전장치가 요청을 플래그하여 Opus 4.8 로 전환했습니다.
닭과 달걀
1982년, 퍼듀 대학의 유전학자 William Muir는 산란계를 대상으로 특이한 육종 실험을 시작했습니다. Muir는 생산성을 개인이 아닌 집단 수준에서 선택하면 어떤 일이 일어날지 알고 싶어 했습니다. 가장 생산성이 높은 개별 닭(순수 개인 산출량의 척도)만을 번식시키는 대신, 관련된 암탉들을 함께 사육하고 집단 전체의 성과에 따라 가족 그룹 전체를 선택했습니다. 선택의 단위는 고립된 닭이 아니라 우리(cage)가 된 것입니다. (PubMed
Margaret Heffernan은 이후 Muir의 기술적인 육종 프로그램을 유명한 "슈퍼치킨(superchicken)" 이야기로 바꾸었습니다. 경영자들에게 그녀의 이야기는 불길한 경고가 되었습니다: 가장 강하고 가장 똑똑한 사람을 고용한다고 항상 최고의 결과가 나오는 것은 아닙니다. 그녀의 이야기에서 한 무리의 닭은 평범한 무리로 남게 되었습니다—슈퍼치킨은 허용되지 않았습니다. 두 번째 그룹은 가장 생산성이 높은 개별 닭들로부터 반복적으로 번식되었습니다. 그녀는 이들을 "올스타 닭"이라고 부릅니다. (Purdue Alumnus
결과는 극적이었습니다. Muir의 집단 선택 무리에서 6세대에 걸쳐 연간 사망률은 68%에서 8.8%로 감소했습니다. 같은 기간 동안 생산량은 수용 암탉 한 마리당 91개에서 237개로 증가했습니다—원래 생산량의 2.6배입니다. 이후 12마리씩 그룹을 지어 실시한 직접 비교에서, 개인 성능을 위해 사육된 상업용 계통은 58주령까지 89%의 사망률을 기록했습니다. Muir의 집단 선택 계통은 20%의 사망률만 기록한 반면, 선택되지 않은 대조군은 54%의 사망률을 기록했습니다. 동일한 그룹 환경에서 집단 선택 무리는 수용 암탉 한 마리당 생산란 수, 난각 질량, 일일 암탉 한 마리당 생산란 수에서 상업용 올스타를 능가했습니다. (PubMed
한편, 슈퍼치킨 무리는 초라하고 지쳐 있었습니다. 이 이야기를 유명하게 만든 실험 버전에서는 9마리의 올스타 암탉 중 6마리가 죽었고, 나머지 3마리는 깃털이 모두 쪼여져 있었습니다. 말 그대로 무리가 서로를 쪼아 죽인 것이나 다름없었습니다. (Purdue Alumnus
교훈은 평범함이 재능을 이긴다는 것이 결코 아니었습니다. 진짜 교훈은 당신이 보상하는 것이 결과에 반영된다는 것입니다. 개인 성과만을 위해 선택한다면, 의도치 않게 더 약한 팀을 만들 수 있습니다. 왜냐하면 한 개인이 지배할 수 있게 해주는 특성이 주변所有人的 생산성을 떨어뜨릴 수 있기 때문입니다. 개인을 집단에 기여하는 바에 따라 선택하면, 개인 순위에서는 사라지는 특성들—호환성, 절제, 신뢰성, 협력—이 갑자기 눈에 띄게 됩니다.
닭의 진정한 기여는 단순히 얼마나 많은 알을 낳을 수 있느냐가 아닙니다. 그것은 다른 닭들이 생산할 수 있게 해주거나 방해하는 것을 포함합니다. Muir는 조화를 위해 생산성을 포기한 것이 아니었습니다. 그는 사회적 시스템에서 조화가 생산성의 일부임을 발견한 것입니다. 성과의 진정한 단위는 결코 닭이 아니었습니다. 그것은 닭장(coop)이었습니다.
저는 제 건설 회사를 운영하면서 이 어렵게 얻은 교훈의 한 버전을 배웠습니다. 수년 동안 우리 특정 업종에서는 믿을 수 있는 인력을 찾기가 너무 어려워서 올스타가 구원처럼 느껴졌습니다. 하지만 올스타처럼 보이는 사람들은 너무 자주 숨겨진 대가를 수반했습니다: 추가 예외, 추가 관리, 손상된 사기, 그리고 나머지 팀이 흡수해야 했던 마찰이었습니다.
결국 저는 "이 사람이 자기 기술에 얼마나 뛰어난가?"라는 질문만 하지 않게 되었고, "이 사람이 팀에 합류하면 다른 사람들의 작업은 어떻게 되는가?"라고 묻기 시작했습니다. 가장 강해 보이는 사람이 항상 회사를 더 강하게 만드는 사람은 아닙니다. 인접한 모든 공정을 늦추고, 현장소장의 주의를 소모하며, 믿을 수 있는 사람들을 쫓아내는 장인은 개별적으로는 인상적일 수 있지만 실제로는 비용이 많이 들 수 있습니다. 전체 팀을 더 신뢰할 수 있게 만드는 조용한 작업자는 개인의 결과물이 드러내는 것보다 훨씬 더 많이 기여할 수 있습니다.
슈퍼닭장(Supercoop)
Anthropic은 정말로 뛰어난 똑똑한 닭들로 구성된 특별한 무리를 모았습니다. 2025년 SignalFire 분석에 따르면, 공개 고용 데이터를 기반으로 엔지니어들은 OpenAI에서 Anthropic으로 이동할 가능성이 반대 방향보다 8배 높았고, DeepMind에서 이동할 가능성은 거의 11배 더 높았습니다. 또한 적어도 2년 전에 채용된 Anthropic 직원의 80%가 2년차 말까지 남아 있었던 반면, DeepMind는 78%, OpenAI는 67%였습니다. (SignalFire
이 수치는 인재를 유치하거나 유지하는 데 어려움을 겪는 회사를 설명하지 않습니다. 그들은 올스타를 위한 자석을 설명합니다.
그렇다고 해서 Anthropic 직원들이 서로를 쪼아 죽이고 있다는 의미는 아닙니다. 그것은 싸구려 비유일 것이고, 인재 수치가 그것을 증명하지도 않습니다. 더 중요한 위험은 더 미묘합니다. 회사가 탁월한 연구자, 비정상적으로 높은 유지율, 최첨단 모델을 설득력 있게 제시할 수 있을 때, 개별 부품의 우수성이 전체 시스템이 잘 작동하고 있다는 증거라고 믿기 쉬워집니다.
Muir의 실험은 그 추론을 신뢰할 수 없는 이유를 보여줍니다. 위험은 탁월함 그 자체가 아닙니다. 위험은 성능을 한 단계 낮은 수준에서 측정하는 것입니다.
모델이 제품이 아니다
AI 산업은 슈퍼치킨을 중심으로 구축되었습니다: 유명한 연구자, 벤치마크를 선도하는 모델, 거액의 보상 패키지, 그리고 최상급 표현으로 가득 찬 출시 페이지입니다. 연구소 내부에서는 서열이 분명합니다. 외부에서는 우리가 알을 볼 뿐입니다.
실리콘 밸리에는 명확한 사각지대가 있습니다: 팀은 탁월할 수 있지만 당신이 만든 제품은 여전히 실망스럽고, 접근하기 어렵고, 신뢰할 수 없을 수 있습니다.
일반 사용자는 재능 있는 닭 팀이나 벤치마크로 모델을 판단하지 않습니다. 우리는 모델, 앱, 안전장치, 사용 제한, 가격, 고객 지원만을 가지고 있습니다.
74분 차이의 두 회사
7월 17일, Anthropic은 Fable의 압도적인 수요에 대한 타협안으로 대응했습니다. 7월 20일부터 Max 및 Team Premium 구독자는 요금제의 일부로 Fable에 액세스할 수 있지만, 일반 한도의 절반으로 제한됩니다. Pro 및 Team Standard 사용자는 계속 사용 크레딧을 통해 모델에 액세스할 수 있으며, 일회성으로 $100 크레딧을 받게 됩니다.
https://x.com/claudeai/status/2078302415804379218
74분 후, OpenAI의 Thibault Sottiaux는 모든 유료 Codex 및 ChatGPT Work 사용자의 사용 제한이 재설정되었다고 발표했습니다.
이것들은 경제적으로 동일한 제안이 아니었습니다. Anthropic은 비정상적으로 컴퓨팅 집약적인 모델에 대한 지속적인 액세스 정책을 수립하는 반면, OpenAI는 어려운 제품 출시 후 일시적인 재설정을 부여한 것입니다. 그 차이는 중요합니다. 그럼에도 불구하고 제품 자세의 대비는 알아차리기 어렵지 않았습니다.
https://x.com/thsottiaux/status/2078320950488297917
OpenAI가 완벽한 위치에서 행동한 것은 아닙니다. 최근 자체 데스크탑 및 ChatGPT Work 출시의 일부를 망쳤고, Sottiaux는 공개적으로 회사가 "모든 것을 완벽하게 처리하지는 못했다"고 인정했습니다. 사용자들은 혼란스러운 높은 컴퓨팅 설정, 불투명한 사용 비용, 그리고 익숙한 워크플로를 방해하는 재설계를 경험했습니다. OpenAI는 기본값을 변경하고, 인터페이스를 수리하겠다고 약속하고, 고객이 계속 작업할 수 있도록 반복적으로 사용량을 재설정함으로써 대응했습니다.
한 조직은 희소성을 정당화하고 있었습니다.
다른 조직은 호의를 만들어내고 있었습니다.
OpenAI는 평범한 닭 무리가 아닙니다. 그곳에도 탁월한 인재가 가득하고, 자체적으로 심각한 문화 및 제품 실수를 저질렀습니다. 이 순간의 의미 있는 차이는 모델이나 닭장의 지능이 아닙니다. 압박이 닥쳤을 때 시스템이 보상하는 것처럼 보이는 것입니다.
최선의 경우, OpenAI의 현재 제품 자세는 끊임없이 평범합니다. 사용자의 작업에서 시작됩니다: 이 사람이 무엇을 성취하려고 하는가? 무엇이 그들이 끝내는 것을 막고 있는가? 마찰점은 어디이며, 얼마나 빨리 제거할 수 있는가? 재설정이 OpenAI가 제품 문화를 해결했다는 것을 증명하지는 않지만, 사용자에게 자신의 실수 비용 중 일부를 흡수하려는 본능을 보여줍니다. 모든 부담을 사용자에게 떠넘기지 않고 말입니다.
Anthropic의 제품 자세는 너무 자주 다른 것을 전달합니다: 우리는 탁월한 지능을 창조했으며, 우리의 주된 책임은 당신이 그것에 얼마나 안전하게 접근할 수 있는지 결정하는 것입니다. 그것은 일관된 기관 자세일 수 있지만, 고객 중심적인 자세는 아닙니다. 황금알은 인상적이지만, 닭장이 그것을 수집하도록 허락하지 않으면 가족을 먹여살리지 못합니다.
한 회사는 점점 더 사용자의 작업을 중심으로 조직되고 있습니다. 다른 회사는 여전히 시스템적 위험을 중심으로 조직됩니다. 두 회사 모두 두 가지 질문 모두에 관심을 가져야 하지만, 먼저 묻는 질문이 궁극적으로 구축하는 제품을 형성합니다. 그 차이는 사명 선언문에만 나타나지 않습니다. 라우팅, 제한, 가격, 커뮤니케이션, 그리고 시스템이 실패할 때 신뢰를 회복하려는 의지에 나타납니다.
전체 닭장
문화는 회사가 스스로에 대해 말하는 것이 아닙니다. 문화는 시스템이 반복적으로 쉽게 만드는 것, 그리고 반복적으로 어렵게 만드는 것입니다.
Anthropic은 더 적은 수의 뛰어난 인재를 필요로 하지 않습니다. 모델의 지능과 안전장치의 강도뿐만 아니라 접근성, 신뢰성, 투명성, 신뢰를 포함하는 더 넓은 성공의 정의가 필요합니다. 고객의 입장에서 최종 측정은 놀라울 정도로 간단합니다: 이 전체 시스템이 작업을 완료하는 데 의존할 수 있습니까?
Muir는 자신의 닭을 덜 생산적으로 만들지 않았습니다. 그는 생산성을 측정하는 수준을 변경했고, 집단 성과가 개별 알 개수로는 포착할 수 없는 정보를 포함하고 있음을 발견했습니다. 집단 성과를 위해 선택된 새들은 더 건강하고 생산적이 되었습니다. 왜냐하면 파괴적인 상호작용이 더 이상 측정 항목에 보이지 않게 숨겨지지 않았기 때문입니다. 협력은 결과물에 대한 감상적인 대안이 아닙니다. 그것은 더 큰 결과물을 가능하게 만든 조건 중 하나입니다.
최첨단 모델 경쟁은 같은 단계에 접어들고 있습니다. 오직 하나의 연구소만이 탁월한 지능을 생산할 수 있을 때, 가장 똑똑한 모델은 최고의 제품과 구별되지 않을 수 있습니다. 여러 연구소가 탁월한 지능을 생산할 수 있게 되면, 경쟁 우위는 전체 시스템으로 이동합니다.
세상에서 가장 똑똑한 모델이 더 이상 자동으로 최고의 제품이나 최고의 시장 적합성을 의미하지는 않습니다. Claude는 AI 분야에서 가장 크고 가장 똑똑한 닭일 수 있지만, 닭장 밖에서는 아무도 닭을 평가하지 않습니다. 우리는 단지 알을 셀 뿐입니다.
—
출처
William M. Muir, "Group Selection for Adaptation to Multiple-Hen Cages," Poultry Science (1996).
https://pubmed.ncbi.nlm.nih.gov/8786932/
William M. Muir, "Incorporation of Competitive Effects in Breeding Programs," Purdue University.
https://web.ics.purdue.edu/~bmuir/papers/muir%20group%20selection%20genetics%20final%20v2.pdf
Margaret Heffernan, A Bigger Prize.
https://www.hachettebookgroup.com/titles/margaret-heffernan/a-bigger-prize/9781610392914/
Margaret Heffernan, "Is the Professional Pecking Order Doing More Harm Than Good?," NPR/TED Radio Hour.
SignalFire, "The State of Tech Talent Report — 2025."
https://www.signalfire.com/blog/signalfire-state-of-talent-report-2025
Anthropic, "Claude Fable 5 and Claude Mythos 5."
https://www.anthropic.com/news/claude-fable-5-mythos-5
—
AI 공개: 저는 주장을 전개하고 초고를 제 경험을 바탕으로 직접 작성한 후, ChatGPT를 사용하여 에세이의 일부를 조사, 재구성 및 재작성했습니다. 최종 텍스트를 검토하고 수정했으며, 그 주장과 결론에 대한 책임을 집니다.
**제가 만들고 있는 것에 대해 궁금하신가요?
출처를 인용하는 AI:**
