저는 수백만 개의 코드스 토큰을 사용합니다. 제 설정 방법과 배운 점을 공유합니다.
많은 사람들이 코드스가 할 수 있는 능력을 극도로 과소평가합니다. 제 동료들 중 일부조차도 코드스를 제대로 활용하지 못하지만, 야심 찬 사용 사례를 보여주면 기꺼이 실험해보려고 합니다. 그래서 이 내용을 글로 정리하여 더 널리 공유함으로써 더 많은 사람들에게 영감을 주고자 합니다.
이 글에서는 제 간단한 설정을 공유하고, 제가 일상적으로 수억 개의 토큰을 할당하는 강력한 사용 사례에 대해 논의하겠습니다. 이번 달에 API 비용으로 총 10,000달러를 지출했는데, 이는 제 팀 내에서 가장 많은 사용량 중 하나입니다. 그만한 가치가 충분히 있습니다.
마지막으로, 조직이 가까운 미래에 어떻게 훨씬 더 효율적으로 변할 수 있을지에 대한 제 생각을 정리해봅니다.
지속적인 노트 테이킹
제 개인 설정은 매우 간단합니다: git worktrees, 여러 개의 셸 창, 그리고 각 worktree 당 하나의 VSCode 인스턴스를 사용하여 코드 변경 사항을 탐색합니다. 기본적으로 새로운 코드스 앱에서 이 설정을 바로 사용할 수 있습니다. 지나치게 화려한 도구에 현혹되지 마세요.
가장 큰 전환점은 코드스가 자체 워크플로우를 지속적으로 문서화하고 개선하도록 하는 것이었습니다. 이 부분은 제 개인 설정을 위해 제가 직접 모두 구현했습니다. 코드스는 제가 사용하는 작업에 대해 꾸준히 더 좋아지고 빨라집니다. 단지 제가 메모를 하고 개선하도록 요청하는 습관이 있기 때문입니다. 작업하는 동안 코드스는 메모와 도우미 스크립트를 저희 모노레포의 개인 폴더에 커밋합니다. 코드베이스의 새로운 부분과 몇 번 상호작용한 후에는 이러한 도우미 스크립트들이 안정화되는 경향이 있습니다. 저는 실제로 이 메모들을 읽어본 적이 없으며, 그 유용성은 순전히 코드스의 성능에 미치는 영향에 있습니다.
이제 제 설정이 세션 간에 지식을 축적할 수 있게 되면서, 코드스를 사용하는 작업 규모를 확장하는 데 익숙해졌습니다. 최근 수억 개의 토큰을 사용한 두 가지 작업을 자세히 살펴보겠습니다.
연구 규모 확장
연구는 빠르게 움직입니다. 실험은 비용이 많이 들고 잘못 구성하기 쉬우므로, 최신 연구 결과와 주의사항을 파악하는 것이 중요합니다. 다행히도 코드스는 훌륭한 검색 엔진입니다.
익숙하지 않은 코드베이스 부분에서 일회성 실험을 빠르게 구현해야 할 때, 저는 코드스가 광범위한 실사를 수행하도록 합니다. 코드스는 관련 Slack 채널을 탐색하고, 관련 토론을 읽고, 해당 토론에서 실험 브랜치를 가져와 제 실험에 유용한 변경 사항을 선별합니다. 이 모든 것은 각 정보 출처에 대한 링크와 함께 광범위한 노트 세트로 요약됩니다. 이 노트를 사용하여 코드스는 실험을 구성하고, 제가 훨씬 더 많은 노력을 기울이지 않고는 불가능했을 다양한 하이퍼파라미터 결정을 내립니다.
두 번째 의견을 요청하면 제가 제공하는 작업에 대한 확신이 크게 높아집니다. 실수 비용이 큰 환경에서는 매우 꼼꼼하고 재현율이 높은 검색 에이전트가 필요합니다. 코드스는 제게 그 필요를 항상 채워줍니다.
코딩 에이전트는 데이터 분석에도 뛰어나며, 데이터로부터 빠르게 인사이트를 얻는 것을 매우 쉽게 만들어줍니다. 현재, 진정한 병목 현상은 무엇을 분석할지 파악하는 것입니다.
최근 저는 코드스를 사용하여 일부 모델 동작 관련 작업을 공격적으로 확장했습니다. 사내 Slack에는 더 엄격하게 테스트해야 할 다양한 유형의 모델 동작과 관련된 논의, 보고서, 데이터가 가득하다는 것을 깨달았습니다. 저는 코드스를 사용하여 적절한 채널을 찾아 광범위하게 크롤링하고 테스트 가능한 가설에 대한 설명을 생성했습니다. 코드스는 Slack을 읽는 것 외에도 사람들이 공유한 스크린샷을 살펴보고, 모델 동작과 관련된 문서를 가져오고, 스프레드시트를 탐색했습니다. 몇 시간에 걸쳐 이 작업은 700개 이상의 새로운 가설을 도출했으며, 현재 이 가설들은 모델 동작과 사용자 선호도에 대한 이해를 높이는 데 기여하고 있습니다.
이 작업의 대부분은 GPT-5.2로 수행되었지만, 최근 며칠 동안 새로운 GPT-5.3-codex 모델을 테스트하고 있습니다. 하루 사용 토큰 수가 증가하고 있으며, 이는 제 생산성과 대략적으로 상관관계가 있는 것으로 보입니다.
GPT-5.3-codex는 동시에 여러 하위 에이전트를 관리하는 데 특히 뛰어나다고 생각합니다. 또한, 최근 코드스 스택의 속도 향상으로 전체 하위 에이전트 경험이 훨씬 더 민첩하게 느껴집니다.
제 워크플로우는 현재 하나의 에이전트와만 대화하고, 해당 에이전트가 Slack 조사, 코드 조사, 코드 작성, 데이터 과학을 위해 수많은 에이전트를 조율하는 방식으로 전환되고 있습니다. 이는 에이전트를 통해 작업을 병렬화하기 위해 필요한 컨텍스트 스위칭 횟수를 획기적으로 줄여줍니다. 하지만 중요한 작업을 수행해야 할 때는 여전히 특정 하위 에이전트와 직접 대화하는 것을 선택합니다.
사회적 함의
이러한 워크플로우는 조직이 운영될 수 있는 방식에 대한 근본적인 사실을 드러냅니다. 제 두 사용 사례 모두에서 수동적인 조정 없이 포괄적인 조직 간 지식 전달을 달성했습니다. 회의도, 이메일도, 주변에 묻는 것도 없었습니다. 저는 단순히 코드스에게 문제를 지목했고, 코드스는 제 목적에 기여하고 있다는 사실조차 몰랐던 수십 명의 사람들로부터 지식을 집계했습니다.
이것이 사회에 어떤 영향을 미칠지 궁금해하지 않을 수 없습니다. 전통적으로 조직은 인원수에 따른 세금을 부담합니다: 더 많은 사람을 추가하면 총 생산량은 증가하지만, 조정 오버헤드가 증가하기 때문에 추가 인원 한 명당 기여도는 감소합니다. 이것은 거대한 문제입니다. 현대 조직은 비정형 커뮤니케이션 채널(Slack, Teams), 공유 코드베이스, 중앙 집중식 문서와 같은 도구를 사용하여 이를 완화하려고 하지만, 여전히 막대한 마찰이 존재합니다. 특정 결정에 필요한 올바른 컨텍스트를 찾는 것은 여전히 상당한 인간의 노력을 필요로 합니다.
오늘날 사용 가능한 기술을 통해 우리는 이제 조직의 전체 정보 환경을 탐색하고 필요에 따라 관련 컨텍스트를 종합할 수 있습니다. 우리는 지구상의 모든 조직이 겪고 있는 비효율성을 실질적으로 개선할 수 있습니다.
저는 현대 기관들이 훨씬 더 효율적으로 만들어질 수 있다고 믿으며, 우리에게 필요한 것은 단지 질문하는 것일지도 모릅니다.
