우리는 기업이 스스로 운영되는 법을 배웠을 때 어떤 일이 일어나는지 조금씩 목격하기 시작했습니다.
지난 6개월 동안 Replit 엔지니어들의 코드 생산량은 거의 3배 증가했습니다. 리뷰 시간은 안정적으로 유지되었고, 롤백 및 프로덕션 장애 건수도 그대로였습니다. 품질 지표는 개선되었고, 릴리스 속도는 빨라졌습니다. 일반적으로 예상되는 모든 트레이드오프는 발생하지 않았습니다.
코드는 눈에 보이는 부분이지만, 그 표면 아래에서 일어나고 있는 일은 훨씬 더 흥미롭습니다.
이제 에이전트는 프로덕션 장애를 조사하고, 풀 리퀘스트를 검토하고, 질문에 답변하고, 비즈니스 데이터를 분석하고, 지원 티켓을 분류하고, 영업 계정을 조사하며, Replit Agent 자체를 구동하는 시스템을 개선합니다.
마치 하나의 마스터 인텔리전스가 모든 직원을 관통하는 것처럼 느껴지지만, 실제로는 그렇지 않습니다. 이는 회사 전체에 걸쳐 운영되는 확장되는 에이전트 시스템입니다. 사람들로부터 목표를 받아들이고, 컨텍스트를 수집하고, 작업을 수행하고, 결과를 확인하며, 인간의 판단이 필요할 때 에스컬레이션합니다.
우리는 이것이 새로운 종류의 조직, 즉 자율주행 기업(self-driving company)의 시작을 의미한다고 생각합니다.
자율주행 기업은 사람이 없는 기업이 아닙니다. 사람들은 여전히 목적지를 선택합니다. 어떤 문제가 중요한지 결정하고, 어려운 트레이드오프를 수행하며, 취향을 발휘하고, 결과에 대한 책임을 집니다.
하지만 점점 더, 그곳에 도달하기 위해 필요한 모든 단계를 스스로 수행하지는 않습니다.
이러한 변화는 작년 말에 시작되었습니다. AI 분야에서 일하는 많은 사람들과 마찬가지로, 우리도 크리스마스 휴가에서 돌아와 근본적으로 무언가가 바뀌었다는 것을 느꼈습니다. 모델이 훨씬 더 긴 기간 동안 작업을 지속할 수 있게 되었습니다.
알림 분류 및 근본 원인 조사와 같이 반복적으로 실패했던 작업들이 작동하기 시작했습니다. AI는 우리의 가장 고질적인 버그 중 일부를 해결하기 시작했습니다. 그래서 우리는 에이전트를 편집기나 채팅 창 안에 존재하는 도구로 취급하는 것을 중단했습니다. 에이전트를 회사 자체의 구조에 신중하게 엮어 넣기 시작했습니다.
엔지니어링 부서가 그 가치를 입증하자, 도입은 저절로 확산되었습니다. 팀마다 가장 지루한 작업을 에이전트에 맡기기 시작했고, 실제로 비즈니스를 움직이는 전략적이고 창의적인 사고를 위한 시간을 되찾았습니다. 사람들은 자신이 자동화되었다고 느끼지 않습니다. 오히려 승진한 것처럼 느낍니다.
이것이 AI가 Replit에서의 업무 방식을 완전히 바꾼 이야기입니다.
엔지니어링 부서가 가장 먼저 그 영향을 목격했습니다
1월 말, 우리는 내부 에이전트 사용 사례를 빠르게 실험하기 위해 인프라를 가동했습니다. 에이전트 하네스, microVM, 원격 파일 시스템 인프라를 활용하여 모든 엔지니어가 병렬로 에이전트 떼(Swarms)를 조정할 수 있도록 했습니다. 그런 다음 이 모든 것을 액세스 정책, 토큰 프록시, 감사 로깅, ZeroTrust 네트워크 뒤에 잠갔습니다. 이 시점에서 우리는 에이전트가 업무를 수행하는 데 사용하는 모든 것(GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk 등)에 안전하게 액세스할 수 있다고 판단했습니다.
시스템 전반에 걸친 컨텍스트를 통해 생산성의 비약적인 발전을 목격했습니다. 이전에 실패했던 실험들이 쉬워졌습니다. 가장 즉각적인 영향은 코딩 통계에서 나타났습니다.
우리는 3월 Agent 4 릴리스를 앞둔 스프린트 주간에 있었는데, 일반적으로 이 시기에 큰 폭의 상승이 있습니다. 회의는 사라지고, 범위는 명확해지며, 엔지니어링 부서는 순수 실행 모드(종종 하루 최대 16시간)로 전환됩니다. 하지만 이번은 달랐습니다. 우리의 생산성 곡선은 그 누구도 본 적 없는 방식으로 위쪽으로 휘어졌으며, 이는 새로운 내부 에이전트 시스템의 도입 덕분으로 볼 수 있습니다. 1월 초부터 6월 말까지 기여된 코드 라인 수는 5.8배 증가했습니다.
주당 변경된 코드 라인 수, 기존 워크플로우 대비 새 에이전트 워크플로우
이러한 증가의 일부는 훌륭한 채용 덕분이라고 할 수 있습니다. 새로운 에이전트는 생산성 향상까지의 시간을 단축시켜 주지만, 더 정확한 데이터를 위해 채용 효과를 제거할 수 있습니다. 일관된 작성자 코호트를 유지했을 때, 이전보다 2.9배 많은 코드를 작성하는 것을 확인했습니다. 전통적으로 팀을 확장하면서 엔지니어 1인당 생산량을 유지하는 것은 탁월한 것으로 간주됩니다. 우리는 팀 규모를 두 배로 늘리면서 엔지니어 1인당 비율을 세 배로 늘렸습니다.
이렇게 많은 새로운 코드를 누가 검토하고 있으며, 검토 과정에 새로운 병목이 생기지 않았는지 궁금할 수 있습니다. 코드 리뷰 대기 시간은 거의 변화가 없는데, 이는 주로 에이전트를 코드 리뷰에 투입했기 때문입니다. 이제 에이전트는 위험 수준을 평가하고 필요한 경우에만 두 번째 인간 리뷰어를 호출할 수 있습니다. 이로 인해 인간의 PR 리뷰 시간이 30%(그리고 계속 증가 중) 절약되었습니다.
에이전트가 더 많은 코드를 작성하고 검토함에 따라 품질에 대한 우려가 생길 수 있습니다. PR 롤백 비율(왼쪽)과 발생한 장애 건수를 살펴보면 추세는 안정적입니다. 이는 상대적인 기준으로 실제로 개선되고 있음을 의미합니다.
그 이유 중 하나는 이러한 프로세스도 에이전트의 지원을 받기 때문입니다. 인간의 코드 리뷰는 에이전트 공동 리뷰어의 도움을 받아 더 많은 버그를 발견할 수 있습니다. 장애 조사(의미 있는 버그 또는 실제 장애)는 근본 원인을 찾으려는 에이전트의 지원을 받아 평균 대응 시간(MTTM)이 단축되고 있습니다.
마지막 테스트는 추가된 코드 입력이 실제 가치 출력을 나타내는지 여부입니다. 결국 엔지니어링 부서는 사용자를 위한 기능을 제공하는 것입니다. 우리는 Linear에서 프로젝트를 추적하여 영업 및 마케팅 팀이 새로운 기능에 대해 사용자와 소통할 시기를 알 수 있도록 합니다. 프로젝트 완료율이 코딩량과 함께 급격히 증가하고 있음을 확인할 수 있습니다.
자율주행 엔지니어링 팀은 더 많은 것을 출시하면서 동시에 품질을 높일 수 있습니다.
우리의 에이전트 중 에이전트는 규모에 맞는 루프 엔지니어링을 가능하게 합니다
자세히 들여다보면 이것이 어떤 모습인지 알 수 있습니다. 엔지니어들이 루프를 생성하는 방법을 찾아내어 검증 가능한 작업을 완료하기 위해 에이전트 함대를 보낼 때, 우리는 가장 극적인 변화를 목격합니다. 모든 직원은 여러 에이전트를 생성할 수 있는 관리자 에이전트에 액세스할 수 있으며, 이를 통해 사용자를 대신하여 루프로 작업하는 에이전트를 조정할 수 있습니다. 루프는 다음과 같은 매우 독특한 PR 그래프를 생성했습니다.
한 엔지니어는 오랫동안 지연되었던 CSS 시스템 마이그레이션을 완료하고 자신의 학습 내용을 공유했습니다. 다른 엔지니어는 제품을 현지화할 수 있도록 하는 마이그레이션을 자동화했습니다. 또 다른 엔지니어는 불안정한 테스트 유지 관리를 자동화했습니다. 우리 CTO는 에이전트 떼를 사용하여 PSC 및 fd 종료와 관련된 가장 어려운 네트워킹 버그 중 하나를 마침내 해결했습니다. 가능하다는 우리의 모든 가정이 바뀌었습니다.
가장 흥미로운 자율주행 사례는 AI 팀에서 나왔습니다. 그들은 사용자 피드백을 분석하고, 개선 사항을 제안하며, 벤치마크와 A/B 테스트를 조합하여 개선 효과를 검증하는 지속적 학습 시스템을 구축했습니다. Replit Agent가 스스로 개선되고 있는 것입니다!
구축(Build) 대 구매(Buy)에 대한 논의가 바뀌었습니다
새로운 내부 에이전트는 소프트웨어를 구축할지 구매할지에 대한 논의도 바꾸었습니다. 우리는 정기적으로 새로운 AI 도구를 시험해 봅니다. 솔루션을 구매하면 더 빠르게 진행할 수 있고, 시장을 지속적으로 평가하기도 합니다. 하지만 더 많이 구축할수록 구매해야 할 필요성은 줄어듭니다. 우리의 내부 에이전트는 현재 시장을 선도하는 것으로 평가되는 제품들보다 뛰어난 성능을 보여주고 있습니다. 우리는 완전히 Replit에서 구축한 내부 앱이 우수하고 직원들이 이미 마이그레이션했기 때문에 7자리 규모의 SaaS 솔루션을 해지했습니다.
갑자기 도구들이 우리를 위해 만들어진 것처럼 느껴집니다. 지식 기반과의 깊은 통합 및 우리가 수행한 사용자 정의로 인해 다른 솔루션들은 열등하게 느껴집니다.
더욱 놀라웠던 점은 내부 에이전트가 우리가 평가한 특정 수직 분야의 제품들도 능가했다는 것입니다. 엔지니어가 알림을 분류하고 장애의 근본 원인을 찾도록 돕는 도구는 비슷한 품질을 보였지만, 에이전트에서 실행하는 비용의 10배에 달했습니다. 자동화된 침투 테스트를 실행하는 도구는 10배 더 높은 비용으로 내부 버전보다 더 적은 취약점을 발견했습니다. 두 버전 모두 쉽게 프로덕션에 투입되어 장애 MTTM을 줄이고 중요한 시스템을 공격으로부터 강화했습니다.
우리가 여전히 배우고 있고 모델이 계속해서 개선되고 있음을 감안할 때, 이것은 단지 시작에 불과하다는 것이 분명합니다.
엔지니어링을 넘어 비즈니스 전체로
자율주행 기업은 엔지니어링 부서에서 멈추지 않습니다. Replit의 모든 기능이 변화하고 있습니다.
사용은 주로 Slack 인터페이스를 통해 엔지니어링 부서 밖으로 빠르게 확산되었습니다. 회사의 다른 부서 직원들은 엔지니어들이 에이전트에 작업을 태그하는 것을 보고 직접 시도해 보았습니다. 초기에는 질문을 하는 것이 가장 인기 있는 사용 사례였습니다. 지식 기반과 코드 베이스 상태를 결합함으로써 누구나 엔지니어링 부서의 의견을 기다리지 않고도 제품 기대치를 명확히 할 수 있었습니다. 그런 다음 해당 직원들은 후속 조치로 카피나 문서를 수정할 수 있었습니다. 이는 사용자에게 더 빠르게 응답할 수 있는 즉각적인 향상이었습니다.
하지만 그것은 시작에 불과했습니다. 그 이후로 회사의 모든 부서에서 새로운 기술과 통합에 대한 기여가 들어오기 시작했습니다.
첫 번째 큰 돌파구는 데이터 팀에서 나왔습니다. 그들은 에이전트에 데이터 웨어하우스 위의 시맨틱 레이어를 제공하여, 어떤 테이블이 진실의 원천(Sources of Truth)이고 서로 어떻게 관련되어 있는지 알 수 있게 했습니다.
이제 Replit의 누구나 비즈니스 인텔리전스 질문을 하고 신뢰할 수 있는 답변을 얻을 수 있습니다. 라이브 데이터(이 글의 모든 차트 포함)로 차트와 프레젠테이션을 만들 수 있습니다. 데이터 팀은 요청을 처리하는 대신 가장 어려운 문제를 더 깊이 파고드는 데 시간을 사용합니다. 최근에는 PM이 복잡한 출시 분석을 스스로 처리할 수 있었는데, 이는 에이전트가 코드베이스의 이벤트, 고객 데이터 플랫폼에 나타나는 방식, 그리고 이를 복잡한 구독 상태와 결합하는 방법을 이해하기 때문입니다.
영업 부서도 같은 이점을 얻었습니다. 영업 개발 팀은 에이전트를 사용하여 제품 적격 리드(Product Qualified Leads)를 찾고 보강하며, 일반적인 도구는 볼 수 없는 내부 지식을 활용하여 더 많은 맥락을 가지고 아웃리치를 진행합니다. AE(Account Executive)는 고객과의 대화를 준비하고, 누가 가장 많은 가치를 얻고 있는지, 어떤 프로젝트가 가장 활발한지, 크레딧 사용량이 계약과 어떻게 일치하는지 이해하는 데 에이전트를 사용합니다. 이 모든 정보는 계정에 맞게 맞춤화된 브랜드 Slides로 패키징됩니다. 자율주행 영업 팀은 고객과 더 많고 질 높은 접점을 가지게 됩니다.
마케팅 팀은 엔지니어링과 제품 전반에 걸친 대화와 문서를 기반으로 단일 프롬프트로 제품 사양 초안을 작성하는 데 에이전트를 사용할 수 있습니다. 이를 통해 모든 회의에 참석하지 않고도 출시 준비를 더 일찍 시작하고 최신 정보를 유지할 수 있습니다. 계획을 세우고 창의성을 발휘할 시간이 더 많아져, 출시가 세상에 나왔을 때 더 큰 영향을 미칠 수 있을 것입니다.
고객 지원 팀은 에이전트에 문제를 조사하고 표준 플레이북을 따르는 기술을 부여했습니다. 에이전트는 표준 고객 서비스 톤으로 응답을 제공하거나, 티켓 및 조사 내용 요약과 함께 엔지니어링 부서로 에스컬레이션할 수 있습니다. 자율주행 지원 팀은 가장 어려운 티켓(인간에게 에스컬레이션된 티켓)을 60% 더 빠르게 마감합니다. 사용자는 더 빨리 빌드로 돌아갈 수 있습니다.
모든 사례에서 인간은 자동화로 사라지지 않았습니다. 그들은 승진했습니다. 자율주행은 실행자를 관리자로 변화시키며, 성과를 내는 사람들은 결과를 생각하고 방향을 설정하는 사람들입니다. 그것이 지금 가장 가치 있는 일입니다.
—
다음은 어디일까요?
우리 스스로의 생산성을 높이는 것은 흥미롭지만, Replit 사람들을 진정으로 움직이는 것은 기술의 민주화입니다.
우리는 이 새로운 업무 방식을 모든 사용자에게 제공하고자 합니다. 우리는 이를 대규모로 배포하는 데 필요한 정책, 권한, 보안 및 비용 통제를 갖추기 위해 열심히 노력하고 있습니다. Replit의 가장 활동적인 사용자는 실제 비즈니스를 구축하는 기업가와 엔터프라이즈 사용자입니다. 자율주행에는 이러한 사용자들에게 맞게 확장될 수 있는 안전 장치가 필요합니다.
우리는 지금 그것을 구축하기 위해 열심히 노력하고 있습니다.
위의 모든 그래프를 고려할 때, 오래 기다리실 필요는 없을 것입니다.
