현장에서 배우는 학습

몇 년 전 저는 독일에서의 견습 과정에 대해 글을 썼습니다. 저는 16세에 학교를 그만두고 Siemens 의 자회사에 취직했는데, 그곳에서 가장 흥미로운 사람들은 지하실에 앉아 회사에서 강제한 Rosie SQL 대신 Delphi를 사용하고 있었습니다(두 기술 모두 이제는 시간과 발전 속에 거의 사라졌습니다). 저는 그들을 지켜보며 프로그래머가 되는 법을 배웠습니다. 그들에게 커피를 타주면서, 그들 주변에 충분히 오래 머물면서 그들의 판단력이 제게 스며들도록 했습니다.

지난 1년 동안 저는 그 경험에 대해 많이 생각해 왔습니다. Shopify 에서 우리가 같은 원리로 작동하는 무언가를 만들었기 때문입니다.

그녀의 이름은 River 입니다. River 는 회사 Slack 에서 활동하는 AI 에이전트입니다. Slack 채널에서 River 를 멘션하는 것만으로 팀 동료에게 말하듯 대화할 수 있습니다. 코드를 읽고, 테스트를 실행하고, 코드를 작성하고, 풀 리퀘스트를 열고, 데이터 웨어하우스를 쿼리하고, 프로덕션 트레이스를 살펴보는 등 훨씬 더 많은 일을 할 수 있습니다. 우리는 이것을 끊임없이 사용합니다.

지난 30일 동안 5,938명의 Shopify 직원이 4,450개의 다양한 Slack 채널에서 River 와 함께 작업했습니다. 지난주에만 1,870개의 풀 리퀘스트를 메인 모노레포에서 열었습니다. 지난주에 코드베이스에 병합된 풀 리퀘스트 약 8개 중 1개는 River 가 작성하고 우리가 검토한 것입니다.

지금 전 세계에는 수많은 코딩 에이전트가 있습니다. River 를 특별하게 만드는 것은 하나의 제약 조건입니다: 그녀는 공개된 곳에서만 작업합니다.

제약 조건이 기능이 되다

River 를 만들기 시작했을 때, 가장 당연한 선택은 사람들이 비공개로 사용하게 하는 것이었습니다. 이것이 많은 다른 AI 어시스턴트가 작동하는 방식입니다. ChatGPT 는 비공개 창입니다. Claude 도 비공개 창입니다. Cursor 는 당신과 IDE 사이에 있습니다.

우리는 반대의 결정을 내렸습니다. River 는 회사 채팅인 Slack 에 있습니다. River 는 다이렉트 메시지에 응답하지 않습니다. 정중하게 거절하고 당신과 그녀가 함께 작업을 시작할 공개 채널을 만들 것을 제안합니다. 저도 #tobi_river 채널에서 River 와 함께 작업하며 많은 사람들이 이 패턴을 따랐습니다. 따라서 모든 대화는 검색 가능합니다. Shopify 의 모든 사람이 참여할 수 있습니다. 제 채널에는 100명이 넘는 사람들이 스레드에 반응하고, 내용을 추가하고, 맥락을 제공하고, 작업을 이어받고, 리뷰를 돕고, 제가 얼마나 녹슬었는지 상기시켜 주며, 중요한 것은 지켜보며 배웁니다.

처음에는 이것이 이상해 보였습니다. 사람들은 도구와 함께 비공개 작업 공간을 사용하는 데 익숙합니다. 회사 전체가 질문을 볼 수 있을 때 도움을 요청하는 것은 다르게 느껴집니다. 하지만 우리가 바랐지만 그 영향을 완전히 예측하지는 못했던 일이 일어났습니다:

사람들은 서로에게서 배우기 시작했습니다.

#help_checkout 채널의 지원 엔지니어는 다른 채널에서 백엔드 엔지니어가 River 를 통해 올바른 로그 쿼리를 찾는 것을 지켜보고, 다음 날 똑같이 했습니다. 신입 사원은 #river 채널을 스크롤하며 시니어 직원들이 첫 번째 요청을 보내기 전에 어떻게 범위를 설정하는지 확인했습니다.

독일어에서 자주 그렇듯, 이런 환경을 가리키는 단어가 있습니다: Lehrwerkstatt. 문자 그대로: 가르치는 작업장. 전체 작업 현장이 교실입니다. 작업 가까이에 있음으로써 배웁니다. 끊임없이 배우는 것이 회사의 핵심 가치 중 하나입니다.

Shopify 는 규모에 맞는 Lehrwerkstatt 가 되기를 원하며, River 는 이제 그 이상에 그 어느 때보다 가까워지게 해주었습니다. 그것은 삼투압 학습입니다. 커리큘럼, 교육 계획 또는 관리자가 필요하지 않기 때문입니다. 모든 사람의 작업이 최대한 가시화되기만 하면 됩니다. 모두가 서로에게서 배웁니다.

저는 이 다소 우연한 발견에 진심으로 흥분하며, 여러분과 공유하고 싶었습니다.

AI 시대에 이것이 더욱 중요한 이유

AI 에 대한 일반적인 우려 중 하나는 사람들이 생각하는 것을 멈추게 할 것이라는 점입니다. 주니어 개발자가 에이전트가 대신 디버깅해 준다면 왜 디버깅을 배워야 할까요? 그냥 물어보면 되는데 왜 코드베이스를 읽어야 할까요?

저는 그 우려가 현실적이지만 프레이밍이 잘못되었다고 생각합니다. 위험은 AI 가 일을 하는 것이 아닙니다. 위험은 AI 가 일을 하고 우리가 그것으로부터 결코 배우지 않는 것입니다. 에이전트와의 모든 상호작용이 비공개 창에서 이루어진다면, 배우는 사람은 키보드 앞에 있는 사람뿐입니다. 다른 모든 사람들은 견습 과정에서 잠겨 있습니다.

사람들이 에이전트와 함께 공개적으로 작업할 때, 정반대의 일이 발생합니다. 최고의 프롬프트 패턴이 퍼지고, 지식이 퍼집니다. 한 개발자가 Slack 권한 버그를 조사하기 위해 사용한 영리한 방법은 다른 모든 사람이 조사하는 템플릿이 됩니다. 누군가가 River 에게 회사의 체크아웃 데이터 웨어하우스에 대해 가르치기 위해 작성한 스킬은 12개의 다른 팀에서 재사용됩니다. River 자신도 배웁니다: 모든 채널은 해당 팀이 필요로 하는 영역, 스킬 및 지침을 미리 로드할 수 있으며, 이는 작업에 가장 가까운 사람들이 작성합니다. River 는 또한 회사와 업무 수행의 최선의 방법에 대한 중요한 정보를 지속적으로 학습하고 잊어버리는 메모리를 가지고 있습니다.

에이전트는 견습생을 대체하지 않으며, 멘토도 대체하지 않습니다. 에이전트는 회사 전체를 견습생으로 만듭니다. 모든 사람이 가장 경험 많은 사람들이 에이전트와 함께 작업하는 모습을 끊임없이 지켜보기 때문입니다.

이것이 병합율이 계속 상승하는 이유이기도 합니다. 우리는 모델을 재훈련하지 않았습니다. 모델을 변경하지도 않았습니다. 두 달 만에 36%에서 77%로의 개선은 사람들이 River 가 작업하는 것을 지켜보고, 어디에서 막히는지 알아차리고, 알아야 할 것을 기록하고 River 자체가 더 나은 팀 동료가 되도록 돕는 데서 비롯되었습니다. 모든 팀의 축적된 취향이 에이전트로 흘러갑니다. 에이전트는 Shopify 다워지기 위해 더 나아집니다.

회사는 가장 느린 비밀의 속도로 움직인다

이것이 왜 중요한지 생각해 보면, 오랫동안 믿어온 것으로 돌아갑니다: 조직의 속도는 가장 낮은 대역폭의 커뮤니케이션 채널과 리듬의 속도에 의해 결정됩니다. 회의는 느립니다. 이메일은 느립니다. 비공개 DM은 느립니다. 아마도 관련된 개인에게는 그렇지 않을 수 있지만, 조직에게는 그렇습니다. 그들로부터 나오는 정보와 결정은 엄청난 추가 커뮤니케이션 노력 없이는 조직의 나머지 부분에 완전히 확산되지 않습니다.

인간 간의 또는 유능한 에이전트와의 공개 대화는 그런 것들이 전혀 아닙니다. 빠르고, 검색 가능하며, 가르칠 수 있고, 복리 효과가 있습니다. 같은 질문을 가진 다음 사람은 질문할 필요가 없습니다.

저는 일의 미래가 인간이 에이전트로 대체되는 것이라고 생각하지 않습니다. 저는 2018년에 인간 탁월함의 미래 역할이라는 글을 썼는데, 컴퓨터가 체스를 배운 후 체스가 덜 유명해지지 않고 오히려 더 유명해진 방법에 관한 것입니다. 같은 교훈이 여기에도 적용됩니다. 올바른 모델은 인간 또는 기계가 아닙니다. 그것은 견습생과 마스터이며, 둘 다 서로가 배우는 것을 지켜보고, 작업 현장에서 함께 더 나아집니다.

그것이 바로 River 입니다. 이것이 우리의 Lehrwerkstatt 입니다.