집필 시점을 기준으로, Artie 는 17 명으로 구성된 팀이다. 우리 모두는 @NousResearch 의 오픈소스 AI 에이전트 하네스인 Hermes 와 함께 일한다. 이 시스템은 독일의 단일 물리 서버에서 실행되며, 각 팀마다 다른 페르소나를 가지고 있고 밤에는 '꿈'을 꾼다.
이 모든 것이 어떻게 시작되었는지 그 이야기를 해보려 한다.
한 엔지니어의 WhatsApp 연락처로 시작되었다
몇 달 전, 우리 엔지니어 중 한 명인 Ani (@anirudhsriramzz) 가 개인용으로 Hermes 를 사용했다. 단순한 개인 설정이었고, 그는 WhatsApp 을 통해 Hermes 와 대화했다.
마침 같은 시기, CTO 인 Robin 은 해커톤에서 돌아왔다. 그곳에서 친구가 자신의 업무를 수행하는 여러 에이전트를 보여준 것이다. Robin 이 가져온 질문은 단순했다. "엔지니어뿐만 아니라 Artie 의 모든 구성원이 이런 환경을 이용할 수 있게 하려면 어떻게 해야 할까?"
우리는 먼저 OpenClaw 를 검토했다. 좋은 도구였다. 하지만 에이전트가 아무도 요청하지 않은 작업을 멋대로 수행하는 모습을 쉽게 볼 수 있었고, 우리는 확장성보다 안전장치 (guardrails) 가 먼저라고 판단했다. 그래서 Hermes 를 선택하고, 어떤 안전장치를 마련할지 고민하기 시작했다.
눈가리개를 한 뇌
우리의 관점은 이렇다. 모든 AI 연구소는 이미 '뇌'를 출시했다. 무엇이든 물어보면 답을 준다. 같은 질문을 다섯 번 하면, 그럴듯하지만 형태가 서로 다른 다섯 개의 답을 받을 수 있다.
채팅 창에서는 괜찮다. 하지만 그 뇌에게 '일'을 시키려면 문제가 된다. 영업 엔지니어가 진행 중인 고객 상담 25 건에 대한 리스크 분석을 요청한다면, 매번 동일한 형식의 답변을 받아야 행동에 옮기고 주별 비교를 하며 신뢰할 수 있다.
경주마는 관중을 보지 않고 트랙에만 집중하도록 눈가리개를 착용한다. Skills(기술) 과 Tools(도구) 가 바로 그 눈가리개이며, Harness(하네스) 는 이를 장착하는 방식이다. Hermes, Codex, Claude Code 등은 모두 동일한 아이디어의 변형이다. 모델이 무엇을 할 수 있는지, 그리고 출력 결과가 어떻게 생겼어야 하는지를 결정하는 방법론이다.
이렇게 생각하게 되자 프로젝트는 '챗봇 구축' 에서 'Artie 의 각 업무용 눈가리개 제작' 으로 방향을 틀었다.
독일의 $60 서버가 모든 것을 구동한다
Robin 과 Ani 는 주말 동안 약 세 시간 만에 첫 번째 Hermes 를 구축했다. 우리는 Railway 에서 가장 저렴한 플랜을 빌리고, 기본 프로필 하나로 Hermes 를 부팅한 뒤 엔지니어링 팀이 자유롭게 쓰도록 했다.
5 일 안에 우리는 Railway 의 사용량 제한에 반복적으로 도달했다. 경고가 뜰 때마다 업그레이드해야 했다. 이것이 첫 번째 실질적인 교훈이었다. 팀이 실제로 에이전트를 도입하는 순간부터 비용은 더 이상 사이드 프로젝트 수준으로 보이지 않는다는 점이다.
우리의 프로덕션 인프라는 AWS 에 있으며 앞으로도 그럴 것이다. 하지만 이것은 고객 인프라가 아닌 에이전트용 내부 샌드박스였고, 우리는 가능한 한 저렴하게 운영해보고 싶었다. 우리는 독일 호스팅 회사인 Hetzner(@Hetzner_Online) 를 발견했고, 연 $60 에 물리 서버를 하나 구매했다. 현재 Artie 의 모든 Hermes 는 이 서버에서 실행된다.
우리는 소규모이지만 날렵한 회사다. Artie 에서 AI 를 활용하는 핵심 질문은 항상 이것이었다. "돈을 불태우지 않으면서 팀을 최대한 AI 네이티브하게 만들려면 어떻게 해야 할까?" Hetzner 서버가 이에 대한 첫 번째 답이었다.
우리가 진정으로 원했던 것
부하를 감당할 수 있는 서버를 확보한 후, 우리는 앉아 Hermes 의 목적을 정의했다. 두 가지 목표가 있었다.
모두가 조력자를 갖는다. 엔지니어, 영업, 운영, 마케팅, 디자인 등 모든 직군. 당신을 대체하는 존재가 아니라, 당신이 더 많은 일을 할 수 있도록 돕는 '주니어 버전의 나' 여야 한다. 업계의 공포는 에이전트가 일자리를 뺏는다는 것이지만, 우리의 경험은 정반대였다. 모두가 하나씩 갖게 되자, 모두 더 빠르게 제품을 출시하고 이전에는 불가능했던 업무를 맡게 되었다.
항상 사람이 루프 안에 있다. Hermes 는 지시받은 대로 무엇이든 수행할 수 있다. 하지만 프로덕션 환경, 문서, 또는 고객 앞에 노출되기 전에는 반드시 사람이 검토한다.
사람이 특화되듯, 에이전트도 그래야 한다
17 명 규모의 팀에서 오직 한 가지만 잘하는 사람은 없다. 하지만 누구나 특정 분야에서는 두각을 나타낸다. 우리는 그런 '특출남 (spike)' 을 보고 채용한다.
그렇다면 왜 우리의 에이전트는 달라야 할까? 마케팅 카피 작성에 주니어 엔지니어를 투입하는 것은 낭비다. 코드베이스에 주니어 마케터를 투입하는 것은 더 최악이다. 우리는 사람을 대하는 방식으로 에이전트를 모델링했다. 각 에이전트에게 도메인, 페르소나, 그리고 해당 도메인이 필요로 하는 접근 권한을 부여했다.
그 결과, 팀별로 하나의 Hermes 프로필을 가진 '가족' 이 탄생했다.
Hermes Plan 과 Hermes Code 는 엔지니어링 소속이다. Plan 은 테크 리드를 위한 것으로, A 를 먼저 하고 B 를 할지, 아니면 A 와 B 를 병행하고 C 는 나중에 할지 등을 파악해 문서화한다. Plan 은 작업을 칸반 보드로 분배한다. Code 는 티켓을 픽업하여 기존 코드베이스를 대상으로 백그라운드에서 실행하고 PR 을 생성한 뒤 대기한다. 사람이 PR 을 리뷰하고 나서야 master 브랜치에 머지된다. 하나의 태스크가 완료되면 Plan 의 다음 단계가 자동으로 시작된다.
예상치 못한 부작용은 다음과 같다. 이제 엔지니어링 팀의 대부분의 시간은 '계획 수립' 에 쓰인다. 과거에는 사람들이 코드와 실행 속에 살았다면, 이제는 시스템 설계와 리뷰 속에 살고 중간 과정은 Hermes Code 가 처리한다.
Hermes Sales 는 디스커버리 콜 전에 사전 준비를 한다. 잠재 고객을 조사하고, 그들이 사용하는 기술 스택을 파악하며, 딜과 관련된 최신 컨텍스트를 수집한다. 또한 우리의 문서와 엔지니어링 지식을 갖추고 있어 한 발 더 나아갈 수 있다. 만약 잠재 고객이 특정 데이터 이동 도구를 사용한다고 언급하면, Hermes 는 통화 시작 전에 영업 담당자에게 그 도구가 스키마 드리프트 등에서 자주 발생하는 문제점을 알려줄 수 있다.
Hermes Design 과 Hermes Code 의 조합으로 마케팅 팀은 엔지니어를 호출하지 않고도 랜딩 페이지를 디자인하고 구축하며 배포할 수 있다. 우리의 마케팅 사이트는 Next.js 기반이며 CMS 는 더 이상 사용하지 않는다. Design 은 기존 컴포넌트 시스템 내에서 작업하며, 새로운 컴포넌트를 만들기 전에 이미 존재하는지 확인하고, 구현은 Code 에게 넘긴다.
Hermes BizOps 는 파이프라인 리뷰, 데이터 조정, 트래커 업데이트, 사람의 개입이 필요한 예외 사항 탐지 등 반복적인 운영 업무를 처리한다.
그리고 어디에도 속하지 않는 일반적인 작업을 위한 기본 프로필도 있다.
우리 대부분은 Slack 을 통해 이들과 소통한다. 일부는 Hermes 데스크톱 앱을 사용한다. 어느 쪽이든 전체적인 흐름은 반응적 (reactive) 에서 능동적 (proactive) 으로 바뀌었다. 에이전트들은 이미 코드베이스, 문서, CRM, 인터넷 정보를 가지고 있으므로, 컨텍스트를 입력받기를 기다리지 않고 어디서든 답을 찾아낼 수 있기 때문이다.
코드처럼 버저닝된 Skills, 처음부터 그랬다
프로필은 페르소나이고, Skills 는 그것들을 유능하게 만드는 요소다.
Skill 은 실제 업무 유형을 위한 재사용 가능한 절차다. 무엇을 먼저 확인할지, 어떤 출처가 권위적인지, 출력물은 어떤 모양이어야 하는지, 어떻게 검증할지 등을 정의한다. 우리는 첫 주부터 자체 Skills 를 작성해 Git 저장소에 넣었다. 모든 Hermes 는 여기서 읽어온다. Skill 이 변경되면 커밋 히스토리가 남고, 모든 프로필이 이를 반영한다.
너무 많이 만들지 않으려고 의식적으로 노력했다. AI 를 활용하는 방법은 무수히 많으며, 인터넷의 대부분은 자율 에이전트로 이루어진 24/7 공장을 짓으라고 조언한다. 토큰이 무한하다면 몰라도, 우리는 그렇지 않다. 수백 개의 Skill 중에서 사용할 것을 고르는 데만 토큰을 태우는 것은 낭비다. 따라서 비용 대비 가치가 명확하지 않은 것은 모두 제거했으며, 계속 줄여나가고 있다.
최종적으로 내린 규칙은 이렇다. 가치가 명확하면 비용은 정당화된다. 가치가 모호하다면 만들지 않는다.
Hermes 는 꿈을 꾼다
Hermes 는 cron 시스템을 갖추고 있다. 태스크와 주기성을 지정하면 스스로 실행한다.
Anthropic 의 에이전트 메모리 연구를 영감받아, 인간이 하는 행위를 모방했다. REM 수면 중 인간의 뇌는 하루를 정리한다. 일부는 장기 기억으로 승격되고, 일부는 폐기된다. 이사하고 여행만 다닌 해가 기억에 남는 이유는 반복되는 일이 없었기 때문이다.
그래서 매일 밤, 아무도 사용하지 않을 때 각 Hermes 는 꿈을 꾼다. 그날 한 일을 복기하고, 유용했던 것과 아니었던 것을 판단한다. 유용한 부분은 기억으로 승격시키고 나머지는 강등시킨다. 그 후 엔지니어에게 보고서를 보낸다. 보고서에는 이런 내용이 담긴다. "이 부분을 잘못했습니다. 저 부분도 잘못했습니다. 수정했습니다. 수정 사항을 저장했습니다. 그리고 실수를 유발했던 습관은 잊었습니다."
몇 주가 지나면 각 프로필은 자신의 팀을 위해 무엇을 해야 하고 하지 말아야 하는지에 대해 더 확고한 의견을 갖게 된다. 우리는 이러한 의견을 프로그래밍하지 않았다. 그것은 '꿈' 에서 비롯된 것이다.
왜 우리가 직접 하네스를 운영하나
사람들은 왜 Cursor, Codex, Claude Code 등을 그냥 쓰지 않느냐고 묻는다.
물론 그렇게 할 수도 있고, 기술적으로는 내일이라도 워크로드를 옮길 수 있다. 하지만 우리가 Hermes 를 직접 운영하기 때문에, 그 아래 깔린 모델은 누구의 것이든 상관없다. 만약 다음 주에 특정 연구소가 가격을 인상하면, 우리는 모델을 교체하면 된다. 우리의 프로필은 충분히 안정적이어서 모델 교체만으로 깨지지 않는다. 월요일에는 Anthropic 모델을 쓰다가, 가격 변동이 있으면 금요일에는 OpenAI 모델로 바꿀 수 있다.
두 번째 이유는 기능이다. Cursor 가 필요한 인증 방식을 지원하지 않거나, 당신의 코드베이스에서 같은 실수를 반복한다면 티켓을 넣고 기다려야 한다. 반면 Hermes 에게 필요한 기능이 생기면 우리가 직접 만든다. Hermes 는 단순히 붙여넣어 쓰는 외부 도구가 아니라, Artie 의 일부로서 내부 시스템과 연결되어 있다.
현재 AI 엔지니어링은 비싸다. 토큰 경제학이 아직 정착되지 않았기 때문이다. 언젠가는 이런 시스템을 운영하는 비용이 거의 무료에 가까워질 것이다. 그때까지는 하네스를 소유하는 것이 비용을 통제하는 유일한 방법이다.
현재 위치와 향후 계획
Hermes 는 완성까지 아마 85~90% 정도 온 상태다. 매일 실제 업무를 수행한다. 다만 첫 시도가 항상 최선은 아니다.
그래서 우리는 평가 (evals) 에 투자하고 있다. Hermes 가 질문에 답을 생성할 때마다 시간이 어디서 소요되었는지, 어떤 Skills 를 호출했는지, 어떤 Tools 가 실패했는지 그 이유를 알고 싶다. 우리는 오픈소스인 Arize Phoenix 를 셀프 호스팅하여 추가 도구 구매 없이 이 기능을 얻고 있다. Hermes 의 트레이스는 Phoenix 로 전송되며, Phoenix 는 이렇게 알려준다. "이 태스크는 5 개의 Skills 와 2 개의 Tools 를 호출했고, 이 Tool 이 가장 오래 걸렸으며, 저것은 실패했는데 이유는 이렇습니다."
그 아래층에서는 Datadog 을 통해 텔레메트리를 관리한다. 소비된 토큰 수, 태스크별 성공률, Hermes 다운타임이나 메모리 스토어 포화 시 온콜 담당자에게 보내는 알림 등이 포함된다. 모든 태스크는 샌드박스에서 실행되며, 우리는 매일 샌드박스를 청소하는 자체 프루닝 (pruning) 시스템을 구축했다.
이 모든 것의 요점은, 변경 사항이 Hermes 를 개선시켰는지 추측할 필요가 없어졌다는 것이다. Skill 을 변경하면 보고서를 받는다. 개선되었다면 유지하고, 악화되었다면 롤백한다.
또한 Hermes 서버 자체에 문서를 내장했다. 설정 내용, 허용 범위, 데이터 의미 등을 기록해둔 것이다. 모든 Hermes 는 이를 읽을 수 있다. 이는 평가 데이터를 읽고 다른 프로필들을 개선하는 전용 Hermes 를 띄울 수 있음을 의미한다.
기본적으로 'Hermes Coach' 다. Hermes 를 코칭하는 Hermes.
17 명의 사람, 하나의 독일 서버, 매일 밤 잠들고 아침이면 조금 더 날카로워져 깨어나는 에이전트 가족. 우리는 작았지만, 작지 않은 것처럼 제품을 출시하고 싶었기에 이것을 만들었다.
