돈을 벌되, 실수는 하지 마라.

AI가 운영하는 사업으로 첫 $75를 벌면서 우리가 배운 것.

7월, 우리는 AI 에이전트가 실제로 수익을 낼 수 있는 회사를 운영할 수 있는지 실험해 보기로 했다. Devin에게 Ramp 카드, 전화번호, 이메일 주소를 주고 BugBasher라는 이름을 붙인 뒤, 나머지는 스스로 알아서 하라고 지시했다.

아이디어: 에이전트 기반 해충 방제 중개 서비스 구축. 뉴욕시는 모든 음식점의 위생 검사 결과와 해충 위반 사항을 공개한다. BugBasher는 해당 음식점에 연락하여 해충 방제 업체를 원하는지 확인하고, 추천 수수료 명목으로 비용을 청구하는 방식이었다.

4주간의 긴 통화 끝에 BugBasher는 $75를 벌었다. 현재까지 파악한 바로는, 완전한 콜드 스타트 상태에서 AI 에이전트가 B2B 영업에 성공한 최초의 공식 기록된 사례다.

4주간 실험 기간 동안의 BugBasher 매출.

설정

BugBasher는 Cognition의 코딩 에이전트인 Devin 위에서 작동하며, 자금 관리는 Ramp의 에이전트형 금융 플랫폼이 담당한다. 또한 Twilio와 ElevenLabs를 통해 음성 통화를 위한 전화번호와 목소리를, AgentMail을 통해 이메일 주소를 제공받았으며, Stripe 결제 링크도 연결되어 있었다.

여기에 GitHub 저장소와 '두뇌' 역할을 하는 텍스트 파일들이 포함된 스토리지 버킷도 주어졌다. 이 파일들은 에이전트의 메모리 기능을 수행했다. 비공개 Slack 채널을 통해 BugBasher는 우리에게 업데이트를 보내고 코드 리뷰를 요청할 수 있었다.

자기 개선 루프

BugBasher가 자체 비즈니스 계획을 자유롭게 반복하고 인바운드 요청에 대응할 수 있도록 OpenClaw 스타일의 하트비트 시스템을 구축했다. 20분마다 Devin 자동화 형식으로 하트비트가 실행되었다.

자동화된 세션은 폰 잔액, 받은 편지함, Stripe 활동 내역을 점검하여 장애 요인을 확인했다. 다른 예약된 세션에서는 음식점에 전화를 걸고, 통화 녹취록을 검토하며, 결과를 바탕으로 전화 에이전트의 지침을 수정했다. 하루에 한 번 '아이디어' 세션에서는 전체 비즈니스 성과를 검토하고 시도할 새로운 비즈니스 개선 방안을 제시했다. 수신 전화와 결제 발생 시에도 새 Devin 세션이 트리거되므로, BugBasher는 다음 하트비트를 기다리지 않고 즉시 대응할 수 있었다.

세션 유형별로 색상 구분된 4주간의 BugBasher 활동 현황. 주황색 점은 우리가 수동으로 시작한 세션을 나타낸다.

각 하트비트는 새로운 샌드박스를 가진 새 Devin을 구동했으며, 스토리지 버킷에서 '두뇌' 파일을 로컬 에이전트 파일 시스템으로 가져왔다. 버킷 안에는 에이전트 스킬, 통화 녹취록, 그리고 에이전트가 저장을 결정한 기타 로그가 포함되어 있었다. 이를 통해 여러 동시 실행 에이전트가 동일한 두뇌를 업데이트하고 자신의 진행 상황으로부터 학습하는 것이 가능해졌다.

1bugbasher-brain-main/
2├── AGENTS.md
3├── memory.md
4├── open-decisions.md
5├── do-not-call.csv
6├── (... other MD and CSV files)
7│
8├── transcripts/
9│   └── 2026-08-07 … 2026-09-08/   (25 day folders, 14,742 .json)
10├── results/
11│   ├── 2026-08-25-123b4fb1-partner-webform-shots/
12│   ├── 2026-08-28-cf20a49e-desk2-lead-sheets/
13│   └── (...)
14├── runs/
15│   ├── dial-slots/
16│   └── <date>-<session>-<role>.md   (411 files)
17├── skills/
18│   ├── README.md
19│   ├── roles/
20│   │   ├── calling/
21│   │   ├── heartbeat/
22│   │   ├── idea-engine/
23│   │   ├── morning-brief/
24│   │   └── (...)
25│   ├── brain-maintenance/
26│   ├── call-qa/
27│   ├── (..)
28├── call-qa/
29├── context/
30│   ├── meetings/
31│   └── (18 .md)
32├── archive/
33│   ├── memory-2026-08.md
34│   ├── memory-2026-09.md
35│   ├── strategy-2026-08.md
36│   ├── strategy-2026-09.md
37│   └── open-decisions-closed.md
38├── webcrafter/
39│   └── (...)
40├── partner-prospects/
41│   └── (...)
42├── dashboard/
43│   ├── expenses.csv
44│   ├── metrics.csv
45│   ├── revenue.csv
46│   └── summary.json
47├── delivery/
48│   └── runs/
49├── handoff/
50└── inbound-callbacks/

공유 파일을 통해 새 세션은 이전 작업을 이어받아 접근 방식을 수정할 수 있었으며, 우리가 모든 단계를 지시하지 않아도 되었다.

일일 검토 자동화 과정에서 Devin은 모든 이전 로그를 훑어보고 실수로부터 배우려 노력했다. 이러한 학습의 대부분은 향후 아웃바운드 통화 개선을 위한 스킬 업데이트나 미래 세션에 더 넓은 통찰력을 제공하는 형태였다. BugBasher는 프롬프트와 저장된 지침을 스스로 업데이트할 수 있었지만, 코드 변경은 여전히 우리의 승인이 필요했다.

BugBasher는 통화 결과를 검토하면서 지침을 추가, 삭제 및 재구성했다. 실행 기간 동안 프롬프트 길이는 252단어에서 2,793단어로 증가했다.

우리는 처음 2주 동안 BugBasher를 구축하고 밀접하게 감독했다. 실험의 일부 목적은 장애물에 부딪혔을 때 진전을 계속 만들어낼 수 있는지 확인하는 것이었으므로, 초기 설정 이후에는 가능한 한 개입을 최소화하고 주요 코드 변경 승인을 위해 약 일주일에 한 번 정도만 점검했다.

관심 있는 음식점 찾기

추천 서비스를 판매하기 위해 BugBasher는 먼저 해충 방제를 원하는 음식점을 찾아야 했다. 대부분의 작업은 최근 해충 위반 기록이 있는 음식점에 전화하여 방제 업체와 연결을 원하는지 묻는 데 할애되었다.

음식점 10,929건 통화의 결과. 숫자는 고유 음식점 수가 아닌 통화 횟수를 나타낸다.

이러한 통화 내용은 검토 자동화로 전달되었으며, 여기서 Devin은 녹취록을 분석하고 후속 통화를 위해 전화 에이전트의 지침을 수정했다.

언어

BugBasher는 가끔 영어 오프닝을 이해하지 못하는 사람들과 연결되기도 했다. 상대방이 "Hello? Huh? Wéi?"라고 말하면 연결 상태 불량으로 해석하여 끊어버렸다. 8월 11일, 한 음식점과 45초간 이런 식으로 헤매자, BugBasher는 통화 프롬프트에 "스페인어나 중국어가 더 편하신가요?"라고 묻는 지침을 추가했다.

대부분의 비영어권 통화에서는 이 질문만으로 이전에 실패했던 대화가 원활하게 진행되었다. 전체 실행 기간 동안 39건의 통화에서 언어 전환이 일어났으며, 주로 스페인어 또는 중국어로 변경되었다.

시스템 프롬프트

에이전트는 대화 도중 시스템 프롬프트를 소리 내어 읽기 시작하기도 했다.

음식점 통화 중 지침을 소리 내어 읽는 전화 에이전트.

또한 무엇을 해야 할지에 대해 자신과 큰 소리로 논쟁을 벌이기도 했다:

"여보세요? 사용자가 두 턴 동안 침묵했습니다. SPEECH GATE와 THE ASK 규칙에 따르면, 사용자가 듣지 않은 것으로 판단되는 턴에서는 제 답변 전체가 요청 사항(ask)이어야 합니다. 하지만 '조용함이 30초 이상 지속됨' 규칙에 따르면, 요청 사항에 대한 답변 없이 조용함이 30초 이상 지속될 경우 '다음에 다시 연락드릴게요, 감사합니다!'라고 말하고 전화를 끊어야 합니다. 사용자가 두 턴 동안 침묵했으므로 30초 이상이 지났을 가능성이 높습니다. 그러나 전화를 끊기 전에 규칙에 따라 '여보세요?'라고 물어야 합니다. 이는 제가 이 질문을 처음 하는 것입니다."

이런 상황이 197건의 통화에서 발생했다. BugBasher는 프롬프트에 "절대로 추론 과정을 말하지 마라"를 추가하거나, 특정 단어를 삭제하거나, 도구 호출(tool-call) 형식을 변경해보려고 시도했다. 어떤 해결책도 효과가 없었다. 8월 24일, 문구 변경을 중단하고 문제를 우리에게 에스컬레이션했다.

막힘 풀기

BugBasher는 관심 있는 음식점을 찾고 있었지만, 아직 보낼 해충 방제 업체가 없었다. 처음에는 방제 업체 계약 체결을 인간의 개입이 필요한 작업으로 취급했다. 8일이 지난 후, 다음과 같이 기록했다:

"방제 업체 계약"이 8일째 #1 블로커(blocker)로 남아 있으며, 모든 세션이 그 하위 단계에서만 작업했고, 해당 결정에 필요한 입력값을 생성한 세션은 없었습니다.

다른 요청들도 우리를 기다리고 있었다. BugBasher는 Slack 답글을 읽을 권한이 없었고, 지출 승인이나 코드 리뷰 같은 인간 관련 블로커들이 쌓이고 있었다. 우리에게 보내는 Slack 업데이트는 응답이 없었다.

8월 23일, BugBasher는 "인간 승인 처리 속도"를 주요 블로커로 식별하고 우리에게 도달할 다른 방법을 찾기 시작했다.

그날 아침, BugBasher는 두뇌 전체와 모든 파일을 검색하여 인간의 연락처 정보를 찾으려 했다. 성과가 없자, Slack 채널 멤버 목록을 조회하여 연락할 사람을 찾으려 시도했다:

1slack conversations.members       -> missing_scope
2slack users.list                  -> missing_scope

그러나 필요한 Slack 권한이 없어 두 명령 모두 오류를 반환했다. 1분 후, 다른 시도를 하기로 결정하고 이번에는 Github 저장소의 공동 작업자(collaborators) 목록을 조회했다:

1gh api repos/.../collaborators    -> jzone3, birdhumming

이후 git log를 실행하여 이전 커밋의 작성자를 찾았고, 두 개의 업무 이메일 주소가 나왔다:

113:49:19  git log --format='%an %ae' | sort -u
213:50:17  email sent to two work addresses  -> 200

그리고 우리는 아침에 다음 이메일을 받았다:

나는 이틀 후 열려 있던 PR 9건을 병합했다.

그 후, BugBasher는 스스로에게 이렇게 말했다:

비용 비대칭이 처참하다: 1분의 탐색 vs 하루 종일 unanswered asks.

고객 찾기

판매할 리드가 많았던 BugBasher는 직접 해충 방제 업체를 찾기 시작했다. 잠재적 파트너를 찾기 위해 주 농약 등록부를 가져와 NYC 해충 방제 기업 321곳으로 필터링하고, 125곳의 연락처 정보를 보강했다.

처음에는 이메일, 전화, 웹사이트 문의 양식 작성을 시도했다. 2일간 인간과 연결되지 않자, 타겟 대상을 바꾸기로 결정했다. 대규모 지역 및 전국 체인의 상업 계정 데스크를 대상으로 삼았는데, 그 이유는 대형 기업일수록 "사람이 상주하며 전화를 받는 데스크"를 갖춘 전담 영업 인력이 많을 것이라고 판단했기 때문이다.

이 전략은 인간과 연결하는 데 더 성공적이었지만, 일부 통화는 BugBasher가 문장 중간에 끊어버리는 문제가 있었고, 무료 리드 제공 제안은 거의 관심을 끌지 못했다. 끊김 버그를 수정하고, 견적을 원하는 특정 음식점을 언급하는 방식으로 피치를 변경했다:

"브루클린 클락슨 애비뉴(Clarkson Avenue)에 견적을 원하는 음식점이 있습니다. 누구에게 보내야 할까요?"

새로운 피치 전략은 훨씬 더 효과적이었다. 다음 날 같은 데스크에 다시 전화했을 때, 10명이 전화를 받았고 그중 4명은 리드를 보내기 위해 전화로 이메일 주소를 제공했다.

BugBasher는 선불 비용 없이 리드를 이메일로 보냈다. 계획은 방제 업체가 작업을 수주한 후 $75를 지불하는 것이었다. 수신자 중 아무도 답장을 하지 않았다.

너무 관대하다고 판단하여, 방제 업체가 Stripe 링크를 통해 $75를 선결제하고 그 후에 음식점 연락처 정보를 받도록 오퍼를 변경했다.

9월 1일, 이전에 이메일을 보낸 4명을 포함하여 30명의 방제 업체에 이 새로운 오퍼를 보냈다. 1시간이 지나도 아무도 Stripe 링크를 클릭하지 않았고, BugBasher는 새로운 실험도 실패했다고 결론 내렸다.

그로부터 8시간 후, 이전 접촉자 중 한 명이 이메일에 답장도 없이 링크를 통해 $75를 지불했다. BugBasher는 Stripe로 결제를 확인하고 약 6분 후 음식점 이름, 주소, 전화번호를 전송했다.

우리는 나중에 구매자인 해충 방제 회사 매니저와 이야기하며 BugBasher와의 경험에 대해 물었다. 왜 전화를 받았냐는 질문에 그는 단순히 "그날 기분이 좋았다"고 답했으며, 최근 진행한 Google 광고 캠페인 때문에 "낯선 번호"로부터 많은 전화를 받고 있었다고 덧붙였다.

AI 에이전트와 상호작용한 것에 대한 의견을 묻자, 그는 "사업은 사업일 뿐(Business is business)"이라고 대답했다. 또한 BugBasher로부터 다시 구매하는 데 전혀 문제가 없으며, 팔 수 있는 추가 리드가 있는지 물었다. BugBasher는 실제로 현재 보유 중인 추가 리드가 있지만, 과거 고객에게 재판매를 시도한다는 아이디어는 아직 떠올리지 못한 것으로 보인다. 전반적으로 그는 BugBasher와의 경험을 8/10으로 평가했다. 리드가 실제 계약으로 이어지지는 않았지만, 인바운드 리드 자체에는 만족했다.

우리가 배운 점

• BugBasher는 언덕 오르기(hill-climbing)에는 놀라울 정도로 능숙했지만, 열린 목표(open-ended objectives)에는 매우 서툴렀다. 측정 가능한 결과가 있는 구체적인 문제가 주어지면 집요했다: 프롬프트 유출 방지 규칙을 5번이나 다시 작성하고 각 버전을 다음 날의 통화 결과와 비교 평가했으며, 우리에게 연락해야 할 때는 Slack에서 git 히스토리를 거쳐 업무 이메일까지 약 2분 만에 경로를 찾았다. 반면 "돈을 벌어라"라는 지시를 받으면 4주 동안 약 $3,000과 수천 건의 통화를 들여 겨우 $75를 벌었다. 에이전트는 여전히 장기 계획 수립과 복잡한 환경에서의 작업에 어려움을 겪고 있다.
• 현실 세계는 매우 훌륭한 평가(eval) 환경이다. BugBasher의 초기 아이디어는 꽤 나빴다; 무료 리드 제공 이메일에 방제 업체가 답장할 것이라 기대했고, 접수원이 파트너십에 관심이 있을 것이라 생각했으며, 분류 광고(classified ad) 독자가 의심스러워 보이는 링크를 클릭할 것이라 가정했다. 에이전트는 사람들이 실제로 어떻게 행동하는지에 대한 직관이 거의 없는 것으로 보이며, BugBasher는 끊임없이 예상치 못한 상황에 직면했다. 그럼에도 불구하고 아이디어 시도, 수치 확인, 실패 원인 기록, 다른 방법 시도라는 루프를 통해 결국 작동하는 전략에 도달할 수 있었다.

많은 통화, 루프, 실패한 아이디어가 있었지만, BugBasher는 결국 첫 번째 판매를 성사시켰다. AI 에이전트가 진정한 의미에서 지속 가능한 장기 사업을 운영할 수 있는지, 그리고 심지어 수익성까지 달성할 수 있는지는 여전히 미해결 과제다.