pstack 마스터하기: AI 검증 기술을 통한 엔지니어링 확장

이번 포스트 시리즈에서는 제가 엄격한 엔지니어링 작업을 위해 사용하는 개인 스킬 세트인 pstack을 어떻게 활용하는지 보여드리려고 합니다. 이 스킬 덕분에 저는 높은 확신을 가지고 매달 2,000개의 PR을 프로덕션에 출시할 수 있었습니다.

개인적으로 저는 제가 얼마나 많은 코드 라인이나 PR을 올렸는지에 큰 비중을 두지 않았습니다. 에이전트 이전에는 아무도 신경 쓰지 않았고, 당연히 그래야 했습니다. 원시적인 생산성이 항상 품질이나 사용자에게 보이는 결과물과 직결되지는 않았기 때문입니다. 그것은 단지 허영심 지표에 불과했습니다.

하지만 pstack을 구축하는 과정에서 볼륨이 중요하다는 것을 깨달았습니다. 특히 에이전트를 통해 제품의 품질 수준을 유지하거나 높일 수 있을 때 더욱 그렇습니다. 예를 들어, 약 2개월 전 Grok @Bot 작업을 시작했을 때, 코드베이스는 아직 초기 단계였고 성장하기 시작하는 중이었습니다. 팀이 성장하고 현재 Grok @Bot 코드베이스에 매일 수백 개의 PR이 올라오고 있음에도 불구하고, pstack을 통해 코드를 지속적으로 모니터링하고, 리팩토링하고, 새로운 린트와 검사를 추가하며, 기능 작업도 병행하면서 모든 사람을 위해 코드 품질을 높게 유지할 수 있었습니다.

https://x.com/poteto/status/2090546476464451907

https://x.com/poteto/status/2078527882499150286

Grok @Bot의 관리자이자 유지보수자 역할은 오직 pstack을 통해서만 가능했습니다. 프로토타입을 구축한 후 초기 모멘텀이 매우 높았고 많은 사람들이 팀에 합류하고 있었습니다. 저는 코드베이스가 구축 및 확장되는 동시에, 다운타임 없이 전체 코드베이스를 강력한 기반을 가진 무언가로 리팩토링할 수 있는 중요한 기회의 순간을 맞이했습니다. 엔지니어 수와 관계없이, 그리고 가장 중요하게는 비엔지니어도 기여할 수 있는 높은 품질의 확장 가능한 코드베이스 말입니다. 이 모든 작업은 Grok Bot이 구축되는 동안 그 기반을 리팩토링하고 개선해야 하며, 기여 수를 따라잡을 수 있는 기반이 있을 때만 가능합니다.

Grok Bot은 시중에서 가장 효율적이고 성능이 뛰어난 AI 데스크탑 앱 중 하나입니다.

그 증거는 Grok @Bot 자체에 있습니다. 앞으로 몇 주 동안, pstack을 사용하여 고품질 앱을 구축하고 유지 관리하는 데 필요한 모든 것을 알려드리겠습니다.

파트 1 – 검증이 전부입니다

여러분의 도구 상자에서 가장 중요한 스킬은 고품질 검증 스킬입니다. 이 스킬은 너무 중요해서 저는 단순한 "스킬"이라기보다는 핵심 인프라에 가깝다고 생각합니다. 좋은 검증 스킬은 비엔지니어를 포함한 전체 팀의 결과물을 증폭시킬 것입니다. 제대로만 한다면, 팀 전체의 결과물을 100배에서 1000배까지 향상시킬 수 있습니다.

이 용어에 익숙하지 않으시다면, 검증이란 에이전트가 자신의 작업을 스스로 검증할 수 있음을 의미합니다. 더 이상 여러분이 병목 현상이 되지 않기 때문에, 에이전트는 작업에 성공할 때까지 계속 진행할 수 있습니다. Cursor용 첫 번째 검증 스킬을 어떻게 만들었는지에 대한 이야기가 더 궁금하시다면, 제 이전 포스트 신뢰할 수 있는 루프를 확인해보세요.

함께 검증 스킬을 만들어 봅시다

시작하려면 pstack을 설치한 다음 /create-verification-skill을 실행하세요. 또한 고품질 봇을 만드는 데 도움을 주는 제 봇인 Dr Eggbot을 여러분의 명단에 추가하는 것을 추천합니다. Dr Eggbot은 pstack과 함께 제공됩니다. 코딩 봇에게 사용법을 가르쳐 줄 뿐만 아니라, 동일한 엄격함으로 비코딩 봇도 만들 수 있습니다.

Dr Eggbot에게 엔지니어 봇을 만들어 달라고 요청한 다음, 그 봇에게 /create-verification-skill을 실행하고 /maintain-verification-skill을 실행하는 일일 루틴을 설정하도록 요청할 수 있습니다.

Dr Eggbot 사랑해요

실행되는 동안, 이 스킬이 무엇을 하는지 그리고 어떻게 여러분을 위한 고품질 검증 스킬을 만드는지 살펴보겠습니다.

저는 Grok @Bot과 Cursor를 구축하는 데 사용하는 모든 검증 스킬을 일종의 메타 스킬로 이 스킬에 집약했습니다. 이 스킬은 여러분의 에이전트가 여러분의 앱을 위한 고품질 검증 스킬을 만드는 방법을 가르칩니다.

여기서 기술 스택 선택이 중요해집니다. 예를 들어 Electron이나 웹용 앱을 구축하는 경우, JS 생태계에서 사용 가능한 풍부한 디버깅 도구를 활용할 수 있습니다. 예를 들어, Chrome DevTools Protocol (CDP)을 사용하면 브라우저 개발자 도구에서 사용할 수 있는 것과 동일한 도구를 사용할 수 있습니다. 또는 iOS 앱을 구축하는 경우 시뮬레이터를 활용할 수 있습니다.

이상적으로는 앱과 상호 작용하고, 디버깅하고, 성능 추적을 수행하고, 수동으로 앱을 개발할 때 일반적으로 사용하는 기타 디버깅 및 개발 도구를 사용할 수 있는 능력이 필요합니다. 사용할 수 있는 풍부한 런타임이 없다면, 에이전트에게 도구를 만들도록 요청하거나(예: lldb 사용, 또는 개발 환경에서 사이드카로 실행되는 커스텀 패키지), 사용 가능한 것을 활용해야 할 수도 있습니다.

개인적으로 저는 에이전트 검증이 너무 중요하다고 생각해서, 소프트웨어 구축에서 불공정한 이점과 극도의 생산성을 얻기 위해 진지하게 자체 풍부한 디버깅 도구를 구축하거나 다른 기술 스택을 선택하는 것을 제안합니다. 앞서 언급했듯이, 에이전트에게 자신의 작업을 검증할 수 있는 능력을 부여하면 조직의 모든 사람이 기여하고 변경 사항이 실제로 작동하는지 확인할 수 있습니다. 기술 스택을 디버깅하고 제어하기 어려울수록 에이전트를 생산적으로 사용하기가 더 어려워집니다.

재현 가능하게 만드세요

pstack에는 "Build the Lever"라는 원칙이 있습니다. 스킬 생성 맥락에서 이것이 의미하는 바는, 에이전트에게 단순한 마크다운보다는 도구를 제공하는 것을 선호한다는 것입니다. 검증 스킬의 경우, 이는 앱의 상호 작용과 디버깅을 스크립팅하는 작은 CLI를 에이전트 친화적인 유틸리티로 만드는 것을 의미합니다. 이는 에이전트가 작업을 수행하는 데 더 적은 토큰을 소비하고(무언가를 클릭하기 위해 일회용 스크립트를 작성하는 대신 CLI 명령어를 실행), 검증 스킬을 더 재현 가능하고 테스트 가능하게 만듭니다.

다음은 Electron 앱을 위해 에이전트가 만들 수 있는 CLI의 가상 예시입니다:

bash

1# health
2node .cursor/skills/verify-atlas/control-atlas.mjs doctor
3
4# open a blank thread and send
5node .cursor/skills/verify-atlas/control-atlas.mjs new-session
6node .cursor/skills/verify-atlas/control-atlas.mjs send "list open tasks in this project"
7
8# keyboard path
9node .cursor/skills/verify-atlas/control-atlas.mjs press "Meta+KeyN"
10
11# accessibility snapshot of the live UI
12node .cursor/skills/verify-atlas/control-atlas.mjs snapshot
13
14# screenshot for evidence
15node .cursor/skills/verify-atlas/control-atlas.mjs screenshot /tmp/atlas-proof.png
16
17# wait for streaming / layout to settle
18node .cursor/skills/verify-atlas/control-atlas.mjs wait-settle
19
20# flip a feature flag for the session
21node .cursor/skills/verify-atlas/control-atlas.mjs feature-flag rooms_v2 on

이제 모든 에이전트가 이 CLI를 사용하여 앱을 빠르게 탐색하고 디버깅할 수 있습니다. 또한 앱 구축의 개발자 경험에 대해 생각하기 시작해야 합니다:

개발 데이터베이스 시딩
인증, 테스트 사용자, 테스트/스테이징 환경에 대한 API 호출 처리 방법
개발 환경을 일관된 방식으로 설치하고 실행하는 방법

이 모든 것은 여러분이 직접 코드를 작성할 때도 아마 생각해야 했던 것들입니다. 따라서 이것을 여러분의 에이전트가 앱에서 개발 작업을 수행하기 위한 주요 유틸리티라고 생각하세요. 잘 유지 관리하고 테스트하세요!

고려해볼 만한 다른 예시 명령어들은 다음과 같습니다:

markdown

1- **검사:** `info`, `snapshot`, `screenshot`, `components`
2- **탐색:** `home`, `new-session`, `select-project`, `select-runtime`, `scroll`
3- **상호 작용:** `send`, `click`, `click-xy`, `aria-click`, `type`, `press`, `eval`, `upload-image`, `add-context`, `feature-flag`
4- **성능:** `trace`, `profile`, `record`, `perf-metrics`, `wait-settle`
5- **스트리밍:** `console`, `network-log`, `network-summary`
6- **상태 및 정리:** `doctor`, `cleanup`, `watch --restart`

이 기본 설정이 완료되면 에이전트에서 큰 개선을 보기 시작할 것입니다. 에이전트가 앱을 쉽게 탐색하고 디버깅할 수 있을 것입니다.

더 고급 작업을 하기 전에 여기서 시간을 들여 이 CLI를 훌륭하고 오류 없이 만드는 것을 추천합니다. 또한 에이전트 친화적인 CLI를 설계하는 것에 대해 생각하거나 에이전트에게 요청해야 합니다. 온라인에는 에이전트가 참고할 수 있는 많은 리소스가 있지만, 제가 선호하는 주요 속성은 다음과 같습니다:

API는 쉽게 구성할 수 있어야 합니다 - John Ousterhout의 깊은 모듈 철학을 생각해보세요
잠재적으로 파괴적인 부작용이 있는 명령어는 --dry-run 옵션이 있어야 합니다
모든 기능을 한 번에 노출하기보다는 하위 명령어를 사용하여 점진적으로 기능을 공개하세요
오류 메시지는 매우 설명적이어야 하며 에이전트에게 대신 무엇을 해야 하는지 알려줘야 합니다
풍부한 --help 텍스트
기계가 읽을 수 있는 형태(예: JSON)로 출력 반환

워크트리 대신 Cloud Agents로 병렬 처리 속도 높이기

검증 스킬을 실행하여 몇 개의 PR을 성공적으로 올린 후에는 더 많은 병렬 처리가 가능한지 궁금해지기 시작할 것입니다. 예를 들어, 에이전트가 이제 프롬프트를 받아 대부분 병합 가능한 상태로 만들 수 있다면, 더 많은 에이전트를 실행할 수 있게 되는 것 아닐까요?

첫 번째 본능은 워크트리 지원을 추가하는 것입니다. 즉, 에이전트가 git을 사용하여 메인 체크아웃과 격리된 상태에서 변경 사항을 만들 수 있는 저장소의 추적된 복사본을 만들 수 있게 하는 것입니다. 이론적으로, 이렇게 하면 변경 사항이 서로 충돌하지 않고 여러 에이전트를 동시에 실행할 수 있습니다.

저는 이 방법을 권장하지 않습니다. 첫째, 머신의 저장 공간과 리소스를 많이 사용합니다. 저장소 크기와 머신 성능에 따라 워크트리로 최대 10개의 에이전트를 병렬로 실행할 수 있을 수도 있습니다. 하지만 훨씬 더 좋은 방법이 있습니다!

Cursor의 cloud agents는 Cursor의 인프라에서 클라우드에서 실행되는 에이전트입니다. 이 에이전트는 실제 컴퓨터에 액세스할 수 있으므로, 종속성을 설치하고, 앱을 실행하고, 비디오와 스크린샷을 찍고, 실제 사용자처럼 앱과 상호 작용할 수 있습니다. 이전 단계에서 개발자 경험을 개선하는 데 충분히 투자했다면, cloud agents를 설정하는 것이 큰 부담이 되지 않을 것입니다. 클라우드 환경을 처음 설정할 때, 저희는 에이전트를 보내 설정이 올바르게 실행되도록 도와줍니다. 첫 번째 빌드 후에는 snapshot을 생성하므로 이후 cloud agent 실행은 항상 빠르게 시작됩니다.

Cloud agents를 설정하는 데 시간을 투자하는 것을 적극 권장합니다. 병렬 처리에서 엄청난 생산성 향상을 가져다주기 때문입니다. 이후 포스트에서 클라우드에서 수백 개의 하위 에이전트를 병렬로 실행하는 방법을 보여드리겠습니다! 하지만 지금은 환경을 설정하고 모든 에이전트를 클라우드에서 실행하는 데 자신감을 가질 수 있는 상태로 만드세요.

Feature Map으로 에이전트를 똑똑하게 유지하세요

앱이 더 복잡해짐에 따라 에이전트는 기능을 찾고 상호 작용하기 위해 더 많은 지침이 필요합니다. 이를 위해 저는 Feature Map이라는 것을 고안했습니다. 이름에서 알 수 있듯이, 앱에서 사용 가능한 모든 기능, 기능이 무엇을 하는지, 사용자 관점에서 어떻게 접근하는지에 대한 쉽게 검색 가능한 지도입니다.

다음은 Atlas라는 가상 앱을 위해 준비한 예시 Feature Map입니다. 검증 스킬의 SKILL.md에서 참조되는 몇 개의 마크다운 파일일 뿐입니다.

이 파일은 어디에나 둘 수 있지만, /create-verification-skill에서는 README.md와 함께 references/features 디렉토리를 자동으로 생성합니다. README는 지도 자체입니다: 사용 가능한 모든 주요 기능에 대한 높은 수준의 개요와 특정 세부 정보에 대한 링크를 제공합니다. 기능 예시는 다음과 같습니다:

markdown

1# Preferences
2
3전체 화면 환경설정 오버레이 및 탭 세트입니다.
4
5## 하위 기능
6
7- settings-overlay: 기어 아이콘 또는 Cmd/Ctrl+, 로 열리는 전체 화면 오버레이
8- settings-nav: 왼쪽 탭 내비게이션 (General, Appearance, Models, Plan & Usage, ...)
9- settings-search: 오버레이 내 검색 (설정이 열려 있는 상태에서 Cmd/Ctrl+K)
10- theme-picker: Appearance 탭의 빠른 테마 제어
11
12## 접근 방법 (사용자 관점)
13
14계정 아바타 옆의 기어를 클릭하거나 Cmd/Ctrl+, 를 누르세요. 왼쪽 내비게이션에서 탭을 선택하세요. 환경설정 검색 상자에 입력하여 이동하세요. Escape 또는 닫기 컨트롤로 해제합니다.
15
16## control-atlas로 제어하기
17
18bash
19node .cursor/skills/verify-atlas/control-atlas.mjs press "Meta+Comma"
20node .cursor/skills/verify-atlas/control-atlas.mjs snapshot
21node .cursor/skills/verify-atlas/control-atlas.mjs press "Escape"
22
23- 오버레이 루트: 접근성 트리에서 Preferences라는 이름의 대화상자/영역을 찾으세요.
24- 탭: 표시된 이름으로 클릭하세요. Plan & Usage는 일부 계정 상태에서 없을 수 있습니다.
25- 설정이 열려 있는 동안 Cmd/Ctrl+K는 전역 팔레트가 아닌 환경설정 검색입니다 (`multi-surface-journeys.md` 참조).
26
27## 주의사항
28
29- 스위트 중간에 설정을 닫으면 포커스가 쓸모없는 곳에 남을 수 있습니다. `new-session` 또는 `home`으로 복구하세요.
30- 일부 탭은 권한에 따라 제한됩니다. 명시적인 계정 사유와 함께 건너뛰세요.

직접 작성하는 것에 대해 걱정하지 마세요! /create-verification-skill을 실행하면 에이전트가 자동으로 앱을 살펴보고 모든 것을 카탈로그화하여 이러한 참조를 생성합니다.

Feature Map은 CLI와 결합될 때 pstack의 검증 스킬이 뛰어난 주요 이유 중 하나입니다. 에이전트는 이제 모든 단일 기능과 접근 방법에 대한 컨텍스트를 가지게 되어, 컨텍스트 창에서 귀중한 토큰을 절약하고 기능의 용도와 접근 방법을 정확히 학습합니다.

Feature Map은 일종의 "구체화된 기억"으로 생각할 수 있습니다. 에이전트를 한동안 사용해왔다면 아마 메모리 개념에 익숙할 것입니다. 일반적으로 이는 간단한 마크다운 파일(예: Obsidian 볼트)이나 벡터 데이터베이스와 같은 더 복잡한 형태로 저장될 수 있습니다. 개인적으로 저는 코드베이스가 궁극적인 형태의 메모리라고 생각합니다. 코드는 여러분과 팀이 내린 의사 결정의 투영이며, 무슨 일이 일어났고 실제로 어떻게 작동하는지에 대한 진실의 원천을 나타냅니다. Feature Map은 토큰을 절약하기 위해 설계된 더 간결한 형태일 뿐입니다. 그리고 스킬 내부의 마크다운일 뿐이므로, 코드베이스에 기여하는 모든 사람이 이 공유 메모리의 혜택을 받습니다.

이는 검증 스킬을 유지 관리하는 것이 매우 중요하다는 것을 의미합니다. 에이전트가 항상 앱 제어에 대한 최신 세부 정보를 가지고 있도록 /maintain-verification-skill을 하루에 한 번 이상 실행하는 것을 권장합니다. 검증 스킬을 더 많이 사용할수록 에이전트가 앱에서 작업하면서 자동으로 업데이트할 수도 있습니다. /maintain-verification-skill은 놓친 부분을 잡아냅니다.

검증 스킬 사용 방법

참고로, 가상 앱을 위해 생성된 검증 스킬의 예시는 다음과 같습니다: https://github.com/poteto/verification-skill-example. 다시 한번 상기시키자면, /create-verification-skill을 실행하여 생성하세요. 여기에는 기본 CLI와 Feature Map이 포함됩니다.

다음은 pstack에서 일반적으로 사용하는 방법입니다.

먼저, 물론 프롬프트를 /poteto-mode로 시작하는 것입니다. Cursor를 통해 pstack을 사용하는 경우, /poteto-mode를 자동 완성할 때 Enter 대신 Opt + Enter를 누를 수도 있습니다. 이렇게 하면 스킬이 Custom Mode로 추가되어, 에이전트가 매 새로운 턴마다 스킬을 사용하라는 알림을 받게 됩니다.

/poteto-mode를 입력하고 Opt + Enter를 눌러 Custom Mode로 고정하세요

Grok @Bot에서는 플러그인을 설치한 다음 /poteto-mode를 입력하세요.

Grok Bot에서도 pstack을 사용할 수 있습니다!

예시: 새로운 기능 구축

새로운 기능을 구축할 때, 저는 일반적으로 검증 스킬을 /poteto-mode와 함께 사용하여 에이전트가 작업을 검증하도록 합니다. 예를 들어, 다음과 같이 프롬프트를 입력할 수 있습니다:

/poteto-mode build <기능 설명, 유용한 컨텍스트>. /control-app을 사용하여 변경 사항을 검증하고 증거로 비디오와 스크린샷을 보여주세요

/control-app은 /create-verification-skill의 결과물입니다. Grok @Bot에서는 다음과 같이 프롬프트를 입력합니다:

cloud agent를 생성하여 /poteto-mode를 사용해 <기능 설명, 유용한 컨텍스트>를 빌드하세요. /control-app을 사용하여 변경 사항을 검증하고 증거로 비디오와 스크린샷을 보여주세요

여기서 약간의 차이점은 Grok @Bot에서는 봇에게 직접 작업을 수행하라고 말하는 대신 cloud agent를 생성하라고 지시한다는 것입니다. 제가 이렇게 하는 주된 이유는 봇이 다른 작업을 수행할 수 있도록 하고 컨텍스트 창을 깨끗하게 유지하기 위해서입니다. 이런 의미에서 저는 제 봇을 cloud agents를 관리하고 감독하는 코디네이터로 생각합니다. Cloud agents는 또한 Cursor에서 사용 가능한 전체 모델 배열을 활용할 수 있다는 것을 의미하며, 각 모델은 자체 별도 머신을 가지고 있으므로 봇의 컴퓨터는 다른 작업을 위해 자유롭게 남습니다.

예시: 성능 작업

cloud agent를 생성하여 /poteto-mode를 사용해 앱의 초기 로딩 시간을 개선하세요. 먼저 /control-app을 사용하여 현재 상태의 추적을 기록하고 개선 기회를 식별하세요. 그런 다음 목표 지향적인 수정을 하고 /control-app +
/swarm 을 사용하여 개선을 확인하세요

/swarm은 검증 스킬과 결합하기 가장 좋은 스킬 중 하나입니다. 임의의 수의 cloud agents를 펼쳐서 검증 스킬을 실행하므로, 충분한 샘플 크기로 성능 개선을 확인하거나 앱을 퍼징하여 무언가를 망가뜨리거나 회귀시키지 않았는지 확인할 수 있습니다.

예시: 사용자 보고서 자동 재현

검증 스킬에 만족하면, 이를 Grok @Bot 루틴이나 Cursor Automations 안에 넣을 수 있습니다. 루틴과 자동화를 사용하면 일정에 따라 작업을 실행하거나 이벤트가 발생할 때 트리거할 수 있습니다.

예를 들어, 사용자 피드백을 Slack으로 전달하거나 자체 내부 피드백 채널이 있는 경우, 봇이 모든 보고서를 듣고 cloud agent로 자동으로 재현을 시도하도록 할 수 있습니다. 검증 스킬과 Feature Map이 충분히 좋다면, 문제를 자동으로 수정하기로 결정할 수도 있습니다.

제가 앞서 검증이 도구 상자에서 가장 중요한 스킬 중 하나라고 말한 데는 이유가 있습니다. 검증은 그 위에 새로운 스킬과 루틴을 구축할 수 있는 기반을 제공합니다. 그리고 가장 중요한 것은, 팀의 모든 사람이 혜택을 받는다는 것입니다.

검증 스킬에 투자하세요

검증 스킬을 만든 후에는 /maintain-verification-skill로 예리하게 유지하세요. CLI를 계속 개선하고 중요한 인프라처럼 스킬에 투자하세요. 온콜 로테이션을 지정하고 싶을 수도 있습니다. 그만큼 팀의 생산성을 100배에서 1000배까지 끌어올리는 데 중요합니다.

이 스킬은 pstack 가이드에서 다룰 많은 다른 스킬들의 기초이며, 모든 스킬과 아름답게 구성됩니다.