Claude 활용 능력을 10배 높이는 방법 (Karpathy의 자동 연구 방법론 활용)

당신의 Claude 스킬은 아마 30%의 확률로 실패하지만, 당신은 그 사실조차 모를 겁니다.

저는 어떤 스킬이든 자동으로 개선해주는 방법을 만들었습니다. 이 글에서는 정확히 어떻게 직접 실행할 수 있는지 보여드리겠습니다.

시작만 하면 에이전트가 계속해서 스킬을 테스트하고 개선합니다. 당신은 아무것도 건드리지 않아도 됩니다.

제 랜딩 페이지 카피 스킬은 품질 검사 통과율이 56%에서 92%로 올랐습니다. 수동 작업은 전혀 없이 말이죠.

에이전트가 프로ンプ트를 계속 테스트하고 다듬기만 했습니다.

이제 그 방법과 제가 만든 정확한 스킬을 공개합니다. 여러분도 자신의 작업에 바로 적용할 수 있습니다.

P.S. 더 많은 AI 워크플로우를 매주 받아보고 싶다면, 34,000명의 독자들이 무료로 구독 중인 뉴스레터를 확인하세요: aisolo.beehiiv.com/subscribe

이 방법의 유래

Andrej Karpathy (OpenAI 공동 창업자, 테슬라 AI 총괄 역임, 'vibe coding'이라는 용어를 만든 사람)가 autoresearch라는 방법을 공개했습니다.

아이디어는 간단합니다. 당신이 수동으로 개선하는 대신, AI 에이전트가 루프 안에서 대신 개선하게 하는 것입니다.

에이전트는 작은 변경을 시도합니다. 결과가 더 나아졌는지 확인합니다. 더 나아지면 유지하고, 그렇지 않으면 폐기합니다.

그런 다음 다시 시도합니다. 그리고 또 다시 시도합니다.

Karpathy는 이 방법을 머신러닝 코드에 사용했습니다. 하지만 이 방법은 측정하고 개선할 수 있는 모든 것에 적용됩니다.

여러분이 Claude에서 만든 스킬도 포함됩니다.

저는 이 방법을 가져와서 Claude Code와 Cowork에서 모두 작동하는 스킬로 만들었습니다. 제 설정에 있는 다른 스킬에 대해 그냥 실행하기만 하면 됩니다.

"내 랜딩 페이지 스킬에 autoresearch를 실행해줘"라고 말하면, 에이전트가 전체 과정을 처리합니다.

한 번의 루프가 어떻게 스킬을 자동 개선하는가

이렇게 생각해보세요.

여러분에게 10번 중 7번은 훌륭한 결과를 내는 레시피가 있습니다. 나머지 3번은 뭔가가 잘못됩니다. 소스가 싱거울 수도 있고, 양념이 잘못되었을 수도 있습니다.

전체 레시피를 처음부터 다시 쓰는 대신, 재료 하나를 바꿉니다. 그 변경으로 10번을 요리해봅니다.

• 더 나아졌나요? 변경을 유지합니다.
• 더 나빠졌나요? 예전 재료로 되돌립니다.

그런 다음 다음 재료를 바꿉니다. 또 10번을 요리합니다. 더 나은가요, 더 나쁜가요? 유지할까요, 되돌릴까요?

이 과정을 50번 반복하면, 여러분의 레시피는 10번 중 9.5번 성공합니다.

이것이 바로 autoresearch가 여러분의 스킬에 하는 일입니다.

• '레시피'는 여러분의 스킬 프로프트입니다.
• '요리'는 스킬을 실행하는 것입니다.
• '맛보기'는 출력물을 평가하는 것입니다.

여러분이 제공해야 할 유일한 것은 평가 기준입니다.

'좋음'이 무엇인지 에이전트에게 정확히 알려주는 체크리스트

여러분은 에이전트에게 '좋음'이 무엇인지에 대한 간단한 체크리스트를 제공합니다. 이것이 이 전체 과정에서 여러분이 해야 할 유일한 일입니다.

예/아니오 질문의 간단한 체크리스트로 하면 됩니다.

각 질문은 출력물의 한 가지 특정 측면을 확인합니다. 통과 또는 실패. 그게 전부입니다.

에이전트는 이 체크리스트를 사용하여 모든 출력물을 평가하고, 그 점수를 통해 변경 사항이 도움이 되는지 해가 되는지 알 수 있습니다.

마치 교사가 체크리스트로 논문을 채점하는 것과 같습니다.

하지만 "글쓰기 품질을 1-10점으로 평가하세요" (애매하고 매번 달라짐) 대신, 체크리스트의 각 항목은 명확한 예/아니오입니다.

• 학생이 논제문을 포함했는가? 예 또는 아니오.
• 모든 출처가 인용되었는가? 예 또는 아니오.
• 5페이지 미만인가? 예 또는 아니오.

이 체크리스트로 100개의 논문을 채점해도 매번 일관된 결과를 얻을 수 있습니다.

여기서도 마찬가지입니다. 랜딩 페이지 카피 스킬의 경우 체크리스트는 다음과 같을 수 있습니다.

• "헤드라인에 특정 숫자나 결과가 포함되어 있는가?" (비즈니스 성장 같은 모호한 헤드라인을 잡아냅니다)
• "카피에 '혁신적인', '시너지', '최첨단', '차원이 다른' 같은 허황된 용어가 없는가?"
• "CTA에 구체적인 동사구가 사용되었는가?" (배우기, 클릭하기 같은 약한 CTA를 잡아냅니다)
• "첫 줄에서 특정 고통점을 언급하는가?" (오늘날의 빠르게 변화하는 세상에서 같은 일반적인 도입부를 잡아냅니다)
• "전체 카피가 150단어 미만인가?" (독자를 잃게 만드는 부풀려진 페이지를 잡아냅니다)

이것들을 스스로 알아낼 필요는 없습니다. autoresearch를 시작하면 에이전트가 안내해 줍니다.

에이전트는 '좋음'이 무엇인지 묻고, 여러분의 느낌을 구체적인 예/아니오 질문으로 바꿔주며, 기존 스타일 가이드가 있다면 그것을 가져와서 활용할 수도 있습니다.

질문은 3-6개가 가장 좋습니다. 그 이상이면 스킬이 체크리스트를 노리는 경향이 생깁니다 (마치 학생이 답을 외우면서 내용은 이해하지 못하는 것처럼).

실행 방법

1단계: 스킬 다운로드. 여기에서 다운로드하세요. Claude Code나 Cowork의 스킬 폴더에 넣으세요.

2단계: 개선할 스킬 선택. "내 [스킬 이름] 스킬에 autoresearch를 실행해줘"라고 말하세요. 가장 마음에 안 드는 스킬을 고르세요. 절반은 훌륭하고 절반은 쓰레기인 그런 스킬 말이죠.

3단계: 에이전트가 3가지를 묻습니다. 최적화할 스킬, 사용할 테스트 입력 (예: "AI 생산성 도구용 랜딩 페이지 카피 작성"), 그리고 체크리스트 질문입니다.

4단계: 스킬을 실행하고 시작 점수를 보여줍니다. 이것이 기준선입니다. 제 랜딩 페이지 스킬은 56%에서 시작했습니다. 모호한 헤드라인, 허황된 용어 투성이, 약한 CTA. 절반 이상의 검사가 실패했습니다.

5단계: 브라우저에 실시간 대시보드가 열립니다. 점수 차트가 시간에 따라 올라갑니다. 각 체크리스트 질문에 대한 통과/실패 분석. 시도한 모든 변경 사항의 로그. 10초마다 자동 새로고침.

6단계: 자리에서 일어납니다. 에이전트가 루프에 진입합니다. 무엇이 실패하는지 분석합니다. 스킬 프로프트를 한 번만 변경합니다. 다시 테스트합니다. 점수가 올라가면 변경을 유지하고, 내려가면 취소합니다.

그런 다음 다시 합니다. 그리고 또 다시 합니다. 여러분이 중단하거나 95% 이상을 3회 연속으로 달성할 때까지 자율적으로 계속합니다.

대시보드를 지켜보거나 완전히 자리를 뜰 수 있습니다. 여러분 없이도 실행됩니다. 그리고 개선된 버전은 별도의 파일로 저장되므로, 원래 스킬은 그대로 남아 있습니다.

제 랜딩 페이지 스킬에 어떤 일이 일어났나

제 랜딩 페이지 카피 스킬에 실행해봤습니다. 결과는 이렇습니다.

56% → 92%. 4번의 변경 라운드. 3개는 유지, 1개는 취소.

에이전트가 제 스킬 프로프트에서 실제로 변경한 내용입니다.

• 가장 흔한 실패에 대한 구체적인 규칙 추가: "헤드라인에 특정 숫자나 결과가 포함되어야 합니다. '비즈니스를 혁신하세요' 같은 모호한 약속은 절대 사용하지 마십시오."
• 금지 용어 목록 추가: "절대 사용 금지: 혁신적인, 최첨단, 시너지, 차원이 다른, 게임 체인저, 활용, 잠금 해제, 변환."
• 강력한 랜딩 페이지 섹션의 예시 추가: 고통점 오프너와 CTA를 강조하여, 스킬이 추측하지 않고 '좋음'이 무엇인지 볼 수 있도록 함.
• 더 엄격한 단어 수 시도, 취소됨: 카피가 너무 얇아져서 CTA가 손상되었기 때문. (시스템이 고립된 개선처럼 보이지만 전체 출력에 해가 되는 변경을 잡아냅니다.)

완료 후, 제가 받은 것은:

• 개선된 스킬 (별도로 저장됨, 원본은 변경되지 않음)
• 결과 로그 (각 라운드의 점수)
• 변경 로그 (시도된 모든 변경 사항, 시도 이유, 도움이 되었는지 여부)
• 원본 스킬의 백업 (언제든 되돌리려면)

변경 로그는 아마 가장 가치 있는 부분일 것입니다. 특정 스킬에 대해 무엇이 효과가 있고 무엇이 없는지에 대한 완전한 기록입니다.

나중에 더 똑똑한 모델이 나오면, 그 변경 로그를 넘겨주고 마지막 에이전트가 중단한 지점부터 바로 시작하면 됩니다.

이 방법은 스킬 이상에도 적용됩니다

이 방법은 점수를 매길 수 있는 모든 것에 적용됩니다.

• 웹사이트 속도: 한 사람이 페이지 로드 시간에 대해 실행했습니다. 한 가지를 변경하고 속도를 측정하고 유지 또는 취소했습니다. 67회의 라운드 만에 1100ms에서 67ms로 개선되었습니다.
• 콜드 아웃리치: 체크리스트를 정의하세요. "잠재 고객의 회사를 언급하는가? 75단어 미만인가? 특정 질문으로 끝나는가?" 에이전트가 50개의 변형을 실행하게 하세요.
• 뉴스레터 도입부: "오프너에 개인적인 세부 사항이 포함되어 있는가?" 그리고 "진부한 표현이 없는가?" 에이전트가 자동으로 글쓰기를 다듬게 하세요.
• 반복적으로 사용하는 모든 프로프트

점수를 매길 수 있다면, autoresearch를 할 수 있습니다.

지금 실행하세요

가장 성능이 나쁜 스킬을 고르세요. autoresearch를 시작하세요. 실제로 작동하는 것을 얻으러 돌아오세요.

스킬 다운로드: 여기 (dropbox에 업로드됨)

또는 제 GitHub 확인: **여기

P.S. 더 많은 고객을 확보하고, 더 많은 관심을 받고, 더 많은 일을 끝내는 데 도움이 되는 AI 워크플로우를 더 원한다면 (더 많은 시간을 일하지 않고), 저는 34,000명의 독자들에게 매주 무료로 보내고 있습니다.

게다가 구독하면 무료 Claude Cowork 마스터클래스도 받을 수 있습니다: aisolo.beehiiv.com/subscribe