如何將你的 Claude 技能提升 10 倍(使用 Karpathy 的自動研究方法)

@itsolelehmann
英語4 個月前 · 2026年3月17日
2.5M
5.4K
521
86
18.4K

TL;DR

Ole Lehmann 展示了如何將 Andrej Karpathy 的自動研究循環應用於 Claude 技能,使 AI Agent 能夠根據特定的評分標準自主優化提示詞。

你的 Claude 技能大概有 30% 的失败率,而你甚至没注意到。

我建立了一套方法,可以自动改善任何技能,在本文中我将 精準 展示如何自己操作。

你啟動它,Agent 就會不斷測試和優化技能,完全不需要你動手。

我的登陸頁面文案技能從原本只有 56% 通過品質檢查,提升到 92%。完全零 手動操作。

Agent 就是不停地自己測試、調整提示詞。

以下是這個方法以及我建立的具體技能,讓你可以套用到自己的東西上:

P.S. 如果你希望每週收到更多像這樣的 AI 工作流程,歡迎加入 34,000 位讀者免費訂閱:aisolo.beehiiv.com/subscribe

這個方法從哪來

Andrej Karpathy(OpenAI 共同創辦人、前 Tesla AI 負責人、「vibe coding」一詞的創造者)發佈了一個名為 autoresearch 的方法。

概念很簡單:與其手動改善某個東西,不如讓 AI Agent 在一個 迴圈 中幫你完成。

Ole Lehmann - inline image

它嘗試一個小改動。檢查結果是否變好。如果變好就保留,如果變差就捨棄。

然後再重複這個過程。一次又一次。

他把這個方法用在機器學習程式碼上。但這個方法適用於 任何你能衡量並改善的東西

包括你在 Claude 中建立的技能。

我把他的方法轉換成一個技能,可以在 Claude Code 和 Cowork 中執行。我只是對我的其他技能執行它。

我說「對我的登陸頁面技能執行 autoresearch」,它就會處理整個流程。

一個迴圈如何自動改善你的技能

你可以這樣理解。

你有一個食譜,10 次中有 7 次結果很棒。另外 3 次,總有些地方不對勁。可能是醬汁太淡,可能是調味錯了。

與其從頭改寫整個食譜,你 改變一個食材。你用這個改變煮了 10 次。

  • 結果變好了嗎?保留這個改變。
  • 結果變差了?把舊的食材放回去。

然後你改變下一個東西。再煮 10 次。變好還是變差?保留還是還原。

經過 50 輪這樣的調整,你的食譜在 10 次中有 9.5 次 完美。

這正是 autoresearch 對你的技能做的事。

  • 「食譜」就是你的技能提示詞。
  • 「煮」就是執行技能。
  • 「品嚐」就是評估輸出結果。

你唯一需要提供的就是評分標準。

告訴 Agent 什麼是「好」的檢查清單

你給 Agent 一份簡單的檢查清單,說明「好」的標準是什麼。這是你整個過程中唯一的工作。

你只需要用簡單的是/否問題來完成。

每個問題檢查輸出結果的某一個特定面向。通過或失敗。就這樣。

Agent 用這份檢查清單來評分每個輸出,而這些分數告訴它它的改動是有幫助還是有害。

你可以把它想像成老師用檢查清單批改論文。

但與其說「給寫作品質評分 1-10 分」(這很模糊且每次都不一樣),檢查清單上的每一項都是 明確的是或否

  • 學生是否包含論點陳述?是或否。
  • 每個來源是否都有引用?是或否。
  • 是否在 5 頁以內?是或否。

你可以用這份檢查清單批改 100 篇論文,而且 每次都能得到一致的結果。

這裡的概念也一樣。對於登陸頁面文案技能,你的檢查清單可能像這樣:

  • 「標題是否包含具體數字或結果?」(避免像「拓展你的業務」這種模糊標題)
  • 「文案是否避免使用『革命性』、『綜效』、『尖端』、『全新層次』等流行詞?」
  • 「行動呼籲是否使用具體的動詞片語?」(避免像「了解更多」或「點擊此處」這種軟弱的 CTA)
  • 「第一行是否點出特定痛點?」(避免像「在現今快節奏的世界中...」這種老套開場)
  • 「總文案是否在 150 字以內?」(避免過於冗長而失去讀者)

你不需要自己想出這些問題。當你啟動 autoresearch 時,Agent 會引導你完成。

它會問你什麼是好的表現,幫助你把模糊的感覺轉化為具體的是/否問題,甚至如果你有現有的風格指南,它也可以參考。

3-6 個問題是最佳範圍。 超過這個數量,技能就會開始鑽檢查清單的漏洞(就像學生死記答案卻不理解內容一樣)。

如何操作

步驟 1:下載技能。這裡取得。將它放入你的 Claude Code 或 Cowork 的 skills 資料夾。

步驟 2:選擇一個要改善的技能。 說「對我的 [技能名稱] 技能執行 autoresearch」。選擇那個最讓你困擾的技能。就是那個一半時間輸出很棒、另一半時間輸出很糟的技能。

步驟 3:Agent 會問你 3 個問題。 要優化哪個技能。要用哪些測試輸入(例如「為一個 AI 生產力工具撰寫登陸頁面文案」)。還有你的檢查清單問題是什麼。

步驟 4:它會執行你的技能,並顯示你的起始分數。 這是基準線。我的登陸頁面技能起始分數是 56%。模糊的標題、流行詞堆砌、軟弱的 CTA。超過一半的檢查項目都失敗。

步驟 5:它會在你的瀏覽器中開啟一個即時儀表板。 分數圖表隨時間上升。每個檢查項目的通過/失敗明細。它嘗試過的每個改動的日誌。每 10 秒自動重新整理。

步驟 6:離開。 Agent 進入迴圈。分析哪些項目失敗。對技能提示詞做一個小改動。再次測試。如果分數上升就保留改動,如果分數下降就還原。

然後再重複。一次又一次。它會 自主地 持續進行,直到你停止它,或者它連續三次達到 95% 以上。

你可以觀看儀表板,或者完全離開。它會自動運行。而且它會將改善後的版本另存為一個單獨的檔案,所以你原本的技能保持不變。

我的登陸頁面技能發生了什麼事

我對我的登陸頁面文案技能執行了這個方法。結果如下:

56% → 92%。 4 輪改動。3 個保留,1 個還原。

以下是 Agent 實際在我的技能提示詞中改變的內容:

  • 新增了一條具體規則 來處理最常見的失敗:「你的標題必須包含具體數字或結果。絕不要使用像『改造你的業務』這種模糊承諾。」
  • 新增了禁用流行詞清單:「絕不使用:革命性、尖端、綜效、全新層次、顛覆性、槓桿、解鎖、改造。」
  • 新增了一個示範範例,展示一個強而有力的登陸頁面段落,並標示出痛點開場和 CTA,讓技能可以 看到 好的例子,而不是靠猜測。
  • 嘗試了更嚴格的文字數限制,但還原了, 因為文案變得太薄,導致 CTA 受損。(系統會捕捉那些看似單獨改善,但卻損害整體輸出的改動。)

完成後,我得到了:

  • 改善後的技能,另存為單獨檔案(原本的技能保持不變,以備你想還原)
  • 結果日誌,顯示每一輪的分數
  • 變更紀錄,說明每個嘗試過的改動、為什麼嘗試、以及是否有效
  • 原始技能的備份,以備將來想回到原版

那份變更紀錄可能最有價值。它完整記錄了對該特定技能什麼有效、什麼無效。

當未來更智慧的模型出現時,你可以把那份變更紀錄交給它們,它們就能 從前一個 Agent 停下的地方繼續。

這個方法適用的範圍遠超技能

這個方法適用於 任何你能評分的東西。

  • 網站速度: 有人對頁面載入時間執行這個方法。改變一個東西,測量速度,保留或還原。在 67 輪中從 1100ms 降到 67ms
  • 陌生開發信: 定義你的檢查清單:「是否提到對方的公司?是否在 75 字以內?是否以具體問題結尾?」讓 Agent 運行 50 個變體。
  • 電子報開頭: 「開頭是否包含個人細節?」以及「是否避免使用陳腔濫調?」讓 Agent 自動優化你的寫作。
  • 任何你反覆使用的提示詞

只要能評分,就能用 autoresearch 優化它。

現在就去執行

挑選你表現最差的技能。啟動 autoresearch。回來時,你會得到一個真正有效的技能。

從[這裡](https://www.dropbox.com/scl/fi/57v11vtj9gzqz10ybv7or/autoresearch.zip?rlkey=f0zbieol7beeykn04erun79ot&dl=1)下載技能(上傳至 dropbox)

或者查看我的 github **這裡

P.S. 如果你想要更多能幫助你獲得更多客戶、更多關注、更多成果(而不需要增加工作時間)的 AI 工作流程,我每週免費寄送給 34,000 位讀者。

加入後你還可以免費獲得一堂 Claude Cowork 大師課程:aisolo.beehiiv.com/subscribe

二次創作

使用 YouMind 創作爆款文章

收集素材、拆解爆點、生成視覺資產、撰寫內容,並在一個 AI 工作空間裡完成分發。

了解 YouMind
寫給創作者

把你的 Markdown 變成乾淨的 𝕏 文章

圖片上傳、表格、程式碼區塊,往 𝕏 上手動重排太痛苦。YouMind 把整篇 Markdown 一鍵轉成乾淨、可直接發佈的 𝕏 文章草稿。

試試 Markdown 轉 𝕏

更多可拆解樣本

近期爆款文章

探索更多爆款文章