AI 透過觀看你的螢幕來學習工作
截至 2026 年 7 月 22 日,Anthropic 在 Claude Cowork 中新增的「Record a skill」功能已成為現實。根據 Anthropic 的官方公告,使用者可以在工作時錄製螢幕,同時說明正在做的事情;Claude 會將這些內容轉換為可重複使用的技能。這項功能可透過 Claude 桌面版應用程式的「+」選單使用,適用於 Pro、Max 和 Team 方案。
首先,Anthropic 明確指出「錄製螢幕並在操作時解說」。雖然點擊和輸入的內容是可見的,但目前不清楚它是否會像鍵盤側錄器(keylogger)那樣儲存原始事件資料,或是分析影片和音訊。對使用者來說,將其描述為「讓 Claude 分析點擊和打字」大致正確,但不應被視為技術上的確定事實。
其次,「無需額外付費」代表它包含在現有訂閱方案中。雖然 Claude Cowork 是 Pro、Max 和 Team 方案的一部分,但 Anthropic 指出 Cowork 消耗使用配額的速度比一般對話更快。因此,它並非「完全免費」或「無限量」。
第三,與 OpenAI 的競爭不僅是未來的預測。2026 年 6 月 18 日,OpenAI 宣布「Record & Replay」作為 macOS 版 Codex 的一項功能,其概念幾乎相同。使用者只需示範一次工作流程,它就會轉換為可重複使用的技能。OpenAI 的公開公告比 Anthropic 早了約一個月。
簡而言之:Anthropic 為 Claude Cowork 新增了「Record a skill」,而 OpenAI 的 ChatGPT Work/Codex 已經有「Record & Replay」。競爭已經轉向「讓 AI 觀察你如何工作,而不是撰寫提示詞」。
1. 這不是「巨集」,而是一個學習工作意義的系統
乍看之下,Record a skill 就像舊式的巨集錄製器或 RPA。傳統巨集僅僅重播「點擊這裡」或「等待 3 秒」等動作,一旦 UI 變更就會失效。
相較之下,Claude 和 Codex 的技能是「AI 能力套件」,包含:
- 何時使用該技能
- 所需的輸入
- 逐步程序和決策邏輯
- 禁止事項和驗證方法
- 必要的腳本、模板和工具
OpenAI 說明,Codex 生成的技能包括使用情境、輸入要求和結果驗證。重新執行時,只需提供新的值(檔案、日期等)。然後 Codex 會使用 Computer Use、瀏覽器操作和擴充功能來執行工作流程。
2. Claude 與 Codex 的差異
雖然兩者相似,但存在關鍵差異:
- Claude Cowork:透過「+」選單使用「Record a skill」。專注於研究和文件製作等知識工作。適用於 Pro、Max 和 Team 方案。
- ChatGPT Work/Codex:透過擴充功能使用「Record & Replay」。專注於一般商業和軟體開發。初期僅限 macOS 和特定地區(不含 EEA、英國、瑞士)。
3. 為什麼「不寫提示詞」很重要
過去,自動化僅限於能夠用文字描述工作流程的人。現在,專家可以透過邊做邊說的方式,將其「內隱知識」(在任務中做出的直覺判斷)外顯化。Record a skill 降低了將工作口頭表達的成本,讓 AI 先產生草稿,再由人類進行優化。
4. 影響最大的領域
自動化最適合高頻率、穩定且具備明確完成標準的任務:
- 銷售:從研究到 CRM 更新和後續追蹤草稿。
- 會計:下載報表、核對資料和預算差異分析。
- 行銷:標準化發布流程(標題、縮圖、UTM 參數)。
- 客服:分類詢問並起草回覆。
- 人力資源:跨系統的入職流程。
- 資料分析:自動化從資料擷取到洞察摘要的流程。
- 開發/測試:重現錯誤、UI 比對和版本發布說明生成。
5. 如何錄製一個好的技能
- 每個技能只做一件事:避免錄製過於廣泛的內容。
- 先說明目的和規則:開始前告訴 AI 目標和禁止事項。
- 解釋「為什麼」,而不只是「做什麼」:說出你點擊背後的原因。
- 包含例外情況:不要隱藏錯誤,讓 AI 知道如何處理。
- 使用真實的測試資料:避免敏感資訊,但保持複雜度真實。
- 編輯結果:將 AI 生成的技能視為初稿。
- 測試失敗場景:觀察技能在資料缺失或 UI 變更時的表現。
- 最後再自動化:先從手動觸發開始,再逐步排程執行。
6. 錄製模板
開始錄製時請說明:「這個技能的目的是 [目標]。應在 [條件] 時觸發。輸入是 [資料]。規則包括 [邏輯]。絕對不要 [禁止事項]。完成標準是 [完成條件]。」
7. 企業導入的風險
- 機密性:螢幕錄製可能捕捉到通知或私人資料。
- 標準化不良習慣:效率低下的工作流程可能被視為「正確」而固化。
- UI 變更:若系統版面大幅改變,AI 可能失敗。
- 提示注入攻擊:讀取外部資料的技能可能被惡意指令操縱。
- 技能膨脹:組織需要治理機制來管理重複或過時的技能。
8. Claude 還是 Codex:該選哪個?
- Claude Cowork:最適合非技術部門(銷售、人力資源、行銷)處理跨工具的文件和研究。
- ChatGPT Work/Codex:最適合需要整合開發環境的工作流程,利用 CLI、IDE 和腳本。
9. 30 天導入路線圖
- 第 1 週:根據頻率和風險識別候選任務。
- 第 2 週:錄製三個試點技能(資料處理、文件處理、跨應用程式類型)。
- 第 3 週:測試、改進,並衡量時間節省與錯誤率。
- 第 4 週:將驗證過的技能分享給團隊,並逐步導入有限自動化。
10. 競爭的本質
對企業而言,真正的價值不在於錄製檔案本身,而是「組織知識」——公司如何做出決策、如何完成工作。Record a skill 和 Record & Replay 是將個人專業知識轉化為可驗證、可更新的組織能力的門戶。最大的受益者不僅是工程師,更是那些最了解工作的領域專家。
![[備忘錄] 主管正在放棄表現不佳的下屬](/cdn-cgi/image/width=1920,quality=90,format=auto,metadata=none/https%3A%2F%2Fcms-assets.youmind.com%2Fmedia%2F1784827522698_408j7z_HN3Kb76awAAvvjF.jpg)




