เวิร์กโฟลว์ AI ของคุณกำลังทำงานอยู่ตอนนี้
แค่คุณไม่รู้ว่ามันหยุดทำงานไปเมื่อสามวันที่แล้ว
มันยังคงทำงานอยู่ ยังคงเผาเครดิต API ยังคงส่งเอาท์พุตที่ไม่มีใครอ่าน เอเจนต์ที่คุณใช้เวลาสองวันหยุดสุดสัปดาห์สร้างขึ้น กำลังผลิตของเสียในราคา $0.40 ต่อกองของเสีย — และคุณจะไม่มีทางรู้จนกว่าลูกค้าจะแคปหน้าจอแล้วส่งมาให้คุณในวันอังคาร
นี่ไม่ใช่เรื่องโชคร้าย นี่คือผลลัพธ์มาตรฐาน
เซฟบทความนี้ไว้ คุณจะอ่านมันอีกครั้ง
สุสาน 30 วัน
ทุกสัปดาห์ ผู้ก่อตั้งหลายร้อยคนสร้างเวิร์กโฟลว์ AI และโพสต์ลงบน Twitter
เดโม่ดูเรียบร้อย เธรดได้รับไลก์ คำตอบบอกว่า "นี่คืออนาคต"
สามสิบวันต่อมา เวิร์กโฟลว์ตายแล้ว
ไม่ใช่ถูกลบ ไม่ได้ถูกแทนที่ ตายแล้วแต่ยังคงทำงาน เบิ้ลบัตรเครดิต ผลิตของที่ไม่มีประโยชน์ ผู้ก่อตั้งเดินหน้าต่อไป เอเจนต์ไม่ได้รับข้อความนั้น
90% ของเวิร์กโฟลว์ AI ที่สร้างขึ้นในวันนี้ จะไม่รอดผ่านเดือนแรกในการใช้งานจริง ไม่ใช่เพราะโมเดลไม่ดี ไม่ใช่เพราะไอเดียผิด แต่เพราะผู้สร้างทำผิดพลาดสามอย่างที่รับประกันความล้มเหลว — และไม่มีใครบอกพวกเขาว่าความผิดพลาดเหล่านั้นคืออะไร ก่อนที่พวกเขาจะปล่อยมันออกไป
บทความนี้คือสิ่งนั้น
ทำไมพวกมันถึงตาย
นี่คือกายวิภาคของความตายของเวิร์กโฟลว์ มันเป็นลำดับเดียวกันเสมอ
วันที่ 1: คุณสร้างมันขึ้นมา มันทำงานได้สมบูรณ์แบบในเดโม่ คุณรู้สึกเหมือนปลดล็อคอะไรบางอย่าง
วันที่ 3: มันยังคงทำงาน คุณหยุดตรวจสอบมันอย่างระมัดระวัง
วันที่ 9: มีบางอย่างเปลี่ยนไป รูปแบบการตอบสนองของ API เปลี่ยนไปเล็กน้อย แหล่งที่มันอ่านกลายเป็นต้องล็อกอิน โมเดลตีความเคสขอบแตกต่างจากวันที่หนึ่ง เอาท์พุตค่อยๆ เสื่อมลง ไม่มีใครสังเกต
วันที่ 14: ตอนนี้เวิร์กโฟลว์กำลังผลิตเอาท์พุตที่ในทางเทคนิคคือการตอบสนอง แต่ในทางเนื้อหานั้นไร้ประโยชน์ มันยังคงทำงานอยู่ คุณยังคงจ่ายเงินให้มัน
วันที่ 23: ลูกค้าหรือเพื่อนร่วมงานพูดถึงว่ามีบางอย่างผิดปกติ คุณตรวจสอบ คุณพบเอาท์พุตที่เสียหาย 12 วันที่คุณคิดว่ากำลังถูกจัดการ
วันที่ 30: คุณฆ่ามัน คุณบอกตัวเองว่า AI ยังไม่พร้อม คุณเดินหน้าต่อไป
โมเดลไม่ได้ทำให้คุณผิดหวัง การสร้างนั้นทำให้โมเดลผิดหวัง
3 กฎที่แยก 10% ออกจากคนอื่นๆ
ผู้ก่อตั้งที่เวิร์กโฟลว์ของพวกเขาอยู่รอด 30 วัน, 90 วัน, หนึ่งปี — พวกเขาไม่ได้ฉลาดกว่า พวกเขาไม่มีพรอมต์ที่ดีกว่า พวกเขาสร้างด้วยสามกฎที่คนอื่นไม่สนใจ
กฎข้อที่ 1 — ไม่มีรายละเอียดงาน, ไม่มีเอเจนต์
คนส่วนใหญ่สร้างเอเจนต์ด้วยความรู้สึก
"ช่วยฉันเรื่องเนื้อหา" "ติดตามคู่แข่ง" "จัดการอีเมลลูกค้า"
นั่นไม่ใช่รายละเอียดงาน นั่นคือความปรารถนา และความปรารถนาไม่รอดผ่านสุดสัปดาห์
รายละเอียดงานมีห้าส่วน:
สิ่งที่มันเฝ้าดู ทริกเกอร์หรือกำหนดการเฉพาะ "ทุกวันจันทร์เวลา 7 โมงเช้า" หรือ "ทุกครั้งที่มีการเปิด issue ใหม่บน GitHub ที่มีป้ายกำกับ 'bug'" หรือ "ทุกครั้งที่มีอีเมลมาจากโดเมนที่ไม่อยู่ในรายชื่อผู้ติดต่อของฉัน" ไม่ใช่ "บางครั้ง" หรือ "เมื่อเกี่ยวข้อง"
สิ่งที่มันอ่าน แหล่งที่มาที่แน่นอน ไม่ใช่ "เช็คอินเทอร์เน็ต" "ดึงข้อมูลจากฟีด RSS สามอย่างนี้, ฐานข้อมูล Airtable นี้, และ 7 วันที่ผ่านมาจาก Slack channel นี้" เฉพาะเจาะจง มีขอบเขต ไม่มีความกำกวม
สิ่งที่มันผลิต รูปแบบเอาท์พุตที่แน่นอน ไม่ใช่ "สรุป" "บทสรุปสั้นสามส่วน: ข้อค้นพบหลักหนึ่งประโยค, ประเด็นสนับสนุนสามประการพร้อมแหล่งที่มาอย่างละหนึ่ง, การดำเนินการที่แนะนำหนึ่งอย่าง เนื้อหาไม่เกิน 300 คำ ใน Google Doc นี้"
สิ่งที่มันไม่ทำ การ์ดป้องกัน "ห้ามส่งอีเมลภายนอกโดยไม่ได้รับการอนุมัติจากมนุษย์" "ห้ามแก้ไขฐานข้อมูลการผลิต" "ห้ามโพสต์โดยตรง ให้บันทึกเป็นร่างไว้ก่อนเสมอ" สิ่งที่คุณคิดว่าชัดเจน คือสิ่งที่มาทำร้ายคุณ
คุณรู้ได้อย่างไรว่ามันทำงาน เงื่อนไขความสำเร็จ "ถ้าบทสรุปสั้นว่างเปล่า ให้ส่งข้อความ Slack มาหาฉันว่าไม่พบอัปเดตที่เกี่ยวข้อง ห้ามส่งบทสรุปสั้นที่ว่างเปล่า"
ความรู้สึกไม่รอดผ่านสุดสัปดาห์ รายละเอียดงานรอด
ทุกเวิร์กโฟลว์ที่คุณสร้างจากวันนี้เป็นต้นไป เริ่มต้นด้วยรายละเอียดงาน ไม่ใช่พรอมต์ รายละเอียดงาน
กฎข้อที่ 2 — ความล้มเหลวแบบเงียบเป็นความล้มเหลวเดียวที่ฆ่าคุณ
ความล้มเหลวแบบดัง ไม่เป็นไร ความล้มเหลวแบบดังส่งข้อผิดพลาด มันหยุดเวิร์กโฟลว์ มันปลุกคุณ คุณแก้ไขมัน
ความล้มเหลวแบบเงียบคือสิ่งที่ฆ่าธุรกิจ
ความล้มเหลวแบบเงียบดูเหมือนความสำเร็จ เวิร์กโฟลว์ทำงาน เอาท์พุตมาถึง รูปแบบถูกต้อง เนื้อหาผิด — เล็กน้อย, แล้วมากขึ้น, แล้วก็ผิดไปเลย — และเพราะมันดูถูกต้อง, จึงไม่มีใครตรวจสอบมัน
นี่คือวิธีที่ความล้มเหลวแบบเงียบเกิดขึ้นในทางปฏิบัติ:
เอเจนต์เนื้อหาของคุณเขียน 30 โพสต์ คุณตั้งค่าให้กำหนดเวลาโพสต์อัตโนมัติสำหรับโพสต์ที่มีคะแนนสูงกว่า 80 ตามเกณฑ์ภายในของคุณ เกณฑ์ถูกปรับเทียบจาก 20 โพสต์แรกของคุณ ในวันที่ 15 โมเดลเริ่มตีความเกณฑ์ของคุณแตกต่างออกไป โพสต์ที่ได้ 82 คะแนน ตอนนี้ถือว่าปานกลางตามมาตรฐานจริงของคุณ โพสต์เหล่านั้นถูกเผยแพร่ออกไป การมีส่วนร่วมของคุณลดลง คุณโทษอัลกอริทึม
เอเจนต์วิจัยของคุณส่งรายงานสรุปประจำสัปดาห์ ในวันที่ 11 แหล่งข้อมูลหนึ่งที่มันอ่านเปลี่ยนโครงสร้าง URL เอเจนต์ไม่สามารถดึงข้อมูลได้อย่างเงียบๆ มันเติมช่องว่างด้วยข้อมูลแคชที่เก่ากว่า และไม่แจ้งถึงช่องว่างนั้น คุณอ่านรายงานสรุปที่อิงข้อมูลที่ล้าสมัยและตัดสินใจจากข้อมูลนั้น
เอเจนต์คัดแยกอีเมลขาเข้าของคุณร่างตอบกลับ ในวันที่ 8 มันเริ่มจัดหมวดหมู่อีเมลบางประเภทว่ามีความสำคัญต่ำ เพราะชื่อผู้ส่งตรงกับรูปแบบในการเทรนของมัน คุณพลาดอีเมลสำคัญสามฉบับจากลูกค้าใหม่ที่บังเอิญมีนามสกุลเดียวกันกับจดหมายข่าวที่คุณไม่เคยอ่าน
ในทุกกรณี: เวิร์กโฟลว์ทำงาน ไม่มีข้อผิดพลาดถูกโยนทิ้ง คุณเสียเปรียบอยู่ดี
ทางแก้คือการตรวจสอบเอาท์พุตที่จำเป็น เอเจนต์ทุกตัวต้องการสามสิ่ง:
เอาท์พุตตัวบอกสุขภาพ (Canary Output) ฟิลด์หนึ่งในทุกเอาท์พุตที่ตรวจสอบได้ง่ายและปลอมแปลงยาก การประทับเวลาของแหล่งข้อมูลล่าสุดที่อ่าน จำนวนรายการที่ประมวลผล คะแนนความเชื่อมั่น บางสิ่งที่คุณสามารถดูคร่าวๆ ในสองวินาทีและรู้ว่าเอเจนต์ทำงานจริง
การแจ้งเตือนความล้มเหลวแบบเงียบ ถ้าเอเจนต์ไม่ผลิตอะไรเลย หรือผลิตสิ่งที่ต่ำกว่าเกณฑ์ มันจะไม่ส่งเอาท์พุตว่างเปล่า มันจะส่งการแจ้งเตือนถึงคุณ "ไม่พบผลลัพธ์ในรอบนี้ — นี่คือสิ่งที่ฉันตรวจสอบและสาเหตุที่ฉันอาจไม่พบอะไรเลย" ไม่มีอะไรเลย มีประโยชน์มากกว่าผลลัพธ์ว่างเปล่าที่น่าเชื่อถือเสมอ
การตรวจสอบเฉพาะจุดรายสัปดาห์ เลือกเอาท์พุตหนึ่งรายการต่อสัปดาห์ต่อเอเจนต์ อ่านมันทั้งหมด เปรียบเทียบกับสิ่งที่คุณจะเขียนเอง ใช้เวลาสี่นาที มันจับการเลื่อนไถลก่อนที่การเลื่อนไถลจะกลายเป็นความล้มเหลว
เอเจนต์ไม่ล้มเหลวอย่างดัง สร้างสำหรับการพังที่เงียบ
กฎข้อที่ 3 — แล็ปท็อปของคุณไม่ใช่โครงสร้างพื้นฐาน
นี่คือจุดที่ 90% ของผู้สร้างตาย
พวกเขาสร้างในเครื่องท้องถิ่น เดโม่ทำงาน พวกเขาโพสต์เธรด Twitter มีคนถามว่ามันทำงานในระบบการผลิตหรือไม่ พวกเขาตอบว่าใช่ สิ่งที่พวกเขาหมายถึงคือ: มันทำงานบน MacBook ของพวกเขา ซึ่งตอนนี้เปิดอยู่, บนโต๊ะทำงานของพวกเขา, ในอพาร์ทเมนต์ของพวกเขา, เชื่อมต่อกับ WiFi บ้านของพวกเขา, และจะหยุดทำงานเมื่อพวกเขาปิดฝาเพื่อไปสนามบินในวันพฤหัสบดี
แล็ปท็อปของคุณไม่ใช่โครงสร้างพื้นฐาน มันคือสภาพแวดล้อมการพัฒนาที่บังเอิญกำลังรันสิ่งที่สำคัญอยู่ในตอนนี้
นี่คือสิ่งที่เกิดขึ้นกับเอเจนต์ที่โฮสต์บนแล็ปท็อป:
macOS ผลักดันอัปเดตตอนตี 4 เครื่องรีสตาร์ท เอเจนต์หยุด ไม่มีใครรู้จนกระทั่งวันจันทร์
คุณปิดฝาบนเครื่องบิน พลาดเวิร์กโฟลว์หกชั่วโมง เอเจนต์คัดแยกอีเมลไม่ได้คัดแยก เอเจนต์ล่าบั๊กไม่ได้ล่า เอเจนต์สแตนด์อัพไม่ได้ส่งอะไรเลย
WiFi บ้านของคุณหลุดยี่สิบนาที เอเจนต์ลองอีกครั้ง ล้มเหลว เดินหน้าต่อ ไม่บันทึกอะไรเลย หน้าต่างที่มันควรจะจับได้หายไปแล้ว
คุณไปเที่ยวพักผ่อน แล็ปท็อปอยู่บ้าน ทุกอย่างอยู่บ้านพร้อมกับมัน
โครงสร้างพื้นฐานจริง ทำงานเมื่อคุณไม่ได้ดู มันทำงานเมื่อคุณหลับ, อยู่บนเครื่องบิน, กำลังทานอาหารเย็น, ไม่สามารถติดต่อได้ในช่วงสุดสัปดาห์ มันไม่ต้องการให้คุณเปิดฝาทิ้งไว้
กฎง่าย: ถ้าเวิร์กโฟลว์ต้องทำงานมากกว่าหนึ่งครั้ง และคุณไม่สามารถยอมให้มันพลาดรอบเดียวได้ มันจะไม่อยู่บนแล็ปท็อปของคุณ
ตัวเลือกโครงสร้างพื้นฐานสามอย่างที่ใช้งานได้จริง:
VPS พร้อมตัวจัดการกระบวนการ เซิร์ฟเวอร์ราคา $12/เดือนที่รัน PM2 หรือ Supervisor เอเจนต์ของคุณทำงานเป็นกระบวนการที่มีการจัดการ ถ้ามันล้ม PM2 จะรีสตาร์ทโดยอัตโนมัติ ถ้าเซิร์ฟเวอร์รีบูท PM2 จะเริ่มทำงานเมื่อบูท ถูก เชื่อถือได้ ไม่หรูหรา แต่ใช้งานได้
แพลตฟอร์มเอเจนต์ที่มีการจัดการ สร้างขึ้นมาเพื่อสิ่งนี้โดยเฉพาะ จัดการการรีสตาร์ท, การตรวจสอบ, การแจ้งเตือน มีค่าใช้จ่ายมากกว่า VPS ช่วยประหยัดวันสุดสัปดาห์ที่คุณจะใช้ดีบักว่าทำไมกระบวนการถึงตาย คุ้มค่าเมื่อเอเจนต์ของคุณสร้างมูลค่าที่แท้จริงแล้ว
เซิร์ฟเวอร์เลสพร้อมตัวกำหนดเวลา AWS Lambda หรือ Google Cloud Functions ที่ถูกทริกเกอร์โดย EventBridge หรือ Cloud Scheduler ไม่มีโครงสร้างพื้นฐานให้จัดการ คุณจ่ายต่อการทำงาน ปรับขนาดเป็นศูนย์เมื่อไม่ได้ทำงาน ตัวเลือกที่ดีที่สุดสำหรับเอเจนต์ที่ทำงานตามกำหนดเวลาคงที่มากกว่าทำงานต่อเนื่อง
ไม่มีอะไรซับซ้อน ทั้งหมดต้องใช้เวลาติดตั้ง 15 นาที ทุกอย่างจะช่วยคุณจากการอัปเดต macOS ตี 4 ที่ฆ่าเอเจนต์ของคุณและเช้าวันจันทร์ของคุณ
ปิดแล็ปท็อป เอเจนต์ควรทำงานต่อไป
เวิร์กโฟลว์ที่อยู่รอด
นี่คือสิ่งที่เวิร์กโฟลว์ 90 วัน มีลักษณะเมื่อใช้ทั้งสามกฎ
รายละเอียดงาน:ทุกวันจันทร์เวลา 7 โมงเช้า, อ่านโพสต์ 7 วันที่ผ่านมาจากบัญชีคู่แข่ง 5 บัญชีนี้ และจดหมายข่าวอุตสาหกรรม 3 ฉบับนี้ ดึงประกาศผลิตภัณฑ์, การเปลี่ยนแปลงราคา, หรือเนื้อหาที่มีการมีส่วนร่วมสูงกว่า 500 ครั้ง เปรียบเทียบกับรายงานสรุปของสัปดาห์ที่แล้ว แจ้งสิ่งใหม่ สร้างรายงานสรุปสามส่วน: อะไรที่เปลี่ยนแปลง, อะไรกำลังได้รับความสนใจ, ช่องว่างอะไรที่พวกเขาเปิดทิ้งไว้ ถ้าไม่พบการเปลี่ยนแปลง, ให้ส่งการแจ้งเตือน: "สัปดาห์ที่เงียบ — นี่คือสิ่งที่ถูกตรวจสอบ" ส่งไปยังหน้า Notion นี้และส่งการแจ้งเตือน Slack
เอาท์พุตตัวบอกสุขภาพ:ทุกรายงานสรุปประกอบด้วย: "แหล่งที่ตรวจสอบ: 8 รายการที่ประมวลผล: [N] การประทับเวลารายการล่าสุด: [timestamp]" ถ้า N เป็นศูนย์หรือการประทับเวลาเก่ากว่า 8 วัน, มันจะส่งการแจ้งเตือนแทนรายงานสรุป
โครงสร้างพื้นฐาน:ทำงานบน VPS ราคา $12/เดือน PM2 จัดการกระบวนการ ถ้ามันล้ม, มันจะรีสตาร์ทภายใน 30 วินาที การตรวจสอบบันทึกประจำสัปดาห์ใช้เวลา 3 นาทีทุกวันศุกร์
การตรวจสอบเฉพาะจุด:ทุกวันศุกร์, รายงานสรุปหนึ่งฉบับจะถูกอ่านทั้งหมด ใช้เวลา 4 นาที เคยจับการเลื่อนไถลได้สองครั้งในหกเดือน
เวิร์กโฟลว์นั้นทำงานมาเป็นเวลาหกเดือน มันพลาดสองรอบ — ทั้งสองครั้งมันส่งการแจ้งเตือนอธิบายว่าทำไม มันไม่เคยล้มเหลวอย่างเงียบๆ
นั่นคือความแตกต่างระหว่างเวิร์กโฟลว์ที่อยู่รอด กับเวิร์กโฟลว์ที่ตายในวันที่เก้า
ความจริงอันไม่สบายใจ
คนส่วนใหญ่จะอ่านสิ่งนี้, พยักหน้า, และสร้างเอเจนต์ตัวต่อไปของพวกเขาแบบเดียวกับที่พวกเขาสร้างตัวที่แล้ว
พรอมต์หนึ่งอัน เดโม่หนึ่งอัน เธรด Twitter หนึ่งอัน ความเงียบสามสิบวัน เวิร์กโฟลว์ตายที่ไม่มีใครฆ่าอย่างเป็นทางการ
สามกฎไม่ซับซ้อน รายละเอียดงานใช้เวลาเขียน 20 นาที การตรวจสอบเอาท์พุตใช้หนึ่งฟิลด์และหนึ่งเงื่อนไข โครงสร้างพื้นฐานใช้เวลาติดตั้ง 15 นาที
ช่องว่างไม่ใช่ความรู้ ช่องว่างคือคุณจะทำมันก่อนปล่อยหรือหลังจากที่เวิร์กโฟลว์ล้มเหลว
เอเจนต์ทุกตัวที่คุณสร้างโดยไม่มีรายละเอียดงาน คือเอเจนต์ที่คุณจะต้องสร้างใหม่ เอเจนต์ทุกตัวที่ไม่มีการตรวจสอบเอาท์พุต คือเอเจนต์ที่จะล้มเหลวอย่างเงียบๆ เอเจนต์ทุกตัวบนแล็ปท็อปของคุณ คือเอเจนต์ที่จะตายในครั้งต่อไปที่คุณปิดฝา
สร้างให้ถูกต้องครั้งเดียว มันทำงานตลอดไป
ติดตาม @sairahul1 สำหรับแผนการดำเนินงานที่สมบูรณ์แบบเพิ่มเติมเกี่ยวกับการสร้างเวิร์กโฟลว์ AI ที่รอดชีวิตจากการสัมผัสกับโลกแห่งความจริง
TL;DR
90% ของเวิร์กโฟลว์ AI ตายใน 30 วัน ด้วยเหตุผลสามอย่างเดียวกันเสมอ
กฎข้อที่ 1 — ไม่มีรายละเอียดงาน, ไม่มีเอเจนต์ความรู้สึกไม่รอดผ่านสุดสัปดาห์ กำหนดสิ่งที่มันเฝ้าดู, อ่าน, ผลิต, หลีกเลี่ยง, และคุณรู้ได้อย่างไรว่ามันทำงาน ก่อนที่คุณจะเขียนพรอมต์แม้แต่ตัวเดียว
กฎข้อที่ 2 — ความล้มเหลวแบบเงียบเป็นความล้มเหลวเดียวที่ฆ่าคุณความล้มเหลวแบบดังไม่เป็นไร ความล้มเหลวแบบเงียบดูเหมือนความสำเร็จจนกว่าลูกค้าจะพบมัน สร้างเอาท์พุตตัวบอกสุขภาพ, การแจ้งเตือนความล้มเหลวแบบเงียบ, และการตรวจสอบเฉพาะจุดรายสัปดาห์เข้าไปในทุกเอเจนต์
กฎข้อที่ 3 — แล็ปท็อปของคุณไม่ใช่โครงสร้างพื้นฐานมันทำงานเมื่อเปิดฝา เอเจนต์จริงทำงานเมื่อคุณหลับ, อยู่บนเครื่องบิน, ไม่สามารถติดต่อได้ในช่วงสุดสัปดาห์ VPS, แพลตฟอร์มที่มีการจัดการ, หรือเซิร์ฟเวอร์เลส เลือกเลยหนึ่งข้อ ตั้งค่าก่อนที่คุณจะปล่อย
เอเจนต์ที่อยู่รอดไม่ได้ฉลาดกว่า พวกมันถูกสร้างมาอย่างถูกต้อง
