อัปเดตครั้งใหญ่! AI Agent ช่วยตัดต่อวิดีโอด้วย Claude ของฉัน ปรับปรุงการจดจำและ UI ให้ดียิ่งขึ้น

@chengfeng240928
จีน5 เดือนที่ผ่านมา · 28 ม.ค. 2569
226K
494
94
20
871

TL;DR

Cheng Feng เปิดตัวการอัปเดตครั้งสำคัญสำหรับเครื่องมือตัดต่อ Claude Skills โดยมาพร้อมกับการประมวลผลผ่าน API ที่รวดเร็วขึ้น อินเทอร์เฟซสำหรับการตรวจสอบแบบเห็นภาพ และกลไกการเรียนรู้ด้วยตนเองเพื่อระบุและลบคำพูดติดขัดได้ดียิ่งขึ้น

สวัสดีทุกคน ผมเฉิงเฟิง

Editing Skills ได้รับการอัปเดตแล้ว

หลังจากปล่อยเวอร์ชันที่แล้ว ผมได้รับคำติชมมากมาย สองปัญหาที่พบบ่อยที่สุดคือ:

  • การดาวน์โหลดโมเดลขนาด 5GB ใช้เวลาหลายสิบนาที ทำให้หลายคนยอมแพ้
  • การหาคำพูดติดขัดทีละบรรทัดในเอกสารทำให้เหนื่อยเกินไป

ดังนั้นครั้งนี้ผมจึงยกเครื่องครั้งใหญ่:

Agent成峰 - inline image

ผมเปลี่ยนโมเดลการรู้จำเสียง/วิดีโอของ Volcengine และอัปเกรดอินเทอร์เฟซการโต้ตอบ

ผลลัพธ์เป็นยังไง? มาเปรียบเทียบโดยตรงกับ CapCut (Jianying) กัน:

Editing Skills:

Agent成峰 - inline image

CapCut:

Agent成峰 - inline image

ในวิดีโอเดียวกัน AI ระบุคำพูดติดขัดทั้งหมดที่ CapCut พลาดไป และมีเอฟเฟกต์การแสดงผลที่ดีกว่า

จากความคิดเห็นของผู้ใช้ การอัปเดตครั้งนี้เน้นสามด้านหลัก

1. เร็วขึ้น: API แทนที่โมเดลท้องถิ่น

เวอร์ชันก่อนหน้าต้องดาวน์โหลดโมเดลท้องถิ่นขนาด 5GB ซึ่งหลายคนรายงานว่าช้าเกินไป

ครั้งนี้ผมเปลี่ยนมาใช้การเรียก API แทน

  • ดาวน์โหลดเร็ว: ไม่ต้องรอหลายชั่วโมงเพื่อให้ได้โมเดล
  • ประมวลผลเร็ว: เซิร์ฟเวอร์ API เร็วกว่าคอมพิวเตอร์ของคุณมาก

2. แม่นยำขึ้น: ปรับปรุงการรู้จำคำพูดติดขัดใหม่

การรู้จำคำพูดติดขัดในเวอร์ชันก่อนหน้าค่อนข้างหยาบ ตอนนี้ระบบทั้งหมดได้รับการปรับปรุงใหม่

เปลี่ยนโมเดล

การใส่คำบรรยายเสียง/วิดีโอของ Doubao เป็นการรู้จำที่แม่นยำที่สุดที่ผมเคยประสบ

(ขอบคุณ @极客杰尼 สำหรับคำแนะนำ)

ความเข้าใจความหมายของ AI

ตอนนี้ AI วิเคราะห์ทีละส่วน:

Agent成峰 - inline image

มันตัดสินแต่ละส่วนตามกฎ: ความเงียบ, ประโยคซ้ำ, คำพูดติดอ่าง, คำฟุ่มเฟือย...

นิสัยผู้ใช้ที่โปร่งใส

กฎการรู้จำทั้งหมดถูกวางไว้ในโฟลเดอร์แยกต่างหาก:

Agent成峰 - inline image

ถ้าคุณคิดว่ากฎข้อไหนผิด ก็แก้ไขไฟล์ได้ ถ้าต้องการเพิ่มกฎใหม่ ก็แค่สร้างไฟล์ .md ใหม่

3. ใช้งานง่ายขึ้น: อินเทอร์เฟซตรวจสอบด้วยภาพ

นี่คือการปรับปรุงที่ใหญ่ที่สุด

ก่อนหน้านี้ หลังจากแก้ไข AI จะส่งออกแบบร่างการตรวจสอบในบรรทัดคำสั่ง คุณต้องหาปัญหาในข้อความและบอก AI ว่าต้องเปลี่ยนอะไร

ตอนนี้ หลังจากเริ่มแก้ไข บริการตรวจสอบจะเริ่มต้นโดยอัตโนมัติ

เปิดเบราว์เซอร์ของคุณ แล้วคุณจะเห็นอินเทอร์เฟซที่คล้ายกับการแก้ไขพูดของ CapCut:

Agent成峰 - inline image

มีการเพิ่มคุณสมบัติพิเศษสองอย่าง:

คุณสมบัติ 1: ปุ่มความเร็ว

คุณสามารถฟังวิดีโอทั้งหมดด้วยความเร็วสองเท่า

คุณสมบัติ 2: คัดลอกรายการลบ

คุณสมบัตินี้สำหรับการเรียนรู้ของ AI หลังจากยืนยันผลการตรวจสอบแล้ว คลิก "คัดลอกรายการลบ" คัดลอกข้อมูลส่วนที่ถูกลบ แล้วบอก AI AI จะวิเคราะห์นิสัยการแสดงออกของคุณเพื่อระบุได้แม่นยำยิ่งขึ้นในครั้งหน้า

นี่คือ กลไกการอัปเดตตัวเอง ที่ผมเน้นย้ำมาโดยตลอด ยิ่งใช้มากเท่าไหร่ มันก็ยิ่งเข้าใจคุณมากขึ้น

Agent成峰 - inline image

ตอนนี้กระบวนการง่ายขึ้นมาก ใช้เวลาเพียง 15 นาที

Agent成峰 - inline image

ขั้นตอนที่ 1: ดาวน์โหลด Skills (1 นาที)

ช่วยดาวน์โหลด Editing Skills ให้หน่อย:

- ที่อยู่:

https://github.com/Ceeon/videocut-skills

- พาธสำหรับจัดเก็บ: .claude/skills/ (โคลนโดยตรงไปยังไดเรกทอรีนี้ อย่าสร้างโฟลเดอร์ย่อย)

ขั้นตอนที่ 2: กำหนดค่า API Key (3 นาที)

ครั้งนี้เราใช้ความสามารถ "สร้างคำบรรยายเสียง/วิดีโอ" ของ Volcengine

มีรุ่นทดลองใช้ฟรี 20 ชั่วโมง:

Agent成峰 - inline image

เข้าสู่ระบบ Volcengine Model Management และเปิดใช้งาน "สร้างคำบรรยายเสียง/วิดีโอ":

Agent成峰 - inline image

รับ API Key:

Agent成峰 - inline image

ป้อน /v เลือก videocut:install ป้อน API Key และดำเนินการกำหนดค่าให้เสร็จสมบูรณ์

Agent成峰 - inline image

ขั้นตอนที่ 3: แก้ไขวิดีโอ (10 นาที)

ป้อน /v เลือก videocut:edit แล้วป้อนพาธของวิดีโอ

Agent成峰 - inline image

AI จะดำเนินการโดยอัตโนมัติ:

  1. เรียก API เพื่อถอดเสียง
  2. เริ่มบริการตรวจสอบในเครื่อง
  3. ให้ลิงก์ไปยังอินเทอร์เฟซการตรวจสอบ
Agent成峰 - inline image

เปิดลิงก์เพื่อดูอินเทอร์เฟซการตรวจสอบ:

Agent成峰 - inline image

เราสามารถตรวจสอบความแม่นยำในการรู้จำของ AI ได้ที่นี่

การดำเนินการ: Shift + ลากเพื่อเลือกหรือยกเลิกการเลือกส่วน

ปุ่มฟังก์ชันสี่ปุ่ม:

  1. เล่น — เช่นเดียวกับ CapCut ข้ามส่วนที่เลือกโดยอัตโนมัติ
  2. เล่นด้วยความเร็ว — ฟีเจอร์ที่ CapCut ไม่มี คุณสามารถเร่งความเร็ววิดีโอที่พูดช้าได้
  3. คัดลอกรายการลบ — หากมีความแตกต่างมาก ให้คัดลอกผลลัพธ์การลบของคุณเพื่อให้ AI เรียนรู้นิสัยของคุณ
  4. ดำเนินการแก้ไข — หลังจากยืนยัน คลิกเพื่อดำเนินการแก้ไขโดยอัตโนมัติ

เมื่อเสร็จแล้ว วิดีโอที่มี "cut" ต่อท้ายชื่อจะปรากฏขึ้น

Agent成峰 - inline image

ขั้นตอนที่ 4: เพิ่มคำบรรยาย (3 นาที)

เหมือนก่อนหน้านี้ ป้อน /v แล้วเลือก videocut:subtitles

Agent成峰 - inline image

อย่าลืมเพิ่มคำนามเฉพาะของคุณลงในไฟล์พจนานุกรมเพื่อความแม่นยำของคำบรรยายที่สูงขึ้น

Agent成峰 - inline image

สี่ขั้นตอน มองเห็นได้เต็มรูปแบบ

ถ้าคุณรู้สึกลำบากมาก่อน ลองอีกครั้งครั้งนี้

ยินดีต้อนรับให้คุณบอกผมในความคิดเห็น

บันทึกในคลิกเดียว

อ่านบทความไวรัลเชิงลึกด้วย AI ใน YouMind

บันทึกแหล่งที่มา ถามคำถามที่ตรงประเด็น สรุปข้อโต้แย้ง และเปลี่ยนบทความไวรัลให้เป็นโน้ตที่นำกลับมาใช้ได้ใน AI เวิร์กสเปซเดียว

สำรวจ YouMind
สำหรับครีเอเตอร์

เปลี่ยน Markdown ของคุณให้เป็นบทความ 𝕏 ที่สะอาดตา

เวลาคุณเผยแพร่งานเขียนยาวของตัวเอง การจัดรูปแบบรูปภาพ ตาราง และบล็อกโค้ดให้เข้ากับ 𝕏 นั้นน่าปวดหัว YouMind เปลี่ยนร่าง Markdown ทั้งฉบับให้เป็นบทความ 𝕏 ที่สะอาดตาและพร้อมโพสต์ทันที

ลอง Markdown เป็น 𝕏

แพตเทิร์นให้ถอดรหัสเพิ่มเติม

บทความไวรัลล่าสุด

สำรวจบทความไวรัลเพิ่มเติม