สวัสดีทุกคน ผม Gary Caogan ครีเอเตอร์หน้าใหม่ที่คลุกคลีอยู่กับวงการ AI Video และการทำคอนเทนต์ระดับโลกมาสองปีแล้ว
เมื่อคืนวันที่ 15 ตุลาคม ผมบังเอิญเข้าไปเจอห้องไลฟ์สดชื่อ "Tiangong Kaizhen" (ผู้เขียน: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303) ผู้สร้างสตรีมมาได้สักพักแล้ว และตอนนี้ทุกครั้งที่เขาเปิดไลฟ์ จะมีคนดูออนไลน์หลักพันคนเสมอ บน X ก็มีคนรีโพสต์และคอมเมนต์พูดถึงห้องไลฟ์นี้กันเยอะมาก
ไลฟ์สดแบบดิจิทัลฮิวแมนทั่วไปมักจะเคลื่อนไหวแข็งทื่อ เสียงก็แข็ง แถมใช้สคริปต์ที่ตั้งไว้ล่วงหน้า ถ้าอยากให้ออกมาดูดี มักต้องมีคนจริงๆ คอยควบคุมอยู่เบื้องหลัง แต่ทำไมห้องไลฟ์นี้ถึงดังเปรี้ยงขึ้นมาได้? เพราะผลลัพธ์ที่ได้มันเหนือกว่าดิจิทัลฮิวแมนยุคก่อนๆ แบบคนละชั้นเลย ไม่มีคนจริงๆ คอยคุมอยู่เบื้องหลัง ปฏิกิริยาทุกอย่างเกิดขึ้นแบบเรียลไทม์ คนดูพิมพ์ข้อความมา เธอก็ตอบกลับ ท่าทาง สีหน้า และการโต้ตอบทั้งหมดถูกสร้างขึ้นในทันที ปฏิกิริยาแรกของผมคือ โซลูชันนี้มีศักยภาพให้จินตนาการต่อยอดได้อีกมหาศาล:
สตรีมเกม สตรีมขายของ สตรีมบันเทิง สตรีมเพื่อนคุย—แทบทุกสถานการณ์สามารถนำมาผสานกับโซลูชันนี้ได้ลึกซึ้ง แล้วคำถามก็ตามมา: เขาทำมันขึ้นมาได้อย่างไร? ผมจะสร้างห้องไลฟ์แบบนี้เองได้ไหม?
หลังจากนั่งวิจัยและปรับจูนอยู่สี่วัน อวตารของผมที่ชื่อ "Wanwan" ก็ได้เริ่มไลฟ์จริงบนบัญชี Douyin ของผมเรียบร้อยแล้ว ระหว่างไลฟ์เราต้องรีสตาร์ทระบบใหม่สั้นๆ สองครั้ง รวมเวลาสตรีมไปกว่า 70 นาที คุณคิดว่าผลลัพธ์ระดับนี้ควรได้กี่คะแนน?
คลิปบันทึกหน้าจอบางส่วน:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
เอาล่ะ บทความนี้จะมาแชร์ว่าในช่วงไม่กี่วันที่ผ่านมา ผมสร้างและปรับจูนโฮสต์ไลฟ์สด AI แบบเรียลไทม์อย่าง Wanwan จาก 0 ถึง 1 ได้อย่างไร ทั้งวิธีที่ผมแยกย่อยโซลูชัน วิธีลงมือทำ หลุมพรางที่เจอ และวิธีแก้ปัญหาเหล่านั้น
ในเวลาเดียวกัน เฟรมเวิร์กเครื่องมือไลฟ์สด AI แบบเรียลไทม์ทั้งหมดก็ได้เปิดเป็นโอเพนซอร์สภายใต้ไลเซนส์ MIT แล้ว ที่อยู่นี้เลย: https://github.com/garycaogan/ai-live-avatar.
บทความนี้ผมเขียนเสร็จโดยใช้เวิร์กเบนช์จัดการคอนเทนต์ที่เคยเปิดเป็นโอเพนซอร์สไปก่อนหน้านี้ร่วมกับ Claude
1. แยกย่อยห้องไลฟ์ของผู้สร้างต้นฉบับ
นี่คือห้องไลฟ์ของ Xiaoya ผู้สร้างต้นฉบับ
ลองแยกมันออกเป็นชั้นในกับชั้นนอก
ชั้นในคือตัวโฮสต์เอง ท่าทาง สีหน้า และเสียงพูดล้วนถูกสร้างขึ้นแบบเรียลไทม์ มีป้าย Vidu S ห้อยอยู่ด้านบนของหน้าจอ ซึ่งทำให้เข้าใจได้ง่ายว่าโมเดลที่ใช้คือ Vidu S2 โมเดลดิจิทัลฮิวแมนล่าสุดของ Vidu ข้อนี้ตัดข้อสันนิษฐานเรื่องการนำโมเดลออปนซอร์สมาติดตั้งบนเครื่องตัวเองออกไปได้เลย
ชั้นนอกคือวงกลมรอบตัวโฮสต์ การ์ดคำสั่งเขียนว่า "วันนี้ทดสอบคำสั่งคอมเมนต์ต่อ" และด้านล่างมีคอลัมน์สำหรับ ร้องเพลง เต้น ขายของ และกรองการโต้ตอบ บางช่องถูกติ๊ก บางช่องว่างอยู่ นั่นหมายความว่าพอคอมเมนต์ลอยเข้ามา จะมีโปรแกรมตรงกลางคอยกรอง เปลี่ยนให้เป็นคำสั่ง แล้วส่งต่อไปให้ดิจิทัลฮิวแมนทำตาม ชั้นนี้เป็นเครื่องมือที่ผู้สร้างทำขึ้นเอง
สำหรับชั้นใน โซลูชันดิจิทัลฮิวแมนของ Vidu มี 3 เส้นทาง: หนึ่งคือดิจิทัลฮิวแมนแบบเรียลไทม์ โยนทั้งใบหน้า เสียง และการตอบกลับให้มันจัดการหมด สองคือเตรียมไฟล์เสียงป้อนเข้าไป ให้มันจัดการแค่ขยับปากให้ตรงกับเสียง ซึ่งทำได้แม้กระทั่งร้องเพลง และสามคือใช้วิดีโอคนจริงๆ มาขับเคลื่อนดิจิทัลฮิวแมน โดยแทนที่คนข้างใน
พูดไปก็เท่านั้น การคิดวิเคราะห์เชิงเทคนิคมากเกินไปก็ไม่มีความหมาย ผมเลยลงมือทำทันทีและรีบรันเดโมออกมาอย่างรวดเร็ว ด้วยความที่ผมคุ้นเคยกับ YouTube เป็นทุนเดิม ผมจึงเชื่อมต่อวงจรการไลฟ์บน YouTube และการอ่านคอมเมนต์ให้สำเร็จก่อนเป็นอันดับแรก
ใครสนใจไปดูรีเพลย์ได้ที่: https://www.youtube.com/live/fG84tzLOxLc
แต่ผลของการไลฟ์ครั้งแรกแย่มาก ผลลัพธ์ของผมไม่ได้ต่างจากเทคโนโลยีดิจิทัลฮิวแมนทั่วไปเท่าไหร่ ท่าทางเหมือนหุ่นยนต์ การตอบกลับเหมือนหุ่นยนต์ เสียงก็เหมือนหุ่นยนต์ ถ้าการอัดวิดีโอของ Xiaoya ได้ 9 คะแนน ความพยายามช่วงแรกๆ ของผมทั้งสามเส้นทางสอบตกหมด
เมื่อนำทั้งสามเส้นทางมาเทียบกัน เส้นทางใช้วิดีโอคนจริงแทนที่ให้ท่าทางเป็นธรรมชาติที่สุด แต่รับคอมเมนต์แบบเรียลไทม์ไม่ได้ ส่วนเส้นทางป้อนเสียงก็ต้องสร้างระบบตอบกลับและพากย์เสียงเพิ่มอีกชุด เมื่อประกอบกับป้าย Vidu S บนหน้าจอและความเร็วในการตอบคอมเมนต์ของเธอ ผมจึงฟันธงว่า Xiaoya ใช้เส้นทางแบบเรียลไทม์ ดังนั้นช่องว่างไม่ได้อยู่ที่เส้นทางเลือก แต่อยู่ที่ภาพพื้นฐาน เสียง และบุคลิกตัวละคร
สิ่งที่ทำให้ Xiaoya ดูมีชีวิตชีวาเหมือนคนจริงๆ ผมคิดว่ามีประเด็นหลักๆ ดังนี้:
อย่างแรก ท่าทาง เธอใช้เวลาส่วนใหญ่ก้มมองราวกับกำลังอ่านคอมเมนต์ในมือถือ และยิ้มเห็นฟันเวลาเจออะไรสนุกๆ มือของเธอบางครั้งก็เท้าคาง บางทีก็เอื้อมไปหยิบขนม เธอดูเหมือนผู้หญิงธรรมดาที่เลิกงานกลับมาบ้านแล้วเปิดไลฟ์ มากกว่าจะเป็น "ดิจิทัลฮิวแมน" ที่ยืนตัวตรงท่องสคริปต์
อย่างที่สอง ภาพ ตอนแรกผมสงสัยว่าทั้งหน้าจอถูกแต่งด้วยฟิลเตอร์ฟุ้งๆ ใน Photoshop แต่พอซูมดูสกรีนช็อตพบว่าขอบของข้อความที่ซ้อนในเฟรมนั้นคมชัด และหน้าต่างเล็กๆ ของโฮสต์ก็ชัดเจน มีแค่ใบหน้าของเธอเท่านั้นที่ดูนุ่มนวล ดังนั้นความฟุ้งนี้ไม่ใช่ฟิลเตอร์หลังการถ่ายทำ แต่เป็นคุณสมบัติเฉพาะของหน้าจอดิจิทัลฮิวแมน: แสงนุ่มๆ ส่องกระทบแค่ใบหน้า สภาพแวดล้อมมืดลง ผิวขาวอมชมพูและเรียบเนียนเหมือนไลฟ์ผ่านมือถือที่เปิดบิวตี้ฟิลเตอร์ พอวางในกรอบแนวนอนเล็กๆ บนมือถือ รายละเอียดจะถูกย่อจนซ่อนจุดบกพร่องของ AI ไปหมด เอฟเฟกต์นี้คล้ายกับการจัดแสงของโฮสต์ที่เป็นคนจริงๆ
อย่างที่สาม จังหวะ ซับไตเติ้ลถูกกดไว้ที่ด้านล่างเฟรม ตอบคอมเมนต์ประมาณทุกๆ 20 วินาที ฟังดูช้า แต่ความช้านี้พอดีกับเวลาที่ AI ใช้ประมวลผลสักสองสามวินาที โฮสต์ตัวจริงก็ไม่ได้ตอบกลับในเสี้ยววินาทีเหมือนกันใช่ไหม?
อย่างที่สี่ หน้าต่างคนจริง มีคนที่มีชีวิตอยู่ในมุมจอ ห้องไลฟ์ทั้งหมดจึงไม่ดูเหมือนบอทที่ถูกปล่อยทิ้งไว้ เวลาคนดูคุยกับเธอ จะรู้ว่ามีคนคอยสังเกตการณ์อยู่เบื้องหลัง
พอแยกย่อยมาถึงตรงนี้ แนวทางการปรับปรุงก็ชัดเจน ใช้โซลูชันที่มีอยู่แล้วของ Vidu สำหรับชั้นโฮสต์ สิ่งที่ต้องทำคือชั้นนอก: โหมดแนวนอน การ์ดคำสั่ง หน้าต่างคนจริง ฯลฯ โดยเรียนรู้จากการตั้งค่าของ Xiaoya
2. Vidu จัดการโฮสต์ ผมสร้างเลเยอร์ผู้ควบคุมเวที
เปรียบเทียบให้เห็นภาพง่ายๆ: ในห้องไลฟ์จริงๆ ข้างๆ โฮสต์มักจะมีผู้ช่วยควบคุมเวทีคอยดูคอมเมนต์ ไล่พวกสแปมโฆษณา ส่งคำถามของคนดูให้โฮสต์ เตือนให้เปลี่ยนชุด และโยนหัวข้อคุยให้เวลาบรรยากาศเงียบเหงา
ในห้องไลฟ์ของ Wanwan บทบาทโฮสต์เป็นของ Vidu Wanwan หน้าตาเป็นยังไง อ้าปากอย่างไร พูดอะไร ทั้งหมดถูกสร้างขึ้นแบบเรียลไทม์โดย Vidu
ดังนั้นหัวใจสำคัญของโปรเจกต์ไลฟ์สดเรียลไทม์นี้คือเลเยอร์ผู้ควบคุมเวที ซึ่งเกี่ยวข้องกับงานเหล่านี้โดยเฉพาะ:
- การกรอง: คอมเมนต์หยาบคายหรือโฆษณาจะไม่ถูกอ่านออกเสียงเด็ดขาด
- การจัดคิว: คอมเมนต์เข้ามาทีละข้อความ หากจำเป็น สามารถเพิ่มตรรกะให้คนที่ส่งของขวัญได้แซงคิว
- การเข้าใจเจตนา: แยกแยะว่าคอมเมนต์นั้นเป็นการชวนคุย ขอเปลี่ยนชุด ขอพร็อพ เปลี่ยนพื้นหลัง หรือขอให้ทำท่ามินิฮาร์ท/โบกมือ
- การตั้งค่าล่วงหน้า: เช่น ตรรกะตู้เสื้อผ้า แต่ละชุดคือภาพถ่ายที่สมบูรณ์หนึ่งภาพ การเปลี่ยนชุดหมายถึงการสลับไปใช้ภาพใหม่และเริ่มเซสชันใหม่
- คำสั่งตอนว่าง: Vidu รองรับเสียงพูดตอนไม่มีคนคุย เพื่อป้องกันไม่ให้โฮสต์ยืนเหม่อลอยเวลาไม่มีคอมเมนต์ เราจึงตั้งหัวข้อสำหรับช่วงเวลาวางไว้ได้
- การ์ดคำสั่งและป้ายกำกับ: เรียนรู้มาจากห้องของ Xiaoya เขียนบอกบนหน้าจอเลยว่าทำอะไรได้บ้าง ทำอะไรไม่ได้ และต้องส่งคอมเมนต์อย่างไร
- เวิร์กเบนช์บนเครื่อง: เปลี่ยนบุคลิก จัดการตู้เสื้อผ้า สลับเสียง ปรับท่าทาง—ทั้งหมดทำได้ผ่านการคลิกบนเว็บ
- การตั้งค่าไลฟ์สด: ผมใช้ OBS รวมหน้าจอดิจิทัลฮิวแมน การ์ดคำสั่ง และภาพจากกล้องของผมเข้าด้วยกัน แล้วดันสตรีมแบบแนวนอนผ่าน Douyin Live Companion กล้องของผมถูกวางไว้มุมซ้ายล่าง
ตรรกะทั้งหมดนี้สร้างขึ้นผ่านการทดสอบ หารือ และปรับจูนหลายรอบกับ Claude เขาจัดการเรื่องเทคนิคและโปรดักต์ ส่วนผมให้ความเห็นและความต้องการ
AI สามารถสร้างเวอร์ชันแรกเสร็จได้ในชั่วข้ามคืน รันระบบเปลี่ยนเสื้อผ้า การจัดคิว และการดันสตรีมได้ครบ แต่มันไม่ได้ยินน้ำเสียงแข็งๆ แบบหุ่นยนต์ในเสียงนั้น และไม่รู้ว่ามันน่าอึดอัดแค่ไหนที่ต้องวนพูดประโยคเดิมๆ สามสี่ประโยคในช่วงที่เงียบ คุณจะรู้สึกสิ่งเหล่านี้ได้ก็ต่อเมื่อได้ดูตัวละครโต้ตอบกับคุณในการไลฟ์จริงๆ เท่านั้น
เรื่องต้นทุน หลักๆ จะกระจุกอยู่ที่ Vidu ส่วนอื่นๆ แทบไม่นับ
ดิจิทัลฮิวแมนแบบเรียลไทม์ของ Vidu คิดเงินตามวินาที 1.5 เครดิตต่อวินาที แปลงออกมาแล้วประมาณ 169 หยวนต่อชั่วโมง ไลฟ์คืนนี้กินเวลา 1 ชั่วโมง 7 นาที ต้นทุนรวม 191.47 หยวน ซึ่งรวมถึงการวอร์มอัพก่อนไลฟ์ เซสชันที่รีสตาร์ทเพื่อเปลี่ยนชุด และการรีสตาร์ทกลางคัน สำหรับผม 100-200 หยวนต่อชั่วโมงยังรับได้ในช่วงทดสอบ แต่มันก็คือต้นทุน ถ้าคุณอยากใช้โซลูชันนี้หาเงิน ต้องคำนวณ ROI ให้ดีๆ
3. หลุมพรางที่เจอในช่วงไม่กี่วันนี้
รูปลักษณ์ (โดยพื้นฐานคือภาพต้นฉบับ)
การรันที่สำเร็จครั้งแรกคือ Tasha เวอร์ชัน CG Tasha เป็นตัวละครจากเกม Ace Combat 8 ใครจะไม่ชอบผมสีชมพูล่ะ? แต่ดิจิทัลฮิวแมนตัวนี้ดูหนักๆ ในการไลฟ์เพราะภาพต้นฉบับเป็นสไตล์ CG ห่างไกลจากความสมจริง
ต่อมาคือ Tasha เวอร์ชันคนจริงๆ ที่วาดโดยโมเดลสร้างภาพให้เป็นภาพถ่ายสมจริง มันดีขึ้น ผมยังทำองค์ประกอบแนวนอนให้เธอเลียนแบบการตั้งค่าของ Xiaoya นั่งเท้าคางที่โต๊ะทำงาน มีโคมไฟอยู่ใกล้ๆ แต่ก็ยังขาดอะไรบางอย่าง รู้สึกชัดว่าเป็นใบหน้า AI
พอเปลี่ยนมาใช้ตัวละครออริจินัล ผมอยากได้บทบาทที่ดูมีชีวิตและเป็นธรรมดามากขึ้น เลยสร้างผู้หญิงสี่คนที่มีสำเนียงต่างกัน: Xiaoman จากภาคตะวันออกเฉียงเหนือ Chengzi จากฉางชา Awen จากหมินหนาน และ An'an ที่มีสำเนียงไต้หวัน
ปัญหาของพวกเธอหลักๆ คือเรื่องความสวยงามและภาพต้นฉบับ เมื่อนำภาพต้นฉบับของ Chengzi มาเทียบกับหน้าจอของ Xiaoya โทนผิวเหลืองและอิ่มตัวเกินไป เท็กซ์เจอร์ละเอียดเกิน มุมกล้องระดับสายตาตรงๆ กางแขนเหมือนถ่ายบัตรประชาชน ปัญหาด้านบุคลิกก็เกิดด้วย: ผมเขียนตัวอย่างบทพูดไว้ในบุคลิก แล้วเธอก็อ่านมันออกมาตามนั้นเป๊ะๆ
สุดท้ายด้วยความหงุดหงิด ผมเลยไปหาแรงบันดาลใจจากโพสต์ X ของบล็อกเกอร์ Doumiao (@nima2qisi2) ใช้พรอมต์สร้างเวอร์ชันที่คล้ายกันออกมา ซึ่งกลายเป็น Wanwan
บุคลิกของเธอคือผู้หญิงอายุ 24 ปี ทำงานกราฟิกดีไซน์ในบริษัทเล็กๆ ที่หางโจว กลับถึงบ้านหลังสี่ทุ่ม เปิดไลฟ์มานั่งคุย มีแมวสีดำชื่อ Meiqiu (ไม่ได้โชว์ให้เห็น แต่เธอบ่นเรื่องความซนของมันให้ฟัง) นิสัยเป็นคนค่อยๆ คุ้นเคย อารมณ์ขันแบบแห้งๆ เวลาโดนถามว่าเป็นคนจริงไหม เธอจะตอบตรงๆ ว่าเป็นโฮสต์ AI
การเปลี่ยนเสื้อผ้า
ตอนแรกผมลองให้ AI แก้ไขเสื้อผ้าบนตัวเธอโดยตรง ครั้งเดียวยังพอไหว แต่พอครั้งที่สองหน้าเริ่มพัง ต่อมาผมเปลี่ยนมาทำภาพถ่ายที่สมบูรณ์ของแต่ละชุดไว้ล่วงหน้าแทน รวมถึงคน เสื้อผ้า และห้อง การเปลี่ยนชุดจึงหมายถึงการรีสตาร์ทเซสชันจากภาพนั้น ซึ่งเร็วกว่าและเสถียรกว่า ตอนนี้ตู้เสื้อผ้ามี 7 ชุด เสื้อคอเต่าสีดำเป็นค่าเริ่มต้น เปลี่ยนหนึ่งครั้งใช้เวลาประมาณ 5 วินาที
ตรรกะนี้ใช้สลับฉากและท่าทางได้ด้วย ขอแค่เตรียมภาพต้นฉบับไว้ให้พอ
น้ำเสียง
ตอนแรกผมสร้างตัวละครที่มีสำเนียงหลายแบบ (ตะวันออกเฉียงเหนือ ฉางชา หมินหนาน ไต้หวัน) เพราะพบว่าสำเนียงช่วยกลบกลิ่นอาย AI ได้ ผู้หญิงที่พูดมีสำเนียงจะทำให้เรารู้สึกใต้สำนึกว่าเป็นคนที่มีชีวิตอยู่จริง มีเหตุการณ์เล็กๆ เกิดขึ้น: AI ตัวหนึ่งฟังเสียงสองรอบแบบปิดตาแล้วบอกว่าเป็นภาษาจีนกลางมาตรฐาน แต่ผมได้ยินสำเนียงคนภาคตะวันออกเฉียงเหนือทันที ตั้งแต่นั้นมาผมเลยเลือกเสียงเอง
ต่อมาผมพบปัญหาร้ายแรง: หลายเสียงฟังดูเป็นคนจริงๆ เวลาฟังเดี่ยวๆ แต่พอมาอยู่ในไลฟ์สดแบบเรียลไทม์กลับสูญเสียเสน่ห์ไป
เสียงสุดท้ายของ Wanwan เป็นเสียงที่ผมออกแบบบน Volcano Engine โดยส่งวัตถุดิบเสียงดิบไปโคลนลงบน Vidu
เสียงพูดตอนว่างที่ซ้ำซาก
หลังการไลฟ์ทดสอบ 6 นาทีครั้งแรก สิ่งที่ผมได้เรียนรู้มากที่สุดคือเวลาไม่มีใครคอมเมนต์ เธอจะวนพูดประโยควอร์มอัพเดิมๆ สามสี่ประโยค มันน่าอึดอัดแม้แต่กับผมเอง ก่อนไลฟ์ครั้งที่สอง ผมรีบเตรียมหัวข้อเริ่มเย็น 100 หัวข้อตามบุคลิกของเธอ การพูดซ้ำจะเกิดขึ้นก็ต่อเมื่อใช้จนหมดเกลี้ยงแล้วเท่านั้น
การเปลี่ยนพื้นหลังทำให้เสื้อผ้าหายไป
คืนนี้เธอเปลี่ยนพื้นหลังไป 9 ครั้ง 8 ครั้งแรกไม่มีปัญหา ตอนท้ายสุดเธอสวมเสื้อสายเดี่ยวสีดำ การเปลี่ยนจากห้องไปเป็นกระท่อมหิมะยังคงเสื้อผ้าไว้ (ดูภาพด้านล่าง) แต่ครั้งที่ 9 เปลี่ยนจากกระท่อมหิมะไปเป็นวิวเมืองยามค่ำคืน สายคล้องไหล่และเสื้อท่อนบนหายไป ดูเหมือนเปลือย ผมเลยจบการไลฟ์ทันที
สืบหาสาเหตุ: การเปลี่ยนเสื้อผ้าเสถียรเพราะแต่ละชุดคือภาพถ่ายที่เตรียมไว้ล่วงหน้าแบบสมบูรณ์ แล้วรีสตาร์ทเซสชัน แต่การเปลี่ยนพื้นหลังและพร็อพใช้คนละเส้นทาง: คือการส่งภาพอ้างอิงให้ Vidu ระหว่างไลฟ์เพื่อวาดฉากใหม่ แต่ชุดที่เธอสวมอยู่ไม่ได้ถูกรวมไปในภาพอ้างอิง และเราก็ไม่ได้สั่งให้มันรักษาเสื้อผ้าไว้ Vidu จึงวาดร่างกายเธอใหม่ได้ 8 ครั้งแรกมันวาดถูก ครั้งที่ 9 มันลบเสื้อผ้าทิ้ง ส่วนที่น่ากลัวที่สุดคือความไม่สม่ำเสมอ การทดสอบหลายครั้งแล้วไม่เจอปัญหา ไม่ได้แปลว่าปลอดภัย นี่คือช่องโหว่ที่ยืนยันแล้ว ยังไม่แน่ใจว่ามันเป็นสาเหตุเดียวหรือไม่ แต่รูรั่วนี้ต้องอุด เราก็ค้นพบก่อนหน้านี้ว่าการแก้ไขภาพอ้างอิงระหว่างไลฟ์ทำให้เกิดอาการดริฟท์และย้อนกลับไม่ได้ แต่ไม่คิดว่าจะเกิดขึ้นในการไลฟ์สาธารณะ
ตอนนี้การเปลี่ยนพื้นหลังและพร็อพกินดื่มถูกปิดใช้งานเป็นค่าเริ่มต้น การ์ดคำสั่งย้ายพวกมันไปอยู่ในหมวด "ยังทำไม่ได้" จนกว่าเราจะเปลี่ยนไปใช้วิธี "รีสตาร์ทจากภาพเต็ม" หรือเพิ่มการตรวจสอบด้วยภาพ
Vidu หลุดการเชื่อมต่อ คนจริงต้องประคองสถานการณ์
Vidu เคยหลุดการเชื่อมต่อไปครั้งหนึ่งประมาณ 3 นาที ช่วงเวลานั้น Wanwan หายไปจากหน้าจอ เหลือแค่ผมในหน้าต่างมุมซ้ายล่าง คอมเมนต์ไหลเข้ามาเต็มไปหมดว่า "ทำไมจบแล้ว?" "Gary หายไปไหน" นี่แสดงให้เห็นว่าหน้าต่างคนจริงไม่ได้มีไว้แค่แสดงตัวตน แต่เวลาเกิดปัญหา ต้องมีคนคอยประคองสถานการณ์
การจัดการคอมเมนต์และของขวัญ
คอมเมนต์ตอนนี้ใช้วิธีชั่วคราวโดยการอ่านคอมเมนต์จากหน้าเว็บ
ของขวัญตอนแรกมีตรรกะแซงคิว แต่ผมลบออกเพราะ Douyin นับว่าเป็นการชักชวนให้โดเนท ในทางเทคนิค การแซงคิวด้วยของขวัญนั้นทำได้
ปัญหาที่ยังแก้ไม่ตก
- ขยับปากร้องเพลงและการเคลื่อนไหวใหญ่ๆ ยังทำไม่ได้ในตอนนี้
- แม้จะตั้งค่าบุคลิกและหัวข้อไว้แล้ว บางครั้งคำตอบก็ยังติดกลิ่นอาย AI
- ตั้งแต่คนดูคอมเมนต์จนถึงตอนที่เธอพูดออกมา กินเวลา 10-20 วินาที
- ประโยคยาวๆ มักถูกขัดจังหวะด้วยการสนทนาใหม่หรือคำสั่งท่าทาง แม้จะปรับแก้ด้วยโค้ดได้
- ความจำสั้น หลังเชื่อมต่อใหม่ พอโดนถามว่าทำไมหยุดไป เธอตอบว่า "ไม่ได้หยุดนะ เราก็ยังคุยกันอยู่ไม่ใช่เหรอ?"
4. ศักยภาพในการพัฒนาของเกมเพลย์นี้?
ผมจะพูดถึงทิศทางที่ผมคุ้นเคยและมองเห็นภาพได้ชัด ส่วนเรื่องที่ชัดเจนอย่างโฮสต์ขายของจะไม่พูดถึง การสำรวจในอนาคตอาจไปตามเส้นทางเหล่านี้ ผลลัพธ์ที่ได้จะนำมาแชร์ ผู้อ่านสามารถดูได้ว่ามีจุดไหนทับซ้อนกับความเชี่ยวชาญของตัวเองบ้าง:
1. เกม สตรีมมิ่ง ในฐานะเกมเมอร์ที่มีประสบการณ์กว่า 20 ปี ผมมีความผูกพันกับการสตรีมเกม ผมเคยสตรีม Honor of Kings และ LOL มาก่อน เคยเห็นซีรีส์ "Doubao สอนเล่นเกม" บน Bilibili ไหม? ทั้งเล่น Delta Force, LOL, Minecraft หลายคลิปไวรัลมาก เช่น Doubao สอนเล่น Minecraft ยอดวิวแตะ 16 ล้าน ลองนึกภาพถ้า Doubao มีตัวละครที่โต้ตอบแบบเรียลไทม์และหน้าตาดี วิดีโอและการไลฟ์จะต้องเจ๋งกว่านี้อีก
- สตรีมมิ่งแบบวนลูปไม่รู้จบ ก่อนหน้านี้ MiniMax เคยทำสตรีมหน้าจอที่สร้างภาพแบบเรียลไทม์ ให้ความรู้สึกเหมือนวนลูปไม่สิ้นสุด แต่เพราะขาดธีมที่ชัดเจน มันเลยไม่ได้รันอยู่ภายในกรอบที่กำหนดไว้ การเชื่อมโซลูชันของ Vidu เข้ากับเปลือกนอก สร้างภาพฉากและบทสนทนาแบบเรียลไทม์ตามคอมเมนต์ น่าจะทำให้เกิดการสตรีมเนื้อเรื่องที่โต้ตอบกันได้ โฮสต์ตัวจริงยังไม่กล้าจินตนาการถึงเรื่องนี้เลย ลองนึกภาพสตรีมที่เส้นเรื่องหลักคือการที่โฮสต์เดินทางท่องเที่ยวให้สำเร็จ: พาหนะ เพื่อนร่วมทาง เหตุการณ์ที่พบเจอ คำพูด ทางเลือก—ทั้งหมดถูกกำกับโดยคอมเมนต์ ไม่น่าสนใจหรอกหรือ?
3. บันเทิง สตรีมมิ่ง ไม่ต้องอธิบายมาก เคสของ Xiaoya พิสูจน์แล้วว่าศักยภาพในการเป็นโฮสต์สายบันเทิงนั้นมีอยู่จริง ผมสงสัยอย่างมากว่าอีกไม่นาน หลังจากโมเดลที่คล้ายกันถูกเปิดเป็นโอเพนซอร์ส แพลตฟอร์มสำหรับผู้ใหญ่จะถูกยึดครองโดย AI
ข้อจำกัด: Douyin กำหนดให้ต้องติดป้ายกำกับคอนเทนต์ที่สร้างโดย AI บังคับให้มีคนจริงปรากฏตัวและโต้ตอบ ไม่สนับสนุนการไลฟ์แบบไร้คนดูแล/ปล่อยบอททิ้งไว้ ดังนั้นหน้าจอของ Wanwan จึงแสดงข้อความ "หน้าจอที่สร้างโดย AI แบบเรียลไทม์" เสมอ และกล้องของผมก็ค้างอยู่มุมซ้ายล่าง อาการแครชคืนนี้ถือเป็นเครื่องเตือนใจ ในบรรดาคอมเมนต์ 18 ข้อที่ถูกกรอง มีหลายข้อขอชุดว่ายน้ำ บิกินี่ ชุดกระโปรงสายเดี่ยว ซึ่งถูกบล็อกด้วยคีย์เวิร์ด (คีย์เวิร์ดยังตรวจจับผิดด้วย โดยตีความคำว่า "มีคนอู้งาน" ว่าส่อไปในทางเพศ ซึ่งแก้ไขในภายหลัง) แต่อุบัติเหตุที่เกิดขึ้นไม่ได้มาจากพวกนี้ แต่มาจากการเปลี่ยนพื้นหลังปกติ
ข้อความบล็อกด้วยคีย์เวิร์ดได้ แต่ภาพทำไม่ได้ ภาพที่ AI สร้างขึ้นอาจผลิตคอนเทนต์ที่แพลตฟอร์มห้ามโดยไม่คาดคิด หากไม่มีคนคอยดูแล มันอาจสร้างสิ่งที่ผิดกฎได้ การมีคนจริงอยู่ด้วยไม่ใช่แค่ข้อกำหนดของแพลตฟอร์ม แต่เป็นการปกป้องตัวคุณเอง
คนที่หวังจะใช้ดิจิทัลฮิวแมนสร้างรายได้แบบไม่ต้องทำอะไรตลอด 24 ชั่วโมง ยังคงต้องรอไปอีกนาน
นอกจากนี้ อย่าใช้คนดัง ตัวละครของผู้อื่น หรือใบหน้าคนอื่นมาทำดิจิทัลฮิวแมน การสร้างของคุณเองไม่ใช่เรื่องยาก
6. หมายเหตุเกี่ยวกับโอเพนซอร์ส
เฟรมเวิร์กเครื่องมือของโปรเจกต์นี้เปิดเป็นโอเพนซอร์สภายใต้ไลเซนส์ MIT: https://github.com/garycaogan/ai-live-avatar
รวมถึงการกรอง/จัดคิวคอมเมนต์ การรู้จำเจตนา ตู้เสื้อผ้า การ์ดคำสั่ง/การซ้อนทับบนหน้าจอ เวิร์กเบนช์บนเครื่อง และการเชื่อมต่อกับ OBS/Douyin สำหรับการดันสตรีมแนวนอน คุณสามารถทดลองรันแบบไม่เสียเงินเพื่อดูการกรอง การจัดคิว และการซ้อนทับหน้าจอได้ ส่วนการดึงข้อมูลจากหน้าเว็บถูกตัดออกเนื่องจากมีความเสี่ยง ผู้ที่จะนำไปใช้ควรเพิ่มส่วนนี้เอง
เครื่องมือเปิดให้ทุกคนใช้ได้ แต่ตัวละครต้องเป็นของคุณเอง สลับใส่ใบหน้าของคุณ เขียนบุคลิกของคุณ แล้วมันก็รันได้
ถ้าคุณอยากสร้างสักตัว เอาโค้ดไปเลย สร้างตัวละครของคุณขึ้นมา แล้วยินดีต้อนรับคอมเมนต์เพื่อขอความช่วยเหลือหรือแชร์ความสำเร็จ
ผม Gary นะ ถ้าบทความนี้มีประโยชน์ อย่าลืมกดทริปเปิลคลิกด้วยล่ะ!
