โมเดลโอเพนซอร์ส 5B พิชิต GPT Image 2.5 ในการทดสอบอักษรจีนแบบซับซ้อน

วันนี้ DeepSeek ได้เปิดซอร์สเฟรมเวิร์ก inference ระดับ production ของตัวเองในชื่อ DeepInfer หลายคนกำลังถกเถียงกันว่าจะรันโมเดลที่เก่งขึ้นโดยใช้ทรัพยากรการประมวลผลน้อยลงได้อย่างไร

บังเอิญว่าผมกำลังทดสอบโมเดลโอเพนซอร์สอีกตัวหนึ่งที่เดินตามแนวทางเดียวกันอยู่ นั่นคือ MOSS-Image ซึ่งมีพารามิเตอร์เพียง 5B ผมให้มันและ GPT Image 2.5 ซึ่งถูกยกให้เป็นโมเดล closed-source ที่แข็งแกร่งที่สุด ท้าประลองโจทย์ยากเดียวกัน

ผลลัพธ์คือ: GPT Image 2.5 พลาดในรอบที่สอง ในขณะที่โมเดลเล็กโอเพนซอร์สขนาด 5B สามารถเรนเดอร์บทกวี "Bring in the Wine" (เชิญดื่มสุรา) ทั้งบทได้อย่างถูกต้องถึงสองรอบ ถ้าหลี่ไป๋ได้เห็นเรื่องนี้ เขาคงต้องดื่มเพิ่มอีกสามร้อยจอกแน่ ๆ

พรอมต์ที่ใช้คือ: สร้างภาพฉากหลี่ไป๋ชูจอกสุราอยู่ริมแม่น้ำในรูปแบบม้วนภาพวาดหมึกจีน เขียนบทกวี "Bring in the Wine" ฉบับเต็มด้วยลายมือพู่กัน 12 บรรทัด พร้อมชื่อเรื่อง ชื่อผู้แต่ง ตราประทับสีแดงชาด 1 ดวง และข้อความภาษาอังกฤษ 3 บรรทัด ต้องมีจอกสุราบนแท่นหินพอดี 4 จอก—ไม่มากหรือน้อยไปกว่านี้

ตอนแรกผมคิดว่าโมเดล closed-source จะชนะแบบสบาย ๆ ในรอบแรกทั้งสองตัวทำได้ใกล้เคียงกัน แต่ในรอบที่สอง เมื่อผมเปลี่ยนรายละเอียดแค่สองจุด GPT Image 2.5 นับจำนวนจอกผิด ในขณะที่ MOSS-Image ทำได้ถูกต้องทั้งสองครั้ง

ด้านล่างนี้คือ ภาพ 2 ภาพที่สร้างโดย MOSS-Image

ด้านล่างนี้คือ ภาพ 2 ภาพที่สร้างโดย GPT Image 2.5

ทำไมการทดสอบนี้ถึงยาก?

ผมตั้งใจเขียนพรอมต์นี้ให้ยากเป็นพิเศษ

บทกวีชื่อดังนี้มี 12 บรรทัดและมากกว่า 170 ตัวอักษร ซึ่งต้องเขียนด้วยอักษรหวัด (running script) ลงบนภาพวาดโดยไม่ผิดพลาดแม้แต่ตัวเดียว ผมเคยทดสอบมาหลายโมเดลแล้ว พอจำนวนตัวอักษรเริ่มเยอะ พวกมันจะเริ่มทำพลาด

ส่วนจำนวนจอกสุรานั้น ผมเพิ่มเข้าไปโดยเฉพาะ เพราะ AI สร้างภาพนั้นขึ้นชื่อเรื่องการนับจำนวนวัตถุได้แย่สุด ๆ

นอกจากนี้ ฉากยังมีองค์ประกอบมากมาย: ภูมิทัศน์ริมแม่น้ำ, หลี่ไป๋, ชื่อเรื่อง, ตราประทับ, บทกวีทั้งบท และข้อความภาษาอังกฤษ 3 บรรทัด โดยแต่ละอย่างมีตำแหน่งที่กำหนดไว้ชัดเจน ผมยังเพิ่มเงื่อนไขปิดท้ายว่า ห้ามมีข้อความอื่นใด และต้องมีตราประทับเพียงดวงเดียวเท่านั้น

รอบที่ 1: ผ่านทั้งคู่

ในรอบแรก ผมขอจอกสุรา 2 จอกบนแท่นหิน และบรรทัดสุดท้ายของภาษาอังกฤษคือ "Let us drink away the sorrows of all ages."

พอภาพออกมา ผมตรวจทีละภาพ: บทกวีไม่มีข้อผิดพลาด มีตราประทับแค่ดวงเดียว ข้อความภาษาอังกฤษถูกต้อง และมีจอกสุราครบ 2 จอกพอดี ทั้งสองโมเดลผ่านรอบนี้ไปได้อย่างฉลุย

ความแตกต่างหลัก ๆ อยู่ที่ความสวยงาม เวอร์ชันของ MOSS-Image มีความเข้มอ่อนของน้ำหมึกที่หลากหลายและมีพื้นที่ว่างที่ดูสบายตา เหมือนม้วนภาพแขวนของจริง ส่วน GPT Image 2.5 มองแวบแรกก็ดูดี แต่พอซูมเข้าไปจะเห็นรอยแปรงที่แบนกว่า ขาดเอฟเฟกต์สีซึมที่ละเอียดอ่อนแบบงานหมึกจีนดั้งเดิม

รอบที่ 2: การเปลี่ยนแปลงเล็กน้อยเผยให้เห็นความต่างอันยิ่งใหญ่

ต่อมา ผมเปลี่ยนแค่สองอย่าง:

1. เปลี่ยนจำนวนจอกจาก 2 เป็น 4
2. เพิ่มคำว่า "Cheers" ต่อท้ายบรรทัดสุดท้ายของภาษาอังกฤษ

ตามหลักเหตุผลแล้ว นี่คือการเปลี่ยนแปลงที่น้อยมาก ผลลัพธ์ที่ได้คือ:

• MOSS-Image: ทำตามการเปลี่ยนแปลงทั้งสองอย่างได้ถูกต้อง มีจอกสุราครบ 4 จอก เพิ่มคำว่า "Cheers" แล้ว ขณะที่บทกวี 12 บรรทัดและตราประทับยังคงสมบูรณ์
• GPT Image 2.5: เพิ่มคำว่า "Cheers" ได้ แต่นับจำนวนจอกผิดพลาด โจทย์ต้องการ 4 จอก แต่วาดออกมา 5 จอก

แน่นอนว่านี่เป็นเพียงชุดพรอมต์เดียว ไม่ได้เป็นตัวแทนของทุกสถานการณ์ แต่ในแง่ของ "ข้อความยาวบวกกับการควบคุมที่แม่นยำ" โมเดลโอเพนซอร์สขนาด 5B นี้ทำผลงานได้น่าประทับใจมาก

โมเดลเล็ก 5B ทำแบบนี้ได้อย่างไร?

เมื่อมองย้อนกลับไปที่การทดสอบนี้ ความสำเร็จของ MOSS-Image ในทั้งสองรอบอาศัยความสามารถหลายประการ:

• การเรนเดอร์ภาษาจีน/อังกฤษที่แม่นยำ บทกวีอักษรจีน 12 บรรทัดกว่า 170 ตัวอักษรในแบบอักษรหวัดไม่มีคำผิดหรือตกหล่นเลย ข้อความภาษาอังกฤษ 3 บรรทัดด้านล่างและคำว่า "Cheers" ที่เพิ่มเข้ามาก็ชัดเจนเช่นกัน
• ความเข้าใจพรอมต์ยาวอย่างครบถ้วน รองรับพรอมต์ได้สูงสุดถึง 4K tokens พรอมต์ของผมประกอบด้วยสไตล์ ฉาก ชื่อเรื่อง บทกวี ภาษาอังกฤษ และเงื่อนไขเชิงลบ มันทำตามทุกอย่างตั้งแต่ต้นจนจบโดยไม่หลุดโฟกัส ดังนั้นเมื่อผมเปลี่ยนจำนวนจอกและเพิ่มคำในรอบที่สอง มันจึงจัดการอัปเดตทั้งสองอย่างได้โดยไม่กระทบส่วนที่เหลือ
• ควบคุมสไตล์ได้ การทดสอบนี้ต้องการพื้นผิวแบบกระดาษสาและงานหมึกจีน ซึ่งมันก็ไม่เผลอหลุดไปเป็นสไตล์ภาพถ่ายสมจริงหรือ 3D นอกจากสไตล์จีนโบราณแล้ว มันยังรองรับอนิเมะ ภาพประกอบ และความสมจริงระดับภาพถ่ายได้ด้วย

หากคุณอยากนำไปใช้ในงานของตัวเอง มีสองเรื่องที่ควรรู้: ประการแรก มันรองรับ JSON Layout แบบมีโครงสร้าง ทำให้ระบุตำแหน่งข้อความและองค์ประกอบได้โดยตรง ซึ่งช่วยเพิ่มการควบคุมองค์ประกอบภาพสำหรับโปสเตอร์ ภาพอีคอมเมิร์ซ และหน้าปกโซเชียลมีเดีย ประการที่สอง น้ำหนักโมเดล โค้ด และคู่มือการใช้งานของทั้งเวอร์ชัน Base และ SFT ถูกเปิดซอร์สทั้งหมด โดยมี SGLang และ vLLM-Omni ให้การสนับสนุนตั้งแต่วันแรก ทำให้เริ่มต้นทำ LoRA fine-tuning หรือพัฒนาต่อยอดได้ง่ายมาก

วิธีการทดสอบและเคล็ดลับการเขียนพรอมต์

กระบวนการนั้นเรียบง่าย: ทั้งสองโมเดลใช้พรอมต์เดียวกัน หลังจากวิ่งรอบแรกเสร็จ ผมก็เปลี่ยนรายละเอียดสองจุดแล้ววิ่งรอบที่สอง MOSS-Image สร้างภาพผ่านแพลตฟอร์มทดลองใช้งานอย่างเป็นทางการ ส่วน GPT Image 2.5 สร้างภาพออนไลน์ผ่าน ChatGPT

สำหรับการเขียนพรอมต์ซับซ้อนแบบนี้ ผมมี 3 เคล็ดลับ:

1. กำหนดสไตล์ศิลปะและวัสดุให้ชัดเจนก่อน ระบุไปเลยว่ากระดาษสา งานหมึกจีน สีแร่ และเติม "ไม่ใช่ภาพถ่าย ไม่ใช่ 3D" เพื่อป้องกันไม่ให้ภาพหลุดไปสู่ความสมจริง
2. อธิบายแยกตามพื้นที่ อธิบายฉากที่มุมซ้ายล่าง ชื่อเรื่องและตราประทับที่มุมขวาบน บทกวีที่ครึ่งขวา และภาษาอังกฤษที่ด้านล่าง การแบ่งบล็อกแยกกันจะทำให้โมเดลทำตามได้ง่ายขึ้น
3. ปิดท้ายด้วยเงื่อนไขเชิงลบ เติม "ห้ามมีข้อความอื่น ห้ามมีตราประทับเพิ่ม ห้ามมีลายน้ำ" ไว้ตอนท้าย เพื่อให้ภาพออกมาสะอาดตา

พรอมต์ฉบับเต็ม

นี่คือพรอมต์ฉบับเต็มที่ผมใช้ในรอบแรก ก๊อปปี้ไปลองได้เลย:

1ภาพวาดหมึกจีนดั้งเดิมบนกระดาษซวนเฉียนสีงาช้างอบอุ่น รูปแบบม้วนภาพแขวนแนวตั้ง หมึกดำซ้อนชั้น สีล้างเทานุ่มนวล สีแร่เขียวอมฟ้าโทนหม่น สีเหลืองอมน้ำตาลอ่อน เห็นเส้นใยกระดาษชัดเจน ขอบหมึกเปียกละเอียดฟุ้งกระจาย พื้นผิวรอยแปรงแห้ง วาดด้วยมือ ไม่ใช่ภาพถ่าย ไม่ใช่ 3D
2ฉากด้านซ้ายและด้านล่าง: แม่น้ำสายใหญ่ไหลทะลักจากภูเขาที่ถูกเมฆบดบัง วาดด้วยเส้นหมึกที่ลื่นไหลและพื้นที่ว่างบนกระดาษ หน้าผาที่กร่อนไปตามกาลเวลา ยอดเขาไกลซ้อนชั้น ต้นสนที่ลู่ตามลม หมอกบางลอยล่อง พระจันทร์สีซีดหลังเมฆบาง บนลานหินริมแม่น้ำ กวีในชุดคลุมสีงาช้างหลวม ๆ มวยผมเรียบง่าย ชูจอกสุราใบเล็กขึ้นสู่ท้องฟ้า ไหสุราเซรามิกทรงกลมและจอกสองใบวางอยู่บนหินแบนข้างกายเขา
3มุมขวาบน: ชื่อเรื่อง 《将进酒》 ด้วยรอยแปรงหนาใหญ่ชัดเจน ถัดลงมาด้านล่างเป็นชื่อผู้แต่ง 李白 พร้อมตราประทับสีแดงชาดขนาดเล็ก 1 ดวงพอดี เขียนว่า 诗酒 วางอยู่ข้างชื่อผู้แต่ง
4ครึ่งขวา: บทกวีฉบับเต็มด้วยลายมือพู่กันจีนแบบอักษรปกติผสมหวัดที่สะอาด อ่านง่าย เขียนเรียงแนวนอน 12 บรรทัดพอดี ระยะห่างระหว่างบรรทัดเท่ากัน ทุกตัวอักษรถูกต้อง บนกระดาษเปล่าที่ชัดเจน:
5บรรทัดที่ 1: 君不见，黄河之水天上来，奔流到海不复回。
6บรรทัดที่ 2: 君不见，高堂明镜悲白发，朝如青丝暮成雪。
7บรรทัดที่ 3: 人生得意须尽欢，莫使金樽空对月。
8บรรทัดที่ 4: 天生我材必有用，千金散尽还复来。
9บรรทัดที่ 5: 烹羊宰牛且为乐，会须一饮三百杯。
10บรรทัดที่ 6: 岑夫子，丹丘生，将进酒，杯莫停。
11บรรทัดที่ 7: 与君歌一曲，请君为我倾耳听。
12บรรทัดที่ 8: 钟鼓馔玉不足贵，但愿长醉不复醒。
13บรรทัดที่ 9: 古来圣贤皆寂寞，惟有饮者留其名。
14บรรทัดที่ 10: 陈王昔时宴平乐，斗酒十千恣欢谑。
15บรรทัดที่ 11: 主人何为言少钱，径须沽取对君酌。
16บรรทัดที่ 12: 五花马，千金裘，呼儿将出换美酒，与尔同销万古愁。
17ตรงกลางด้านล่าง ข้อความภาษาอังกฤษฟอนต์ serif สีเทาเข้มขนาดเล็ก แบ่ง 3 บรรทัด:
18BRING IN THE WINE
19Li Bai
20Let us drink away the sorrows of all ages.
21ห้ามมีข้อความอื่น ห้ามมีตราประทับเพิ่ม ห้ามมีลายน้ำในส่วนอื่นใดของภาพ

สำหรับรอบที่สอง มีการเปลี่ยนแปลงเพียงสองจุด:

1. เปลี่ยน "จอกสองใบ" เป็น "จอกสี่ใบ" ในส่วนคำอธิบายฉาก
2. เพิ่มคำว่า "Cheers" หลังบรรทัดสุดท้ายของภาษาอังกฤษ

ส่วนที่เหลือคงเดิมทั้งหมด

ตาคุณแล้ว

โมเดลโอเพนซอร์สขนาด 5B สามารถเขียนบทกวี "Bring in the Wine" ทั้งบทลงในม้วนภาพวาดหมึกจีน พร้อมนับจำนวนจอกสุราได้ถูกต้องแม่นยำ

ปัจจุบัน MOSS-Image มียอดดาวน์โหลดบน ComfyUI ทะลุ 700,000 ครั้งไปแล้ว อย่าเพิ่งเชื่อผมคนเดียว ลองไปเล่นดูเองได้เลย 👇

🤗 ทดลองใช้ฟรีออนไลน์: https://huggingface.co/spaces/OpenMOSS-Team/MOSS-Image

⭐ GitHub สำหรับน้ำหนักโมเดลและโค้ด: https://github.com/OpenMOSS/MOSS-Image

คุณจะสร้างสรรค์อะไรด้วยโมเดลนี้? แชร์ภาพของคุณไว้ในคอมเมนต์ได้เลย มาชนแก้วด้วยกัน ชัยโย 🍶

#MOSS-Image #AIGC