คำแปลนั้นถูกต้องจริงหรือ ?

คุณได้รับอีเมลภาษาอังกฤษยาวเหยียดจากลูกค้าต่างประเทศ คุณไม่มีเวลาเขียนตอบ คุณเลยโยนมันเข้า DeepL หรือไม่ก็ ChatGPT เพื่อให้แปลเป็นภาษาญี่ปุ่นแล้วอ่านบนหน้าจอ คุณเข้าใจเนื้อหา คุณตัดสินใจได้ หรืออย่างน้อยคุณก็รู้สึกว่าคุณเข้าใจ

ในทางกลับกันก็เป็นเช่นกัน คุณต้องส่งประกาศเป็นภาษาอังกฤษภายในบริษัท คุณเลยเอาฉบับร่างที่เขียนเป็นภาษาญี่ปุ่นไปรันผ่านเครื่องมือแปลภาษา กวาดสายตาดูผลลัพธ์ภาษาอังกฤษ คิดว่า "ดูใช้ได้นะ" แล้วก็กดส่ง คำตอบกลับมาจากอีกฝ่ายก็ดูไม่ได้แปลกประหลาดอะไร คุณเลยคิดว่า "คราวนี้ก็คงเรียบร้อยเหมือนเดิม"

ปัญหาคือไม่มีใครในฝั่งนี้เลยที่ตรวจสอบว่ามันเรียบร้อยจริงหรือไม่ กระบวนการเทียบขนานข้อความต้นฉบับและข้อความแปล แล้วตัดสินว่า "ส่วนนี้ใช้ได้" "ส่วนนี้เสี่ยง" หรือ "ส่วนนี้ถึงตาย" ได้หายไปจากกระบวนการแปลสมัยใหม่

เรื่องนี้ไม่ได้จำกัดแค่อีเมลส่วนตัว เนื้อหาการตลาด ประกาศภายใน สัญญาร่าง เอกสารนักลงทุนสัมพันธ์ (IR) คำถามที่พบบ่อย (FAQ) — เอกสารทุกประเภทถูกโยนให้เครื่องมือแปลภาษาทำงานในช่วงไม่กี่ปีที่ผ่านมา ปริมาณมันเพิ่มขึ้นแบบก้าวกระโดด แต่ชั้นสำหรับตรวจสอบคุณภาพแทบไม่ได้เพิ่มขึ้นตามไปด้วย บางคนคิดว่าตัวเองกำลังตรวจสอบ พวกเขาเรียกการ "อ่านแล้วไม่รู้สึกขัดหูขัดตา" ว่าการตรวจสอบ มันไม่ใช่ นั่นไม่ใช่การตรวจสอบ นั่นคือการคิดไปเองว่าดีแล้ว

และสิ่งที่หลายคนมองข้ามตรงนี้คือ มันไม่ใช่แค่เรื่องของเครื่องมือแปลภาษาเท่านั้น แม้แต่งานแปลที่จ้างจากนักแปลมืออาชีพ ขณะนี้ก็แทบไม่มีทางที่ลูกค้าจะยืนยันได้โดยอิสระว่างานแปลนั้นสอดคล้องกับความตั้งใจของตนตลอดทั้งชิ้นงาน พวกเขาอ่านผลงานที่ส่งมา คิดว่า "มันอ่านแล้วเป็นภาษาญี่ปุ่นนะ" หรือ "มันใช้ได้ในฐานะภาษาอังกฤษ" แล้วก็จบแค่นั้น ไม่มีใครทำงานในการตรวจสอบทีละจุดว่างานนั้นทำตามคำสั่งการแปล (Brief) สำหรับต้นฉบับทั้งชิ้นหรือไม่ ด้วยเหตุผลด้านต้นทุน จะพูดให้ถูกคือไม่มีทางที่จะทำมันได้ด้วยซ้ำ

สาขาการประเมินการแปลได้รับหน้าที่ในการแก้ปัญหานี้ อย่างไรก็ตาม สาขานี้ก็ไม่ได้ประสบความสำเร็จอย่างที่คนนอกวงการคิดกัน

เครื่องมือแปลภาษาไม่ได้สมบูรณ์แบบอย่างที่ทุกคนคิด

ก่อนอื่น ต้องขจัดความเชื่อผิดๆ ข้อหนึ่งเสียก่อน

ผลลัพธ์ของเครื่องมือแปลภาษาและ LLMs ในปี 2026 นั้น อยู่ในอีกระดับหนึ่งเมื่อเทียบกับไม่กี่ปีที่ผ่านมาอย่างแน่นอน นี่คือข้อเท็จจริง สำหรับการใช้งานในชีวิตประจำวัน 80% มนุษย์ไม่จำเป็นต้องมาแก้ไขงานอีกแล้ว

อย่างไรก็ตาม สิ่งที่ตามมามักถูกเข้าใจผิด ในส่วนที่เหลืออีก 20% โดยเฉพาะในสถานการณ์ที่งานแปลมี "เป้าหมาย" เฉพาะเจาะจง ระบบในปัจจุบันยังคงทำงานได้ไม่สม่ำเสมอ โดยเฉพาะสองเรื่องนี้

เรื่องแรกคือความผันผวนของเจตนาการแปล แม้คุณจะโยนข้อความต้นฉบับเดิมเข้าโมเดลเดิมสองครั้ง และสั่งให้ "แปลเป็นคำพูดในการกล่าวสุนทรพจน์" ทั้งสองครั้ง งานแปลทั้งสองชิ้นที่ได้จะไม่มีน้ำเสียงที่สอดคล้องกัน ครั้งหนึ่งอาจจะเร้าเริงในขณะที่อีกครั้งดูถูกควบคุม จุดลงตัวที่สัมพันธ์กับเป้าหมายนั้นถูกกำหนดโดยความน่าจะเป็นเท่านั้น

อีกเรื่องคือความสม่ำเสมอในข้อความยาว เอกสารชิ้นหนึ่งอาจแปลคำว่า "contract" เป็น "keiyaku" ในครึ่งแรก แต่กลายเป็น "keiyakusho" ในครึ่งหลัง น้ำเสียงที่เป็นทางการในครึ่งแรกอาจค่อยๆ ขยับเป็นกันเองในครึ่งหลัง ชื่อเฉพาะอาจปรากฏอยู่สามรูปแบบที่แตกต่างกัน เมื่อมองทีละจุด สิ่งเหล่านี้ไม่ถึงตาย แต่สำหรับเอกสารโดยรวมแล้ว มันค่อยๆ กัดกร่อนคุณภาพไปเรื่อยๆ เหมือนถูกต่อยร่างกาย

ยิ่งไปกว่านั้น ปัญหาเหล่านี้สังเกตได้ยากจากการอ่านผลลัพธ์เพียงอย่างเดียว ถ้าคุณดูทีละประโยค มันคือ "ประโยคที่ถูกต้อง" ทั้งสิ้น ที่มาของความไม่สบายใจนั้นเกิดขึ้นในระดับเอกสาร ไม่ใช่ระดับประโยค ผู้อ่านที่ไม่รู้สึกไม่สบายใจจะรู้สึกปลอดภัยพอที่จะกดปุ่มส่ง ส่วนการที่พวกเขาควรจะรู้สึกปลอดภัยหรือไม่นั้นเป็นอีกเรื่องหนึ่ง

ปัญหาเชิงโครงสร้างแบบเดียวกันก็เกิดขึ้นกับนักแปลที่เป็นมนุษย์ ความเหนื่อยล้าหรือความผันผวนในการตัดสินใจแทรกซึมเข้ามาในระหว่างการทำงานเอกสารยาวๆ รายละเอียดเกี่ยวกับประเภทของงานเขียนหรือระดับภาษา (Register) อาจไม่สอดคล้องกันอย่างสมบูรณ์ระหว่างหน้าแรกและหน้าสุดท้าย ผู้มีประสบการณ์รู้ดี ดังนั้นพวกเขาจึงใช้เวลาในการตรวจทานตัวเอง อย่างไรก็ตาม ก็ไม่มีทางที่จะตรวจสอบจากภายนอกได้ว่าการตรวจทานตัวเองนั้นสมบูรณ์หรือไม่

สรุปคือ ไม่ว่าจะเป็นเครื่องจักรหรือมนุษย์ อุตสาหกรรมโดยรวมขาดกลไกในการยืนยันอย่างอิสระว่าคุณภาพของงานแปลนั้นสอดคล้องกัน "สัมพันธ์กับเป้าหมาย" และ "ตลอดทั้งชิ้นงาน" หรือไม่ นี่คือสถานการณ์ปัจจุบัน

เมตริกซ์ที่เรามีอยู่วัดในสิ่งที่เราไม่ได้สนใจ

ใช่ว่าจะไม่มีกลไกการยืนยัน มันมีอยู่ ปัญหาคือมันกำลังวัดอะไรกันแน่

เมตริกซ์ประเมินผลอัตโนมัติหลักสองตัวในการวิจัยการแปลด้วยเครื่องคือ BLEU และ COMET BLEU เปรียบเทียบผลลัพธ์กับคำแปลอ้างอิงแล้วนับลำดับคำที่ทับซ้อนกัน COMET ใช้โมเดลที่ผ่านการฝึกฝนมาแล้วเพื่อให้คะแนนความคล้ายคลึงทางความหมาย ทั้งคู่มีประโยชน์ตามวัตถุประสงค์ที่ตั้งไว้ และทั้งคู่มีสมมติฐานพื้นฐานที่วิศวกรรมไม่อาจหลีกเลี่ยงได้ นั่นคือสมมติฐานที่ว่า "คำตอบที่ถูกต้อง" มีอยู่ และคำตอบที่ถูกต้องนั้นก็คือคำแปลอ้างอิงที่วางไว้ในชุดทดสอบ

การแปลในฐานะกิจกรรมไม่ได้เป็นแบบนั้น

ขอยืมประโยคจากวรรณกรรมเด็กญี่ปุ่นสักหน่อย: "Ano otokonoko wa marude Momotaro mitai da" สำหรับคนที่เติบโตมาในญี่ปุ่น โมโมทาโร่คือวีรบุรุษในเทพนิยายที่ปราบอสูรด้วยสุนัข ลิง และไก่ฟ้า การเรียกเด็กว่า "เหมือนโมโมทาโร่" มีนัยว่าพวกเขากล้าหาญเกินอายุ มีความกล้า และไม่ควรมองข้ามแม้ตัวจะเล็กก็ตาม

ถ้าคุณแปลประโยคนี้ให้ผู้อ่านชาวอังกฤษที่ไม่เคยรู้จักโมโมทาโร่มาก่อน มีตัวเลือกมากมาย

คุณอาจเขียนตามตัวอักษร: "That boy is just like Momotaro" พื้นผิวของต้นฉบับคงไว้อย่างสมบูรณ์ ถ้าคำแปลอ้างอิงเป็นแบบเดียวกัน BLEU จะดีใจมาก แต่ผู้อ่านชาวอังกฤษแทบจะไม่ได้รับอะไรเลย ความหมายของประโยคถูกขังไว้ภายในชื่อที่พวกเขาไม่รู้จัก

คุณอาจเขียน: "That boy is so brave for his age" คุณทิ้งความเฉพาะเจาะจงทางวัฒนธรรมไป แต่ความหมายเข้าถึงได้ทันที

หรือคุณอาจทำอะไรที่กล้าหาญ: "That boy's another little Hulk" นี่คือการเลือกที่ท้าทาย มันแทนที่การอ้างอิงที่เข้าใจไม่ได้ทางวัฒนธรรมด้วยการอ้างอิงอื่นที่เข้าใจได้ทางวัฒนธรรม มันคือการปรับให้เข้ากับท้องถิ่นที่ปลูกถ่าย "หน้าที่" มากกว่า "เนื้อหา" ของการอ้างอิง ขึ้นอยู่กับคำสั่งการแปล (Brief / รายละเอียดคำสั่งงาน) นี่อาจเป็นทางเลือกที่ดีที่สุดหรือไม่เหมาะสมก็ได้

คำตอบไหนคือคำตอบที่ถูกต้อง? มันขึ้นอยู่กับเงื่อนไข มันขึ้นอยู่กับผู้อ่าน สื่อ ขอบเขตดุลยพินิจที่อนุญาต ระดับภาษาของข้อความโดยรอบ และปัจจัยอื่นๆ อีกประมาณสิบสองปัจจัย และปัจจัยทั้งหมดเหล่านั้นมีอยู่เหนือระดับประโยค ซึ่งมองไม่เห็นโดยเมตริกซ์ที่มองแค่ประโยค

BLEU ชื่นชมตัวเลือกที่บังเอิญตรงกับคำแปลอ้างอิง และลงโทษทุกสิ่งทุกอย่าง โดยไม่สนว่าสิ่งไหนจะดีกว่า COMET ให้คะแนนตามระยะห่างทางความหมายแล้วข้ามประเด็นทั้งหมดว่าคำแปลควรมีผลกระทบอะไรต่อผู้อ่าน ทั้งคู่ไม่ได้บอกคุณว่า "ตัวเลือกไหนเหมาะกับงานนี้" ประการแรก แนวคิดที่เอา Hulk มาแทนนั้นเป็นการก้าวกระโดดที่นักแปลมนุษย์อาจทำ แต่เมตริกซ์ที่ฝึกฝนมาให้ใกล้เคียงกับคำแปลอ้างอิงจะไม่มีวันให้รางวัลกับมัน

ขอพูดเรื่องสำคัญเกี่ยวกับการแปลสักหน่อย ไม่มีคำตอบที่ถูกต้องเพียงคำตอบเดียว ในทุกบรรทัด ตัวเลือกที่ถูกต้องกางออกเหมือนพัดลม ตัวเลือกไหนจะถูกนำมาใช้คือดุลยพินิจของนักแปล "เหมือนโมโมทาโร่" "กล้าหาญเกินอายุ" "ฮัลค์ตัวน้อย"—ทั้งหมดเป็นตัวเลือกที่สามารถป้องกันได้ งานของการประเมินไม่ใช่การเดาคำแปลที่ถูกต้องเพียงคำตอบเดียว แต่มันคือการมองดูดุลยพินิจที่นักแปลใช้ และบอกอย่างตรงไปตรงมาว่ามันใช้ได้กับงานนี้หรือไม่

สิ่งที่เกิดขึ้นเมื่อคุณถาม LLM โดยตรง

ถ้าคุณอยากทำแบบสมัยใหม่ คุณสามารถข้ามเมตริกซ์และถาม LLM โดยตรงได้ "นี่คือต้นฉบับ นี่คือคำแปล—มันเป็นยังไงบ้าง?"

วิธีนี้ทำงานได้ดีกว่าที่คุณคิด และแย่กว่าที่คุณหวัง

มันทำงานได้ดีกว่าที่คุณคิดเพราะ LLMs สามารถใช้เหตุผลเกี่ยวกับสิ่งต่างๆ เช่น ระดับภาษา (Register) กลุ่มเป้าหมาย การอ้างอิงทางวัฒนธรรม และผลกระทบทางวาทศิลป์ ซึ่งเป็นสิ่งที่ BLEU และ COMET ไม่สามารถเข้าถึงได้ มันสังเกตเห็นได้เมื่อประโยคเสียจังหวะ มันชี้ให้เห็นได้ว่าคำแปลของโมโมทาโร่นั้นคลุมเครือ

สาเหตุที่มันทำงานได้แย่กว่าที่คุณหวังมีสองประการ และในทางปฏิบัติ มันส่งผลเสริมกัน

ประการแรก แกนการประเมินขยับไปมา ถ้าคุณถามคำถามเดียวกันกับโมเดลเดิมสองครั้ง มันจะคืนคำตอบที่มีการจัดวางมิติที่แตกต่างกัน ครั้งแรกอาจเน้นความคล่องแคล่ว ครั้งที่สองเน้นความถูกต้อง และครั้งที่สามอาจสร้างหมวดหมู่ใหม่ขึ้นมากลางคัน คุณไม่สามารถเปรียบเทียบการประเมินข้ามเอกสารหลายชิ้นได้เพราะสิ่งที่กำลังวัดนั้นไม่สอดคล้องกันตั้งแต่แรก ขณะที่คุณกำลังวัด เครื่องมือวัดเองก็ขยับไปด้วย

ประการที่สองคือการเยินยอ (Sycophancy) LLMs ได้รับการฝึกฝนมาอย่างเข้มแข็งให้เอาใจคู่สนทนา ถ้าคุณส่งมอบงานแปลและถามว่า "อันนี้ดีไหม?" มีความน่าจะเป็นสูงที่มันจะบอกว่า "ดีครับ" ถ้าคุณโต้กลับ มันจะเห็นด้วยกับการโต้กลับของคุณ โมเดลกำลังปรับให้เหมาะสมสำหรับ "การแสร้งทำเป็นฟังและเคารพผู้ใช้" ไม่ใช่สำหรับ "การเป็นผู้ประเมินที่เด็ดขาดและเที่ยงตรง" สำหรับการใช้งานที่มีความเสี่ยงต่ำ นี่ใช้ได้ แต่สำหรับคนที่ส่งมอบงานแปลเป็นผลิตภัณฑ์ คนที่ให้เกรดงานแปล หรือคนที่ซื้องานแปลด้วยเงินจริง คุณลักษณะนี้คือสิ่งที่ตรงกันข้ามกับสิ่งที่ต้องการอย่างสิ้นเชิง

ผลลัพธ์คือสถานการณ์แปลกประหลาดยังคงอยู่ สิ่งที่เราต้องการ—วิธีการสำหรับผู้ที่ไม่ใช่ผู้เชี่ยวชาญในการตรวจสอบงานแปลอย่างแท้จริง—นั้นไม่มีอยู่อย่างเหมาะสม ถ้าคุณว่าจ้างงานแปล คุณก็แค่ต้องเชื่อใจผู้รับเหมา ถ้าคุณใช้เครื่องมือแปล คุณก็แค่ต้องยกมือไหว้ขอให้มันดี คนเดียวที่จะตรวจสอบงานแปลได้อย่างน่าเชื่อถือคือผู้ตรวจทานอาวุโสที่เชี่ยวชาญทั้งสองภาษาอยู่แล้วในระดับที่ไม่จำเป็นต้องใช้คำแปลตั้งแต่แรก

สิ่งที่ CATER พยายามจะทำ

มีเครื่องมือที่ชื่อว่า CATER ผมอยู่ในฝ่ายพัฒนาของมัน ผมเชื่อว่านี่คือความพยายามจริงจังครั้งแรกในการแก้ปัญหานี้ ดังนั้นผมจะอธิบายว่ามันทำอะไร

CATER ประเมินงานแปลบนแกนที่ชัดเจนหกแกน: ความแม่นยำทางไวยากรณ์ (GP), ความครบถ้วนทางความหมาย (SI), ความสอดคล้องกับข้อเท็จจริง (FC), ความสม่ำเสมอของคำศัพท์เฉพาะทาง (TC), ความเชื่อมโยงของปริจเฉท (Discourse Coherence, DC) และความเหมาะสมในการสื่อสารและโวหาร (CSA) แกนเหล่านี้ไม่เปลี่ยนไปในแต่ละครั้งที่รัน มันเหมือนเดิมทุกครั้ง ถ้าคุณเปรียบเทียบการประเมิน A กับการประเมิน B การเปรียบเทียบนั้นมีความหมาย

การให้คะแนนนั้นไม่ได้ปล่อยให้ LLM เป็นผู้ตัดสิน โมเดลมีหน้าที่ระบุและกำหนดลักษณะของข้อผิดพลาด ในขณะที่ระบบการทำงานแบบกำหนดตายตัว (Deterministic Pipeline) จะคำนวณค่าตัวเลขตามความรุนแรง ระดับความจำเป็นบังคับ และความไวของแกน ถ้าคุณรันอินพุตเดิมสองครั้ง คุณจะได้ตัวเลขเดียวกัน สิ่งนี้อาจฟังดูเหมือนรายละเอียดการใช้งานเล็กน้อย มันไม่ใช่ นี่คือเส้นแบ่งระหว่าง "เครื่องมือวัด" กับ "บรรยากาศ"

และสิ่งที่ผมอยากจะพูดถึงสักหน่อยคือ คำสั่งการแปล (Translation Brief)

Brief จะบอก CATER ว่างานแปลนั้นมีไว้เพื่ออะไร ผู้อ่านคือใคร สื่อคืออะไร ควรสร้างผลกระทบแบบไหน อะไรที่พอจะยอมเสียสละได้ และอะไรที่ต้องรักษาไว้ให้ได้อย่างเด็ดขาด เมื่อมี Brief การประเมินจะไม่ใช่คำถามที่ว่า "อันนี้ใกล้เคียงกับคำตอบที่ถูกต้องที่เป็นนามธรรมแค่ไหน?" มันจะกลายเป็นคำถามที่ว่า "คำแปลนี้ทำหน้าที่ที่ได้รับมอบหมายได้สำเร็จหรือไม่?" เท่าที่ผมรู้ นี่คือคำถามเดียวที่สำคัญจริงๆ

เมื่อคุณให้ Brief ปัญหาตัวอย่างโมโมทาโร่ก็จะคลี่คลาย ถ้า Brief คือ "หนังสือเด็กสำหรับเด็กอเมริกัน อ่านง่ายคือสิ่งที่สำคัญที่สุด" งั้น "That boy is just like Momotaro" จะถูกธงบนแกน CSA เพราะการอ้างอิงนั้นไม่มีความหมาย ในขณะที่ "That boy's another little Hulk" อาจได้คะแนนสูง ถ้า Brief คือ "งานแปลวรรณกรรมสำหรับรวมเรื่องวิชาการ รักษาความเฉพาะเจาะจงทางวัฒนธรรมไว้" การตัดสินจะกลับกัน การคงประโยคโมโมทาโร่ไว้เหมือนต้นฉบับคือสิ่งที่ถูกต้อง และการแทนที่ด้วย Hulk คือการทำให้เป็นท้องถิ่นมากเกินไป ต้นฉบับเดียวกัน ตัวเลือกเดียวกัน Brief ต่างกัน คำตอบที่ถูกต้องต่างกัน ผู้ประเมินสามารถเห็นสิ่งนี้ได้เพราะ Brief คือปัจจัยนำเข้าอันดับหนึ่ง

ถ้าคุณไม่ระบุ Brief CATER จะเสริมด้วยการอนุมาน ในทางปฏิบัติจริง งานแปลที่มี Brief เป็นลายลักษณ์อักษรนั้นเป็นส่วนน้อย แต่ก็มี Brief โดยนัยอยู่เสมอ ประเภทของงานเขียน ระดับภาษา และกลุ่มเป้าหมาย ล้วนจำกัดขอบเขตของ "คำแปลที่ดี" ผู้ตรวจทานที่มีทักษะจะอ่านไปพร้อมกับสร้าง Brief ขึ้นมาใหม่ในใจโดยอัตโนมัติ CATER ทำสิ่งเดียวกันอย่างชัดแจ้งและแสดง Brief ที่อนุมานได้บนหน้าจอ ถ้ามันผิด มนุษย์ก็สามารถแก้ไขได้

การใช้ CATER กับงานแปลระดับรางวัลโนเบล

ขอยกตัวอย่างที่เป็นรูปธรรม นี่ไม่ใช่ผลลัพธ์ของเครื่องมือแปลภาษา ผมจะเปลี่ยนมาพูดถึงงานแปลวรรณกรรมโดยมนุษย์จากนานก่อนที่เครื่องมือแปลภาษาจะเกิดขึ้น

"Snow Country" (ยูกิงุนิ) ของ ยาสุนาริ คาวาบาตะ แปลโดย เอ็ดเวิร์ด ไซเดนสตีคเกอร์ แปลครั้งแรกในปี 1956 และแก้ไขในภายหลัง งานแปลของไซเดนสตีคเกอร์นี้คือสิ่งที่คณะกรรมการคัดเลือกใช้อ้างอิงเมื่อคาวาบาตะได้รับรางวัลโนเบลสาขาวรรณกรรมในปี 1968 มันอาจเรียกได้ว่าเป็นจุดสูงสุดของงานแปลวรรณกรรมญี่ปุ่นเป็นภาษาอังกฤษในศตวรรษที่ 20 ยากที่จะหางานแปลโดยมนุษย์คนไหนที่เหนือไปกว่านี้ได้

ผมนำย่อหน้าเปิดเรื่องของมันไปรันผ่าน CATER โดยไม่ได้ให้ Brief ที่ชัดเจน ผมปล่อยให้ผู้ประเมินอนุมานเอาเอง

คะแนนรวม: 58.8/100 คำตัดสินคือ "จำเป็นต้องแก้ไขครั้งใหญ่" นี่คือรายละเอียดแยกตามแกน:

อย่าเพิ่งด่วนสรุปนะครับ CATER ไม่ได้บอกว่า "ไซเดนสตีคเกอร์ไม่เก่ง" ไวยากรณ์ ข้อเท็จจริง และโครงสร้างเชิงตรรกะล้วนได้คะแนนเต็ม สิ่งที่เสียคือความหมายหลักและผลกระทบทางวรรณกรรม—เป็นส่วนที่จำกัดแต่สำคัญมาก และ CATER ชี้ให้เห็นอย่างแม่นยำว่าจุดที่พังคือตรงไหน

"Yoru no soko ga shiroku natta" (ก้นของราตรีกลายเป็นสีขาว) ถูกแปลโดยไซเดนสตีคเกอร์ว่า "The earth lay white under the night sky" การวินิจฉัยของ CATER คือ: สำนวนเชิงอุปมาอุปไมยและการรับรู้ "ก้นของราตรี" ถูกแทนที่ด้วยฉากที่ต่างออกไป "พื้นดินเป็นสีขาวภายใต้ท้องฟ้ายามค่ำคืน" ผลกระทบทางความหมายของต้นฉบับที่ความขาวผุดขึ้นมาจากภายในราตรีนั้นไม่ได้รับการรักษาไว้ การแก้ไขขั้นต่ำที่แนะนำคือ "The bottom of the night turned white" นี่คือสาเหตุหลักที่ทำให้คะแนนแกน SI ลดลงเหลือ 25

อีกฉากหนึ่ง เป็นฉากที่เด็กผู้หญิงเปิดหน้าต่างแล้วตะโกน "ราวกับตะโกนไปในระยะไกล 'คุณสถานี! คุณสถานี!'" งานแปลของไซเดนสตีคเกอร์คือ: "Leaning far out the window, the girl called to the station master as though he were a great distance away." คำพูดโดยตรงถูกแทนที่ด้วยคำอธิบายสรุป ความคิดเห็นของ CATER: "เสียงสะท้อนของการเรียกนั้นและความฉับไวของฉากได้หายไป เพราะเนื้อหาที่พูดถูกลบทิ้ง ความรู้สึกของการมีชีวิตในฐานะการสร้างสรรค์ทางวรรณกรรมจึงอ่อนแอลง" นี่คือสาเหตุที่ทำให้คะแนนแกน CSA ตกลงมาอยู่ที่ 0

วิธีที่ถูกต้องในการรับประเด็นเหล่านี้คือ ไซเดนสตีคเกอร์ต้องมีเหตุผลของเขาเองสำหรับตัวเลือกเหล่านี้ ในฐานะงานแปลวรรณกรรมสำหรับผู้อ่านที่พูดภาษาอังกฤษในยุค 1950 เขาเลือกสิ่งนี้อย่างมีสติภายใต้บรรทัดฐานการแปลในยุคนั้น ความคิดเห็นของ CATER ไม่ได้เรียกสิ่งนี้ว่า "การแปลผิด" แต่ถือว่ามันเป็น "ประเด็นของการตีความซึ่งการตัดสินใจจะเปลี่ยนไปตาม Brief" อย่างไรก็ตาม ถ้าคุณว่างานต้นฉบับเดียวกันสำหรับโครงการแปลวรรณกรรมญี่ปุ่นสมัยใหม่และเขียน Brief ว่า "ให้ความสำคัญกับการสร้างบรรยากาศทางกวีของต้นฉบับขึ้นมาใหม่" คำตัดสินก็คืองานแปลชิ้นนี้ไม่บรรลุวัตถุประสงค์ งานแปลชิ้นเดียวกัน Brief ต่างกัน บทสรุปต่างกัน

สิ่งที่ผมอยากให้คุณได้จากนี้ไม่ใช่คะแนน แต่เป็นสามสิ่งนี้

ประการแรก: แม้แต่งานแปลที่ทิ้งร่องรอยไว้ในประวัติศาสตร์วรรณกรรมโลก ก็สามารถได้รับคำตัดสิน "แก้ไข" ภายใต้ Brief ที่เฉพาะเจาะจง นี่คือหลักฐานว่าไม่มีเพดานสัมบูรณ์ของคุณภาพงานแปล และในขณะเดียวกัน ก็เป็นการสาธิตว่าการประเมินเป็นงานที่สัมพันธ์กับ Brief

ประการที่สอง: CATER ไม่ได้แค่บอกว่า "อันนี้ไม่ดี" แต่มันให้ทางเลือกเฉพาะเจาะจงในการ "แก้ไขแบบนี้" การวินิจฉัยและข้อเสนอแนะนั้นถูกรวมเข้าด้วยกัน ด้วยเหตุนี้ ฝ่ายที่เห็นผลการประเมินจึงสามารถดำเนินการขั้นต่อไปได้

ประการที่สาม: ถึงแม้ไวยากรณ์ ข้อเท็จจริง และโครงสร้างเชิงตรรกะจะสมบูรณ์แบบ ภารกิจในฐานะงานแปลวรรณกรรมก็อาจล้มเหลวได้ ความล้มเหลวที่ไม่สามารถจับได้ด้วยการ "อ่านแล้วไม่รู้สึกขัดหูขัดตา" จะปรากฏบนแกนต่างๆ อย่างเหมาะสม การตรวจสอบผลลัพธ์ของเครื่องมือแปลด้วยการบอกว่า "มันโอเคเพราะฉันไม่รู้สึกขัด" นั้นมันอ่อนแอแค่ไหน—สิ่งนี้มองเห็นได้จากการคำนวณย้อนหลังจากข้อเท็จจริงที่ว่างานแปลระดับไซเดนสตีคเกอร์ยังคงสั่นคลอนเมื่อถูกแยกย่อยเป็นแกนที่ชัดเจน

เหตุผลที่เรื่องนี้สำคัญแม้กระทั่งสำหรับผู้ที่ไม่ใช่นักวิจัยด้านการแปล

สิ่งที่ผมพูดมาส่วนใหญ่อาจฟังดูเหมือนเรื่องเฉพาะในวงการสำหรับคนนอกอุตสาหกรรมการแปล นี่คือเหตุผลว่าทำไมมันยังคงสำคัญ

การแปลคือหนึ่งในการใช้งานหลักของ LLMs ในปัจจุบัน จำนวนบริษัทและปริมาณการรับส่งข้อมูลที่ส่งผ่านสายด่วนบริการลูกค้า เนื้อหาสินค้า ประกาศภายใน เอกสารทางกฎหมาย และสัญญา ผ่านกระบวนการแปลด้วยเครื่องนั้น อยู่ในระดับที่ไม่เคยมีมาก่อนเมื่อสามปีที่แล้ว กิจกรรมทางเศรษฐกิจที่อยู่บนกระบวนการเหล่านี้มีมหาศาล ชั้นการยืนยันที่วางอยู่บนพวกมันนั้นแทบจะเป็นศูนย์ ผู้คนกำลังส่งงานแปลที่พวกเขาไม่สามารถตรวจสอบได้ พวกเขากำลังส่งข้อสัญญาทางกฎหมายโดยภาวนาว่าโมเดลไม่ได้สร้างตัวเลขขึ้นมา ไม่ได้ลดความรุนแรงของ "must" (ต้อง) เป็น "should" (ควร) และไม่ได้ทำให้น้ำเสียงที่ทำให้เนื้อหาการตลาดได้ผลนั้นหายไป

และผมขอย้ำอีกครั้ง นี่ไม่ใช่ปัญหาของเครื่องมือแปลภาษา งานแปลที่ว่าจ้างโดยนักแปลมืออาชีพก็ถูกส่งมอบในการตรวจสอบที่ขาดหายไปเช่นเดียวกัน ลูกค้าอ่านงานแปลที่ส่งมาและยืนยันว่า "มันอ่านแล้วเป็นภาษาญี่ปุ่น" นั่นไม่ใช่การตรวจสอบคุณภาพของงานแปล มันคือการยืนยันว่างานที่ส่งมาเป็นภาษาญี่ปุ่น ระยะทางอันยาวไกลที่ควรจะมีอยู่ระหว่างสองสิ่งนี้ไม่เคยมีใครเดินข้ามมันมาก่อนจนถึงตอนนี้

การแปลอัตโนมัติในปี 2026 อยู่ในระดับที่ "ใช้ได้จริง" สำหรับการใช้งานส่วนใหญ่ นี่คือความจริง แต่ "เพียงพอสำหรับการใช้งานส่วนใหญ่" ไม่ใช่กลยุทธ์ในการยืนยันคุณภาพ ในสถานการณ์ที่ความผิดพลาดอาจถึงตาย—เอกสารทางคลินิก สัญญา ถ้อยแถลงสาธารณะ งานวรรณกรรม—"ฉันไม่รู้สึกขัดหูขัดตาตอนอ่าน" หรือ "ฉันจ้างนักแปลที่เชื่อถือได้" ไม่ใช่คำตอบที่ยอมรับได้อีกต่อไป

สิ่งที่เราขาดมานานคือชั้นสำหรับผู้ที่ไม่ใช่ผู้เชี่ยวชาญในการตรวจสอบผลลัพธ์ ไม่ใช่ตัวเลขเดี่ยวๆ ไม่ใช่ตราประทับยาง แต่เป็นการวินิจฉัยที่มีโครงสร้างและอ่านเข้าใจง่ายที่บอกว่า "จุดแข็งของงานแปลนี้อยู่ตรงนี้ จุดเสี่ยงอยู่ตรงนี้ และถ้าคุณให้ความสำคัญกับ X ให้แก้ไขส่วนนี้"

นั่นคือสิ่งที่ CATER เป็น คุณสามารถลองใช้ฟรีได้ที่ cater.erudaite.ai ระเบียบวิธีและทฤษฎีเบื้องหลังมีอยู่ใน about.erudaite.ai

ลองนำงานแปลที่คุณมีอยู่—เช่น อีเมลก่อนส่ง เอกสารภายใน สัญญาร่าง หรือต้นฉบับที่เพิ่งส่งมาจากผู้รับเหมาช่วง—ใส่เข้าไปดู แล้วดูว่าผลลัพธ์ที่ได้ออกมาเป็นอย่างไร

คุณจะสามารถยืนยันคุณภาพและคุณลักษณะเฉพาะของงานแปลนั้นกับ CATER ได้อย่างแน่นอน