Ricevi una lunga email in inglese da un cliente estero. Non hai tempo per scrivere una risposta. Per ora, la butti in DeepL o, più recentemente, in ChatGPT per trasformarla in giapponese e leggerla sullo schermo. Capisci il contenuto. Puoi esprimere un giudizio. O almeno, hai la sensazione di poterlo fare.
Vale anche il contrario. Devi inviare un annuncio in inglese internamente, quindi sottoponi una bozza scritta in giapponese a una traduzione automatica, scansiona il risultato in inglese, pensi "sembra a posto" e premi invio. La risposta dell'altra parte non sembra particolarmente strana. Quindi pensi: "Dev'essere andata bene anche questa volta."
Il problema è che nessuno da questo lato ha verificato se sia effettivamente andata bene. Il processo di affiancare i testi di partenza e di arrivo e giudicare "questa parte è OK", "questa parte è rischiosa" o "questa parte è fatale" è assente dalle moderne pipeline di traduzione.
Questo non si limita alle email personali. Testi di marketing, comunicazioni interne, bozze di contratti, materiali per le relazioni con gli investitori, FAQ di supporto: ogni tipo di documento è stato affidato alla traduzione automatica negli ultimi anni. Il volume è esploso. Eppure, il livello di controllo qualità è aumentato a malapena. Alcuni pensano di controllare. Chiamano "leggerlo e non provare disagio" un controllo. Non lo è. Non è un controllo; è un atto di fede.
E ciò che molti trascurano qui è che non si tratta solo di traduzione automatica. Anche per le traduzioni ordinate a traduttori professionisti, al momento non esiste quasi alcun modo per il cliente di verificare autonomamente se la traduzione sia coerente con le sue intenzioni per l'intero testo. Leggono il materiale consegnato, pensano "si legge come italiano" o "passa come inglese", e basta. Nessuno svolge il compito di verificare, punto per punto, se il lavoro è stato eseguito secondo le specifiche per l'intero manoscritto a causa di problemi di costo. Sarebbe più preciso dire che non c'è modo di farlo.
Il campo della valutazione della traduzione si è assunto il compito di risolvere questo problema. Tuttavia, questo campo non sta andando bene come potrebbero pensare quelli al di fuori del settore.
La Traduzione Automatica Non È Così Perfetta Come Tutti Pensano
Per prima cosa, bisogna sfatare un mito.
L'output della traduzione automatica e degli LLM nel 2026 è certamente a un livello diverso rispetto a qualche anno fa. Questo è un dato di fatto. Per l'80% degli usi quotidiani, gli esseri umani non hanno più bisogno di rifare il lavoro.
Tuttavia, ciò che segue viene frainteso. Nel restante 20% – specialmente in situazioni in cui la traduzione ha uno "scopo" specifico – i sistemi attuali non funzionano ancora in modo coerente. Nello specifico, accadono due cose.
Una è la fluttuazione dell'intento traduttivo. Anche se inserisci la stessa fonte nello stesso modello due volte e gli ordini di "tradurre come un discorso" entrambe le volte, le due traduzioni risultanti non avranno un tono coerente. Una potrebbe essere accesa, mentre l'altra in qualche modo sobria. Il punto di arrivo rispetto all'obiettivo è determinato solo probabilisticamente.
L'altra è la coerenza nei testi lunghi. Un documento potrebbe tradurre "contract" come "contratto" nella prima metà, ma trasformarsi in "accordo contrattuale" nella seconda metà. Un tono formale nella prima metà potrebbe spostarsi sottilmente verso l'informale nella seconda metà. I nomi propri potrebbero apparire in tre notazioni diverse. Singolarmente, non sono fatali. Ma per il documento nel suo insieme, erodono la qualità come colpi al corpo.
Inoltre, questi problemi sono difficili da notare semplicemente leggendo l'output. Se guardi ogni frase, sono tutte "frasi corrette". La fonte del disagio si manifesta a livello di documento, non a livello di frase. I lettori che non provano disagio si sentono al sicuro nel premere il pulsante di invio. Se questo sia uno stato in cui dovrebbero sentirsi al sicuro è un'altra questione.
Gli stessi problemi strutturali si verificano con i traduttori umani. L'affaticamento o le fluttuazioni del giudizio si insinuano durante un documento lungo. I dettagli del genere o del registro potrebbero non allinearsi perfettamente tra la prima e l'ultima pagina. I veterani sono consapevoli di questo, motivo per cui dedicano tempo all'autoverifica. Tuttavia, non c'è nemmeno un modo per verificare dall'esterno se quell'autoverifica sia completa.
In breve, che sia una macchina o un umano, all'industria nel suo complesso manca un meccanismo per verificare in modo indipendente se la qualità di una traduzione è coerente "rispetto all'obiettivo" e "per l'intero testo". Questa è la situazione attuale.
Le Metriche Che Abbiamo Non Misurano Ciò Che Ci Interessa
Non è che non esistano meccanismi di verifica. Esistono. Il problema è ciò che misurano.
Le due principali metriche di valutazione automatica nella ricerca sulla traduzione automatica sono BLEU e COMET. BLEU confronta l'output con una traduzione di riferimento e conta le sequenze di parole sovrapposte. COMET usa un modello pre-addestrato per valutare la similarità semantica. Entrambi sono utili per i loro scopi previsti. Ed entrambi condividono la stessa premessa da cui l'ingegneria non può sfuggire: la premessa che esista una "risposta corretta", e che quella risposta corretta sia la traduzione di riferimento inserita nel set di test.
La traduzione come attività non funziona in questo modo.
Prendiamo in prestito una frase dalla letteratura per bambini giapponese: "Ano otokonoko wa marude Momotaro mitai da." Per qualcuno cresciuto in Giappone, Momotaro è un eroe del folklore che sconfigge gli orchi con un cane, una scimmia e un fagiano. Definire un bambino "come Momotaro" porta con sé la sfumatura che sia coraggioso per la sua età, che abbia fegato e che non debba essere sottovalutato anche se è piccolo.
Se traduci questo per un lettore inglese che non ha mai sentito parlare di Momotaro, ci sono molteplici opzioni.
Potresti scriverlo letteralmente: "That boy is just like Momotaro." La superficie dell'originale è perfettamente preservata. Se la traduzione di riferimento fosse la stessa, BLEU sarebbe felice. Ma al lettore inglese non verrà trasmesso quasi nulla. Il significato della frase è interamente racchiuso in un nome che non conosce.
Potresti anche scrivere: "That boy is so brave for his age." Sacrifichi la specificità culturale, ma il significato arriva immediatamente.
Oppure potresti fare un passo audace: "That boy's another little Hulk." Questa è una scelta coraggiosa. Sostituisce un riferimento culturalmente incomprensibile con un altro culturalmente comprensibile. È un adattamento che trapianta la "funzione" piuttosto che il "contenuto" del riferimento. A seconda del brief (i dettagli dell'ordine), questa potrebbe essere la mossa migliore o inappropriata.
Qual è la risposta corretta? Dipende dalle condizioni. Dipende dal lettore, dal mezzo, dal margine di discrezione consentito, dal registro del testo circostante e da circa dodici altri fattori. E tutti questi fattori esistono al di sopra del livello della frase, invisibili a metriche che guardano solo alle frasi.
BLEU elogia le scelte che casualmente corrispondono alla traduzione di riferimento e penalizza tutto il resto, indipendentemente da quale sia superiore. COMET classifica in base alla distanza semantica e salta l'intera questione di quale effetto la traduzione dovrebbe avere sul lettore. Nessuna delle due ti dice "quale scelta si adatta a questo lavoro". In primo luogo, l'idea di sostituirlo con Hulk è un salto che un traduttore umano potrebbe fare, ma una metrica addestrata sulla prossimità a una traduzione di riferimento non lo premierà mai.
Lasciatemi dire una cosa importante sulla traduzione. Non esiste un'unica risposta corretta. Per ogni riga, opzioni valide si aprono a ventaglio. Quale prendere è il giudizio del traduttore. "Come Momotaro", "coraggioso per la sua età", "un piccolo Hulk" – tutte sono scelte difendibili. Il compito della valutazione non è indovinare l'unica e sola traduzione corretta. È guardare al giudizio espresso dal traduttore e dichiarare onestamente se funziona per questo lavoro.
Cosa Succede Quando Chiedi Direttamente a un LLM
Se vuoi fare le cose in modo moderno, puoi saltare le metriche e chiedere direttamente a un LLM. "Ecco la fonte, ecco la traduzione – com'è?"
Funziona meglio di quanto pensi, e peggio di quanto speri.
Funziona meglio di quanto pensi perché gli LLM possono, in linea di principio, ragionare su cose come registro, pubblico, riferimenti culturali ed effetti retorici – cose che BLEU e COMET non possono raggiungere. Può notare quando una frase ha perso il suo ritmo. Può sottolineare che la traduzione di Momotaro è opaca.
Le ragioni per cui funziona peggio di quanto speri sono due, e in pratica hanno un effetto cumulativo.
In primo luogo, gli assi di valutazione si spostano. Se fai la stessa domanda allo stesso modello due volte, restituirà risposte con diverse configurazioni dimensionali. La prima volta potrebbe concentrarsi sulla fluidità, la seconda sull'accuratezza, e la terza potrebbe inventare una nuova categoria a metà strada. Non puoi confrontare le valutazioni tra più documenti perché ciò che viene misurato non è coerente fin dall'inizio. Mentre misuri, lo strumento stesso si muove.
In secondo luogo, c'è la sicofania (adulazione). Gli LLM sono addestrati abbastanza fortemente per compiacere il loro interlocutore. Se consegni una traduzione e chiedi "È buona?", c'è un'alta probabilità che dica "È buona." Se insisti, sarà d'accordo con la tua insistenza. Il modello sta ottimizzando per "fingere di ascoltare e rispettare l'utente", non per "essere un valutatore a sangue freddo". Per usi a basso rischio, questo va bene. Ma per qualcuno che spedisce la traduzione come prodotto, qualcuno che valuta la traduzione o qualcuno che acquista traduzioni con soldi veri, questa caratteristica è l'esatto opposto di ciò che è necessario.
Di conseguenza, è persistita una situazione strana. La cosa che volevamo – un mezzo per i non esperti di verificare effettivamente le traduzioni – non esisteva correttamente. Se esternalizzavi la traduzione, dovevi solo fidarti del fornitore. Se usavi la traduzione automatica, dovevi solo incrociare le dita e sperare. Le uniche persone che potevano controllare in modo affidabile una traduzione erano i revisori senior che avevano già padroneggiato entrambe le lingue a un livello tale da non aver bisogno della traduzione in primo luogo.
Cosa Sta Cercando di Fare CATER
C'è uno strumento chiamato CATER. Io sono dalla parte dello sviluppo. Credo che questo sia il primo serio tentativo di soluzione a questo problema, quindi lascia che spieghi cosa fa.
CATER valuta la traduzione su sei assi espliciti: Precisione Grammaticale (GP), Integrità Semantica (SI), Coerenza Fattuale (FC), Coerenza Terminologica (TC), Coerenza del Discorso (DC) e Appropriatezza Comunicativa e Stilistica (CSA). Gli assi non si muovono da un'esecuzione all'altra. Sono gli stessi ogni volta. Se confronti la Valutazione A e la Valutazione B, quel confronto ha significato.
Il punteggio stesso non è lasciato al LLM. Il modello è responsabile dell'identificazione e della caratterizzazione degli errori, e una pipeline deterministica calcola valori numerici basati su gravità, forza obbligatoria e sensibilità dell'asse. Se esegui lo stesso input due volte, ottieni gli stessi numeri. Questo potrebbe sembrare un dettaglio minore di implementazione. Non lo è. Questa è la linea che separa uno "strumento" da un'"atmosfera".
E ciò su cui voglio soffermarmi un po' è il Brief di Traduzione.
Il brief dice a CATER a cosa serve la traduzione. Chi è il lettore, qual è il mezzo, quale effetto dovrebbe produrre, cosa può essere sacrificato e cosa deve essere assolutamente preservato? Con un brief, la valutazione non è più una questione di "quanto è vicino questo a qualche astratta risposta corretta?" Diventa la domanda: "Questa traduzione sta svolgendo il lavoro per cui è stata assunta?" Per quanto ne so, questa è l'unica domanda che conta veramente.
Quando fornisci un brief, l'esempio di Momotaro è risolto. Se il brief è "Libro per bambini per ragazzi americani, la leggibilità è la massima priorità", allora "That boy is just like Momotaro" viene segnalato sull'asse CSA perché il riferimento non arriva. "That boy's another little Hulk" potrebbe ottenere un punteggio alto. Se il brief è "Traduzione letteraria per un'antologia accademica, preserva la specificità culturale", il giudizio è invertito. Mantenere la frase di Momotaro come nell'originale è corretto, e sostituirla con Hulk è un'addomesticazione eccessiva. Stessa fonte, stesse opzioni, brief diverso, risposta corretta diversa. Il valutatore può vederlo perché il brief è un input di prima classe.
Se non fornisci un brief, CATER lo integra con un'inferenza. Nella pratica reale, le traduzioni con un brief scritto sono in minoranza. Ma c'è sempre un brief implicito. Genere, registro e pubblico di destinazione vincolano i confini di una "buona traduzione". Un revisore esperto legge mentre ricostruisce automaticamente il brief nella sua testa. CATER fa la stessa cosa esplicitamente e mostra il brief inferito sullo schermo. Se è sbagliato, un umano può correggerlo.
Applicare CATER a una Traduzione di Livello Nobel
Lascia che faccia un esempio concreto. Questa non è output di traduzione automatica. Sposterò il discorso sulla traduzione letteraria umana di molto prima che apparisse la traduzione automatica.
"Snow Country" di Yasunari Kawabata, tradotto da Edward Seidensticker. Tradotto per la prima volta nel 1956 e successivamente rivisto, questa traduzione di Seidensticker è quella a cui il comitato di selezione fece riferimento quando Kawabata vinse il Premio Nobel per la Letteratura nel 1968. Può essere definita l'apice del ventesimo secolo della traduzione in inglese della letteratura giapponese. È molto difficile trovare una traduzione umana che la superi.
Ho passato il suo paragrafo di apertura attraverso CATER. Nessun brief esplicito è stato fornito; ho lasciato che il valutatore lo deducesse.
Punteggio complessivo: 58,8/100. Il giudizio è stato "Necessaria una rielaborazione importante". Ecco la ripartizione per asse:
Per favore, non saltate alle conclusioni. CATER non sta dicendo "Seidensticker è scarso". Grammatica, fatti e struttura logica ottengono tutti punteggi perfetti. Ciò che è rotto sono il significato centrale e gli effetti letterari – parti limitate ma critiche. E CATER indica esattamente dove si trova quella rottura.
"Yoru no soko ga shiroku natta" (Il fondo della notte divenne bianco) è tradotto da Seidensticker come "The earth lay white under the night sky". La diagnosi di CATER è questa: l'espressione metaforica e percettiva "fondo della notte" è stata sostituita da una scena diversa, "il terreno è bianco sotto il cielo notturno". L'effetto semantico dell'originale, dove il biancore sorge dall'interno della notte, non è preservato. Come correzione minima, viene suggerito "The bottom of the night turned white". Questa è la ragione principale per cui l'asse SI è sceso a 25.
Un'altra. Una scena in cui una ragazza che apre una finestra grida "come se urlasse in lontananza, 'Capostazione! Capostazione!'" La traduzione di Seidensticker è: "Leaning far out the window, the girl called to the station master as though he were a great distance away". Il discorso diretto stesso è stato sostituito da una descrizione riassuntiva. Il commento di CATER: "La risonanza del richiamo stesso e l'immediatezza della scena sono perse. Poiché il contenuto parlato è stato cancellato, il senso di presenza come riproduzione letteraria è indebolito". Questo ha portato l'asse CSA a 0.
Il modo corretto di prendere questi punti è che Seidensticker deve aver avuto le sue ragioni per queste scelte. Come traduzione letteraria per lettori di lingua inglese negli anni '50, scelse consapevolmente questo all'interno delle norme di traduzione del tempo. Il commento di CATER stesso non chiama questo un "errore di traduzione" ma lo tratta come "una questione di interpretazione in cui il giudizio cambia a seconda del brief". Tuttavia, se avessi commissionato la stessa fonte per un progetto di traduzione di letteratura giapponese moderna e scritto un brief dicendo "Dai priorità alla riproduzione dell'atmosfera poetica dell'originale", il giudizio sarebbe che questa traduzione non sta svolgendo il suo lavoro. Stessa traduzione, brief diverso, conclusione diversa.
Ciò che voglio che tu porti via da questo non è il punteggio in sé, ma tre cose.
Primo: Anche una traduzione che lascia il segno nella storia letteraria mondiale può ricevere un giudizio di "rielaborazione" sotto un brief specifico. Questa è la prova che non esiste un tetto assoluto alla qualità della traduzione e, allo stesso tempo, una dimostrazione che la valutazione è un compito relativo a un brief.
Secondo: CATER non si limita a dire "questo è scarso", fornisce alternative specifiche per "aggiustalo così". Diagnosi e prescrizione sono integrate. Per questo, il lato che vede i risultati della valutazione può fare il passo successivo.
Terzo: Anche se grammatica, fatti e struttura logica sono perfetti, il lavoro come traduzione letteraria può fallire. I fallimenti che non possono essere colti da "leggerlo e non provare disagio" emergono correttamente su assi diversi. Quanto sia debole una verifica che consiste nel controllare l'output della traduzione automatica dicendo "andava bene perché non ho provato disagio" – questo diventa visibile calcolando a ritroso dal fatto che anche una traduzione di livello Seidensticker vacilla quando viene scomposta in assi espliciti.
Perché Questo È Importante Anche per i Non Ricercatori di Traduzione
Gran parte di ciò che ho detto finora potrebbe sembrare questioni interne a chi è fuori dal settore della localizzazione. Ecco perché è comunque importante.
La traduzione è attualmente uno degli usi primari degli LLM. Il numero di aziende e il volume di traffico che passa attraverso pipeline di traduzione automatica per assistenza clienti, testi di prodotto, comunicazioni interne, documenti legali e contratti sono a un livello che non esisteva tre anni fa. L'attività economica che viaggia su queste pipeline è enorme. Il livello di verifica che vi siede sopra è quasi zero. Le persone spediscono traduzioni che non possono verificare. Inviano clausole legali sperando che il modello non abbia inventato numeri, non abbia indebolito "must" in "should" e non abbia perso il tono che faceva funzionare il testo di marketing.
E lo ripeto, questo non è un problema della traduzione automatica. Anche le traduzioni esternalizzate a traduttori professionisti vengono consegnate nella stessa assenza di verifica. Il cliente legge la traduzione consegnata e conferma "si legge come italiano". Questa non è una verifica della qualità della traduzione; è una conferma che la consegna è in italiano. La lunga distanza che dovrebbe esistere tra i due non è mai stata percorsa da nessuno fino ad ora.
La traduzione automatica nel 2026 è a un livello che è "praticamente sufficiente" per la maggior parte degli usi. Questo è vero. Ma "sufficiente per la maggior parte degli usi" non è una strategia di verifica. In situazioni in cui gli errori possono essere fatali – documenti clinici, contratti, dichiarazioni pubbliche, traduzioni letterarie – "non ho provato disagio a leggerlo" o "l'ho chiesto a un traduttore affidabile" non sono più risposte accettabili.
Ciò che ci è mancato a lungo è un livello per i non esperti per verificare l'output. Non un singolo numero. Non un timbro di gomma. Una diagnosi strutturata e leggibile che dica: "Il punto di forza di questa traduzione è qui, il rischio è qui, e se dai valore a X, aggiusta questa parte."
Questo è CATER. Puoi provarlo gratuitamente su cater.erudaite.ai. La metodologia e la teoria alla base sono disponibili su about.erudaite.ai.
Prova a inserire una traduzione che hai a portata di mano – per esempio, un'email prima di inviarla, materiali interni, una bozza di contratto o un manoscritto appena consegnato da un fornitore esterno – e guarda cosa esce.
Dovresti essere in grado di confermare la qualità e le caratteristiche della traduzione con CATER.
