Modello open-source da 5B supera GPT Image 2.5 nel test di calligrafia cinese complessa

Oggi DeepSeek ha reso open-source il suo framework di inferenza per ambienti di produzione, DeepInfer. In molti stanno discutendo su come far girare modelli più potenti con meno risorse di calcolo.

Per coincidenza, stavo testando un altro modello open-source che segue la stessa direzione: MOSS-Image, che ha solo 5 miliardi di parametri. L'ho messo alla prova, insieme a quello che dovrebbe essere il modello closed-source più potente in assoluto, GPT Image 2.5, sulla stessa sfida difficile.

Il risultato: GPT Image 2.5 ha fallito al secondo round, mentre il piccolo modello open-source da 5B ha riprodotto correttamente l'intera poesia "Portate il vino" per due volte. Se Li Bai lo vedesse, probabilmente berrebbe altre trecento coppe.

Il prompt era: Crea una scena di Li Bai che alza una coppa lungo il fiume, nello stile di un dipinto a rotolo a inchiostro diluito. Scrivi il testo completo di "Portate il vino" in 12 righe di calligrafia, accompagnato da un titolo, il nome dell'autore, un sigillo vermiglio e tre righe di testo in inglese. Devono esserci esattamente 4 coppe di vino sulla piattaforma di pietra — né una di più, né una di meno.

All'inizio pensavo che il modello closed-source avrebbe vinto facilmente. Nel primo round si sono equivalse. Ma nel secondo round, quando ho modificato solo due dettagli, GPT Image 2.5 ha sbagliato il conteggio delle coppe, mentre MOSS-Image ci ha azzeccato entrambe le volte.

Di seguito le 2 immagini generate da MOSS-Image

Di seguito le 2 immagini generate da GPT Image 2.5

Perché questo test è difficile?

Ho scritto intenzionalmente questo prompt per renderlo ostico.

Questa celebre poesia ha 12 versi e oltre 170 caratteri, che devono essere scritti in corsivo sul dipinto senza un singolo errore. Ho già testato molti modelli: appena il numero di caratteri sale, iniziano a sbagliare.

Il numero di coppe di vino è stato aggiunto appositamente perché la generazione di immagini tramite IA è notoriamente pessima nel contare gli oggetti.

Inoltre, la scena include molti elementi: paesaggio fluviale, Li Bai, titolo, sigillo, l'intera poesia e tre righe in inglese, ognuno con una posizione specifica. Ho anche aggiunto un vincolo finale: nessun altro testo consentito e un solo sigillo.

Round 1: Entrambi promossi

Nel primo round ho chiesto 2 coppe di vino sulla piattaforma di pietra, e l'ultima riga in inglese doveva essere "Let us drink away the sorrows of all ages."

Quando sono uscite le immagini, le ho controllate una per una: nessun errore nella poesia, un solo sigillo, testo in inglese corretto ed esattamente 2 coppe. Entrambi i modelli hanno superato questo round senza problemi.

La differenza stava soprattutto nell'estetica. La versione di MOSS-Image aveva densità d'inchiostro variabile e spazi bianchi armoniosi, sembrava un vero rotolo da appendere. GPT Image 2.5 faceva una buona impressione a prima vista, ma ingrandendo l'immagine si notavano pennellate più piatte, prive del sottile effetto di sfumatura tipico della pittura a inchiostro tradizionale.

Round 2: Piccoli cambiamenti, grandi differenze

Poi ho modificato solo due cose:

1. Ho cambiato il numero di coppe da 2 a 4.
2. Ho aggiunto la parola "Cheers" dopo l'ultima riga in inglese.

Logicamente, si tratta di modifiche minime. Ecco i risultati:

• MOSS-Image: Ha centrato entrambi i cambiamenti. Esattamente 4 coppe, "Cheers" aggiunto, e i 12 versi della poesia con il sigillo rimasti intatti.
• GPT Image 2.5: Ha aggiunto "Cheers", ma ha fatto confusione con il conteggio delle coppe. Ne servivano 4, ne ha disegnate 5.

Naturalmente, questo è solo un set di prompt e non rappresenta tutti gli scenari possibili. Ma per quanto riguarda "testo lungo unito a controllo preciso", il modello open-source da 5B ha offerto una prestazione notevole.

Come fa un piccolo modello da 5B a riuscirci?

Ripensando a questo test, il successo di MOSS-Image in entrambi i round si basa su diverse capacità:

• Rendering accurato di cinese e inglese. I 12 versi con oltre 170 caratteri cinesi in corsivo non presentavano refusi o omissioni. Anche le tre righe finali in inglese e la parola "Cheers" aggiunta erano nitide.
• Comprensione completa di prompt lunghi. Supporta prompt fino a 4K token. Il mio prompt includeva stile, scena, titolo, poesia, inglese e vincoli negativi. Ha seguito tutto dall'inizio alla fine senza perdere il filo. Così, quando nel secondo round ho cambiato il numero di coppe e aggiunto una parola, ha gestito entrambi gli aggiornamenti senza compromettere il resto.
• Stile controllabile. Questo test richiedeva una texture a inchiostro su carta di riso, e il modello non è scivolato verso uno stile fotorealistico o 3D. Oltre allo stile tradizionale cinese, sa gestire anche anime, illustrazione e fotorealismo.

Se vuoi usarlo nel tuo lavoro, ecco due aspetti da conoscere: primo, supporta il Layout JSON strutturato, che permette di specificare direttamente le posizioni di testi ed elementi, migliorando il controllo compositivo per poster, immagini e-commerce e copertine social. Secondo, pesi, codice e guide all'uso sia per la versione Base che per quella SFT sono open-source. SGLang e vLLM-Omni offrono supporto dal giorno zero, rendendo semplice iniziare con il fine-tuning LoRA o lo sviluppo secondario.

Metodo di test e consigli sui prompt

Il processo è stato semplice: entrambi i modelli hanno usato lo stesso prompt. Dopo aver eseguito il primo round, ho cambiato due dettagli e lanciato il secondo. MOSS-Image è stato generato sulla piattaforma ufficiale di prova, mentre GPT Image 2.5 è stato generato online su ChatGPT.

Per scrivere prompt complessi come questo, ho tre consigli:

1. Definisci prima lo stile artistico e il materiale. Specifica carta di riso, inchiostro diluito, pigmenti minerali, e aggiungi "non fotografico, non 3D" per evitare che l'immagine viri verso il realismo.
2. Descrivi per aree. Descrivi la scena in basso a sinistra, titolo e sigillo in alto a destra, la poesia nella metà destra e l'inglese in basso. Separare i blocchi rende più facile per il modello seguire le istruzioni.
3. Chiudi con i vincoli negativi. Aggiungi "Nessun altro testo, nessun sigillo extra, nessuna filigrana" alla fine per mantenere l'immagine pulita.

Prompt completo

Ecco il prompt completo usato nel primo round, pronto da copiare e provare:

1Un dipinto tradizionale cinese a inchiostro diluito su carta xuan color avorio caldo, formato a rotolo verticale lungo. Inchiostro nero stratificato, velature grigio tenue, pigmento minerale blu-verde smorzato, ocra pallido, fibre della carta visibili, bordi sfumati dell'inchiostro bagnato, texture a pennello asciutto. Dipinto a mano, non fotografico, non 3D.
2Scena nella parte sinistra e inferiore: un fiume impetuoso irrompe da montagne velate dalle nuvole, disegnato con linee d'inchiostro fluide e spazi vuoti della carta. Scogliere erose dal tempo, picchi lontani stratificati, un pino piegato dal vento, nebbia alla deriva, una luna pallida dietro nuvole sottili. Su una terrazza rocciosa lungo il fiume, un poeta in vesti ampie color avorio con un semplice chignon solleva una piccola coppa di vino verso il cielo. Una giara di vino rotonda in ceramica e due coppe sono posate su una pietra piatta accanto a lui.
3In alto a destra: grande titolo a pennello marcato 《将进酒》, sotto il nome dell'autore 李白, con esattamente un piccolo sigillo vermiglio con la scritta 诗酒 accanto al nome dell'autore.
4Metà destra: la poesia completa in una calligrafia cinese chiara e ben leggibile in stile regolare-corsivo, scritta in esattamente 12 righe orizzontali, spaziatura uniforme tra le righe, ogni carattere corretto, su carta bianca e pulita:
5Riga 1: 君不见，黄河之水天上来，奔流到海不复回。
6Riga 2: 君不见，高堂明镜悲白发，朝如青丝暮成雪。
7Riga 3: 人生得意须尽欢，莫使金樽空对月。
8Riga 4: 天生我材必有用，千金散尽还复来。
9Riga 5: 烹羊宰牛且为乐，会须一饮三百杯。
10Riga 6: 岑夫子，丹丘生，将进酒，杯莫停。
11Riga 7: 与君歌一曲，请君为我倾耳听。
12Riga 8: 钟鼓馔玉不足贵，但愿长醉不复醒。
13Riga 9: 古来圣贤皆寂寞，惟有饮者留其名。
14Riga 10: 陈王昔时宴平乐，斗酒十千恣欢谑。
15Riga 11: 主人何为言少钱，径须沽取对君酌。
16Riga 12: 五花马，千金裘，呼儿将出换美酒，与尔同销万古愁。
17In basso al centro, piccolo testo inglese con grazie grigio scuro su tre righe:
18BRING IN THE WINE
19Li Bai
20Let us drink away the sorrows of all ages.
21Nessun altro testo, nessun sigillo extra, nessuna filigrana in nessun'altra parte del dipinto.

Per il secondo round sono state fatte solo due modifiche:

1. Nella descrizione della scena, "due coppe" è diventato "quattro coppe".
2. È stata aggiunta la parola "Cheers" dopo l'ultima riga in inglese.

Tutto il resto è rimasto invariato.

Tocca a te

Un modello open-source da 5B riesce a inserire l'intera poesia "Portate il vino" in un rotolo a inchiostro, azzeccando perfettamente il numero di coppe.

Attualmente, MOSS-Image ha superato i 700.000 download su ComfyUI. Non credere solo a me, provalo tu stesso 👇

🤗 Prova gratuita online: https://huggingface.co/spaces/OpenMOSS-Team/MOSS-Image

⭐ GitHub per pesi e codice: https://github.com/OpenMOSS/MOSS-Image

Cosa creerai? Condividi le tue immagini nei commenti. Alziamo le coppe insieme. Salute 🍶

#MOSS-Image #AIGC