Un modèle open-source de 5B surpasse GPT Image 2.5 lors d'un test complexe de calligraphie chinoise

Aujourd'hui, DeepSeek a rendu open source son framework d'inférence de qualité production, DeepInfer. Beaucoup discutent de la manière de faire tourner des modèles plus puissants avec moins de puissance de calcul.

Par coïncidence, je teste un autre modèle open source qui suit la même voie : MOSS-Image, qui ne compte que 5 milliards de paramètres. Je lui ai soumis, ainsi qu'au prétendument meilleur modèle propriétaire du marché, GPT Image 2.5, le même défi difficile.

Résultat : GPT Image 2.5 a échoué dès la deuxième manche, tandis que le petit modèle open source de 5B a retranscrit correctement l'intégralité du poème « Bring in the Wine » (Apportez le vin) à deux reprises. Si Li Bai voyait ça, il boirait probablement trois cents coupes de plus.

Le prompt était le suivant : Crée une scène montrant Li Bai levant sa coupe au bord d'une rivière, dans le style d'une peinture sur rouleau à l'encre de Chine. Écris le texte intégral de « Bring in the Wine » en 12 lignes de calligraphie, accompagné d'un titre, du nom de l'auteur, d'un sceau vermillon et de trois lignes de texte en anglais. Il doit y avoir exactement 4 coupes de vin sur la plateforme de pierre — ni plus, ni moins.

Je pensais au départ que le modèle propriétaire l'emporterait facilement. Lors de la première manche, les deux étaient comparables. Mais à la deuxième manche, lorsque j'ai modifié seulement deux détails, GPT Image 2.5 s'est trompé dans le compte des coupes, alors que MOSS-Image a réussi les deux fois.

Voici 2 images générées par MOSS-Image

Voici 2 images générées par GPT Image 2.5

Pourquoi ce test est-il si difficile ?

J'ai volontairement rédigé ce prompt pour qu'il soit ardu.

Ce célèbre poème comporte 12 lignes et plus de 170 caractères, qui doivent être écrits en écriture cursive sur la peinture sans la moindre erreur. J'ai déjà testé de nombreux modèles ; dès que le nombre de caractères augmente, ils commencent à faire des fautes.

Le nombre de coupes de vin a été ajouté spécifiquement parce que la génération d'images par IA est notoirement mauvaise pour compter les objets.

De plus, la scène comprend de nombreux éléments : paysage fluvial, Li Bai, titre, sceau, poème entier et trois lignes en anglais, chacun devant occuper une position précise. J'ai également ajouté une contrainte à la fin : aucun autre texte autorisé, et un seul sceau.

Manche 1 : Les deux ont réussi

Lors de la première manche, j'ai demandé 2 coupes de vin sur la plateforme de pierre, et la dernière ligne en anglais devait être « Let us drink away the sorrows of all ages. »

Une fois les images générées, je les ai vérifiées une par une : aucune erreur dans le poème, un seul sceau, texte en anglais correct et exactement 2 coupes. Les deux modèles ont passé cette manche sans difficulté.

La différence résidait principalement dans l'esthétique. La version de MOSS-Image présentait des variations de densité d'encre et un espace blanc harmonieux, ressemblant à un véritable rouleau suspendu. GPT Image 2.5 semblait bon au premier coup d'œil, mais en zoomant, on remarquait des coups de pinceau plus plats, dépourvus du subtil effet de diffusion propre au lavis traditionnel.

Manche 2 : De petits changements révèlent de grandes différences

Ensuite, je n'ai modifié que deux choses :

1. Le nombre de coupes est passé de 2 à 4.
2. J'ai ajouté le mot « Cheers » après la dernière ligne en anglais.

Logiquement, ce sont des modifications minimes. Voici les résultats :

• MOSS-Image : A intégré les deux changements correctement. Exactement 4 coupes, ajout de « Cheers », et les 12 lignes de poésie ainsi que le sceau sont restés intacts.
• GPT Image 2.5 : A ajouté « Cheers », mais s'est trompé dans le compte des coupes. Il en fallait 4, il en a dessiné 5.

Bien sûr, il ne s'agit que d'un seul ensemble de prompts, qui ne représente pas tous les scénarios possibles. Mais en matière de « texte long associé à un contrôle précis », le modèle open source de 5B a livré une performance impressionnante.

Comment un petit modèle de 5B peut-il y parvenir ?

En repensant à ce test, la réussite de MOSS-Image lors des deux manches repose sur plusieurs capacités :

• Rendu précis du chinois et de l'anglais. Les 12 lignes de plus de 170 caractères chinois en écriture cursive ne comportaient aucune faute de frappe ni omission. Les trois dernières lignes en anglais et l'ajout de « Cheers » étaient également parfaitement lisibles.
• Compréhension complète des prompts longs. Il prend en charge des prompts allant jusqu'à 4K tokens. Mon prompt incluait le style, la scène, le titre, le poème, l'anglais et des contraintes négatives. Il a tout suivi du début à la fin sans perdre le fil. Ainsi, lorsque j'ai modifié le nombre de coupes et ajouté un mot lors de la deuxième manche, il a géré ces deux mises à jour sans perturber le reste.
• Style contrôlable. Ce test exigeait une texture de lavis sur papier de riz, et le modèle n'a pas dérivé vers un style photoréaliste ou 3D. Outre le style chinois traditionnel, il peut aussi gérer l'anime, l'illustration et le photoréalisme.

Si vous souhaitez l'utiliser dans votre travail, voici deux points à connaître : premièrement, il prend en charge une mise en page JSON structurée, permettant de spécifier directement les positions du texte et des éléments, ce qui améliore le contrôle de la composition pour les affiches, les images e-commerce et les couvertures de réseaux sociaux. Deuxièmement, les poids, le code et les guides d'utilisation des versions Base et SFT sont open source. SGLang et vLLM-Omni offrent une prise en charge dès le premier jour, ce qui facilite grandement le lancement d'un fine-tuning LoRA ou d'un développement secondaire.

Méthode de test et conseils pour les prompts

Le processus était simple : les deux modèles ont utilisé le même prompt. Après avoir exécuté la première manche, j'ai modifié deux détails et lancé la deuxième. MOSS-Image a généré l'image sur la plateforme d'essai officielle, tandis que GPT Image 2.5 l'a générée en ligne via ChatGPT.

Pour rédiger des prompts complexes comme celui-ci, j'ai trois conseils :

1. Définissez d'abord le style artistique et le support. Précisez papier de riz, lavis, pigments minéraux, et ajoutez « non photographique, non 3D » pour éviter que l'image ne dérive vers le réalisme.
2. Décrivez par zones. Décrivez la scène en bas à gauche, le titre et le sceau en haut à droite, le poème sur la moitié droite et l'anglais en bas. Séparer les blocs facilite le suivi pour le modèle.
3. Terminez par des contraintes négatives. Ajoutez « Aucun autre texte, pas de sceaux supplémentaires, pas de filigranes » à la fin pour garder l'image épurée.

Prompt complet

Voici le prompt complet utilisé lors de la première manche, prêt à être copié et testé :

1Une peinture traditionnelle chinoise à l'encre et au lavis sur papier xuan ivoire chaud, format rouleau suspendu vertical. Encre noire superposée, lavis gris doux, pigment minéral bleu-vert atténué, ocre pâle, fibres de papier visibles, bords d'encre humide estompés, texture de pinceau sec. Peint à la main, non photographique, non 3D.
2Scène dans la partie gauche et inférieure : un fleuve puissant jaillit de montagnes voilées de nuages, dessiné avec des lignes d'encre fluides et du papier vierge. Falaises érodées, pics lointains superposés, un pin courbé par le vent, brume flottante, une lune pâle derrière de fins nuages. Sur une terrasse rocheuse au bord de l'eau, un poète vêtu de robes amples couleur ivoire, portant un simple chignon, lève une petite coupe de vin vers le ciel. Une jarre à vin ronde en céramique et deux coupes reposent sur une pierre plate à côté de lui.
3En haut à droite : grand titre audacieux au pinceau 《将进酒》, en dessous le nom de l'auteur 李白, avec exactement un petit sceau vermillon portant l'inscription 诗酒 à côté du nom de l'auteur.
4Moitié droite : le poème complet dans une calligraphie chinoise régulière-cursive propre et clairement lisible, écrite en exactement 12 lignes horizontales, espacement régulier entre les lignes, chaque caractère correct, sur un papier vierge net :
5Ligne 1 : 君不见，黄河之水天上来，奔流到海不复回。
6Ligne 2 : 君不见，高堂明镜悲白发，朝如青丝暮成雪。
7Ligne 3 : 人生得意须尽欢，莫使金樽空对月。
8Ligne 4 : 天生我材必有用，千金散尽还复来。
9Ligne 5 : 烹羊宰牛且为乐，会须一饮三百杯。
10Ligne 6 : 岑夫子，丹丘生，将进酒，杯莫停。
11Ligne 7 : 与君歌一曲，请君为我倾耳听。
12Ligne 8 : 钟鼓馔玉不足贵，但愿长醉不复醒。
13Ligne 9 : 古来圣贤皆寂寞，惟有饮者留其名。
14Ligne 10 : 陈王昔时宴平乐，斗酒十千恣欢谑。
15Ligne 11 : 主人何为言少钱，径须沽取对君酌。
16Ligne 12 : 五花马，千金裘，呼儿将出换美酒，与尔同销万古愁。
17En bas au centre, petit texte anglais serif gris foncé sur trois lignes :
18BRING IN THE WINE
19Li Bai
20Let us drink away the sorrows of all ages.
21Aucun autre texte, pas de sceaux supplémentaires, pas de filigranes ailleurs dans la peinture.

Pour la deuxième manche, seuls deux changements ont été effectués :

1. Remplacement de « deux coupes » par « quatre coupes » dans la description de la scène.
2. Ajout de « Cheers » après la dernière ligne en anglais.

Tout le reste est demeuré inchangé.

À vous de jouer

Un modèle open source de 5B est capable d'écrire l'intégralité du poème « Bring in the Wine » sur un rouleau à l'encre de Chine, en comptant les coupes avec une précision absolue.

Actuellement, MOSS-Image a dépassé les 700 000 téléchargements sur ComfyUI. Ne me croyez pas sur parole, essayez-le vous-même 👇

🤗 Essai gratuit en ligne : https://huggingface.co/spaces/OpenMOSS-Team/MOSS-Image

⭐ GitHub pour les poids et le code : https://github.com/OpenMOSS/MOSS-Image

Qu'allez-vous créer avec ? Partagez vos images dans les commentaires. Levons nos coupes ensemble. Santé 🍶

#MOSS-Image #AIGC