Сьогодні DeepSeek відкрили вихідний код свого інференс-фреймворку продакшн-рівня — DeepInfer. Багато хто обговорює, як запускати потужніші моделі з меншими обчислювальними витратами.
Збіг обставин: я якраз тестував іншу open-source модель, що рухається тим самим шляхом — MOSS-Image, яка має лише 5B параметрів. Я дав їй та нібито найпотужнішій закритій моделі GPT Image 2.5 одне й те саме складне завдання.
Результат: GPT Image 2.5 провалилася у другому раунді, тоді як маленька open-source модель на 5B двічі бездоганно відтворила весь вірш «Принеси вино». Якби Лі Бай це побачив, він би, мабуть, випив ще триста чарок.
Промпт був таким: Створи сцену, де Лі Бай підіймає чарку біля річки, у стилі тушевого сувоя. Напиши повний текст вірша «Принеси вино» у 12 рядках каліграфії, додавши назву, ім'я автора, одну червону печатку та три рядки англійського тексту. На кам'яній платформі має бути рівно 4 винні чарки — ані більше, ані менше.
Спочатку я думав, що закрита модель переможе без зусиль. У першому раунді обидві показали приблизно однаковий результат. Але в другому, коли я змінив лише дві деталі, GPT Image 2.5 збилася з ліку чарок, тоді як MOSS-Image впоралася правильно обидва рази.
Нижче наведено 2 зображення, згенеровані MOSS-Image
Нижче наведено 2 зображення, згенеровані GPT Image 2.5
Чому цей тест такий складний?
Я навмисно склав промпт так, щоб він був важким.
Цей відомий вірш складається з 12 рядків і понад 170 ієрогліфів, які потрібно написати скорописом прямо на картині без жодної помилки. Я раніше тестував багато моделей: щойно кількість символів зростає, вони починають помилятися.
Кількість чарок я додав спеціально, адже ШІ-генерація зображень сумнозвісно погано справляється з підрахунком об'єктів.
До того ж сцена містить безліч елементів: річковий пейзаж, Лі Бай, назва, печатка, цілий вірш і три рядки англійською, кожен із яких має своє конкретне місце. А наприкінці я додав обмеження: жодного іншого тексту не дозволено, і лише одна печатка.
Раунд 1: Обидві пройшли
У першому раунді я попросив 2 винні чарки на кам'яній платформі, а останнім рядком англійською мав бути "Let us drink away the sorrows of all ages."
Коли зображення були готові, я перевірив їх одне за одним: жодних помилок у вірші, лише одна печатка, правильний англійський текст і рівно 2 чарки. Обидві моделі пройшли цей раунд без проблем.
Різниця полягала переважно в естетиці. Версія MOSS-Image мала різну насиченість туші та гармонійний порожній простір, виглядаючи як справжній настінний сувій. GPT Image 2.5 на перший погляд теж виглядала добре, але при наближенні мазки виявилися пласкішими, без тонкого ефекту розтікання, притаманного традиційному тушовому живопису.
Раунд 2: Маленькі зміни виявили велику різницю
Далі я змінив лише дві речі:
- Змінив кількість чарок з 2 на 4.
- Додав слово "Cheers" після останнього рядка англійською.
Логічно, це мінімальні зміни. Ось результати:
- MOSS-Image: Правильно врахувала обидві зміни. Рівно 4 чарки, додано "Cheers", а 12 рядків вірша та печатка залишилися недоторканими.
- GPT Image 2.5: Додав "Cheers", але зіпсував підрахунок чарок. Потрібно було 4, а намалював 5.
Звісно, це лише один набір промптів, який не охоплює всі можливі сценарії. Але в контексті «довгого тексту плюс точного контролю» open-source модель на 5B показала вражаючий результат.
Як маленька модель на 5B це робить?
Якщо подивитися на цей тест, успіх MOSS-Image в обох раундах спирається на кілька можливостей:
- Точне відтворення китайського/англійського тексту. 12 рядків із понад 170 китайських ієрогліфів скорописом — без жодної помилки чи пропуску. Три нижні рядки англійською та додане "Cheers" також вийшли чіткими.
- Повне розуміння довгих промптів. Вона підтримує промпти до 4K токенів. Мій промпт включав стиль, сцену, назву, вірш, англійський текст і негативні обмеження. Модель дотрималася всього від початку до кінця, не загубивши жодної деталі. Тому, коли в другому раунді я змінив кількість чарок і додав слово, вона обробила обидві зміни, не порушивши решту композиції.
- Контрольований стиль. Цей тест вимагав текстури тушового живопису на рисовому папері, і модель не «зісковзнула» у фотореалізм чи 3D. Окрім традиційного китайського стилю, вона також вміє працювати з аніме, ілюстраціями та фотореалізмом.
Якщо ви хочете використовувати її у своїй роботі, варто знати два моменти. По-перше, вона підтримує структурований JSON Layout, що дозволяє напряму задавати позиції тексту та елементів, покращуючи контроль над композицією для постерів, зображень для e-commerce та обкладинок у соцмережах. По-друге, ваги, код та інструкції з використання для версій Base і SFT є у відкритому доступі. SGLang та vLLM-Omni забезпечують підтримку з першого дня (Day 0), тому LoRA-файнтюнінг або вторинна розробка стають дуже простими для старту.
Методика тестування та поради щодо промптів
Процес був простим: обидві моделі отримали однаковий промпт. Після першого раунду я змінив дві деталі та запустив другий. MOSS-Image генерувалася на офіційній платформі для тестування, а GPT Image 2.5 — онлайн у ChatGPT.
Щодо написання таких складних промптів, у мене є три поради:
- Спочатку визначте художній стиль і матеріал. Вкажіть рисовий папір, туш, мінеральні пігменти та додайте "not photographic, not 3D", щоб зображення не перетворилося на реалістичне фото.
- Описуйте по зонах. Опишіть сцену внизу ліворуч, назву та печатку вгорі праворуч, вірш у правій половині, а англійський текст — внизу. Розбиття на блоки полегшує моделі виконання інструкцій.
- Завершуйте негативними обмеженнями. Додайте в кінці "No other text, no extra seals, no watermarks", щоб зберегти зображення чистим.
Повний промпт
Ось повний промпт, використаний у першому раунді — можете скопіювати його та спробувати самостійно:
1Традиційний китайський тушовий живопис на теплому слоново-кістяному папері сюань, формат високого вертикального сувоя. Багатошарова чорна туш, м'які сірі розмивки, приглушений синьо-зелений мінеральний пігмент, бліда вохра, видимі волокна паперу, пухнасті краї вологої туші, текстура сухого пензля. Намальовано вручну, не фотографія, не 3D.2Сцена в лівій та нижній частині: могутня річка виривається з оповитих хмарами гір, намальована плавними лініями туші та порожнім папером. Вивітрені скелі, багатошарові далекі піки, зігнута вітром сосна, мандрівний туман, блідий місяць за тонкими хмарами. На кам'янистій терасі біля річки поет у вільному одязі кольору слонової кістки з простим вузлом волосся на голові підіймає маленьку винну чарку до неба. Кругла керамічна посудина з вином і дві чарки стоять на пласкому камені поруч із ним.3Верхній правий кут: велика смілива назва пензлем 《将进酒》, під нею ім'я автора 李白, і рівно одна маленька червона печатка з написом 诗酒 поруч з іменем автора.4Права половина: повний вірш чистим, легко читабельним китайським каліграфічним напівскорописом, написаний рівно у 12 горизонтальних рядках, з рівномірними інтервалами, кожен ієрогліф правильний, на чистому порожньому папері:5Рядок 1: 君不见，黄河之水天上来，奔流到海不复回。6Рядок 2: 君不见，高堂明镜悲白发，朝如青丝暮成雪。7Рядок 3: 人生得意须尽欢，莫使金樽空对月。8Рядок 4: 天生我材必有用，千金散尽还复来。9Рядок 5: 烹羊宰牛且为乐，会须一饮三百杯。10Рядок 6: 岑夫子，丹丘生，将进酒，杯莫停。11Рядок 7: 与君歌一曲，请君为我倾耳听。12Рядок 8: 钟鼓馔玉不足贵，但愿长醉不复醒。13Рядок 9: 古来圣贤皆寂寞，惟有饮者留其名。14Рядок 10: 陈王昔时宴平乐，斗酒十千恣欢谑。15Рядок 11: 主人何为言少钱，径须沽取对君酌。16Рядок 12: 五花马，千金裘，呼儿将出换美酒，与尔同销万古愁。17Внизу по центру, дрібний темно-сірий англійський текст із засічками у три рядки:18BRING IN THE WINE19Li Bai20Let us drink away the sorrows of all ages.21Жодного іншого тексту, жодних додаткових печаток, жодних водяних знаків будь-де на картині.
Для другого раунду було внесено лише дві зміни:
- В описі сцени "two cups" (дві чарки) замінено на "four cups" (чотири чарки).
- Після останнього рядка англійською додано "Cheers".
Все інше залишилося без змін.
Ваша черга
Open-source модель на 5B здатна вписати весь вірш «Принеси вино» у тушовий сувій, ідеально точно порахувавши чарки.
Наразі MOSS-Image перевищила позначку у 700 000 завантажень на ComfyUI. Не вірте мені на слово — спробуйте самі 👇
🤗 Безкоштовне онлайн-тестування: https://huggingface.co/spaces/OpenMOSS-Team/MOSS-Image
⭐ GitHub для ваг та коду: https://github.com/OpenMOSS/MOSS-Image
А що створите ви? Діліться своїми зображеннями в коментарях. Піднімемо чарки разом. Будьмо 🍶
