Видео может стать отправной точкой для мира, который вы способны изменить. Дайте ИИ-агенту по написанию кода референс, позвольте ему изучить кадры и попросите воссоздать сцену в виде процедурного кода. Затем измените камеру, освещение, материалы или движение и отрендерите всё заново.
Именно в этом заключается идея Video 2 GLSL — рабочего процесса «от референса к шейдеру», который я разрабатываю на базе shader-skills. Самое интересное здесь то, какая часть этого процесса переносится на следующее видео.
https://x.com/gokayfem/status/2111907592129671505
Два элемента, которые работают вместе
shader-skills предоставляет агентам по написанию кода библиотеку графических техник, рабочие примеры и процесс создания и проверки процедурных шейдеров. Video 2 GLSL добавляет задачу, управляемую референсом: изучить клип, вывести спецификацию, построить сцену, а затем сравнить результат с оригинальным видео.
Этот навык поддерживает Claude Code, Codex, Cursor, Gemini и других агентов по написанию кода. Его переиспользуемые компоненты охватывают формы, шум, материалы, ландшафт, здания, воду, облака, освещение и цвет. Вы можете применять их для создания оригинальной сцены, интерактивного эксперимента или воссоздания видео.
Для автономной задачи Video 2 GLSL результатом является один фрагментный шейдер, совместимый с Shadertoy. Геометрия описывается математически, поверхности создаются процедурно, а анимация управляется временем. Референсное видео служит визуальной спецификацией; сами его кадры внутри шейдера не воспроизводятся.
Начните с превращения видео в спецификацию
Первый шаг — надежное извлечение кадров. URL-адрес или имя файла видео дают агенту слишком мало информации для работы. Ему нужно увидеть, что именно появляется в кадре и как это меняется со временем.
Переиспользуемый промпт требует создать файл REFERENCE.md до написания кода сцены: факты о клипе, таймлайн кадров, перечень объектов, пропорции субъектов, движение, кадрирование, освещение и сэмплированную палитру. Он также просит агента определить, что невозможно воспроизвести в точности, и предложить замены на утверждение.
Наблюдения меняются в зависимости от клипа. Для кадра с персонажем нужны точки контакта с поверхностью, длина шага и вторичное движение. Для архитектурного плана важны пропорции, перспектива и движение камеры. Для кадра с водой требуется внимание к движению поверхности, отражениям и глубине. Один и тот же процесс разбора дает каждому из них конкретную отправную точку.
Дайте агенту проверенные графические строительные блоки
Правдоподобно выглядящая формула всё равно может генерировать небезопасное поле расстояний, нестабильный шум или неверный цвет. Такие ошибки становится сложнее изолировать, когда они оказываются внутри большой сцены.
Сейчас shader-skills включает 186 функций в 20 модулях GLSL. Агент может найти нужную технику, вызвать библиотечную функцию по имени и использовать бандлер, чтобы включить все её зависимости в один самодостаточный шейдер.
Библиотека содержит функции знакового расстояния (SDF) для форм, операторы для их объединения, процедурный шум и паттерны, вспомогательные функции для реймарчинга, затенения, атмосферы и преобразования цвета. Шаблоны показывают, как эти элементы работают вместе в полноценных сценах.
Валидация охватывает компиляцию в WebGL2 и численные свойства на GPU: знаки и границы поля расстояний, производные шума, циклические преобразования цвета и другое проверяемое поведение. Отрендеренные примеры добавляют визуальный контроль. Эти проверки делают компоненты более надежными, хотя финальная сцена всё равно требует осмотра.
Постройте цикл обратной связи вокруг рендерера
Рабочий процесс проходит через этапы блокаутов и таймингов, движения, детализации субъекта, детализации окружения, света и цвета, сопоставления с референсом и производительности. Каждая веха дает видимый результат для оценки.
Референс и рендер следует сравнивать в одно и то же время и в одном кадрировании. Используйте полные кадры для оценки композиции, кропы — для формы объектов и материалов, а последовательности кадров — для движения. Один красивый статичный кадр может скрывать скользящие ноги, скачок камеры или взаимодействие, которое происходит слишком рано.
Промпт требует многократной критики: выявить пять самых больших отличий, исправить их и отрендерить заново. Измерения помогают в этом обзоре. Размер субъекта и положение горизонта позволяют диагностировать ошибки камеры; сэмплированные цвета помогают оценить цветокоррекцию; пробы движения выявляют разрывы.
Здесь важна быстрая итерация. Превью в низком разрешении и изолированные виды объектов позволяют скорректировать пропорции до того, как вы запустите ресурсоемкий рендер. Проверяйте силуэты и пропорции объектов перед тем, как полировать материалы и освещение.
Разделяйте сложные сцены по зонам ответственности
Большие сцены выигрывают от работы нескольких агентов над отдельными частями: субъектом, окружением, реквизитом, движением или освещением. Разделение должно соответствовать потребностям сцены.
Общие интерфейсы обеспечивают совместимость этой работы. Договоритесь о масштабе, координатах, таймингах и идентификаторах материалов, закрепите за каждым агентом его файлы и требуйте доказательств на основе реальных рендеров. Оркестратор может интегрировать части и оценивать итоговое изображение по сравнению с референсом.
Главный переиспользуемый урок здесь — структура ревью: кто-то обязательно должен оценивать весь кадр целиком. Детально проработанное здание или убедительный персонаж всё равно могут не подходить для общей композиции.
Что доказывают эксперименты
На данный момент работа включает последовательность с парящим островом и меняющимися действиями, сцену в деревне с взаимодействиями и бесконечный цикл улицы. Их требования различаются: тайминг событий, фиксированные точки контакта, переходы камеры и точное повторение — всё это требует разной логики сцены. Степень их завершенности и визуальное качество тоже отличаются.
Но во всех них остается полезным один и тот же процесс: извлечь, измерить, собрать, отрендерить, сравнить и исправить. В репозитории также есть примеры процедурного города, ландшафта и воды, а отдельные интерактивные эксперименты исследуют органические формы и изображения черных дыр.
Что становится редактируемым, а что остается неопределенным
Когда сцена существует в виде кода, вы можете вывести элементы управления для положения камеры, направления света, палитры, таймингов и процедурных деталей. Эксперимент с улицей продемонстрировал альтернативные ракурсы камеры на основе одной и той же построенной сцены.
Эти новые ракурсы также выявляют ограничения реконструкции. Референс показывает лишь часть мира. Скрытые поверхности приходится додумывать, а сгенерированное ИИ видео может содержать меняющуюся геометрию или непоследовательное движение. Убедительное совпадение с одного угла не означает, что создана полная и точная сцена.
Производительность — еще один параметр, зависящий от конкретной сцены. Детализированная геометрия на реймарчинге, растительность, тени и отражения могут быть очень ресурсоемкими. Измеряйте время кадра на целевой машине, проверяйте разные моменты в сцене и сообщайте о недостижении целевых показателей наряду с оставшимися визуальными отличиями.
Video 2 GLSL — это переиспользуемый рабочий процесс создания контента. Его надежность при работе с произвольными видеоматериалами всё еще требует более широкой оценки. Текущая работа дала нам несколько конкретных экспериментов и общий метод для дальнейшего улучшения.
Попробуйте с собственным референсом
Для Claude Code добавьте маркетплейс и установите плагин:
claude plugin marketplace add gokayfem/shader-skills
claude plugin install shader-skills@shader-skills
Для других поддерживаемых агентов:
npx skills add gokayfem/shader-skills
Используйте prompts/video-to-shader-prompt.md, предоставьте референсный клип, имя выходного файла и целевую машину, а также укажите, что обязательно должно остаться, а чем можно пренебречь. Проверьте разбор сцены до начала реализации.
Я хочу продолжать развивать этот подход, чтобы он стал надежным способом превращения визуальных референсов в редактируемые процедурные сцены. Каждая реконструкция должна оставлять после себя лучшие инструменты, тесты и техники, которые можно будет переиспользовать в следующей.
Репозиторий: github.com/gokayfem/shader-skills
