Что такое Hypit?
Hypit — это проект с открытым исходным кодом, который позволяет AI-агентам создавать видео. Вы предоставляете Codex референсные видео, изображения персонажей и требования, а агент использует Hypit для организации генерации ассетов, монтажа, добавления субтитров и эффектов «картинка в картинке», в итоге экспортируя готовое видео.
Также сохраняется редактируемый файл проекта. Если позже вы захотите изменить субтитры или скорректировать эффект «картинка в картинке», вы сможете повторно использовать уже созданные ассеты и продолжить работу над ними.
Адрес репозитория: hypit-ai/hypit
Сначала посмотрите на результат. Слева — оригинальное видео от «Chao Ge Shuo Che» (Брат Чао рассказывает об автомобилях), справа — моя реплика с использованием персонажа «Хань Ли».
Это было сделано с помощью моего собственного API Minimax H3. Если вы будете использовать официальный API или SeedDance, результаты будут еще лучше.
Ниже мы начнем с установки и полностью пройдем весь процесс настройки. Конфигурация модели имеет два пути: использование встроенных сервисов, если у вас есть кредиты Hypit, или подключение собственного API, если их нет. В этом примере мы следуем пути использования собственного API.
- Уточнение ролей: за что отвечают Hypit, Codex и генеративные модели?
Нам нужно сначала четко определить специфические обязанности каждого инструмента в пайплайне, чтобы избежать путаницы:
- Роль Codex: Как помощник по написанию кода и инженерному исполнению, Codex анализирует запросы пользователя на естественном языке, проверяет и настраивает локальную среду разработки, читает и разбивает раскадровку референсных видео, генерирует и модифицирует исходные файлы проекта, а также организует вызовы базовых движков для завершения автоматизированных пайплайнов.
- Роль моделей изображений и видео: Они несут ответственность за генерацию статических визуальных ассетов и динамических сцен. В этом примере модель изображений генерирует первый кадр мужчины в древних одеждах в современной студии прямых трансляций, а модель видео превращает этот первый кадр в анимацию говорящего стримера и генерирует внешние кадры с трафиком на основе промптов.
- Роль движка Hypit: Как центральный оркестратор, Hypit записывает все зависимости сгенерированных ассетов, определяет последовательность кадров и тайминги переходов, контролирует время появления и вид субтитров, управляет позиционированием, слоями и масками со скругленными углами для эффекта «картинка в картинке», а также вызывает рендерер для композитинга финального видео, когда все ассеты готовы.
Чтобы учесть разные условия пользователей, этот учебник явно разделяет конфигурацию генеративных моделей на два независимых пути:
- Путь A: У вас есть доступные кредиты в аккаунте Hypit, и вы напрямую вызываете встроенные хостинговые модели через официальный сервис HypiHub.
- Путь B: У вас нет кредитов платформы Hypit, и вы явно настраиваете и подключаете свои собственные сторонние API-интерфейсы.
Вам нужно выбрать только один путь (A или B), соответствующий вашим условиям, завершить настройку, а затем объединиться с общим рабочим процессом производства и оркестрации.
- Подготовка и спецификации ассетов
Перед началом подготовьте Codex, четкое референсное видео и целевое изображение персонажа, которого вы хотите подставить.
Референсные изображения персонажей должны быть фотографиями одного человека с четкими чертами лица, равномерным освещением и хорошо различимыми деталями одежды/прически. Поскольку референсные изображения не содержат информации о движении, не предполагайте, что модель автоматически воспроизведет пожатия плечами, жесты рук и т.д. оригинального ведущего только на основе статичного изображения.
Если вы планируете публиковать результат публично и не хотите использовать голос оригинального ведущего, запишите аудио для замены диалогов перед формальным производством. Изменение аудио закадрового голоса меняет паузы произношения и длительности сегментов, требуя повторной синхронизации монтажных стыков и времени субтитров.
- Установка
Выполните команду глобальной установки официального Skill:
npx skills add hypit-ai/hypit -g
Обратитесь к репозиторию Hypit для точек входа установки и к Официальному руководству по быстрому старту для подробных шагов процесса.
Путь A: С кредитами Hypit, используя встроенные сервисы
Если у вас есть кредиты, вы можете позволить Codex напрямую использовать встроенные сервисы Hypit без настройки собственного API.
Пожалуйста, используйте встроенные сервисы Hypit, чтобы помочь мне войти в систему, проверить доступные модели и кредиты. Сначала сообщите мне расчетное потребление, а затем начинайте генерацию.
Путь B: Без кредитов Hypit, используя свой собственный API
В этот раз я следовал пути использования собственного API: использовал Google для генерации изображений и MiniMax H3 Max от ZenMux для генерации видео.
Я сначала поручил Codex настроить интерфейсы, подтвердил, что модели можно вызывать, а затем продолжил производство.
Используйте API Google для генерации изображений и MiniMax H3 Max от ZenMux для видео. Пожалуйста, помогите мне завершить настройку и проверить доступность. Если требуется платное тестирование, сначала объясните затраты.
Передача оригинального видео и изображения Хань Ли в Codex
Затем я отправил ссылку на видео «Chao Ge Shuo Che» и изображение Хань Ли вместе в Codex, указав, что нужно реплицировать только первые 20 секунд.
Пожалуйста, реплицируйте первые 20 секунд этого видео, заменив персонажа предоставленным мной изображением Хань Ли. Сохраните оригинальную композицию, ритм монтажа, субтитры и эффект «картинка в картинке». Оставьте оригинальное аудио. Выполните все операции в рамках одного проекта Hypit.
Четко определите объем репликации; иначе для оригинального видео длиной более 10 минут Codex может спланировать обработку всей длины.
Проверка первых кадров перед генерацией видео
Я поручил Codex разбить кадры и сгенерировать четыре первых кадра: Хань Ли в студии прямых трансляций, городской трафик на закате, белый Mercedes в туннеле и дневной уличный трафик.
Этот шаг предназначен в основном для проверки того, правильно ли выглядит персонаж, корректна ли одежда и не сместились ли сцены. Если первые кадры неудовлетворительны, сначала исправьте их, прежде чем продолжать генерацию динамического видео.
Пожалуйста, сначала покажите первые кадры четырех сцен. Сохраните лицо Хань Ли, длинные волосы и сине-золотые одежды. Кадры с автомобилями не должны включать оригинального ведущего, субтитры или эффект «картинка в картинке»; они будут добавлены единообразно Hypit позже.
[Вставьте здесь первый кадр Хань Ли в студии прямых трансляций]
Генерация сегментов через Codex, затем композитинг с помощью Hypit
После подтверждения первых кадров я поручил Codex сгенерировать четыре сегмента с ведущим и три сегмента с автомобилями, запрашивая по 5 секунд каждый, а затем использовал Hypit для композитинга финальных 20 секунд.
Модели генерируют визуальные элементы; Hypit обрабатывает монтаж, субтитры и эффект «картинка в картинке».
Пожалуйста, сгенерируйте динамические ассеты согласно подтвержденным первым кадрам и бюджету, а затем соберите 20-секундное видео, следуя оригинальному ритму. Когда появляются кадры с автомобилями, поместите Хань Ли в центральную нижнюю часть как «картинку в картинке», с оригинальным аудио и субтитрами. Повторно используйте уже сгенерированные ассеты напрямую; не перегенерируйте их.
В этот раз, от референсного видео до финальной версии с Хань Ли, мои основные задачи заключались в том, чтобы давать требования Codex, просматривать результаты и указывать ему, что нужно скорректировать.
Hypit оставляет после себя не просто видео, а редактируемый проект. В следующий раз, когда вы захотите изменить персонажей, отредактировать субтитры или скорректировать эффект «картинка в картинке», вы сможете продолжить работу с этого проекта.
Конечно, текущие действия и синхронизация губ еще не достигли уровня репликации 1:1; использование лучших моделей, таких как серия Seedance, значительно улучшит это. Если вам интересно, попробуйте сначала найти короткое видео на 10–20 секунд, чтобы увидеть, какие шаги оно сэкономит вам.
Адрес проекта: hypit-ai/hypit. Если вы считаете его полезным, рассмотрите возможность поставить звезду проекту.
