Що таке Hypit?
Hypit — це проєкт із відкритим кодом, який дозволяє AI-агентам створювати відео. Ви надаєте Codex референтні відео, зображення персонажів та вимоги, а агент використовує Hypit для організації генерації ресурсів, редагування, субтитрів і ефектів «картинка в картинці», після чого експортує готове відео.
Він також залишає після себе редагований файл проєкту. Якщо ви захочете пізніше змінити субтитри або налаштувати «картинку в картинці», ви можете повторно використати згенеровані ресурси та продовжити їх редагування.
Адреса відкритого коду: hypit-ai/hypit
Спершу погляньте на кінцевий результат. Зліва — оригінальне відео каналу «Chao Ge Shuo Che» (Брат Чао розповідає про авто), а справа — моя репліка з використанням персонажа «Хан Лі».
Це зроблено за допомогою мого власного API Minimax H3. Якщо ви скористаєтесь офіційним API або SeedDance, результати будуть ще кращими.
Нижче ми почнемо з встановлення та детально пройдемо весь процес роботи. Конфігурація моделі має два шляхи: використовуйте вбудовані сервіси, якщо у вас є кредити Hypit, або підключіть свій власний API, якщо їх немає. Цей приклад фактично слідує шляху використання власного API.
- Визначення ролей: що роблять Hypit, Codex та моделі генерації?
Нам потрібно спочатку чітко визначити специфічні обов’язки кожного інструменту в пайплайні, щоб уникнути плутанини:
- Роль Codex: Як помічник з написання коду та інженерної виконавчої частини, Codex аналізує запити користувача природною мовою, перевіряє та налаштовує локальне середовище розробки, читає та розкладає структуру раскадровки референтних відео, генерує та модифікує вихідні файли проєкту, а також організовує виклики базових рушіїв для автоматизації конвеєра обробки.
- Роль моделей зображень та відео: Відповідають безпосередньо за генерацію статичних візуальних ресурсів та динамічних сцен. У цьому прикладі модель зображень генерує перший кадр чоловіка в старовинному костюмі в сучасній студії прямих ефірів, тоді як модель відео оживляє цей перший кадр до анімації стримера, що говорить, та генерує зовнішні плани трафіку на основі підказок.
- Роль рушія Hypit: Як центральний оркестратор, Hypit записує всі залежності згенерованих ресурсів, визначає послідовність кадрів та таймінги переходів, контролює час появи та вигляд субтитрів, керує позицією, шарами та масками заокруглених кутів для «картинки в картинці», а також викликає базовий рендерер для композитування фінального відео після того, як усі ресурси будуть готові.
Щоб врахувати різні умови читачів, цей навчальний посібник явно розділяє конфігурацію моделей генерації на два незалежні шляхи:
- Шлях A: У вашому акаунті Hypit доступні кредити, і ви напряму викликаєте вбудовані хостингові моделі через офіційний сервіс HypiHub.
- Шлях B: У вас немає кредитів платформи Hypit, і ви явно налаштовуєте та підключаєте свої власні сторонні інтерфейси API.
Вам потрібно обрати лише один шлях (A або B), який відповідає вашим умовам, завершити конфігурацію, а потім перейти до загального робочого процесу виробництва та оркестрації.
- Підготовка та специфікації ресурсів
Перед початком підготуйте Codex, чітке референтне відео та цільове зображення персонажа, яким ви хочете замінити оригінального ведучого.
Референтні зображення персонажа бажано мають бути фото однієї людини з виразними рисами обличчя, рівномірним освітленням та чіткими деталями одягу/волосся. Оскільки референтні зображення не містять інформації про рух, не очікуйте, що модель автоматично відтворить пожимання плечима, жести руками тощо оригінального ведучого лише зі статичного зображення.
Якщо ви плануєте опублікувати результат публічно і не хочете використовувати голос оригінального ведучого, запишіть аудіо замінної діалогової доріжки перед початком формального виробництва. Зміна аудіодоріжки озвучення впливає на паузи вимови та тривалість сегментів, тому знадобиться повторне вирівнювання склейок та таймінгів субтитрів.
- Встановлення
Виконайте команду глобального встановлення офіційного Skill:
npx skills add hypit-ai/hypit -g
Зверніться до репозиторію Hypit щодо точок входу для встановлення та до Офіційного Посібника Початківця для детальних кроків процесу.
Шлях A: З кредитами Hypit, використання вбудованих сервісів
Якщо у вас є кредити, ви можете дозволити Codex використовувати вбудовані сервіси Hypit напряму, без налаштування власного API.
Будь ласка, використовуй вбудовані сервіси Hypit, щоб допомогти мені увійти в систему, перевірити доступні моделі та кредити. Спочатку повідом мені приблизну витрату, а потім починай генерацію.
Шлях B: Без кредитів Hypit, використання власного API
Цього разу я пішов шляхом власного API: використовував Google для генерації зображень та MiniMax H3 Max від ZenMux для генерації відео.
Спочатку я доручив Codex налаштувати інтерфейси, переконався, що моделі можна викликати, а потім продовжив виробництво.
Використовуй Google API для генерації зображень та MiniMax H3 Max від ZenMux для відео. Будь ласка, допоможи мені завершити налаштування та перевірити доступність. Якщо потрібне платне тестування, спочатку поясни витрати.
Надайте Codex оригінальне відео та зображення Хан Лі
Далі я надіслав посилання на відео «Chao Ge Shuo Che» та зображення Хан Лі разом до Codex, вказавши, що потрібно відтворити лише перші 20 секунд.
Будь ласка, відтвори перші 20 секунд цього відео, замінивши персонажа на надане мною зображення Хан Лі. Збережи оригінальну композицію, ритм монтажу, субтитри та «картинку в картинці». Залиш оригінальний звук. Виконай всі операції в межах одного проєкту Hypit.
Чітко визначте масштаб відтворення; інакше для оригінального відео тривалістю понад 10 хвилин Codex може запланувати роботу на всю його довжину.
Перевірте перші кадри перед генерацією відео
Я доручив Codex розбити на кадри та згенерувати чотири перші кадри: Хан Лі в студії прямого ефіру, вечірній міський трафік, білий Mercedes у тунелі та денний вуличний трафік.
Цей крок переважно призначений для перевірки того, чи правильно виглядає персонаж, чи коректний одяг і чи не змістилися сцени. Якщо перші кадри незадовільні, спершу виправте їх, перш ніж продовжувати генерацію динамічного відео.
Будь ласка, спочатку покажи перші кадри чотирьох сцен. Збережи обличчя, довге волосся та синьо-золоті шати Хан Лі. Кадри з автомобілями не повинні включати оригінального ведучого, субтитри чи «картинку в картинці»; ці елементи Hypit додасть одноразово пізніше.
[Вставте тут перший кадр Хан Лі в студії прямого ефіру]
Нехай Codex згенерує сегменти, а потім складіть їх за допомогою Hypit
Після підтвердження перших кадрів я доручив Codex згенерувати чотири сегменти з ведучим та три сегменти з автомобілями, запитуючи по 5 секунд кожен, а потім використав Hypit для композитування фінальних 20 секунд.
Моделі генерують візуальну частину; Hypit обробляє монтаж, субтитри та «картинку в картинці».
Будь ласка, згенеруй динамічні ресурси відповідно до підтверджених перших кадрів та бюджету, а потім складай 20-секундне відео, дотримуючись оригінального ритму. Коли з'являються кадри з автомобілями, розмісти Хан Лі в центрі нижньої частини екрана як «картинку в картинці», з оригінальним звуком та субтитрами. Повторно використовуй вже згенеровані ресурси напряму; не генеруй їх заново.
Цього разу моїми основними завданнями від референтного відео до фінальної версії з Хан Лі були: надання вимог Codex, перегляд результатів та вказівка йому, що потребує коригування.
Hypit залишає після себе не просто відео, а редагований проєкт. Наступного разу, коли ви захочете змінити персонажів, відредагувати субтитри або налаштувати «картинку в картинці», ви зможете продовжити роботу з цього проєкту.
Звичайно, поточні дії та синхронізація губ ще не досягли 1:1 відтворення; використання кращих моделей, таких як серія Seedance, значно покращить цей аспект. Якщо вам цікаво, спробуйте спершу знайти коротке відео тривалістю 10–20 секунд, щоб побачити, які кроки воно вам заощадить.
Адреса проєкту: hypit-ai/hypit. Якщо ви вважаєте його корисним, подумайте про те, щоб поставити зірочку проєкту.
