Cos'è Hypit?
Hypit è un progetto open-source che consente agli Agenti AI di creare video. Fornisci a Codex video di riferimento, immagini dei personaggi e requisiti specifici, e l'Agente può utilizzare Hypit per organizzare la generazione degli asset, il montaggio, i sottotitoli e gli effetti picture-in-picture, esportando infine il video.
Lascia anche dietro di sé un file di progetto modificabile. Se in seguito vuoi cambiare i sottotitoli o regolare il picture-in-picture, puoi riutilizzare gli asset generati e continuare a modificarli.
Indirizzo Open Source: hypit-ai/hypit
Prima di tutto, diamo un'occhiata al risultato finale. A sinistra c'è il video originale di "Chao Ge Shuo Che" (Fratello Chao parla di auto), mentre a destra c'è la mia replica utilizzando il personaggio "Han Li".
Questo è stato realizzato usando la mia API Minimax H3 personale. Se usi l'API ufficiale o SeedDance, i risultati saranno ancora migliori.
Di seguito, partiamo dall'installazione e percorriamo l'intera operazione passo dopo passo. La configurazione del modello ha due percorsi: usa i servizi integrati se hai crediti Hypit, oppure collega la tua API se non ne hai. Questo esempio segue effettivamente il percorso dell'API propria.
- Chiarire i Ruoli: Cosa gestiscono rispettivamente Hypit, Codex e i Modelli di Generazione?
Dobbiamo prima chiarire le responsabilità specifiche di ogni strumento nella pipeline per evitare confusione:
- Ruolo di Codex: Come assistente per l'esecuzione di codice e ingegneria, Codex analizza le richieste degli utenti in linguaggio naturale, controlla e configura l'ambiente di sviluppo locale, legge e scompone la struttura dello storyboard dei video di riferimento, genera e modifica i file sorgente del progetto e organizza le chiamate ai motori sottostanti per completare le pipeline automatizzate.
- Ruolo dei Modelli Immagine & Video: Sono specificamente responsabili della generazione di asset visivi statici e scene dinamiche. In questo esempio, il modello di immagine genera il primo fotogramma di un uomo in costume antico in una stanza di livestream moderna, mentre il modello video trasforma quel primo fotogramma in un'animazione di uno streamer parlante e genera riprese esterne del traffico basandosi sui prompt.
- Ruolo del Motore Hypit: Come centro di orchestrazione principale, Hypit registra tutte le dipendenze degli asset generati, definisce le sequenze delle inquadrature e gli orologi di transizione, controlla la tempistica di visualizzazione e l'aspetto dei sottotitoli, gestisce la posizione, il livello e le maschere con angoli arrotondati del picture-in-picture, e chiama il renderer sottostante per comporre il video finale una volta che gli asset sono pronti.
Per adattarsi alle diverse condizioni reali dei lettori, questo tutorial divide esplicitamente la configurazione dei modelli di generazione in due percorsi indipendenti:
- Percorso A: Hai crediti disponibili nel tuo account Hypit e chiami direttamente i modelli ospitati integrati tramite il servizio ufficiale HypiHub.
- Percorso B: Non hai crediti sulla piattaforma Hypit e configuri ed colleghi esplicitamente le tue interfacce API di terze parti.
Devi solo scegliere un percorso (A o B) adatto alle tue condizioni per completare la configurazione, poi unirti al flusso di lavoro comune di produzione e orchestrazione.
- Preparazione e Specifiche degli Asset
Prima di iniziare, prepara Codex, un video di riferimento chiaro e un'immagine di riferimento del personaggio target che desideri sostituire.
Le immagini di riferimento dei personaggi dovrebbero idealmente essere foto di una sola persona con tratti facciali distinti, illuminazione uniforme e dettagli chiari di vestiti/capelli. Poiché le immagini di riferimento non contengono informazioni sul movimento, non dare per scontato che il modello replichi automaticamente le alzate di spalle, i gesti delle mani, ecc., dell'host originale da una semplice immagine statica.
Se prevedi di pubblicare il risultato pubblicamente e non vuoi usare la voce dell'host originale, registra l'audio del dialogo sostitutivo prima della produzione formale. Cambiare l'audio della voiceover altera le pause di pronuncia e le durate dei segmenti, richiedendo un riallineamento dei tagli e della tempistica dei sottotitoli.
- Installazione
Esegui il comando globale di installazione Skill ufficiale:
npx skills add hypit-ai/hypit -g
Fai riferimento al Repository Hypit per i punti di ingresso dell'installazione, e al Manuale Quickstart Ufficiale per i passaggi dettagliati del processo.
Percorso A: Con Crediti Hypit, Usando i Servizi Integrati
Se hai crediti, puoi lasciare che Codex utilizzi direttamente i servizi integrati di Hypit senza configurare la tua API.
Per favore usa i servizi integrati di Hypit per aiutarmi a effettuare il login, controllare i modelli disponibili e i crediti. Dimmi prima il consumo stimato, poi inizia la generazione.
Percorso B: Senza Crediti Hypit, Usando la Tua API
Ho seguito il percorso dell'API propria questa volta: usando Google per la generazione delle immagini e MiniMax H3 Max di ZenMux per la generazione dei video.
Ho prima fatto configurare le interfacce a Codex, ho confermato che i modelli potessero essere chiamati, e poi ho continuato la produzione.
Usa l'API Google per la generazione delle immagini e MiniMax H3 Max di ZenMux per il video. Per favore aiutami a completare la configurazione e verifica la disponibilità. Spiega prima i costi se è richiesto un test a pagamento.
Dai il Video Originale e l'Immagine di Han Li a Codex
Successivamente, ho inviato insieme a Codex il link al video di "Chao Ge Shuo Che" e l'immagine di Han Li, specificando di replicare solo i primi 20 secondi.
Per favore replica i primi 20 secondi di questo video, sostituendo il personaggio con l'immagine di Han Li che ho fornito. Mantieni la composizione originale, il ritmo dei tagli, i sottotitoli e il picture-in-picture. Conserva l'audio originale. Completa tutte le operazioni all'interno dello stesso progetto Hypit.
Sii chiaro sull'ambito della replica; altrimenti, per un video originale di oltre 10 minuti, Codex potrebbe pianificare per l'intera durata.
Controlla i Primi Fotogrammi Prima di Generare il Video
Ho fatto scomporre le inquadrature a Codex e generare quattro primi fotogrammi: Han Li nella stanza di livestream, traffico cittadino al tramonto, Mercedes bianca nel tunnel e traffico stradale diurno.
Questo passaggio serve principalmente a verificare se il personaggio sembra corretto, se i vestiti sono giusti e se le scene non hanno deviato. Se i primi fotogrammi non sono soddisfacenti, modificali prima di continuare a generare il video dinamico.
Per favore mostra prima i primi fotogrammi delle quattro scene. Mantieni il viso, i capelli lunghi e le vesti blu-oro di Han Li. Le riprese delle auto non devono includere l'host originale, i sottotitoli o il picture-in-picture; questi verranno aggiunti uniformemente da Hypit in seguito.
[Inserisci Qui il Primo Fotogramma della Stanza di Livestream di Han Li]
Fai Generare i Segmenti a Codex, Poi Componi con Hypit
Dopo aver confermato i primi fotogrammi, ho fatto generare a Codex quattro segmenti dell'host e tre segmenti delle auto, richiedendo 5 secondi ciascuno, poi ho usato Hypit per comporre i 20 secondi finali.
I modelli generano le immagini; Hypit gestisce i tagli, i sottotitoli e il picture-in-picture.
Per favore genera gli asset dinamici secondo i primi fotogrammi confermati e il budget, poi componi un video di 20 secondi seguendo il ritmo originale. Quando appaiono le riprese delle auto, posiziona Han Li in un picture-in-picture centrato in basso, con audio originale e sottotitoli. Riutilizza direttamente gli asset già generati; non rigenerarli.
Questa volta, dal video di riferimento al taglio finale versione Han Li, i miei compiti principali sono stati fornire requisiti a Codex, rivedere i risultati e dirgli cosa doveva essere regolato.
Hypit lascia dietro di sé non solo un video, ma un progetto modificabile. La prossima volta che vorrai cambiare i personaggi, modificare i sottotitoli o regolare il picture-in-picture, potrai continuare da questo progetto.
Naturalmente, le attuali azioni e il sincronismo labiale non hanno ancora raggiunto una replica 1:1; usando modelli migliori come la serie Seedance questo migliorerebbe significativamente. Se sei interessato, prova prima a trovare un breve video di 10-20 secondi per vedere quali passaggi ti fa risparmiare.
Indirizzo del Progetto: hypit-ai/hypit. Se lo trovi utile, considera di mettere una stella al progetto.
