Precedentemente, ho provato a usare Codex e Hyperframes per decostruire un video virale di un account Douyin legato ai libri, e gli effetti sonori hanno ricevuto elogi unanimi da tutti.
Oggi scrivo un articolo lungo per insegnarti passo dopo passo come decostruire i video virali di Douyin e ottimizzare un flusso di lavoro, così che anche tu possa acquisire la capacità di creare video usando l'IA.
https://x.com/369Serena/status/2073012234184282287
1. Preparazione
Per prima cosa, tutti devono preparare i propri strumenti:
- Hai bisogno di un agente come Codex.
- Poi vai nel negozio dei plugin e installa due strumenti:
(a) Hyperframes: crea video in formato HTML, molto adatto per presentazioni aziendali, animazioni di dati o video dimostrativi.
(b) Remotion: scritto in React, realizza il concetto di video-come-codice. Una volta definito uno stile tematico, è estremamente adatto per la replica su larga scala tramite codice. Vedo molti blogger usare Remotion per creare animazioni nello stile di "Xiao Lin Shuo", che funziona molto bene con i video di persone che parlano.
Inoltre, puoi installare alcune Skill per aiutare nella decostruzione. Se vuoi capire la struttura di un video virale—come i primi secondi catturano il pubblico, quali sono gli effetti sonori e il ritmo tra narrazione e immagini—puoi decostruirli e replicarli attraverso le seguenti Skill:
- Claude Video: usato per decostruire il processo video per facilitarne la replica nel passaggio successivo.
- Video Use: lo consiglio vivamente ai principianti del montaggio. Funziona come un "direttore del montaggio video" che può richiamare gli strumenti appropriati in base alle tue esigenze. Per i principianti che non sanno quando usare quale strumento, svolge il ruolo di un maestro direttore.
Questo conclude il lavoro di preparazione.
2. Flusso di Lavoro per la Creazione Video
Creare video con Codex + Hyperframes può seguire questa sequenza:
1️⃣ Definisci prima le specifiche del video
Ad esempio: 30 secondi, 9:16, cinese, a carattere informativo, introduzione di libri, per X / TikTok / Xiaohongshu.
2️⃣ Scrivi la sceneggiatura della narrazione
Lascia che Codex scriva prima una narrazione in cinese di 30 secondi; non avere fretta di passare alle immagini.
3️⃣ Conferma lo stile visivo
Ad esempio: video informativo editoriale scuro, stile conoscitivo di alto livello, sfondo scuro, copertina del libro come elemento visivo principale, leggero zoom della telecamera.
4️⃣ Crea storyboard con timestamp
Suddividi la narrazione in 4-6 segmenti visivi, ognuno corrispondente a un'informazione chiave.
5️⃣ Prepara i materiali
Copertina del libro, titolo, parole chiave, logo, musica di sottofondo, testo della voce fuori campo.
6️⃣ Genera la voce fuori campo
Puoi usare Edge TTS, ElevenLabs o i flussi di lavoro relativi ai media di Hyperframes.
7️⃣ Trascrivi la voce fuori campo
Usa l'audio finale per generare una trascrizione; non indovinare manualmente i tempi dei sottotitoli.
8️⃣ Crea la composizione Hyperframes
Scrivi index.html usando i corretti data-start / data-duration / data-track-index.
9️⃣ Crea i sottotitoli
Sincronizza automaticamente i sottotitoli in base alla trascrizione.
🔟 Anteprima
Guarda prima l'anteprima; non rendere direttamente il video finale.
1️⃣1️⃣ Convalida / Ispeziona
Controlla errori, caratteri, overflow del layout e ostruzioni dei sottotitoli.
1️⃣2️⃣ Rendering MP4
Rendi solo dopo aver confermato che tutto è corretto.
Questi sono i passaggi generali. In realtà, molte parti non richiedono intervento manuale, quindi è sufficiente comprendere questi passaggi generali; la parte manuale è in realtà molto ridotta.
3. Decostruzione Manuale Iniziale + Generazione della Sceneggiatura
Ora dobbiamo decostruire il video.
Per prima cosa, dobbiamo usare Claude Video per decostruire la struttura del video. Quello che ho decostruito era un account di libri, quindi la sua struttura è molto semplice: i primi secondi devono trattenere il pubblico, seguiti da un'introduzione o recensione del libro.
I passaggi successivi per la generazione della sceneggiatura narrativa sono i seguenti:
- Raccolta informazioni: (a) Usa Codex per raccogliere informazioni sul libro. (b) Chiama la connessione alle Skill di WeChat Reading per vedere le sezioni e i commenti più evidenziati. (c) Fai cercare a Codex recensioni di libri famose.
- Genera introduzione: Lascia che Codex generi un'introduzione basata sui fatti del libro. Questa introduzione deve "rimuovere il sapore dell'IA" per le piattaforme di social media. Puoi modificarla in base alle tue esigenze estetiche, con requisiti specifici tra cui: (a) Evita espressioni tipiche dell'IA come "Non è... ma piuttosto...". (b) Evita strutture di frasi con troppo parallelismo. (c) L'espressione deve essere fluida e naturale, raccontando la storia del libro in modo semplice piuttosto che introdurlo con un tono arrogante.
Questa parte richiede che operiamo basandoci su due punti:
- Basandoci sulla struttura video precedentemente decostruita.
- Dobbiamo agire come un gatekeeper per verificare se il testo è fattibile.
Una volta generato, puoi trasformare il contenuto raccolto e organizzato da Codex in una Skill. In questo modo, le sceneggiature narrative potranno essere riutilizzate in futuro.
Tutto dovrebbe essere scritto da Codex basandosi sui fatti. Dopo questa operazione, mi fornirà una sceneggiatura narrativa, completando la prima produzione complessiva della sceneggiatura.
4. Elaborazione del File Audio TTS: Ottenere una Voce Naturale e Magnetica
Una volta pronta la narrazione, un'altra parte importante del lavoro—che non ho ancora automatizzato collegando un'API di generazione vocale—è la regolazione dell'audio.
Tuttavia, credo che si possa fare, quindi scriverò come regolare la voce per renderla più naturale, magnetica e adatta alla narrazione.
In precedenza, ho condiviso in un tweet che ho usato ElevenLabs, raccomandato da Codex. Le voci in inglese sono davvero perfette, con voci di vari paesi disponibili.
Ma quando ho usato la generazione vocale in cinese, ho scoperto che non riconosce bene il cinese, causando molti errori di battitura. In questo caso, non è solo un problema di "sapore dell'IA"; è semplicemente inutilizzabile. La soluzione che Codex mi ha dato è stata di usare prima Jianying o l'API BytePlus (Volcengine).
Poiché non ho ancora l'API BytePlus, ho usato l'app Jianying sul mio computer.
Il mio metodo è molto semplice:
- Crea un nuovo progetto e trova l'opzione testo.
- Usa la funzione "Testo in Parlato" e scegli una voce che mi piace.
- Incolla direttamente il testo della narrazione e clicca su genera.
- Infine, esporta la voce (Jianying può esportare solo file MP4).
- Fornisco questo file MP4 a Codex.
Basandomi sull'analisi precedente della voce da parte di Codex, gli chiedo di aiutarmi a elaborare il suono per renderlo il più naturale, narrativo e magnetico possibile, come il video di riferimento.
Il processo di Codex per gestire il suono è il seguente:
- Analisi automatica: Codex analizza prima i parametri audio del video originale e modifica il mio file MP4 di conseguenza.
- Impostazioni dei parametri: Metterò qui uno screenshot dei parametri rilevanti. Puoi inviare lo screenshot a Codex, e lui elaborerà quell'effetto per te.
- Metodo semplice: Oppure usa un metodo ancora più semplice—dagli direttamente un segmento del video di riferimento e digli, "Voglio che il suono sia elaborato così", e Codex lo farà per te.
Il suono elaborato in questo modo è perfetto. Una volta padroneggiata questa capacità di elaborazione del suono, puoi riutilizzarla in altri tipi di produzione video, come:
(a) Spiegazioni di film o narrazioni di storie
(b) Video di filosofia di vita o ispirazione
(c) Account di divulgazione scientifica
In questi scenari, questo metodo di elaborazione del suono è completamente applicabile.
Come ho detto, questa parte dovrebbe idealmente essere automatizzata. Nella creazione di contenuti per social media, evita il lavoro manuale quando possibile; in uno stato così "senza dolore", è molto più facile perseverare. Quindi, in seguito, proverò a usare l'API BytePlus per far sì che Codex generi automaticamente la narrazione e i file TTS vocali.
5. Hyperframes per Immagini, Sottotitoli e Allineamento Audio
Il passo successivo è creare le immagini e abbinare la voce ai sottotitoli. In questa fase, non ho interferito affatto perché Codex aveva già un piano generale. Gli avevo già fornito un video di riferimento, e ora con la narrazione e la voce fuori campo, Codex crea il video da solo.
La versione generata dopo la creazione del video non sarà perfetta al primo tentativo; potrebbero verificarsi diverse situazioni:
- Voce e sottotitoli non corrispondono Devi comunicare con Codex e fargli allineare. Codex estrarrà automaticamente i fotogrammi per verificare perché non corrispondono; potrebbe richiedere circa due regolazioni.
- Problemi visivi Inclusi contenuti visivi, posizionamento dei sottotitoli e le forme risultanti. Questi possono essere comunicati ripetutamente con Codex, ricordandogli costantemente di avvicinarsi al video che vogliamo replicare.
Una volta che l'intero processo è a regime, possiamo generare video con un alto grado di replica. Se riusciamo ad automatizzare l'intero flusso di lavoro, possiamo gestire account in batch. Che si tratti di un account di libri o di altri tipi, possono essere tutti decostruiti e replicati seguendo questo processo.
6. Riepilogo
Infine, spero che questo articolo ti sia utile.
Anch'io sono in uno stato di apprendimento facendo, e spero che possiamo comunicare e scambiarci idee di più. Spesso, non è che non possiamo farlo, ma che non abbiamo ancora agito.
Lo stesso vale per l'uso di Codex; finché iniziamo ad agire e a chattare con Codex in linguaggio naturale, possiamo trovare queste soluzioni passo dopo passo. Credo che finché tutti iniziano a farlo, tutti possono usare l'IA per guadagnarsi da vivere nei social media.
Spero che tutti possano sfruttare quest'era dell'IA—un'era in cui le persone comuni possono avvicinarsi infinitamente all'alta produttività—per fare social media, creare e trovare modi per replicare, in modo che possa generare ricchezza anche mentre dormi, avvicinandoti infinitamente alla libertà.
Sono Serena, esploro IA × Web3 × Social Media, documentando come le persone comuni possono riprendere il controllo della propria vita. Spero che questo articolo ti sia utile!
👏
