Il flusso di lavoro
Utilizzo questo flusso di lavoro di editing da oltre due mesi e ho iterato non meno di 10 versioni. In questo articolo, spiegherò il processo completo e i dettagli nel modo più chiaro possibile per i miei amici.
Puoi seguire la logica dell'articolo o inviare direttamente questo articolo a Codex per lasciare che l'IA crei una Skill per te.
Ciao amici, eccomi qui per consegnare la bozza!
La settimana scorsa ho scritto un articolo introduttivo su Codex e sono molto grato per il supporto: ha raggiunto oltre un milione di visualizzazioni.
https://x.com/xilo2991/status/2070051136187621452
In quell'occasione, molti amici mi hanno chiesto se potevo condividere l'editing automatico menzionato nell'articolo.
Certo. Oggi sono qui per parlare con voi di come realizzare l'editing automatico con Codex per massimizzare l'efficienza nella creazione di video.
La logica alla base del flusso di lavoro
Che tu faccia content creation o e-commerce, il modo più semplice per ottenere traffico velocemente è copiare i successi virali.
Perché i successi virali sono contenuti già verificati dal mercato: finché li segui abbastanza velocemente, il traffico non sarà mai male. (Ovviamente, attenzione alla differenza tra copiare e plagio.)
Il cuore di questo flusso di lavoro è copiare i successi virali.
Supponiamo che tu veda un video virale e voglia crearne uno tuo seguendo quel ritmo e quella struttura. Il metodo tradizionale è entrare manualmente in CapCut (Jianying) e abbinare fotogramma per fotogramma il video di riferimento, trovare i materiali, sincronizzarli e allineare i sottotitoli. Un video potrebbe richiedere due o tre ore.
Ma con questo flusso di lavoro, devi solo preparare il video di riferimento e la tua libreria di materiali; Codex completerà automaticamente il resto.
Codex identificherà automaticamente ogni transizione di scena nel video di riferimento, troverà il materiale più adatto dalla tua libreria, genererà automaticamente voiceover e sottotitoli, e infine ti darà una bozza di CapCut che potrai aprire e modificare.
L'intero processo potrebbe richiedere solo pochi minuti.
Utilizzo principalmente questo flusso di lavoro quando creo video promozionali per Douyin.
Prima di Codex, potevo modificare al massimo 6 video al giorno. Ma con Codex, devo solo trovare video virali adatti come riferimento e preparare i materiali del prodotto. Il resto è generazione automatica, revisione e ottimizzazione.
Posso facilmente completare 30 video al giorno, un aumento di efficienza di almeno cinque volte.
Ma chiariamo subito: il posizionamento di questo flusso di lavoro è la produzione automatica, non la creazione di alta qualità.
È adatto per video di tipo mashup che richiedono l'assemblaggio di più segmenti, come e-commerce, marketing o Vlog mashup.
Il video di riferimento fornisce la struttura e il ritmo, la tua libreria di materiali fornisce le immagini, voiceover e sottotitoli sono generati automaticamente, e il video finale viene prodotto automaticamente.
Se vuoi creare contenuti originali di alta qualità che richiedono un linguaggio cinematografico molto preciso, transizioni complesse e una delicata espressione emotiva, questo processo potrebbe non essere adatto.
Perché l'attuale logica di abbinamento automatico non è ancora in grado di raggiungere una comprensione semantica e un controllo emotivo così precisi.
Sto anche studiando come ottimizzare questo processo per i video originali e lo condividerò con gli amici una volta stabile.
Preparazione del flusso di lavoro
OK, torniamo al flusso di lavoro di editing automatico. Di seguito, spiegherò passo dopo passo come costruire questo flusso di lavoro. Prima di iniziare, devi preparare due cose.
1. Installare gli strumenti corrispondenti
Questo flusso di lavoro si basa su Codex, quindi devi prima avere Codex. Se non lo hai mai usato, dai un'occhiata al mio articolo introduttivo della scorsa settimana.
Nello specifico, questo flusso di lavoro richiede questi strumenti principali:
- FFmpeg: Utilizzato per operazioni di base come divisione, unione e conversione di formati video. È il fondamento e deve essere installato.
- Ambiente Python: Poiché l'intero processo è scritto in Python, hai bisogno almeno di Python 3.8.
- Strumenti per voiceover: Se vuoi voiceover automatici, il più stabile è il modello vocale Doubao di ByteDance; se vuoi clonare voci, usa VoxCPM, uno strumento open-source gratuito.
- CapCut (Jianying): La bozza finale generata è in formato CapCut, quindi devi avere installata la versione desktop.
Tra questi, FFmpeg e Python sono dipendenze fondamentali.
Puoi copiare il testo seguente in Codex per aiutarti a controllare l'ambiente e installare gli strumenti mancanti:
1Per favore, aiutami a controllare l'ambiente necessario per l'editing video automatico:231. Verifica se FFmpeg è installato; in caso contrario, aiutami a installarlo.42. Verifica se la versione di Python è >= 3.8; in caso contrario, aiutami a installarla o aggiornarla.53. Verifica se CapCut (Jianying) Professional è installato; in caso contrario, dammi il link per il download.64. Installa le dipendenze Python: opencv-python, numpy, pillow78Dopo la verifica, dimmi cosa è pronto e cosa devo gestire manualmente.
Per i voiceover, dipende dalle tue esigenze. Se fai video di e-commerce, il modello vocale Doubao è il più stabile. Utilizza le stesse voci AI di CapCut. Il prezzo è basso: generare un video di 1 minuto costa circa 0,4-0,8 RMB.
Se vuoi usare la tua voce o clonare quella di qualcun altro, usa VoxCPM. Trova il link su GitHub e invialo a Codex per installarlo.
2. Creare le cartelle
Dopo aver installato questi strumenti, devi creare una cartella di progetto. Di solito organizzo così:
1Cartella del Progetto/2 assets/ # La tua libreria di materiali3 work/ # Area di lavoro, crea una cartella con data per ogni modifica4 final/ # Prodotti finali5 AGENTS.md # File di configurazione del progetto
La cartella assets è la tua libreria. Metti lì tutti i materiali potenzialmente utili. Possono essere generati dall'IA o filmati da te, ma devono essere preparati in anticipo come risorse riutilizzabili.
I materiali possono essere categorizzati per aspetto, funzione o scena.
La cartella work è per i progetti attivi. Ogni volta che crei un nuovo video, crea una cartella con data come 2026-07-05 e metti lì il video di riferimento, i file intermedi e la bozza finale.
AGENTS.md è il file di configurazione che contiene gli obiettivi del progetto, le specifiche di output e i criteri di accettazione. È fondamentale perché Codex lo usa per capire le tue esigenze.
PS: Il mio file AGENTS è un po' lungo, quindi lo metto alla fine come riferimento.
Costruire il flusso di lavoro di editing
1. Decomporre il video di riferimento
L'obiettivo principale qui è dividere il video di riferimento in scene indipendenti ed estrarre i fotogrammi chiave per ogni scena come base per l'abbinamento dei materiali.
Trova un video che vuoi usare come riferimento. Scaricalo, mettilo nella cartella work e dagli un nome chiaro.
Poi invia questo a Codex:
1Devo decomporre un video di riferimento.23Posizione del video di riferimento: @(inserisci il nome del file)45Per favore, aiutami con:61. Usa FFmpeg per identificare le transizioni di scena (tramite analisi delle differenze tra fotogrammi).72. Estrai i fotogrammi chiave per ogni scena e salvali come immagini.83. Estrai la traccia audio separatamente.94. Genera un file recipe.json che registri orario di inizio, orario di fine, durata e percorso del fotogramma chiave per ogni scena.105. Se c'è del testo, genera un copione per voiceover basato sull'audio, suddiviso per scena.1112Dopo il completamento, segui i requisiti di AGENTS.md, salva nella cartella corrispondente e dimmi quante scene sono state identificate.
Questo file recipe.json è il cuore dell'intero processo.
Dopo la decomposizione, vedrai molti piccoli clip video e screenshot. Controlla se la suddivisione è ragionevole. Se non lo è, puoi chiedere a Codex di aggiustarla.
2. Filtrare e abbinare i materiali
Questo passaggio è il più critico e dimostra il valore dell'automazione.
Tradizionalmente, cercheresti nella tua libreria scena per scena. Con questo flusso di lavoro, basta dire a Codex dove si trova la tua libreria e lui esegue l'abbinamento visivo.
Prompt per Codex:
1Devo abbinare e sostituire i materiali dalla libreria.23Informazioni sul progetto:4- Percorso di recipe.json: (percorso del passaggio precedente)5- Percorso della libreria materiali: assets/6- Percorso di output: work/(tuo percorso)78Requisiti di abbinamento:91. Leggi i fotogrammi chiave da recipe.json.102. Attraversa la libreria ed estrai i fotogrammi chiave per ogni materiale.113. Raccomanda il materiale migliore tramite colore, luminosità e composizione (fornisci punteggi di confidenza).124. Applica regole: evita di usare lo stesso materiale per 3 scene consecutive; evita composizioni ripetitive evidenti.135. Genera fragment_plan.json e matches.json.146. Copia (non spostare) i materiali selezionati in material/fragment01/, ecc.1516Principio: Se la confidenza è inferiore a 0,6, segna come "materiale mancante".
Codex calcola la similarità basandosi sulle caratteristiche visive. I materiali con punteggio alto sono prioritari.
matches.json registra i risultati finali. Un principio chiave: Meglio lasciare un materiale vuoto che forzarne uno non pertinente.
3. Generare il voiceover
Dopo l'abbinamento, genera il voiceover. Poiché Codex usa OCR/ASR, controlla prima il copione per eventuali errori.
Prompt:
1Devo generare voiceover. Il copione è @(tuo script.txt)23Requisiti:41. Chiama l'API TTS di Doubao per generare audio indipendente per ogni scena.52. Leggi la durata effettiva di ogni file audio.63. Se la durata differisce dalla scena di riferimento, registra la differenza.74. Unisci in final_voice.mp3.85. Aggiorna recipe.json con le durate reali.
Codex regolerà il ritmo del video in base all'audio. Se un voiceover dura 5 secondi per una scena di riferimento di 3 secondi, la scena finale del video sarà estesa a 5 secondi.
4. Generare la bozza e il progetto CapCut
Generare la bozza di CapCut è complesso perché il formato è rigoroso riguardo a ID e percorsi. Ho incluso regole nel prompt per evitare errori.
Prompt:
1Devo generare il video finale e la bozza di CapCut.23Input:4- recipe.json, matches.json, percorso dei materiali, file voiceover, copione.56Output:71. Renderizza video di anteprima: work/remix.mp482. File sottotitoli: work/captions.srt93. Bozza CapCut: work/jianying_draft/1011Requisiti:12- Abbina i materiali secondo recipe.json e matches.json.13- Usa la durata del voiceover come base.14- Assicurati che Content ID, Metadata ID e Root Index ID siano coerenti e univoci.15- Usa percorsi assoluti per i materiali.
Controlla se la bozza si apre correttamente, se i materiali vengono visualizzati e se sottotitoli/audio sono sincronizzati.
Considerazioni finali
L'intero processo, dal riferimento alla bozza, richiede circa 20-30 minuti. Con una libreria pronta, può richiedere appena 5 minuti per video.
Una volta che il flusso di lavoro è fluido, dì a Codex: Aiutami a incapsulare questo flusso di lavoro in una Skill. La prossima volta, basterà richiamare la Skill.
Spero che questo ti sia d'aiuto. Buona fortuna! 🍀
(Il modello AGENTS.md è omesso per brevità in questa traduzione ma è incluso nel testo originale.)
