Anteriormente, intenté usar Codex y Hyperframes para deconstruir un video viral de una cuenta de Douyin relacionada con libros, y los efectos de sonido recibieron elogios constantes de todos.
Hoy, estoy escribiendo un artículo extenso para enseñarte paso a paso cómo deconstruir videos virales de Douyin y fijar un flujo de trabajo, para que también puedas poseer la capacidad de crear videos usando IA.
https://x.com/369Serena/status/2073012234184282287
1. Preparación
Primero, todos deben preparar sus herramientas:
- Necesitas un agente como Codex.
- Luego ve a la tienda de complementos e instala dos herramientas:
(a) Hyperframes: crea videos en formato HTML, ideal para presentaciones corporativas, animaciones de datos o videos de muestra.
(b) Remotion: escrito en React, logra video como código. Una vez que fijas un estilo de tema, es muy adecuado para la replicación a gran escala mediante programación. Veo a muchos blogueros usando Remotion para crear animaciones al estilo de "Xiao Lin Shuo", que funciona muy bien con videos de cabezas parlantes.
Además, puedes instalar algunas Skills para ayudar en la deconstrucción. Si quieres entender la estructura de un video viral, como cómo los primeros segundos enganchan a la audiencia, cómo son los efectos de sonido y el ritmo entre la narración y las imágenes, puedes deconstruirlos y replicarlos a través de las siguientes Skills:
- Claude Video: se utiliza para deconstruir el proceso del video y facilitar su replicación en el siguiente paso.
- Video Use: lo recomiendo encarecidamente para principiantes en edición. Actúa como un "director de edición de video" que puede llamar a las herramientas adecuadas según tus necesidades. Para los novatos que no saben cuándo usar qué herramienta, cumple el papel de un director maestro.
Eso concluye el trabajo de preparación.
2. Flujo de trabajo de producción de video
Crear videos con Codex + Hyperframes puede seguir esta secuencia:
1️⃣ Primero define las especificaciones del video
Por ejemplo: 30 segundos, 9:16, chino, de conocimiento, introducción de libros, para X / TikTok / Xiaohongshu.
2️⃣ Escribe el guion de la narración
Deja que Codex escriba primero una narración en chino de 30 segundos; no te apresures a las imágenes.
3️⃣ Confirma el estilo visual
Por ejemplo: video de conocimiento editorial oscuro, estilo de conocimiento de alta gama, fondo oscuro, portada del libro como imagen principal, ligero zoom de cámara.
4️⃣ Crea storyboards con marcas de tiempo
Divide la narración en 4-6 segmentos visuales, cada uno correspondiente a una información central.
5️⃣ Prepara los materiales
Portada del libro, título, palabras clave, logotipo, música de fondo, texto de voz en off.
6️⃣ Genera la voz en off
Puedes usar Edge TTS, ElevenLabs o flujos de trabajo relacionados con medios de Hyperframes.
7️⃣ Transcribe la voz en off
Usa el audio final para generar una transcripción; no adivines manualmente los tiempos de los subtítulos.
8️⃣ Crea la composición en Hyperframes
Escribe index.html usando los valores correctos de data-start / data-duration / data-track-index.
9️⃣ Crea los subtítulos
Sincroniza automáticamente los subtítulos según la transcripción.
🔟 Vista previa
Mira la vista previa primero; no renderices el video final directamente.
1️⃣1️⃣ Validar / Inspeccionar
Verifica errores, fuentes, desbordamientos de diseño y obstrucciones de subtítulos.
1️⃣2️⃣ Renderizar MP4
Renderiza solo después de confirmar que todo está correcto.
Estos son los pasos generales. De hecho, muchas partes no requieren intervención manual, así que solo entender estos pasos generales es suficiente; la parte manual en realidad es mínima.
3. Deconstrucción manual inicial + Generación de guion
Ahora necesitamos deconstruir el video.
Primero, debemos usar Claude Video para deconstruir la estructura del video. El que deconstruí era una cuenta de libros, por lo que su estructura es muy simple: los primeros segundos deben retener a la audiencia, seguidos de una introducción o reseña del libro.
Los siguientes pasos para la generación del guion de narración son:
- Recopilar información: (a) Usar Codex para recopilar información del libro. (b) Llamar a la conexión de Skills de WeChat Reading para ver secciones destacadas y comentarios frecuentes. (c) Que Codex busque reseñas de libros famosas.
- Generar introducción: Deja que Codex genere una introducción basada en hechos del libro. Esta introducción debe "eliminar el sabor a IA" para plataformas de medios propios. Puedes ajustarla según tus necesidades estéticas, con requisitos específicos que incluyen: (a) Evitar expresiones típicas de IA como "No es... sino...". (b) Evitar estructuras de oraciones con demasiado paralelismo. (c) La expresión debe ser fluida y natural, contando la historia del libro de manera sencilla, no introduciéndolo con un tono arrogante.
Esta parte requiere que operemos basándonos en dos puntos:
- Basándonos en la estructura del video previamente deconstruido.
- Necesitamos actuar como supervisores para revisar si el texto es viable.
Una vez generado, puedes convertir el contenido recopilado y organizado por Codex en una Skill. De esta manera, los guiones de narración se pueden reutilizar en el futuro.
Todo debe ser escrito por Codex basándose en hechos. Después de esta operación, me dará un guion de narración, completando la primera producción general del guion.
4. Procesamiento del archivo de audio TTS: Lograr una voz natural y magnética
Una vez que la narración está lista, otra gran parte del trabajo (que aún no he automatizado conectando una API de generación de voz) es el ajuste del audio.
Sin embargo, creo que se puede hacer, así que escribiré cómo ajustar la voz para que sea más natural, magnética y orientada a la narración.
Anteriormente compartí en un tuit que usaba ElevenLabs, que Codex recomendó. Las voces en inglés son realmente perfectas, con voces de varios países disponibles.
Pero al usar la generación de voz en chino, descubrí que no reconoce bien el chino, lo que genera muchos errores tipográficos. En este caso, no es solo un problema de "sabor a IA"; es simplemente inutilizable. La solución que me dio Codex fue usar primero Jianying o la API de BytePlus (Volcengine).
Como aún no tengo la API de BytePlus, usé la aplicación Jianying en mi computadora.
Mi método es muy simple:
- Crear un nuevo proyecto y buscar la opción de texto.
- Usar la función "Texto a Voz" y elegir una voz que me guste.
- Pegar el texto de la narración directamente y hacer clic en generar.
- Finalmente, exportar la voz (Jianying solo puede exportar archivos MP4).
- Le doy este archivo MP4 a Codex.
Basándome en el análisis previo de Codex sobre la voz, le pido que me ayude a procesar el sonido para que sea tan natural, narrativo y magnético como el video de referencia.
El proceso de Codex para manejar el sonido es el siguiente:
- Análisis automático: Codex primero analiza los parámetros de sonido del video original y modifica mi archivo MP4 en consecuencia.
- Configuración de parámetros: Pondré una captura de pantalla de los parámetros relevantes aquí. Puedes enviar la captura a Codex, y él procesará ese efecto para ti.
- Método simple: O usa un método aún más simple: dale directamente un segmento del video de referencia y dile: "Quiero que el sonido se procese así", y Codex lo manejará por ti.
El sonido procesado de esta manera es perfecto. Una vez que domines esta capacidad de procesamiento de sonido, puedes reutilizarla en otros tipos de producción de video, como:
(a) Explicaciones de películas o narraciones de historias
(b) Videos de filosofía de vida o inspiradores
(c) Cuentas de divulgación científica
En estos escenarios, este método de procesamiento de sonido es completamente aplicable.
Como mencioné, esta parte idealmente debería estar automatizada. En la creación de medios propios, evita el trabajo manual siempre que sea posible; en un estado tan "sin dolor", es mucho más fácil persistir. Así que luego intentaré usar la API de BytePlus para que Codex genere automáticamente la narración y los archivos de voz TTS.
5. Hyperframes para imágenes, subtítulos y alineación de audio
El siguiente paso es crear las imágenes y sincronizar la voz con los subtítulos. En esta etapa, no intervine en absoluto porque Codex ya tenía un plan general. Ya le había dado un video de referencia, y ahora con la narración y la voz en off, Codex crea el video por sí solo.
La versión generada después de la creación del video no será perfecta la primera vez; pueden ocurrir varias situaciones:
- La voz y los subtítulos no coinciden: Debes comunicarte con Codex y dejar que los alinee. Codex extraerá automáticamente fotogramas para verificar por qué no coinciden; esto puede requerir unos dos ajustes.
- Problemas visuales: Incluyendo contenido visual, posicionamiento de subtítulos y las formas resultantes. Estos se pueden comunicar repetidamente con Codex, recordándole constantemente que se acerque más al video que queremos replicar.
Una vez que todo el proceso esté afinado, podemos generar videos con un alto grado de replicación. Si podemos automatizar todo el flujo de trabajo, podemos ejecutar cuentas en lotes. Ya sea una cuenta de libros u otros tipos, todas se pueden deconstruir y replicar siguiendo este proceso.
6. Resumen
Finalmente, espero que este artículo sea útil para todos.
También estoy en un estado de aprender haciendo, y espero que podamos comunicarnos e intercambiar ideas más a menudo. A menudo, no es que no podamos hacerlo, sino que aún no hemos actuado.
Lo mismo ocurre con el uso de Codex; mientras comencemos a actuar y chatear con Codex en lenguaje natural, podemos encontrar estas soluciones paso a paso. Creo que mientras todos comiencen a hacerlo, todos pueden usar la IA para ganarse la vida en los medios propios.
Espero que todos puedan usar esta era de la IA, una era donde las personas comunes pueden acercarse infinitamente a la alta productividad, para hacer medios propios, para crear, y para encontrar formas de replicar para que pueda generar riqueza incluso mientras duermes, acercándote infinitamente a la libertad.
Soy Serena, explorando IA × Web3 × Medios Propios, registrando cómo las personas comunes recuperan la iniciativa en sus vidas. ¡Espero que este artículo te ayude!
👏
