Hola a todos, soy Gary Caogan, un recién llegado al mundo de los creadores de contenido que lleva dos años explorando el video con IA y la globalización de contenidos.
La noche del 15 de octubre, me topé por casualidad con una sala de transmisión en vivo llamada "Tiangong Kaizhen" (Autor: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303). El autor llevaba un tiempo transmitiendo y ahora, cada vez que se conecta, hay miles de personas en línea. También ha habido muchas republicaciones y comentarios sobre esta sala de transmisión en X.
Las transmisiones en vivo típicas con humanos digitales suelen tener movimientos y voces rígidas, con guiones preestablecidos. Para lograr mejores resultados, normalmente necesitas a una persona real controlándolo todo desde atrás. Pero, ¿por qué esta sala de transmisión se volvió viral? Porque el resultado es, de hecho, muy superior a las transmisiones anteriores con humanos digitales. No hay ninguna persona real detrás de escena; las reacciones son en tiempo real. Cuando los espectadores envían un mensaje, ella responde. Los movimientos, las expresiones y las interacciones se generan al instante. Mi primera reacción fue que el potencial de imaginación de esta solución es enorme:
Transmisiones de videojuegos, comercio electrónico, entretenimiento, compañía... básicamente todos los escenarios pueden combinarse a fondo con esta solución. Así que surge la pregunta: ¿cómo lo implementó? ¿Puedo construir yo mismo una sala de transmisión así?
Después de cuatro días de investigación y ajustes, mi avatar "Wanwan" ya ha transmitido oficialmente en mi cuenta de Douyin. Reiniciamos brevemente el servicio dos veces durante la transmisión, sumando más de 70 minutos en total. ¿Qué puntuación crees que merece este resultado?
Algunas grabaciones de pantalla:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
Bien, en este artículo compartiré cómo construí y ajusté a Wanwan, la presentadora de transmisión en vivo con IA en tiempo real, de 0 a 1 en estos pocos días. Incluiré cómo desglosé la solución, cómo la implementé, qué obstáculos encontré y cómo los resolví.
Al mismo tiempo, todo el framework de herramientas para transmisiones en vivo con IA en tiempo real se ha publicado como código abierto bajo la licencia MIT. Dirección: https://github.com/garycaogan/ai-live-avatar.
Este artículo lo completé utilizando la mesa de trabajo de contenidos que publiqué anteriormente como código abierto y Claude.
1. Desglosando la sala de transmisión del autor original
Esta es la sala de transmisión de Xiaoya, la autora original.
Vamos a dividirla en una capa interna y otra externa.
La capa interna es la propia presentadora. Los movimientos, las expresiones y el habla se generan en tiempo real. Hay una etiqueta de Vidu S colgando en la parte superior de la pantalla, lo que deja claro que el modelo es Vidu S2, el último modelo de humano digital de Vidu. Esto descarta prácticamente todas las especulaciones sobre la implementación local de modelos de código abierto.
La capa externa es el círculo alrededor de la presentadora. La tarjeta de instrucciones dice "Hoy continuamos probando comandos de comentarios", y debajo hay una columna para cantar, bailar, vender productos y filtrar interacciones, algunas marcadas y otras vacías. Esto significa que, cuando llegan los comentarios, hay un programa en medio que los filtra, los convierte en comandos y luego se los pasa al humano digital para que actúe. Esta capa es una herramienta creada por el propio autor.
Para la capa interna, la solución de humanos digitales de Vidu tiene tres caminos: uno es el humano digital en tiempo real, donde la cara, la voz y las respuestas se le delegan por completo; otro consiste en preparar el audio e introducirlo, dejando que solo se encargue de la sincronización labial, lo cual incluso permite cantar; y el tercero es usar un video de una persona real para controlar al humano digital, sustituyendo a la persona que está dentro.
Hablar es fácil. Darle demasiadas vueltas a estas evaluaciones técnicas no tiene sentido, así que me puse manos a la obra de inmediato y preparé rápidamente una demo. Basándome en mi familiaridad con YouTube, primero cerré el ciclo de transmitir en vivo en YouTube y leer los comentarios.
Los interesados pueden ver la repetición: https://www.youtube.com/live/fG84tzLOxLc
Pero el resultado de esa primera transmisión fue realmente malo. Mi efecto no difería mucho de la tecnología convencional de humanos digitales; los movimientos eran robóticos, las respuestas eran robóticas y la voz era robótica. Si la grabación de Xiaoya se lleva un 9, puntuar mis primeros intentos en las tres rutas dio como resultado calificaciones suspensas.
Comparando las tres rutas, la de sustitución tiene los movimientos más naturales, pero no puede aceptar comentarios en tiempo real. La ruta de introducción de audio requiere construir otro conjunto de respuestas y doblaje. Combinando esto con la etiqueta de Vidu S en la pantalla y su velocidad para responder a los comentarios, deduje que Xiaoya tomó la ruta en tiempo real. Por lo tanto, la diferencia no está en el camino elegido, sino en la imagen base, la voz y la personalidad.
Lo que hace que Xiaoya parezca una persona viva, creo, son principalmente los siguientes puntos:
Primero, los movimientos. Pasa la mayor parte del tiempo mirando hacia abajo, como si leyera los comentarios en su teléfono, y sonríe cuando ve algo interesante, mostrando los dientes. Sus manos a veces descansan sobre la barbilla, a veces alcanzan algún aperitivo. Se parece mucho a una chica normal que llega a casa del trabajo y empieza a transmitir, en lugar de un "humano digital" de pie recitando un guion.
Segundo, lo visual. Al principio sospeché que toda la pantalla tenía un filtro borroso aplicado con Photoshop. Más tarde, al ampliar las capturas de pantalla, descubrí que los bordes del texto superpuesto en el encuadre eran nítidos y que la ventana pequeña de la presentadora estaba clara. Solo su rostro era suave. Así que esta suavidad no es un filtro de posproducción, sino algo inherente a la pantalla del humano digital: una luz suave ilumina solo el rostro, los alrededores están oscurecidos, la piel se ve blanca, rosada y lisa, como en una transmisión móvil con filtro de belleza. Colocada en el pequeño marco horizontal de un teléfono, los detalles se reducen, ocultando los defectos de la IA. Este efecto se asemeja a la iluminación de una presentadora real.
Tercero, el ritmo. Los subtítulos están fijados en la parte inferior del encuadre, respondiendo a un comentario aproximadamente cada 20 segundos. Suena lento, pero esta lentitud cubre exactamente los pocos segundos que la IA tarda en reaccionar. Los presentadores reales tampoco responden al instante, ¿verdad?
Cuarto, la ventana de persona real. Hay una persona viva en la esquina. Toda la sala de transmisión no parece una máquina abandonada. Al chatear con ella, los espectadores saben que alguien está observando detrás de escena.
Con este desglose, el camino de optimización queda claro. Usaremos la solución existente de Vidu para la capa de la presentadora. Lo que yo necesito hacer es la capa externa: modo horizontal, tarjetas de instrucciones, ventana de persona real, etc., aprendiendo de la configuración de Xiaoya.
2. Vidu se encarga de la presentadora, yo construyo la capa de dirección
Para usar una analogía sencilla: en una sala de transmisión real, junto a la presentadora suele haber un asistente de dirección que vigila los comentarios, expulsa a los anunciantes, le pasa las preguntas de los espectadores a la presentadora, le recuerda cambiarse de ropa y propone temas cuando hay silencios.
En la sala de transmisión de Wanwan, el papel de presentadora le corresponde a Vidu. El aspecto de Wanwan, cómo mueve la boca y lo que dice, todo es generado en tiempo real por Vidu.
Así que la clave de este proyecto de transmisión en tiempo real es la capa de dirección, que implica específicamente estas tareas:
- Filtrado: Los comentarios vulgares o publicitarios simplemente no se leen en voz alta.
- Cola: Los comentarios llegan uno tras otro. Si es necesario, se puede añadir lógica para que quienes envíen regalos se salten la cola.
- Comprensión de la intención: Distinguir si un comentario es una charla, una petición de cambio de ropa, una solicitud de accesorio, un cambio de fondo, o pedir que haga un gesto de corazón o salude con la mano.
- Preajustes: Por ejemplo, la lógica del vestuario. Cada atuendo es una foto completa. Cambiarse de ropa significa cambiar a una nueva foto y reiniciar la sesión.
- Comandos de inactividad: Vidu admite voz en estado de reposo. Para evitar que la presentadora se quede mirando fijamente al vacío cuando no hay comentarios, se pueden establecer temas para esos momentos.
- Tarjetas de instrucciones y etiquetas: Aprendido de la sala de Xiaoya. Escribir en la pantalla qué se puede hacer, qué no y cómo enviar comentarios.
- Una mesa de trabajo local: Cambiar personalidades, gestionar vestuarios, cambiar voces, ajustar acciones... todo mediante clics en la web.
- Configuración de la transmisión: Usé OBS para combinar la pantalla del humano digital, las tarjetas de instrucciones y la señal de mi cámara, y luego lo transmití en formato horizontal a través de Douyin Live Companion. Mi cámara está colocada en la esquina inferior izquierda.
Toda esta lógica se creó a través de rondas de pruebas, debates y optimizaciones con Claude. Él se encarga de la tecnología y el producto; yo aporto opiniones y requisitos.
La IA puede construir la primera versión en una noche, ejecutando cambios de ropa, gestión de colas y transmisión de flujos. Pero no puede escuchar el tono robótico en la voz, ni sabe lo incómodo que resulta repetir esas tres o cuatro frases durante los silencios. Eso solo lo sientes al ver realmente al personaje interactuar contigo en la transmisión.
En cuanto a los costos, se concentran principalmente en Vidu; los demás son insignificantes.
El humano digital en tiempo real de Vidu se cobra por segundo, 1,5 créditos por segundo, lo que equivale a unos 169 RMB por hora. La transmisión de esta noche duró 1 hora y 7 minutos, costando 191,47 RMB en total, incluyendo el calentamiento previo, las sesiones reiniciadas para los cambios de ropa y los reinicios a mitad de transmisión. Para mí, entre 100 y 200 RMB por hora es aceptable durante las pruebas, pero el costo existe. Si quieres monetizar con esta solución, calcula bien tu ROI.
3. Obstáculos encontrados estos días
Apariencia (Básicamente la imagen base)
La primera ejecución exitosa fue la versión CG de Tasha. Tasha es un personaje del juego Ace Combat 8. ¿A quién no le gusta el pelo rosa? Pero el humano digital se sentía pesado en la transmisión porque la foto era de estilo CG, lejos de ser realista.
Luego llegó la versión de persona real de Tasha, dibujada por un modelo de generación de imágenes para convertirla en una foto realista. Fue mejor. También hice una composición horizontal para ella imitando la configuración de Xiaoya, sentada en un escritorio apoyando la barbilla, con una lámpara cerca. Pero aún le faltaba algo, se notaba claramente que era un rostro generado por IA.
Al pasar a personajes originales, quería roles más cotidianos y realistas. Creé cuatro chicas con acentos: Xiaoman del noreste de China, Chengzi de Changsha, Awen de Minnan y An'an con acento taiwanés.
Los problemas con ellas fueron principalmente estéticos y de imagen base. Comparando la imagen base de Chengzi con la pantalla de Xiaoya, el tono de piel era demasiado amarillo y saturado, la textura demasiado detallada, el ángulo de la cámara frontal y a la altura de los ojos, los brazos extendidos como en una foto de carnet. También surgieron problemas de personalidad: escribí frases de ejemplo en la personalidad y ella las leyó textualmente.
Finalmente, frustrado, busqué inspiración en las publicaciones de X del blogger Doumiao (@nima2qisi2), usando prompts para generar una versión similar, que se convirtió en Wanwan.
Su personalidad es la de una chica de 24 años que trabaja en diseño gráfico en una pequeña empresa de Hangzhou. Llega a casa después de las 10 p. m., inicia una transmisión para charlar, tiene un gato negro llamado Meiqiu (no aparece en pantalla, pero ella se queja de sus travesuras). Su carácter es reservado al principio, con un humor ligeramente seco. Cuando le preguntan si es real, dice directamente que es una presentadora de IA.
Cambios de ropa
Al principio, intenté dejar que la IA modificara la ropa directamente sobre su cuerpo. Una vez estuvo bien, pero después de dos, la cara empezó a deformarse. Más tarde, pasé a crear de antemano una foto completa para cada atuendo, incluyendo a la persona, la ropa y la habitación. Cambiarse de ropa significaba reiniciar la sesión desde esa foto, lo cual era más rápido y estable. El armario ahora tiene 7 atuendos; el cuello alto negro es el predeterminado. Un cambio tarda unos 5 segundos.
Esta lógica también puede cambiar escenas y acciones, siempre que se preparen suficientes imágenes base preestablecidas.
Tono de voz
Inicialmente, creé varios personajes con acentos (noreste, Changsha, Minnan, taiwanés) porque descubrí que los acentos disimulan la sensación de IA. Una chica hablando con acento se siente subconscientemente como una persona viva. Ocurrió una pequeña anécdota: una IA escuchó una voz dos veces a ciegas y dijo que era mandarín estándar, pero yo percibí un deje del noreste de inmediato. Desde entonces, elijo las voces yo mismo.
Más tarde, encontré un problema crítico: muchas voces suenan como personas reales por sí solas, pero pierden su encanto en las transmisiones en tiempo real.
La voz final de Wanwan es una que diseñé en Volcano Engine, proporcionando material de audio sin procesar para clonarlo en Vidu.
Voz repetitiva en estado de reposo
Después de la primera transmisión de prueba de 6 minutos, mi mayor conclusión fue que, cuando nadie comentaba, ella repetía en bucle las mismas tres o cuatro frases de calentamiento. Era incómodo incluso para mí. Antes de la segunda transmisión, preparé rápidamente 100 temas de inicio en frío basados en su personalidad. La repetición solo ocurre cuando se agotan todos.
El cambio de fondo eliminó la ropa
Esta noche cambió de fondo 9 veces. Las primeras 8 estuvieron bien. Al final, llevando un camisón negro, cambiar de la habitación a una cabaña nevada mantuvo la ropa (ver imagen abajo). Pero en el noveno cambio, de la cabaña nevada a una vista nocturna de la ciudad, desaparecieron los tirantes y la parte superior, pareciendo desnuda. Terminé la transmisión inmediatamente.
Investigando la causa: los cambios de ropa son estables porque cada atuendo es una foto completa prefabricada, reiniciando la sesión. Los cambios de fondo y los accesorios toman otro camino: entregar una imagen de referencia a Vidu durante la transmisión para redibujar la escena. Pero su atuendo actual no estaba incluido en la referencia, ni le pedimos que conservara la ropa. Vidu podría redibujar su cuerpo. Las primeras 8 veces lo dibujó correctamente; la novena vez borró la ropa. Lo más aterrador es la inconsistencia. Probar varias veces sin problemas no garantiza la seguridad. Esta es una vulnerabilidad confirmada. No sabemos si es la única causa, pero el agujero debe taparse. Descubrimos antes que modificar las imágenes de referencia a mitad de transmisión provoca desviaciones e irreversibilidad, pero no esperábamos que ocurriera en una transmisión pública.
Ahora, los cambios de fondo y los accesorios de comida y bebida están desactivados por defecto. Las tarjetas de instrucciones los mueven a la sección de "aún no se puede hacer" hasta que cambiemos a "reiniciar desde la foto completa" o añadamos comprobaciones visuales.
Desconexión de Vidu, la persona real aguanta
Vidu se desconectó una vez durante unos 3 minutos. Durante ese tiempo, Wanwan desapareció de la pantalla, dejando solo mi ventana en la esquina inferior izquierda. Los comentarios se inundaron de "¿Por qué terminó?" "Gary se ha ido". Esto demuestra que la ventana de persona real no es solo para dar presencia; cuando las cosas fallan, alguien tiene que mantener el fuerte.
Gestión de comentarios y regalos
Los comentarios utilizan actualmente un método temporal que lee los comentarios de la página web.
Los regalos inicialmente tenían lógica para saltar la cola, pero la eliminé porque Douyin lo considera inducción de propinas. Técnicamente, saltar la cola basado en regalos es factible.
Problemas sin resolver
- La sincronización labial al cantar y los movimientos amplios son temporalmente imposibles.
- Incluso con personalidades y temas preestablecidos, las respuestas a veces conservan esa sensación de IA.
- Desde el comentario del espectador hasta que ella habla pasan entre 10 y 20 segundos.
- Las frases largas son interrumpidas por nuevos diálogos o comandos de acción, aunque esto se puede optimizar mediante programación.
- La memoria es corta. Tras reconectarse, cuando le preguntaron por qué se había detenido, respondió: "No se detuvo, ¿acaso no seguimos charlando?".
4. ¿Potencial de desarrollo de esta dinámica?
Mencionaré direcciones con las que estoy familiarizado y que puedo visualizar bien. Las obvias, como los presentadores de comercio electrónico, no las discutiré. Las futuras exploraciones podrían seguir estos caminos; los resultados se compartirán. Los lectores pueden buscar intersecciones con su experiencia:
1. Transmisiones de videojuegos. Como jugador con más de 20 años de experiencia, siento cariño por las transmisiones de juegos. He transmitido Honor of Kings y LOL antes. ¿Han visto la serie "Doubao enseña videojuegos" de Bilibili? Jugando Delta Force, LOL, Minecraft, muchos se volvieron virales. Por ejemplo, Doubao enseñando Minecraft alcanzó 16 millones de reproducciones. Imaginen si Doubao tuviera un personaje atractivo e interactivo en tiempo real. Los videos y las transmisiones serían aún mejores.
- Transmisión en bucle infinito. MiniMax hizo anteriormente una transmisión con pantallas generadas en tiempo real, dando la sensación de bucles infinitos. Pero al carecer de un tema definido, no funcionaba dentro de un marco. Conectar la solución de Vidu con una capa externa, generando imágenes de escenas y diálogos en tiempo real basados en los comentarios, probablemente permita transmisiones con tramas interactivas. Los presentadores reales no se atreverían ni a imaginar esto. Imaginen una transmisión donde la trama principal sea la presentadora completando un viaje: transporte, compañeros, encuentros, palabras, decisiones... todo dirigido por los comentarios. ¿No es interesante?
3. Transmisiones de entretenimiento. No necesita explicación. El caso de Xiaoya demuestra el potencial en la presentación de entretenimiento. Sospecho fuertemente que pronto, cuando modelos similares sean de código abierto, las plataformas para adultos estarán ocupadas por la IA.
Límites: Douyin exige etiquetar el contenido generado por IA, obliga a la aparición e interacción de una persona real y desaconseja las transmisiones no tripuladas o automáticas. Por eso, la pantalla de Wanwan siempre muestra "Pantalla generada por IA en tiempo real", y mi cámara permanece en la esquina inferior izquierda. El fallo de esta noche es un recordatorio. Entre 18 comentarios filtrados, varios solicitaban trajes de baño, bikinis, vestidos de tirantes, bloqueados por palabras clave (las palabras clave también marcaron falsamente "alguien está holgazaneando" como sugerente, corregido más tarde). Sin embargo, el accidente no provino de estos, sino de un cambio de fondo normal.
El texto puede bloquearse con palabras clave; las imágenes no. Los elementos visuales generados por IA pueden producir inesperadamente contenido prohibido por la plataforma. Sin supervisión, podría crear infracciones. La presencia de una persona real no es solo un requisito de la plataforma; te protege.
Aquellos que esperan obtener ingresos pasivos las 24 horas con humanos digitales aún tienen un largo camino por recorrer.
Además, no usen celebridades, personajes de otros ni rostros ajenos para los humanos digitales. Crear el tuyo propio no es difícil.
6. Notas sobre el código abierto
El framework de herramientas de este proyecto es de código abierto bajo la licencia MIT: https://github.com/garycaogan/ai-live-avatar.
Incluye filtrado y gestión de colas de comentarios, reconocimiento de intenciones, vestuario, tarjetas de instrucciones y superposiciones de pantalla, mesa de trabajo local, integración con transmisión horizontal de OBS/Douyin. Puedes hacer pruebas sin gastar dinero para ver la implementación del filtrado, las colas y las superposiciones. La parte de extracción de páginas web se excluye por riesgo; quienes lo implementen deben añadirla por su cuenta.
Las herramientas están disponibles para todos, pero los personajes deben ser tuyos. Intercambia tu rostro, escribe tu personalidad y funcionará.
Si quieres construir uno, toma el código, crea tu personaje, y te invito a dejar comentarios para pedir ayuda o compartir tus éxitos.
Soy Gary. Si este artículo te ayudó, ¡recuerda darle triple clic!
