Hola a todos, soy Gary Caogan, un recién llegado al mundo del contenido independiente que lleva dos años explorando el video con IA y la globalización de contenidos.
La noche del 15 de octubre, me topé por casualidad con una sala de transmisión en vivo llamada "Tiangong Kaizhen" (Autor: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303). El autor llevaba un tiempo transmitiendo y ahora, cada vez que se conecta, hay miles de personas en línea. También ha habido muchas republicaciones y comentarios sobre esta transmisión en X.
Las transmisiones típicas con humanos digitales suelen tener movimientos y voces rígidas, con guiones predefinidos. Para lograr mejores resultados, generalmente necesitas a una persona real controlándolo todo desde atrás. Pero, ¿por qué esta transmisión se volvió viral? Porque el resultado es muy superior a los humanos digitales anteriores. No hay nadie detrás de escena manejándolo; las reacciones son en tiempo real. Cuando un espectador envía un mensaje, ella responde. Los movimientos, expresiones e interacciones se generan al instante. Mi primera reacción fue que el potencial imaginativo de esta solución es enorme:
Transmisiones de videojuegos, comercio electrónico, entretenimiento, compañía... básicamente todos los escenarios pueden combinarse a fondo con esta solución. Así que surge la pregunta: ¿cómo lo implementó? ¿Puedo armar yo mismo una sala de transmisión así?
Después de cuatro días de investigación y ajustes, mi avatar "Wanwan" ya transmitió oficialmente en mi cuenta de Douyin. Reiniciamos brevemente el servicio dos veces durante la transmisión, sumando más de 70 minutos en total. ¿Qué calificación crees que merece este resultado?
Algunas grabaciones de pantalla:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
Bien, entonces este artículo compartirá cómo construí y ajusté a Wanwan, la presentadora de transmisión en vivo con IA en tiempo real, de cero a uno en estos pocos días. Incluiré cómo desglosé la solución, cómo la implementé, con qué problemas me encontré y cómo los resolví.
Al mismo tiempo, todo el framework de herramientas para transmisiones en vivo con IA en tiempo real se ha liberado como código abierto bajo la licencia MIT. Dirección: https://github.com/garycaogan/ai-live-avatar.
Este artículo lo completé utilizando la mesa de trabajo de contenido de código abierto que compartí anteriormente y Claude.
1. Desglosando la sala de transmisión del autor original
Esta es la sala de transmisión de Xiaoya, la autora original.
Vamos a dividirla en una capa interna y una externa.
La capa interna es la propia presentadora. Los movimientos, expresiones y el habla se generan en tiempo real. Hay una etiqueta de Vidu S colgando en la parte superior de la pantalla, lo que deja claro que el modelo es Vidu S2, el modelo de humano digital más reciente de Vidu. Esto descarta prácticamente todas las especulaciones sobre la implementación local de modelos de código abierto.
La capa externa es el entorno alrededor de la presentadora. La tarjeta de instrucciones dice "Hoy continuamos probando comandos de comentarios", y debajo hay una columna para cantar, bailar, vender productos y filtrar interacciones, algunas marcadas y otras vacías. Esto significa que, cuando llegan los comentarios, hay un programa en el medio que los filtra, los convierte en comandos y luego se los pasa al humano digital para que actúe. Esta capa es una herramienta creada por el propio autor.
Para la capa interna, la solución de humano digital de Vidu tiene tres caminos: uno es el humano digital en tiempo real, donde el rostro, la voz y las respuestas se le delegan por completo; otro es preparar el audio y enviarlo, dejando que solo se encargue de la sincronización labial, lo cual incluso le permite cantar; y el último es usar un video de una persona real para controlar al humano digital, reemplazando a la persona dentro de él.
Hablar es fácil. Darle demasiadas vueltas a estas evaluaciones técnicas no tiene sentido, así que me puse manos a la obra de inmediato y armé rápidamente una demo. Basándome en mi familiaridad con YouTube, primero cerré el ciclo de transmitir en vivo en YouTube y leer los comentarios.
Los interesados pueden ver la repetición: https://www.youtube.com/live/fG84tzLOxLc
Pero el resultado de esa primera transmisión fue realmente malo. Mi efecto no era muy distinto de la tecnología convencional de humanos digitales; los movimientos eran robóticos, las respuestas eran robóticas y la voz era robótica. Si la grabación de Xiaoya se lleva un 9, mis primeros intentos en las tres rutas obtuvieron calificaciones reprobatorias.
Comparando las tres rutas, la de reemplazo tiene los movimientos más naturales, pero no puede recibir comentarios en tiempo real. La ruta de inyección de audio requiere construir otro conjunto de respuestas y doblaje. Combinando esto con la etiqueta de Vidu S en la pantalla y su velocidad para responder a los comentarios, deduje que Xiaoya tomó la ruta en tiempo real. Así que la brecha no está en el camino elegido, sino en la imagen base, la voz y la personalidad.
Lo que hace que Xiaoya parezca una persona viva, creo, son principalmente los siguientes puntos:
Primero, los movimientos. Pasa la mayor parte del tiempo mirando hacia abajo, como si leyera los comentarios en su teléfono, y sonríe cuando ve algo interesante, mostrando los dientes. Sus manos a veces descansan sobre su barbilla, a veces toman algún snack. Se parece mucho a una chica común que llega del trabajo y empieza a transmitir, en lugar de un "humano digital" de pie recitando un guion.
Segundo, lo visual. Al principio sospeché que toda la pantalla tenía un filtro borroso aplicado con Photoshop. Luego, al hacer zoom en las capturas de pantalla, descubrí que los bordes del texto superpuesto en el cuadro eran nítidos, y la ventana pequeña de la presentadora estaba clara. Solo su rostro era suave. Entonces, esta suavidad no es un filtro de posproducción, sino inherente a la pantalla del humano digital: una luz suave golpea solo el rostro, el entorno se oscurece, la piel se ve blanca, rosada y lisa, como en una transmisión móvil con filtro de belleza. Colocado en el pequeño marco horizontal de un teléfono, los detalles se reducen, ocultando los defectos de la IA. Este efecto se asemeja a la iluminación de un presentador real.
Tercero, el ritmo. Los subtítulos están fijados en la parte inferior del cuadro, respondiendo a un comentario aproximadamente cada 20 segundos. Suena lento, pero esa lentitud justo cubre los pocos segundos que la IA tarda en reaccionar. Los presentadores reales tampoco responden al instante, ¿verdad?
Cuarto, la ventana de persona real. Hay una persona viva en la esquina. Toda la sala de transmisión no parece una máquina abandonada. Al chatear con ella, los espectadores saben que alguien está observando detrás de escena.
Con este desglose, el camino de optimización queda claro. Usar la solución existente de Vidu para la capa de la presentadora. Lo que yo necesito hacer es la capa externa: modo horizontal, tarjetas de instrucciones, ventana de persona real, etc., aprendiendo de la configuración de Xiaoya.
2. Vidu maneja a la presentadora, yo construyo la capa de dirección de piso
Usando una analogía sencilla: en una sala de transmisión real, junto a la presentadora suele haber un asistente de dirección de piso que vigila los comentarios, expulsa a los anunciantes, le pasa las preguntas de los espectadores a la presentadora, le recuerda cambiarse de ropa y propone temas cuando hay silencios.
En la sala de transmisión de Wanwan, el rol de presentadora le pertenece a Vidu. Cómo se ve Wanwan, cómo mueve la boca y lo que dice, todo es generado en tiempo real por Vidu.
Por lo tanto, la clave de este proyecto de transmisión en tiempo real es la capa de dirección de piso, que involucra específicamente estas tareas:
- Filtrado: Los comentarios vulgares o publicitarios simplemente no se leen en voz alta.
- Cola: Los comentarios llegan uno por uno. Si es necesario, se puede agregar lógica para que quienes envíen regalos se salten la fila.
- Comprensión de intención: Distinguir si un comentario es una charla, una solicitud de cambio de ropa, pedir un accesorio, cambiar el fondo o pedir un gesto de corazón o un saludo.
- Preconfiguración: Por ejemplo, la lógica del guardarropa. Cada atuendo es una foto completa. Cambiarse de ropa significa cambiar a una nueva foto y reiniciar la sesión.
- Comandos de inactividad: Vidu soporta voz en reposo. Para evitar que la presentadora se quede mirando fijamente cuando no hay comentarios, se pueden configurar temas para los momentos de silencio.
- Tarjetas de instrucciones y etiquetas: Aprendido de la sala de Xiaoya. Escribir en la pantalla qué se puede hacer, qué no y cómo enviar comentarios.
- Una mesa de trabajo local: Cambiar personalidades, gestionar guardarropas, alternar voces, ajustar acciones... todo mediante clics en la web.
- Configuración de transmisión: Usé OBS para combinar la pantalla del humano digital, las tarjetas de instrucciones y la señal de mi cámara, y luego la envié en formato horizontal a través de Douyin Live Companion. Mi cámara está ubicada en la esquina inferior izquierda.
Toda esta lógica se creó a través de rondas de pruebas, discusiones y optimizaciones con Claude. Él se encarga de la tecnología y el producto; yo aporto opiniones y requisitos.
La IA puede construir la primera versión de la noche a la mañana, logrando que funcionen los cambios de ropa, las colas y el envío de la transmisión. Pero no puede escuchar el tono robótico en la voz, ni sabe lo incómodo que es repetir esas tres o cuatro frases durante los silencios. Eso solo lo sientes al ver realmente al personaje interactuar contigo en la transmisión.
En cuanto a los costos, se concentran principalmente en Vidu; los demás son insignificantes.
El humano digital en tiempo real de Vidu se cobra por segundo, 1.5 créditos por segundo, lo que equivale a unos 169 RMB por hora. La transmisión de esta noche duró 1 hora y 7 minutos, costando 191.47 RMB en total, incluyendo el calentamiento previo, las sesiones reiniciadas por cambios de ropa y los reinicios a mitad de transmisión. Para mí, entre 100 y 200 RMB por hora es aceptable durante las pruebas, pero el costo existe. Si quieres monetizar con esta solución, calcula bien tu ROI.
3. Problemas encontrados estos días
Apariencia (Básicamente la imagen base)
La primera ejecución exitosa fue la versión CG de Tasha. Tasha es un personaje del juego Ace Combat 8. ¿A quién no le gusta el cabello rosa? Pero el humano digital se sentía pesado en la transmisión porque la foto era de estilo CG, lejos de ser realista.
Luego vino la versión de persona real de Tasha, dibujada por un modelo de generación de imágenes para convertirla en una foto realista. Fue mejor. También hice una composición horizontal para ella imitando la configuración de Xiaoya, sentada en un escritorio apoyando la barbilla, con una lámpara cerca. Pero aún le faltaba algo, se notaba claramente que era un rostro de IA.
Al cambiar a personajes originales, quería roles más cotidianos y comunes. Creé cuatro chicas con acentos: Xiaoman del noreste de China, Chengzi de Changsha, Awen de Minnan y An'an con acento taiwanés.
Los problemas con ellas fueron principalmente estéticos y de imágenes base. Comparando la imagen base de Chengzi con la pantalla de Xiaoya, el tono de piel era demasiado amarillo y saturado, la textura demasiado detallada, el ángulo de la cámara frontal y a nivel de los ojos, los brazos extendidos como en una foto de identificación. También surgieron problemas de personalidad: escribí líneas de ejemplo en el perfil, y ella las leyó textualmente.
Finalmente, frustrado, busqué inspiración en las publicaciones de X del creador de contenido Doumiao (@nima2qisi2), usando prompts para generar una versión similar, que se convirtió en Wanwan.
Su personalidad es la de una chica de 24 años que trabaja en diseño gráfico en una pequeña empresa en Hangzhou. Llega a casa después de las 10 PM, inicia una transmisión para charlar, tiene un gato negro llamado Meiqiu (no aparece en pantalla, pero ella se queja de sus travesuras). Su carácter es reservado al principio, con un humor ligeramente seco. Cuando le preguntan si es real, dice directamente que es una presentadora de IA.
Cambios de ropa
Al principio, intenté dejar que la IA modificara la ropa directamente sobre su cuerpo. Una vez estuvo bien, pero después de dos, el rostro empezó a deformarse. Más tarde, cambié a crear una foto completa para cada atuendo de antemano, incluyendo a la persona, la ropa y la habitación. Cambiarse de ropa significaba reiniciar la sesión desde esa foto, lo cual era más rápido y estable. El guardarropa ahora tiene 7 atuendos; el cuello alto negro es el predeterminado. Un cambio toma unos 5 segundos.
Esta lógica también puede cambiar escenas y acciones, siempre que se preparen suficientes imágenes base predefinidas.
Tono de voz
Inicialmente, creé varios personajes con acentos (noreste, Changsha, Minnan, taiwanés) porque descubrí que los acentos disimulan la vibra de IA. Una chica hablando con acento se siente subconscientemente como una persona viva. Ocurrió un pequeño incidente: una IA escuchó una voz dos veces a ciegas y dijo que era mandarín estándar, pero yo escuché un dejo del noreste de inmediato. Desde entonces, elijo las voces yo mismo.
Más tarde, encontré un problema crítico: muchas voces suenan como personas reales por sí solas, pero pierden su encanto en las transmisiones en tiempo real.
La voz final de Wanwan es una que diseñé en Volcano Engine, proporcionando material de audio crudo para clonarlo en Vidu.
Voz de inactividad repetitiva
Después de la primera transmisión de prueba de 6 minutos, mi mayor aprendizaje fue que, cuando nadie comentaba, ella repetía las mismas tres o cuatro frases de calentamiento. Era incómodo incluso para mí. Antes de la segunda transmisión, preparé rápidamente 100 temas de inicio en frío basados en su personalidad. La repetición solo ocurre cuando se agotan todos.
El cambio de fondo eliminó la ropa
Esta noche cambió de fondo 9 veces. Las primeras 8 estuvieron bien. Al final, vistiendo una camiseta negra de tirantes, cambiar de la habitación a una cabaña nevada mantuvo la ropa (ver imagen abajo). Pero en el noveno cambio, de la cabaña nevada a una vista nocturna de la ciudad, desaparecieron los tirantes y la parte superior, viéndose desnuda. Terminé la transmisión de inmediato.
Investigando la causa: los cambios de ropa son estables porque cada atuendo es una foto completa prefabricada, reiniciando la sesión. Los cambios de fondo y los accesorios toman otro camino: entregarle una imagen de referencia a Vidu durante la transmisión para que redibuje la escena. Pero su atuendo actual no estaba incluido en la referencia, ni le pedimos que conservara la ropa. Vidu podría redibujar su cuerpo. Las primeras 8 veces lo dibujó correctamente; la novena vez borró la ropa. Lo más aterrador es la inconsistencia. Probar varias veces sin problemas no significa seguridad. Esta es una vulnerabilidad confirmada. Si es la única causa no es seguro, pero el agujero debe taparse. Descubrimos antes que modificar las imágenes de referencia a mitad de transmisión causa desviaciones e irreversibilidad, pero no esperábamos que sucediera en una transmisión pública.
Ahora, los cambios de fondo y los accesorios de comida y bebida están deshabilitados por defecto. Las tarjetas de instrucciones los mueven a la sección de "aún no se puede" hasta que cambiemos a "reiniciar desde la foto completa" o agreguemos verificaciones visuales.
Desconexión de Vidu, la persona real sostiene el show
Vidu se desconectó una vez por unos 3 minutos. Durante ese tiempo, Wanwan desapareció de la pantalla, dejándome solo a mí en la ventana inferior izquierda. Los comentarios se inundaron de "¿Por qué terminó?", "Gary se fue". Esto demuestra que la ventana de persona real no es solo para dar presencia; cuando las cosas fallan, alguien tiene que sostener el fuerte.
Manejo de comentarios y regalos
Los comentarios actualmente usan un método temporal que lee los comentarios de la página web.
Los regalos inicialmente tenían lógica para saltar la fila, pero la eliminé porque Douyin lo considera inducir propinas. Técnicamente, saltar la fila basado en regalos es factible.
Problemas no resueltos
- La sincronización labial al cantar y los movimientos amplios son temporalmente imposibles.
- Incluso con perfiles de personalidad y temas predefinidos, las respuestas a veces conservan esa vibra de IA.
- Desde el comentario del espectador hasta que ella habla pasan de 10 a 20 segundos.
- Las oraciones largas son interrumpidas por nuevos diálogos o comandos de acción, aunque esto se puede optimizar mediante programación.
- La memoria es corta. Después de la reconexión, cuando le preguntaron por qué se había detenido, respondió: "No se detuvo, ¿acaso no seguimos charlando?".
4. ¿Cuál es el potencial de desarrollo de esta dinámica?
Mencionaré direcciones con las que estoy familiarizado y que puedo visualizar bien. Las obvias, como presentadores de comercio electrónico, no las discutiré. Las exploraciones futuras podrían seguir estos caminos; los resultados serán compartidos. Los lectores pueden buscar intersecciones con su experiencia:
1. Juego Transmisiones. Como jugador con más de 20 años de experiencia, le tengo cariño a las transmisiones de videojuegos. He transmitido Honor of Kings y LOL antes. ¿Han visto la serie "Doubao enseña juegos" de Bilibili? Jugando Delta Force, LOL, Minecraft, muchos se volvieron virales. Por ejemplo, Doubao enseñando Minecraft alcanzó 16 millones de reproducciones. Imagina si Doubao tuviera un personaje atractivo e interactivo en tiempo real. Los videos y las transmisiones serían aún mejores.
- Transmisión en bucle infinito. MiniMax hizo previamente una transmisión con pantallas generadas en tiempo real, dando la sensación de bucles infinitos. Pero al carecer de un tema definido, no funcionaba dentro de un marco. Conectando la solución de Vidu con una capa externa, generando imágenes de escenas y diálogos en tiempo real basados en comentarios, probablemente se habiliten transmisiones con tramas interactivas. Los presentadores reales no se atreverían ni a imaginar esto. Imagina una transmisión donde la línea principal sea la presentadora completando un viaje: transporte, compañeros, encuentros, palabras, decisiones... todo dirigido por los comentarios. ¿No es interesante?
3. Entretenimiento Transmisiones. No necesita explicación. El caso de Xiaoya demuestra el potencial en la presentación de entretenimiento. Sospecho fuertemente que pronto, después de que modelos similares sean de código abierto, las plataformas para adultos estarán ocupadas por la IA.
Límites: Douyin exige etiquetar el contenido generado por IA, obliga a la aparición e interacción de una persona real y desaconseja las transmisiones no supervisadas o automáticas. Por eso, la pantalla de Wanwan siempre muestra "Pantalla generada por IA en tiempo real", y mi cámara permanece en la esquina inferior izquierda. El fallo de esta noche es un recordatorio. Entre 18 comentarios filtrados, varios solicitaban trajes de baño, bikinis, vestidos de tirantes, bloqueados por palabras clave (las palabras clave también marcaron falsamente "alguien está holgazaneando" como sugerente, corregido después). Sin embargo, el accidente no provino de estos, sino de un cambio de fondo normal.
El texto puede bloquearse con palabras clave; las pantallas no. Las imágenes generadas por IA pueden producir inesperadamente contenido prohibido por la plataforma. Sin supervisión, podría crear infracciones. La presencia de una persona real no es solo un requisito de la plataforma; te protege.
Aquellos que esperan ingresos pasivos las 24 horas con humanos digitales aún tienen un largo camino por recorrer.
Además, no uses celebridades, personajes de otros ni rostros ajenos para los humanos digitales. Crear el tuyo propio no es difícil.
6. Notas sobre el código abierto
El framework de herramientas de este proyecto es de código abierto bajo la licencia MIT: https://github.com/garycaogan/ai-live-avatar.
Incluye filtrado/colas de comentarios, reconocimiento de intenciones, guardarropa, tarjetas de instrucciones/superposiciones de pantalla, mesa de trabajo local, integración de envío horizontal con OBS/Douyin. Puedes hacer pruebas sin gastar dinero para ver la implementación del filtrado, las colas y las superposiciones. La parte de extracción de páginas web se excluyó por riesgo; quienes lo implementen deben agregarla ellos mismos.
Las herramientas están disponibles para todos, pero los personajes deben ser tuyos. Intercambia tu rostro, escribe tu personalidad y funcionará.
Si quieres construir uno, toma el código, crea tu personaje, y eres bienvenido a dejar comentarios para pedir ayuda o compartir tus éxitos.
Soy Gary. Si este artículo te ayudó, ¡recuerda darle triple clic!
