J'ai créé un streamer IA en direct open source similaire à l'avatar viral de Douyin

Salut à tous, je suis Gary Caogan, un créateur de contenu débutant qui explore la vidéo IA et la mondialisation des contenus depuis deux ans.

Le soir du 15 octobre, je suis tombé par hasard sur une salle de livestream appelée « Tiangong Kaizhen » (Auteur : Tiangong Kaizhen, GitHub : https://github.com/beiyege-01, X : @yijt1339303). L'auteur streamait déjà depuis un moment, et désormais, à chaque fois qu'il se lance en direct, des milliers de personnes sont connectées. Il y a également eu énormément de partages et de commentaires à propos de ce livestream sur X.

Les livestreams classiques avec humains numériques ont souvent des mouvements et une voix rigides, basés sur des scripts préenregistrés. Pour obtenir un meilleur rendu, il faut généralement qu'une vraie personne pilote le tout en coulisses. Mais alors, pourquoi cette salle de livestream a-t-elle explosé ? Parce que le résultat est effectivement bien supérieur aux précédents humains numériques. Personne ne tire les ficelles derrière l'écran ; les réactions se font en temps réel. Quand un spectateur envoie un message, elle répond. Les mouvements, les expressions et les interactions sont générés sur le vif. Ma première réaction a été de réaliser que le potentiel d'imagination de cette solution est immense :

Streaming de jeux vidéo, e-commerce, divertissement, accompagnement… pratiquement tous les scénarios peuvent être profondément combinés avec cette solution. La question se pose donc : comment a-t-il fait pour l'implémenter ? Puis-je construire une telle salle de livestream moi-même ?

Après quatre jours de recherche et de peaufinage, mon avatar « Wanwan » a déjà officiellement streamé sur mon compte Douyin. Nous avons brièvement redémarré le service deux fois pendant le live, pour un total de plus de 70 minutes. Quelle note pensez-vous que cet effet mérite ?

Quelques captures d'écran :

https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg

Bien, cet article va donc expliquer comment j'ai construit et ajusté l'hôte de livestream IA en temps réel Wanwan de 0 à 1 en quelques jours : comment j'ai décomposé la solution, comment je l'ai implémentée, les pièges que j'ai rencontrés et comment je les ai résolus.

Par ailleurs, l'intégralité du framework d'outils de livestream IA en temps réel a été open-sourcé sous licence MIT. Adresse : https://github.com/garycaogan/ai-live-avatar.

J'ai rédigé cet article en utilisant l'espace de travail de contenu précédemment open-sourcé et Claude.

1. Décryptage de la salle de livestream de l'auteur original

Voici la salle de livestream de Xiaoya, l'autrice originale.

Décomposons-la en deux couches : interne et externe.

La couche interne, c'est l'hôte elle-même. Les mouvements, les expressions et la parole sont tous générés en temps réel. Il y a une étiquette Vidu S affichée en haut de l'écran, ce qui permet de comprendre facilement que le modèle utilisé est Vidu S2, le dernier modèle d'humain numérique de Vidu. Cela écarte d'emblée toutes les hypothèses concernant un déploiement local de modèles open source.

La couche externe, c'est le décor autour de l'hôte. La carte d'instructions indique « Poursuite des tests des commandes de chat aujourd'hui », et en dessous se trouve une colonne pour le chant, la danse, la vente de produits et le filtrage des interactions, avec certaines cases cochées et d'autres vides. Cela signifie qu'une fois les commentaires reçus, un programme intermédiaire les filtre, les transforme en commandes, puis les transmet à l'humain numérique pour qu'il agisse. Cette couche est un outil créé par l'auteur lui-même.

Pour la couche interne, la solution d'humain numérique de Vidu propose trois approches : la première est l'humain numérique en temps réel, où le visage, la voix et les réponses lui sont entièrement confiés ; la deuxième consiste à préparer l'audio et à l'injecter, en le laissant uniquement gérer la synchronisation labiale, ce qui lui permet même de chanter ; la troisième utilise une vidéo d'une vraie personne pour piloter l'humain numérique, en remplaçant la personne à l'intérieur.

Les mots ne coûtent rien. Trop réfléchir à ces évaluations techniques n'a aucun sens, alors je me suis immédiatement mis au travail et j'ai rapidement testé une démo. Fort de ma familiarité avec YouTube, j'ai d'abord bouclé le processus de diffusion en direct sur YouTube et de lecture des commentaires.

Les curieux peuvent regarder le replay : https://www.youtube.com/live/fG84tzLOxLc

Mais le résultat de ce premier livestream était vraiment mauvais. Mon rendu n'était pas très différent de la technologie classique d'humains numériques : mouvements robotiques, réponses robotiques, voix robotique. Si l'enregistrement de Xiaoya mérite un 9/10, mes premières tentatives sur les trois approches méritaient à peine la moyenne.

En comparant les trois approches, celle du remplacement offre les mouvements les plus naturels, mais ne peut pas recevoir les commentaires en temps réel. Celle de l'injection audio nécessite de construire un autre système de réponses et de doublage. En combinant l'étiquette Vidu S à l'écran et sa rapidité à répondre aux commentaires, j'en ai déduit que Xiaoya avait opté pour l'approche en temps réel. L'écart ne se situe donc pas dans la méthode choisie, mais dans l'image de base, la voix et le persona.

Ce qui donne à Xiaoya l'impression d'être une personne vivante repose, selon moi, principalement sur les points suivants :

Premièrement, les mouvements. Elle passe la majeure partie de son temps à regarder vers le bas, comme si elle lisait les commentaires sur son téléphone, et sourit quand elle voit quelque chose d'amusant, en montrant ses dents. Ses mains se posent parfois sur son menton, parfois attrapent des snacks. Elle ressemble beaucoup à une fille ordinaire qui rentre du travail et lance un livestream, plutôt qu'à un « humain numérique » debout, raide, récitant un script.

Deuxièmement, le visuel. Au départ, je soupçonnais que tout l'écran avait été retouché sur Photoshop avec un filtre brumeux. Plus tard, en zoomant sur les captures d'écran, j'ai remarqué que les bords du texte superposé étaient nets et que la petite fenêtre de l'hôte était claire. Seul son visage était adouci. Ce flou n'est donc pas un filtre de post-production, mais une caractéristique inhérente à l'écran de l'humain numérique : une lumière douce éclaire uniquement le visage, les alentours sont assombris, la peau paraît blanche, rosée et lisse, comme sur un livestream mobile avec filtre beauté. Placé dans la petite fenêtre horizontale d'un téléphone, les détails sont réduits, masquant les défauts de l'IA. Cet effet rappelle l'éclairage d'une vraie streameuse.

Troisièmement, le rythme. Les sous-titres sont calés en bas de l'écran, avec une réponse à un commentaire environ toutes les 20 secondes. Cela semble lent, mais cette lenteur couvre justement les quelques secondes dont l'IA a besoin pour réagir. Les vrais hôtes ne répondent pas instantanément non plus, n'est-ce pas ?

Quatrièmement, la fenêtre de la vraie personne. Il y a quelqu'un de vivant dans le coin. Toute la salle de livestream ne donne pas l'impression d'être un simple bot laissé en arrière-plan. En discutant avec elle, les spectateurs savent que quelqu'un veille en coulisses.

Une fois cette analyse faite, la voie d'optimisation est claire. Utiliser la solution existante de Vidu pour la couche de l'hôte. Ce que je dois faire, c'est la couche externe : mode paysage, cartes d'instructions, fenêtre de la vraie personne, etc., en m'inspirant de la configuration de Xiaoya.

2. Vidu gère l'hôte, je construis la couche de régie

Pour utiliser une analogie simple : dans un vrai livestream, à côté de l'hôte, il y a généralement un assistant de régie qui surveille les commentaires, vire les spammeurs publicitaires, transmet les questions des spectateurs à l'hôte, lui rappelle de changer de tenue et propose des sujets quand le silence s'installe.

Dans le livestream de Wanwan, le rôle de l'hôte revient à Vidu. L'apparence de Wanwan, la façon dont elle ouvre la bouche et ce qu'elle dit sont tous générés en temps réel par Vidu.

La clé de ce projet de livestream en temps réel est donc la couche de régie, qui implique spécifiquement ces tâches :

• Filtrage : les commentaires vulgaires ou publicitaires ne sont tout simplement pas lus à voix haute.
• File d'attente : les commentaires arrivent un par un. Si nécessaire, on peut ajouter une logique permettant aux donateurs de passer en priorité.
• Compréhension de l'intention : distinguer si un commentaire relève de la discussion, demande un changement de tenue, réclame un accessoire, modifie l'arrière-plan, ou sollicite un geste du cœur ou un signe de la main.
• Préréglages : par exemple, la logique de la garde-robe. Chaque tenue est une photo complète. Changer de vêtements signifie basculer sur une nouvelle photo et redémarrer la session.
• Commandes d'inactivité : Vidu prend en charge la voix d'attente. Pour éviter que l'hôte ne fixe le vide lorsqu'il n'y a pas de commentaires, on peut définir des sujets pour les moments creux.
• Cartes d'instructions et étiquettes : inspirées de la salle de Xiaoya. Écrire à l'écran ce qui est possible, ce qui ne l'est pas, et comment envoyer des commentaires.
• Un espace de travail local : changer de persona, gérer la garde-robe, modifier les voix, ajuster les actions… tout cela via des clics sur une interface web.
• Configuration du livestream : j'ai utilisé OBS pour combiner l'écran de l'humain numérique, les cartes d'instructions et le flux de ma caméra, puis j'ai diffusé en format horizontal via Douyin Live Companion. Ma caméra est placée dans le coin inférieur gauche.

Toute cette logique a été créée à travers des séries de tests, de discussions et d'optimisations avec Claude. Il gère la technique et le produit ; je fournis les avis et les exigences.

L'IA peut construire la première version en une nuit, en faisant fonctionner les changements de tenues, la file d'attente et la diffusion. Mais elle ne peut pas entendre le ton robotique de la voix, ni savoir à quel point il est gênant de répéter en boucle ces trois ou quatre phrases pendant les silences. On ne ressent cela qu'en regardant réellement le personnage interagir avec soi pendant le livestream.

Concernant les coûts, ils se concentrent principalement sur Vidu ; le reste est négligeable.

L'humain numérique en temps réel de Vidu est facturé à la seconde, soit 1,5 crédit par seconde, ce qui revient à environ 169 RMB par heure. Le stream de ce soir a duré 1 heure et 7 minutes, pour un coût total de 191,47 RMB, incluant l'échauffement avant le live, les sessions redémarrées pour les changements de tenues et les redémarrages en cours de route. Pour moi, 100 à 200 RMB par heure est acceptable pendant la phase de test, mais le coût est bien réel. Si vous souhaitez monétiser avec cette solution, calculez bien votre retour sur investissement.

3. Les pièges rencontrés ces derniers jours

L'apparence (essentiellement l'image de base)

Le premier essai réussi fut la version CG de Tasha. Tasha est un personnage du jeu Ace Combat 8. Qui n'aime pas les cheveux roses ? Mais l'humain numérique paraissait lourd à l'écran car la photo était de style CG, loin du réalisme.

Puis est venue la version « vraie personne » de Tasha, dessinée par un modèle de génération d'images pour ressembler à une photo réaliste. C'était mieux. J'ai aussi créé pour elle une composition horizontale imitant la configuration de Xiaoya, assise à un bureau, le menton appuyé sur la main, avec une lampe à proximité. Mais il manquait encore quelque chose, le visage faisait clairement IA.

En passant aux personnages originaux, je voulais des rôles plus vivants et ordinaires. J'ai créé quatre filles avec des accents : Xiaoman du Nord-Est de la Chine, Chengzi de Changsha, Awen du Minnan et An'an avec un accent taïwanais.

Les problèmes ici concernaient surtout l'esthétique et les images de base. En comparant l'image de base de Chengzi avec l'écran de Xiaoya, le teint était trop jaune et saturé, la texture trop détaillée, l'angle de caméra frontal à hauteur des yeux, les bras écartés comme sur une photo d'identité. Des problèmes de persona sont aussi apparus : j'avais écrit des exemples de phrases dans le persona, et elle les récitait mot pour mot.

Finalement, frustré, j'ai cherché l'inspiration dans les publications X du blogueur Doumiao (@nima2qisi2), en utilisant des prompts pour générer une version similaire, qui est devenue Wanwan.

Son persona est celui d'une jeune femme de 24 ans travaillant dans le design graphique pour une petite entreprise à Hangzhou. Elle rentre chez elle après 22h, lance un livestream pour discuter, possède un chat noir nommé Meiqiu (qu'on ne voit pas, mais elle se plaint de ses bêtises). Sa personnalité est réservée au début, avec un humour légèrement pince-sans-rire. Quand on lui demande si elle est réelle, elle répond directement qu'elle est une hôte IA.

Changer de vêtements

Au début, j'ai essayé de laisser l'IA modifier les vêtements directement sur son corps. Une fois, ça passait, mais après deux essais, le visage commençait à se déformer. Ensuite, je suis passé à la création préalable d'une photo complète pour chaque tenue, incluant la personne, les vêtements et la pièce. Changer de tenue signifiait redémarrer la session à partir de cette photo, ce qui était plus rapide et plus stable. La garde-robe compte désormais 7 tenues ; le col roulé noir est celle par défaut. Un changement prend environ 5 secondes.

Cette logique permet aussi de changer de décors et d'actions, à condition d'avoir préparé suffisamment d'images de base prédéfinies.

Le timbre de la voix

Au départ, j'ai créé plusieurs personnages avec des accents (Nord-Est, Changsha, Minnan, Taïwan) parce que j'ai constaté que les accents masquent le côté artificiel de l'IA. Une fille qui parle avec un accent donne inconsciemment l'impression d'être une personne réelle. Une petite anecdote : une IA a écouté une voix deux fois à l'aveugle et a déclaré qu'il s'agissait de mandarin standard, alors que j'y ai immédiatement entendu un accent du Nord-Est. Depuis, je choisis les voix moi-même.

Plus tard, j'ai découvert un problème crucial : beaucoup de voix semblent humaines lorsqu'on les écoute seules, mais perdent tout leur charme lors d'un livestream en temps réel.

La voix finale de Wanwan est celle que j'ai conçue sur Volcano Engine, en fournissant des extraits audio bruts à cloner pour Vidu.

La voix d'attente répétitive

Après le premier stream de test de 6 minutes, ma plus grande leçon a été que lorsque personne ne commentait, elle répétait en boucle les mêmes trois ou quatre phrases d'échauffement. C'était gênant, même pour moi. Avant le deuxième stream, j'ai rapidement préparé 100 sujets de démarrage à froid basés sur son persona. La répétition ne survient qu'une fois qu'ils sont tous épuisés.

Le changement d'arrière-plan a supprimé les vêtements

Ce soir, elle a changé d'arrière-plan 9 fois. Les 8 premières se sont bien passées. À la fin, portant un caraco noir, le passage de la chambre à la cabane enneigée a conservé les vêtements (voir image ci-dessous). Mais au 9ème changement, de la cabane enneigée à la vue nocturne urbaine, les bretelles et le haut ont disparu, donnant l'impression qu'elle était nue. J'ai immédiatement coupé le stream.

Enquête sur la cause : les changements de vêtements sont stables car chaque tenue est une photo complète préfabriquée, nécessitant un redémarrage de session. Les changements d'arrière-plan et les accessoires empruntent une autre voie : fournir une image de référence à Vidu pendant le stream pour redessiner la scène. Mais sa tenue actuelle n'était pas incluse dans la référence, et nous ne lui avions pas demandé de conserver les vêtements. Vidu pouvait donc redessiner son corps. Les 8 premières fois, il l'a fait correctement ; la 9ème fois, il a effacé les vêtements. Le plus effrayant est l'inconstance. Tester plusieurs fois sans problème ne garantit pas la sécurité. C'est une faille confirmée. Qu'elle en soit la seule cause reste incertain, mais la brèche doit être colmatée. Nous avions découvert plus tôt que la modification des images de référence en plein stream provoquait des dérives irréversibles, mais nous ne nous attendions pas à ce que cela se produise lors d'un stream public.

Désormais, les changements d'arrière-plan et les accessoires de nourriture/boisson sont désactivés par défaut. Les cartes d'instructions les déplacent dans la section « pas encore possible » jusqu'à ce que nous passions au « redémarrage à partir d'une photo complète » ou que nous ajoutions des contrôles visuels.

Déconnexion de Vidu, la vraie personne assure l'intérim

Vidu s'est déconnecté une fois pendant environ 3 minutes. Pendant ce temps, Wanwan a disparu de l'écran, ne laissant que moi dans la fenêtre en bas à gauche. Les commentaires ont été inondés de « Pourquoi c'est fini ? », « Gary a disparu ». Cela prouve que la fenêtre de la vraie personne ne sert pas seulement à montrer une présence ; quand tout plante, quelqu'un doit tenir la barre.

Gestion des commentaires et des cadeaux

Les commentaires utilisent actuellement une méthode temporaire qui lit les messages de la page web.

Les cadeaux avaient initialement une logique de passage prioritaire, mais je l'ai supprimée car Douyin considère cela comme une incitation aux dons. Techniquement, la priorité basée sur les cadeaux est faisable.

Problèmes non résolus

• La synchronisation labiale pour le chant et les grands mouvements sont temporairement impossibles.
• Même avec des préréglages de persona et de sujets, les réponses gardent parfois un côté artificiel.
• Il s'écoule entre 10 et 20 secondes entre le commentaire d'un spectateur et sa prise de parole.
• Les longues phrases sont interrompues par de nouveaux dialogues ou des commandes d'action, bien que cela soit optimisable par programmation.
• La mémoire est courte. Après une reconnexion, quand on lui a demandé pourquoi ça avait coupé, elle a répondu : « Ça n'a pas coupé, on discute toujours, non ? »

4. Quel potentiel de développement pour ce concept ?

Je vais mentionner les directions que je maîtrise et visualise bien. Les cas évidents comme les hôtes e-commerce ne seront pas abordés. Mes futures explorations suivront probablement ces pistes ; les résultats seront partagés. Les lecteurs peuvent vérifier s'il y a des intersections avec leur domaine d'expertise :

1. Jeu Streaming. En tant que joueur avec plus de 20 ans d'expérience, j'ai un attachement particulier au streaming de jeux. J'ai déjà streamé Honor of Kings et LOL. Avez-vous vu la série « Doubao enseigne les jeux » sur Bilibili ? Jouer à Delta Force, LOL, Minecraft… beaucoup de vidéos sont devenues virales. Par exemple, Doubao apprenant Minecraft a atteint 16 millions de vues. Imaginez si Doubao avait un personnage interactif en temps réel et esthétique. Les vidéos et les streams seraient encore meilleurs.

1. Streaming en boucle infinie. MiniMax avait précédemment réalisé un stream avec un écran généré en temps réel, donnant une impression de boucle infinie. Mais faute de thème défini, cela ne tournait pas dans un cadre précis. En reliant la solution de Vidu à une interface externe, générant des images de scènes et des dialogues en temps réel selon les commentaires, on pourrait probablement créer du streaming d'intrigue interactive. Les vrais hôtes n'oseraient même pas l'imaginer. Imaginez un stream où la trame principale est l'hôte accomplissant un voyage : transport, compagnons, rencontres, paroles, choix… tout dirigé par les commentaires. Intéressant, non ?

3. Divertissement Streaming. Pas besoin d'explications. Le cas de Xiaoya prouve le potentiel dans l'animation de divertissement. Je soupçonne fortement que bientôt, dès que des modèles similaires seront open-sourcés, les plateformes pour adultes seront envahies par l'IA.

Limites : Douyin exige l'étiquetage des contenus générés par l'IA, impose l'apparition et l'interaction d'une vraie personne, et décourage les streams automatisés/sans surveillance. Ainsi, l'écran de Wanwan affiche toujours « Écran généré par l'IA en temps réel », et ma caméra reste dans le coin inférieur gauche. Le crash de ce soir est un rappel à l'ordre. Parmi les 18 commentaires filtrés, plusieurs demandaient des maillots de bain, des bikinis, des nuisettes, bloqués par des mots-clés (les mots-clés ont d'ailleurs faussement signalé « quelqu'un tire au flanc » comme étant suggestif, corrigé par la suite). Pourtant, l'incident n'est pas venu de là, mais d'un simple changement d'arrière-plan.

Le texte peut être bloqué par des mots-clés ; l'image, non. Les visuels générés par l'IA peuvent produire de manière inattendue du contenu interdit par la plateforme. Sans supervision, cela pourrait générer des infractions. La présence d'une vraie personne n'est pas seulement une exigence de la plateforme ; c'est ce qui vous protège.

Ceux qui espèrent générer des revenus passifs 24h/24 avec des humains numériques ont encore du chemin à parcourir.

De plus, n'utilisez pas de célébrités, de personnages appartenant à d'autres ou de visages d'autrui pour vos humains numériques. Créer le vôtre n'est pas si difficile.

6. Notes sur l'Open Source

Le framework d'outils de ce projet est open-sourcé sous licence MIT : https://github.com/garycaogan/ai-live-avatar.

Il inclut le filtrage et la mise en file d'attente des commentaires, la reconnaissance d'intentions, la garde-robe, les cartes d'instructions et superpositions d'écran, l'espace de travail local, ainsi que l'intégration de la diffusion horizontale via OBS/Douyin. Vous pouvez faire des tests à blanc sans dépenser d'argent pour voir le fonctionnement du filtrage, de la file d'attente et des superpositions. La partie extraction de données web est exclue en raison des risques ; ceux qui l'implémentent devront l'ajouter eux-mêmes.

Les outils sont accessibles à tous, mais les personnages doivent être les vôtres. Remplacez par votre visage, écrivez votre persona, et ça tourne.

Si vous voulez en construire un, prenez le code, créez votre personnage, et n'hésitez pas à commenter pour demander de l'aide ou partager vos réussites.

Je suis Gary. Si cet article vous a aidé, n'oubliez pas de cliquer trois fois !