Hallo zusammen, ich bin Gary Caogan, ein Newcomer im Bereich Self-Media, der sich seit zwei Jahren mit KI-Video und Content-Globalisierung beschäftigt.
Am Abend des 15. Oktober stieß ich zufällig auf einen Livestream-Raum namens „Tiangong Kaizhen“ (Autor: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303). Der Autor streamte schon eine Weile, und mittlerweile sind bei jedem seiner Streams Tausende von Menschen gleichzeitig online. Auch auf X gab es viele Reposts und Kommentare zu diesem Livestream-Raum.
Typische Digital-Human-Livestreams wirken oft steif in Bewegung und Stimme, mit vorab festgelegten Skripten. Für bessere Ergebnisse braucht man normalerweise eine echte Person, die im Hintergrund alles steuert. Aber warum ist genau dieser Livestream-Raum so durchgestartet? Weil das Ergebnis tatsächlich allen bisherigen Digital-Human-Livestreams haushoch überlegen ist. Es gibt niemanden, der im Hintergrund die Fäden zieht; die Reaktionen erfolgen in Echtzeit. Wenn Zuschauer eine Nachricht schicken, antwortet sie. Bewegungen, Gesichtsausdrücke und Interaktionen werden alle spontan generiert. Mein erster Gedanke war, dass das Vorstellungspotenzial dieser Lösung riesig ist:
Gaming-Streams, E-Commerce-Streams, Entertainment-Streams, Companion-Streams – im Grunde lassen sich alle Szenarien tiefgreifend mit dieser Lösung kombinieren. Also stellt sich die Frage: Wie hat er das umgesetzt? Kann ich selbst so einen Livestream-Raum bauen?
Nach vier Tagen Recherche und Feinschliff hat mein Avatar „Wanwan“ bereits offiziell auf meinem Douyin-Account gestreamt. Wir haben den Dienst während des Streams zweimal kurz neu gestartet, insgesamt über 70 Minuten. Welche Note würdet ihr diesem Ergebnis geben?
Einige Bildschirmaufnahmen:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
Okay, in diesem Artikel teile ich also, wie ich in diesen wenigen Tagen den KI-Echtzeit-Livestream-Host Wanwan von 0 auf 1 aufgebaut und optimiert habe – inklusive wie ich die Lösung zerlegt habe, wie ich sie umgesetzt habe, auf welche Stolpersteine ich gestoßen bin und wie ich sie gelöst habe.
Gleichzeitig wurde das gesamte Framework für das KI-Echtzeit-Livestream-Tool unter der MIT-Lizenz als Open Source veröffentlicht. Adresse: https://github.com/garycaogan/ai-live-avatar.
Dieser Artikel wurde von mir mithilfe der zuvor als Open Source veröffentlichten Content Workbench und Claude erstellt.
1. Den Livestream-Raum des Originalautors zerlegen
Das ist der Livestream-Raum des Originalautors Xiaoya.
Lass uns ihn in eine innere und eine äußere Schicht aufteilen.
Die innere Schicht ist die Moderatorin selbst. Bewegungen, Gesichtsausdrücke und Sprache werden alle in Echtzeit generiert. Über dem Bildschirm hängt ein Vidu-S-Label, was leicht verständlich macht, dass das Modell Vidu S2 ist, das neueste Digital-Human-Modell von Vidu. Das schließt im Grunde diverse Spekulationen über das lokale Deployment von Open-Source-Modellen aus.
Die äußere Schicht ist der Rahmen um die Moderatorin herum. Auf der Hinweiskarte steht „Heute weiter Bullet-Comment-Befehle testen“, und darunter gibt es eine Spalte für Singen, Tanzen, Verkaufen und Interaktionsfilterung – einige Punkte sind angekreuzt, andere leer. Das bedeutet: Nachdem die Bullet Comments reinkommen, filtert ein Programm in der Mitte diese, wandelt sie in Befehle um und übergibt sie dann an den Digital Human zur Ausführung. Diese Schicht ist ein Tool, das der Autor selbst gebaut hat.
Für die innere Schicht bietet Vidus Digital-Human-Lösung drei Wege: Erstens der Echtzeit-Digital-Human, bei dem Gesicht, Stimme und Antworten komplett an ihn übergeben werden; zweitens das Vorbereiten und Einspeisen von Audio, sodass er nur das Lippensynchronisieren übernimmt – damit kann er sogar singen; und drittens die Nutzung eines echten Personen-Videos, um den Digital Human zu steuern und die Person darin zu ersetzen.
Reden ist billig. Sich zu viele Gedanken über diese technischen Bewertungen zu machen, ist sinnlos, also machte ich mich sofort an die Arbeit und spielte schnell ein Demo durch. Basierend auf meiner Vertrautheit mit YouTube verband ich zuerst den Kreislauf aus Livestreaming auf YouTube und dem Auslesen von Bullet Comments.
Interessierte können sich die Wiederholung ansehen: https://www.youtube.com/live/fG84tzLOxLc
Aber das Ergebnis des ersten Livestreams war wirklich schlecht. Mein Ergebnis unterschied sich kaum von herkömmlicher Digital-Human-Technologie; die Bewegungen waren roboterhaft, die Antworten waren roboterhaft und die Stimme war roboterhaft. Wenn Xiaoyas Aufnahme eine 9 bekommt, dann ergaben meine frühen Versuche über alle drei Wege hinweg glatte Fünfen.
Vergleicht man die drei Wege, hat der Ersetzungsweg die natürlichsten Bewegungen, kann aber keine Bullet Comments in Echtzeit annehmen. Der Audio-Einspeiseweg erfordert den Aufbau eines weiteren Sets für Antworten und Vertonung. Kombiniert mit dem Vidu-S-Label auf dem Bildschirm und ihrer Geschwindigkeit beim Beantworten der Bullet Comments kam ich zu dem Schluss, dass Xiaoya den Echtzeitweg gewählt hat. Der Unterschied liegt also nicht im Weg, sondern im Basisbild, der Stimme und der Persona.
Was Xiaoya wie eine lebende Person wirken lässt, sind meiner Meinung nach vor allem folgende Punkte:
Erstens, die Bewegungen. Sie schaut die meiste Zeit nach unten, als würde sie Bullet Comments auf ihrem Handy lesen, und lächelt, wenn sie etwas Interessantes sieht, wobei sie ihre Zähne zeigt. Ihre Hände ruhen manchmal auf ihrem Kinn, manchmal greifen sie nach Snacks. Sie wirkt sehr wie ein ganz normales Mädchen, das nach der Arbeit nach Hause kommt und einen Stream startet, statt wie ein „Digital Human“, der aufrecht steht und ein Skript aufsagt.
Zweitens, die Optik. Ich vermutete zunächst, der ganze Bildschirm sei mit einem dunstigen Filter in Photoshop bearbeitet worden. Als ich später Screenshots vergrößerte, stellte ich fest, dass die Ränder des im Bild eingeblendeten Textes scharf waren und das kleine Fenster der Moderatorin klar war. Nur ihr Gesicht war weichgezeichnet. Dieser Dunst ist also kein Postproduktionsfilter, sondern dem Digital-Human-Bild inhärent: Ein weiches Licht trifft nur das Gesicht, die Umgebung ist abgedunkelt, die Haut wirkt weiß, rosa und flach wie bei einem Beauty-gefilterten Mobile-Livestream. Platziert im kleinen Querformat-Fenster auf einem Handy schrumpfen Details weg und verbergen die Schwächen der KI. Dieser Effekt ähnelt der Beleuchtung einer echten Moderatorin.
Drittens, der Rhythmus. Untertitel sind am unteren Bildrand fixiert, etwa alle 20 Sekunden wird auf einen Bullet Comment geantwortet. Das klingt langsam, aber diese Langsamkeit überdeckt genau die paar Sekunden, die die KI zum Reagieren braucht. Echte Hosts antworten schließlich auch nicht sofort, oder?
Viertens, das Real-Person-Fenster. In der Ecke ist eine lebende Person. Der gesamte Livestream-Raum wirkt nicht wie ein unbeaufsichtigter Bot. Wenn Zuschauer mit ihr chatten, wissen sie, dass jemand im Hintergrund zusieht.
Wenn man es so aufschlüsselt, ist der Optimierungspfad klar. Für die Host-Schicht nutzen wir Vidus bestehende Lösung. Was ich tun muss, ist die äußere Schicht: Querformat, Hinweiskarten, Real-Person-Fenster usw., abgeschaut von Xiaoyas Setup.
2. Vidu übernimmt den Host, ich baue die Regie-Schicht
Um es einfach auszudrücken: In einem echten Livestream-Raum gibt es neben dem Host meist einen Regie-Assistenten, der die Bullet Comments beobachtet, Werbetreibende rauswirft, Zuschauerfragen an den Host weitergibt, sie an den Outfitwechsel erinnert und Themen vorschlägt, wenn es ruhig wird.
In Wanwans Livestream-Raum gehört die Host-Rolle Vidu. Wie Wanwan aussieht, wie sie den Mund öffnet und was sie sagt, wird alles in Echtzeit von Vidu generiert.
Der Schlüssel zu diesem Echtzeit-Livestream-Projekt ist also die Regie-Schicht, die konkret folgende Aufgaben umfasst:
- Filtern: Vulgäre oder werbliche Bullet Comments werden einfach nicht vorgelesen.
- Warteschlange: Bullet Comments kommen einzeln rein. Bei Bedarf kann Logik hinzugefügt werden, damit Geschenkgeber die Schlange überspringen.
- Absichten verstehen: Unterscheiden, ob ein Kommentar Smalltalk ist, einen Outfitwechsel anfordert, nach einem Requisit fragt, den Hintergrund ändert oder eine Herz-Geste bzw. ein Winken verlangt.
- Voreinstellungen: Zum Beispiel die Garderoben-Logik. Jedes Outfit ist ein komplettes Foto. Kleiderwechsel bedeutet, zu einem neuen Foto zu wechseln und die Session neu zu starten.
- Idle-Befehle: Vidu unterstützt Idle-Stimme. Um zu verhindern, dass der Host ohne Kommentare nur leer vor sich hinstarrt, können Themen für ruhige Zeiten festgelegt werden.
- Hinweiskarten und Labels: Abgeschaut aus Xiaoyas Raum. Auf dem Bildschirm steht, was möglich ist, was nicht und wie man Kommentare sendet.
- Eine lokale Workbench: Personas ändern, Garderoben verwalten, Stimmen wechseln, Aktionen anpassen – alles per Web-Klick.
- Livestream-Konfiguration: Ich nutzte OBS, um das Digital-Human-Bild, die Hinweiskarten und meinen Kamerastream zu kombinieren, und pushte es dann horizontal über den Douyin Live Companion. Meine Kamera ist in der linken unteren Ecke platziert.
All diese Logiken entstanden durch Testrunden, Diskussionen und Optimierungen mit Claude. Er übernimmt Technik und Produkt; ich liefere Meinungen und Anforderungen.
KI kann die erste Version über Nacht bauen, inklusive Outfitwechsel, Warteschlange und Stream-Pushing. Aber sie kann den roboterhaften Tonfall in der Stimme nicht hören und weiß auch nicht, wie unbeholfen es ist, in stillen Momenten dieselben drei oder vier Sätze in einer Schleife zu wiederholen. Das spürt man erst, wenn man der Figur im Livestream tatsächlich dabei zusieht, wie sie mit einem interagiert.
Was die Kosten betrifft, konzentrieren sie sich hauptsächlich auf Vidu; der Rest ist vernachlässigbar.
Vidus Echtzeit-Digital-Human wird pro Sekunde abgerechnet, 1,5 Credits pro Sekunde, was umgerechnet etwa 169 RMB pro Stunde entspricht. Der heutige Stream dauerte 1 Stunde und 7 Minuten und kostete insgesamt 191,47 RMB, inklusive Warm-up vor dem Stream, Sessions, die für Outfitwechsel neu gestartet wurden, und Neustarts mitten im Stream. Für mich sind 100–200 RMB pro Stunde während der Testphase akzeptabel, aber die Kosten sind da. Wenn du mit dieser Lösung Geld verdienen willst, kalkuliere deinen ROI genau.
3. Stolpersteine der letzten Tage
Aussehen (im Grunde das Basisbild)
Der erste erfolgreiche Durchlauf war Tashas CG-Version. Tasha ist eine Figur aus dem Spiel Ace Combat 8. Wer mag keine rosa Haare? Aber der Digital Human wirkte im Stream schwerfällig, weil das Foto im CG-Stil gehalten und weit von realistisch entfernt war.
Dann kam die Real-Person-Version von Tasha, die ein Bildgenerierungsmodell in ein realistisches Foto verwandelte. Das war besser. Ich erstellte für sie auch ein Querformat-Layout in Anlehnung an Xiaoyas Setup: Sie saß an einem Schreibtisch, stützte ihr Kinn auf, mit einer Lampe in der Nähe. Aber es fehlte immer noch etwas, es sah offensichtlich nach einem KI-Gesicht aus.
Als ich zu Originalfiguren wechselte, wollte ich lebensnähere, gewöhnlichere Rollen. Ich erstellte vier Mädchen mit Akzenten: Xiaoman aus Nordostchina, Chengzi aus Changsha, Awen aus Minnan und An'an mit taiwanesischem Akzent.
Die Probleme hierbei lagen hauptsächlich in der Ästhetik und den Basisbildern. Vergleicht man Chengzis Basisbild mit Xiaoyas Bildschirm, war der Hautton zu gelb und gesättigt, die Textur zu detailliert, der Kamerawinkel frontal auf Augenhöhe, die Arme ausgebreitet wie auf einem Passfoto. Es traten auch Persona-Probleme auf: Ich schrieb Beispielsätze in die Persona, und sie las sie wortwörtlich vor.
Schließlich suchte ich frustriert nach Inspiration in den X-Posts des Bloggers Doumiao (@nima2qisi2) und nutzte Prompts, um eine ähnliche Version zu generieren – daraus wurde Wanwan.
Die Persona ist ein 24-jähriges Mädchen, das in Grafikdesign bei einer kleinen Firma in Hangzhou arbeitet. Sie kommt nach 22 Uhr nach Hause, startet einen Livestream zum Chatten und hat eine schwarze Katze namens Meiqiu (nicht im Bild, aber sie beschwert sich über deren Streiche). Ihr Charakter ist anfangs zurückhaltend, mit leicht trockenem Humor. Wenn sie gefragt wird, ob sie echt ist, sagt sie direkt, dass sie eine KI-Moderatorin ist.
Kleiderwechsel
Anfangs versuchte ich, die KI die Kleidung direkt an ihrem Körper verändern zu lassen. Einmal ging das gut, aber nach dem zweiten Mal begann das Gesicht zu brechen. Später wechselte ich dazu, für jedes Outfit vorab ein komplettes Foto zu erstellen, inklusive Person, Kleidung und Raum. Kleiderwechsel bedeutete dann, die Session von diesem Foto aus neu zu starten, was schneller und stabiler war. Die Garderobe hat jetzt 7 Outfits; der schwarze Rollkragenpullover ist Standard. Ein Wechsel dauert etwa 5 Sekunden.
Diese Logik kann auch Szenen und Aktionen wechseln, vorausgesetzt, es sind genug voreingestellte Basisbilder vorbereitet.
Stimmfarbe
Anfangs erstellte ich mehrere Figuren mit Akzenten (Nordostchina, Changsha, Minnan, Taiwan), weil ich herausfand, dass Akzente den KI-Vibe überdecken. Ein Mädchen, das mit Akzent spricht, fühlt sich unterbewusst wie eine lebende Person an. Es gab einen kleinen Vorfall: Eine KI hörte sich eine Stimme zweimal blind an und sagte, es sei Standardmandarin, aber ich hörte sofort den nordostchinesischen Einschlag. Seitdem wähle ich die Stimmen selbst aus.
Später entdeckte ich ein kritisches Problem: Viele Stimmen klingen allein wie echte Menschen, verlieren aber in Echtzeit-Livestreams ihren Charme.
Wanwans endgültige Stimme habe ich auf Volcano Engine entworfen, indem ich rohes Audiomaterial lieferte, um es auf Vidu zu klonen.
Sich wiederholende Idle-Stimme
Nach dem ersten 6-minütigen Teststream war meine größte Erkenntnis, dass sie, wenn niemand kommentierte, dieselben drei oder vier Aufwärmsätze in einer Schleife wiederholte. Selbst für mich war das unangenehm. Vor dem zweiten Stream bereitete ich schnell 100 Kaltstart-Themen basierend auf ihrer Persona vor. Wiederholungen passieren erst, wenn alle aufgebraucht sind.
Hintergrundwechsel entfernte Kleidung
Heute Abend wechselte sie 9-mal den Hintergrund. Die ersten 8 Male waren okay. Am Ende, als sie ein schwarzes Trägertop trug, behielt sie beim Wechsel vom Zimmer zur verschneiten Hütte die Kleidung (siehe Bild unten). Aber beim 9. Wechsel, von der verschneiten Hütte zur Stadtnachtsicht, fehlten Träger und Oberteil, sie sah nackt aus. Ich beendete den Stream sofort.
Ursachenforschung: Kleiderwechsel sind stabil, weil jedes Outfit ein vorab erstelltes, komplettes Foto ist und die Session neu gestartet wird. Hintergrundwechsel und Requisiten nehmen einen anderen Weg: Während des Streams wird Vidu ein Referenzbild übergeben, um die Szene neu zu zeichnen. Aber ihr aktuelles Outfit war im Referenzbild nicht enthalten, und wir haben auch nicht darum gebeten, die Kleidung beizubehalten. Vidu könnte ihren Körper neu zeichnen. Die ersten 8 Male zeichnete es richtig; beim 9. Mal löschte es die Kleidung. Das Unheimlichste daran ist die Inkonsistenz. Dass Tests mehrmals problemlos verliefen, bedeutet keine Sicherheit. Das ist eine bestätigte Schwachstelle. Ob es die einzige Ursache ist, bleibt unklar, aber das Loch muss gestopft werden. Wir hatten früher entdeckt, dass das Ändern von Referenzbildern mitten im Stream zu Drift und Irreversibilität führt, aber wir hätten nicht erwartet, dass es in einem öffentlichen Stream passiert.
Jetzt sind Hintergrundwechsel sowie Essens- und Getränkerequisiten standardmäßig deaktiviert. Hinweiskarten verschieben sie in den Abschnitt „noch nicht möglich“, bis wir auf „Neustart vom vollständigen Foto“ umstellen oder visuelle Prüfungen hinzufügen.
Vidu-Trennung, echte Person hält die Stellung
Vidu trennte sich einmal für etwa 3 Minuten. In dieser Zeit verschwand Wanwan vom Bildschirm, und nur ich blieb im Fenster unten links. Die Kommentare wurden überflutet mit „Warum ist es vorbei?“ und „Gary ist weg“. Das zeigt, dass das Real-Person-Fenster nicht nur der Präsenz dient; wenn etwas kaputtgeht, muss jemand die Stellung halten.
Umgang mit Bullet Comments und Geschenken
Bullet Comments nutzen derzeit eine provisorische Methode, die Webseitenkommentare ausliest.
Geschenke hatten anfangs eine Logik zum Überspringen der Warteschlange, aber ich habe sie entfernt, weil Douyin das als Aufforderung zum Spenden wertet. Technisch gesehen ist ein geschenkbasiertes Überspringen der Warteschlange machbar.
Ungelöste Probleme
- Lippensynchrones Singen und große Bewegungen sind vorübergehend unmöglich.
- Selbst mit Persona- und Themenvoreinstellungen behalten Antworten manchmal den KI-Vibe.
- Vom Zuschauerkommentar bis zu ihrer Antwort vergehen 10–20 Sekunden.
- Lange Sätze werden durch neue Dialoge oder Aktionsbefehle unterbrochen, obwohl das programmatisch optimierbar ist.
- Das Gedächtnis ist kurz. Nach einer Wiederverbindung antwortete sie auf die Frage, warum es aufgehört hatte: „Es hat nicht aufgehört, chatten wir nicht noch?“
4. Welches Entwicklungspotenzial hat dieses Gameplay?
Ich erwähne Richtungen, mit denen ich vertraut bin und die ich mir gut vorstellen kann. Offensichtliche Dinge wie E-Commerce-Hosts bespreche ich nicht. Zukünftige Erkundungen könnten diesen Pfaden folgen; Ergebnisse werde ich teilen. Leser können prüfen, ob es Überschneidungen mit ihrer Expertise gibt:
1. Game-Streaming. Als Gamer mit über 20 Jahren Erfahrung habe ich eine Schwäche für Game-Streams. Ich habe früher Honor of Kings und LOL gestreamt. Habt ihr Bilibilis Serie „Doubao Teaches Games“ gesehen? Beim Spielen von Delta Force, LOL, Minecraft gingen viele Videos viral. Z. B. erreichte Doubao, der Minecraft erklärt, 16 Millionen Aufrufe. Stellt euch vor, Doubao hätte eine interaktive, gutaussehende Echtzeitfigur. Videos und Streams wären noch besser.
- Endlos-Loop-Streaming. MiniMax hatte früher einen Stream mit in Echtzeit generierten Bildern, der sich wie eine Endlosschleife anfühlte. Aber ohne definiertes Thema lief er nicht innerhalb eines Rahmens. Wenn man Vidus Lösung mit einer äußeren Hülle verbindet und Szenenbilder sowie Dialoge basierend auf Kommentaren in Echtzeit generiert, wird wahrscheinlich interaktives Story-Streaming möglich. Echte Hosts würden sich das nicht mal träumen lassen. Stellt euch einen Stream vor, bei dem die Haupthandlung darin besteht, dass der Host eine Reise absolviert: Transportmittel, Begleiter, Begegnungen, Worte, Entscheidungen – alles von den Kommentaren gelenkt. Ist das nicht interessant?
3. Entertainment-Streaming. Braucht keine Erklärung. Xiaoyas Fall beweist das Potenzial im Entertainment-Hosting. Ich vermute stark, dass bald, nachdem ähnliche Modelle als Open Source verfügbar sind, Erwachsenenplattformen von KI besetzt werden.
Grenzen: Douyin verlangt die Kennzeichnung von KI-generierten Inhalten, schreibt das Auftreten und die Interaktion echter Personen vor und rät von unbemannten/Bot-Streams ab. Deshalb zeigt Wanwans Bildschirm immer „KI-Echtzeit-generiertes Bild“ an, und meine Kamera bleibt unten links. Der heutige Absturz ist eine Mahnung. Unter 18 gefilterten Kommentaren forderten mehrere Badeanzüge, Bikinis und Unterkleider, die durch Keywords blockiert wurden (Keywords markierten fälschlicherweise auch „jemand drückt sich“ als anzüglich, später behoben). Doch der Unfall kam nicht von diesen, sondern von einem normalen Hintergrundwechsel.
Text kann durch Keywords blockiert werden; Bilder nicht. KI-generierte Visuals können unerwartet plattformverbotene Inhalte erzeugen. Ohne Aufsicht könnte sie Verstöße produzieren. Die Präsenz einer echten Person ist nicht nur eine Plattformanforderung; sie schützt dich.
Wer hofft, mit Digital Humans 24 Stunden am Tag passives Einkommen zu erzielen, hat noch einen weiten Weg vor sich.
Nutzt außerdem keine Prominenten, fremde Figuren oder Gesichter für Digital Humans. Eigene zu erstellen, ist nicht schwer.
6. Hinweise zu Open Source
Das Tool-Framework dieses Projekts ist unter der MIT-Lizenz als Open Source veröffentlicht: https://github.com/garycaogan/ai-live-avatar.
Beinhaltet Bullet-Comment-Filterung/Warteschlange, Absichtserkennung, Garderobe, Hinweiskarten/Bildschirm-Overlays, lokale Workbench, OBS/Douyin-Integration für horizontales Pushen. Du kannst einen Trockenlauf machen, ohne Geld auszugeben, um Filterung, Warteschlange und Overlay-Umsetzung zu sehen. Der Webseiten-Scraping-Teil ist wegen des Risikos ausgeschlossen; Umsetzer sollten ihn selbst hinzufügen.
Die Tools stehen allen zur Verfügung, aber die Figuren müssen deine eigenen sein. Tausche dein Gesicht ein, schreibe deine Persona, und es läuft.
Wenn du einen bauen willst, nimm den Code, erstelle deine Figur, und Kommentare für Hilfe oder zum Teilen von Erfolgen sind willkommen.
Ich bin Gary. Wenn dieser Artikel geholfen hat, vergesst nicht den Dreifachklick!
