こんにちは、皆さん。私は Gary Caogan です。AI 動画とコンテンツのグローバル化を 2 年間模索し続けている、駆け出しの自媒体（セルフメディア）クリエイターです。
10 月 15 日の夜、私は「Tiangong Kaizhen」というライブ配信ルームに偶然出会いました（作者：Tiangong Kaizhen、GitHub: https://github.com/beiyege-01、X: @yijt1339303）。作者はしばらく前から配信を続けており、今では配信を開始するたびに数千人がオンラインで視聴しています。X でもこのライブ配信ルームについてのリポストやコメントが多く見られました。
よくあるデジタルヒューマンのライブ配信は、動きも声も不自然で、あらかじめ台本が用意されています。より良い効果を出すには、通常バックグラウンドで実際の人間が操作する必要があります。しかし、なぜこの配信ルームはバズったのでしょうか？ それは、そのクオリティが従来のデジタルヒューマン配信とは比べ物にならないほど優れていたからです。裏で操作している人間はおらず、反応はすべてリアルタイムです。視聴者がコメントを送ると、彼女がそれに答えます。動き、表情、インタラクションのすべてがその場で生成されているのです。私が最初に感じたのは、このソリューションの可能性は計り知れないということでした。
ゲーム配信、EC 配信、エンタメ配信、コンパニオン配信——基本的にあらゆるシーンで、このソリューションと深く組み合わせることができます。 そこで疑問が湧きます。彼はどのようにこれを実装したのか？ 私にも同じような配信ルームを作れるのだろうか？
4 日間の調査と調整を経て、私のアバター「Wanwan」はすでに Douyin アカウントで正式に配信デビューしました。配信中にサービスを 2 回ほど短時間再起動しましたが、合計で 70 分以上の配信となりました。この仕上がり、何点くらいだと思いますか？
画面録画の一部はこちらです：
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
さて、この記事では、この数日間で私が AI リアルタイム配信ホスト「Wanwan」をゼロから構築・チューニングした方法について共有します。ソリューションをどう分解したか、どう実装したか、どんな落とし穴に遭遇し、どう解決したかを含めて解説します。
同時に、この AI リアルタイム配信ツールのフレームワーク全体を MIT ライセンスでオープンソース化しました。リポジトリ： https://github.com/garycaogan/ai-live-avatar。
この記事は、以前オープンソース化したコンテンツワークベンチと Claude を使って私が執筆しました。
1. オリジナル作者の配信ルームを分解する
これがオリジナル作者 Xiaoya の配信ルームです。
内側と外側のレイヤーに分けて分解してみましょう。
内側のレイヤーはホスト本人です。動き、表情、発話はすべてリアルタイムで生成されています。画面上部に Vidu S というラベルが表示されており、使用されているモデルが Vidu の最新デジタルヒューマンモデルである Vidu S2 であることが容易にわかります。 これにより、オープンソースモデルをローカルデプロイしているという様々な推測はほぼ否定されます。
外側のレイヤーは、ホストを取り囲む枠組みです。指示カードには「今日は引き続きコメントコマンドのテストを行います」と書かれており、その下には歌、ダンス、商品販売、インタラクションのフィルタリング欄があり、チェックが入っているものと空のものがあります。これはつまり、コメントが入力された後、中間にあるプログラムがそれをフィルタリングしてコマンドに変換し、デジタルヒューマンに渡して実行させているということです。このレイヤーは作者自身が作ったツールです。
内側のレイヤーについて、Vidu のデジタルヒューマンソリューションには 3 つのアプローチがあります。1 つ目はリアルタイムデジタルヒューマンで、顔、声、応答のすべてを任せる方法。2 つ目は音声を事前に用意して入力し、リップシンクだけを処理させる方法で、歌うことすら可能です。3 つ目は実際の人物の動画を使ってデジタルヒューマンを駆動させ、中の人を差し替える方法です。
百聞は一見に如かず。こうした技術評価について考えすぎるのは意味がないので、私はすぐに作業に取りかかり、あっという間にデモを動かしてみました。YouTube に慣れていることもあり、まずは YouTube で配信しつつコメントを読み取るループを繋げました。
興味のある方はアーカイブをご覧ください：https://www.youtube.com/live/fG84tzLOxLc
しかし、最初の配信の出来はかなりひどいものでした。私の成果物は従来のデジタルヒューマン技術と大差なく、動きもロボットのよう、返答もロボットのよう、声もロボットのようでした。Xiaoya の録画が 9 点だとすると、3 つのアプローチで試した初期の私の成果は落第点でした。
3 つのアプローチを比較すると、差し替え方式は最も自然な動きをしますが、リアルタイムでコメントを受け取ることができません。音声入力方式は、別途応答と吹き替えの仕組みを構築する必要があります。画面上の Vidu S ラベルと、彼女のコメントへの反応速度を総合すると、Xiaoya はリアルタイム方式を採用していると判断しました。つまり、差はアプローチではなく、ベース画像、声、そしてペルソナにあります。
Xiaoya が生身の人間のように感じられる理由は、主に以下の点だと思います。
第一に、動きです。彼女はほとんどの時間、スマホでコメントを読んでいるように下を向いており、面白いものを見つけると歯を見せて笑います。手は時に顎に添えられ、時におやつに伸びます。台本を直立して読み上げる「デジタルヒューマン」ではなく、仕事から帰ってきて配信を始めた普通の女の子にとてもよく似ています。
第二に、ビジュアルです。最初は画面全体にぼかしフィルターが Photoshop でかけられているのかと思いました。しかし、スクリーンショットを拡大してみると、画面上に重ねられたテキストの縁はシャープで、ホストの小窓も鮮明でした。柔らかくなっていたのは彼女の顔だけだったのです。つまり、このぼかし感はポストプロダクションのフィルターではなく、デジタルヒューマンの画面自体に内在するものです。柔らかな光が顔だけに当たり、周囲は暗く落とされ、肌はモバイル配信のビューティーフィルターのように白くピンク色で平坦に見えます。スマートフォンの横長小窓に収められると、細部が縮小されて AI の粗が隠れます。この効果は、実際のホストのライティングに似ています。
第三に、リズムです。字幕は画面下部に表示され、約 20 秒ごとに 1 件のコメントに返信します。遅いように聞こえますが、この遅さが AI が反応する数秒間をちょうどカバーしてくれます。実際のホストだって即座に返信するわけではありませんよね？
第四に、実在人物の小窓です。隅に生身の人間がいます。配信ルーム全体が放置されたマシンのようには見えません。彼女とチャットしているとき、視聴者は裏で見守っている人がいることを知っています。
ここまで分解すれば、最適化の道筋は明確です。ホストレイヤーには Vidu の既存ソリューションを使います。私がやるべきことは外側のレイヤー、つまり横長モード、指示カード、実在人物の小窓などで、Xiaoya の構成を参考にします。
2. ホストは Vidu に任せ、私がフロアディレクター層を構築する
わかりやすく例えると、実際の配信ルームでは、ホストの隣にコメントをチェックし、宣伝目的のユーザーを追い出し、視聴者の質問をホストに伝え、着替えを促し、場が静かになったら話題を提供するフロアディレクター（進行補助）がいるのが普通です。
Wanwan の配信ルームでは、ホストの役割は Vidu が担います。Wanwan がどう見えるか、どう口を開けるか、何を言うかは、すべて Vidu によってリアルタイムで生成されます。
したがって、このリアルタイム配信プロジェクトの鍵はフロアディレクター層にあります。具体的には以下のタスクが含まれます。
- フィルタリング：下品なコメントや広告コメントは、そもそも読み上げないようにします。
- キューイング：コメントは次々と届きます。必要に応じて、ギフトを贈った人が割り込めるロジックを追加することもできます。
- 意図の理解：コメントが雑談なのか、着替えのリクエストなのか、小道具の要求なのか、背景変更なのか、ハートポーズや手を振るお願いなのかを区別します。
- 事前設定：例えば衣装ロジックです。各衣装は 1 枚の完全な写真です。着替えとは新しい写真に切り替えてセッションを再起動することを意味します。
- アイドルコマンド：Vidu はアイドル時の音声をサポートしています。コメントがないときにホストがただぼんやり見つめるのを防ぐため、暇な時間用の話題を設定できます。
- 指示カードとラベル：Xiaoya の部屋から学びました。何ができるか、何ができないか、どうコメントを送ればいいかを画面に書き込みます。
- ローカルワークベンチ：ペルソナの変更、衣装管理、声の切り替え、動作の調整——すべて Web クリックで行えます。
- 配信設定：OBS を使ってデジタルヒューマン画面、指示カード、自分のカメラ映像を合成し、Douyin Live Companion を通じて横長でプッシュしました。私のカメラは左下に配置しています。
これらのロジックはすべて、Claude とのテスト、議論、最適化の繰り返しによって作り上げました。彼が技術とプロダクトを担当し、私が意見と要件を提供します。
AI は一晩で初版を作り上げ、着替え、キューイング、配信プッシュを通しで動かすことができます。しかし、声に含まれるロボットっぽさを聞き取ることはできず、沈黙中に同じ 3〜4 文をループさせるのがどれほど不自然かもわかりません。これは実際に配信でキャラクターが自分とやり取りするのを見て初めて感じるものです。
コストについては、主に Vidu に集中しており、その他は無視できる程度です。
Vidu のリアルタイムデジタルヒューマンは秒単位で課金され、1 秒あたり 1.5 クレジット、時間に換算すると約 169 RMB です。今夜の配信は 1 時間 7 分で、配信前のウォームアップ、着替えのためのセッション再起動、配信中の再起動を含め、合計 191.47 RMB かかりました。私にとってテスト中は 1 時間あたり 100〜200 RMB は許容範囲ですが、コストがかかるのは事実です。このソリューションで収益化したいなら、ROI をしっかり計算してください。
3. この数日で遭遇した落とし穴
外見（基本的にはベース画像）
最初に成功したのは Tasha の CG 版でした。Tasha はゲーム『エースコンバット 8』のキャラクターです。ピンク髪が嫌いな人なんていませんよね？ しかし、写真が CG 調でリアルさから遠かったため、配信でのデジタルヒューマンは重たい印象になりました。
次に、画像生成モデルでリアルな写真風に描き直した Tasha の実写版を試しました。こちらの方が良かったです。Xiaoya の構成を真似て、机に座って顎に手を当て、近くにランプがある横長の構図も作りました。それでも何かが足りず、明らかに AI の顔だと感じられました。
オリジナルキャラクターに切り替えたときは、もっと生活感があり、普通の役柄にしたくなりました。そこでアクセントのある 4 人の女の子を作りました。東北地方出身の Xiaoman、長沙出身の Chengzi、閩南出身の Awen、台湾アクセントの An'an です。
これらの問題は主に美的センスとベース画像にありました。Chengzi のベース画像と Xiaoya の画面を比べると、肌の色が黄色すぎ彩度が高く、質感が詳細すぎ、カメラアングルが正面の目線の高さで、証明写真のように腕を広げていました。ペルソナの問題も発生しました。ペルソナにサンプルセリフを書いたところ、彼女がそれをそのまま読み上げてしまったのです。
最終的に煮詰まった私は、ブロガー Doumiao の X 投稿（@nima2qisi2）からインスピレーションを得て、プロンプトを使って似たバージョンを生成し、それが Wanwan になりました。
ペルソナは、杭州の小さな会社でグラフィックデザインをしている 24 歳の女の子です。夜 10 時過ぎに帰宅し、雑談するために配信を始めます。Meiqiu という名前の黒猫を飼っています（画面には映りませんが、そのいたずらについて愚痴ります）。性格は人見知りで、少しドライユーモアがあります。本物の人間かと聞かれたら、AI ホストだと直接答えます。
着替え
最初は、AI に直接服を変更させようとしました。1 回なら大丈夫でしたが、2 回やると顔が崩れ始めました。その後、各衣装ごとに人物、服、部屋を含む完全な写真を事前に作成する方法に切り替えました。着替えはその写真からセッションを再起動することを意味し、より速く安定していました。現在衣装は 7 着あり、黒のタートルネックがデフォルトです。1 回の着替えに約 5 秒かかります。
十分なベース画像を事前に用意しておけば、このロジックでシーンやアクションを切り替えることも可能です。
声のトーン
当初、アクセントが AI 感を覆い隠してくれることに気づき、いくつかの方言キャラクター（東北、長沙、閩南、台湾）を作りました。アクセントで話す女の子は、無意識に生身の人間のように感じられます。ちょっとした出来事がありました。ある AI がブラインドテストで 2 回声を聞いて標準的な北京語だと言ったのですが、私にはすぐに東北訛りに聞こえました。それ以来、声は自分で選ぶようにしています。
その後、重大な問題に気づきました。多くの声は単体で聞くと本物の人間のように聞こえますが、リアルタイム配信ではその魅力が失われてしまうのです。
Wanwan の最終的な声は、Volcano Engine で私が設計し、生の音声素材を提供して Vidu 上にクローンしたものです。
繰り返されるアイドル音声
最初の 6 分間のテスト配信の後、最大の教訓は、誰もコメントしないと彼女が同じ 3〜4 句のウォームアップフレーズをループすることでした。私が見ていても気まずいほどでした。2 回目の配信前に、彼女のペルソナに基づいて 100 個のコールドスタート用話題を急いで用意しました。繰り返しが起こるのは、それらがすべて尽きた後だけです。
背景変更で服が消えた
今夜、彼女は 9 回背景を変更しました。最初の 8 回は問題ありませんでした。最後に黒のキャミソールを着た状態で、部屋から雪の小屋へ変更したときは服が残っていました（下の画像参照）。しかし 9 回目、雪の小屋から都会の夜景へ変更した際、肩紐とトップスが消え、裸のように見えました。私はすぐに配信を終了しました。
原因を調査しました。着替えが安定しているのは、各衣装が事前に作成された完全な写真であり、セッションを再起動しているからです。背景変更や小道具は別の経路をたどります。配信中に参照画像を Vidu に渡してシーンを再描画させるのです。しかし、現在の衣装は参照画像に含まれておらず、服を保持するようにも指示していませんでした。Vidu は彼女の体を再描画できてしまいます。最初の 8 回は正しく描画されましたが、9 回目に服を消してしまったのです。最も恐ろしいのは一貫性の欠如です。複数回テストして問題がなかったからといって安全とは限りません。これは確認された脆弱性です。これが唯一の原因かどうかは不明ですが、穴は塞がなければなりません。配信中に参照画像を変更するとドリフトが発生し元に戻せなくなることは以前からわかっていましたが、公開配信で起こるとは予想していませんでした。
現在、背景変更と飲食の小道具はデフォルトで無効になっています。「完全な写真からの再起動」に切り替えるか、ビジュアルチェックを追加するまで、指示カードではこれらを「まだできないこと」の欄に移動させています。
Vidu の切断、実在人物が繋ぎ止める
Vidu が一度、約 3 分間切断されました。その間、Wanwan は画面から消え、左下の小窓にいる私だけが残りました。コメント欄には「なぜ終わったの？」「Gary がいなくなった」と溢れました。これは、実在人物の小窓が単なる存在感のためだけでなく、トラブルが起きたときに誰かが場を持たなければならないことを示しています。
コメントとギフトの処理
コメントは現在、Web ページのコメントを読み取る暫定的な方法を使用しています。
ギフトには当初、割り込みロジックを入れていましたが、Douyin が投げ銭の誘導とみなすため削除しました。技術的には、ギフトによる割り込みは実現可能です。
未解決の問題
- リップシンクでの歌唱や大きな動きは現時点では不可能です。
- ペルソナや話題を事前設定しても、応答に AI 感が残ることがあります。
- 視聴者のコメントから彼女が話し始めるまでに 10〜20 秒かかります。
- 長い文章は新しい会話やアクションコマンドによって中断されますが、プログラムで最適化可能です。
- 記憶が短いです。再接続後に「なぜ止まったの？」と聞かれると、「止まってないよ、まだチャットしてるでしょ？」と答えました。
4. この遊び方の発展可能性は？
私が馴染みがあり、イメージしやすい方向性を挙げます。EC ホストのような明白なものは触れません。今後の探索はこれらの道筋に沿うかもしれません。結果は共有していきます。読者の皆さんは、自身の専門知識と交わる部分がないか確認してみてください。
1. ゲーム配信。20 年以上の経験を持つゲーマーとして、ゲーム配信には愛着があります。以前は Honor of Kings や LOL の配信をしていました。Bilibili の「Doubao がゲームを教える」シリーズを見たことがありますか？ Delta Force、LOL、Minecraft をプレイし、多くがバズりました。例えば、Doubao が Minecraft を教える動画は 1,600 万回再生に達しました。もし Doubao にリアルタイムで対話できる見た目の良いキャラクターがいたらどうでしょう。動画も配信もさらに良くなるはずです。
- 無限ループ配信。MiniMax は以前、リアルタイム生成画面の配信を行っており、無限ループのような感覚がありました。しかし明確なテーマがなく、枠組みの中で動いていませんでした。Vidu のソリューションを外側のシェルと繋ぎ、コメントに基づいてシーンの画像と会話をリアルタイム生成すれば、インタラクティブなストーリー配信が可能になるでしょう。実際のホストでは想像もつかないことです。ホストが旅を完遂するという主线の配信を想像してみてください。交通手段、仲間、遭遇、言葉、選択——すべてがコメントによって導かれます。面白そうではありませんか？
3. エンタメ配信。説明不要でしょう。Xiaoya の事例は、エンタメホストとしての可能性を証明しています。同様のモデルがオープンソース化された後、すぐにアダルトプラットフォームが AI に占拠されると強く疑っています。
境界線について：Douyin は AI 生成コンテンツのラベル付けを要求し、実在人物の出演とインタラクションを義務付け、無人／放置配信を推奨していません。そのため、Wanwan の画面には常に「AI リアルタイム生成画面」と表示し、私のカメラを左下に置き続けています。今夜のクラッシュは良い教訓です。フィルタリングされた 18 件のコメントのうち、いくつかは水着、ビキニ、スリップドレスを要求するもので、キーワードでブロックされました（キーワードは「誰かがサボっている」という表現も誤って示唆的と判定し、後で修正しました）。しかし、事故はそれらからではなく、通常の背景変更から起きました。
テキストはキーワードでブロックできますが、画面はできません。AI 生成のビジュアルは、プラットフォームが禁止するコンテンツを予期せず生成する可能性があります。監視なしでは規約違反を生み出すかもしれません。実在人物の存在は単なるプラットフォームの要件ではなく、あなた自身を守るものなのです。
デジタルヒューマンで 24 時間の不労所得を狙っている人は、まだ道のりが遠いです。
また、有名人や他人のキャラクター、顔をデジタルヒューマンに使わないでください。自分で作るのは難しくありません。
6. オープンソースに関する注意事項
このプロジェクトのツールフレームワークは MIT ライセンスでオープンソース化されています：https://github.com/garycaogan/ai-live-avatar。
コメントのフィルタリング／キューイング、意図認識、衣装管理、指示カード／画面オーバーレイ、ローカルワークベンチ、OBS／Douyin の横長プッシュ統合が含まれています。お金をかけずにドライランを行い、フィルタリング、キューイング、オーバーレイの実装を確認できます。Web スクレイピング部分はリスクがあるため除外しており、実装者は各自で追加する必要があります。
ツールは誰でも利用できますが、キャラクターはあなたのものである必要があります。自分の顔に差し替え、自分のペルソナを書き込めば動きます。
作ってみたい方はコードを持っていき、自分のキャラクターを作ってみてください。助けが必要な場合や成功事例の共有も歓迎します。
私は Gary です。この記事が役に立ったら、ぜひ「三連」（いいね、コイン、お気に入り）をお願いします！
