大家好，我是 Gary曹淦，持续探索 AI 视频和内容出海两年的自媒体新人。
10 月 15 号晚上刷到一个叫“天工开帧”的直播间（作者天工开帧，GitHub：https://github.com/beiyege-01 ，X：@yijt1339303），作者已经播了一段时间，现在一开播就是数千人在线，X上也有大量关于这个直播间的转载和评论。
一般的数字人直播动作直播语音都比较僵硬，脚本也是预设的，需要更好的效果一般只能背后做个真人实时替换。但这个直播间为什么能破圈，是因为效果确实远超过往的数字人直播，他背后没有真人驱动，反应是实时的，观众发一句她回一句，动作、表情、互动都是现场生成，我当时的第一反应是，这个方案的想象力太大了：
游戏直播、带货直播、娱乐直播、陪伴直播，各种场景基本都能和这套方案做深度结合，那么问题来了，他是怎么实现的，我能不能也整一个这样的直播间出来？
经过四天的研究和打磨，我搭的晚晚已经在我的抖音号上正经播了一场，中间短暂重启了两次服务，总共播了 70 多分钟，大家觉得这个效果能打多少分？
几段录屏：
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
好，那么这篇文章就来分享我如何在这几天里从 0 到 1 搭建和调优的 AI 实时直播主播晚晚，包括我怎么拆解方案、怎么实现、中间踩了哪些坑又是怎么解决的。
同时整套AI 实时直播的工具框架已经按 MIT 协议开源，地址：https://github.com/garycaogan/ai-live-avatar 。
本文由我通过上一篇帖子之前开源的内容工作台和 Claude一起完成。
一、拆解原作者的直播间
这是原作者小雅的直播间。
拆成内外两层看。
里面一层是主播本身，动作、表情、说话都是实时生成的，画面正上方挂着 Vidu s 的标，这个很容易能了解到，模型就是 vidus2，vidu 最新的数字人模型，基本可以排除有人传的各种开源模型本地部署的猜测。
外面一层是围着主播的那一圈，说明卡上写着今天继续测试弹幕指挥，下面一列唱歌、跳舞、带货、互动过滤，有的打了勾有的空着，也就是说弹幕进来以后，中间还有一道程序在过滤、在把弹幕变成指令，再交给数字人去演，这一层是作者自己做的工具。
里面那一层，Vidu 的数字人方案有三条路，一条是实时数字人，脸、声音、回话全交给它；一条是把声音准备好喂进去，它只管对口型，这条路甚至能唱歌；还有一条是拿一段真人视频驱动数字人，把里面的人换掉。
光说不练假把式，这些技术性的评估想多了没意义，于是我马上开干，很快跑通了 demo，基于我对 YouTube 的熟悉，先打通了在 YouTube 上直播、读弹幕的闭环，
感兴趣的可以去看回放：https://www.youtube.com/live/fG84tzLOxLc
但第一次直播的效果实在是很差劲，我这效果跟常规的数字人技术没太大的区别，动作很人机、回复很人机、音色很人机。如果小雅的录屏打 9 分，给我早期尝试的各个版本打分，三条路线我测出来都是不及格的分数。
单从三条路线之间的对比来看，换人那条动作最自然，但没法现场接弹幕，喂声音那条又得自己再搭一套回话和配音，再结合画面上的 Vidu S 标和她接弹幕的速度，我判断小雅走的就是实时路线，所以差距不在路子上，在底图、声音和人设上。
让小雅活人感强的，我觉得主要是下面几点：
第一，动作。她大部分时间是低着头往下看的，像在看手机上的弹幕，看到有意思的会笑，笑起来露牙，手一会儿托着下巴，一会儿去拿零食，特别像一个下班回家开播的普通女生，而不是一个端端正正站在那儿背稿子的“数字人”。
第二，画面。我一开始怀疑整个画面是不是 P 过，加了一层朦胧滤镜，后来把截图放大了看，发现框里叠的那些文字边缘是锐的，主播的小窗也是清楚的，只有她的脸是柔的。所以这种朦胧感不是后期加的滤镜，是数字人画面自己带的：一盏柔光只打在脸上，周围压得很暗，皮肤像开了美颜的手机直播那样，白、粉、平。再放进手机上那个小小的横框里，细节全被缩没了，AI 那点假，反而被藏住了，这个效果更像是真人主播的打光。
第三，节奏。字幕压在框的底部，大概 20 秒回一条弹幕，听着慢，但这个慢刚好盖住了 AI 反应要花的那几秒，真人主播看弹幕本来也不是秒回的，对吧？
第四，真人小窗。角落里有个活人，整个直播间就不像一台挂着的机器，观众跟她聊天的时候，心里知道背后有人在看着。
拆到这里，怎么优化就很清楚了，主播那一层用 vidu 现成的，我要自己做的是外面那一圈，横屏、说明卡、真人小窗这几样也照着学过来。
二、Vidu 负责主播，我做的是场控这一层
说个大白话的比方。真人直播间里，主播旁边一般还有个场控，帮主播盯弹幕、把打广告的踢出去、把观众的问题递给主播、提醒她该换衣服了，冷场的时候再递一个话题过去。
放到晚晚的直播间里，主播这个角色是 Vidu 的，晚晚长什么样、怎么张嘴、说什么，都是 Vidu 实时生成的。
所以这个实时直播项目的关键，就是场控这一层，具体是这么几件事：
- 过滤，低俗的、打广告引流的弹幕，直接不念。
- 排队，弹幕一条一条来，如果需要，可以做送礼物插队的逻辑。
- 看懂弹幕的意图，分清这条是在聊天、要换衣服、要个道具、换背景，还是让她比个心、挥挥手。
- 做好预设，比如做衣柜换装的逻辑，每套衣服都是一张完整的照片，换装就是换一张照片、让她重新开始。
- 待机指令，vidu 支持待机语音，为了让主播没有弹幕的时候不是纯发呆，可以设定待机时的话题。
- 说明卡和标识，这个是跟小雅的直播间学的，先把能做什么、做不到什么、弹幕怎么发写在画面上。
- 一个本地的工作台，改人设、管衣柜、换声音、调动作，都在网页上点。
- 直播间配置，我用的是OBS 把数字人画面、说明卡和我的摄像头拼到一起，再交给抖音直播伴侣横屏推出去，我的摄像头放在左下角。
这些逻辑全是我和 Claude 一轮轮测试、讨论、优化之后做出来的，他来做技术和产品，我来提意见和需求。
AI 一个晚上就能把第一版搭起来，换装、排队、推流都能跑，但它听不出那个音色里的人机感，它也不知道冷场时那三四句话循环播有多尴尬，这些只有你自己去真的看直播里的那个角色跟你互动，才能感受得到。
再说下成本，主要集中在 vidu 这，其他的都可以忽略不计了。
Vidu 的实时数字人是按秒算的，1.5 积分一秒，换算下来一小时 169 块左右。今天晚上播了 1 小时 07 分钟，Vidu 一共扣了 191.47 元，包括开播前的预热、每次换衣服重开的会话和中途的重启。对我来说，测试阶段一小时一两百能接受，但成本放在这，如果各位看到这里真想靠这套方案变现，得把投产算清楚。
三、这几天踩过的坑
形象（其实就是底图）
最早跑通的是塔莎的 CG 版，塔莎是游戏《皇牌空战 8》里的角色，谁不喜欢粉毛呢？但是直播出来的数字人感觉很重，毕竟照片就是cg风格，确实离真人的感觉差太远了。
然后是真人版塔莎，用生图模型把她画成真人照片，是好一点，我还照着小雅的配法给她做了版横构图，坐在桌前托腮的，旁边一盏台灯，但还是差点意思，感觉一眼就像是 AI 脸。
换成原创的时候，我想要更生活化、更像普通人的角色，一口气做了四个带口音的姑娘，东北的小满、长沙的橙子、闽南的阿雯、台湾腔的安安。
这几个的毛病主要出在审美和底图上。我拿橙子的底图跟小雅的画面对比，肤色太黄太艳，皮肤纹理太多，机位是平视正对、两只胳膊摊开，像证件照。人设也踩过坑，我在人设里写了几句示例台词，结果她直接原样照念。
最后受不了了，想着去找作业抄吧，就去参考了博主豆苗在 x 上的分享（@nima2qisi2），拿提示词抽了一个差不多的版本，也就是晚晚。
人设是一个 24 岁的女生，在杭州一家小公司做平面设计，晚上十点多回家，开个直播陪大家聊会儿天，家里养了一只黑猫叫煤球（不出镜，但她会时不时吐槽煤球捣乱），性格慢热，有点冷幽默。被问到是不是真人，就直接说自己是 AI 主播。
换衣服
一开始我试过让 AI 直接在她身上改衣服，改一次还行，改两次脸就开始崩。后来换成每套衣服提前做一张完整的照片，人、衣服、房间都在里面，换装就是从这张照片重新开一场，反而又快又稳。衣柜里现在有 7 套衣服，黑色高领是默认那套，换一次大概 5 秒。
换衣服这套逻辑也能用来实现一些场景、动作的切换，前提是准备好足够多的预设底图就行。
音色
一开始我做了好几个带口音的角色，东北的、长沙的、闽南的、台湾腔的，因为我发现口音能盖住不少 AI 味，一个说话带点口音的姑娘，你会下意识觉得她是个活人。中间还有个小插曲，有个音色 AI 盲听了两遍，都说是标准普通话，我一耳朵就听出来一股东北味儿（从那以后，挑声音这件事我都自己来）。
后来又发现一个更要命的问题，很多音色单独听都挺像真人，一放进实时直播里，大部分都变了味。
最后晚晚用的，是我在火山引擎上自己设计的音色，说一段话之后，提供原始音频素材再克隆到 Vidu 上用。
待机语音重复
第一场 6 分钟试播完，我最大的感受是，没人发弹幕的时候她翻来覆去就那三四句暖场的话，我自己在旁边听着都尴尬。第二场之前赶紧给她围绕人设准备了 100 个冷场话题，全部说完一轮才会重复。
换背景把衣服换没了
今晚她一共换了 9 次背景，前 8 次都好好的，最后那会儿她穿的是黑吊带，从房间换到雪山木屋，衣服还在（下面这张就是那一次），结果第 9 次从雪山木屋换成城市夜景，换完肩带和上衣都没了，看着就像没穿衣服，我赶紧下播了。
回头查原因。换衣服之所以稳，是因为每套衣服都是一张提前做好的完整照片，换的时候从这张照片重新开一场；换背景和拿道具走的是另一条路，是在直播进行中把一张参考图交给 Vidu，让它当场把画面重画一遍，可她身上那套衣服并没有一起交过去，我们也没要求它保持衣服不变，等于 Vidu 可以自己重画她的身体，前 8 次它都画对了，第 9 次就把衣服画没了。最吓人的就是这一点，它不是每次都出事，测几次没问题，不代表这个功能就安全。这是我们回头查到的确定漏洞，是不是唯一的原因还说不准，但这个漏洞本身就该堵上。其实前几天测试的时候我们就发现过，这种直播中途改参考图的办法会越改越走样，而且改不回去，只是没想到在公开直播里真碰上了。
所以现在换背景和吃喝道具这两个功能已经默认关掉了，说明卡上也会挪到还做不到那一栏，等改成“整张照片重开一场”或者加上画面检查以后再说。
Vidu 断线，真人顶住
中途 Vidu 那边断了一次，大概 3 分钟才恢复。那 3 分钟里画面上的晚晚没了，就剩我一个人在左下角的小窗里顶着，评论区一片咋结束了、没了曹大。这时候就能看出来真人小窗不光是让观众觉得有人在，真出事的时候，也得有个人撑场子。
弹幕和礼物怎么接
弹幕现在是测试期的临时接法，读的是直播间网页上的评论。
礼物一开始我写过可以插队，后来发现抖音会把这个算成诱导打赏就删了，技术上是能够实现送礼物插队的。
还没解决的
- 对口型唱歌、大幅度动作，现在暂时做不了。
- 即便写了人设和话题预设，回话有时候还是有 AI 味。
- 从观众发弹幕到她开口，要 10 到 20 秒。
- 话一长就会新的对话指令或者动作指令打断，不过这个可以在程序端优化。
- 记忆比较短暂。断线恢复以后有人问怎么停了，她回了一句没停啊，这不正聊着呢嘛。
四、这个玩法有哪些开发空间？
我说几个我比较熟悉、比较有画面感的方向，什么带货主播这种人尽皆知的就不提了，后面应该也会往这些方向做一下探索，有结果会分享，大家也可以根据自己擅长的方向看一下有没有结合点：
1.游戏主播。作为一个 20 多年经验的游戏玩家，对于游戏直播是有感情的，甚至我自己以前也开过直播打王者、打 LOL。不知道有没有看过 b 站上，“豆包教我玩游戏”系列，玩三角洲、LOL、我的世界，很多爆款，比如这条豆包教主播玩我的世界的，1600 万播放，非常夸张。那设想一下，豆包有了一个能够实时互动的、好看的角色形象，这样的视频也好、直播也好，效果必然是更上一层楼。
2.无限流直播。之前 MiniMax 来了一场实时生成画面的直播，很有无限流的感觉，但因为本身直播主题没有定义，所以并没有按照一个框架去运转。但如果把vidu 这套方案通过外面的壳做好桥接，根据弹幕互动实时生成好配套的场景图、台词，大概率能够实现实时的互动剧情直播，这是真人主播想都不敢想的。试想一下，一场直播的主线是主播去完成一场旅游，用什么交通方式、跟谁去、遇见谁、说什么话、做什么选择，都由弹幕来指挥，是不是挺有意思？
3.娱乐直播。嗯，不解释了，就原作者那个小雅的案例，已经说明了在娱乐主播的赛道里有多大的潜力。我高度怀疑过不了多久，类似的模型开源之后，成人直播平台都会被 AI 占领。
边界这块，抖音对 AI 生成的内容要求打标识，要有真人出镜和互动，不鼓励无人直播和挂机。所以晚晚的画面上一直挂着“AI 实时生成画面”，我本人的摄像头也一直在左下角。今晚这次翻车也是个提醒。被过滤掉的 18 条弹幕里，有好几条是想让她换泳装、比基尼、吊带裙的，这些都被关键词拦住了（关键词也误伤过，有人说了句有人在摸鱼，也被当成擦边拦了，后来改掉了），可最后出事的偏偏不是这些，而是一条再正常不过的换背景。
文字能用关键词拦，画面拦不住，AI 实时生成的画面随时可能出意外，没人盯着的话，它可能就在直播间里给你整出点平台不允许的东西，真人在场不光是平台的要求，也是在保护你自己。
想靠数字人 24 小时挂机躺赚的，目前看起来还是有点距离。
另外，别拿明星、别人的角色、别人的脸去做数字人，自己手搓一个也不麻烦。
六、开源说明
这个项目的工具框架，我按 MIT 协议开源了，地址是 https://github.com/garycaogan/ai-live-avatar 。
里面有弹幕过滤和排队、弹幕识别、衣柜、说明卡和画面叠层、本地工作台、接 OBS 和抖音横屏开播的整套东西，不想花钱也可以先空跑，看看过滤、排队和叠层是怎么实现的。抓直播间网页的那部分没有放进去，这个很简单但是有一定风险，需要实现的自己去加就好。
工具大家都能用，但角色得是自己的，换一张你自己的脸、写一个你自己的人设，同样能跑起来。
如果你也想搭一个，代码拿去，角色自己做，遇到问题或者搭出来了都欢迎留言交流。
我是 Gary，如果这篇文章对你有用，别忘了一键三连～
