Olá a todos, sou Gary Caogan, um novato na criação de conteúdo independente que vem explorando vídeos com IA e globalização de conteúdo há dois anos.
Na noite de 15 de outubro, acabei esbarrando em uma sala de transmissão ao vivo chamada "Tiangong Kaizhen" (Autor: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303). O autor já estava transmitindo há um tempo e, agora, toda vez que ele entra ao vivo, milhares de pessoas estão online. Também houve muitos compartilhamentos e comentários sobre essa transmissão no X.
As transmissões típicas com humanos digitais costumam ter movimentos e vozes rígidos, com roteiros pré-definidos. Para obter efeitos melhores, geralmente é preciso ter uma pessoa real controlando tudo nos bastidores. Mas por que essa sala de transmissão viralizou? Porque o resultado é realmente muito superior às transmissões anteriores com humanos digitais. Não há ninguém real pilotando por trás; as reações são em tempo real. Quando os espectadores mandam uma mensagem, ela responde. Movimentos, expressões e interações são todos gerados na hora. Minha primeira reação foi que o potencial criativo dessa solução é gigantesco:
Transmissão de jogos, e-commerce, entretenimento, companhia — basicamente todos os cenários podem ser profundamente combinados com essa solução. Então surge a pergunta: como ele implementou isso? Será que eu consigo montar uma sala de transmissão dessas por conta própria?
Depois de quatro dias de pesquisa e ajustes, meu avatar "Wanwan" já fez sua estreia oficial na minha conta do Douyin. Reiniciamos o serviço rapidamente duas vezes durante a live, totalizando mais de 70 minutos. Que nota você acha que esse efeito merece?
Algumas gravações de tela:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
Certo, então este artigo vai compartilhar como construí e ajustei a apresentadora de transmissão ao vivo em tempo real com IA, Wanwan, do zero nestes últimos dias, incluindo como decomposei a solução, como a implementei, quais armadilhas encontrei e como as resolvi.
Ao mesmo tempo, todo o framework da ferramenta de transmissão ao vivo em tempo real com IA foi disponibilizado em código aberto sob a licença MIT. Endereço: https://github.com/garycaogan/ai-live-avatar.
Este artigo foi concluído por mim usando a bancada de trabalho de conteúdo previamente disponibilizada em código aberto e o Claude.
1. Decompondo a sala de transmissão do autor original
Esta é a sala de transmissão da Xiaoya, a autora original.
Vamos dividi-la em camada interna e externa.
A camada interna é a própria apresentadora. Movimentos, expressões e fala são todos gerados em tempo real. Há um rótulo Vidu S pendurado acima da tela, o que deixa fácil entender que o modelo é o Vidu S2, o mais recente modelo de humano digital da Vidu. Isso basicamente descarta várias suposições sobre implantação local de modelos de código aberto.
A camada externa é o círculo ao redor da apresentadora. O cartão de instruções diz "Continuar testando comandos de comentários hoje", e abaixo há uma coluna para cantar, dançar, vender produtos e filtragem de interação, algumas marcadas e outras vazias. Isso significa que, depois que os comentários entram, há um programa no meio filtrando-os, transformando-os em comandos e então entregando-os ao humano digital para agir. Essa camada é uma ferramenta criada pelo próprio autor.
Para a camada interna, a solução de humano digital da Vidu tem três caminhos: um é o humano digital em tempo real, onde rosto, voz e respostas são todos entregues a ele; outro é preparar o áudio e alimentá-lo, deixando que ele cuide apenas da sincronia labial, podendo até cantar; e o terceiro é usar um vídeo de uma pessoa real para conduzir o humano digital, substituindo a pessoa lá dentro.
Falar é fácil. Pensar demais nessas avaliações técnicas não faz sentido, então fui direto ao trabalho e rapidamente rodei uma demonstração. Com base na minha familiaridade com o YouTube, primeiro conectei o ciclo de transmitir ao vivo no YouTube e ler os comentários.
Quem tiver interesse pode assistir à reprise: https://www.youtube.com/live/fG84tzLOxLc
Mas o efeito da primeira transmissão foi bem ruim. Meu resultado não era muito diferente da tecnologia convencional de humanos digitais; os movimentos eram robóticos, as respostas eram robóticas e a voz era robótica. Se a gravação da Xiaoya ganha um 9, avaliar minhas primeiras tentativas nos três caminhos resultou em notas de reprovação.
Comparando os três caminhos, o de substituição tem os movimentos mais naturais, mas não consegue aceitar comentários em tempo real. O caminho de alimentação de áudio exige construir outro conjunto de respostas e dublagem. Combinando isso com o rótulo Vidu S na tela e a velocidade dela em responder aos comentários, julguei que a Xiaoya seguiu o caminho em tempo real. Portanto, a diferença não está no caminho, mas na imagem base, na voz e na persona.
O que faz a Xiaoya parecer uma pessoa viva, na minha opinião, são principalmente os seguintes pontos:
Primeiro, os movimentos. Ela passa a maior parte do tempo olhando para baixo, como se estivesse lendo comentários no celular, e sorri quando vê algo interessante, mostrando os dentes. As mãos dela às vezes descansam no queixo, às vezes pegam um lanche. Ela parece muito uma garota comum chegando do trabalho para começar uma transmissão, em vez de um "humano digital" em pé recitando um roteiro.
Segundo, o visual. Inicialmente, suspeitei que a tela inteira tivesse sido editada no Photoshop com um filtro nebuloso. Depois, ao ampliar as capturas de tela, percebi que as bordas do texto sobreposto no quadro eram nítidas, e a janelinha da apresentadora estava clara. Apenas o rosto dela era suave. Então essa suavidade não é um filtro de pós-produção, mas inerente à tela do humano digital: uma luz suave atinge apenas o rosto, o entorno é escurecido, a pele parece branca, rosada e lisa, como numa transmissão de celular com filtro de beleza. Colocada naquela janelinha horizontal pequena de um celular, os detalhes são reduzidos, escondendo as falhas da IA. Esse efeito lembra a iluminação de um apresentador real.
Terceiro, o ritmo. As legendas ficam fixas na parte inferior do quadro, respondendo a um comentário a cada 20 segundos, aproximadamente. Parece lento, mas essa lentidão cobre exatamente os poucos segundos que a IA leva para reagir. Apresentadores reais também não respondem instantaneamente, certo?
Quarto, a janela da pessoa real. Há alguém vivo no canto. A sala de transmissão inteira não parece uma máquina abandonada rodando sozinha. Ao conversar com ela, os espectadores sabem que há alguém assistindo nos bastidores.
Com essa análise, o caminho de otimização fica claro. Use a solução existente da Vidu para a camada da apresentadora. O que eu preciso fazer é a camada externa: modo paisagem, cartões de instrução, janela de pessoa real etc., aprendendo com a configuração da Xiaoya.
2. A Vidu cuida da apresentadora, eu construo a camada de direção de palco
Usando uma analogia simples: em uma transmissão real, ao lado do apresentador costuma haver um assistente de direção de palco que observa os comentários, expulsa spammers, passa as perguntas dos espectadores para o apresentador, lembra-o de trocar de roupa e sugere temas quando o clima esfria.
Na transmissão da Wanwan, o papel de apresentadora pertence à Vidu. A aparência da Wanwan, como ela abre a boca e o que ela diz são todos gerados em tempo real pela Vidu.
Então a chave deste projeto de transmissão ao vivo em tempo real é a camada de direção de palco, envolvendo especificamente estas tarefas:
- Filtragem: Comentários vulgares ou publicitários simplesmente não são lidos em voz alta.
- Fila: Os comentários chegam um após o outro. Se necessário, pode-se adicionar lógica para quem dá presentes furar a fila.
- Compreensão de intenção: Distinguir se um comentário é um bate-papo, um pedido para trocar de roupa, pedir um objeto, mudar o fundo, ou pedir um gesto de coração ou um aceno.
- Pré-configuração: Por exemplo, a lógica do guarda-roupa. Cada roupa é uma foto completa. Trocar de roupa significa mudar para uma nova foto e reiniciar a sessão.
- Comandos de inatividade: A Vidu suporta voz de inatividade. Para evitar que a apresentadora fique apenas encarando o vazio quando não há comentários, é possível definir temas para esses momentos.
- Cartões de instrução e rótulos: Aprendido com a sala da Xiaoya. Escrever na tela o que pode ser feito, o que não pode e como enviar comentários.
- Uma bancada de trabalho local: Mudar personas, gerenciar guarda-roupas, trocar vozes, ajustar ações — tudo via cliques na web.
- Configuração da transmissão: Usei o OBS para combinar a tela do humano digital, os cartões de instrução e o feed da minha câmera, e então transmiti na horizontal via Douyin Live Companion. Minha câmera fica no canto inferior esquerdo.
Todas essas lógicas foram criadas através de rodadas de testes, discussões e otimizações com o Claude. Ele cuida da parte técnica e de produto; eu forneço opiniões e requisitos.
A IA consegue construir a primeira versão da noite para o dia, integrando trocas de roupa, filas e envio de streams. Mas ela não consegue ouvir o tom robótico na voz, nem sabe o quão estranho é repetir aquelas três ou quatro frases durante o silêncio. Você só sente isso assistindo de fato ao personagem interagir com você na transmissão.
Em relação aos custos, eles se concentram principalmente na Vidu; os outros são insignificantes.
O humano digital em tempo real da Vidu é cobrado por segundo, 1,5 créditos por segundo, o que converte para cerca de 169 RMB por hora. A transmissão desta noite durou 1 hora e 7 minutos, custando 191,47 RMB no total, incluindo o aquecimento antes da live, sessões reiniciadas para troca de roupas e reinícios no meio da transmissão. Para mim, de 100 a 200 RMB por hora é aceitável durante os testes, mas o custo existe. Se você quiser monetizar com essa solução, calcule bem seu ROI.
3. Armadilhas encontradas nestes últimos dias
Aparência (Basicamente a Imagem Base)
A primeira execução bem-sucedida foi a versão CG da Tasha. Tasha é uma personagem do jogo Ace Combat 8. Quem não gosta de cabelo rosa? Mas o humano digital parecia pesado na transmissão porque a foto tinha estilo CG, longe de ser realista.
Depois veio a versão de pessoa real da Tasha, desenhada por um modelo de geração de imagens para virar uma foto realista. Ficou melhor. Também fiz uma composição horizontal para ela imitando a configuração da Xiaoya, sentada numa mesa apoiando o queixo, com uma luminária por perto. Mas ainda faltava algo, parecendo claramente um rosto de IA.
Ao mudar para personagens originais, eu queria papéis mais vivos e comuns. Fiz quatro garotas com sotaques: Xiaoman do Nordeste da China, Chengzi de Changsha, Awen de Minnan e An'an com sotaque taiwanês.
Os problemas com elas eram principalmente estéticos e relacionados às imagens base. Comparando a imagem base da Chengzi com a tela da Xiaoya, o tom de pele estava amarelado e saturado demais, a textura detalhada demais, o ângulo da câmera frontal e na altura dos olhos, braços abertos como numa foto de documento. Problemas de persona também surgiram: escrevi falas de exemplo na persona, e ela as leu literalmente.
Por fim, frustrado, busquei inspiração nas postagens do X do criador de conteúdo Doumiao (@nima2qisi2), usando prompts para gerar uma versão semelhante, que se tornou a Wanwan.
A persona é uma garota de 24 anos que trabalha com design gráfico em uma pequena empresa em Hangzhou. Ela chega em casa depois das 22h, inicia uma transmissão para bater papo, tem um gato preto chamado Meiqiu (não aparece, mas ela reclama das travessuras dele). A personalidade é tímida no início, com um humor levemente seco. Quando perguntam se ela é real, ela diz diretamente que é uma apresentadora de IA.
Trocando de Roupa
Inicialmente, tentei deixar a IA modificar as roupas diretamente no corpo dela. Uma vez funcionava bem, mas depois de duas, o rosto começava a deformar. Mais tarde, passei a criar uma foto completa para cada roupa antecipadamente, incluindo pessoa, roupas e ambiente. Trocar de roupa significava reiniciar a sessão a partir daquela foto, o que era mais rápido e estável. O guarda-roupa agora tem 7 looks; a gola alta preta é o padrão. Uma troca leva cerca de 5 segundos.
Essa lógica também pode trocar cenários e ações, desde que haja imagens base pré-definidas suficientes.
Tom de Voz
No começo, criei vários personagens com sotaques (Nordeste, Changsha, Minnan, Taiwan) porque descobri que sotaques disfarçam a vibe de IA. Uma garota falando com sotaque parece subconscientemente uma pessoa viva. Houve um pequeno incidente: uma IA ouviu uma voz duas vezes às cegas e disse que era mandarim padrão, mas eu identifiquei o sotaque nordestino na hora. Desde então, escolho as vozes eu mesmo.
Mais tarde, encontrei um problema crítico: muitas vozes soam como pessoas reais isoladamente, mas perdem o charme nas transmissões ao vivo em tempo real.
A voz final da Wanwan é uma que projetei no Volcano Engine, fornecendo material de áudio bruto para clonar na Vidu.
Voz de Inatividade Repetitiva
Após o primeiro teste de 6 minutos, minha maior conclusão foi que, quando ninguém comentava, ela repetia as mesmas três ou quatro frases de aquecimento. Era estranho até para mim. Antes da segunda transmissão, preparei rapidamente 100 tópicos de inicialização a frio com base na persona dela. A repetição só acontece depois que todos se esgotam.
Mudança de Fundo Removeu as Roupas
Esta noite ela mudou de fundo 9 vezes. As 8 primeiras foram tranquilas. No final, vestindo uma camisola preta, mudar do quarto para uma cabana nevada manteve as roupas (veja a imagem abaixo). Mas na 9ª mudança, da cabana nevada para uma vista noturna da cidade, as alças e a parte de cima sumiram, parecendo que ela estava nua. Encerrei a transmissão imediatamente.
Investigando a causa: as trocas de roupa são estáveis porque cada look é uma foto completa pré-feita, reiniciando a sessão. Mudanças de fundo e objetos seguem outro caminho: entregar uma imagem de referência para a Vidu durante a transmissão para redesenhar a cena. Mas a roupa atual dela não estava incluída na referência, nem pedimos para preservar as roupas. A Vidu poderia redesenhar o corpo dela. Nas primeiras 8 vezes desenhou corretamente; na 9ª apagou as roupas. A parte mais assustadora é a inconsistência. Testar várias vezes sem problemas não significa segurança. Esta é uma vulnerabilidade confirmada. Se é a única causa, não temos certeza, mas o buraco precisa ser tapado. Descobrimos antes que modificar imagens de referência no meio da transmissão causa desvios e irreversibilidade, mas não esperávamos que isso acontecesse numa transmissão pública.
Agora, mudanças de fundo e objetos de comer/beber estão desativados por padrão. Os cartões de instrução os movem para a seção "ainda não pode fazer" até mudarmos para "reiniciar a partir da foto completa" ou adicionarmos verificações visuais.
Desconexão da Vidu, Pessoa Real Segura as Pontas
A Vidu desconectou uma vez por cerca de 3 minutos. Durante esse tempo, a Wanwan desapareceu da tela, deixando apenas eu na janela inferior esquerda. Os comentários foram inundados com "Por que acabou?", "O Gary sumiu". Isso mostra que a janela da pessoa real não serve apenas para marcar presença; quando as coisas quebram, alguém precisa segurar as pontas.
Lidando com Comentários e Presentes
Os comentários atualmente usam um método temporário que lê os comentários da página web.
Os presentes inicialmente tinham lógica para furar a fila, mas eu removi porque o Douyin considera isso como indução de gorjetas. Tecnicamente, furar a fila baseado em presentes é viável.
Problemas Não Resolvidos
- Sincronia labial cantando e movimentos amplos são temporariamente impossíveis.
- Mesmo com persona e tópicos pré-definidos, as respostas às vezes mantêm a vibe de IA.
- Do comentário do espectador até ela falar, leva de 10 a 20 segundos.
- Frases longas são interrompidas por novos diálogos ou comandos de ação, embora otimizáveis via programação.
- A memória é curta. Após reconectar, quando perguntaram por que havia parado, ela respondeu: "Não parou, não estamos conversando ainda?"
4. Potencial de desenvolvimento dessa dinâmica?
Vou mencionar direções com as quais tenho familiaridade e consigo visualizar bem. Casos óbvios como apresentadores de e-commerce não serão discutidos. Explorações futuras podem seguir esses caminhos; os resultados serão compartilhados. Os leitores podem verificar se há interseções com suas especialidades:
1. Jogos Transmissão. Como jogador com mais de 20 anos de experiência, tenho carinho por transmissões de jogos. Já transmiti Honor of Kings e LOL antes. Vocês viram a série "Doubao Ensina Jogos" do Bilibili? Jogando Delta Force, LOL, Minecraft, muitos viralizaram. Por exemplo, Doubao ensinando Minecraft atingiu 16 milhões de visualizações. Imagine se o Doubao tivesse um personagem interativo em tempo real e bonito. Vídeos e transmissões seriam ainda melhores.
- Transmissão em Loop Infinito. A MiniMax fez anteriormente uma transmissão com tela gerada em tempo real, passando a sensação de loops infinitos. Mas, por falta de um tema definido, não rodava dentro de uma estrutura. Conectando a solução da Vidu com uma interface externa, gerando imagens de cenas e diálogos em tempo real com base nos comentários, provavelmente será possível criar transmissões com enredos interativos. Apresentadores reais nem ousariam imaginar isso. Imagine uma transmissão onde a linha principal é o apresentador completando uma viagem: transporte, companheiros, encontros, palavras, escolhas — tudo dirigido pelos comentários. Não é interessante?
3. Entretenimento Transmissão. Sem necessidade de explicações. O caso da Xiaoya prova o potencial na apresentação de entretenimento. Suspeito fortemente que, em breve, depois que modelos semelhantes forem disponibilizados em código aberto, plataformas adultas serão ocupadas por IA.
Limites: O Douyin exige rotular conteúdo gerado por IA, obriga a aparição e interação de uma pessoa real e desencoraja transmissões não tripuladas/deixadas rodando sozinhas. Por isso, a tela da Wanwan sempre exibe "Tela Gerada em Tempo Real por IA", e minha câmera fica no canto inferior esquerdo. O crash desta noite é um lembrete. Entre 18 comentários filtrados, vários pediam maiôs, biquínis, vestidos de alcinha, bloqueados por palavras-chave (as palavras-chave também sinalizaram falsamente "alguém está enrolando" como sugestivo, corrigido depois). Ainda assim, o acidente não veio disso, mas de uma mudança de fundo normal.
Texto pode ser bloqueado por palavras-chave; telas não. Visuais gerados por IA podem produzir inesperadamente conteúdo proibido pela plataforma. Sem supervisão, pode criar violações. A presença de uma pessoa real não é apenas uma exigência da plataforma; é o que te protege.
Aqueles que esperam renda passiva 24 horas por dia com humanos digitais ainda têm um longo caminho pela frente.
Além disso, não use celebridades, personagens de terceiros ou rostos alheios para humanos digitais. Criar o seu próprio não é difícil.
6. Notas sobre o Código Aberto
O framework de ferramentas deste projeto é de código aberto sob a licença MIT: https://github.com/garycaogan/ai-live-avatar.
Inclui filtragem/fila de comentários, reconhecimento de intenção, guarda-roupa, cartões de instrução/sobreposições de tela, bancada de trabalho local, integração com transmissão horizontal via OBS/Douyin. Você pode rodar um teste sem gastar dinheiro para ver a implementação de filtragem, filas e sobreposições. A parte de extração de dados da página web foi excluída devido a riscos; quem for implementar deve adicioná-la por conta própria.
As ferramentas estão disponíveis para todos, mas os personagens devem ser seus. Coloque seu rosto, escreva sua persona e pronto, funciona.
Se você quiser construir um, pegue o código, crie seu personagem e fique à vontade para comentar pedindo ajuda ou compartilhando sucessos.
Sou o Gary. Se este artigo ajudou, não esqueça de dar aquele clique triplo!
