Olá, pessoal! Sou o Gary Caogan, um novato na criação de conteúdo independente que vem explorando vídeos com IA e a globalização de conteúdo há dois anos.
Na noite de 15 de outubro, acabei caindo em uma live chamada "Tiangong Kaizhen" (Autor: Tiangong Kaizhen, GitHub: https://github.com/beiyege-01, X: @yijt1339303). O autor já estava transmitindo há um tempo e, agora, toda vez que ele entra ao vivo, milhares de pessoas estão online. Também rolaram muitos compartilhamentos e comentários sobre essa live no X.
Lives típicas com humanos digitais costumam ter movimentos e vozes travados, seguindo roteiros pré-definidos. Para conseguir um efeito melhor, geralmente é preciso ter uma pessoa real controlando tudo nos bastidores. Mas por que essa live viralizou? Porque o resultado é realmente muito superior às lives com humanos digitais anteriores. Não há ninguém real pilotando por trás; as reações acontecem em tempo real. Quando os espectadores mandam uma mensagem, ela responde. Movimentos, expressões e interações são todos gerados na hora. Minha primeira reação foi perceber que o potencial criativo dessa solução é gigantesco:
Transmissões de jogos, lives de e-commerce, entretenimento, companhia virtual — basicamente todos os cenários podem ser profundamente combinados com essa solução. Daí surge a pergunta: como ele implementou isso? Será que eu consigo montar uma live dessas sozinho?
Depois de quatro dias de pesquisa e ajustes, meu avatar "Wanwan" já fez sua estreia oficial na minha conta do Douyin. Reiniciamos o serviço rapidamente duas vezes durante a transmissão, totalizando mais de 70 minutos. Que nota você daria para esse resultado?
Algumas gravações de tela:
https://ncnmu5q1eqm9.feishu.cn/file/Z5Spb8GIlog8qlxaWWKcGB7Xnbg
Bom, neste artigo vou compartilhar como construí e ajustei a apresentadora de live em tempo real com IA, Wanwan, do zero em poucos dias. Vou explicar como destrinchei a solução, como implementei, quais armadilhas encontrei e como resolvi cada uma delas.
Ao mesmo tempo, todo o framework da ferramenta de live em tempo real com IA foi disponibilizado em código aberto sob a licença MIT. Endereço: https://github.com/garycaogan/ai-live-avatar.
Este artigo foi feito por mim usando a bancada de trabalho de conteúdo que já havia sido liberada em código aberto e o Claude.
1. Destrinchando a live do autor original
Esta é a live da Xiaoya, a personagem do autor original.
Vamos dividir em camada interna e externa.
A camada interna é a própria apresentadora. Movimentos, expressões e fala são todos gerados em tempo real. Há um selo "Vidu S" pendurado no topo da tela, o que deixa claro que o modelo usado é o Vidu S2, o mais recente modelo de humano digital da Vidu. Isso praticamente descarta várias teorias sobre implantação local de modelos open-source.
A camada externa é o entorno da apresentadora. O cartão de instruções diz "Continuando os testes de comandos por chat hoje", e abaixo há uma lista com cantar, dançar, vender produtos e filtragem de interação, alguns marcados e outros vazios. Isso significa que, quando os comentários chegam, existe um programa no meio filtrando tudo, transformando em comandos e passando para o humano digital executar. Essa camada é uma ferramenta criada pelo próprio autor.
Para a camada interna, a solução de humano digital da Vidu tem três caminhos: o primeiro é o humano digital em tempo real, onde rosto, voz e respostas ficam todos por conta dele; o segundo é preparar o áudio e alimentá-lo, deixando que ele cuide apenas da sincronia labial, podendo até cantar; e o terceiro é usar um vídeo de uma pessoa real para conduzir o humano digital, substituindo a pessoa dentro da imagem.
Falar é fácil. Ficar remoendo essas avaliações técnicas não leva a nada, então coloquei a mão na massa imediatamente e rodei um demo rapidinho. Como tenho mais familiaridade com o YouTube, primeiro fechei o ciclo de fazer a live no YouTube e ler os comentários do chat.
Quem tiver interesse pode assistir à reprise: https://www.youtube.com/live/fG84tzLOxLc
Mas o resultado da primeira live foi bem ruim. Meu efeito não era muito diferente da tecnologia convencional de humanos digitais; os movimentos eram robóticos, as respostas eram robóticas e a voz também. Se a gravação da Xiaoya tirasse nota 9, minhas primeiras tentativas nas três rotas tirariam notas vermelhas.
Comparando as três rotas, a de substituição tem os movimentos mais naturais, mas não consegue receber comentários em tempo real. A rota de alimentação de áudio exige construir outro conjunto de respostas e dublagem. Juntando isso com o selo Vidu S na tela e a velocidade dela em responder aos comentários, concluí que a Xiaoya usou a rota em tempo real. Portanto, a diferença não está no caminho escolhido, mas na imagem base, na voz e na persona.
O que faz a Xiaoya parecer uma pessoa viva, na minha opinião, são principalmente os seguintes pontos:
Primeiro, os movimentos. Ela passa a maior parte do tempo olhando para baixo, como se estivesse lendo os comentários no celular, e sorri quando vê algo interessante, mostrando os dentes. As mãos dela às vezes apoiam o queixo, às vezes pegam um lanche. Ela parece muito uma garota comum que chega do trabalho e abre uma live, e não um "humano digital" em pé recitando um roteiro.
Segundo, o visual. No começo, desconfiei que a tela inteira tinha passado por um filtro nebuloso no Photoshop. Depois, dando zoom nos prints, percebi que as bordas dos textos sobrepostos na tela eram nítidas, e a janelinha da apresentadora estava clara. Só o rosto dela era suave. Então essa suavidade não é um filtro de pós-produção, mas algo inerente à tela do humano digital: uma luz suave atinge apenas o rosto, o redor fica escurecido, a pele parece branca, rosada e lisa, igual a uma live de celular com filtro de beleza. Colocada naquela janelinha horizontal pequena do celular, os detalhes encolhem, escondendo as falhas da IA. Esse efeito lembra muito a iluminação de um apresentador real.
Terceiro, o ritmo. As legendas ficam fixas na parte inferior da tela, respondendo a um comentário a cada 20 segundos, mais ou menos. Parece lento, mas essa lentidão cobre exatamente os poucos segundos que a IA leva para reagir. Apresentadores reais também não respondem instantaneamente, certo?
Quarto, a janela da pessoa real. Tem alguém vivo num cantinho. A live inteira não parece uma máquina rodando sozinha. Ao conversar com ela, os espectadores sabem que tem alguém acompanhando nos bastidores.
Com essa análise, o caminho de otimização ficou claro. Usei a solução existente da Vidu para a camada da apresentadora. O que eu precisava fazer era a camada externa: modo paisagem, cartões de instrução, janela de pessoa real etc., aprendendo com a estrutura da Xiaoya.
2. A Vidu cuida da apresentadora, eu monto a camada de direção de palco
Usando uma analogia simples: numa live real, ao lado do apresentador costuma ter um assistente de direção de palco que monitora os comentários, expulsa spammers, passa as perguntas do público para o apresentador, avisa quando trocar de roupa e sugere assuntos quando o clima esfria.
Na live da Wanwan, o papel de apresentadora pertence à Vidu. A aparência da Wanwan, como ela mexe a boca e o que ela diz são gerados em tempo real pela Vidu.
Então, a chave deste projeto de live em tempo real é a camada de direção de palco, que envolve especificamente estas tarefas:
- Filtragem: Comentários vulgares ou propagandas simplesmente não são lidos em voz alta.
- Fila: Os comentários chegam um após o outro. Se necessário, dá para adicionar uma lógica para quem manda presentes furar a fila.
- Entender a intenção: Distinguir se um comentário é um papo casual, um pedido para trocar de roupa, pedir um objeto, mudar o fundo, ou pedir um gesto de coração ou um tchauzinho.
- Pré-configuração: Por exemplo, a lógica do guarda-roupa. Cada look é uma foto completa. Trocar de roupa significa mudar para uma nova foto e reiniciar a sessão.
- Comandos de inatividade: A Vidu suporta voz ociosa. Para evitar que a apresentadora fique só encarando o vazio quando não há comentários, é possível definir assuntos para esses momentos.
- Cartões de instrução e selos: Aprendi com a live da Xiaoya. Escrever na tela o que ela pode fazer, o que não pode e como mandar comentários.
- Uma bancada de trabalho local: Mudar personas, gerenciar guarda-roupas, trocar vozes, ajustar ações — tudo via cliques na web.
- Configuração da live: Usei o OBS para combinar a tela do humano digital, os cartões de instrução e o feed da minha câmera, e depois fiz o push horizontal via Douyin Live Companion. Minha câmera fica no canto inferior esquerdo.
Todas essas lógicas foram criadas através de rodadas de testes, discussões e otimizações com o Claude. Ele cuida da parte técnica e de produto; eu dou as opiniões e os requisitos.
A IA consegue montar a primeira versão em uma noite, integrando troca de roupas, filas e envio de stream. Mas ela não consegue ouvir o tom robótico na voz, nem sabe o quão estranho é ficar repetindo aquelas três ou quatro frases durante o silêncio. Você só sente isso assistindo de fato ao personagem interagindo com você na live.
Sobre os custos, eles se concentram basicamente na Vidu; o resto é irrelevante.
O humano digital em tempo real da Vidu é cobrado por segundo, 1,5 créditos por segundo, o que dá cerca de 169 RMB por hora. A live de hoje à noite durou 1 hora e 7 minutos, custando 191,47 RMB no total, incluindo o aquecimento antes da live, as sessões reiniciadas para trocar de roupa e as reinicializações no meio da transmissão. Para mim, pagar de 100 a 200 RMB por hora é aceitável durante os testes, mas o custo existe. Se você quiser monetizar com essa solução, calcule bem o seu ROI.
3. Armadilhas que encontrei nestes dias
Aparência (Basicamente a Imagem Base)
O primeiro teste bem-sucedido foi com a versão CG da Tasha. Tasha é uma personagem do jogo Ace Combat 8. Quem não gosta de cabelo rosa? Mas o humano digital parecia pesado na live porque a foto tinha estilo CG, longe de ser realista.
Depois veio a versão "pessoa real" da Tasha, desenhada por um modelo de geração de imagens para parecer uma foto realista. Ficou melhor. Também fiz uma composição horizontal para ela imitando o setup da Xiaoya, sentada numa mesa apoiando o queixo, com uma luminária perto. Mas ainda faltava algo, dava para ver claramente que era um rosto de IA.
Quando passei para personagens originais, queria papéis mais comuns e com cara de vida real. Criei quatro garotas com sotaques: Xiaoman do Nordeste da China, Chengzi de Changsha, Awen de Minnan e An'an com sotaque taiwanês.
Os problemas aqui eram principalmente de estética e das imagens base. Comparando a imagem base da Chengzi com a tela da Xiaoya, o tom de pele estava amarelado e saturado demais, a textura detalhada demais, o ângulo da câmera frontal na altura dos olhos, braços abertos como numa foto de documento. Também surgiram problemas de persona: escrevi algumas falas de exemplo na persona, e ela leu tudo ao pé da letra.
Por fim, frustrado, fui buscar inspiração nos posts do X do criador de conteúdo Doumiao (@nima2qisi2), usei prompts para gerar uma versão parecida, e assim nasceu a Wanwan.
A persona é uma garota de 24 anos que trabalha com design gráfico numa empresa pequena em Hangzhou. Ela chega em casa depois das 22h, abre uma live para bater papo, tem um gato preto chamado Meiqiu (ele não aparece, mas ela reclama das travessuras dele). A personalidade é de quem demora a se soltar, com um humor meio seco. Quando perguntam se ela é real, ela responde direto que é uma apresentadora de IA.
Trocando de Roupa
No início, tentei deixar a IA modificar as roupas diretamente no corpo dela. Uma vez até ia bem, mas na segunda o rosto começava a deformar. Depois, mudei para criar previamente uma foto completa para cada look, incluindo pessoa, roupa e cenário. Trocar de roupa passou a significar reiniciar a sessão a partir daquela foto, o que era mais rápido e estável. O guarda-roupa agora tem 7 looks; a gola alta preta é o padrão. Uma troca leva uns 5 segundos.
Essa lógica também serve para trocar cenários e ações, desde que haja imagens base suficientes pré-configuradas.
Tom de Voz
No começo, criei vários personagens com sotaques (Nordeste, Changsha, Minnan, Taiwan) porque descobri que sotaques disfarçam a vibe de IA. Uma garota falando com sotaque passa subconscientemente a sensação de ser uma pessoa real. Aconteceu um detalhe curioso: uma IA ouviu uma voz duas vezes às cegas e disse que era mandarim padrão, mas eu identifiquei o sotaque nordestino na hora. Desde então, escolho as vozes eu mesmo.
Mais tarde, descobri um problema crítico: muitas vozes soam como pessoas reais isoladamente, mas perdem o charme nas lives em tempo real.
A voz final da Wanwan é uma que projetei no Volcano Engine, fornecendo material de áudio bruto para clonar na Vidu.
Voz Ociosa Repetitiva
Depois da primeira live de teste de 6 minutos, minha maior lição foi que, quando ninguém comentava, ela ficava repetindo as mesmas três ou quatro frases de aquecimento. Era constrangedor até para mim. Antes da segunda live, preparei rapidamente 100 tópicos de partida a frio baseados na persona dela. A repetição só acontece depois que todos se esgotam.
Mudança de Fundo Removeu as Roupas
Hoje à noite ela trocou de fundo 9 vezes. Nas 8 primeiras, tudo certo. No final, vestindo uma camisola preta, a mudança do quarto para uma cabana na neve manteve as roupas (veja a imagem abaixo). Mas na 9ª troca, da cabana na neve para uma vista noturna da cidade, as alças e a parte de cima sumiram, parecendo que ela estava nua. Encerrei a live imediatamente.
Investigando a causa: as trocas de roupa são estáveis porque cada look é uma foto completa pré-pronta, reiniciando a sessão. Já as mudanças de fundo e objetos seguem outro caminho: entregar uma imagem de referência para a Vidu durante a live para redesenhar a cena. Mas o look atual dela não estava incluído na referência, nem pedimos para preservar as roupas. A Vidu poderia redesenhar o corpo dela. Nas primeiras 8 vezes desenhou certo; na 9ª apagou as roupas. O mais assustador é a inconsistência. Testar várias vezes sem problemas não garante segurança. Esta é uma vulnerabilidade confirmada. Não sei se é a única causa, mas o buraco precisa ser tapado. Descobrimos antes que modificar imagens de referência no meio da live causa desvios e irreversibilidade, mas não esperávamos que isso acontecesse numa live pública.
Agora, mudanças de fundo e objetos de comer/beber vêm desativados por padrão. Os cartões de instrução movem essas opções para a seção "ainda não posso fazer" até mudarmos para o método de "reiniciar a partir da foto completa" ou adicionarmos verificações visuais.
Desconexão da Vidu, Pessoa Real Segura as Pontas
A Vidu desconectou uma vez por uns 3 minutos. Nesse tempo, a Wanwan sumiu da tela, deixando só eu na janelinha do canto inferior esquerdo. O chat encheu de "Por que acabou?", "O Gary sumiu". Isso mostra que a janela da pessoa real não serve só para dar presença; quando algo quebra, alguém precisa segurar as pontas.
Lidando com Comentários e Presentes
Os comentários atualmente usam um método temporário que lê os comentários da página web.
Os presentes tinham inicialmente uma lógica de furar fila, mas eu removi porque o Douyin considera isso como indução de gorjetas. Tecnicamente, pular a fila baseado em presentes é viável.
Problemas Não Resolvidos
- Sincronia labial para cantar e movimentos amplos são temporariamente impossíveis.
- Mesmo com persona e tópicos pré-definidos, as respostas às vezes mantêm aquela vibe de IA.
- Do comentário do espectador até ela falar, leva de 10 a 20 segundos.
- Frases longas são interrompidas por novos diálogos ou comandos de ação, embora isso possa ser otimizado via programação.
- A memória é curta. Após reconectar, quando perguntaram por que tinha parado, ela respondeu: "Não parou, a gente não tá conversando ainda?"
4. Qual o potencial de desenvolvimento dessa mecânica?
Vou citar direções com as quais tenho familiaridade e consigo visualizar bem. Casos óbvios, como apresentadores de e-commerce, não vou discutir. Explorações futuras podem seguir esses caminhos; os resultados serão compartilhados. Os leitores podem verificar se há interseção com suas áreas de especialidade:
1. Jogos. Como gamer com mais de 20 anos de experiência, tenho carinho por transmissões de jogos. Já fiz lives de Honor of Kings e LOL. Vocês viram a série "Doubao Ensina Jogos" no Bilibili? Jogando Delta Force, LOL, Minecraft, muitos viralizaram. Por exemplo, o Doubao ensinando Minecraft bateu 16 milhões de visualizações. Imaginem se o Doubao tivesse um personagem bonito e interativo em tempo real. Os vídeos e as lives seriam ainda melhores.
- Lives em Loop Infinito. A MiniMax fez anteriormente uma live com tela gerada em tempo real, passando a sensação de loops infinitos. Mas, por falta de um tema definido, não rodava dentro de uma estrutura. Conectando a solução da Vidu com uma interface externa, gerando imagens de cenas e diálogos em tempo real baseados nos comentários, provavelmente será possível fazer lives com enredos interativos. Apresentadores reais nem ousariam imaginar isso. Imagine uma live onde a linha principal seja o apresentador completando uma viagem: transporte, companheiros, encontros, falas, escolhas — tudo dirigido pelos comentários. Não seria interessante?
3. Entretenimento. Nem precisa explicar. O caso da Xiaoya prova o potencial na apresentação de entretenimento. Desconfio fortemente que, em breve, depois que modelos parecidos forem liberados em código aberto, as plataformas adultas serão dominadas por IA.
Limites: o Douyin exige a identificação de conteúdo gerado por IA, obriga a presença e interação de uma pessoa real e desencoraja lives automáticas/deixadas rodando sozinhas. Por isso, a tela da Wanwan sempre exibe "Imagem Gerada em Tempo Real por IA", e minha câmera fica no canto inferior esquerdo. O crash de hoje à noite serve de alerta. Entre 18 comentários filtrados, vários pediam maiôs, biquínis, vestidos de alcinha, bloqueados por palavras-chave (as palavras-chave também sinalizaram falsamente "alguém está enrolando" como sugestivo, corrigido depois). Ainda assim, o acidente não veio disso, mas de uma mudança de fundo normal.
Texto pode ser bloqueado por palavras-chave; imagens não. Visuais gerados por IA podem produzir inesperadamente conteúdos proibidos pelas plataformas. Sem supervisão, pode acabar criando violações. A presença de uma pessoa real não é apenas uma exigência da plataforma; é o que protege você.
Quem espera uma renda passiva 24 horas por dia com humanos digitais ainda tem um longo caminho pela frente.
Além disso, não use celebridades, personagens ou rostos de outras pessoas para criar humanos digitais. Fazer o seu próprio não é difícil.
6. Notas sobre o Código Aberto
O framework de ferramentas deste projeto está disponível em código aberto sob a licença MIT: https://github.com/garycaogan/ai-live-avatar.
Inclui filtragem/fila de comentários, reconhecimento de intenção, guarda-roupa, cartões de instrução/sobreposições de tela, bancada de trabalho local e integração com push horizontal do OBS/Douyin. Você pode testar a seco sem gastar dinheiro para ver a implementação da filtragem, fila e sobreposições. A parte de extração de dados da página web foi excluída por questões de risco; quem for implementar deve adicioná-la por conta própria.
As ferramentas estão disponíveis para todos, mas os personagens precisam ser seus. Troque pelo seu rosto, escreva sua persona e pronto, vai funcionar.
Se quiser montar um, pegue o código, crie seu personagem e fique à vontade para comentar pedindo ajuda ou compartilhando seus sucessos.
Sou o Gary. Se este artigo te ajudou, não esqueça de curtir, favoritar e compartilhar!
