Algumas pessoas dizem que já existem várias ferramentas de tradução automática de legendas com IA, então qual o sentido desta?
É verdade que existem muitas ferramentas para tradução de vídeos online, e eu mesmo já usei várias. Mas sempre senti que não eram precisas o suficiente, ou a qualidade deixava a desejar, às vezes até aparecendo com um monte de erros.
Além disso, compartilho frequentemente vídeos internacionais no Twitter e no WeChat Channels, então decidi criar esse conjunto de ferramentas — ele pode, na verdade, ajudar você a migrar vídeos estrangeiros para plataformas domésticas, rsrs.
Usei esse conjunto por meio ano, ajustei muitas vezes, e agora está bem maduro. Limpei ele e disponibilizei como código aberto para todos.
Depois de instalado, você só precisa dizer uma frase: "Traduza este link para um vídeo com legendas em chinês", e ele cuida do resto automaticamente: baixar, transcrever, traduzir, refinar, queimar legendas e gerar uma transcrição — um completo serviço de balcão único.
A transcrição roda inteiramente no seu próprio computador, sem custos de API. A tradução usa a IA que você já tem instalada. E não é só para inglês; vídeos em japonês, coreano, francês e outros idiomas podem ser convertidos para legendas em chinês.
Basicamente, são apenas alguns scripts e um manual. Não está vinculado ao Claude Code — OpenClaw, Gemini e Codex podem usar; a única diferença é como cada ferramenta instala as "habilidades".
Abaixo está um guia passo a passo para instalar e rodar seu primeiro vídeo.
O que exatamente essa coisa pode fazer?
Dê a ela um link de vídeo (YouTube, Bilibili, Douyin funcionam) ou um arquivo de vídeo local, e ela completará estas cinco etapas de uma só vez:
Baixar → Transcrever → Traduzir → Refinar → Queimar Legendas
...e, por fim, gerar uma transcrição.
Detalhando:
- Baixa o vídeo (ou usa um arquivo local diretamente).
- Extrai o áudio e usa o Whisper para transcrevê-lo em legendas originais com timestamps precisos.
- Traduz o texto original para o chinês e refina em legendas que se adequam aos hábitos de visualização chineses.
- Queima as legendas no vídeo, gerando um vídeo com legendas em chinês.
- Simultaneamente, gera uma transcrição em Markdown para fácil arquivamento ou transformação em artigo.
O idioma não importa. Inglês, japonês, coreano, francês, espanhol — desde que o Whisper consiga entender, pode ser convertido em legendas em chinês. Ele identifica automaticamente o idioma de origem e traduz. Para vídeos em chinês, apenas transcreve e gera uma transcrição, sem a etapa de tradução.
Existem duas opções de legenda. Uma é apenas em chinês, para uma tela limpa. A outra é bilíngue (chinês/inglês), com texto grande em chinês e texto pequeno em inglês, perfeita para quem quer praticar a compreensão auditiva.
Você não precisa lembrar de nenhum comando. Apenas use linguagem simples: "Quero legendas bilíngues", "Sem marca d'água", "Use o modo rápido" — ele entende tudo.
Simplificando, ele comprime um pipeline que antes exigia quatro ou cinco programas e uma ou duas horas de trabalho em uma única frase.
Como ele difere das ferramentas existentes?
Existem muitas ferramentas de legenda no mercado. Eu me importo com três coisas, e esta ferramenta foi construída especificamente para elas.
Primeiro: Local, gratuito e offline. A transcrição usa o modelo Whisper de código aberto da OpenAI. Em Macs com Apple Silicon, ele usa aceleração de GPU automaticamente. Todo o processo de transcrição acontece no seu computador — sem uploads, sem taxas. A tradução reutiliza a IA que você já tem, então não é necessária uma API de tradução separada.
Segundo: Timestamps precisos. Muitas ferramentas têm legendas que adiantam em relação ao falante ou cortam frases de forma estranha. Esta ferramenta obtém timestamps precisos para quando cada palavra é falada e corta com base em "frase + pausa para respirar", então as legendas mudam exatamente quando o falante termina um pensamento.
Terceiro: Legendas para humanos, não apenas tradução bruta de máquina. Ela corrige automaticamente nomes próprios ouvidos errado (Claude é frequentemente ouvido como "cloud", MCP como "NCP"), quebra frases por semântica, mantém linhas com menos de doze caracteres e retém termos técnicos em inglês. No modo bilíngue, o chinês é grande e o inglês é pequeno, claramente separados, em vez de apenas duas linhas do mesmo tamanho empilhadas.
Esses são detalhes que refinei ao longo de centenas de vídeos, todos incorporados nas regras.
Como são os resultados
Vamos testar uma entrevista publicada recentemente pela a16z com a ex-CTO da OpenAI, Mira Murati. Pedi à ferramenta que fornecesse legendas bilíngues.
Nas palavras originais dela, havia uma metáfora:
É mais como uma bicicleta tandem onde as duas pessoas estão pedalando.
A tradução automática pode dar uma tradução literal e estranha. Esta ferramenta traduz como: "É mais como uma bicicleta de dois lugares, onde as duas pessoas pedalando juntas."
É natural e fluido. Nomes próprios também são bem tratados; nomes de empresas como "Thinking Machines" são mantidos em inglês, em vez de serem traduzidos à força.
Você só envia "Link + Traduza este vídeo", e ele primeiro pergunta se você quer apenas chinês ou bilíngue — eu geralmente traduzo para o chinês, então deixei essas duas como opções padrão, mas ele pode, na verdade, traduzir para qualquer idioma.
Além do vídeo legendado, ele também gera uma transcrição com o texto original e em chinês lado a lado.
O parágrafo completo fica assim:
É mais como construir um sistema que não sai correndo sozinho e deixa a civilização para trás, mas é mais como uma bicicleta tandem onde as duas pessoas estão pedalando. Na subida, talvez a pessoa mais forte pedale com mais força, mas as duas pessoas têm as mãos no guidão.
A parte mais prática é que ele é independente de idioma. A mesma entrevista pode ser traduzida para legendas bilíngues em chinês, japonês, coreano, árabe ou francês — com a tradução em cima e o inglês embaixo, claramente priorizados. Até o árabe da direita para a esquerda fica alinhado perfeitamente:
Vídeos de dez minutos não são problema, e vídeos longos com mais de uma hora e meia são tratados com facilidade.
Na verdade, são três habilidades
Quando você abre o repositório, verá três pastas, cada uma gerenciando uma parte do trabalho. Elas podem ser usadas individualmente ou encadeadas:
- xiaohu-video-md: O comandante. Responsável por baixar, transcrever, chamar a tradução, queimar legendas e gerar a transcrição.
- xiaohu-subtitle-polish: Especializado em tradução e refinamento de legendas. Lida com correção de erros, tradução, quebra de frases, alinhamento de tempo e formatação bilíngue.
- xiaohu-video-download: Uma ferramenta de download pura. Baixa vídeos, áudio ou playlists inteiras, e também pode queimar legendas em vídeos locais.
Ao traduzir um vídeo, o xiaohu-video-md é o orquestrador, e ele chama o xiaohu-subtitle-polish para a etapa de tradução. Você não precisa se preocupar com isso; apenas saiba que essas três partes existem.
Instalação Passo a Passo
Esta ferramenta é atualmente otimizada para Mac, rodando de forma mais suave no Apple Silicon. Existem duas maneiras de instalá-la: se você quer algo fácil, basta colar o texto abaixo no seu AI; se você quer entender o que está acontecendo ou tem medo de erros, siga os passos manuais.
Versão Preguiçosa: Dê isso ao seu AI
Abra sua ferramenta de codificação AI (Claude Code, Codex, OpenClaw) e copie e cole exatamente o seguinte. Ela determinará seu sistema, instalará dependências, clonará o repositório e executará o script de instalação, fazendo perguntas quando necessário:
Me ajude a instalar esta ferramenta de tradução de vídeos: https://github.com/xiaohuailabs/xiaohu-video-translate Siga esta ordem: 1. Verifique meu sistema: Mac ou Windows; se for Mac, verifique se é Apple Silicon (série M). 2. Instale dependências: yt-dlp, ffmpeg, whisper-cpp (Use brew install para Mac, WSL ou winget para Windows). Motor de transcrição: Instale mlx-whisper para Apple Silicon, faster-whisper para outros. 3. git clone deste repositório, entre no diretório e execute bash install.sh para instalar as três habilidades no meu diretório de habilidades. 4. Uma vez instalado, encontre o config.json na habilidade xiaohu-video-md (para Claude Code, está em ~/.claude/skills/). Pergunte-me onde quero salvar os produtos finais e me ajude a mudar output_dir para o caminho completo. 5. Finalmente, verifique se todas as dependências estão instaladas e me diga se posso começar a usar.
Explique brevemente o que você fez em cada etapa; se uma dependência falhar, pare e me pergunte, não continue simplesmente.
Isso essencialmente executa as três etapas abaixo para você. Se quiser fazer você mesmo ou solucionar problemas, siga a versão manual.
Passo 1: Instale ferramentas básicas
Primeiro, certifique-se de ter o Homebrew instalado. Em seguida, execute este comando para instalar as três ferramentas:
brew install yt-dlp ffmpeg whisper-cpp
Em seguida, instale um motor de transcrição. Para Macs com Apple Silicon, use este para aceleração de GPU (a flag --break-system-packages é apenas para contornar uma restrição mais recente do sistema; não prejudicará seu sistema):
pip3 install --break-system-packages mlx-whisper
Se não for Apple Silicon, use a versão geral:
pip3 install --break-system-packages faster-whisper
Passo 2: Instale habilidades no Claude
Clone o repositório e execute o script de instalação:
git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git cd xiaohu-video-translate bash install.sh
Este script copia as três habilidades para o diretório de habilidades do Claude, gera arquivos de configuração e verifica dependências. Se tudo mostrar [OK], está pronto. Se algo mostrar [Ausente], siga as instruções para corrigir. (Caminhos aqui usam Claude Code como exemplo; para outras ferramentas, basta mudar o diretório).
Passo 3: Diga a ele onde colocar os resultados
Abra ~/.claude/skills/xiaohu-video-md/config.json e mude output_dir para o caminho da pasta desejada (por exemplo, /Users/seunome/Documentos/TraducaoDeVideos).
Arquivos temporários vão para tmp/, transcrições para data/, e vídeos finalizados vão para sua pasta de Downloads por padrão.
Você não precisa baixar o modelo de transcrição manualmente. Na primeira execução, o
mlx-whispero baixará (cerca de 1,5GB) e o reutilizará depois.
Feito isso, reinicie sua ferramenta AI, e estará pronto para usar.
Usuários Windows, Olhem Aqui
O acima é para Mac. Windows também pode rodar, mas com algumas diferenças:
A maneira mais fácil é usar o WSL (Windows Subsystem for Linux). Uma vez instalado, instale estes e o script rodará como está:
sudo apt install ffmpeg pip3 install yt-dlp faster-whisper
Se você não quiser usar o WSL:
- Use faster-whisper como motor.
- Execute o script de instalação usando Git Bash, ou copie as pastas manualmente.
- Mude a fonte da legenda. A padrão é a PingFang SC do Mac. Mude para Microsoft YaHei nos comandos para evitar que o texto apareça como quadrados.
Como usar
Uma vez instalado, é apenas uma frase. Você pode dizer coisas como:
- "Traduza este link para um vídeo com legendas em chinês + [Link]"
- "Traduza este vídeo, quero legendas bilíngues + [Link]"
- "Transforme este vídeo em texto + [Link]" (Apenas gera Markdown)
- "Adicione legendas em chinês a este vídeo local + [Caminho]"
- "Baixe este vídeo + [Link]"
- "Use o modo rápido para transcrição"
- "Sem marca d'água ao traduzir"
Algumas armadilhas para ficar atento
YouTube às vezes falha ao baixar (erro 403). O controle de risco do YouTube aumentou. O script tenta ler cookies do seu navegador para tentar novamente. Se ainda falhar, use um proxy.
Legendas aparecem como quadrados. Isso é um problema de indexação de fontes. Certifique-se de estar usando uma fonte disponível no seu sistema (como PingFang SC no Mac).
Douyin requer login único. Execute o script douyin_login.py e escaneie o código QR. Esta informação de login fica apenas no seu computador.
Pegue e use
Endereço do repositório:
github.com/xiaohuailabs/xiaohu-video-translate
O código é licenciado MIT. Sinta-se à vontade para mudar marcas d'água, estilos ou tamanhos de fonte. Apenas um lembrete: não faça upload de seus arquivos de configuração ou informações de login do Douyin para repositórios públicos.
Esta é uma ferramenta que uso diariamente, não um brinquedo. Se você achar útil, dê uma estrela. Se tiver problemas, abra uma issue.
Da próxima vez, abrirei o código da minha habilidade de ilustração de artigos — usando uma imagem de IP pessoal para gerar ilustrações para artigos, como as deste post.
