Algunos dicen que ya hay muchas herramientas de IA para traducción automática de subtítulos, entonces, ¿qué sentido tiene esta?
Es cierto que hay muchas herramientas para traducir videos en línea, y yo mismo he usado varias. Pero siempre sentí que no eran lo suficientemente precisas, o que la calidad dejaba que desear, a veces incluso aparecían un montón de errores.
Además, comparto frecuentemente videos del extranjero en Twitter y WeChat Channels, así que decidí crear este conjunto de herramientas; de hecho, puede ayudarte a migrar videos extranjeros a plataformas locales, jeje.
He usado este conjunto de herramientas durante medio año, lo he ajustado muchas veces, y ahora está bastante maduro. Lo he limpiado y lo he publicado como código abierto para todos.
Una vez instalado, solo tienes que decir una frase: "Traduce este enlace a un video con subtítulos en chino", y se encarga del resto automáticamente: descargar, transcribir, traducir, pulir, quemar subtítulos y generar una transcripción: un servicio completo llave en mano.
La transcripción se ejecuta completamente en tu propio ordenador, sin coste de API. La traducción utiliza la IA que ya tienes instalada. Y no solo para inglés; videos en japonés, coreano, francés y otros idiomas extranjeros se pueden convertir a subtítulos en chino.
Básicamente, son solo unos pocos scripts más un manual. No está limitado a Claude Code: OpenClaw, Gemini y Codex también pueden usarlo; la única diferencia es cómo cada herramienta instala las "habilidades".
A continuación, una guía paso a paso para instalarlo y ejecutar tu primer video.
¿Qué puede hacer exactamente esta cosa?
Dale un enlace de video (YouTube, Bilibili, Douyin funcionan) o un archivo de video local, y completará estos cinco pasos de una sola vez:
Descargar → Transcribir → Traducir → Pulir → Quemar subtítulos
...y finalmente, generar una transcripción.
Para desglosarlo:
- Descargar el video (o usar un archivo local directamente).
- Extraer el audio y usar Whisper para transcribirlo a subtítulos originales con marcas de tiempo precisas.
- Traducir el texto original al chino y pulirlo para obtener subtítulos que se ajusten a los hábitos de visualización chinos.
- Quemar los subtítulos en el video, generando un video con subtítulos en chino.
- Generar simultáneamente una transcripción en Markdown para archivarla fácilmente o convertirla en un artículo.
El idioma no importa. Inglés, japonés, coreano, francés, español—siempre que Whisper pueda entenderlo, se puede convertir a subtítulos en chino. Identifica automáticamente el idioma de origen y lo traduce. Para videos en chino, solo transcribe y genera una transcripción sin el paso de traducción.
Hay dos opciones de subtítulos. Una es solo chino para una pantalla limpia. La otra es bilingüe (chino/inglés), con texto grande en chino y texto pequeño en inglés, perfecto para quienes quieren practicar la comprensión auditiva.
No necesitas recordar ningún comando. Solo usa lenguaje natural: "Quiero subtítulos bilingües", "Sin marca de agua", "Usar modo rápido"—lo entiende todo.
En pocas palabras, comprime un proceso que solía requerir cuatro o cinco programas y una o dos horas de trabajo en una sola frase.
¿En qué se diferencia de las herramientas existentes?
Hay muchas herramientas de subtítulos en el mercado. A mí me importan tres cosas, y esta herramienta fue construida específicamente para ellas.
Primero: Local, gratuito y sin conexión. La transcripción utiliza el modelo Whisper de código abierto de OpenAI. En Macs con Apple Silicon, usa automáticamente la aceleración por GPU. Todo el proceso de transcripción ocurre en tu ordenador—sin subidas, sin costes. La traducción reutiliza la IA que ya tienes, por lo que no se necesita una API de traducción aparte.
Segundo: Marcas de tiempo precisas. Muchas herramientas tienen subtítulos que se adelantan al hablante o cortan las frases de manera extraña. Esta herramienta obtiene marcas de tiempo precisas al momento en que se dice cada palabra y corta basándose en "oración + pausa de respiración", por lo que los subtítulos cambian exactamente cuando el hablante termina una idea.
Tercero: Subtítulos para humanos, no solo traducción automática cruda. Corrige automáticamente nombres propios mal escuchados (Claude a menudo se escucha como "cloud", MCP como "NCP"), divide las oraciones por semántica, mantiene las líneas con menos de doce caracteres y conserva el inglés para términos técnicos. En modo bilingüe, el chino es grande y el inglés pequeño, claramente separados en lugar de solo dos líneas del mismo tamaño apiladas.
Estos son detalles que he refinado a lo largo de cientos de videos, todos integrados en las reglas.
Cómo se ven los resultados
Probemos con una entrevista publicada recientemente por a16z con Mira Murati, ex-CTO de OpenAI. Le pedí a la herramienta que proporcionara subtítulos bilingües.
En sus palabras originales, había una metáfora:
Es más como una bicicleta tándem donde ambas personas pedalean.
La traducción automática podría darte una traducción literal torpe. Esta herramienta lo traduce como: "Es más como una bicicleta de dos personas, donde ambas pedalean juntas."
Es natural y fluido. Los nombres propios también se manejan bien; nombres de empresas como "Thinking Machines" se dejan en inglés en lugar de forzar una traducción.
Solo envías "Enlace + Traduce este video", y primero preguntará si quieres solo chino o bilingüe—normalmente traduzco al chino, así que dejé estas dos como opciones predeterminadas, pero en realidad puede traducir a cualquier idioma.
Además del video subtitulado, también genera una transcripción con el texto original y en chino lado a lado.
El párrafo completo dice así:
Es más como construir un sistema que no solo se va por su cuenta y deja atrás la civilización, sino que es más como una bicicleta tándem donde ambas personas pedalean. En la subida, quizás la persona más fuerte pedalea con más fuerza, pero ambas personas tienen las manos en el manillar.
La parte más práctica es que es independiente del idioma. La misma entrevista se puede traducir a subtítulos bilingües para chino, japonés, coreano, árabe o francés—con la traducción arriba y el inglés abajo, claramente priorizados. Incluso el árabe de derecha a izquierda está perfectamente alineado:
Los videos de diez minutos no son problema, y los videos largos de más de una hora y media se manejan fácilmente.
En realidad son tres habilidades
Cuando abras el repositorio, verás tres carpetas, cada una gestiona una parte del trabajo. Se pueden usar individualmente o encadenadas:
- xiaohu-video-md: El comandante. Responsable de descargar, transcribir, llamar a la traducción, quemar subtítulos y generar la transcripción.
- xiaohu-subtitle-polish: Especializado en traducción y pulido de subtítulos. Maneja corrección de errores, traducción, división de oraciones, alineación temporal y formato bilingüe.
- xiaohu-video-download: Una herramienta de descarga pura. Descarga videos, audio o listas de reproducción completas, y también puede quemar subtítulos en videos locales.
Al traducir un video, xiaohu-video-md es el orquestador, y llama a xiaohu-subtitle-polish para el paso de traducción. No necesitas preocuparte por esto; solo debes saber que estas tres partes existen.
Instalación paso a paso
Esta herramienta está actualmente optimizada para Mac, funcionando más suavemente en Apple Silicon. Hay dos formas de instalarla: si quieres hacerlo fácil, solo pega el texto de abajo en tu IA; si quieres saber qué está pasando o tienes miedo de errores, sigue los pasos manuales.
Versión perezosa: Dale esto a tu IA
Abre tu herramienta de codificación de IA (Claude Code, Codex, OpenClaw) y copia y pega exactamente lo siguiente. Determinará tu sistema, instalará dependencias, clonará el repositorio y ejecutará el script de instalación, haciéndote preguntas cuando sea necesario:
Ayúdame a instalar esta herramienta de traducción de videos: https://github.com/xiaohuailabs/xiaohu-video-translate Sigue este orden: 1. Verifica mi sistema: Mac o Windows; si es Mac, comprueba si es Apple Silicon (serie M). 2. Instala las dependencias: yt-dlp, ffmpeg, whisper-cpp (Usa brew install para Mac, WSL o winget para Windows). Motor de transcripción: Instala mlx-whisper para Apple Silicon, faster-whisper para otros. 3. Haz git clone de este repositorio, entra al directorio y ejecuta bash install.sh para instalar las tres habilidades en mi directorio de habilidades. 4. Una vez instalado, busca el archivo config.json en la habilidad xiaohu-video-md (para Claude Code, está en ~/.claude/skills/). Pregúntame dónde quiero guardar los productos terminados y ayúdame a cambiar output_dir a la ruta completa. 5. Finalmente, verifica que todas las dependencias estén instaladas y dime si puedo empezar a usarlo.
Explica brevemente lo que hiciste en cada paso; si una dependencia falla, detente y pregúntame, no sigas adelante.
Básicamente, ejecuta los tres pasos siguientes por ti. Si quieres hacerlo tú mismo o solucionar problemas, sigue la versión manual.
Paso 1: Instalar herramientas básicas
Primero, asegúrate de tener Homebrew instalado. Luego ejecuta este comando para instalar las tres herramientas:
brew install yt-dlp ffmpeg whisper-cpp
A continuación, instala un motor de transcripción. Para Macs con Apple Silicon, usa esto para aceleración por GPU (el flag --break-system-packages es solo para evitar una restricción más reciente del sistema; no dañará tu sistema):
pip3 install --break-system-packages mlx-whisper
Si no es Apple Silicon, usa la versión general:
pip3 install --break-system-packages faster-whisper
Paso 2: Instalar habilidades en Claude
Clona el repositorio y ejecuta el script de instalación:
git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git cd xiaohu-video-translate bash install.sh
Este script copia las tres habilidades al directorio de habilidades de Claude, genera archivos de configuración y verifica las dependencias. Si todo muestra [OK], estás listo. Si algo muestra [Missing], sigue las indicaciones para solucionarlo. (Las rutas aquí usan Claude Code como ejemplo; para otras herramientas, solo cambia el directorio).
Paso 3: Indícale dónde guardar los resultados
Abre ~/.claude/skills/xiaohu-video-md/config.json y cambia output_dir a la ruta de la carpeta que desees (por ejemplo, /Users/tunombre/Documents/VideoTranslation).
Los archivos temporales van a tmp/, las transcripciones a data/, y los videos terminados van a tu carpeta de Descargas por defecto.
No necesitas descargar el modelo de transcripción manualmente. La primera vez que lo ejecutes,
mlx-whisperlo descargará (aproximadamente 1.5GB) y lo reutilizará a partir de entonces.
Una vez hecho, reinicia tu herramienta de IA, y estarás listo.
Usuarios de Windows, miren aquí
Lo anterior es para Mac. Windows también puede ejecutarlo, pero con algunas diferencias:
La forma más fácil es usando WSL (Subsistema de Windows para Linux). Una vez instalado, instala esto y el script funcionará tal cual:
sudo apt install ffmpeg pip3 install yt-dlp faster-whisper
Si no quieres usar WSL:
- Usa faster-whisper como motor.
- Ejecuta el script de instalación usando Git Bash, o copia las carpetas manualmente.
- Cambia la fuente de los subtítulos. La predeterminada es PingFang SC de Mac. Cámbiala a Microsoft YaHei en los comandos para evitar que el texto aparezca como cuadros.
Cómo usarlo
Una vez instalado, es solo una frase. Puedes decir cosas como:
- "Traduce este enlace a un video con subtítulos en chino + [Enlace]"
- "Traduce este video, quiero subtítulos bilingües + [Enlace]"
- "Convierte este video en texto + [Enlace]" (Solo genera Markdown)
- "Añade subtítulos en chino a este video local + [Ruta]"
- "Descarga este video + [Enlace]"
- "Usa modo rápido para la transcripción"
- "Sin marca de agua al traducir"
Algunos problemas a tener en cuenta
YouTube a veces falla al descargar (error 403). El control de riesgos de YouTube se ha endurecido. El script intenta leer las cookies de tu navegador para reintentar. Si aún falla, usa un proxy.
Los subtítulos aparecen como cuadros. Esto es un problema de indexación de fuentes. Asegúrate de usar una fuente disponible en tu sistema (como PingFang SC en Mac).
Douyin requiere un inicio de sesión único. Ejecuta el script douyin_login.py y escanea el código QR. Esta información de inicio de sesión se queda solo en tu ordenador.
Tómalo y úsalo
Dirección del repositorio:
github.com/xiaohuailabs/xiaohu-video-translate
El código tiene licencia MIT. Siéntete libre de cambiar marcas de agua, estilos o tamaños de fuente. Solo un recordatorio: no subas tus archivos de configuración ni la información de inicio de sesión de Douyin a repositorios públicos.
Esta es una herramienta que uso a diario, no un juguete. Si te resulta útil, dale una estrella. Si tienes problemas, abre un issue.
La próxima vez, publicaré como código abierto mi habilidad de ilustración de artículos—usando una imagen IP personal para generar ilustraciones para artículos, como las de esta publicación.
