Certains disent qu'il existe déjà plein d'outils de traduction automatique par IA pour les sous-titres, alors à quoi bon celui-ci ?
Il est vrai qu'il y a beaucoup d'outils pour traduire des vidéos en ligne, et j'en ai moi-même utilisé plusieurs. Mais j'ai toujours trouvé qu'ils manquaient de précision, que la qualité laissait à désirer, voire qu'ils affichaient des erreurs.
De plus, je partage souvent des vidéos étrangères sur Twitter et WeChat Channels, alors j'ai décidé de créer cet ensemble d'outils. Il vous aide en fait à migrer des vidéos étrangères vers les plateformes locales, héhé.
J'ai utilisé cet ensemble d'outils pendant six mois, je l'ai ajusté à plusieurs reprises, et maintenant il est assez mature. Je l'ai nettoyé et l'ai open-sourcé pour tout le monde.
Une fois installé, il suffit de dire une phrase : « Traduis ce lien en une vidéo avec sous-titres chinois », et il s'occupe automatiquement du reste : téléchargement, transcription, traduction, polissage, incrustation des sous-titres et génération d'une transcription – un véritable service tout-en-un.
La transcription s'effectue entièrement sur votre propre ordinateur, sans aucun frais d'API. La traduction utilise l'IA que vous avez déjà installée. Et cela ne se limite pas à l'anglais : les vidéos en japonais, coréen, français et autres langues étrangères peuvent toutes être converties en sous-titres chinois.
En gros, ce ne sont que quelques scripts et un manuel. Ce n'est pas verrouillé sur Claude Code : OpenClaw, Gemini et Codex peuvent tous l'utiliser ; la seule différence réside dans la manière dont chaque outil installe les « compétences ».
Voici un guide pas à pas pour l'installer et lancer votre première vidéo.
Que peut exactement faire cet outil ?
Donnez-lui un lien vidéo (YouTube, Bilibili, Douyin fonctionnent) ou un fichier vidéo local, et il réalisera ces cinq étapes d'un seul coup :
Téléchargement → Transcription → Traduction → Polissage → Incrustation des sous-titres
...et enfin, génération d'une transcription.
Pour détailler :
- Télécharger la vidéo (ou utiliser directement un fichier local).
- Extraire l'audio et utiliser Whisper pour le transcrire en sous-titres originaux avec des horodatages précis.
- Traduire le texte original en chinois et le polir en sous-titres adaptés aux habitudes de visionnage chinoises.
- Incruster les sous-titres dans la vidéo, produisant une vidéo avec sous-titres chinois.
- Générer simultanément une transcription au format Markdown pour un archivage facile ou une transformation en article.
La langue n'a pas d'importance. Anglais, japonais, coréen, français, espagnol – tant que Whisper peut les comprendre, ils peuvent être convertis en sous-titres chinois. L'outil identifie automatiquement la langue source et la traduit. Pour les vidéos en chinois, il se contente de transcrire et de générer une transcription, sans l'étape de traduction.
Il existe deux options de sous-titres. L'une en chinois uniquement pour un écran épuré. L'autre bilingue (chinois/anglais), avec le chinois en grand et l'anglais en petit, parfaite pour ceux qui veulent pratiquer l'écoute.
Vous n'avez pas besoin de mémoriser de commandes. Utilisez simplement un langage naturel : « Je veux des sous-titres bilingues », « Sans filigrane », « Mode rapide » – il comprend tout.
En résumé, il condense un processus qui nécessitait auparavant quatre ou cinq logiciels et une à deux heures de travail en une seule phrase.
En quoi est-il différent des outils existants ?
Il existe de nombreux outils de sous-titrage sur le marché. Je me soucie de trois choses, et cet outil a été conçu spécifiquement pour elles.
Premièrement : Local, gratuit et hors ligne. La transcription utilise le modèle open-source Whisper d'OpenAI. Sur les Mac Apple Silicon, il utilise automatiquement l'accélération GPU. L'ensemble du processus de transcription se déroule sur votre ordinateur – pas d'envoi, pas de frais. La traduction réutilise l'IA que vous possédez déjà, donc aucun API de traduction séparé n'est nécessaire.
Deuxièmement : Des horodatages précis. De nombreux outils produisent des sous-titres qui précèdent le locuteur ou coupent les phrases de manière maladroite. Cet outil obtient des horodatages précis au mot prononcé et effectue des coupures basées sur la « phrase + pause de respiration », de sorte que les sous-titres changent exactement lorsque le locuteur termine une pensée.
Troisièmement : Des sous-titres pour les humains, pas seulement une traduction automatique brute. Il corrige automatiquement les noms propres mal entendus (Claude est souvent confondu avec « cloud », MCP avec « NCP »), découpe les phrases selon la sémantique, limite les lignes à douze caractères et conserve l'anglais pour les termes techniques. En mode bilingue, le chinois est grand et l'anglais est petit, clairement séparés plutôt que simplement deux lignes de même taille empilées.
Ce sont des détails que j'ai peaufinés sur des centaines de vidéos, tous intégrés dans les règles.
À quoi ressemblent les résultats
Essayons une interview récemment publiée par a16z avec l'ancienne CTO d'OpenAI, Mira Murati. J'ai demandé à l'outil de fournir des sous-titres bilingues.
Dans ses propos originaux, il y avait une métaphore :
C'est plus comme un vélo tandem où les deux personnes pédalent.
Une traduction automatique pourrait donner une traduction littérale maladroite. Cet outil la traduit comme : « C'est plutôt comme un vélo à deux places, où les deux personnes pédalent ensemble. »
C'est naturel et fluide. Les noms propres sont également bien traités ; les noms d'entreprise comme « Thinking Machines » sont laissés en anglais plutôt que d'être traduits de force.
Vous envoyez simplement « Lien + Traduis cette vidéo », et il vous demandera d'abord si vous voulez du chinois pur ou du bilingue – je traduis généralement en chinois, j'ai donc laissé ces deux options par défaut, mais il peut en fait traduire dans n'importe quelle langue.
En plus de la vidéo sous-titrée, il génère également une transcription avec le texte original et chinois côte à côte.
Le paragraphe complet ressemble à ceci :
C'est plus comme construire un système qui ne se contente pas de s'emballer et de laisser la civilisation derrière, mais qui ressemble plutôt à un vélo tandem où les deux personnes pédalent. Dans la montée, peut-être que la personne la plus forte pédale plus fort, mais les deux personnes ont les mains sur le guidon.
La partie la plus pratique est qu'il est indépendant de la langue. La même interview peut être traduite en sous-titres bilingues pour le chinois, le japonais, le coréen, l'arabe ou le français – avec la traduction en haut et l'anglais en bas, clairement priorisés. Même l'arabe de droite à gauche est bien aligné :
Les vidéos de dix minutes ne posent aucun problème, et les longues vidéos de plus d'une heure et demie sont gérées facilement.
En réalité, ce sont trois compétences
Lorsque vous ouvrez le dépôt, vous verrez trois dossiers, chacun gérant une partie du travail. Ils peuvent être utilisés individuellement ou enchaînés :
- xiaohu-video-md : Le chef d'orchestre. Responsable du téléchargement, de la transcription, de l'appel à la traduction, de l'incrustation des sous-titres et de la génération de la transcription.
- xiaohu-subtitle-polish : Spécialisé dans la traduction et le polissage des sous-titres. Gère la correction d'erreurs, la traduction, le découpage des phrases, l'alignement temporel et le formatage bilingue.
- xiaohu-video-download : Un outil de téléchargement pur. Télécharge des vidéos, de l'audio ou des listes de lecture entières, et peut également incruster des sous-titres sur des vidéos locales.
Lors de la traduction d'une vidéo, xiaohu-video-md est l'orchestrateur, et il appelle xiaohu-subtitle-polish pour l'étape de traduction. Vous n'avez pas à vous en soucier ; sachez simplement que ces trois parties existent.
Installation pas à pas
Cet outil est actuellement optimisé pour Mac, fonctionnant le plus fluidement sur Apple Silicon. Il existe deux façons de l'installer : si vous voulez la solution de facilité, collez simplement le texte ci-dessous dans votre IA ; si vous voulez comprendre ce qui se passe ou si vous avez peur des erreurs, suivez les étapes manuelles.
Version paresseuse : Donnez ceci à votre IA
Ouvrez votre outil de codage IA (Claude Code, Codex, OpenClaw), et copiez-collez exactement ce qui suit. Il déterminera votre système, installera les dépendances, clonera le dépôt et exécutera le script d'installation, en vous posant des questions si nécessaire :
Aidez-moi à installer cet outil de traduction vidéo : https://github.com/xiaohuailabs/xiaohu-video-translate Suivez cet ordre : 1. Vérifiez mon système : Mac ou Windows ; si Mac, vérifiez s'il s'agit d'un Apple Silicon (série M). 2. Installez les dépendances : yt-dlp, ffmpeg, whisper-cpp (Utilisez brew install pour Mac, WSL ou winget pour Windows). Moteur de transcription : Installez mlx-whisper pour Apple Silicon, faster-whisper pour les autres. 3. git clone ce dépôt, entrez dans le répertoire et exécutez bash install.sh pour installer les trois compétences dans mon répertoire de compétences. 4. Une fois installé, trouvez le config.json dans la compétence xiaohu-video-md (pour Claude Code, c'est dans ~/.claude/skills/). Demandez-moi où je veux enregistrer les produits finis et aidez-moi à changer output_dir en chemin complet. 5. Enfin, vérifiez si toutes les dépendances sont installées et dites-moi si je peux commencer à l'utiliser.
Expliquez brièvement ce que vous avez fait à chaque étape ; si une dépendance échoue, arrêtez-vous et demandez-moi, ne continuez pas simplement.
Il exécute essentiellement les trois étapes ci-dessous pour vous. Si vous voulez le faire vous-même ou résoudre des problèmes, suivez la version manuelle.
Étape 1 : Installer les outils de base
Tout d'abord, assurez-vous d'avoir Homebrew installé. Exécutez ensuite cette commande pour installer les trois outils :
brew install yt-dlp ffmpeg whisper-cpp
Ensuite, installez un moteur de transcription. Pour les Mac Apple Silicon, utilisez ceci pour l'accélération GPU (l'indicateur --break-system-packages est simplement pour contourner une restriction système plus récente ; il ne nuira pas à votre système) :
pip3 install --break-system-packages mlx-whisper
Si vous n'êtes pas sur Apple Silicon, utilisez la version générale :
pip3 install --break-system-packages faster-whisper
Étape 2 : Installer les compétences dans Claude
Clonez le dépôt et exécutez le script d'installation :
git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git cd xiaohu-video-translate bash install.sh
Ce script copie les trois compétences dans le répertoire des compétences de Claude, génère les fichiers de configuration et vérifie les dépendances. Si tout affiche [OK], vous êtes prêt. Si quelque chose affiche [Missing], suivez les invites pour le corriger. (Les chemins ici utilisent Claude Code comme exemple ; pour d'autres outils, changez simplement le répertoire).
Étape 3 : Indiquez où mettre les résultats
Ouvrez ~/.claude/skills/xiaohu-video-md/config.json et changez output_dir vers le chemin du dossier souhaité (par exemple, /Users/votrenom/Documents/TraductionVideo).
Les fichiers temporaires vont dans tmp/, les transcriptions dans data/ et les vidéos finies dans votre dossier Téléchargements par défaut.
Vous n'avez pas besoin de télécharger manuellement le modèle de transcription. La première fois que vous l'exécutez,
mlx-whisperle téléchargera (environ 1,5 Go) et le réutilisera par la suite.
Une fois terminé, redémarrez votre outil IA, et vous êtes prêt.
Utilisateurs Windows, regardez ici
Ce qui précède est pour Mac. Windows peut également l'exécuter, mais avec quelques différences :
Le moyen le plus simple est d'utiliser WSL (Windows Subsystem for Linux). Une fois installé, installez ceci et le script fonctionnera tel quel :
sudo apt install ffmpeg pip3 install yt-dlp faster-whisper
Si vous ne voulez pas utiliser WSL :
- Utilisez faster-whisper comme moteur.
- Exécutez le script d'installation avec Git Bash, ou copiez manuellement les dossiers.
- Changez la police des sous-titres. La police par défaut est PingFang SC de Mac. Remplacez-la par Microsoft YaHei dans les commandes pour éviter que le texte n'apparaisse sous forme de boîtes.
Comment utiliser
Une fois installé, c'est une seule phrase. Vous pouvez dire des choses comme :
- « Traduis ce lien en une vidéo avec sous-titres chinois + [Lien] »
- « Traduis cette vidéo, je veux des sous-titres bilingues + [Lien] »
- « Transforme cette vidéo en texte + [Lien] » (Génère simplement du Markdown)
- « Ajoute des sous-titres chinois à cette vidéo locale + [Chemin] »
- « Télécharge cette vidéo + [Lien] »
- « Utilise le mode rapide pour la transcription »
- « Sans filigrane lors de la traduction »
Quelques pièges à éviter
YouTube échoue parfois à télécharger (erreur 403). Les contrôles de risque de YouTube se sont renforcés. Le script tente de lire les cookies de votre navigateur pour réessayer. Si cela échoue encore, utilisez un proxy.
Les sous-titres apparaissent sous forme de boîtes. C'est un problème d'indexation de police. Assurez-vous d'utiliser une police disponible sur votre système (comme PingFang SC sur Mac).
Douyin nécessite une connexion unique. Exécutez le script douyin_login.py et scannez le code QR. Ces informations de connexion restent uniquement sur votre ordinateur.
Prenez-le et utilisez-le
Adresse du dépôt :
github.com/xiaohuailabs/xiaohu-video-translate
Le code est sous licence MIT. N'hésitez pas à modifier les filigranes, les styles ou les tailles de police. Juste un rappel : ne téléchargez pas vos fichiers de configuration ou vos informations de connexion Douyin sur des dépôts publics.
C'est un outil que j'utilise quotidiennement, pas un jouet. Si vous le trouvez utile, donnez-lui une étoile. Si vous avez des problèmes, ouvrez un ticket.
La prochaine fois, j'ouvrirai en open source ma compétence d'illustration d'articles – utiliser une image IP personnelle pour générer des illustrations pour les articles, comme celles de ce post.
