Alcuni dicono che esistono già molti strumenti di traduzione automatica AI per i sottotitoli, quindi che senso ha quest'ultimo?
È vero che ci sono molti strumenti per la traduzione di video online, e ne ho usati tanti anch'io. Ma ho sempre pensato che non fossero abbastanza accurati, o che la qualità fosse scarsa, e a volte comparivano un sacco di errori.
Inoltre, condivido spesso video stranieri su Twitter e WeChat Channels, così ho deciso di creare questa serie di strumenti, che in realtà ti permette di trasferire video dall'estero su piattaforme domestiche, eheh.
Ho usato questo set di strumenti per sei mesi, l'ho aggiustato molte volte, e ora è abbastanza maturo. L'ho ripulito e reso open source per tutti.
Una volta installato, basta dire una frase: "Traduci questo link in un video con sottotitoli in cinese", e lui fa tutto il resto automaticamente: scaricare, trascrivere, tradurre, rifinire, masterizzare i sottotitoli e generare una trascrizione: un servizio completo e integrato.
La trascrizione avviene interamente sul tuo computer, senza costi per le API. La traduzione usa l'AI che hai già installato. E non serve solo per l'inglese; video in giapponese, coreano, francese e altre lingue straniere possono essere convertiti in sottotitoli cinesi.
In pratica, sono solo pochi script e un manuale. Non è legato a Claude Code: OpenClaw, Gemini e Codex possono usarlo tutti; l'unica differenza è come ogni strumento installa le "skill".
Ecco una guida passo passo per installarlo e far funzionare il tuo primo video.
Cosa può fare esattamente questo coso?
Dagli un link video (YouTube, Bilibili, Douyin funzionano tutti) o un file video locale, e completerà questi cinque passaggi in un colpo solo:
Scarica → Trascrivi → Traduci → Rifinisci → Masterizza Sottotitoli
...e, alla fine, restituisce una trascrizione.
Per scomporre il processo:
- Scarica il video (o usa direttamente un file locale).
- Estrae l'audio e usa Whisper per trascriverlo in sottotitoli originali con timestamp precisi.
- Traduce il testo originale in cinese e lo rifinisce in sottotitoli che si adattano alle abitudini di visione cinesi.
- Masterizza i sottotitoli nel video, restituendo un video con sottotitoli in cinese.
- Genera contemporaneamente una trascrizione in Markdown per un facile archiviazione o la trasformazione in un articolo.
La lingua non conta. Inglese, giapponese, coreano, francese, spagnolo: finché Whisper lo capisce, può essere convertito in sottotitoli cinesi. Riconosce automaticamente la lingua di partenza e la traduce. Per i video in cinese, si limita a trascrivere e generare una trascrizione, saltando il passaggio di traduzione.
Ci sono due opzioni di sottotitoli. Una è solo cinese, per uno schermo pulito. L'altra è bilingue (cinese/inglese), con testo cinese grande e inglese piccolo, perfetta per chi vuole esercitare l'ascolto.
Non devi ricordare nessun comando. Usa semplicemente il linguaggio comune: "Voglio sottotitoli bilingue", "Niente filigrana", "Usa la modalità veloce": lui capisce tutto.
In poche parole, comprime un flusso di lavoro che richiedeva quattro o cinque programmi e un'ora o due di lavoro in una singola frase.
Cosa lo differenzia dagli strumenti esistenti?
Ci sono molti strumenti per sottotitoli sul mercato. A me interessano tre cose, e questo strumento è stato costruito appositamente per loro.
Primo: Locale, gratuito e offline. La trascrizione usa il modello Whisper open source di OpenAI. Su Mac con chip Apple Silicon, usa automaticamente l'accelerazione GPU. L'intero processo di trascrizione avviene sul tuo computer: niente upload, niente costi. La traduzione riutilizza l'AI che hai già, quindi non serve un'API di traduzione separata.
Secondo: Timestamp precisi. Molti strumenti hanno sottotitoli che anticipano chi parla o tagliano le frasi in modo innaturale. Questo strumento ottiene timestamp precisi al momento in cui ogni parola viene pronunciata e taglia in base a "frase + pausa di respiro", così i sottotitoli cambiano esattamente quando chi parla completa un pensiero.
Terzo: Sottotitoli per umani, non solo traduzione automatica grezza. Corregge automaticamente i nomi propri fraintesi (Claude viene spesso sentito come "cloud", MCP come "NCP"), divide le frasi in base alla semantica, mantiene le righe sotto i dodici caratteri e conserva i termini tecnici in inglese. In modalità bilingue, il cinese è grande e l'inglese è piccolo, chiaramente separati invece di essere semplicemente due righe della stessa dimensione sovrapposte.
Questi sono dettagli che ho perfezionato su centinaia di video, tutti integrati nelle regole.
Aspetto dei risultati
Proviamo con un'intervista pubblicata di recente da a16z con l'ex CTO di OpenAI, Mira Murati. Ho chiesto allo strumento di fornire sottotitoli bilingue.
Nelle sue parole originali, c'era una metafora:
È più come una bicicletta tandem dove entrambe le persone pedalano.
La traduzione automatica potrebbe darti una traduzione letterale goffa. Questo strumento la traduce come: "È più come una bicicletta a due posti, dove entrambe le persone pedalano insieme."
È naturale e scorrevole. Anche i nomi propri sono gestiti bene; nomi di aziende come "Thinking Machines" vengono lasciati in inglese invece di essere forzati in una traduzione.
Basta inviare "Link + Traduci questo video", e lui chiederà prima se vuoi solo cinese o bilingue: di solito traduco in cinese, quindi ho lasciato queste due come opzioni predefinite, ma in realtà può tradurre in qualsiasi lingua.
Oltre al video sottotitolato, genera anche una trascrizione con il testo originale e quello cinese affiancati.
Il paragrafo completo è così:
È più come costruire un sistema che non si limiti a scappare da solo lasciando indietro la civiltà, ma sia più come una bicicletta tandem dove entrambe le persone pedalano. In salita, forse la persona più forte pedala più forte, ma entrambe le persone hanno le mani sul manubrio.
La parte più pratica è che è indipendente dalla lingua. La stessa intervista può essere tradotta in sottotitoli bilingue per cinese, giapponese, coreano, arabo o francese, con la traduzione in alto e l'inglese in basso, chiaramente prioritari. Anche l'arabo da destra a sinistra è allineato perfettamente:
I video di dieci minuti non sono un problema, e i video lunghi oltre un'ora e mezza vengono gestiti facilmente.
In realtà sono tre skill
Quando apri il repository, vedrai tre cartelle, ognuna delle quali gestisce una parte del lavoro. Possono essere usate singolarmente o in sequenza:
- xiaohu-video-md: Il comandante. Si occupa di scaricare, trascrivere, chiamare la traduzione, masterizzare i sottotitoli e restituire la trascrizione.
- xiaohu-subtitle-polish: Specializzato nella traduzione e rifinitura dei sottotitoli. Gestisce la correzione degli errori, la traduzione, la suddivisione delle frasi, l'allineamento temporale e la formattazione bilingue.
- xiaohu-video-download: Un puro strumento di download. Scarica video, audio o intere playlist, e può anche masterizzare sottotitoli su video locali.
Quando si traduce un video, xiaohu-video-md è l'orchestratore e chiama xiaohu-subtitle-polish per il passaggio di traduzione. Non devi preoccuparti di questo; sappi solo che queste tre parti esistono.
Installazione Passo Passo
Questo strumento è attualmente ottimizzato per Mac, e gira più fluidamente su Apple Silicon. Ci sono due modi per installarlo: se lo vuoi facile, basta incollare il testo qui sotto nella tua AI; se vuoi sapere cosa succede o hai paura di errori, segui i passaggi manuali.
Versione Pigra: Dagli questa al tuo AI
Apri il tuo strumento di coding AI (Claude Code, Codex, OpenClaw) e copia-incolla esattamente quanto segue. Lui determinerà il tuo sistema, installerà le dipendenze, clonerà il repository e lancerà lo script di installazione, facendoti domande quando necessario:
Aiutami a installare questo strumento di traduzione video: https://github.com/xiaohuailabs/xiaohu-video-translate Segui questo ordine: 1. Controlla il mio sistema: Mac o Windows; se Mac, controlla se è Apple Silicon (serie M). 2. Installa le dipendenze: yt-dlp, ffmpeg, whisper-cpp (Usa brew install per Mac, WSL o winget per Windows). Motore di trascrizione: Installa mlx-whisper per Apple Silicon, faster-whisper per gli altri. 3. git clone di questo repo, entra nella directory ed esegui bash install.sh per installare le tre skill nella mia directory delle skill. 4. Una volta installato, trova il config.json nella skill xiaohu-video-md (per Claude Code, è in ~/.claude/skills/). Chiedimi dove voglio salvare i prodotti finiti e aiutami a cambiare output_dir con il percorso completo. 5. Infine, controlla se tutte le dipendenze sono installate e dimmi se posso iniziare a usarlo.
Spiega brevemente cosa hai fatto ad ogni passo; se una dipendenza fallisce, fermati e chiedimelo, non andare avanti senza.
In pratica, esegue per te i tre passaggi qui sotto. Se vuoi farlo da solo o risolvere problemi, segui la versione manuale.
Passo 1: Installa gli strumenti di base
Prima, assicurati di avere Homebrew installato. Poi esegui questo comando per installare i tre strumenti:
brew install yt-dlp ffmpeg whisper-cpp
Successivamente, installa un motore di trascrizione. Per Mac con Apple Silicon, usa questo per l'accelerazione GPU (il flag --break-system-packages serve solo a bypassare una restrizione di sistema più recente; non danneggerà il tuo sistema):
pip3 install --break-system-packages mlx-whisper
Se non sei su Apple Silicon, usa la versione generica:
pip3 install --break-system-packages faster-whisper
Passo 2: Installa le skill in Claude
Clona il repository ed esegui lo script di installazione:
git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git cd xiaohu-video-translate bash install.sh
Questo script copia le tre skill nella directory delle skill di Claude, genera i file di configurazione e controlla le dipendenze. Se tutto mostra [OK], sei a posto. Se qualcosa mostra [Mancante], segui le istruzioni per risolverlo. (I percorsi qui usano Claude Code come esempio; per altri strumenti, cambia semplicemente la directory).
Passo 3: Digli dove mettere i risultati
Apri ~/.claude/skills/xiaohu-video-md/config.json e cambia output_dir con il percorso della cartella desiderata (es. /Users/tuonome/Documenti/TraduzioneVideo).
I file temporanei vanno in tmp/, le trascrizioni in data/, e i video finiti vanno nella tua cartella Download per impostazione predefinita.
Non devi scaricare manualmente il modello di trascrizione. La prima volta che lo esegui,
mlx-whisperlo scaricherà (circa 1.5 GB) e lo riutilizzerà in seguito.
Una volta fatto, riavvia il tuo strumento AI e sei pronto.
Utenti Windows, guardate qui
Quanto sopra è per Mac. Windows può eseguirlo, ma con alcune differenze:
Il modo più semplice è usare WSL (Windows Subsystem for Linux). Una volta installato, installa questi e lo script funzionerà così com'è:
sudo apt install ffmpeg pip3 install yt-dlp faster-whisper
Se non vuoi usare WSL:
- Usa faster-whisper come motore.
- Esegui lo script di installazione usando Git Bash, o copia manualmente le cartelle.
- Cambia il font dei sottotitoli. Quello predefinito è PingFang SC di Mac. Cambialo in Microsoft YaHei nei comandi per evitare che il testo appaia come quadratini.
Come si usa
Una volta installato, è solo una frase. Puoi dire cose come:
- "Traduci questo link in un video con sottotitoli in cinese + [Link]"
- "Traduci questo video, voglio sottotitoli bilingue + [Link]"
- "Trasforma questo video in testo + [Link]" (Genera solo Markdown)
- "Aggiungi sottotitoli in cinese a questo video locale + [Percorso]"
- "Scarica questo video + [Link]"
- "Usa la modalità veloce per la trascrizione"
- "Niente filigrana durante la traduzione"
Alcune insidie a cui prestare attenzione
YouTube a volte non riesce a scaricare (errore 403). I controlli di rischio di YouTube sono diventati più severi. Lo script prova a leggere i cookie dal tuo browser per riprovare. Se fallisce ancora, usa un proxy.
I sottotitoli appaiono come quadratini. È un problema di indicizzazione dei font. Assicurati di usare un font disponibile sul tuo sistema (come PingFang SC su Mac).
Douyin richiede un login una tantum. Esegui lo script douyin_login.py e scansiona il codice QR. Queste informazioni di login rimangono solo sul tuo computer.
Prendilo e usalo
Indirizzo del repository:
github.com/xiaohuailabs/xiaohu-video-translate
Il codice è con licenza MIT. Sentiti libero di cambiare filigrane, stili o dimensioni dei caratteri. Solo un promemoria: non caricare i tuoi file di configurazione o le informazioni di login di Douyin in repository pubblici.
Questo è uno strumento che uso quotidianamente, non un giocattolo. Se lo trovi utile, dagli una stella. Se hai problemi, apri una issue.
La prossima volta, renderò open source la mia skill per le illustrazioni degli articoli: usare un'immagine IP personale per generare illustrazioni per gli articoli, come quelle in questo post.
