किसी भी वीडियो का अनुवाद करने के लिए एक वाक्य: छह महीनों से उपयोग किए जा रहे मेरे वीडियो अनुवाद टूल को ओपन-सोर्स करना

कुछ लोग कहते हैं कि पहले से ही कई AI ऑटो-ट्रांसलेशन टूल्स मौजूद हैं जो सबटाइटल के लिए हैं, तो फिर इस टूल की क्या ज़रूरत है?

यह सच है कि ऑनलाइन वीडियो ट्रांसलेशन के लिए कई टूल्स हैं, और मैंने ख़ुद उनमें से कई का इस्तेमाल किया है। लेकिन मुझे हमेशा लगता था कि वे पर्याप्त सटीक नहीं हैं, या उनकी गुणवत्ता ख़राब है, और कभी-कभी तो ढेर सारी गलतियाँ भी दिख जाती हैं।

इसके अलावा, मैं अक्सर Twitter और WeChat Channels पर विदेशी वीडियो शेयर करता हूँ, इसलिए मैंने यह टूलसेट बनाने का फैसला किया—यह वास्तव में आपको विदेशी वीडियो को घरेलू प्लेटफॉर्म पर लाने में मदद कर सकता है, ही ही।

मैंने इस टूलसेट का आधा साल इस्तेमाल किया है, इसे कई बार एडजस्ट किया है, और अब यह काफी परिपक्व हो गया है। मैंने इसे साफ किया है और सभी के लिए ओपन-सोर्स कर दिया है।

एक बार इंस्टॉल हो जाने के बाद, आपको बस एक वाक्य बोलना है: "इस लिंक को चीनी सबटाइटल वाले वीडियो में बदलो," और यह बाकी सब काम अपने आप कर लेता है: डाउनलोड करना, ट्रांसक्राइब करना, अनुवाद करना, पॉलिश करना, सबटाइटल बर्न करना, और ट्रांसक्रिप्ट जनरेट करना—एक पूरा वन-स्टॉप शॉप।

ट्रांसक्रिप्शन पूरी तरह से आपके अपने कंप्यूटर पर चलता है, जिसमें किसी API शुल्क की ज़रूरत नहीं है। अनुवाद आपके पहले से इंस्टॉल किए गए AI का उपयोग करता है। और यह सिर्फ अंग्रेज़ी तक सीमित नहीं है; जापानी, कोरियाई, फ्रेंच, और अन्य विदेशी भाषाओं के वीडियो को भी चीनी सबटाइटल में बदला जा सकता है।

असल में, यह सिर्फ कुछ स्क्रिप्ट्स और एक मैनुअल है। यह सिर्फ Claude Code पर निर्भर नहीं है—OpenClaw, Gemini, और Codex भी इसका इस्तेमाल कर सकते हैं; फर्क सिर्फ इतना है कि हर टूल "स्किल्स" को कैसे इंस्टॉल करता है।

नीचे इसे इंस्टॉल करने और अपना पहला वीडियो चलाने के लिए एक चरण-दर-चरण गाइड दी गई है।

यह चीज़ वास्तव में क्या कर सकती है?

इसे एक वीडियो लिंक (YouTube, Bilibili, Douyin सब काम करते हैं) या एक लोकल वीडियो फ़ाइल दें, और यह इन पाँचों चरणों को एक बार में पूरा कर देगा:

डाउनलोड करें → ट्रांसक्राइब करें → अनुवाद करें → पॉलिश करें → सबटाइटल बर्न करें

...और अंत में, एक ट्रांसक्रिप्ट आउटपुट करेगा।

इसे विस्तार से समझते हैं:

• वीडियो डाउनलोड करें (या सीधे लोकल फ़ाइल का उपयोग करें)।
• ऑडियो निकालें और Whisper का उपयोग करके इसे सटीक टाइमस्टैम्प के साथ मूल सबटाइटल में ट्रांसक्राइब करें।
• मूल टेक्स्ट का चीनी में अनुवाद करें और इसे चीनी देखने की आदतों के अनुकूल सबटाइटल में पॉलिश करें।
• सबटाइटल को वीडियो में बर्न करें, चीनी सबटाइटल के साथ एक वीडियो आउटपुट करें।
• साथ ही, आसान आर्काइविंग या लेख में बदलने के लिए Markdown ट्रांसक्रिप्ट जनरेट करें।

भाषा मायने नहीं रखती। अंग्रेज़ी, जापानी, को<｜begin▁of▁sentence｜>

रियाई, फ्रेंच, स्पैनिश—जब तक Whisper इसे समझ सकता है, इसे चीनी सबटाइटल में बदला जा सकता है। यह स्वचालित रूप से स्रोत भाषा की पहचान करता है और उसका अनुवाद करता है। चीनी वीडियो के लिए, यह सिर्फ ट्रांसक्राइब करता है और अनुवाद चरण को छोड़कर ट्रांसक्रिप्ट जनरेट करता है।

सबटाइटल के दो विकल्प हैं। एक शुद्ध चीनी है जो स्क्रीन को साफ रखता है। दूसरा द्विभाषी (चीनी/अंग्रेज़ी) है, जिसमें बड़ा चीनी टेक्स्ट और छोटा अंग्रेज़ी टेक्स्ट होता है, जो उन लोगों के लिए एकदम सही है जो सुनने का अभ्यास करना चाहते हैं।

आपको कोई कमांड याद रखने की ज़रूरत नहीं है। बस सादा भाषा का उपयोग करें: "मुझे द्विभाषी सबटाइटल चाहिए," "कोई वॉटरमार्क नहीं," "फास्ट मोड का उपयोग करें"—यह सब समझ जाता है।

सीधे शब्दों में कहें तो, यह एक ऐसी पाइपलाइन को संकुचित करता है जिसके लिए पहले चार या पाँच सॉफ्टवेयर और एक या दो घंटे के काम की आवश्यकता होती थी, एक ही वाक्य में।

यह मौजूदा टूल्स से कैसे अलग है?

बाज़ार में कई सबटाइटल टूल्स हैं। मैं तीन चीज़ों की परवाह करता हूँ, और यह टूल विशेष रूप से उनके लिए बनाया गया था।

पहला: स्थानीय, मुफ्त, और ऑफलाइन। ट्रांसक्रिप्शन OpenAI के ओपन-सोर्स Whisper मॉडल का उपयोग करता है। Apple Silicon Macs पर, यह स्वचालित रूप से GPU एक्सेलेरेशन का उपयोग करता है। पूरी ट्रांसक्रिप्शन प्रक्रिया आपके कंप्यूटर पर होती है—कोई अपलोड नहीं, कोई शुल्क नहीं। अनुवाद आपके पास पहले से मौजूद AI का पुन: उपयोग करता है, इसलिए अलग से अनुवाद API की ज़रूरत नहीं है।

दूसरा: सटीक टाइमस्टैम्प। कई टूल्स में सबटाइटल स्पीकर से पहले चलते हैं या वाक्यों को अजीब तरीके से काटते हैं। यह टूल टाइमस्टैम्प को सटीक बनाता है कि प्रत्येक शब्द कब बोला गया है और "वाक्य + सांस रुकने" के आधार पर काटता है, ताकि जब स्पीकर एक विचार पूरा करे तो सबटाइटल बदल जाए।

तीसरा: इंसानों के लिए सबटाइटल, सिर्फ कच्चा मशीनी अनुवाद नहीं। यह स्वचालित रूप से गलत सुने गए उचित नामों को ठीक करता है (Claude को अक्सर "cloud" और MCP को "NCP" के रूप में सुना जाता है), वाक्यों को अर्थ के आधार पर तोड़ता है, प्रति पंक्ति बारह अक्षरों से कम रखता है, और तकनीकी शब्दों के लिए अंग्रेज़ी बनाए रखता है। द्विभाषी मोड में, चीनी बड़ी और अंग्रेज़ी छोटी होती है, स्पष्ट रूप से अलग होती है, न कि सिर्फ एक ही आकार की दो पंक्तियाँ एक साथ रखी जाती हैं।

ये ऐसे विवरण हैं जिन्हें मैंने सैकड़ों वीडियो पर परिष्कृत किया है, जो सभी नियमों में शामिल हैं।

परिणाम कैसा दिखता है

आइए a16z द्वारा हाल ही में पोस्ट किया गया एक इंटरव्यू आज़माते हैं जिसमें पूर्व OpenAI CTO Mira Murati शामिल हैं। मैंने टूल से द्विभाषी सबटाइटल मांगे।

उनके मूल शब्दों में एक रूपक था:

It's more like a tandem bike where both people are pedaling.

मशीनी अनुवाद आपको एक बेढंगा शाब्दिक अनुवाद दे सकता है। यह टूल इसका अनुवाद इस प्रकार करता है: "यह एक दो-व्यक्ति वाली साइकिल की तरह है, जहाँ दोनों लोग एक साथ पैडल मार रहे हैं।"

यह स्वाभाविक और सहज है। उचित नामों को भी अच्छी तरह से संभाला जाता है; "Thinking Machines" जैसी कंपनी के नाम अंग्रेज़ी में ही रखे जाते हैं, न कि जबरन अनुवाद किए जाते हैं।

आप बस "लिंक + इस वीडियो का अनुवाद करें" भेजते हैं, और यह पहले पूछेगा कि क्या आप शुद्ध चीनी या द्विभाषी चाहते हैं—मैं आमतौर पर चीनी में अनुवाद करता हूँ, इसलिए मैंने इन दोनों को डिफ़ॉल्ट विकल्पों के रूप में छोड़ दिया है, लेकिन यह वास्तव में किसी भी भाषा में अनुवाद कर सकता है।

सबटाइटल वाले वीडियो के अलावा, यह एक ट्रांसक्रिप्ट भी जनरेट करता है जिसमें मूल और चीनी टेक्स्ट साथ-साथ होता है।

पूरा पैराग्राफ इस तरह पढ़ता है:

It's more like building a system that doesn't just run off on its own and leave civilization behind, but is more like a tandem bike where both people are pedaling. On the uphill, maybe the stronger person pedals harder, but both people's hands are on the handlebars.

सबसे व्यावहारिक हिस्सा यह है कि यह भाषा-अज्ञेयवादी है। उसी इंटरव्यू का अनुवाद चीनी, जापानी, कोरियाई, अरबी, या फ्रेंच के लिए द्विभाषी सबटाइटल में किया जा सकता है—शीर्ष पर अनुवाद और नीचे अंग्रेज़ी के साथ, स्पष्ट रूप से प्राथमिकता दी गई है। यहाँ तक कि दाएँ-से-बाएँ अरबी भी बड़े करीने से संरेखित है:

दस मिनट के वीडियो कोई समस्या नहीं हैं, और डेढ़ घंटे से अधिक के लंबे वीडियो भी आसानी से संभाले जाते हैं।

यह वास्तव में तीन स्किल्स हैं

जब आप रिपॉजिटरी खोलते हैं, तो आपको तीन फोल्डर दिखाई देंगे, प्रत्येक काम के एक हिस्से का प्रबंधन करता है। इनका उपयोग अकेले या एक साथ किया जा सकता है:

• xiaohu-video-md: कमांडर। डाउनलोड करने, ट्रांसक्राइब करने, अनुवाद को कॉल करने, सबटाइटल बर्न करने और ट्रांसक्रिप्ट आउटपुट करने के लिए जिम्मेदार।
• xiaohu-subtitle-polish: सबटाइटल अनुवाद और पॉलिशिंग में विशेषज्ञ। त्रुटि सुधार, अनुवाद, वाक्य तोड़ना, समय संरेखण और द्विभाषी फ़ॉर्मेटिंग को संभालता है।
• xiaohu-video-download: एक शुद्ध डाउनलोड टूल। वीडियो, ऑडियो, या पूरी प्लेलिस्ट डाउनलोड करता है, और लोकल वीडियो पर सबटाइटल भी बर्न कर सकता है।

किसी वीडियो का अनुवाद करते समय, xiaohu-video-md आर्केस्ट्रेटर है, और यह अनुवाद चरण के लिए xiaohu-subtitle-polish को कॉल करता है। आपको इसके बारे में चिंता करने की ज़रूरत नहीं है; बस इतना जान लें कि ये तीन भाग मौजूद हैं।

चरण-दर-चरण स्थापना

यह टूल वर्तमान में Mac के लिए अनुकूलित है, Apple Silicon पर सबसे सहज चलता है। इसे स्थापित करने के दो तरीके हैं: यदि आप इसे आसान चाहते हैं, तो बस नीचे दिए गए टेक्स्ट को अपने AI में पेस्ट करें; यदि आप जानना चाहते हैं कि क्या हो रहा है या गलतियों से डरते हैं, तो मैन्युअल चरणों का पालन करें।

आलसी संस्करण: इसे अपने AI को दें

अपना AI कोडिंग टूल (Claude Code, Codex, OpenClaw) खोलें, और निम्नलिखित को बिल्कुल कॉपी-पेस्ट करें। यह आपके सिस्टम का निर्धारण करेगा, डिपेंडेंसी स्थापित करेगा, रिपो को क्लोन करेगा, और इंस्टॉलेशन स्क्रिप्ट चलाएगा, और ज़रूरत पड़ने पर आपसे प्रश्न पूछेगा:

Help me install this video translation tool: https://github.com/xiaohuailabs/xiaohu-video-translate Follow this order: 1. Check my system: Mac or Windows; if Mac, check if it's Apple Silicon (M series). 2. Install dependencies: yt-dlp, ffmpeg, whisper-cpp (Use brew install for Mac, WSL or winget for Windows). Transcription engine: Install mlx-whisper for Apple Silicon, faster-whisper for others. 3. git clone this repo, enter the directory and run bash install.sh to install the three skills into my skills directory. 4. Once installed, find the config.json in the xiaohu-video-md skill (for Claude Code, it's in ~/.claude/skills/). Ask me where I want to save the finished products and help me change output_dir to the full path. 5. Finally, check if all dependencies are installed and tell me if I can start using it.

Briefly explain what you did at each step; if a dependency fails, stop and ask me, don't just keep going.

यह अनिवार्य रूप से आपके लिए नीचे दिए गए तीन चरणों को चलाता है। यदि आप इसे स्वयं करना चाहते हैं या समस्या निवारण करना चाहते हैं, तो मैन्युअल संस्करण का पालन करें।

चरण 1: बुनियादी टूल्स स्थापित करें

पहले, सुनिश्चित करें कि आपने Homebrew स्थापित किया है। फिर तीन टूल्स स्थापित करने के लिए यह कमांड चलाएँ:

brew install yt-dlp ffmpeg whisper-cpp

इसके बाद, एक ट्रांसक्रिप्शन इंजन स्थापित करें। Apple Silicon Macs के लिए GPU एक्सेलेरेशन के लिए इसका उपयोग करें (--break-system-packages फ्लैग सिर्फ एक नए सिस्टम प्रतिबंध को बायपास करने के लिए है; यह आपके सिस्टम को नुकसान नहीं पहुँचाएगा):

pip3 install --break-system-packages mlx-whisper

यदि Apple Silicon पर नहीं, तो सामान्य संस्करण का उपयोग करें:

pip3 install --break-system-packages faster-whisper

चरण 2: Claude में स्किल्स स्थापित करें

रिपॉजिटरी को क्लोन करें और इंस्टॉलेशन स्क्रिप्ट चलाएँ:

git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git cd xiaohu-video-translate bash install.sh

यह स्क्रिप्ट तीनों स्किल्स को Claude की स्किल डायरेक्टरी में कॉपी करती है, कॉन्फ़िगरेशन फ़ाइलें जनरेट करती है, और डिपेंडेंसी की जाँच करती है। यदि सब कुछ [OK] दिखाता है, तो आप तैयार हैं। यदि कुछ [Missing] दिखाता है, तो इसे ठीक करने के लिए संकेतों का पालन करें। (यहाँ पथ के रूप में Claude Code का उपयोग किया गया है; अन्य टूल्स के लिए, बस डायरेक्टरी बदलें)।

चरण 3: इसे बताएं कि परिणाम कहाँ रखने हैं

~/.claude/skills/xiaohu-video-md/config.json खोलें और output_dir को अपने इच्छित फ़ोल्डर पथ में बदलें (जैसे, /Users/yourname/Documents/VideoTranslation)।

अस्थायी फ़ाइलें tmp/ में जाती हैं, ट्रांसक्रिप्ट data/ में जाती हैं, और तैयार वीडियो डिफ़ॉल्ट रूप से आपके Downloads फ़ोल्डर में जाते हैं।

आपको ट्रांसक्रिप्शन मॉडल को मैन्युअल रूप से डाउनलोड करने की ज़रूरत नहीं है। पहली बार जब आप इसे चलाएंगे, तो mlx-whisper इसे डाउनलोड करेगा (लगभग 1.5GB) और उसके बाद इसका पुन: उपयोग करेगा।

एक बार हो जाने के बाद, अपने AI टूल को पुनरारंभ करें, और आप तैयार हैं।

Windows उपयोगकर्ता यहाँ देखें

उपरोक्त Mac के लिए है। Windows भी इसे चला सकता है, लेकिन कुछ अंतर हैं:

सबसे आसान तरीका WSL (Windows Subsystem for Linux) का उपयोग करना है। एक बार स्थापित होने के बाद, इन्हें स्थापित करें और स्क्रिप्ट वैसे ही चलेगी:

sudo apt install ffmpeg pip3 install yt-dlp faster-whisper

यदि आप WSL का उपयोग नहीं करना चाहते हैं:

• faster-whisper को इंजन के रूप में उपयोग करें।
• Git Bash का उपयोग करके इंस्टॉल स्क्रिप्ट चलाएँ, या फ़ोल्डर्स को मैन्युअल रूप से कॉपी करें।
• सबटाइटल फ़ॉन्ट बदलें। डिफ़ॉल्ट Mac का PingFang SC है। कमांड्स में इसे Microsoft YaHei में बदलें ताकि टेक्स्ट बक्सों के रूप में न दिखे।

इसका उपयोग कैसे करें

एक बार स्थापित होने के बाद, यह सिर्फ एक वाक्य है। आप ऐसी बातें कह सकते हैं:

• "इस लिंक को चीनी सबटाइटल वाले वीडियो में बदलो + [लिंक]"
• "इस वीडियो का अनुवाद करो, मुझे द्विभाषी सबटाइटल चाहिए + [लिंक]"
• "इस वीडियो को टेक्स्ट में बदलो + [लिंक]" (सिर्फ Markdown जनरेट करता है)
• "इस लोकल वीडियो में चीनी सबटाइटल जोड़ो + [पथ]"
• "यह वीडियो डाउनलोड करो + [लिंक]"
• "ट्रांसक्रिप्शन के लिए फास्ट मोड का उपयोग करें"
• "अनुवाद करते समय कोई वॉटरमार्क नहीं"

ध्यान रखने योग्य कुछ नुकसान

YouTube कभी-कभी डाउनलोड करने में विफल हो जाता है (403 त्रुटि)। YouTube का जोखिम नियंत्रण कड़ा हो गया है। स्क्रिप्ट आपके ब्राउज़र से कुकीज़ पढ़कर पुन: प्रयास करने का प्रयास करती है। यदि यह अभी भी विफल होता है, तो प्रॉक्सी का उपयोग करें।

सबटाइटल बक्सों के रूप में दिखाई देते हैं। यह फ़ॉन्ट इंडेक्सिंग की समस्या है। सुनिश्चित करें कि आप अपने सिस्टम पर उपलब्ध फ़ॉन्ट का उपयोग कर रहे हैं (जैसे Mac पर PingFang SC)।

Douyin के लिए एक बार लॉगिन आवश्यक है। douyin_login.py स्क्रिप्ट चलाएँ और QR कोड स्कैन करें। यह लॉगिन जानकारी केवल आपके कंप्यूटर पर रहती है।

इसे ले लो और उपयोग करो

रिपॉजिटरी का पता:

github.com/xiaohuailabs/xiaohu-video-translate

कोड MIT लाइसेंस प्राप्त है। वॉटरमार्क, स्टाइल, या फ़ॉन्ट आकार बदलने के लिए स्वतंत्र महसूस करें। बस एक अनुरोध: अपनी कॉन्फ़िगरेशन फ़ाइलें या Douyin लॉगिन जानकारी सार्वजनिक रिपॉजिटरी में अपलोड न करें।

यह एक ऐसा टूल है जिसका मैं प्रतिदिन उपयोग करता हूँ, कोई खिलौना नहीं। यदि आपको यह उपयोगी लगता है, तो इसे स्टार करें। यदि आपको कोई समस्या है, तो एक issue खोलें।

अगली बार, मैं अपने लेख चित्रण स्किल को ओपन-सोर्स करूँगा—एक व्यक्तिगत IP छवि का उपयोग करके लेखों के लिए चित्रण तैयार करना, जैसे इस पोस्ट में हैं।