「AI の自動翻訳ツールなんて既にたくさんあるのに、これの何が新しいの？」と言う人もいます。
確かに、オンライン動画翻訳ツールは数多く存在し、私自身もたくさん使ってきました。しかし、どうしても精度が足りなかったり、品質がイマイチだったり、時にはエラーが大量に出たりするものでした。
それに、私は Twitter や WeChat チャンネルで海外の動画を頻繁にシェアしていたので、このツールセットを作ることにしました。実はこれ、海外の動画を国内プラットフォームに移行するのにも役立つんです、ふふ。
このツールセットを半年間使い、何度も調整を重ねて、今ではかなり成熟しました。整理して、皆さんにオープンソースとして公開します。
インストールが完了したら、「このリンクを中国語字幕付きの動画に翻訳して」と一言言うだけで、あとは自動で処理してくれます。ダウンロード、文字起こし、翻訳、ブラッシュアップ、字幕焼き付け、トランスクリプト生成まで、完全オールインワンです。
文字起こしはすべて自分のコンピューター上で実行されるため、API 費用は一切かかりません。翻訳には、あなたが既にインストールしている AI を使用します。そして、対応言語は英語だけではありません。日本語、韓国語、フランス語など、他の外国語の動画もすべて中国語字幕に変換できます。
基本的には、いくつかのスクリプトとマニュアルだけです。Claude Code に限定されるものではなく、OpenClaw、Gemini、Codex でも使用できます。違いは、各ツールが「スキル」をインストールする方法だけです。
以下は、インストールから最初の動画を実行するまでのステップバイステップガイドです。
これは具体的に何ができるのか？
動画のリンク（YouTube、Bilibili、Douyin 対応）またはローカルの動画ファイルを与えると、以下の 5 つのステップを一気に完了します。
ダウンロード → 文字起こし → 翻訳 → ブラッシュアップ → 字幕焼き付け
...そして最後に、トランスクリプトを出力します。
詳しく説明すると：
- 動画をダウンロードする（またはローカルファイルを直接使用）。
- 音声を抽出し、Whisper を使用して正確なタイムスタンプ付きの原文字幕に文字起こしする。
- 原文を中国語に翻訳し、中国語の視聴習慣に合った字幕にブラッシュアップする。
- 字幕を動画に焼き付け、中国語字幕付きの動画を出力する。
- 同時に、Markdown 形式のトランスクリプトを生成し、アーカイブや記事化を容易にする。
言語は問いません。 英語、日本語、韓国語、フランス語、スペイン語など、Whisper が理解できる言語であれば、中国語字幕に変換できます。ソース言語を自動識別し、翻訳します。中国語の動画の場合は、翻訳ステップをスキップして、文字起こしとトランスクリプト生成のみを行います。
字幕オプションは 2 つあります。1 つは画面をすっきりと見せることができる中国語のみ。もう 1 つはバイリンガル（中国語/英語）で、中国語の文字が大きく、英語の文字が小さく表示されるので、リスニング練習をしたい人に最適です。
コマンドを覚える必要はありません。「バイリンガル字幕が欲しい」「ウォーターマークなし」「高速モードを使って」など、自然言語で指示するだけで、すべてを理解してくれます。
簡単に言えば、これまで 4 つか 5 つのソフトウェアと 1、2 時間の作業を要していたパイプラインを、たった一文に凝縮したものです。
既存のツールとどう違うのか？
市場には多くの字幕ツールがあります。私が重視する点は 3 つあり、このツールはそのために特別に構築されました。
1 つ目：ローカル、無料、オフライン。 文字起こしには OpenAI のオープンソースモデル Whisper を使用します。Apple Silicon Mac では、自動的に GPU アクセラレーションを利用します。文字起こしプロセス全体があなたのコンピューター上で行われ、アップロードも料金も発生しません。翻訳は既にインストールされている AI を再利用するため、別途翻訳 API は必要ありません。
2 つ目：正確なタイムスタンプ。 多くのツールでは、字幕が話者より先に進んだり、文章が不自然に途切れたりします。このツールは、各単語が発声された時点まで正確なタイムスタンプを取得し、「文 + 呼吸の間」に基づいて区切るため、話者が考えを言い終えた正確なタイミングで字幕が切り替わります。
3 つ目：人間のための字幕。単なる機械翻訳ではありません。 聞き間違えやすい固有名詞（Claude がよく「cloud」、MCP が「NCP」と誤認識されるなど）を自動的に修正し、意味のまとまりで文を区切り、1 行を 12 文字以内に収め、技術用語は英語を保持します。バイリンガルモードでは、中国語が大きく、英語が小さく、はっきりと分離して表示されるため、同じサイズの 2 行を単に重ねただけのものとは異なります。
これらは、私が何百もの動画を通じて磨き上げ、ルールに組み込んだ細部です。
結果の例
a16z が最近投稿した、OpenAI の元 CTO である Mira Murati のインタビューを試してみましょう。このツールにバイリンガル字幕を依頼しました。
彼女のオリジナルの言葉には、こんな比喩がありました。
It's more like a tandem bike where both people are pedaling.
機械翻訳では、不格好な直訳になるかもしれません。このツールは次のように翻訳します。「それはむしろ、2 人乗り自転車のようなもので、両方が一緒にペダルを漕いでいる。」
自然でスムーズです。固有名詞も適切に処理され、「Thinking Machines」のような会社名は、無理に翻訳せずに英語のまま残されます。
「リンク + この動画を翻訳して」と送るだけで、まず中国語のみかバイリンガルかを尋ねてきます。私は通常中国語に翻訳するので、これら 2 つをデフォルトオプションとして残していますが、実際には任意の言語に翻訳できます。
字幕付き動画に加えて、原文と中国語テキストを並べて表示するトランスクリプトも生成します。
全文は次のようになります。
それは、文明を置き去りにして勝手に暴走するシステムを構築するというよりも、むしろ 2 人乗り自転車のようなもので、両方が一緒にペダルを漕いでいる。上り坂では、もしかしたら力の強い方がより強く漕ぐかもしれないが、両方の手がハンドルバーにある。
最も実用的な点は、言語に依存しないことです。同じインタビューを、中国語、日本語、韓国語、アラビア語、フランス語のバイリンガル字幕に翻訳できます。翻訳が上部、英語が下部に表示され、明確に優先順位が付けられます。右から左に読むアラビア語でさえ、きれいに整列されます。
10 分の動画はもちろん、1 時間半を超える長尺動画でも問題なく処理できます。
実は 3 つのスキルから構成されています
リポジトリを開くと、3 つのフォルダがあり、それぞれが作業の一部を管理しています。個別に使用することも、連鎖させて使用することもできます。
- xiaohu-video-md: 司令塔。ダウンロード、文字起こし、翻訳の呼び出し、字幕の焼き付け、トランスクリプトの出力を担当します。
- xiaohu-subtitle-polish: 字幕の翻訳とブラッシュアップに特化。誤り訂正、翻訳、文分割、タイム調整、バイリンガルフォーマットを処理します。
- xiaohu-video-download: 純粋なダウンロードツール。動画、音声、またはプレイリスト全体をダウンロードし、ローカル動画に字幕を焼き付けることもできます。
動画を翻訳する際、xiaohu-video-md がオーケストレーターとなり、翻訳ステップで xiaohu-subtitle-polish を呼び出します。この点を気にする必要はありません。これら 3 つの部分が存在することだけ知っていれば十分です。
ステップバイステップのインストールガイド
このツールは現在 Mac 向けに最適化されており、Apple Silicon で最もスムーズに動作します。インストール方法は 2 つあります。簡単に済ませたい場合は、以下のテキストを AI に貼り付けてください。何が行われているのかを理解したい場合や、エラーが心配な場合は、手動の手順に従ってください。
お手軽版：AI に任せる
AI コーディングツール（Claude Code、Codex、OpenClaw）を開き、以下をそのままコピー＆ペーストしてください。AI がシステムを判別し、依存関係をインストールし、リポジトリをクローンし、インストールスクリプトを実行し、必要に応じて質問をしてきます。
この動画翻訳ツールをインストールするのを手伝ってください： https://github.com/xiaohuailabs/xiaohu-video-translate 以下の順序に従ってください： 1. 私のシステムを確認してください：Mac か Windows か。Mac の場合は、Apple Silicon（M シリーズ）かどうかを確認してください。 2. 依存関係をインストールしてください：yt-dlp、ffmpeg、whisper-cpp（Mac の場合は brew install、Windows の場合は WSL または winget を使用）。 文字起こしエンジン：Apple Silicon の場合は mlx-whisper、それ以外の場合は faster-whisper をインストールしてください。 3. このリポジトリを git clone し、ディレクトリに入って bash install.sh を実行し、3 つのスキルを私のスキルディレクトリにインストールしてください。 4. インストールが完了したら、xiaohu-video-md スキル内の config.json を見つけてください（Claude Code の場合、~/.claude/skills/ にあります）。完成品をどこに保存したいか私に尋ね、output_dir をフルパスに変更するのを手伝ってください。 5. 最後に、すべての依存関係がインストールされているか確認し、使用を開始できるかどうかを教えてください。
各ステップで何をしたかを簡単に説明し、依存関係のインストールに失敗した場合は停止して私に尋ね、そのまま続行しないでください。
基本的に、以下の 3 つのステップを自動で実行します。自分で行いたい場合やトラブルシューティングを行う場合は、手動版に従ってください。
ステップ 1：基本ツールのインストール
まず、Homebrew がインストールされていることを確認してください。次に、以下のコマンドを実行して 3 つのツールをインストールします。
brew install yt-dlp ffmpeg whisper-cpp
次に、文字起こしエンジンをインストールします。Apple Silicon Mac の場合、GPU アクセラレーションを使用するには以下を実行します（--break-system-packages フラグは、新しいシステム制限を回避するためのもので、システムに害を及ぼすことはありません）。
pip3 install --break-system-packages mlx-whisper
Apple Silicon でない場合は、汎用バージョンを使用します。
pip3 install --break-system-packages faster-whisper
ステップ 2：スキルを Claude にインストールする
リポジトリをクローンし、インストールスクリプトを実行します。
git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git cd xiaohu-video-translate bash install.sh
このスクリプトは、3 つのスキルを Claude のスキルディレクトリにコピーし、設定ファイルを生成し、依存関係をチェックします。すべてに [OK] と表示されれば準備完了です。[Missing] と表示されたものがあれば、表示される指示に従って修正してください。（ここでのパスは Claude Code を例としています。他のツールの場合は、ディレクトリを変更してください）。
ステップ 3：出力先を指定する
~/.claude/skills/xiaohu-video-md/config.json を開き、output_dir を希望のフォルダパス（例：/Users/yourname/Documents/VideoTranslation）に変更します。
一時ファイルは tmp/ に、トランスクリプトは data/ に、完成した動画はデフォルトでダウンロードフォルダに保存されます。
文字起こしモデルを手動でダウンロードする必要はありません。初回実行時に
mlx-whisperが自動的にダウンロード（約 1.5GB）し、その後は再利用されます。
完了したら、AI ツールを再起動すれば、使用準備完了です。
Windows ユーザー向け
上記は Mac 向けの手順です。Windows でも実行できますが、いくつかの違いがあります。
最も簡単な方法は、WSL（Windows Subsystem for Linux）を使用することです。インストール後、以下をインストールすれば、スクリプトはそのまま実行できます。
sudo apt install ffmpeg pip3 install yt-dlp faster-whisper
WSL を使用したくない場合：
- エンジンとして faster-whisper を使用してください。
- インストールスクリプトは Git Bash を使用して実行するか、手動でフォルダをコピーしてください。
- 字幕フォントを変更してください。 デフォルトは Mac の PingFang SC です。コマンド内で Microsoft YaHei に変更しないと、テキストが豆腐（□）として表示される可能性があります。
使用方法
インストールが完了すれば、あとは一言だけです。以下のように指示できます。
- 「このリンクを中国語字幕付きの動画に翻訳して + [リンク]」
- 「この動画を翻訳して、バイリンガル字幕が欲しい + [リンク]」
- 「この動画をテキストにして + [リンク]」（Markdown のみ生成）
- 「このローカル動画に中国語字幕を追加して + [パス]」
- 「この動画をダウンロードして + [リンク]」
- 「文字起こしは高速モードを使って」
- 「翻訳時はウォーターマークなしで」
注意すべき落とし穴
YouTube でダウンロードに失敗することがあります（403 エラー）。 YouTube のリスク管理が強化されています。スクリプトはブラウザから Cookie を読み取って再試行しようとします。それでも失敗する場合は、プロキシを使用してください。
字幕が豆腐（□）として表示される。 これはフォントインデックスの問題です。システムで利用可能なフォント（Mac の場合は PingFang SC など）を使用していることを確認してください。
Douyin では初回ログインが必要です。 douyin_login.py スクリプトを実行し、QR コードをスキャンしてください。このログイン情報はあなたのコンピューターにのみ保存されます。
ぜひ使ってみてください
リポジトリアドレス：
github.com/xiaohuailabs/xiaohu-video-translate
コードは MIT ライセンスです。ウォーターマーク、スタイル、フォントサイズは自由に変更してください。注意点としては、設定ファイルや Douyin のログイン情報を公開リポジトリにアップロードしないでください。
これは私が日常的に使用しているツールであり、おもちゃではありません。もし便利だと感じたら、スターを付けてください。問題があれば、Issue を開いてください。
次回は、記事の挿絵スキルをオープンソース化する予定です。個人の IP 画像を使用して、この投稿のような記事の挿絵を生成するものです。
