以前、私は Codex と Hyperframes を使って、書籍関連の抖音アカウントのバイラル動画を分解してみたことがあります。その際、効果音は皆さんから一貫して高い評価を得ました。
今日は、ステップバイステップで抖音のバイラル動画を分解し、ワークフローを確立する方法を詳しく解説する長文記事を書きます。これにより、あなたも AI を使って動画を作成する能力を身につけることができます。
https://x.com/369Serena/status/2073012234184282287
1. 準備
まず、皆さんはツールを準備する必要があります。
- Codex のようなエージェントが必要です。
- 次に、プラグインストアにアクセスして、2 つのツールをインストールします。
(a) Hyperframes：HTML 形式で動画を作成します。これは、企業プレゼンテーション、データアニメーション、またはショーケース動画に非常に適しています。
(b) Remotion：React で記述されており、動画をコードとして実現します。一度テーマスタイルを決めれば、コーディングによる大量複製に非常に適しています。多くのブロガーが Remotion を使用して「小林説」スタイルのアニメーションを作成しているのを見かけますが、これはトーキングヘッド動画と非常に相性が良いです。
さらに、分解を支援するいくつかのスキルをインストールすることもできます。バイラル動画の構造（最初の数秒でどのように視聴者を引きつけるか、効果音はどのようなものか、ナレーションと映像のリズムなど）を理解したい場合は、以下のスキルを通じて分解と複製を行うことができます。
- Claude Video：動画プロセスを分解し、次のステップで複製しやすくするために使用します。
- Video Use：編集初心者に強くお勧めします。これは「動画編集ディレクター」のような役割を果たし、ニーズに応じて適切なツールを呼び出すことができます。いつどのツールを使えばよいかわからない初心者にとって、熟練ディレクターのような役割を果たします。
これで準備作業は終了です。
2. 動画制作ワークフロー
Codex + Hyperframes で動画を作成するには、以下の順序に従います。
1️⃣ まず動画の仕様を定義する
例：30 秒、9:16、日本語、ナレッジ系、書籍紹介、X / TikTok / 小红书向け。
2️⃣ ナレーションスクリプトを作成する
まず Codex に 30 秒の日本語ナレーションを書かせます。映像は急いで作り始めません。
3️⃣ ビジュアルスタイルを確定する
例：ダークな編集系ナレッジ動画、ハイエンドなナレッジスタイル、暗い背景、書籍カバーをメインビジュアルに、わずかにカメラをズームイン。
4️⃣ タイムスタンプ付きストーリーボードを作成する
ナレーションを 4～6 のビジュアルセグメントに分割し、それぞれを核となる情報に対応させます。
5️⃣ 素材を準備する
書籍カバー、タイトル、キーワード、ロゴ、BGM、ナレーションテキスト。
6️⃣ ナレーションを生成する
Edge TTS、ElevenLabs、または Hyperframes のメディア関連ワークフローを使用できます。
7️⃣ ナレーションを文字起こしする
最終的な音声を使用してトランスクリプトを生成します。手動で字幕のタイミングを推測しないでください。
8️⃣ Hyperframes コンポジションを作成する
正しい data-start / data-duration / data-track-index を使用して index.html を記述します。
9️⃣ 字幕を作成する
トランスクリプトに基づいて字幕を自動的に同期させます。
🔟 プレビュー
まずプレビューを確認します。最終動画を直接レンダリングしないでください。
1️⃣1️⃣ 検証 / 確認
エラー、フォント、レイアウトのはみ出し、字幕の遮蔽をチェックします。
1️⃣2️⃣ MP4 をレンダリングする
すべてが正しいことを確認してからレンダリングします。
これらが一般的な手順です。実際には、多くの部分は手動での介入を必要としません。これらの一般的な手順を理解していれば十分であり、手動で行う部分は実際にはごくわずかです。
3. 初回の手動分解とスクリプト生成
次に、動画を分解する必要があります。
まず、Claude Video を使用して動画の構造を分解する必要があります。私が分解したのは書籍アカウントだったので、その構造は非常にシンプルです。最初の数秒で視聴者を引きつけ、その後は書籍の紹介やレビューを行います。
ナレーションスクリプト生成の次の手順は以下の通りです。
- 情報収集：(a) Codex を使用して書籍情報を収集します。(b) 微信读书スキルに接続して、よくハイライトされている箇所やコメントを確認します。(c) Codex に有名な書評を検索させます。
- 紹介文を生成する：Codex に書籍の事実に基づいて紹介文を生成させます。この紹介文は、ソーシャルメディアプラットフォーム向けに「AI 臭さ」を取り除く必要があります。自分の美的感覚に基づいて調整できます。具体的な要件は次の通りです。(a) 「それは…ではなく、…だ」といった典型的な AI 表現を避ける。(b) 過度に並列的な文構造を避ける。(c) 表現はスムーズで自然であり、本の内容を飾らずに語るようにし、傲慢な口調で紹介しない。
この部分は、2 つの点に基づいて操作する必要があります。
- 以前に分解した動画構造に基づく。
- 私たちは、コピーが実行可能かどうかをレビューするゲートキーパーの役割を果たす必要がある。
生成されたら、Codex が収集・整理したコンテンツをスキルに変換できます。これにより、ナレーションスクリプトを将来再利用できるようになります。
すべては Codex が事実に基づいて記述する必要があります。この操作の後、Codex はナレーションスクリプトを提供し、最初の全体的なスクリプト制作が完了します。
4. 音声 TTS ファイル処理：自然で魅力的な声を実現する
ナレーションの準備ができたら、もう一つの主要な作業（まだ音声生成 API に接続して自動化していない部分）は、音声調整です。
しかし、これは可能だと考えているので、声をより自然で、魅力的で、語り口調にするための調整方法を以下に記します。
以前、ツイートで Codex が推奨する ElevenLabs を使用していると共有しました。その英語の声は本当に完璧で、さまざまな国の声が利用可能です。
しかし、日本語の音声生成を使用する際、日本語の認識がうまくいかず、多くの誤字が発生することがわかりました。この場合、「AI 臭さ」の問題だけでなく、単純に使用できません。Codex が私に与えた解決策は、まず剪映（Jianying）または BytePlus（火山エンジン）API を使用することでした。
BytePlus API はまだ持っていないので、パソコン版の剪映アプリを使用しました。
私の方法は非常にシンプルです。
- 新しいプロジェクトを作成し、テキストオプションを見つけます。
- 「テキスト読み上げ」機能を使用し、好きな声を選びます。
- ナレーションのコピーを直接貼り付け、生成をクリックします。
- 最後に音声をエクスポートします（剪映は MP4 ファイルのみをエクスポートできます）。
- この MP4 ファイルを Codex に渡します。
Codex による以前の音声分析に基づいて、ベンチマーク動画のように自然で、語り口調で、魅力的な音声になるように処理してもらうよう依頼します。
Codex の音声処理プロセスは次の通りです。
- 自動分析：Codex はまず元の動画の音声パラメータを分析し、それに応じて私の MP4 ファイルを変更します。
- パラメータ設定：関連パラメータのスクリーンショットをここに掲載します。スクリーンショットを Codex に送信すると、その効果を処理してくれます。
- 簡単な方法：または、さらに簡単な方法として、ベンチマーク動画の一部を直接 Codex に渡し、「このように音声を処理してほしい」と指示するだけで、Codex が処理してくれます。
このように処理された音声は完璧です。この音声処理機能を習得すれば、他のタイプの動画制作でも再利用できます。例えば：
(a) 映画解説やナレーション
(b) 人生哲学やインスピレーション動画
(c) 科学解説アカウント
これらのシナリオでは、この音声処理方法は完全に適用可能です。
前述したように、この部分は理想的には自動化されるべきです。ソーシャルメディア制作では、可能な限り手作業を避けましょう。このような「苦痛のない」状態であれば、継続するのがずっと楽になります。そのため、後日、BytePlus API を使用して、Codex がナレーションと音声 TTS ファイルを自動生成できるようにしてみます。
5. Hyperframes によるビジュアル、字幕、音声の同期
次に、ビジュアルの作成と、音声と字幕のマッチングです。この段階では、Codex がすでに大まかな計画を持っていたため、私はまったく介入しませんでした。すでにベンチマーク動画を Codex に与えており、ナレーションと音声があれば、Codex は自動的に動画を作成します。
動画作成後に生成されるバージョンは、最初から完璧ではありません。いくつかの状況が発生する可能性があります。
- 音声と字幕が一致しない Codex とコミュニケーションを取り、一致するように調整する必要があります。Codex は自動的にフレームを抽出して、なぜ一致しないのかを確認します。これには約 2 回の調整が必要になる場合があります。
- ビジュアルの問題 ビジュアルコンテンツ、字幕の配置、結果として生じる形式などが含まれます。これらは Codex と繰り返しコミュニケーションを取り、複製したい動画に近づくように常に促すことができます。
プロセス全体がスムーズになれば、高度に複製された動画を生成できます。ワークフロー全体を自動化できれば、アカウントをバッチ運用できます。書籍アカウントであれ、他のタイプであれ、このプロセスに従って分解と複製を行うことができます。
6. まとめ
最後に、この記事が皆さんのお役に立てば幸いです。
私自身も学びながら実践している状態です。ぜひ、もっとコミュニケーションを取り、情報交換ができればと思います。多くの場合、できないのではなく、まだ行動を起こしていないだけなのです。
Codex の使用も同様です。行動を起こし、Codex と自然言語で会話を始めれば、これらの解決策を段階的に見つけることができます。皆さんが始めさえすれば、誰でも AI を使ってソーシャルメディアで生計を立てることができると信じています。
この AI 時代——普通の人々が生産性の限界に無限に近づける時代——を活用して、ソーシャルメディアで活動し、創造し、そして、眠っている間にも富を生み出し、自由に無限に近づくための複製方法を見つけてほしいと願っています。
私は Serena です。AI × Web3 × ソーシャルメディアを探求し、普通の人々がどのように人生の主導権を取り戻すかを記録しています。この記事があなたのお役に立てば幸いです！
👏
