全自動で口パク動画をClaudeで作ってみる 【Macで生成AI動画作成】

Voicevoxで音声をつくって、立ち絵をClaudeで連動させて動画作るというのを以前やりました。
↓ ↓ その時の記事
でもVoicevoxはAPI経由で実行できると聞いて、
記事URLを掘り込んだら
→ めたん か ずんだもん を選択して 記事の台本を作成
→ 台本に従って音声を作成 (APIでvoicevoxにおくる)
→ 台本に感情が記載されているので その感情にしたがって、ずんだもん.psd から表情を作成
→ BGMつける
→ 背景動画つける
をまとめてお願いしてみました。
その結果を md ファイルにスキルとしてまとめました。
ーーーーー
目次
口パクショート動画 自動生成ツール .md
ニュース記事のURLとタイトルを渡すだけで、四国めたんまたはずんだもんがしゃべる
縦型ショート動画(Instagramリール・YouTubeショート用)を全自動で作るツール。
- 作業フォルダ:
/Users/tomoya/Dropbox/94_vscode/03_movie - 実行スクリプト:
create_short.py - スキル:
short-movie(~/.claude/skills/short-movie/)として登録済み。
「ショート動画を作って」などと頼めば自動で使われる。
できること(処理の流れ)
- 記事本文を取得(先頭5000文字まで)
- Claude が「感情タグ付き台本」を作成(
感情|セリフ形式・5感情) - VOICEVOX で1セリフずつ音声合成し、無音でつないで1本のwavに
- 立ち絵PSDから表情30枚(5表情×目2×口3)を作り、口パク・まばたき・字幕つきで書き出し
- BGM(
metan/なんでしょう?.mp3)を重ねて完成
出力(作業フォルダ内):
タイトル.mp4… 完成動画(1080×1920 / 9:16 / 30fps)daihon.txt… 使われた台本output.wav… 読み上げ音声
使う前の準備
- VOICEVOX アプリを起動しておく(
http://localhost:50021) - claude CLI にログイン済みであること
- ターミナルで作業フォルダに移動
cd /Users/tomoya/Dropbox/94_vscode/03_movie
基本の使い方
python3 create_short.py --url "記事のURL" --title "画面に出す大きいタイトル" --character zunda
--url(必須)… 元ネタのニュース記事URL--title(必須)… 動画上部に大きく出す文字--character(省略可)…metan=四国めたん /zunda=ずんだもん(省略時 metan)
キャラの違い
| キャラ | 指定 | 声(話者ID) | 口調 |
|---|---|---|---|
| 四国めたん | --character metan(省略可) | 2 | 「〜なのだわ」 |
| ずんだもん | --character zunda | 3 | 「〜のだ」 |
キャラを変えると 声・立ち絵・表情・口調 がまとめて切り替わる。
背景を動画にする
--background に mp4 を渡すと、背景が動画になる(省略時はグラデ静止画)。
python3 create_short.py --url "記事URL" --title "タイトル" --character zunda --background 背景.mp4
- 背景動画は自動で 1080×1920 に 拡大+中央切り抜き(多少サイズ比が違ってもOK)
- 背景が尺より短ければ最後のコマで埋める
- 背景が動画になる分、書き出しは少し遅く/ファイルは大きめ(静止画 約3MB → 動画背景 数十MB)
よく使うオプション
| オプション | 意味 | 例 |
|---|---|---|
--character | キャラ(metan / zunda) | --character zunda |
--background | 背景に使う動画mp4 | --background 背景.mp4 |
--out | 出力ファイル名を指定 | --out ramen.mp4 |
--lines | 台本のセリフ行数の目安(既定24) | --lines 20 |
--speed | 話す速さ(既定1.0) | --speed 1.1 |
--bgm-volume | BGM音量 0〜1(既定0.12) | --bgm-volume 0.08 |
--no-bgm | BGMを入れない | --no-bgm |
--speaker | VOICEVOX話者IDを手動指定 | --speaker 3 |
読み方の補正(誤読対策)
VOICEVOX が固有名詞などを誤読するとき、create_short.py の READING_FIXES
(表記→カタカナの辞書)に1行足すと直せる。音声だけ置き換わり、字幕の漢字はそのまま。
READING_FIXES = {
"高山": "タカヤマ", # 「こうざん」ではなく地名の「たかやま」
# 新しい誤読が出たらここに追記
}
しくみ・カスタマイズのメモ
- キャラ定義は
create_short.pyのCHARACTERSに集約(声・立ち絵PSD・表情レイヤー名)。
新キャラを足すときはここに1ブロック追加する。 - 立ち絵は PSD のレイヤー名(
!眉!顔色!目!口記号などなど)で表情を切替。
新キャラのレイヤー名は事前に PSD を開いて実在名を確認する(psd_tools)。 - 動画生成の中身は
metan/video_builder.pyとmetan/make_lipsync_short.py。
使う素材の場所
- 四国めたん立ち絵:
metan/四国めたん立ち絵素材2.1.psd - ずんだもん立ち絵:
zunda/ずんだもん立ち絵素材2.3/ずんだもん立ち絵素材2.3.psd - BGM:
metan/なんでしょう?.mp3
トラブル時
- VOICEVOXに接続できません → VOICEVOX を起動する
- 記事本文をうまく取得できませんでした → 本文が
<p>で入っている別URLを試す - claude CLI が見つかりません → Claude Code のログイン状態を確認
- 立ち絵の見た目がおかしい →
CHARACTERSのレイヤー名が PSD と合っているか確認 - 特定の言葉を誤読する →
READING_FIXESに追記
できた
これで記事URLと記事タイトルを渡して、ずんだもんかめたんを選んで以下のような動画が作れました。
指示出すだけなら30秒もかからないし、生成も5分以内にはできました。
そんなところで

