全自動で口パク動画をClaudeで作ってみる 【Macで生成AI動画作成】

Voicevoxで音声をつくって、立ち絵をClaudeで連動させて動画作るというのを以前やりました。

 ↓ ↓ その時の記事

でもVoicevoxはAPI経由で実行できると聞いて、

記事URLを掘り込んだら 
→ めたん か ずんだもん を選択して 記事の台本を作成 
→ 台本に従って音声を作成 (APIでvoicevoxにおくる)
→ 台本に感情が記載されているので その感情にしたがって、ずんだもん.psd から表情を作成
→ BGMつける
→ 背景動画つける

をまとめてお願いしてみました。

その結果を md ファイルにスキルとしてまとめました。

ーーーーー

口パクショート動画 自動生成ツール .md

ニュース記事のURLとタイトルを渡すだけで、四国めたんまたはずんだもんがしゃべる
縦型ショート動画(Instagramリール・YouTubeショート用)を全自動で作るツール。

  • 作業フォルダ: /Users/tomoya/Dropbox/94_vscode/03_movie
  • 実行スクリプト: create_short.py
  • スキル: short-movie~/.claude/skills/short-movie/)として登録済み。
    「ショート動画を作って」などと頼めば自動で使われる。

できること(処理の流れ)

  1. 記事本文を取得(先頭5000文字まで)
  2. Claude が「感情タグ付き台本」を作成(感情|セリフ 形式・5感情)
  3. VOICEVOX で1セリフずつ音声合成し、無音でつないで1本のwavに
  4. 立ち絵PSDから表情30枚(5表情×目2×口3)を作り、口パク・まばたき・字幕つきで書き出し
  5. BGM(metan/なんでしょう?.mp3)を重ねて完成

出力(作業フォルダ内):

  • タイトル.mp4 … 完成動画(1080×1920 / 9:16 / 30fps)
  • daihon.txt … 使われた台本
  • output.wav … 読み上げ音声

使う前の準備

  1. VOICEVOX アプリを起動しておく(http://localhost:50021
  2. claude CLI にログイン済みであること
  3. ターミナルで作業フォルダに移動
cd /Users/tomoya/Dropbox/94_vscode/03_movie

基本の使い方

python3 create_short.py --url "記事のURL" --title "画面に出す大きいタイトル" --character zunda
  • --url(必須)… 元ネタのニュース記事URL
  • --title(必須)… 動画上部に大きく出す文字
  • --character(省略可)… metan=四国めたん / zunda=ずんだもん(省略時 metan)

キャラの違い

キャラ指定声(話者ID)口調
四国めたん--character metan(省略可)2「〜なのだわ」
ずんだもん--character zunda3「〜のだ」

キャラを変えると 声・立ち絵・表情・口調 がまとめて切り替わる。

背景を動画にする

--background に mp4 を渡すと、背景が動画になる(省略時はグラデ静止画)。

python3 create_short.py --url "記事URL" --title "タイトル" --character zunda --background 背景.mp4
  • 背景動画は自動で 1080×1920 に 拡大+中央切り抜き(多少サイズ比が違ってもOK)
  • 背景が尺より短ければ最後のコマで埋める
  • 背景が動画になる分、書き出しは少し遅く/ファイルは大きめ(静止画 約3MB → 動画背景 数十MB)

よく使うオプション

オプション意味
--characterキャラ(metan / zunda)--character zunda
--background背景に使う動画mp4--background 背景.mp4
--out出力ファイル名を指定--out ramen.mp4
--lines台本のセリフ行数の目安(既定24)--lines 20
--speed話す速さ(既定1.0)--speed 1.1
--bgm-volumeBGM音量 0〜1(既定0.12)--bgm-volume 0.08
--no-bgmBGMを入れない--no-bgm
--speakerVOICEVOX話者IDを手動指定--speaker 3

読み方の補正(誤読対策)

VOICEVOX が固有名詞などを誤読するとき、create_short.pyREADING_FIXES
(表記→カタカナの辞書)に1行足すと直せる。音声だけ置き換わり、字幕の漢字はそのまま。

READING_FIXES = {
    "高山": "タカヤマ",   # 「こうざん」ではなく地名の「たかやま」
    # 新しい誤読が出たらここに追記
}

しくみ・カスタマイズのメモ

  • キャラ定義は create_short.pyCHARACTERS に集約(声・立ち絵PSD・表情レイヤー名)。
    新キャラを足すときはここに1ブロック追加する。
  • 立ち絵は PSD のレイヤー名(!眉 !顔色 !目 !口 記号など など)で表情を切替。
    新キャラのレイヤー名は事前に PSD を開いて実在名を確認する(psd_tools)。
  • 動画生成の中身は metan/video_builder.pymetan/make_lipsync_short.py

使う素材の場所

  • 四国めたん立ち絵: metan/四国めたん立ち絵素材2.1.psd
  • ずんだもん立ち絵: zunda/ずんだもん立ち絵素材2.3/ずんだもん立ち絵素材2.3.psd
  • BGM: metan/なんでしょう?.mp3

トラブル時

  • VOICEVOXに接続できません → VOICEVOX を起動する
  • 記事本文をうまく取得できませんでした → 本文が <p> で入っている別URLを試す
  • claude CLI が見つかりません → Claude Code のログイン状態を確認
  • 立ち絵の見た目がおかしいCHARACTERS のレイヤー名が PSD と合っているか確認
  • 特定の言葉を誤読するREADING_FIXES に追記

できた

これで記事URLと記事タイトルを渡して、ずんだもんかめたんを選んで以下のような動画が作れました。

指示出すだけなら30秒もかからないし、生成も5分以内にはできました。

そんなところで

PVアクセスランキング にほんブログ村

AI,動画

Posted by tomoyamurakami