Blender で立ち絵動画を作るアドオン作りました
Blender 用の立ち絵アドオンを作りました。
VOICEVOX の音声に合わせて口パク・まばたきする立ち絵と字幕を、Blender の Video Sequencer に並べるアドオンです。YMM4(ゆっくりムービーメーカー4)の素材をそのまま使えるのがポイントで、「動く立ち絵」「シンプル立ち絵」「PSD 立ち絵」の素材と表情プリセットを読み込めます。YMM4 のプロジェクト(.ymmp)も読み込めます。
Mac でも動きます
Blender で YMM4 の素材を使えるようにしたアドオンなので、Mac の Blender でも YMM4 の素材で立ち絵動画が作れます。動作確認は macOS(Apple Silicon)、Windows(x64)、Linux(x64)でしています。
使い方の流れ
Video Sequencer のサイドバー(N キー)に「立ち絵」タブが増えます。
- 出力タブで fps と解像度を決める
- + で素材フォルダ(PSD 立ち絵なら PSD ファイル)を選んでキャラクターを追加し、VOICEVOX の話者や表情を選ぶ
- 「立ち絵だけを置く」で、キャラクターを出しておきたい区間に立ち絵を置く
- セリフを入力するか、台本をまとめて読み込む
- Blender の機能で動画を書き出す
fps と解像度はセリフや立ち絵を置く前に決めておく必要があります。口パクのコマや立ち絵の大きさ、字幕の位置は置いたときの値で作るので、あとから変えるとずれます。アドオンには置いたものを変換する機能は無くて、変えてしまったときは「元に戻す」を押してもらう作りです…。
台本は 1 行に キャラ名: セリフ の形で、表情を付けるなら キャラ名(困り): セリフ と書きます。YMM4 の台本(キャラ名「セリフ」 や CSV・TSV)もそのまま読めます。
どう動くか
YMM4 と同じく、立ち絵はセリフとは別に置きます。置いた立ち絵はまばたきして、重なっているそのキャラクターのセリフの間だけ口パクします。セリフを動かしたり作り直したり、立ち絵を伸ばしたりすると自動で描き直します。
口パクは 2 通りあります。
- あいうえお式: 音素の母音で口の形を変える
- 音量式: 声の大きさで切り替える
立ち絵素材はこんなかんじで対応しています。
- YMM4 の動く立ち絵: 「眉」「目」「口」などのフォルダ構成。まばたき・口パクの連番、あいうえお口パクの画像、合成モードの通常と乗算
- YMM4 のシンプル立ち絵: 口を閉じた画像とセリフ中の画像を、声の大きさで切り替える(まばたきは無し)
- PSD 立ち絵: PSDToolKit 形式。口パク・まばたきは PSD の隣の
<PSD 名>-ymm.json(YMM4 と同じ設定ファイル)から読む
-ymm.json が無いときのために、同じキャラクターの動く立ち絵の素材から作るコマンドも付けました。動く立ち絵の連番と同じ画像のパーツを探して、PSD のレイヤーに当てはめます。
アドオンが置くストリップは、キャラクター × 役割ごとに 1 本ずつのチャンネルに並べます。下から音声 → 立ち絵・表情 → 字幕 → キャラ名 → 見出しの順なので、どのキャラクターの字幕も全員の立ち絵より手前に出ます。1〜9 番のチャンネルは動画・背景・効果音・BGM 用に空けてあります。
そのほかにできること
割といろいろ入っています。
- 声: VOICEVOX と同じ API のエンジン(AivisSpeech・SHAREVOX・COEIROINK v1)をキャラクターごとに選べる。発音(読み・アクセント)や抑揚の編集、ユーザー辞書の登録も
- 表情: 表情プリセットと、タイムラインに置いた範囲だけ表情を変える表情ストリップ
- 立ち絵の動き: 喋っている間に跳ねる・揺れる、登場・退場(フェードや画面の端からのスライド)
- 字幕: フォントや縁取り、背景の帯、出し方(フェードイン・浮き上がる・拡大)をキャラクターごとに設定。文節の切れ目で折り返す(BudouX)
- 横長と縦長(ショート動画)を同じキャラクター設定で作れる
- BGM: セリフの音声が鳴っている間だけ音量を下げる(ダッキング)
- 効果音とテンプレートの登録。YMM4 のテンプレートも読み込める
- AI で表情を割り当てる: セリフのテキストを OpenAI 互換のチャット API に送って、キャラクターの表情プリセットから合うものを選ばせる
AI での表情の割り当ては、LM Studio や Ollama のようなローカルの LLM でも使えます。ローカルなら台本は外に出ません。LLM は表情プリセットの名前だけを見て選ぶので、精度はプリセットの名前でほぼ決まります。「笑顔」「怒り」「驚き」のような一般的な語にしておくのがおすすめです。
YMM4 のプロジェクトの読み込み
.ymmp から、キャラクター・セリフ・表情と、画像・動画・音声・テキストのアイテムを読み込めます。セリフの音声は .ymmp に保存された YMM4 の音声を使い、無ければ YMM4 に保存された発音・抑揚・話速などで VOICEVOX から合成し直します。
全部が写せるわけではなくて、図形のアイテムや影・ぼかしなどの映像エフェクト、フェード・プッシュ以外のトランジションは読み込みません。読み込まなかったものはテキストエディタの「YMM4 の読み込み結果」にまとめて出します。
コマンドラインでも
立ち絵の合成と口パクの計算は、Blender に依存しない Python モジュールにしてあります。台本からセリフごとの wav と、口パク入りの透明連番画像を書き出せるので、他の動画編集ソフトでも使えます。--srt を付ければ字幕ファイルも書き出せます。
動かすには
- Blender 5.2 以降
- VOICEVOX エンジン、または VOICEVOX 互換のエンジン
GitHub のリリースから使う OS 用の zip を取ってきて、Blender の「Install from Disk」で入れます。ライセンスは GPL-3.0-or-later です。
素材ごとの利用規約(Blender で使ってよいか)は、各自で確認してください。
