YMM4 の表情を LLM に付けてもらうプラグイン作りました

YMM4FaceAssign というのを作りました。ゆっくりムービーメーカー4(YMM4)のツールプラグインです。ボイスアイテムのセリフを LLM に読ませて、キャラクターの表情プリセットを自動で割り当てます。
使い方はタイムラインでボイスアイテムを選んで、右クリックから「セリフから表情を推定して適用」を選ぶだけです。書き換えた分は Ctrl+Z 1 回で全部元に戻せます。
どんなかんじか
- OpenAI 互換のチャット API なら何でも使えます。LM Studio や Ollama をローカルで動かせば、台本は外に出ません。
- 割り当てる先は
preset.iniにある表情プリセットだけです。素材に無い表情を勝手に作ったりはしません。 - 判断がつかない行は書き換えません。
- 対象は動く立ち絵(AnimationTachie)だけです。シンプル立ち絵と PSD 立ち絵には対応していません。
設定はツールメニューの「表情割り当て」から開くパネルでやります↓

エンドポイントとモデル名を入れて「接続テスト」を押すと、モデル一覧がログに出ます。手元では 4B 級のモデルで 10 行あたり 2〜3 秒でした。

精度はプリセット名でほぼ決まる
LLM は preset.ini のセクション名、つまりプリセットの名前を手がかりに表情を選びます。なので、名前の付け方で精度がほとんど決まります。
わかりやすかったのが「ふざけるな!誰がそんなこと許したのだ!」という行です。素材に付いていたプリセット名のままだと、試した 2 つのモデルがどちらも 指差し や シャキーン を選んでいました。名前を整えたら、どちらも 怒り を選びました。怒りを表す名前のプリセットが無かったので、選びようがなかっただけでした。ずんだもんの場合、素材に付いていたプリセット名は、必須にした名前と 1 つも一致しませんでした。
名前の付け方の目安はこんなかんじです。
- 標準、笑顔、怒り、悲しみ、驚き、照れ、困惑、呆れ、のような感情を表す一般的な語にする。
ぬーんパカーのような擬音は、LLM が意味を取れません。 - 強さは語で分ける(
笑顔と大笑い)。考える2のような数字だけの区別は避ける。 - ポーズだけのプリセット(
指差し食べるカメラ目線)は混ぜない。感情と動作が同じ一覧に並んでいると、怒りの行に指差しが返ってきたりします。理由を出させたら「怒りで指差している」でした。 - 1 キャラ 8〜15 個くらい。
preset.ini はプラグインからは書き換えないので、YMM4 の表情プリセット機能かテキストエディタで直します。
速くするためにやったこと
- 出力を候補の番号にする。 プリセット名を日本語で書かせると出力が長くなって遅いので、番号の配列で返させています。JSON スキーマの
enumで実在する番号だけに縛っているので、範囲外の番号は返ってきません。「どれも合わない」は-1です。 - 文脈は対象の周りだけにする。 最初は 1 行だけ選んでも手前のセリフを全部送ってしまっていて、1 行の推定に 49.8 秒かかっていました。周辺の数行だけに絞ったら 2.9 秒になりました(gpt-oss-20b)。
- 判断理由は既定でオフ。 理由を書かせると全体の 25〜40% が取られます。
- 並列リクエストは既定 1。 モデル次第で桁違いに遅くなります。qwen3-4b を LM Studio で 2 並列にしたら、26 秒だったのが 535 秒になって、3 割が決まらずに終わりました。
返ってこなかった行はその行だけもう一度聞き直します。それでもだめなら変更しません。
中のしくみ
IToolPlugin と ITimelineToolViewModel を使っています。こうすると YMM4 からタイムラインと Undo の管理が渡されるので、.ymmp を直接書き換えずに済みます。
表情パラメータの型は internal なので、リフレクションで書き込んでいます。ただ、型名ではなく 12 個のパーツのプロパティ名(Eyebrow Eye Mouth など)に依存するようにしました。これは .ymmp の JSON の名前でもあるので、内部の型よりは変わりにくいはずです。書き換えたあとに UndoRedoManager.Record() を 1 回だけ呼んで、Undo を 1 ステップにまとめています。
VoiceItem.BeginEdit() は呼んではいけません。音声が変わった扱いになって、選んだ範囲の音声が全部作り直されます。
右クリックメニューへの差し込みと、パネルを開かなくても動くところは、YMM4 の公開されていない部分に頼っています。YMM4 の更新で動かなくなるかもしれません。その場合もメニュー項目が出なくなるだけで、YMM4 自体は壊れません。
使ってみるには
YMM4 は v4.47.0.0 以降(.NET 10 移行後)が必要です。いまはビルド済みの DLL を置いていないので、.NET 10 SDK で自分でビルドしてください。Releases に .ymme を用意する予定です。
https://github.com/cathandnya/YMM4FaceAssign