ComfyUIでFramePackを使うためのFramePackWrapperにSelect Loraというカスタムノードが増えていたので、その使い方を紹介します。
＼生成AIにおすすめPC／
ポチップ
＼操作性抜群のおすすめマウス／
ポチップ
LoRAの用意
FramePackはHunyuan Videoを元にしているので、CivitaiでHunyuan VideoのLoRAをダウンロードします。
以下が今回使用したLoRAになります。
BlowAKiss飞吻
URL:https://civitai.com/models/1252466/blowakiss?modelVersionId=1411981
Boxing (Hunyuan Video LoRA)
URL:https://civitai.com/models/1296343/boxing-hunyuan-video-lora?modelVersionId=1463063
Workflowの編集
ComfyUIの画面の何も無いところでダブルクリックするとノードの検索ウィンドウがでるので、framepackと入力してでてくるSelect Loraを選択します。
以下のようなノードがでてきます。
線を繋げるところがprev_loraとloraしかなくてどう使うかよく分かりません。
パラメータのfuse_loraにカーソルを合わせると以下のような説明が出てきます。
日本語にすると以下のようになります。
fuse_loraの説明文
| 英語原文 | 日本語翻訳(Deeplで翻訳) |
|---|---|
| Fuse the LORA model with the base model. This is recommended for better performance. | LORAモデルとベースモデルを融合させる。これはより良いパフォーマンスを得るために推奨される。 |
パラメータの値がtrueかfalseなので、ノードに線を繋げなくてもここをtrueにするだけで、LoRAが適用されるみたいです。
とりあえずBlowAKissのLoRAを使ってみたのが以下の動画になります。
終了フレームの画像に引っ張られて、LoRAの効果が悪くなっている気がするので、次は終了フレームを無しにしてみます。
終了フレームの画像を入力する処理の部分のグループで右クリックしてBypass Group Nodesを選択します。
そうするとGroup内のノードが紫になった実行されなくなります。
さらに、激しい動きのある動画にしてみるためにもうひとつLoRAを追加しました。
以下のようにSelect Loraのノードをもう一つ用意して繋げるだけです。
これで動画生成したら以下のような動画になりました。
動きは大きくなりましたが、少し荒い感じもします。
次に、終了フレームを無くすのではなく、開始フレームと同じ画像を入れてみました。
Workflowを以下のように修正しました。
以下が生成された動画です。
動きは滑らかになりましたが、逆にダイナミックさは無くなり、boxingのLoRAも全然効かなくなってしまいました。
まとめ
ComfyUIでのFramePackでもLoRAを使うことが出来ました。
LoRAの種類によっては他の設定を合わせて変更する必要があると感じました。
動画生成AIに関する他の記事
LTXVでテキストから動画生成する記事
Mochi 1の記事
商用利用に注意が必要なモデル
Wan 2.1の記事
FramePackの他の記事
コメント