ComfyUIでTrellisを使って複数枚の異なる視点からの画像から3Dモデルを生成するやり方を紹介します

3Dモデル生成AIであるTrellisは画像から3Dモデルを生成しますが、画像1枚だと裏側が思うようにいかないことがあります。

そういうときは、複数視点から見た画像をいくつか入力することで改善することができますので、そのやり方を紹介します。

多視点から見た画像の生成

画像生成にはHiDreamを使用しました。

以下のようなプロンプトで多視点のイラストを生成します。

入力したプロンプト

英語	日本語の翻訳(deepl翻訳を使用)
The anime-style illustrations with multiple angles shows tall girl. She wears white pantyhose and wine red cyberpunk high-cut leotard and black futuristic long gloves. She has light blue bob cut hair. She wears light pink platform shoes. She wears pink cyberpunk headphones. extremely detailed, simple background, 8K, portrait,	アニメ調の多角的イラストは背の高い少女を描いている。彼女は白のパンティストッキングとワインレッドのサイバーパンク風ハイカットレオタード、黒の未来的なロンググローブを着用。髪はライトブルーのボブカット。足元はライトピンクのプラットフォームシューズ。ピンクのサイバーパンク風ヘッドホンを装着。極めて詳細な描写、シンプルな背景、8K解像度、ポートレート形式。

　以下が生成されたイラストです。

ペイントの生成消去を利用して別々の画像に編集します。

一つの視点を残して他を塗って選択します。

一つの視点だけの画像にできたので、同様にして他の視点の画像も作成します。

Trellisで複数画像から生成するComfyUIのWorkflow

ComfyUI-IF_TrellisのGithubにサンプルのworkflowがあります。

URL:https://github.com/if-ai/ComfyUI-IF_Trellis/blob/main/workflow/IF_TRELLIS_WF_multi.json

複数画像を入力するのに以下のIF_AI_LoadImagesのIF Load Images Sノードを使用していました。

しかし、何か上手く画像を入れられませんでした。

ダメ元で実行してみましたが、やはりエラーになりました。

とりあえずバッチで画像を入力できればいいみたいなので、適当にWorkflowを組んでみました。

以下のような3Dモデルが生成できました。

まとめ

画像1枚で生成するよりクオリティが高くなった気がします。

3Dモデルに関連した他の記事

今回使用した3Dプリンタの記事

TrellisをColab上でComfyUIで実行する方法