Trellis.2をComfyUIで使って3Dモデル生成するやり方を紹介します

3Dモデル生成AIであるTrellis.2をColabで実行したComfyUIで使ってみました。

Trellisのときはいろんなエラーがでて大変でしたが、Trellis.2では割とスムーズに実行までいけたのでそのやり方を紹介します。

Trellis.2とは

清華大学・中国科学技術大学・Microsoft Researchの共同研究チームが発表した3D生成AIモデルです。

従来の3D生成技術の多くはSDF（符号付き距離関数）というフィールドベースの手法に頼っており、穴の開いた形状や内部構造を持つ複雑なモデルをうまく扱えなかったそうです。

今回のモデルでは「O-Voxel」という新しい3D表現形式を導入していて、こうした制約がないみたいです。

O-Voxelは複雑なトポロジーやシャープな特徴も表現可能で、メッシュデータとの変換が数秒で完了するそうです。

ComfyUIでの実行

ComfyUIはGoogle Colaboratoryで実行しました。

Trellis.2を使うためにComfyUI-TRELLIS2カスタムノードを使用しました。

Githubのページの説明ではComfyUI Managerからインストールを推奨していましたが、検索で見つからなかったのでGithubからダウンロードしたものを指定のフォルダへ入れました。

このGithubにサンプルのworkflowもありますので今回はそれを使用してみます。

URL:https://github.com/PozzettiAndrea/ComfyUI-TRELLIS2/blob/main/workflows/geometry_texture.json

このworkflowを実行したところ以下のエラーが発生しました。

“Allocation on device”

“This error means you ran out of memory on your GPU.”

ColabでL4 GPUで実行してこのエラーがでたので、A100 GPUに変えてみました。

エラーは出なくなりましたので以下のように３Dモデルを生成することができました。

入力画像は背景を透過しておく必要があるようですが、Githubのサンプルワークフローにremove_background.jsonというのがあったので、それを使えばよさそうです。

今回はとりあえずワークフローの中に元からあった透過済みの画像を使用しました。

生成には334.57秒かかりました。

３Dモデルのデータとしてはglbファイルが作られていましたので、Blender等にインポートできます。

まとめ

Trellisのときはいろいろ問題が発生してちゃんと実行できるまでに2週間くらいかかりましたが、今回のTrellis.2では割とすぐにできました。

背景を透過するサンプルらしきワークフローもあったので、今度をそれを使って他の画像でも生成して見たいと思います。

3Dモデルに関連した他の記事

生成した3Dモデルを3Dプリンタで出力するなら…

Trellisで別視点の複数枚画像から生成する方法