マイクロソフトは12月17日(水)、オープンソースの3D生成AIモデル「TRELLIS.2」をリリースした。ソースはGitHubで、学習済みモデルウェイトはHugging Faceで公開されている。ソースはMITライセンスで公開されているが、依存関係にあるNVIDIA製ライブラリは非商用の独自ライセンスのため注意が必要。

TRELLIS.2は、40億パラメータを持ち、1枚の入力画像からジオメトリとPBR(物理ベースレンダリング)テクスチャを含む3Dアセットを生成できるImage-to-3DのAIモデル。透明や半透明の素材、複雑な構造を持つ物体の再現性が従来技術より向上し、ゲーム開発や映像制作におけるアセット制作の効率化が期待される。

▲入力画像(右)から生成された天使像の3DモデルとPBRテクスチャのサンプル
▲ジェットエンジンの内部構造を含む高詳細な3Dモデルの例。複雑な機械部品や非多様体的な形状でも高いジオメトリ的整合性を維持できるという

本モデルのコア技術は、全方向ボクセル(O-Voxel)と呼ばれる新たな3D表現形式。従来の等値面フィールド(Iso-surface fields)などが抱えていた、開いた曲面や非多様体形状(Non-manifold geometry)の表現が難しいという課題を克服するために採用された。さらに、構造化された3D潜在表現(Structured 3D Latents)と整流フロー変換器(Rectified Flow Transformers)を組み合わせることで、高解像度かつ忠実度の高い3D生成を実現している。

NVIDIA H100 GPUを使用した場合、解像度512のモデルであれば約3秒、1,536の高解像度モデルでも約60秒で生成できるという。

▲3DアセットをO-Voxel形式へ変換し、さらに「SC-VAE」を用いて構造化された潜在表現(SLat)へと圧縮する一連のプロセスフロー
▲ジオメトリと物理ベースの質感(Appearance)を同時にエンコードする、新たな疎ボクセル構造(Sparse Voxel Structure)の概要図。従来のフィールドベースの手法とは異なり、鋭利なエッジの保存や複雑なマテリアル表現を可能にしている
▲3Dデータを16倍にダウンサンプリングし、知覚的な劣化を無視できるレベルに抑えつつ、生成モデルが扱いやすいコンパクトな潜在トークンへと圧縮する「SC-VAE」のアーキテクチャ

■TRELLIS.2: NATIVE AND COMPACT STRUCTURED LATENTS FOR 3D GENERATION(プロジェクトページ、英語)
https://microsoft.github.io/TRELLIS.2/

■TRELLIS.2(GitHub)
https://github.com/microsoft/TRELLIS.2

■TRELLIS.2(Hugging Face)
https://huggingface.co/microsoft/TRELLIS.2-4B

依存するNVIDIA製ライブラリのライセンスについて

TRELLIS.2のモデル本体とソースコードはMITライセンスの下で公開されており、通常であれば商用利用や改変が自由に行える。しかし本モデルは、レンダリングやマテリアル処理のためにNVIDIA製のライブラリである「nvdiffrast」および「nvdiffrec」に依存しており、これらはそれぞれ「NVIDIA Source Code License」という独自のライセンスでの提供となる。

NVIDIA Source Code Licenseは、当該ソフトウェアとその派生物は、非商用目的(Non-commercially)でのみ使用が許可されている(ここでの「非商用」とは「研究または評価目的のみ(for research or evaluation purposes only)」と明確に定義)。直接的・間接的な金銭的利益を目的とした使用は認められていない。

そのため、TRELLIS.2自体のライセンスがMITであっても、標準の構成でそのまま商用プロジェクトに組み込んだ場合、依存ライブラリのライセンス違反となるリスクが発生する。商用利用を検討するユーザーは、これらの依存関係を解消するか、法的な確認を十分に行うことが推奨される。

▲nvdiffrec(Joint Optimization of Topology, Materials and Lighting from Multi-view Image Data)は、画像から3Dモデルを生成する再構成ツール。複数の2D画像を入力とし、そこから3Dモデルのトポロジー、表面のマテリアル、そしてライティングを同時に推定・生成するライブラリ

■nvdiffrec(GitHub)
https://github.com/NVlabs/nvdiffrec

■nvdiffrecライセンス
https://github.com/NVlabs/nvdiffrec?tab=License-1-ov-file#readme

▲nvdiffrast(Modular Primitives for High-Performance Differentiable Rendering)は、3Dデータのラスタライズ処理を、AIの学習プロセス内で高速に実行するための基盤ライブラリ

■Nvdiffrast – Modular Primitives for High-Performance Differentiable Rendering(GitHub)
https://github.com/NVlabs/nvdiffrast

■Nvdiffrastライセンス
https://github.com/NVlabs/nvdiffrast?tab=License-1-ov-file#readme

ComfyUIでの利用も可能に

Pozzetti Andrea氏は画像生成AIのGUI環境であるComfyUI向けのカスタムノード「ComfyUI-TRELLIS2」をGitHubで公開している。ComfyUI-TRELLIS2を使用すると、ユーザーは複雑なコマンド操作を行うことなく、ノードベースのインターフェイス上でTRELLIS.2を利用できる。VRAM 8GBのGPUでも動作可能とのこと。

■ComfyUI-TRELLIS2(GitHub)
https://github.com/PozzettiAndrea/ComfyUI-TRELLIS2

CGWORLD関連情報

●テンセント、3D生成AIワークスペース「Hunyuan 3D Studio 1.1」提供開始! PolyGen 1.5統合によるクアッドメッシュ生成に対応

テンセントが3Dアセット生成AI「Hunyuan3D」の公式ワークスペース「Hunyuan3D Studio 1.1」の提供を開始。エンドツーエンドのクアッド(四角ポリゴン)メッシュ生成にネイティブ対応するPolyGen 1.5が統合され、ワイヤーフレーム品質が向上。メールアドレスによるログインで1日30回無料生成が利用できる。
https://cgworld.jp/flashnews/01-202512-Hunyuan3DStudio.html

●テンセント、3D生成AIモデル「Hunyuan 3D Engine」を全世界のクリエイターと企業向けに提供開始

テンセントのクラウドプラットフォーム・テンセントクラウド(Tencent Cloud)が、3D生成AIプラットフォーム「Hunyuan 3D Engine」のグローバル展開を正式に開始。公式プラットフォーム「Tencent Hunyuan 3D Global」では毎日20回の無料生成が行えるほか、エンタープライズAPIユーザーには登録時に200の無料クレジットが付与される。
https://cgworld.jp/flashnews/01-202512-Hunyuan3DEngine.html

●Metaの3D生成AI技術「SAM 3D」発表! 単一の2D画像から精密な3Dオブジェクトや人物を再構築、GitHubとHugging Faceでコード&データ公開

Metaが画像セグメンテーションAIの最新モデル「Segment Anything Model 3(SAM 3)」と、単一画像から3Dモデルを再構築する「SAM 3D」を発表。ソースコードはGitHubで公開されているが、独自ライセンスによって「SAM 3」基盤モデル、「SAM 3D Body」、「SAM 3D Objects」が明確に区分されている。データセットはHugging Faceで公開されているほか、同社AI技術のプレイグラウンド「Meta AI Demos」ではブラウザ上でSAM 3Dをテストできる。
https://cgworld.jp/flashnews/01-202511-Meta-SAM3D.html

●ByteDanceの3Dアセット生成基盤モデル「Seed3D 1.0」発表! 画像1枚から物理シミュレーションに対応可能な高品質アセットを生成

ByteDance Seedが3Dアセット生成基盤モデル「Seed3D 1.0」を発表。単一の画像から物理シミュレーションに対応可能な高品質3Dアセットを生成できる。Seed3D 1.0は同社運営の企業向けクラウドサービスプラットフォーム「Volcano Engine」で利用できる。
https://cgworld.jp/flashnews/01-202511-Seed3D.html