北京大学香港科技大学(広州)香港科技大学シンガポール国立大学南洋理工大学からなる研究チームは1月3日(土)、オープンソース(Apache 2.0ライセンス)の3D生成AIモデル「UltraShape 1.0」をリリースした。コードはGitHubで、モデルウェイトはHugging Faceで公開されている。

「UltraShape 1.0」は入力画像から忠実度の高い3Dモデルを生成することを目的とし、従来技術の課題となっていたモデル構造の整合性とジオメトリのディテールに対して、スケーラブルな解決策を提示する3D生成AIモデル。

本技術による3Dモデル生成は2段階に分けて行われる。第1段階では、拡散トランスフォーマー(Diffusion Transformer、DiT)を用いて、対象物の全体的な形状(グローバル構造)を迅速に生成する。第2段階では、生成された大まかな形状に対して、ボクセル単位での修正を行うことで、細部の凹凸や質感を精密に再現する。

▲上:パイプラインの概要。左側が第1段階、右側が第2段階。右下:VAEの構造。形状のサーフェス情報とサーフェス近傍(Near Surface)情報の両方をクエリとして扱い、エンコーダとデコーダを通じて、3D形状を潜在変数(Latents)に変換・再構築。右下:DiT2ネットワーク。第2段階で使われるニューラルネットワークの内部構造を示す

第2段階のプロセスでは、回転位置埋め込み(Rotary Positional Embeddings、RoPE)技術が重要な役割を果たす。これは、モデルが3D空間内の「どの位置」を処理しているかを正確に把握するための仕組み。従来手法では、ディテールのつくり込みの段階でモデルの全体像が崩れてしまうことが課題となっていたところ、UltraShape 1.0はRoPEを用いることで、空間的な位置情報を厳密に管理し、全体のバランスを保ちつつ、必要な部分だけにディテールを追加できる。また、変分オートエンコーダ(Variational Auto-Encoder、VAE)を拡張し、オブジェクトのサーフェスだけでなく、その周辺空間のSDF情報(符号付き距離関数、Signed Distance Function)も学習させることで、より滑らかで自然な曲面を持つ3Dモデルの出力を実現する。

また研究チームは、学習データの品質を高めるために、独自のデータ処理パイプラインを構築。特に「水密性(Watertight、3Dモデルに穴やすき間がなく、水を入れても漏れないように閉じられた状態のこと)」の確保を重視したことにより、3Dプリンタでの出力や物理シミュレーションなどにも耐えうる品質を備えるという。

▲オープンソースの各種3D生成モデルとの品質比較

▲各種商用3D生成モデルとの品質比較

■UltraShape 1.0: High-Fidelity 3D Shape Generation via Scalable Geometric Refinement(プロジェクトページ)
https://pku-yuangroup.github.io/UltraShape-1.0/

■UltraShape 1.0: High-Fidelity 3D Shape Generation via Scalable Geometric Refinement(GitHub)
https://github.com/PKU-YuanGroup/UltraShape-1.0

■UltraShape 1.0 Refine Model(Hugging Face)
https://huggingface.co/infinith/UltraShape

CGWORLD関連情報

●3D生成AIモデル「Hitem3D 2.0」リリース! アーキテクチャ刷新、ジオメトリ・テクスチャ・マテリアル品質向上、フルカラー3Dプリントへの最適化

Math Magicが3D生成AIモデル「Hitem3D 2.0」をリリースし、Web版公式ワークスペースとAPI経由での提供を開始。本バージョンではアーキテクチャが刷新され、ジオメトリやテクスチャ、マテリアルの品質が向上。また、フルカラー3Dプリントへの最適化も施されている。
https://cgworld.jp/flashnews/01-202601-Hitem3D20.html

●3Dメッシュ生成AI技術「MeshRipple」発表! 水面の波紋のようにメッシュを拡張することで整合性を保ちつつ高品質な3Dモデルを生成

華中科技大学、ミュンヘン工科大学らからなる研究チームが、3Dメッシュ生成AI技術「MeshRipple」を発表。名称の由来は、生成の最前線(Frontier)から外側に向かってメッシュを拡張していくというアプローチから。この手法により、常に整合性の取れた表面を維持しながら、隙間のない高品質な3D形状を生成できるという。ソースコードや関連資料はGitHubで公開される予定。
https://cgworld.jp/flashnews/01-202601-MeshRipple.html

●マイクロソフト、オープンソースの3Dモデル生成AI「TRELLIS.2」リリース! 40億パラメータ、Image-to-3D、MITライセンス

マイクロソフトがオープンソースの3D生成AIモデル「TRELLIS.2」をリリース。ソースはGitHubで、学習済みモデルウェイトはHugging Faceで公開されている。ソースはMITライセンスで公開されているが、依存関係にあるNVIDIA製ライブラリは非商用の独自ライセンスのため注意が必要。
https://cgworld.jp/flashnews/01-202601-TRELLIS2.html