スイス連邦工科大学チューリッヒ校スタンフォード大学、マイクロソフトからなる研究チームは5月31日(土)、3Dシーン表現の新アプローチ「SuperDec: 3D Scene Decomposition with Superquadric Primitives」を発表した。

▲(上)オリジナルデータのポイントクラウドのレンダリング画像、(下)SuperDecによるプリミティブ分解で得られたシーン

SuperDecでは、まず3Dスキャンにより作成したポイントクラウドのデータから、個々の物体を識別・特定する。それらの各物体はAIモデル(Transformer)により、球・立方体・円柱などのプリミティブ形状をより柔軟に変形させたスーパー二次曲面(Superquadric Primitives)として形状予測が実行される。この予測には、11種類の形状に関するパラメータと、物体らしさを示すスコアが含まれている。続いて、予測された形状はLevenberg–Marquardt(LM)最適化という数学的手法により微調整される。

▲SuperDecの手法概要。入力されたポイントクラウドがTransformerによってスーパー二次曲線の形状として予測され、LM最適化による微調整を経て再構成される

SuperDecのネットワークでは手作業での注釈(アノテーション)は必要とせず、物体のジオメトリ構造に基づいて、それらを部品に分割することを学習する。

研究チームはロボット工学において、SuperDecを用いたシンプルな現実世界の表現がロボットの認知や経路計画などに応用されることを期待している。

▲ロボットがSuperDecでシンプルに表現された空間情報を基に牛乳瓶を取りに行く経路を計画し、移動と把持を行う様子

また、画像生成AIの拡散(diffusion)モデルにおいて、空間と意味の共同制御にSuperDecを活用できるとしている。

▲(上)SuperDecで生成したスーパー二次曲線、(下)テキストプロンプト「植物のある部屋の一角」により拡散モデルで生成した画像。SuperDecにより空間の制御が可能になっている
▲意味(セマンティック)のコントロール例。SuperDecを用いることにより、セマンティックかつジオメトリックな構造を維持したまま、部屋のスタイルを変えることができる

また、SuperDecでは、オリジナルのポイントクラウドから予測したスーパー二次曲線により、適合可能なパーツに分解する分割行列も学習することから、シャープな分割マスクを生成する。そのため、特に大規模学習においては、ジオメトリベースのパーツ分割、または教師ありパーツ分割の事前学習としての活用が期待されている。

▲SuperDecではオブジェクトをスーパー二次曲線にフィットするパーツに分割することを学習する

■SuperDec: 3D Scene Decomposition with Superquadric Primitives(プロジェクトページ、英語)
https://super-dec.github.io/

CGWORLD関連情報

●3Dモデル生成AIワークスペース「Tripo Studio」公開! 高度なパーツ分割、ローポリ生成、自動リグ「Uni-Rig」実装、AIテクスチャなど見どころ多数

VastがWebブラウザで動作するAIネイティブな3Dモデル制作ワークスペース「Tripo Studio v0.1」を一般公開。Tripo 2.5で実現済みの3Dモデル生成に関わる機能群に加え、パーツの自動分割やリトポロジーによるローポリ生成、AIテクスチャリング、自動リギング機能を統合している。
https://cgworld.jp/flashnews/01-202506-Tripo-Studio.html

●3D生成AIプラットフォーム「Catalyse」リリース! 独自エンジンによりテキストプロンプトから360°のスカイボックスを高速生成

CatalyseがAIドリブンの3D風景生成プラットフォーム「Catalyse」をリリース。現在、アカウント不要でWebブラウザから利用できる「Catalyse Ai」が提供されているほか、アートワークのコントロールが可能となるアプリ「Catalyse app」が近日リリース予定とのこと。
https://cgworld.jp/flashnews/01-202506-Catalyse.html

●Tencentの3Dモデル生成AI「PrimitiveAnything」オープンソースで公開! 複雑な形状をプリミティブに分解して構築するモデル

Tencent AIPDと清華大学の研究チームが、3Dモデル生成AI「PrimitiveAnything」をオープンソースで公開。人の手によって分解されたモデルデータを10万以上学習し、AIが人間らしい分解の傾向を習得することで、複雑な形状を、人間が直感的に理解できるプリミティブの組み合わせに分解して構築する。
https://cgworld.jp/flashnews/01-202505-PrimitiveAnything.html