画像生成AI「Stable Diffusion」などで知られるStability AI社は1月8日（水）、NVIDIA社とのパートナーシップによる3D生成AI「Stable Point Aware 3D（SPAR3D）」を発表した。すでに公開されており、ダウンロード（Hugging Face）とコードへのアクセス（GitHub）、統合（Stability AI Developer Platform API）が行える。Stability AI Community Licenseに基づき、商用・非商用を問わず無料で利用可能。

「Stable Point Aware 3D（SPAR3D）」はNVIDIA RTXによるアクセラレーションを活用することにより、1枚の画像からポイントクラウド生成、メッシュ生成、リライト済み3Dメッシュ生成までを1秒以内で完了するという3D生成AI。

SPAR3D transforms 3D prototyping for game developers, product designers, and environment builders with the following advanced capabilities:

>Unprecedented Control: Allows users to directly edit the point cloud by deleting, duplicating, stretching, adding features, or recoloring points.

>Complete Structure Prediction: Enhances 3D construction by providing accurate geometry and detailed predictions for full 360-degree views, including areas typically hidden, such as the back of an object.

>Lightning-Fast Generation: Converts edited point clouds into final meshes in just 0.3 seconds, enabling seamless real-time editing. From a single input image, it generates highly detailed 3D meshes in only 0.7 seconds per object.

SPAR3Dは下記の高度な機能によって、ゲーム開発者、製品デザイナー、環境構築者の3Dプロトタイピングに変革をもたらします。

●前例のないコントロール性： ポイントの削除、複製、ストレッチ、機能追加、再着色など、ユーザーがポイントクラウドを直接編集できます。

●完全な構造予測： オブジェクトの背面など、通常は隠されている領域も含め、360°ビュー全体に対して正確なジオメトリと詳細な予測を提供。3D構造を強化します。

●光速レベルの生成スピード：編集したポイントクラウドをわずか0.3秒で最終メッシュに変換し、シームレスなリアルタイム編集を可能にします。1枚の入力画像から、1オブジェクトあたり、わずか0.7秒で詳細な3Dメッシュを生成します。

Stable Point Aware 3Dのアーキテクチャは、精密なポイントクラウドのサンプリングと高度なメッシュ生成を組み合わせた世界初のものとなる。

第1ステージ： 特殊な点拡散モデル（point diffusion model）によって、オブジェクトの基本構造をキャプチャした詳細なポイントクラウドを生成する。

第2ステージ：3D平面トランスフォーマー（Triplane transformer）が、このポイントクラウドをオリジナルイメージの特徴と共に処理し、高解像度の3D平面データを生成。このデータを利用して元画像の形状、テクスチャ、ライティングを正確にキャプチャし、3Dモデルを再構成する。

この2ステージのアプローチによって、「回帰ベースのモデリングの精度」と「生成AI技術の柔軟性」をユニークに組み合わせることができ、正確な再構築とクリエイティブなコントロールが両立できるという。

■SPAR3D: Stable Point Aware 3D（Hugging Face）
https://huggingface.co/stabilityai/stable-point-aware-3d

■SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images（GitHub）
https://github.com/Stability-AI/stable-point-aware-3d

■Stable Point Aware 3D（Stability AI Developer Platform）
https://platform.stability.ai/docs/api-reference#tag/3D/paths/~1v2beta~13d~1stable-point-aware-3d/post

CGWORLD関連情報

●Stability AIによる3Dモデル生成AI「Stable Fast 3D」リリース！　画像1枚から高速でマテリアル付き3Dアセットを生成

Stability AIが1枚の画像から高速で3Dアセットを生成できるAI「Stable Fast 3D」をリリース。Hugging Faceにはデモスペースも用意されており、気軽にテストできる状態となっている。
https://cgworld.jp/flashnews/202408-StableFast3D.html

●「Stable Diffusion」開発元 Stability AI の日本チーム代表ジェリー・チー氏が登場！日本市場での施策、AIと仕事について語る。

Stability AI、日本チームの代表ジェリー・チー氏へのインタビュー。2023年3月時点での「Stable Diffusion」の今後の展開やStability AIが実現したい世界、加えてAIサービス提供者視点からみる今後のクリエイター像、AI活用のポイントなどについて伺っている。
https://cgworld.jp/article/202304-stablediffusion.html

●3Dモデル生成AI「Rodin Gen-1.5 V1.0」公開！　トポロジーや三角／四角ポリゴンメッシュの生成品質向上、PBRテクスチャなど

中国Deemos社が3D生成AI「Rodin Gen-1.5 V1.0」を公開。生成トポロジーの品質向上やAIがサポートする四角ポリゴンメッシュ生成、ディテール豊かでシャープな三角ポリゴンメッシュを生成する「PROモード」、PBRテクスチャの生成などの機能を実装している。
https://cgworld.jp/flashnews/Rodin-gen15.html

●NVIDIA、メッシュ生成モデル「Meshtron」発表！　アーティストが制作するような高品質・実用的なトポロジーを生成可能

NVIDIA社が機械学習アルゴリズムを用いた3Dモデルのメッシュ生成モデル「Meshtron」を発表。Meshtronは入力されたポイントクラウドデータから、アーティストが制作するような整理されたトポロジーを持つ3Dメッシュを生成する。1,024レベルの座標解像度・最大64K面のメッシュの生成に対応する、新しい自己回帰モデルとなる。
https://cgworld.jp/flashnews/202412-NVIDIA-Meshtron.html