NVIDIAとトロント大学の研究チームは2月10日（火）、3D Gaussian Splatting（3DGS）を用いたシーンから、任意のオブジェクトを対話的に抽出・編集できるツール群「ArtisanGS」の論文を公開した。AIを活用した高速なオブジェクトや領域のセグメンテーションと、手動での柔軟な微調整を組み合わせることにより、ノイズの多い現実世界のキャプチャデータからでも目的の立体物を正確に切り出すことが可能となる。

ほとんどの3DGSセグメンテーションツールは、シーンごとに事前学習を必要とするか、取り消し不可能なエラーをフィーチャーフィールド（特徴場）に固定化してしまいます。それに対してArtisanGSは、Cutieトラッキングとブラックボックスなスプラット集約（splat aggregation）を組み合わせることで、少数の2Dマスクを編集可能な3Dオブジェクトの選択範囲へと変換します。そして、一貫性のある2Dおよび3Dの選択モードによって、ミスを反復的に修正することを可能にしています。

従来の3Dオブジェクト抽出技術は、完全に自動化された処理を目指すものが多いことから、意図しない部分まで選択された場合にユーザーによる細部の修正が困難となっていた。特に現実空間をカメラでスキャンした3DGSデータはノイズが多く、物体の境界線が曖昧になりやすいため、AIのみによる完全な領域分割には限界がある。

ArtisanGSはこうした課題に対し、人間の介入とAIの協調を最重要視して設計された。ユーザーが画面上で直感的に指示を与え、AIがそれを補助するというアプローチにより、複雑な形状のオブジェクトであってもユーザーの意図通りの抽出を実現する。

▲現実世界からキャプチャした3DGSデータからぬいぐるみのオブジェクトを抽出し、編集や物理シミュレーションなど後工程で活用するための研究がArtisanGS。第一歩として、3DGSのシーンから特定のオブジェクトやパーツを選択する対話的な技術群を提案する

本システムのコアはAIによる強力な自動追跡ネットワーク。ユーザーが任意の視点から大まかな選択範囲（2Dマスク）を指定するだけで、ArtisanGSはその平面的な指示から、奥行きを持った3D空間全体のオブジェクト選択を実現する。推論を含めた一連の自動処理はわずか1〜5秒程度で完了するため、ユーザーは結果をリアルタイムで確認しながら、素早い試行錯誤を繰り返すことができる。

▲ArtisanGSによるセグメンテーション例

またArtisanGSには、AIによる自動選択が上手く機能しない場合に備えて、特定の視点から見て物理的に不要な部分を削り取る、手動投影モード（Manual Projection Modes）も搭載されている。奥行きの情報を用いた投影（Depth space projection）を活用して対象物の奥に誤って含まれた背景を削除したり、複数の視点からの選択範囲を交差させて余分な空間を切り落としたりすることにより、ノイズを手動で排除できる。

■ArtisanGS: Interactive Tools for Gaussian Splat Selection with AI and Human in the Loop（arXiv）
https://arxiv.org/abs/2602.10173

CGWORLD関連情報

●3Dアセットフォーマット「glTF 2.0」標準拡張「KHR_gaussian_splatting」RC公開！ 3DGSをglTFファイル内へ保存可能に

Khronos Groupが3Dアセット配信フォーマット「glTF 2.0」において、複数の2D画像からフォトリアルな3Dアセットを生成するラディアンスフィールド（放射場）表現技術の3DGS（3D Gaussian Splatting）を保存可能にする標準拡張機能「KHR_gaussian_splatting」のリリース候補版（RC、Release Candidate）を公開。
https://cgworld.jp/flashnews/01-202602-glTF20.html

●オープンソースの3DGSエディタ「SuperSplat」アップデート！　バーチャルツアーなど演出を適用できる新アプリ「SuperSplat Studio」も発表！

Playcanvasがオープンソース（MITライセンス）の3D Gaussian Splatting（3DGS）エディタ「SuperSplat Editor」について、バージョン2.19.0から2.22.0までアップデートを実施。また、新アプリとして「SuperSplat Studio」を発表した。
https://cgworld.jp/flashnews/01-202602-SuperSplat.html

●高品質なオブジェクトのルック表現を実現する新手法「Spherical Voronoi」発表！ 3DGSに統合、球面上をボロノイ分割し自由に変形することで関数を最適化

トリノ大学、サイモン・フレーザー大学のフランチェスコ・ディ・サリオ（Francesco di Sario）氏らが率いる研究チームが、3D空間の再構成やレンダリングにかかる光の反射・質感表現の新技術「Spherical Voronoi（球面ボロノイ）」を発表。Spherical Voronoiは、3D Gaussian Splatting（3DGS）の枠組みに統合され、従来技術（Spherical HarmonicsやSpherical Gaussiansなど）と比較してビジュアル表現能力が向上している。コードはGitHubリポジトリにて公開予定。
https://cgworld.jp/flashnews/01-202601-SphericalVoronoi.html