World Labsは4月15日(水)、Webブラウザ上で動作する動的な3DGS(3D Gaussian Splatting)レンダラ「Spark 2.0」をリリースした。新たにLoD(Level-of-Detail)システムとストリーミング機能が導入され、巨大な3Dワールドを最適化し、あらゆるデバイスへ高品質にストリーミングするための高度なシステム設計を備える。GitHubでオープンソース(MITライセンス)として提供されている。

3DGSレンダラSparkの基礎

▲Spark 2.0のLoDシステムにより、4,000万以上のスプラットで構成されたシーンでもWebブラウザでインタラクティブに描画可能

「Spark」はWeb上で動作する動的な3DGSレンダラ。最も普及している3DフレームワークであるTHREE.jsに統合されており、WebGL2を用いてPCやiOS、Android、VRデバイスなど多様な環境で動作する。従来のポリゴンメッシュを用いた表現とは異なり、数百万の半透明な楕円体であるスプラット(Splat)を用いてオブジェクトの表面や微細なディテールを描画する。「Spark 2.0」では、新たにLoDシステムが導入され、カメラの視点に応じてスプラットのディテールを自動最適化し、必要なデータのみをストリーミング可能とした。

▲ポリゴンメッシュと3DGSのちがい
▲スプラットのデモページより。位置、XYZスケール、回転、色、不透明度によって定義される3D楕円体データがスプラットで、「painter's algorithm(画家のアルゴリズム)」により数百万ものスプラットを奥から手前へリアルタイムに並べ替えることでレンダリングしている

■3DGS Properties(デモページ)
https://wlt-ai-cdn.art/spark-2.0/260413/3dgs-props.html

柔軟性を備えたレンダリングパイプライン

Sparkは、複数の3DGSオブジェクトを同一シーン内で正確に描画するため、3つのステップで処理を行う。まず、各オブジェクトのスプラットをグローバルリストに集約し、同一の座標系へと変換する。その際、GPU上でGLSLや計算グラフ(Computation Graph)を用いたカスタムデータパイプラインを実行でき、色の変更やSDF(Signed Distance Field)ベースのクリッピング、アニメーションの補間など高度な編集が可能。



次に、GPUで計算された距離情報をCPUに戻し、バックグラウンドのWebワーカーで基数(Radix)ソートを行う。最後に、カスタム頂点シェーダを用いた単一のインスタンス描画によって、全スプラットを一括で描画する。

巨大な3Dワールドに向けたスケーリング手法

3DGSの普及に伴い、データ規模も数千万スプラットにまで達している。そこでは、コンシューマー向けデバイスの処理能力やメモリ制限が課題となっていた。Spark 2.0ではこれを解決するため、3つのグラフィックスおよびシステム技術を採用している。

1つ目は、カメラからの距離に応じてレンダリングするスプラットの数を最適化するLoD(Level-of-Detail)。2つ目は、視界に合わせて解像度を粗い状態から精細な状態へと段階的に読み込むプログレッシブストリーミング。3つ目は、GPUメモリ内に固定プールを割り当て、データのスワップを自動管理する仮想メモリである。

連続的なLoDシステムとデータ構造の最適化

Spark 2.0のLoDシステムは、不連続な切り替えによるポッピングアーティファクトを防ぐため、スプラットを階層構造にまとめる手法を採用。レンダリング時にはツリーの境界を計算し、設定されたスプラット予算内で最適な解像度を維持する。さらに、データは空間を再帰的に分割し、64K(約6万5千)スプラットごとのチャンクに最適化されている。これにより、視点に近い空間のデータを最優先でストリーミングし、瞬時にディテールを解像させることができる。

■Streaming 3DGS worlds on the web(World Labs公式ブログ)
https://www.worldlabs.ai/blog/spark-2.0

■Spark 2.0 公式ドキュメント
https://sparkjs.dev/docs/

■Spark: An advanced 3D Gaussian Splatting renderer for THREE.js(GitHub)
https://github.com/sparkjsdev/spark/

World Labsについて

World Labsは、著名なAI研究者のフェイフェイ・リー(Fei-Fei Li)氏をはじめとする、コンピュータビジョンやグラフィックス分野の世界的なエンジニア・研究者らが共同創業した企業。生成AIの次のフロンティアとして、機械が3D空間を認識して推論・生成する空間知能(Spatial Intelligence)の構築を目指している。

同社の最初のプロダクトであるMarbleは、テキスト、画像、動画、360度パノラマなどから、空間的に一貫性のある高精細な3Dワールドを生成するプラットフォーム。生成された3D空間は自由に移動や編集が可能で、複数のワールドを結合させたり、様々な2Dおよび3Dフォーマットで出力することもできる。

■World Labs 公式サイト
https://www.worldlabs.ai/
■Marble Labs
https://www.worldlabs.ai/labs

CGWORLD関連情報

●Niantic Spatial、空間知能プラットフォームの新「Scaniverse」リリース iOS&PC対応、一度のキャプチャでVPSマップとメッシュと3DGSを同時生成

Niantic Spatialが従来から提供してきた「Scaniverse」を刷新し、ビジネス向け空間インテリジェンスサービスの入口となるプラットフォームとして新たに提供を開始。併せて、事前の空間スキャンなしで機能するグローバル規模の視覚測位システム「VPS 2.0」と、各種プラットフォームに対応する開発キット「NSDK 4.0」もリリースした。
https://cgworld.jp/flashnews/01-202604-Scaniverse.html

●「OpenUSD v26.03」リリース 3DGSのネイティブサポート、テスト用レンダラ同梱によりusdview内で表示確認可能

AOUSD(Alliance for OpenUSD)が3Dシーン記述フレームワークOpenUSDの最新バージョン「OpenUSD v26.03」をリリース。本アップデートでは3D Gaussian Splats(3DGS)のネイティブサポートや、Webブラウザでの実行を可能にするWebAssemblyへの対応が追加。また、データ処理エンジンの改良や描画性能の向上などの機能強化も施されている。
https://cgworld.jp/flashnews/01-202604-OpenUSDv26.03.html

●3Dシーン補完生成技術「Seen2Scene」発表! 不完全な実世界の3Dスキャンデータから現実的な3Dシーンを補完・生成

ミュンヘン工科大学とバージニア大学の研究チームが不完全な実世界の3Dスキャンデータから現実的な3Dシーンを補完・生成する技術「Seen2Scene」を発表。現実の観測データから直接学習する新しいアプローチを採用し、複雑で雑然とした環境でも高精度なシーンの再構築を実現する。
https://cgworld.jp/flashnews/01-202604-Seen2Scene.html