台湾・国立陽明交通大学とNVIDIAの研究チームは8月23日（土）、スマートフォンなどで気軽に撮影した長尺かつ複雑な動きを含む動画から3D Gaussian Splattingモデルを生成し、新しい視点の画像を生成するフレームワーク「LongSplat」を発表した。GitHubではNVIDIAライセンスでコードが公開されている。

「LongSplat」は、ある視点から撮影された画像や映像をもとに、別の新しい視点から見た画像を生成する技術である「新視点画像合成（Novel View Synthesis、NVS）」で通常必要とされる、動画の各フレームのWhen、Where、Directionなどのカメラポーズ情報（Camera Pose）を使用せずに高品質な画像を合成できる技術。


カメラポーズ情報ではなく3D Gaussian Splattingを用いて、段階的な共同最適化（Incremental Joint Optimization）、ロバストなポーズ推定モジュール（Robust Pose Estimation Module）、アダプティブ・オクツリー・アンカー形成メカニズム（Adaptive Octree Anchor Formation）といった独自の改良を3DGSに加えることで、高品質な画像合成を実現しているという。

▲アダプティブ・オクツリー・アンカー形成メカニズムの概要。疎なポイントクラウドから始め、点群の密度に応じてボクセルをアダプティブに分割または削除する処理を繰り返す。「オクツリー（階層的な空間分割）」構造を用いる設計により、メモリ使用量は大幅に削減され、大規模なシーンを効率的に描画できる

LongSplatによる画像生成は、初期化（Initialization）、グローバル最適化（Global Optimization）、ポーズ推定（Pose Estimation）、ローカル最適化（Local Optimization）という4ステップで処理される。3番目のフレーム挿入処理では、新しいフレームが1枚追加されるたびに、「PnP （Perspective-n-Point）アルゴリズム」を用いてカメラポーズを推定し、フォトメトリックリファイン（Photometric Refinement）によりルックを写実的に調整する。

▲LongSplatのパイプラインにおける4つのステップ
▲ポーズ推定（Pose Estimation）における3段階のプロセス。（a）PnPによる初期ポーズ推定、（b） ポーズのリファイン、（c） アンカーの逆投影によるシーン更新。前フレームの深度情報を現在の視点に変換して、見えていなかった「新しい領域」を特定し、新しいピクセルを3D空間に逆投影して、アダプティブ・オクツリー・アンカー形成メカニズムで新しいアンカーポイントを3Dシーンに追加する

CGWORLD関連情報

●「VRChat Gaussian Splatting v2」公開！　VRChatで3DGSデータをレンダリングできるオープンソースツール

Michael Moroz氏がVRChatで3DGS（3D Gaussian Splatting）データをレンダリングできるオープンソース（MITライセンス）のツール「VRChat Gaussian Splatting v2」をGitHubで公開。
https://cgworld.jp/flashnews/01-202507-VRChatGaussianSplatting-v2.html

●「PlayCanvas v2.9.0」公開！　3DGSで物理演算・シャドウ生成・ダイナミックなリライティングに対応、オープンソースのゲームエンジン

Playcanvasがオープンソースのゲームエンジン「PlayCanvas v2.9.0」をGitHubで公開。多数のコントリビューターによる更新が施されているが、Playcanvasの創業者Will Eastcott氏は特に3D Gaussian Splatting（3DGS）関連のアップデートに触れ、話題を呼んでいる。
https://cgworld.jp/flashnews/01-202507-PlayCanvas-290.html

●3D Gaussian Splattingよりも精密なモデルを高速生成できる技術「EDGS」発表！　3DGSの密度化プロセス排除して最適化ルートを短縮することで品質と速度を両立

ルートヴィヒ・マクシミリアン大学ミュンヘンのComputer Vision & Learning Group（CompVis）・Munich Center for Machine Learning（MCML）の研究チームが3D Gaussian Splattingの高速化技術「EDGS: Eliminating Densification for Efficient Convergence of 3DGS」を発表。
https://cgworld.jp/flashnews/01-202505-EDGS.html