ドイツJawset Visual Computing社は12月24日（火）、3D Gaussian splatsとNeRF（Neural Radiance Field）技術を使用して、画像または動画から3Dシーンを生成するツール「Postshot v0.5」をベータ版として公開した。

新バージョンでは、Unreal Engine 5.4＆5.5用プラグインの追加、VRステレオレンダリングのサポート、複数シーンのマージ、ラディアンスフィールドのシーケンス再生などの新機能を搭載している。

Postshotは、対象を多数の角度から撮影した写真（標準400枚程度）または動画（1〜2分程度）を使って、3D Gaussian splatsまたはNeRFによるトレーニングを経てラディアンスフィールド（Radiance Field）を生成し、ムービーのレンダリングまたはシーンのエクスポートが行えるツール。

写真または動画をインポートする際、高速かつディテール豊かな「Splat MCMC」（メーカー推奨）、トレーニング中にディテールのコントロールが行える「Splat ADC」、そして「NeRF models」の3種類から「Radiance Field Profile」を選択し、トレーニングを開始する。

動画インポート時のダイアログ。ここでは「Radiance Field Profile」に「Splat MCMC」を選択

インポート設定が完了するとトレーニング開始。ポイントやカメラ位置、ラディアンスフィールドが生成される様子はビューポート内のライブプレビューで確認できる。なお、生成されるデータは全てローカルPC内に保存され、クラウドへのアップロードなどは必要ない。

トレーニング時のライブプレビュー

トレーニングにより3Dシーンが生成された後は、Postshot内でカメラを作成してアニメーションを作成し、動画としてレンダリングが可能。さらに、Postshotプラグインを介してAfter Effectsにシーンを読み込み、After Effects上でシーンを合成し、レンダリングすることもできる。

PostshotシーンをAfter Effectsに読み込んだところ

なお、「Radiance Field Profile」に「Splat MCMC」または「Splat ADC」を選択した場合、トレーニングデータはPLYファイルとしてエクスポートすることも可能だ。

動作環境はWindows 10以降、GeForce RTX 2060以降またはQuadro T400/RTX 4000以降。現在は無料で利用できる。

バージョン0.5の更新内容

新バージョンでは、全体的なレンダリングパフォーマンスが向上し、プラグインによってUnreal Engine 5.4＆5.5との統合が実現したほか、UE内でのVRステレオレンダリングもサポート。

Unreal Engine 5.4および5.5用プラグインが提供され、UEとPostshotを統合できる

また、Postshot形式のファイル（.PSHT）またはPLYファイルをシーン内に読み込むことで、複数のラディアンスフィールドノードをマージできるようになったほか、3D Gaussian splatsのシーケンスモデルを読み込んだ際、モデルのシーケンス再生とレンダリングにも対応する。

複数のラディアンスフィールドノードをシーン内でマージできる

■Postshot v0.5 Release Notes（Postshot User Guide、英語）
https://www.jawset.com/docs/d/Postshot+User+Guide/Release+Notes/v0.5

CGWORLD関連情報

●スマホで撮影した映像から高精度な頭部アバターを生成する技術「GAF」発表！　アニメーション可能なアバターを3D Gaussian splatsで動的に再構成

ミュンヘン工科大学、Toyota Motor Europe（トヨタ モーター ヨーロッパ株式会社）、ウーブン・バイ・トヨタの研究者らは、スマホなどの汎用デバイスで撮影した短い単眼映像から3D Gaussian splatsで頭部アバターを再構成し、新規ビューにアニメーションとフォトリアルなレンダリングを行う技術「GAF（Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion）」を発表。
https://cgworld.jp/flashnews/202412-GAF.html

●Niantic、3D Gaussian splats用の新ファイルフォーマット「.SPZ」発表！　オープンソースかつコンパクトな仕様でユニバーサルフォーマットを目指す

Niantic社は、ボリュームレンダリング手法の3D Gaussian splats用の新しいファイルフォーマット「.SPZ」を発表した。現在の主流である「.PLY」形式よりも低容量でメモリ消費も少ないコンパクトな仕様で、業界標準を目指すという。GitHub上でオープンソース（MITライセンス）として公開されている。
https://cgworld.jp/flashnews/202411-Niantic-spz.html

●機械学習を使った新しいレンダリング技術3D Gaussian Splattingを扱えるオープンソースのツール「SuperSplat 1.0」リリース！　ブラウザから利用可能

Playcanvas社は、3D Gaussian Splatsの編集＆最適化ツール「SuperSplat 1.0」をリリース。Webブラウザベースのオープンソースツールで、キャプチャしたデータを手軽に最適化し、PLY形式などで保存できる。
https://cgworld.jp/flashnews/202408-SuperSplat.html