ドイツJawset Visual Computing社は8月23日（金）、3D Gaussian SplattingとNeRF（Neural Radiance Field）技術を使用して、画像または動画から3Dシーンを生成するツール「Postshot v0.4」をベータ版として公開した。動作環境はWindows 10以降、GeForce RTX 2060以降またはQuadro T400/RTX 4000以降。現在は無料で利用できる。

Postshotは、対象を多数の角度から撮影した写真（標準400枚程度）または動画（1〜2分程度）を、Gaussian SplattingまたはNeRFによりトレーニングしてRadiance Fieldを生成し、ムービーのレンダリングまたはシーンのエクスポートができるツール。

写真または動画をインポートする際、高速かつディテール豊かな「Splat MCMC」（メーカー推奨）、トレーニング中にディテールのコントロールが行える「Splat ADC」、そして「NeRF models」の3種類から「Radiance Field Profile」を選択し、トレーニングを開始する。

動画インポート時のダイアログ。ここでは「Radiance Field Profile」に「Splat MCMC」を選択

インポート設定が完了するとトレーニング開始。ポイントやカメラ位置、Radiance Fieldが生成される様子はビューポート内のライブプレビューで確認できる。なお、生成されるデータは全てローカルPC内に保存され、クラウドへのアップロードなどは必要ない。

トレーニング時のライブプレビュー

トレーニングにより3Dシーンが生成された後は、Postshot内でカメラを作成してアニメーションを作成し、ムービーとしてレンダリングが可能。さらに、Postshotプラグインを介してAfter Effectsにシーンを読み込み、After Effects上でシーンを合成し、レンダリングすることができる。

PostshotシーンをAfter Effectsに読み込んだところ

なお、「Radiance Field Profile」に「Splat MCMC」または「Splat ADC」を選択した場合、トレーニングデータはPLY形式のファイルとしてエクスポートすることも可能だ。

バージョン0.4の更新内容

最新のPostshot v0.4では、モデル品質とトレーニングパフォーマンスが向上したほか、外部カメラアライメントのインポート、HDR映像のトレーニング、ACESやRec.2100などを含む複数の色空間のサポート、RAW画像のサポート、カメラターゲットのトラッキング、新しいコマンドラインインターフェイスの追加、データセンターのGPUサポートなどを実装した。

  • トレーニングパフォーマンスの向上
  • HDR映像のトレーニングに対応
  • カメラターゲットのトラッキング
  • 新しいコマンドラインインターフェイス

CGWORLD関連情報

●機械学習を使った新しいレンダリング技術3D Gaussian Splattingを扱えるオープンソースのツール「SuperSplat 1.0」リリース！　ブラウザから利用可能

Playcanvas社が3D Gaussian Splatsの編集＆最適化ツール「SuperSplat 1.0」をリリース。Webブラウザベースのオープンソースツールで、キャプチャしたデータを手軽に最適化し、PLY形式などで保存できる。
https://cgworld.jp/flashnews/202408-SuperSplat.html

●「NeRF」とGoProで実現した滑らかなトランジション！フコウエアラタ氏に聞く車広告制作の裏側

NeRFを活用し車広告を制作したフコウエアラタ氏に制作の裏側をインタビュー。
https://cgworld.jp/article/nerfarata-fukoe.html

●イワケン氏によるLumaのNeRFプラグインチュートリアル記事――写真データからUE5の3Dシーンが生成されて感激！

Luma AI社がリリースしたプラグイン「Luma Unreal Engine Plugin」のアルファ版をサイバーエージェントのXRエンジニア、イワケン（岩﨑謙汰、iwaken71）氏がテスト。プラグインの導入方法からLumaデータの読み込みや調整方法までをQiitaで公開した。
https://cgworld.jp/flashnews/202304-luma-iwaken.html