株式会社Preferred Networks（PFN）は3月31日（月）、建物や部屋など、空間全体を撮影してフォトリアルな高精細3Dデータに再構成する技術を開発した。フォトリアルな映画・テレビ・CMなどの映像制作やゲーム開発、観光や不動産のガイドなどへの活用を目指している。また、Unreal Engine 5用プラグイン（開発中）では、1,000万超の3D Gaussian Splattingデータを4Kで30〜60fps以上、低レイテンシ（1〜2フレーム程度）で、カメラトラッキングと連動しながら高速レンダリングが行えることから、バーチャルプロダクションでの活用も期待されている。
本技術ではまず、1シーンあたり数百〜数千枚の高解像度写真を一眼レフカメラなどで撮影し、PFNのスーパーコンピュータ上で3D Gaussian Splattingデータに再構成する。作成した3Dデータはライブラリとして登録され、再利用可能な状態になる。このライブラリはUnreal Engine 5用プラグイン（開発中）を用いて3Dデータを高解像度でリアルタイムレンダリングするなど、複数の用途に活用できる。
なお3D Gaussian Splattingデータの再構成には、写真の前処理、撮影位置のポーズ推定、初期ポイントクラウドの導出、3D Gaussian Splattingの最適化という工程を順に実施する必要があるが、PFNのシステムでは各工程を自動処理する。
Unreal Engine 5用プラグインを用いたバーチャルプロダクションでの活用
この技術を用いて再構成した3D Gaussian SplattingデータをインカメラVFXで活用することにより、バーチャルプロダクションの制作効率やリアリティが向上し、コスト削減が期待できるという。
開発中のUnreal Engine 5用プラグインを用いることにより、カメラトラッキングと3D Gaussian Splattingデータのリアルタイムレンダリングを実現。1,000万超のGaussianを4K30〜60fps以上で描画でき、レイテンシも1〜2フレーム程度に抑えながら、カメラトラッキング機能と連動するリアルタイムレンダリングが可能だという。
また、プラグインは簡易的な3D Gaussian Splattingデータの編集機能も提供する。Unreal Engineエディタ上で複数の3D Gaussian Splattingモデルを1シーンに再配置・合成したり、他のポリゴンメッシュとの合成も可能だ。
■映画・CMなどの映像作品やゲーム向けに、建物・部屋・空間をフォトリアルに3D化する技術を開発（公式発表）
https://pfn3d.com/vp/
CGWORLD関連情報
●オープンソース3D Gaussian Splattingプラットフォーム「SuperSplat 2.2」リリース！ 動画レンダリングに対応、コミュニティ機能も拡充
PlaycanvasがオープンソースでWebブラウザベースの3D Gaussian Splatsの編集＆最適化ツール「SuperSplat 2.2」をリリース。カメラのフライスルーアニメーションを動画としてレンダリングし、MP4形式でエクスポートできるようになったほか、ユーザー同士のコミュニケーション機能の拡充が図られている。
https://cgworld.jp/flashnews/202503-SuperSplat-22.html
●スマホ用無料3Dスキャンアプリ「RealityScan 1.6」リリース！ カメラのマニュアルモード、新しい処理オプションパネル
Epic Gamesが無料のフォトグラメトリーアプリ「RealityScan 1.6」を公開。新バージョンではカメラをマニュアルでコントロールできるモードが追加されたほか、新しい処理オプションパネルが追加されている。
https://cgworld.jp/flashnews/202502-RealityScan16.html
●3Dスキャンアプリ「KIRI Engine V3.13」リリース！ 高再現性3D Gaussian Splattingによる鮮明かつシャープなスキャン品質を実現
KIRI Innovationが3Dスキャンアプリ「KIRI Engine V3.13」をApp StoreとGoogle Play、Webブラウザ版でリリース。アプリは無料で、アプリ内課金がある。
https://cgworld.jp/flashnews/202501-KIRI-Engine313.html
