カリフォルニア・マーセッド大学（UC Merced）とAdobe Researchは12月30日（月）、頭部の画像1枚から3D Gaussian Splatsによる360°の頭部モデルを生成する技術「FaceLift」を発表した。生成にはAdobe Researchが研究に携わった3D Gaussian Splats生成モデル「GS-LRM」（Large Reconstruction Model for 3D Gaussian Splatting、Gaussian Splatsを利用した大規模な再構築モデル）が利用されている。
FaceLiftのメソッド
FaceLiftは人物の顔の画像1枚を入力として頭部全体のモデルを生成する技術。生成は2ステージに分かれている。
ステージ1では画像条件付きのマルチビュー拡散モデルでトレーニング済みの高品質な合成データを活用して、高い忠実度と一貫性のあるマルチビュー画像でビューを再現する。
ステージ2では生成したマルチビュー画像とカメラポーズを入力としてGS-LRMを微調整し、最終的な3D Gaussian Splatsによる頭部モデルを生成する。
FaceLiftで利用されている変換器のGS-LRMはピクセル単位でGaussianを予測できるため、オブジェクトの再構成しかできない従来の大規模再構築モデル（LRM）とは異なり、スケールや複雑さの変動が激しいシーンを自然に扱えるという。
動画の入力と4Dビュー合成にも対応
FaceLiftのもうひとつの特長は、入力に動画を扱えること。各フレームが個別に処理され、3D Gaussian Splattingによるシーケンスを生成できる。
また、2D顔画像のアニメーション生成技術「LivePortrait」と組み合わせることにより、2Dの顔画像や顔イラストから3Dのフェイシャルアニメーションを生成することもできる。
■FaceLift: Single Image to 3D Head with View Generation and GS-LRM
https://www.wlyu.me/FaceLift/
■GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting
https://sai-bi.github.io/project/gs-lrm/
■LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control
https://liveportrait.github.io/
CGWORLD関連情報
●NeRFと3D Gaussian splatsで画像／動画から3Dシーンを生成できる「Postshot v0.5」リリース！ Unreal Engine 5.4～5.5との統合、複数シーンのマージ対応など
ドイツJawset Visual Computing社が、3D Gaussian splatsとNeRF（Neural Radiance Field）技術を使用して、画像または動画から3Dシーンを生成するツール「Postshot v0.5」をベータ版として公開。
https://cgworld.jp/flashnews/202501-Postshot-v05.html
●スマホで撮影した映像から高精度な頭部アバターを生成する技術「GAF」発表！ アニメーション可能なアバターを3D Gaussian splatsで動的に再構成
ミュンヘン工科大学、Toyota Motor Europe（トヨタ モーター ヨーロッパ株式会社）、ウーブン・バイ・トヨタの研究者らは、スマホなどの汎用デバイスで撮影した短い単眼映像から3D Gaussian splatsで頭部アバターを再構成し、新規ビューにアニメーションとフォトリアルなレンダリングを行う技術「GAF（Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion）」を発表。
https://cgworld.jp/flashnews/202412-GAF.html
●Niantic、3D Gaussian splats用の新ファイルフォーマット「.SPZ」発表！ オープンソースかつコンパクトな仕様でユニバーサルフォーマットを目指す
Niantic社は、ボリュームレンダリング手法の3D Gaussian splats用の新しいファイルフォーマット「.SPZ」を発表した。現在の主流である「.PLY」形式よりも低容量でメモリ消費も少ないコンパクトな仕様で、業界標準を目指すという。GitHub上でオープンソース（MITライセンス）として公開されている。
https://cgworld.jp/flashnews/202411-Niantic-spz.html
●Nuke内で3D Gaussian Splatsを扱えるプラグイン「Gaussian Splatting for Nuke」リリース！ 読み込みから調整、レンダリングまで対応
irrealix社がNuke内で3D Gaussian Splattingデータを扱えるOFXプラグイン「Gaussian Splatting for Nuke」をリリース。価格は49ドル（約7,800円、シングルユーザーライセンス）。
https://cgworld.jp/flashnews/Nuke-Gaussian-splatting.html
