「NeRF（ナーフ）」を活用した世界初のTVCMが放映！ NeRFとはなにか、既存の3DCG制作ワークフローとの親和性や実用性とともに紹介

Image Courtesy of McDonald’s

複数のアングルから撮影された画像データから、AIを活用して自由視点の3Dシーンを生成する手法「NeRF」（ナーフ）が注目されている。2023年1月、米国マクドナルドがTVコマーシャルとして世界ではじめてNeRFを用いた広告キャンペーンを放映し話題を集めた。NeRFとはどんな技術なのか、CG制作のワークフローとの親和性や実用性について、CGWORLDアドバイザーのコメントとともに紹介したい。

※キャンペーンサイトはこちら

McDonald's + Karen X Cheng — Lunar New Year 2023

作品はKaren X. Cheng氏によるもの

本作を手がけたのはデジタルアーティストのKaren X. Cheng 氏。これまで、AIや360°カメラなど最新技術を用いたユニークなバイラル動画を生み出してきた。(過去プロジェクトはこちらから）
今回制作した30秒のプロモーション映像では、Karenが幼少期に旧正月を家族とマクドナルドで過ごした思い出のシーンと、時代変わって2023年の現代でKarenが家族と旧正月を祝うシーンがNeRFによって制作されている。自由視点によるダイナミックなカメラワークが適用され、スムーズに両シーンをつなげている。ノスタルジックなテーマが、最先端のギミックによって実現されている。

Twitter上では、Karenがモデルの撮影プロセスとバーチャルカメラによる自由視点での収録を行う模様も紹介されているので合わせてチェックしてもらいたい。

And here's the cool part - after shooting, you can choose any camera path you want.

Notice how when we shot we orbited the scene, but now we are able to do a completely different camera path

Directed by @nortondirector
NeRF @LumaLabsAI
Client @McDonalds pic.twitter.com/jowAWlHQG3
— Karen X. Cheng (@karenxcheng) January 17, 2023

用いられたツールは、LumaAI

NeRFの学習から3Dモデル（OBJ形式）を生成できる3Dキャプチャアプリ。これまでの3Dスキャンアプリでは難しかった透明な素材や反射率の高い素材のキャプチャや暗い場所での撮影も可能だ。
https://lumalabs.ai/

そもそもNeRFとは？　360°撮影やフォトグラメトリとの違いについて解説

Matthew Tancik氏による「NeRF」の原理を解説した動画。

本作品に使用されたNeRFとはどんな技術なのかみてみよう。
NeRFとはNeural Radiance Fieldsの略で、さまざまな角度から撮影した複数の写真データからシーンの3D形状をAIの力で復元する手法。AIによって生成された3Dビューを通じて、好きな視点から対象物を見ることができる点が特徴だ。これまでの技術では、コンピュータ上で空間やオブジェクトを再現する場合、360°撮影によるVRやフォトグラメトリによる3Dジオメトリ生成などがあった。

360°撮影では写真そのものを見ているのでリアルではあるものの、視点を移動させることは叶わず、自由に動き回ることはできない。一方、フォトグラメトリによるジオメトリ生成は計算時間が掛かるうえに、詳細な表現を得るためには高密度なポリゴンと高解像度のテクスチャマップを用いなければならず、メモリーの使用量も増えるので広大な空間を表現することは難易度が高いと言える。

ニューラルネットワークやAIを用いることで計算が加速され、広域な空間でも、数分で視点を自由に移動して見れるようになる。しかも、ポリゴンやテクスチャマップなどの中間生成物を作成しないのでメモリーの使用量もはるかに少ない。しかし、これまでの3DCGは考え方が全く異なるため、両者を合わせようとするとまだまだ多くの課題があると言えるだろう。

解説：澤田知明（コロッサス）

NeRFのこれからの可能性は？

ではNeRFは今後の3DCG制作にどんなインパクトを与えるのだろうか。現時点におけるワークフローとの親和性や実用性についてCGWORLDアドバイザーのコメントとともに紹介する。

一般消費者の目にNeRFを届けたことの先見性と勇気に賞賛！　（コロッサス澤田知明）

NeRFを知っている人ならば一発でこれはNeRFを使って作られたということが分かる映像ですね。初めて見た人にとっては今まで見たことのない視点の移動に驚くとともに、リアルな質感にこれはCGではないけど何かわからないというような不思議な感覚を与えることができていると思います。
店内に座っている家族を中心に画像を入力してあるためか、最初の突入付近や、店内の天井、などにデータが上手く生成できていない点（雲のようなモヤモヤしたところ）が見受けられますが、一般消費者の目にNeRFを届けたことの先見性と勇気に賞賛を送りたいです。実際の撮影現場の風景やLuma AIの使い方などについて知りたいと思います。
今後の可能性としては、これまでのジオメトリを用いたものでは困難だった、広大な3次元空間をNeRFで自由に視点を移動して入り込んでみることができるようになると思われます。NeRFの方程式によって計算される出力は色情報でしかないので、一旦計算が出来上がってしまえばデータの可搬性はかなりハードルが低く、高価なGPUなど必要ないので例えばスマホのWebブラウザー上から入り込むこともできるはずです。

これまでのポリゴンモデリングが古いものとなり、将来的には計算式だけでリアルな3次元画像が生成される時代が来ると思われます。

コメント協力：澤田知明（コロッサス）

現時点ではフォトグラメトリのほうが利点が多い（スタジオブロス／モデリングブロス）

映画のセットや土木や建築現場をNeRFの3D空間で確認して、現場の進捗などチェックしたり、NeRFの3D空間に家具の配置でインテリアのシミュレーションしたり、今後の活用が期待される技術ですね。

ただ、現時点では、NeRFそのままではクリエイティブな分野では使いにくいのも事実です。Luma AIをはじめとしたNeRFのツールから、DCCツールへ出力を正確にできるようになれば期待できるでしょう。ただし、NeRFも写真の枚数が多くないと精度が上がらないので、そうなるとフォトグラメトリの方が現時点では利点が多いと考えます。
NVIDIAが開発しているInstant NeRFは高速で、OBJへの書き出しも可能ではありますが、メッシュが荒くテクスチャも出力されていないため、まだ実用レベルではない印象です。今後の技術のアップデートが期待されます。

コメント協力：スタジオブロス／モデリングブロス

キャプチャ後の編集が必須なので、NeRFの後加工方法に非常に興味あり（khaki）

NeRFは2020年に発表された新しい技術ですがスマホアプリLuma AIなどがリリースされたりと急速に発展してきています。フォトグラメトリでは難しかった現実世界のキャプチャが可能になるのではと期待しています。
現時点ではNeRFのままでは点群・メッシュ・ボクセルなどの従来手法のように後で編集を加えたりすることは困難なようですがVFX用途でもいずれNeRFの技術を応用したものが普及していくと思っています。VFX用途で使用するにはキャプチャ後の編集が必須なのでNeRFの後加工、または扱えるツールの研究開発がどの程度進んでいるのかなど大変興味があり知りたいです。

コメント協力：khaki