NeRFとは、Neural Radiance Fieldsの略で、さまざまな角度から撮影した複数の写真データからシーンの3D形状をAIの力で復元する手法である。AIによって生成された3Dビューを通じて、好きな視点から対象物を見ることができる点が特徴だ。

これまでもCGWORLDでは、NeRFを活用した世界初のTVCMや、Luma AI社のプラグインを使ってUnreal Engine 5にNeRFデータを読み込む方法などを紹介している。今回は「NeRF」を活用し車広告を制作されたフコウエアラタ氏に制作の裏側を伺った。

フコウエ氏が制作した「NeRF」作品

以下のTwitter投稿内の映像が、フコウエ氏が「NeRF」を使用し制作した車広告『TOYOTA GAZOO Racing Instagram』 のリール動画である。

「NeRF」を活用する際のポイントとは？

CGW：本日はよろしくお願いいたします。まずは自己紹介をお願いいたします。


フコウエアラタ（以下、フコウエ）：映像クリエイターのフコウエアラタと申します。2015年京都造形芸術大学と京都芸術デザイン専門学校のダブルスクールを卒業し、その後NAKED Inc. に就職、現在はgradation, Inc.に所属し活動しております。よろしくお願いします。


CGW：「NeRF」の存在をどのような経緯で認知されたのでしょうか？


フコウエ：情報通な友達経由で知りました。それが大体年末年始ぐらいで、ようやく形にできるようになったんで、つい最近使ってみたという感じですね。


CGW：まだ技術自体が非常に新しいですが、認知した後どのように学び導入されたのでしょうか？


フコウエ：それこそ情報が全然なかったので、もう自分で編み出すしかなかったですね。（笑）やはり使いながら、こうやって使った方がいいのかな、こういう動きが面白いのではないかなというふうに想像しながら実験を繰り返し行いましたね。

あとは普通のカメラでは撮れないような演出ができるのが「NeRF」の持ち味だと思うので、まず「NeRF」の持ち味が生かされるシーン、カットはどんなカットであるか考えて試行錯誤していました。

GoProと「NeRF」の相性が抜群

CGW：「NeRF」を使用する前に素材となる映像を撮影する必要があると思いますが、撮影自体はどのように行われたのでしょうか？


フコウエ：撮影にはGoProを使用しました。GoProと「NeRF」の相性が非常に良いんですよね。

GoProはサイズが小さいということもあり、普通のカメラじゃ行き届かないところにも、カメラが届きます。さらにGoProは広角で撮影できます。そもそも「NeRF」のスキャンは、普通のカメラを使用する場合でも広角で撮影するので.....しかも、普通のカメラであれば、映像は16：9なんですけれども、GoProは結構スクエアに近い形で、しかも5.3Kっていう解像度で広く撮影できるのですごくマッチしてた感覚がありますね。

撮影後は、GoProで撮影した映像をLuma AIにアップロードし、NeRFデータを制作しました。


CGW：今回こだわったポイントはどこでしょうか？


フコウエ：今回の作品は、360度カメラと組み合わせながら制作しているのですが、トランジションをすごく意識しました。

実は今回の作品は、実写の映像と「NeRF」の映像の切り替えが非常に多く発生する構成になっています。それをいかにシームレスに気持ち良く繋ぐかという点を特に意識しましたね。360度カメラもある程度編集でカメラワークを後から付けれるので、360度カメラ以上にカメラワークを編集できる「NeRF」と組み合わせることで、すごく気持ちのいいトランジションを実現できたと思っています。


CGW：今回の制作で難しかったことはなんですか？


フコウエ：大きく2点あります。

1つ目は、やはりこの技術に関しての情報が無かったことです。どちらかというと3DCGや建築系の技術が好きな人が仕事ではなく趣味として使ってるケースがほとんどで、映像クリエイターが「NeRF」を取り入れてる前例はなく、自分で検証しないとわからない部分が非常に多くありました。

2つ目は、動いてるものには「NeRF」を適用できない点ですね。撮影対象が動いてるカットは360度カメラなど通常のカメラで撮影した映像、対象が止まっているカットは「NeRF」を活用し編集した映像で構成されています。止まっているものは映像として画が退屈になりがちなので、そこをカメラワークなど工夫してうまく臨場感を出すのが結構難しかったですね。止まってるものと動いてるものをうまく共存させて魅せるということは困難でしたが、最後までこだわりました。


CGW：「NeRF」は素晴らしい技術ですが、やはり動いてるものに適用できない点は技術として課題だと感じてますか？


フコウエ：そうですね、動いているものに対しても「NeRF」が適用できるようになればさらに新しい表現をつくれると思います。

ただ世界の最先端では、すでに動いてるものに対しても適用させる技術が開発されつつあるみたいです。まだまだ研究段階ではあるそうですが。近い将来どんなものに対してもどんな角度からでも撮影することができるという未来が近づいてるようです。時間の問題ですね。

カメラワークが重要

CGW：これから「NeRF」を導入する方にとって一番ハードルになるだろうなと感じる部分はどこですか？


フコウエ：やはり一番はカメラワークですね。静止しているものを見せることになるので、カメラワークによって魅力的な画角をつくることの重要性は相対的に高まります。そのような状況で撮影した素材を、理想的なカメラワークに編集していく過程をはじめからストレスなく実行するのは難しいのかなと感じます。

加えて実写とのカメラワークとの組み合わせがないと、面白い表現は数少なくなってしまいます。そして、カメラワークをつけた後の加工も大事になってきます。カラコレをしたり、被写界深度をつけたり、わざと手ぶれを入れてよりリアルに見せたり.....微妙な加工をすることで、硬さをなくすというか、違和感をなくしていく作業も重要になりますね。

「NeRF」はエフェクティブな表現に適している

CGW：前例がなく技術を検証しながらという中で、クライアントに「こういうものが作れます。」という説明、提案をおこない実際に使用に至るまでの交渉も非常に難しかったのではないでしょうか？


フコウエ：とても難しかったですね。クライアントには、NeRFを使用し趣味で映像を制作されている方の作品や、自分の検証する中で制作した作品を組み合わせて完成形のイメージを説明し、理解してもらいました。

「ここがこうなってこうなるんですよ！」みたいな感じで、そこからどう完成系に進化していくかみたいなことを伝えながら進めました。あとは「NeRF」を使用した車の広告はまだ他にないということをすごくアピールしました。「絶対これいいですよ！」という提案を何度もして、理解してもらったっていうのもありますね。

結果的に大成功でしたね。（笑）クライアントにも評価して頂けました。修正がなかったぐらいで。本当に自由に作らせて頂きました。


CGW：「こういう案件には向いてるな」であったりとか、逆に「こういう演出にはちょっと向いてないんじゃないかな」のような「NeRF」の向き不向きは感じましたか？


フコウエ：この作品を公開して、ありがたいことにたくさんのお問い合わせを頂きましたが、その中でも一番多かったのが、ミュージックビデオで使用したいというものですね。私自身「NeRF」はエフェクティブな表現をしたい場合にすごく適しているのかなと思っています。

映像としての純粋な鮮明度という点では、やはり普通のカメラには劣るので。だからじっくり見せるというよりかは、「NeRF」の長所である自由度の高いカメラワークによる画の面白さで魅せたいというニーズが多いのかなと考えています。

お問い合わせ頂いた方も、そういう意味で面白さを見せたいということを考えてらっしゃって結果的にエフェクティブな表現が比較的多いミュージックビデオ関連のお問い合わせが多いのかなと想像しています。


CGW：その他、今回の作品に対する視聴者やクライアントの反応はどうですか？


フコウエ：ありがたいことに制作の依頼が世界中から来ています。半分以上が海外からの問い合わせで、世界各国からご連絡をいただいています。


CGW：海外の問い合わせも含めてやはりミュージックビデオの案件が多い印象ですか？


フコウエ：日本はミュージックビデオ制作、海外はCM制作の案件が多いという印象ですね。海外のCMはとてもエフェクティブな印象があるので、そういった背景から「NeRF」を取り入れたいという要望が多いのかなと思っています。

日本で声をかけてくれる方々は、ミュージックビデオのディレクターさんはじめ、そもそも「NeRF」のようなエフェクティブで新しい表現技術に関心があり、リサーチしている過程で自分を見つけてくれるというケースが多いように感じています。

そう考えるとむしろ、そもそも「NeRF」という技術の認知がまだ広まっていないということも案件の偏りの要因として考えられますね。今はまだCG界隈と、そのMVのディレクター界隈ぐらいでしか認知が広まっていない印象ですね。


CGW：「NeRF」のような新しい技術をいち早く取り入れることができた要因はなんでしょうか？


フコウエ：僕は新しい技術を取り入れ、誰もやっていない新しい表現を生むこと自体を大きな目標の一つとして掲げています。

映像の案件をたくさん取ることも重要だと思いますが、それ以上に新しい表現をどれだけ生み出せるかということが自分にとっての目標です。この点が今回「NeRF」を早い段階で導入できた所以なのではないかと感じています。


CGW：NeRFの他に気になっている技術はありますか？


フコウエ：やはりAI関連の技術ですね。Gen-1、Gen-2が特に気になっています。テキストベースで映像を生成できるのには非常に驚きました。Adobe Premiere Proのテキスト編集機能搭載もそうですが、AI編集の領域が急速に進化している印象ですね。

これからもこういったAIツールはたくさん出てくると思います。流れに飲み込まれず、いかに共存していけるかが重要だと考えています。


CGW：本日はありがとうございました。


フコウエ：ありがとうございました。