本番撮影のために新しく開発された技術
そして2月末についに本番撮影を迎えることになった。本番撮影自体は1日半で行われ、撮影されたカット数は約20。照明はカメラマンの跡地氏＋1名によって行われた。撮影は4Kでその後の仕上はフルHDで行われた。
この本番撮影までに撮影検証と並行して社内のエンジニアたちによってによって様々な技術の開発が進められていた。現実のカメラとUEのカメラとの同期には、UEの機能でインカメラVFXという機能をベースにUEを得意とするエンジニアが中心となりカスタマイズしたものが用いられている。
本作品のために新しく開発された機能の1つにカメラの画角に対してLEDの大きさが不足する場合、それを補ってモニターに表示するためのツールがある。カメラがLEDパネルから離れるロングショットや、LEDパネルがフレームを埋めることが難しいワイドショットでは、撮影するカメラからはLEDパネルの分しか背景が見えず、その外側にはLED STUDIOの照明機材などが映ってしまう。仕上げ時は後処理で足りない背景部分を足すことができるが、撮影現場ではカメラマンから見えていない背景を確認しないままアングルにOKを出すことになる。これを解決するために撮影された映像にリアルタイムで同期した背景CGを合成し、モニター上に映し出す機能が開発された。カメラからの映像と合成される背景とのずれを極限までなくすために苦労を重ねた立花氏は次のように振り返る。「撮影時のカメラのトラッキングデータのおかげで撮影後のマッチムーブの工程も不要になり、カメラデータとしてそのまま使えるものになりました。カメラの振りが0.1度ちがうだけでも画面上は数ピクセルずれますからね」。
UEの機能拡張①
LEDの表示がない部分をCGで拡張しリアルタイム合成する機能
カメラの画角に対してLEDの大きさが不足する場合、カメラで撮影した映像を再度UEに取り込み、UE内でLEDの範囲外のリアルタイム合成を行なっている。このおかげで、現場で最終仕上がりの絵が想像しやすくなった
▲リアルタイム合成（現場）
▲リアルタイム合成（PCキャプチャ）
▲リアルタイム合成（完成映像）
もう1つは、UEの3D空間の中のライト情報を現実のライトに反映させるという機能である。朝陽が昇るカットでは太陽が高くなりながらどんどん明るく照らしているが、絵が明るくなるのに合わせてサイドと天井のLEDライトも変化させている。森のシーンの木漏れ日では天井のライトが変化しチラチラとした動きを生み出している。
UEの機能拡張②
3D空間のライトをリアルな照明に反映させる機能
UEの空間内の情報を取得してライトの色・輝度を決めている。任意のライト演出を加えることも可能で、光のアニメーションをUEのシーケンサーで設定することもできる。この機能を使って、冒頭の日の出のシーンで徐々に明るくなるライティングなどを行なっている
-
▲UE内での空間キャプチャ。これにピンクの光の演出を行なっている
-
▲現実のライトがこのキャプチャと連動
-
▲CG空間と同じライト環境になり、ライティングの説得力が増す
-
▲ 日の出のシーンで太陽光の明るさを動的に変化させている
さらにもう1つ、開発された技術にSaveLoadツールと呼ばれるものがある。撮影現場ではテイクを色々と重ねていくうちに、その場でカメラマンや照明技師、監督の間で「さっきのライティングの方がよかった」や「やはりこっちの方が」などの議論になることが多い。こうした場合の利便性を図るため各テイクの設定を保存して、すぐに復元できる機能が開発されたわけだ。
UEの機能拡張③
SaveLoadツール
シーンの編集内容を保存、ロードする機能。1つのシーン内の複数のライティングのちがいや、カット、テイクごとの微妙なバリエーションのちがいに対応した
▲SaveLoadツールの使用画面
こうして1つ1つ、機能を充実させていけたことについては自社でスタジオをもっていることの優位性が働いたと芦田氏は考えている。「スタジオは間借りではないし、カメラマンと開発スタッフがすぐ近くにいるので、クイックに経験値を高めていくことができたかなと思います。また結果として広告案件のスピード感に合わせて最適化しているため、独特の方向に開発を進めることができています。そこはハリウッド映画での活用用途とは一致しないのではないかと思います」。
3DCGで制作された雄大な背景と鳥
本作のために制作されたCGのアセットは背景が4種類と最後に登場する鳥である。背景は最初の日の出のシーンの荒野（A）と森の中のシーン（B）、湖で水を掬うシーン（C）と最後の山の上のシーン（D）である。（A）と（D）は大規模な自然を見せるシーンでHoudiniを使ってできるだけプロシージャルなつくり方で制作している。（B）と（C）はUE用に購入したアセットをベースに手を加えて作成している。（C）ではカメラマップを使用し、遠くの山は平面で構築されている。登場する中で唯一のCGらしい存在である鳥、UEではなく質感優先でMayaのV-Rayを使用してレンダリングし、光輝く様を実現している。
3DCGで制作された背景
▲3DCGによる背景
▲各背景パターン。4ロケーション、レイアウトちがいで6シーン作成された
こうして撮影された映像は仕上工程に移された。各画面の構成や基本的な合成処理は立花氏が行い、最終的な調整は児玉氏が行なった。Nukeでグレーディングや光、鳥のCG素材のコンポジットなどが行われている。全5カットでは撮影時には足りなかったCG背景のエクステンションが行われたが、それも撮影時にすでにUEのカメラとの同期が取れているため通常のグリーンバック合成に比べると非常に容易であったという。
LED WALL撮影によるメリットはやはりコンポジットのプロセスにおいても絶大だった。立花氏は言う。「LED WALLで撮影したおかげですごくやりやすかったですね。グリーンバック合成の場合には最初から自分で全部つくっていかなくてはならず、完成映像を想像で補わなくてはいけないことも多いのですが、今回は基本的に映っている絵に合わせて何かをしていけばよかったのですから」。
さらに芦田氏も次のようにつけ加える。「馴染ませるという作業がすごく少ないですよね。人物に当てられる照明がグリーンバックで撮影したときよりもちゃんと追い込まれているという大前提があるので合わせやすいです。撮影時にモニター上で結果が見えていたこともグリーンバック撮影のときとの大きな差異になっています」。またグリーンバック撮影素材では必須となるキーイングの処理も不要になる。児玉氏は言う。「グリーンバックでもマスクのエッジの精度が良ければいいのですが、なかなかそれが難しくて髪の毛なんかは溶けちゃうじゃないですか。そういうところを気にしなくてもよい意義は大きいと思いました」。そうした技術的利点のおかげで、最終的な絵の仕上がりも良くなってくるという。
ブレイクダウン
-
▲撮影
-
▲LUT適用
-
▲背景素材
-
▲背景素材に実写素材を合成
-
▲背景素材と実写素材を調整
-
▲各素材をコンボジット
-
▲色調調整
-
▲完成
LED STUDIOの手ごたえと可能性
本作品を完成し前作で生まれた物足りなさは解消できたのだろうか。児玉氏にたずねると「LED WALLを使ってクォリティの高い絵をつくるというミッションはある程度は達成できたのかなと思っています。しかし映像としてもっと面白いこともやってみたいですね」と言う。また立花氏からは次に向かう感想が聞かれた。「完成した後になってあれもやりたい、これもやりたいっていうアイデアが浮かんだり、だったらこういう絵もつくれるよなとか、一度やってみたおかげで色々考えられることがありますね」。
この技術を取り入れた制作フローでは、CGサイドとカメラマンなど「スタッフが一緒につくっている」という感覚が強いそうだ。一方で従来の手法よりも撮影前にどういう絵をつくるかを具体的にしておかなくては混乱するという可能性もわかった。芦田氏は言う。「今回はスタジオに何回も入ることでその点を解決できたと思うのですが、実制作を考えるとそれほど何度もスタジオに入ることは難しいので、おそらく本番撮影の前に一度バーチャルロケハンを行なって微調整し、本番撮影に臨むという形にしないといけないかと思います。映像ディレクターの方が事前に脳内でイメージを設計されて、それがCGサイドにちゃんと伝わっていないと、バーチャルロケハン自体が機能しないのではないかと思います」。
完成した作品を振り返り、芦田氏は次のように語る。「この作品では映像による機能説明はやめようと思っていました。この技術は説明するのには向かないと常々感じていたのです。できた映像で良さをわかっていただいて、その裏側は実はこういうつくり方をしていたのだと驚いていただいた方が、この技術の可能性を感じてもらいやすいのではないかと思っていました。そのねらいが実現できていればありがたい限りですね」。
また、LED WALLの今後の展望について芦田氏は「リアルタイムにより近づけることができれば、もともとやっていたイベントやライブの演出にも使えるかもしれないと思っています」と言う。さらに児玉氏は「この技術が広まっていくことで多くのCG屋さんが幸せになっていくといいなと思います」と言い、引き継いで芦田氏も「この手法を使うことでこれまでの方法と制作のフローが無理やりにではなく自然に健全な方向に変わっていくと思います。今映像ディレクターでも滅茶苦茶面白がってくれている方がいらっしゃるので、そういう方達とよい成功事例をバンバン出していければいいなと思います」と語る。
LED WALLを用いた撮影の技術は合成の現場や関わる人達の有様を大きく変えるだけのものではなく、映像制作全体にも大きな影響を与えそうだ。このコロナ禍の影響下で、いまだ多くの実写撮影の作品制作が中止され、海外でのロケーションが諦められている。また多忙なタレントのロケーションのためのスケジュール確保などの問題もある。こうした現実は本来こういう作品にしたかったという思いが大きく歪められ、狭められた作品を生み出している。そんな今だからこそ、もっと自由に撮影できるこの技術がますます求められてくるのではないだろうか。
