実写撮影をリアルスケールのオープンセットで実施。そこへUE4ベースのエンバイロンメントを組み合わせてファンタスティックな渋谷スクランブル交差点を創出。
※本記事は月刊「CGWORLD + digital video」vol. 274(2021年6月号)からの転載となります。
TEXT_石井勇夫(ねぎぞうデザイン)
EDIT_沼倉有人 / Arihito Numakura(CGWORLD)、山田桃子 / Momoko Yamda
©乃木坂46LLC
乃木坂46『Wilderness world』MV
Director / Editor:東市篤憲、Director of Photography:JUNPEI SUZUKI、Colorist:亀井俊貴、Gaffer:穂苅慶人、VFX Supervisor:桑原雅志、Finish Editor:格内俊輔、VFX Production Company:Visualman Tokyo、Rotoscope:Annex Digital、Production Company:North River、GEEK PICTURES
youtu.be/dvF5g1rvt-c
©乃木坂46LLC
国内の主要なエリアを3Dデータ化。実写同等のクオリティでリアルに再現。「デジタル・リアリティー・ロケーション」
www.digitalrealitylocation.com
運営会社:ギークピクチュアズ、ビジュアルマントーキョー
e-mail:info@digitalrealitylocation.com
(担当:高玉/西)
スクランブル交差点をリアルとバーチャルで再現
ビジュアルマントウキョー(以下、VMT)がVFXを手がけた、乃木坂46『Wilderness world』MV。無人の渋谷スクランブル交差点で踊るシーンが印象的だが、これには「Digital Reality Location」(以下、DRL)というサービスが使われている。DRLはVMTがギークピクチュアズと共同で開発・運営しており、国内の主要なエリアを3Dデータ化し、実写同等のクオリティでリアルに再現することを目指している。その第1弾となるのがスクランブル交差点周辺エリアというわけだ。「昨年は(1回目の)緊急事態宣言発令を受け、実写撮影が行えない時期が続きました。また、スクランブル交差点を無人の状態で撮影するといった事実上不可能なシチュエーションでもデジタル空間なら気兼ねなく撮影できます。本作では、DRL向けに制作した3DCG背景と、足利市内に組み立てられたスクランブル交差点のオープンセット(足利スクランブルシティスタジオ)で撮影した実写プレートを用いることで一体感のあるビジュアルに仕上げることができました」と、本作のVFXスーパーバイ ザーを務めた桑原雅志氏は語る。
<左上>VFXスーパーバイザー桑原雅志氏/<右上>左から、CGデザイナー 長塚創氏、CGデザイナー 上山雅樹氏、CGデザイナー 髙田海羽琉氏、CGデザイナー 山野幸一郎氏/<左下>CGプロダクションマネージャー 槇野貴紘氏(以上、ビジュアルマントウキョー visualman.tokyo)/<右下>フィニッシュエディター格内俊輔氏(CONNECTION cnct.work)
本作の総カット数は229、そのうちVFXが介在するカットは116とのこと。昨年10月から制作がスタートし、最終的な納品は11月下旬だったというが、限られた期間でハイクオリティなビジュアルに仕上げる上でワークフローを取りまとめたのが、フィニッシュ・エディターを務めた格内俊輔氏であった。「今回は、コストパフォーマンスとスピードを重視したワークフローを心がけました」(格内氏)。むやみに高品質を目指すのではなく、監督の演出意図を的確に汲み取り、そこに求められる映像表現としての要素を限定することで、効率の良いワークフローが追求された。これを実践する上では、CG制作側からの目線だけではなく、実写撮影や演出など複数の観点からCGの利点と欠点を見定めた上で具体的な作業アプローチを決めていく必要がある。例えば、序盤と中盤に登場する荒野のシーン。撮影後に追加された設定のため、格内氏は3DCGではなく360度HDRIを用いたカメラマップで作成する手法を提案(後述)。こうした姿勢こそが格内氏の「コスパ重視」なのだ。
<1>プリプロ&実写撮影
良質な実写プレートと大量のロト&トラッキング
乃木坂46メンバーたちの実写撮影は、「足利スクランブルシティスタジオ」(ashikaga-scramble.com)で行われた。同所は、6,585㎡の敷地にリアルサイズでスクランブル交差点を再現したオープンセットであり、美術制作会社として高名なヌーヴェルヴァーグによって、JR渋谷駅の改札や道路標識のほか、道路脇の落書きなど細部まで精巧に再現されているのが特長だ。交通量が多く撮影が困難なスクランブル交差点シーンの撮影を忠実に再現できるため、映画『サイレント・トーキョー』(2020)やNetflixオリジナルシリーズ『今際の国のアリス』(2020)などの撮影にも利用されている。
本作の実写撮影は、昨年10月上旬に行われた。実際のスクランブル交差点ではなく、オープンセットのため大型の照明機材を設置したり、散水が行えるため、より効果的に意図した雰囲気をつくりだせるという。特に後半に登場する夜シーンは、マゼンダやシアンのライトによるサイバーなビジュアルだが、これを実際のスクランブル交差点でセッティングするのは難しいだろう。なによりも交通や通行人を気にせずにテイクを重ねることができる利点は大きい。実写撮影には、桑原氏、CGプロダクションマネージャーを務めた槇野貴紘氏、VMTのCGデザイナー1名の3名が立ち会い、HDRI用の写真撮影やリファレンスの収集、カメラ位置等の細かな計測を行なったという。
リアルな撮影が行える足利スクランブルシティスタジオだが、課題もあるという。セットの周辺は、合成を前提としたグリーンスクリーンで覆われた壁が建てられているのだが、強い風が吹く土地柄のため壁の高さは3m程度しかない。そのため、演者をはじめとする被写体が増えるほどロトスコープとトラッキング作業が増量し、難易度も高くなるのだ。「今回はダンスパフォーマンスですし、多人数を同時に撮影するためモーションブラーが多く、髪の毛をはじめとするロトスコープ作業がとにかく大変でした(苦笑)。マーカーが隠れてしまうフレームも多いため、トラッキング作業にも苦労しました」(桑原氏)。ロト作業については、大半をAnnex Digitalをはじめとする外部パートナーに委託し、VMTのメンバーはロトのブラッシュアップと3Dトラッキング作業に注力することによって限られた期間で求めるクオリティに達することができたそうだ。
演出コンテ
▲演出コンテの一部
実写撮影の様子
▲日中の撮影
▲夜の撮影
撮影現場で収集したリファレンス
昼間のHDRI素材
夜のHDRI素材
計測
[[SplitPage]]<2>ショットワーク~昼シーン~
UE4で構築された3Dシーンを活用
本作には、現実のスクランブル交差点周辺を忠実に再現した昼シーン、近未来SF的なビジュアルの夜シーン、そして『荒野行動』とのタイアップを象徴する荒野シーンという3種類のシーンが描かれる。前述した通り、ベースとなるスクランブル交差点周辺の3Dシーンは、DRLサービス向けに制作されたものだ。DRLは街角や観光スポットなど、実在の場所を完全な360度CGで再現したデータを利用者の要望に合わせて加工・編集し提供するサービスであり、今後は銀座や歌舞伎町などの都内の名所を中心とした全国のロケーションのほか、架空の世界など創造性のあるロケーションも提供していく予定だという。DRL向けの3Dシーンは、映像コンテンツ用途だけでなく、VR等のインタラクティブコンテンツ用途にも対応できるようにUnreal Engine 4(以下、UE4)でシーンが構築されているのが特徴だ。そのため、本作向けにUE4からフルHDサイズでレンダリングする際も1フレーム1秒程度で済んだというから驚きである。
ベースとなったDRL向けUE4シーンの制作から、本作のショットワークまでをリードしたのはVMTの熊本スタジオである。熊本スタジオは現在、10年以上のプリレンダーのCG制作経験を有する山野幸一郎氏と長塚 創氏、そして生まれ育った熊本でCG制作に携われるとVMTの門を叩いた業界1年目の髙田海羽琉氏と上山雅樹氏という4名で構成されているとのこと。「昨年6月からDRL用のUE4シーンの制作を進めていたところ、10月に本プロジェクトに並行して取り組むことになりました。まずはUE4からのデータ出力方法の確立から着手したのですが、髙田と上山が積極的に様々な検証を行なってくれました」(長塚氏)。スクランブル交差点のUE4シーンは、QFRONT側の約180度のエリアを対象に、奥行きについては手前から道路が見た目として続く領域は3Dベースで作成されているとのこと。「本作向けの調整としては、許可が下りなかった看板等の作り替え、樹木の追加。建物のガラス面については、槇野さんに現地の様子を撮影してもらった写真をリファレンスに作成しました。3ds MaxなどのDCCツールでは当たり前に行える操作が、UE4ではひと工夫しないとできなかったりと、不慣れなこともありましたが、良い経験を得ることができました」(山野氏)。今回は、PFTrackからトラッキングデータを直接UE4に読み込むことができなかったため3ds Max経由でインポートしたりしたそうだが、ノウハウが蓄積されていけば今後はより効率的に制作できることだろう。
交差点周辺のUE4シーン
本作の背景制作でベースとなった「NEXT G」第1弾プロジェクト「デジタル・リアリティ・ロケーション」用の渋谷駅スクランブル交差点周辺のUE4シーン
▲SHIBUYA 109側
▲QFRONT側。見た目で道路が奥へと続くエリアは3Dベースで作成されている
トラッキング作業のながれ
3ds Maxによる作業例
▲有機的な形状のプロップ制作。Reality Captureを使用した
▲現実の渋谷の街を計測し、点群データ(Point Cloud)を作成
▲点群データをビルの正確な位置情報として使用
UE4によるルックデヴとライティング作業
昼シーンのコンポジット
▲Flameによるフィニッシング作業が施された完成形
[[SplitPage]]<3>ショットワーク~荒野&夜シーン~
画づくりのコンセプトは"動くグラフィック"
先述の通り、荒野シーンは実写撮影後に追加が決まった。そこで格内氏は、荒野のエンバイロンメントを3DCGでイチから作成するのは非現実的だと判断。VMTには昼と夜シーンのショットワークに専念してもらい、荒野シーンについては格内氏が自作した360度HDRIライブラリを用いたカメラマップで仕上げられた。「いわゆる絶景と呼ばれる自然景観については、日頃からHDRI写真を収集するようにしています。ただストックするだけでは使い勝手が悪いので、明るさや太陽などキーライトの光源の位置を合わせておき、360度パノラマの連番としてセットアップされたライブラリとしてまとめています。今回もこのライブラリを利用することで、荒野シーンを"コスパ良く"つくることができました」(格内氏)。なお、夜シーンで印象的なネオンサインのエフェクトは、VMTによってCinema 4D+Redshiftで作成されたものである。
格内氏によるフィニッシング作業(画づくり)のコンセプトは、"動くグラフィック"であった。「馴染ませない美学とでも言いますか、背景に対して人物の露出を意図的に1~2段階上げることで印象的なビジュアルになることを目指しました。ただし、フォーカスの調整や発光エフェクトを加える際はフィジカルベースの処理を施すことでリアルさとファンタスティックさを両立させるようにしました」(格内氏)。なお、VMTからパブリッシュされたプレートは、UE4の仕様との兼ね合いでコンポジットされた状態だったため、格内氏はAIによるマスク生成サービスを利用して、人物のマスクを作成。これにより"動くグラフィック"を実現させた。さらに、実写プレートが4Kサイズであることを活かした、200~300%までブローアップしたカットも多数登場するのだが、この超解像度処理にもAIサービスが利用された。「ここ数年は、仕事の2~3割はAIに助けられています。AIは人間から仕事を奪うものではなく、よりクリエイティブな作業に専念するためにも必要なものだと考えています。UE4によるリアルタイムCGやAIサービスの活用は、ハリウッドのような大規模制作が難しい日本ならではの強みを活かした映像制作を発展させる上でも有効だと思います」(格内氏)。
背景バリエーションの検証
Flameによる360度HDRIを使用した背景バリエーションの検証
▲HDRI写真はNuke SphericalTransformでHDRIから地面のみを分離して平面化した素材を地面に配置しつつ、同写真を半球に巻き付けた
▲演者と仮合成した検証例
AIによるアップコンバート機能「TopazVideoEnhanceAI」
FlameによるVFX制作では、AIによるアップコンバート機能「TopazVideoEnhanceAI」を活用した。制作時、拡大率が200~300%になる素材に対して、全てをオリジナルの4Kで作業すると作業コストがかかる。そのため、いったんHDにダウンコンバートし、それを本機能でアップコンバートすることで、素材の特徴を保つ、あるいはオリジナルの4K解像度を超えたクオリティを出すことができる
▲オリジナル素材
▲左から、4Kから等倍で切り出したもの(本来はこれで作業するのが望ましいとされる)、HDに落としたものをFlameのリサイズ機能でアップコンバートしたもの、同HD素材をTopazVideoEnhanceAIの「アルテミス」モードでアップコンバートしたもの(特徴はデノイズされる)、同HD素材をTopazVideoEnhanceAIの「ガイア」モードでアップコンしたもの(特徴はノイズが残るがアルテミスよりシャープになる)
▲人物のマスク生成にもAIを活用。FlameのMachine Learning Human Body Extractionノードにより高精度なマスクが作成できる
夜のシーン
夜のシーンでは、レンダリングにRedshiftを使用。リアルタイムでCinema 4D上の画を見ながら作業し、レンダー素材はNuke上でCryptomatteマスクを使い微調整。本作では、普段Nukeで行う調整作業の大部分を3Dで作業したという
▲ビル+ネオン
▲NukeではCryptomatteでマスク処理
夜のシーンのコンポジット