コロナ禍の影響で海外や遠方でのロケーションなどが難しくなり、注目を集めているのがLED WALLを使った撮影方法である。そんな中、これまでにも画期的な技術サービスを提供してきたCyberHuman Productionsが、2020年11月にLED WALLを使ったLED STUDIOを始動させた。本稿ではそのLED STUDIOで撮影された映像作品『Become a Dreamer』のメイキングを紹介する。

TEXT＿奥居晃二 / Koji Okui
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamada

Become a Dreamer

横3.2メートル×縦4.8メートルのLEDパネルを設置したLED STUDIO

CyberHuman Productions（以下、CHP）のLED STUDIOは2020年11月に始動したLED WALLを使ったサービスである。CHPはこれまでにもVirtual Productionや3Dトラッキングの技術、移動3Dスキャンサービスなど新しい技術を用いた意欲的なサービスを提案し、人と技術を繋ぐ新たな挑戦で話題を生んできたチームである。

関連記事：ロボットと協業する「夢のワークスタイル」コンセプトムービーの裏側 〜フォトグラメトリとバーチャル撮影で変わるCG制作

LED WALL技術は現在の映像/VFX業界にあって最も進化を見せている技術ではないだろうか。従来の撮影から合成までの制作現場が大きく変わることになり、何十年も続いてきた映像合成のスキームがこれほど急激に変革を迎えることになったのも、この技術の出現によるものと言える。そこで使われている技術はハイダイナミックレンジの大型ディスプレイパネル、リアルタイムグラフィックス、カメラの動きをリアルタイムにディスプレイ表示にフィードバックする技術の進化と融合によるものである。現在のLED STUDIOのシステムはサムソン社製の横3.2メートル×縦4.8メートルのLEDパネルを背景とし、左右上3方向をLEDライトを配列した照明で覆い、これらをリアルタイム制御するシステムである。

本作の企画は2020年の12月中頃から始まった。まずLED STUDIOの立ち上げ後の作品第一弾として、D.Leagueに参加するCyberAgentのダンスチームLegitのPVが制作された。

CyberAgent Legit in "Virtual Shibuya" ｰ legitimate (feat. Legit)

このPVでLED STUDIOのアウトプットする映像のクォリティの高さを示すことはできたが、今回プロデュースを務めた取締役の芦田直毅氏には物足りない思いが残ったという。「この作品の場合、背景は3Dデータではなくて2Dの映像をはめ込む手法でつくっていたのですが、これではまだ物足りないなと。カメラワークが入ってくると平面的な絵であることがわかるので映像演出が限られるためです。たしかにスピーディに撮影することができたものの、表現としてはもう少しよいものがつくれるのではないかと感じていました」。

• 
• 芦田直毅／Naoki Ashida
  CyberHuman Productions、取締役

その思いはCG制作の現場を支えたCGスーパーバイザーの児玉秀行氏、デジタルアーティストの立花 悠氏も同様だったようで、次の作品ではLED WALLの真価を発揮しようと思いを語り合ったそうだ。

• 
• 児玉秀行／Hideyuki Kodama
  CyberHuman Productions、クリエイティブディレクション・CG

• 
• 立花 悠／Yu Tachibana
  CyberHuman Productions、デジタルアーティスト

次の開発を始める上で芦田氏の頭の中にはある目標があった。「広告映像で使えるものにしたいなと。そのためにはバストアップや膝上だけではなく全身を写せるなど広告表現として成立する機能を開発する必要がありました。もう1点、映画などと比べて広告制作では企画が固まってから配信まで1ヵ月以内と短い期間で完成させないといけませんから、その制作タームにはまるワークフローを確立させること。この2点が実現できればあとは好きなことやっていいですよと（笑）」。

そうして、2020年の年末に児玉氏からの演出プランにゴーサインが出された。

目指す演出を実現するため、問題点を洗い出す

制作時は、まず3Dのアセットを作成しUnreal Engine（以下、UE）で表示できるように進めながら、撮影用カメラとUE上のカメラを同期する手法や同じくライトを同期する方法を開発することからはじめられた。児玉氏は当時のことを「最初は手探りでしたね。ライトの出力方法が間違っていたとか、センサーがずれてしまっていたことがわかったなど、根深い問題が見つかったので、それを1つ1つクリアしていくことが大変でした」と振り返る。

2021年1月から2月頭にかけてこうしたテストを進めていたが、この頃はまだ制作方法の見通しが立たず児玉氏、立花氏は頭を抱える日々だったようだ。芦田氏によれば「検証期間で2人は一度絶望を感じていたようです（笑）」とのこと。児玉氏は「できると思ってこういう演出企画を考えたのですが、いざ試してみようとすると色々開発しないといけないことがわかって、それを開発して検証してということを繰り返していました」と言う。

本プロジェクトチームのメンバーとして参加したのは上述のメンバーに加えて背景の3Dアセット制作チーム、そして最も連携をとらなくてはいけない役割のカメラマンに跡地淳太朗氏。跡地氏はCyberAgentグループ所属で、2020年4月に「桐島ローランド2号プロジェクト始動！」という3Dスキャンの技術を生かした映像制作時に児玉氏と協働している。またそのほかに、ソフトウェア開発のためのエンジニアとスタジオ周りハードウェアのエンジニアが数名参加。演出やアート面の要望とエンジニアとの橋渡しは、主に立花氏が引き受けたという。

• 
• 跡地淳太朗／Juntaro Atochi
  カメラマン

桐島ローランド2号プロジェクト始動！

本作の演出を担当した児玉氏に、作品の世界観について聞くと次のように語ってくれた。「ビジュアルについては普通の映像企画とは異なり、まずUEでリアルにつくれる背景であり、かつ撮影に行けそうにないところをつくろうという順番で考えました。結果として僕自身が大好きな雄大できれいな自然を描くことになりました。例えばアイスランドだったりウユニ塩湖だったり、そういうCGできれいにかつリアルにつくれそうなシチュエーションを集めてストーリーに組み込んでいきました」。

これらのリファレンス画像はカット割りのような形で並べられた。さらに次の段階として背景の3Dアセットを用いながらLED STUDIOで実際に撮影するアングルハントが行われた。ここでは本編に入っていないようなカットもたくさん試された。この段階で全カット分のカメラワークが決められ、各カットのライティングやフォグの加減も調整されている。検証の結果発見した問題をクリアして、またスタジオで撮影検証を行うということが繰り返された。

• 
• 

キャスティングについては背景が海外の大自然のイメージだったので外国籍の人で、グリーンバックでは合成が難しいとされるブロンドの女性が起用された。また衣装はシンプルかつミステリアスな雰囲気を目指すことになった。児玉氏は振り返る。「最初は衣装もグリーンバックだと抜きにくい素材にしようかと考えていましたね、あえて緑の服を着せるとか。あとはサングラスに映った夕陽を写すとか。なんですが、やり過ぎると現実的になりすぎて面白くないということになり、最終的な雰囲気に落ち着きました」。

撮影検証の段階からはカメラマンの跡地氏も参加した。跡地氏からは「めっちゃ楽しいですね。そろそろこういうのをやりたかったんです」という言葉も聞かれたそうだ。カメラのアングルや水を掬う場面のアイデア、CG側の想定とは異なるアングルを提案されるなど、CGスタッフだけではない意見を吸収することで作品がより良くなったということだ。

次ページ：
本番撮影のために新しく開発された技術

[[SplitPage]]

本番撮影のために新しく開発された技術

そして2月末についに本番撮影を迎えることになった。本番撮影自体は1日半で行われ、撮影されたカット数は約20。照明はカメラマンの跡地氏＋1名によって行われた。撮影は4Kでその後の仕上はフルHDで行われた。

この本番撮影までに撮影検証と並行して社内のエンジニアたちによってによって様々な技術の開発が進められていた。現実のカメラとUEのカメラとの同期には、UEの機能でインカメラVFXという機能をベースにUEを得意とするエンジニアが中心となりカスタマイズしたものが用いられている。

本作品のために新しく開発された機能の1つにカメラの画角に対してLEDの大きさが不足する場合、それを補ってモニターに表示するためのツールがある。カメラがLEDパネルから離れるロングショットや、LEDパネルがフレームを埋めることが難しいワイドショットでは、撮影するカメラからはLEDパネルの分しか背景が見えず、その外側にはLED STUDIOの照明機材などが映ってしまう。仕上げ時は後処理で足りない背景部分を足すことができるが、撮影現場ではカメラマンから見えていない背景を確認しないままアングルにOKを出すことになる。これを解決するために撮影された映像にリアルタイムで同期した背景CGを合成し、モニター上に映し出す機能が開発された。カメラからの映像と合成される背景とのずれを極限までなくすために苦労を重ねた立花氏は次のように振り返る。「撮影時のカメラのトラッキングデータのおかげで撮影後のマッチムーブの工程も不要になり、カメラデータとしてそのまま使えるものになりました。カメラの振りが0.1度ちがうだけでも画面上は数ピクセルずれますからね」。

UEの機能拡張①
LEDの表示がない部分をCGで拡張しリアルタイム合成する機能

カメラの画角に対してLEDの大きさが不足する場合、カメラで撮影した映像を再度UEに取り込み、UE内でLEDの範囲外のリアルタイム合成を行なっている。このおかげで、現場で最終仕上がりの絵が想像しやすくなった

▲リアルタイム合成（現場）

▲リアルタイム合成（PCキャプチャ）

▲リアルタイム合成（完成映像）

もう1つは、UEの3D空間の中のライト情報を現実のライトに反映させるという機能である。朝陽が昇るカットでは太陽が高くなりながらどんどん明るく照らしているが、絵が明るくなるのに合わせてサイドと天井のLEDライトも変化させている。森のシーンの木漏れ日では天井のライトが変化しチラチラとした動きを生み出している。

UEの機能拡張②
3D空間のライトをリアルな照明に反映させる機能

UEの空間内の情報を取得してライトの色・輝度を決めている。任意のライト演出を加えることも可能で、光のアニメーションをUEのシーケンサーで設定することもできる。この機能を使って、冒頭の日の出のシーンで徐々に明るくなるライティングなどを行なっている

• 
  
  

  ▲UE内での空間キャプチャ。これにピンクの光の演出を行なっている

• 
  
  

  ▲現実のライトがこのキャプチャと連動

• 
  
  

  ▲CG空間と同じライト環境になり、ライティングの説得力が増す

• 
  
  

  ▲ 日の出のシーンで太陽光の明るさを動的に変化させている

さらにもう1つ、開発された技術にSaveLoadツールと呼ばれるものがある。撮影現場ではテイクを色々と重ねていくうちに、その場でカメラマンや照明技師、監督の間で「さっきのライティングの方がよかった」や「やはりこっちの方が」などの議論になることが多い。こうした場合の利便性を図るため各テイクの設定を保存して、すぐに復元できる機能が開発されたわけだ。

UEの機能拡張③
SaveLoadツール

シーンの編集内容を保存、ロードする機能。1つのシーン内の複数のライティングのちがいや、カット、テイクごとの微妙なバリエーションのちがいに対応した

• 
• 

▲SaveLoadツールの使用画面

こうして1つ1つ、機能を充実させていけたことについては自社でスタジオをもっていることの優位性が働いたと芦田氏は考えている。「スタジオは間借りではないし、カメラマンと開発スタッフがすぐ近くにいるので、クイックに経験値を高めていくことができたかなと思います。また結果として広告案件のスピード感に合わせて最適化しているため、独特の方向に開発を進めることができています。そこはハリウッド映画での活用用途とは一致しないのではないかと思います」。

3DCGで制作された雄大な背景と鳥

本作のために制作されたCGのアセットは背景が4種類と最後に登場する鳥である。背景は最初の日の出のシーンの荒野（A）と森の中のシーン（B）、湖で水を掬うシーン（C）と最後の山の上のシーン（D）である。（A）と（D）は大規模な自然を見せるシーンでHoudiniを使ってできるだけプロシージャルなつくり方で制作している。（B）と（C）はUE用に購入したアセットをベースに手を加えて作成している。（C）ではカメラマップを使用し、遠くの山は平面で構築されている。登場する中で唯一のCGらしい存在である鳥、UEではなく質感優先でMayaのV-Rayを使用してレンダリングし、光輝く様を実現している。

3DCGで制作された背景

▲3DCGによる背景

• 
• 

• 
• 

• 
• 

▲各背景パターン。4ロケーション、レイアウトちがいで6シーン作成された

こうして撮影された映像は仕上工程に移された。各画面の構成や基本的な合成処理は立花氏が行い、最終的な調整は児玉氏が行なった。Nukeでグレーディングや光、鳥のCG素材のコンポジットなどが行われている。全5カットでは撮影時には足りなかったCG背景のエクステンションが行われたが、それも撮影時にすでにUEのカメラとの同期が取れているため通常のグリーンバック合成に比べると非常に容易であったという。

LED WALL撮影によるメリットはやはりコンポジットのプロセスにおいても絶大だった。立花氏は言う。「LED WALLで撮影したおかげですごくやりやすかったですね。グリーンバック合成の場合には最初から自分で全部つくっていかなくてはならず、完成映像を想像で補わなくてはいけないことも多いのですが、今回は基本的に映っている絵に合わせて何かをしていけばよかったのですから」。

さらに芦田氏も次のようにつけ加える。「馴染ませるという作業がすごく少ないですよね。人物に当てられる照明がグリーンバックで撮影したときよりもちゃんと追い込まれているという大前提があるので合わせやすいです。撮影時にモニター上で結果が見えていたこともグリーンバック撮影のときとの大きな差異になっています」。またグリーンバック撮影素材では必須となるキーイングの処理も不要になる。児玉氏は言う。「グリーンバックでもマスクのエッジの精度が良ければいいのですが、なかなかそれが難しくて髪の毛なんかは溶けちゃうじゃないですか。そういうところを気にしなくてもよい意義は大きいと思いました」。そうした技術的利点のおかげで、最終的な絵の仕上がりも良くなってくるという。

ブレイクダウン

• 
  
  

  ▲撮影

• 
  
  

  ▲LUT適用

• 
  
  

  ▲背景素材

• 
  
  

  ▲背景素材に実写素材を合成

• 
  
  

  ▲背景素材と実写素材を調整

• 
  
  

  ▲各素材をコンボジット

• 
  
  

  ▲色調調整

• 
  
  

  ▲完成

LED STUDIOの手ごたえと可能性

本作品を完成し前作で生まれた物足りなさは解消できたのだろうか。児玉氏にたずねると「LED WALLを使ってクォリティの高い絵をつくるというミッションはある程度は達成できたのかなと思っています。しかし映像としてもっと面白いこともやってみたいですね」と言う。また立花氏からは次に向かう感想が聞かれた。「完成した後になってあれもやりたい、これもやりたいっていうアイデアが浮かんだり、だったらこういう絵もつくれるよなとか、一度やってみたおかげで色々考えられることがありますね」。

この技術を取り入れた制作フローでは、CGサイドとカメラマンなど「スタッフが一緒につくっている」という感覚が強いそうだ。一方で従来の手法よりも撮影前にどういう絵をつくるかを具体的にしておかなくては混乱するという可能性もわかった。芦田氏は言う。「今回はスタジオに何回も入ることでその点を解決できたと思うのですが、実制作を考えるとそれほど何度もスタジオに入ることは難しいので、おそらく本番撮影の前に一度バーチャルロケハンを行なって微調整し、本番撮影に臨むという形にしないといけないかと思います。映像ディレクターの方が事前に脳内でイメージを設計されて、それがCGサイドにちゃんと伝わっていないと、バーチャルロケハン自体が機能しないのではないかと思います」。

完成した作品を振り返り、芦田氏は次のように語る。「この作品では映像による機能説明はやめようと思っていました。この技術は説明するのには向かないと常々感じていたのです。できた映像で良さをわかっていただいて、その裏側は実はこういうつくり方をしていたのだと驚いていただいた方が、この技術の可能性を感じてもらいやすいのではないかと思っていました。そのねらいが実現できていればありがたい限りですね」。

また、LED WALLの今後の展望について芦田氏は「リアルタイムにより近づけることができれば、もともとやっていたイベントやライブの演出にも使えるかもしれないと思っています」と言う。さらに児玉氏は「この技術が広まっていくことで多くのCG屋さんが幸せになっていくといいなと思います」と言い、引き継いで芦田氏も「この手法を使うことでこれまでの方法と制作のフローが無理やりにではなく自然に健全な方向に変わっていくと思います。今映像ディレクターでも滅茶苦茶面白がってくれている方がいらっしゃるので、そういう方達とよい成功事例をバンバン出していければいいなと思います」と語る。

LED WALLを用いた撮影の技術は合成の現場や関わる人達の有様を大きく変えるだけのものではなく、映像制作全体にも大きな影響を与えそうだ。このコロナ禍の影響下で、いまだ多くの実写撮影の作品制作が中止され、海外でのロケーションが諦められている。また多忙なタレントのロケーションのためのスケジュール確保などの問題もある。こうした現実は本来こういう作品にしたかったという思いが大きく歪められ、狭められた作品を生み出している。そんな今だからこそ、もっと自由に撮影できるこの技術がますます求められてくるのではないだろうか。