これだけは知っておきたい知識を総まとめ！　LEDウォールを用いたバーチャルプロダクション概論

2019年前後から業界の口の端に上るようになった、バーチャルプロダクション。現在ではこの言葉には様々な要素が集約されつつある印象だが、ここでは言葉の定義を紐解きつつ特にLEDウォールによるバーチャルプロダクションにフォーカスして解説する。特定のソリューションに依らない解説を基本とするので、スクラッチ開発の参考にもなるはずだ。

※本記事は月刊「CGWORLD + digital video」vol. 279（2021年11月号）からの転載となります。

TEXT＿岡田太一（sync.dev）
EDIT＿藤井紀明 / Noriaki Fujii（CGWORLD）、山田桃子 / Momoko Yamda

バーチャルプロダクションの種類

バーチャルプロダクションという言葉は、話者によってどういった手法・定義の話をしているのかが一定しないため、言葉の整理をしておかないと会話がすれちがう場合がある。ここでは手法を軸に、その種類を整理してみる。

岡田太一
sync.dev / Technical Director
Rewrite / Visualization Artist

Digital Artistからキャリアを開始。CM業界のポストプロダクションを経て、現在はビジュアルクリエイティブ領域にてテクニカルディレクションを担当。得意な分野はビデオ信号とリアルタイム合成、トラッキング関連など。sync.devでは絶賛人材募集中。
www.sync.dev

■グリーンバック

グリーンバックの歴史は古く、良い意味で枯れた技術である。映画制作からTVCMまで多数の実績があり、ポストプロダクションだけでなく撮影・照明・美術（以下、撮照美）含め現場スタッフにノウハウが蓄積されているため、仕上がりのクオリティや作業量について予想を立てやすいと言えるだろう。

グリーンバックの特性として、照明条件に厳しく、収録中のライティング変更には困難を伴う。また、特有のスピルを除去するために色情報を犠牲にしている部分があるため、リアルタイムでの合成クオリティでは他の手法に一歩譲る。ただし、現場ではあくまでもプリビズに徹してポストプロダクションに時間をかけることで、合成クオリティについては担保できる。これは既存の映像制作ワークフローとの相性が良い側面だ。そのほかの優位点としては、技術的に熟れていることから、安定性では他の手法より一歩抜きん出ていることが挙げられる。中でもフレームレートが安定していることと、マルチカメラへの対応が容易なことから、ライブコンテンツにも適している。

■LEDウォール

LEDウォールは現在最も熱い技術である。大規模な開発を行なっている技術者の間では、LEDウォールよりLEDボリュームという言葉の方が使われている印象があるが、本稿においては一般に流通しているLEDウォールという呼称をそのまま用いる。この方式のメリットとしては、LEDウォール自体が照明の役割を兼ねるため、照明演出の自由度が高く、リアルタイム合成のクオリティが非常に高いことが挙げられる。実質的に収録＝合成完了となるため、制作期間の劇的な短縮も可能である。逆に言うと、後から修正する場合、マスクを切る必要があるため、できるだけ修正が発生しないような準備が大切になってくる。なお、投影されているCGを目視で確認できるため、撮照美など現場スタッフや演者さんから見たときに「今何が起こっているのか」がわかりやすいということにもなる。これは隠れたメリットと言えよう。

スタジオ全体を覆うようなLEDウォールは、物理的なサイズに比例して必要ピクセル数も横8K、16Kと巨大なものになっていく。そのため、LEDウォールを下手・上手などで分割し、複数台のPCでそれらを分担していくかたちをとる。各PCのマシンパワーへの要求が高く、全体としてフレームレートを安定させるのはなかなか骨が折れる。また、マルチカメラへの対応は技術的に困難であり、ライブコンテンツには向かない。LEDウォールでのバーチャルプロダクションは、ポスプロに頼らず、できるだけ現場でCGの修正を行いながら撮影していくのが基本になるので、カットごとに撮影を行う映画やTVCMなどの映像作品に適している。

■ボリューメトリックキャプチャ

ボリューメトリックキャプチャは、昨今各社がR＆Dを行なっている、LEDウォールよりもさらに未来志向の技術となる。視点や演出の自由度が最も高く、VRへも容易に対応できる。収録後のデータはフルCGとなるため、編集自由度が高いのもメリットのひとつだ。各社で開発内容が異なるため一概には言えないが、おしなべてマシンパワーに対する要求が高い。場合によってはリアルタイムでの動作も可能だが、収録に比べるとキャプチャ精度をかなり落とす必要がある。

以上のように、バーチャルプロダクションとひと口に言っても、これら別個の技術が想定される。話者がどの技術の話をしているのか、すれちがいが起きないようにしたい。

　
合成クオリティ
照明演出の自由度
マルチカメラ（多視点対応）
ライブコンテンツ（生放送）
収録後の修正
コスト

グリーンバック
△
×
◯
◎
◯
◯

LEDウォール
◎
◎
△
△
△
△

ボリューメトリックキャプチャ
◯
◎（リライティング前提）
◎（バーチャルカメラ前提）
△
◎
△

インカメラVFXとは何か

ここからは、前述のバーチャルプロダクションの中から、LEDウォールに焦点を絞る。LEDウォールによるバーチャルプロダクションは「インカメラVFX」と呼ばれる技術がその中核を担っている。インカメラVFX的な技術は以前から存在しており、LEDウォールでなくても（例えばプロジェクタなどでも）実現できる手法だが、昨今の狭ピッチ高精細LEDの登場と高輝度によるHDRの実現により、一気に花開いた感がある。インカメラVFXを端的に表すと、「実際のカメラで撮影しただけで合成済みの完パケを得られる」ことを目指した技術と言える。具体的な実装としてはいくつかのソリューションがあるが、どれもおおむね同じ概念で動いており、工程を抽象化してまとめると次のようになる。

【1】実写カメラの位置をリアルタイムにトラッキング

▲まず、トラッカーを用いて原点位置からの相対的なカメラ位置をトラッキングする。その際、専用のカメラトラッカーであれば、フォーカスやズーム、レンズ歪みなどの情報を複数のPCに同時に送出できる

【2】CGカメラ（A）をトラッキング情報にリンク

▲【1】で得たトラッキング情報をレンダリングPCで受け、CG上のメインカメラ（A）をトラッキング情報にリンク。この時点でCGカメラ（A）が現実のカメラと相対的に同じ動きをするようになる

【3】CGカメラ（A）のレンダリング結果をテクスチャとして一時保存

▲【2】のカメラ視点をレンダリングし、RenderTargetなどをメモリ上にテクスチャとして一時保存。その際、現実のカメラのFOVよりも少しだけ広めに撮っておくと後々使い勝手が良い

【4】バーチャルLEDスクリーンにテクスチャを投影

▲CGカメラ（A）にリンクしたバーチャルプロジェクタから、バーチャルLEDスクリーンに【3】のテクスチャを投影する。CG上で【2】とは別のステージを用意し、現実のLEDウォールと同等のウォールをCG上で再現しておく。CG LEDウォールに対して相対的な原点を仮定し、そこを基準にCGカメラ（A）とリンクして動くバーチャルプロジェクタを設定。その位置からカメラマップ的にCG LEDウォールに【3】のテクスチャを投影する

【5】CGカメラ（B）で再撮影し座標変換を行う

▲バーチャルLEDスクリーンと正対したCGカメラ（B）で再撮影する。【4】のCG LEDウォールを、正対位置からOrthographicなCGカメラ（B）で再撮影する。これは座標変換で実現しても良い

【6】CGカメラ（B）でのレンダリング結果を外部出力

▲【5】のCGカメラのレンダリング結果を、RenderTargetなど、メモリ上にテクスチャとして一時保存し、GPU、SDIボードなどで外部出力する

【7】出力結果をLEDウォールに投影し実写カメラで撮影

▲【6】の出力結果を実際のLEDウォールに投影し、【1】の実写カメラで撮影する
※画像はイメージです　© AOTO ELECTRONICS

【1】～【7】の工程を毎フレームくり返すことで、現実のカメラを動かすとLEDウォール内のCGがリンクして動くというバーチャルプロダクションの基本機能が実現する。解説はそこそこ抽象化しているため、具体的な実装ではもっと考慮すべきことがあるが、これらを理解していれば、ゲームエンジンを用いて自分で実装することも可能となる。海外では自宅で実験環境をつくっている人が大勢いるので、YouTubeなどで見てみると面白いかもしれない。

バーチャルプロダクションを構成するソフトウェア

■ゲームエンジン

さて、インカメラVFXの基本的な概念がわかったところで、LEDウォールによるバーチャルプロダクションをつくるのに必要なソフトウェアとハードウェアをより具体的にみていこう。まずソフトウェアについては、ゲームエンジンをそのまま使用して自分で開発するのか、ゲームエンジンとの連携がとれる業務用ソリューションを使用するのかに大別される。それでは、前者のゲームエンジンについて、バーチャルプロダクションにおける立ち位置を確認しておこう。

Unreal Engine 4

Epic Gamesによるゲームエンジン。『マンダロリアン』に採用されたことで、バーチャルプロダクションという言葉を一気に普及させた立役者と言える。Epic Gamesはバーチャルプロダクションを構築するためのノウハウやワークフローについて惜しげなく公開しており、またバージョンを追うごとに関連機能が拡充されており、ついていくのが大変なほどである。インカメラVFXの構築にあたっては、ほとんどコードを書く必要がなく、公式のテンプレートを基にBlueprintを編集するだけでひと通り以上のことができるようになっている。バージョン4.27では、nDisplay 3D Config EditorによりLEDウォールとCGのマッピングがさらに簡単になった。現場ではSwitchboardとMulti User Editingを用いることで、本番環境の実行とコンテンツ開発を同時並行で行うことができるなど、周辺環境まで含めたエコシステムが出来上がりつつある。

Unity

Unity Technologiesによるゲームエンジン。基本的に何でもできる環境であり、各種デバイスやセンサーとの連携に長けている。Unityのみに対応するデバイスやSDKも数多く、xRを仕事にしている人間には手放せないツールと言えよう。Spoutなど外部のライブラリとの連携実績が古くからあり、独自の要件を実装しやすいのが魅力だ。インカメラVFXについては、これを直接実現するようなテンプレートは公式にはないが、技術力のある会社は自社開発をしており、業務利用においても実績が挙がってきている。

■業務用ソリューション

ゲームエンジンは本質的にあらゆるコンテンツに対応できるため、ゲームエンジンさえあれば良いと思う向きもあるかもしれない。しかしプロの現場にはより深いニーズがあり、業務用ソリューションとして提供されるxR開発ツールがいくつも存在する。その中でもバーチャルプロダクションに対応したソリューションを3つ紹介する。

disguise

イベントなどステージ向けのメディアサーバを出自とするdisguise社のxR統合開発環境。国内でももともとイベントや音楽ライブでの実績があり、映像機材レンタル会社を中心に導入が広がってきている。Unreal Engine、Unity、Notchとの連携が可能であり、メディアサーバが出自なだけあってスクリーンの割り当てやリマッピングを柔軟に行うことができる。インカメラVFXにおいてもこれらのリマッピング機能を活用することで、ゲームエンジン単体では実現できない柔軟性を実現している。本来はターンキー販売が主だが、disguise designerには期間限定フリー版がある。

SMODE

SMODE Tech社のソリューション。メディアサーバや照明制御の機能ももっており、After Effectsのようなレイヤー構造、タイムラインでコンテンツを開発できるのが特徴であり、舞台やイベントなど、時間軸に沿った演出に強い。基本的にノードを触らずに開発できるため、アーティストフレンドリーと言える。最新版の9.1でxR対応を拡充し、Unreal Engineのインテグレーションを実現した。disguise同様、SMODE DESIGNERにもフリーのデモ版があるため、検証目的で使用できる。

Reality

Broadcast向けを出自とするZero Density社のxR統合開発環境。他のソリューションとちがってUnreal Engine自体をベースに開発されているのが特徴であり、Unreal Engineができることはほとんど実現可能となっている。ソフトウェア構成は、Unreal EditorをベースにしたReality Editorと本番環境を動かすReality Engineに分かれており、Unreal EngineのプロジェクトをそのままReality Editorで開けるため、開発の分業も容易である。また、Reality Engineで本番環境を走らせながら、Reality Editorで視聴者に気づかれないようにコンテンツの修正や差し替えを行うといったことも可能。これはnDisplayとMulti User Editingによる共同作業とはまたちがった趣がある。Realityを構成する各種ソフトウェアにはCommunity版があり、非商用目的で使える。

バーチャルプロダクションに必要なハードウェア

disguise、SMODE、Realityなど業務用ソリューションは、ターンキーのかたちでも提供されているが、読者諸氏においては機材を自前で用意したい向きもあるだろう。ここでは、一般的にどういったハードウェアが必要になるのかをみていこう。

■レンダリングPC

安定動作を目指すなら、Intel XeonまたはAMD Ryzen ThreadripperクラスのCPUを備えたPCが望ましい。大量のコアは必要ないが、12～16コア程度を目安に高クロックなCPUを採用した方が良いだろう。RAMは32～64GB以上を推奨する。GPUについてはNVIDIA RTX A6000一択。これはGeForceシリーズが後述の「Genlock」（ゲンロック、generator locking）に対応しておらず、選択肢に入らないことが理由だ。レンダリング環境としては大抵の場合3～4台など複数台のPCを協調して動作させることになるだろう。

■コンテンツ編集PC

コンテンツの編集レベルであれば、GeForceシリーズの搭載機でも問題なく、通常のゲームエンジン作業に適したPCがあれば良い。なお、NASとの接続上イーサネットは10Gbpsに対応したNICが載っていればなお良い。

■Sync Generator

電気で動いているものには動作クロックという概念がある。例えばカメラであれば撮影フレームのタイミング、ディスプレイであれば、点滅のタイミングなどがこの動作クロックに沿って動いている。これは電源周波数（東日本／西日本）や、機材の水晶発振器などにも影響される。バーチャルプロダクションにおいてはカメラ、カメラトラッカー、GPU、LEDパネルなどの同期を取る必要があるため、Genlockと呼ばれるクロック同期のしくみが必要になる。Sync Generatorは、そのGenlockに必要なReferenceという信号を生成するための機材。TV局のスタジオなど高品質なReferenceが提供される環境であればよいが、そうでない場合はAJA社のGEN10やBlackmagic Design社のSync Generatorなどを持ち込む必要があるだろう。

■カメラトラッカー

VIVE Trackerなど、汎用トラッカーでも組めないことはないが、専用のカメラトラッカーの使用を推奨する。国内ではstYpe社のRedSpyか、Mo-Sys社のStarTrackerがメジャーどころか。これらのカメラトラッカーには、レンズのフォーカスやズーム、歪みなどの情報をネットワーク経由でリアルタイムに伝えるしくみが搭載されている。

■カメラ

前述のGenlockに対応したカメラが必要。この時点でデジタル一眼レフを含めた民生用カメラは全て脱落する。ARRI、RED、Sony、Canon、Blackmagic Designあたりのいわゆるシネカメラが適当だろう。

■NAS

複数台のPCを同期させるために、現場にはNASを用意した方がスムーズと思われる。QNAP社やSynology社の製品は各種サーバを立てることも可能なため、ローカルWebサーバのホスティングや、DNS、DHCPサーバなどを任せることで、現場でのネットワーク構築にも役立ってくれる。GitやPerforceなどバージョン管理ソフトウェアのリポジトリもここに置く場合が多い。

■LEDパネル

LEDウォールを構成するためにはまずLEDパネルが必要であることに疑問の余地はないだろう。スタジオの広さとカメラの引きじりにもよるが、おおむね2.8mm以下のピッチが必要になる。ピッチが狭いほど高品質になり、カメラが寄れることになるため、予算が許す限り狭ピッチのもので構成したいところだ。ただし、LEDパネルはLEDウォールのサイズによって際限なく予算が必要となるのも事実。そのため、サイドや天井は狭ピッチにこだわらずにコストを削減するなど、各社工夫をしている。また、LEDウォールが照明を兼ねる関係上、HDRに対応しているパネルが必要になる。最低でも1,000nits以上の輝度があった方が良いだろう。事例としてよく聞くのは、ROE、Sony、Samsung、AOTOあたりのパネルになる。いくら安いからといって、Alibabaで名前も知らない中国企業のパネルを調達するといったことはあまりオススメしない。

ここまでに紹介した機材をざっくりと繋ぐと下の図のようになる。

まとめ

ここまで読んでもらうと、LEDウォールによるバーチャルプロダクションを実現するには相応の手間と決して安くはないコストがかかることがわかる。それでも映像制作者の間でこれだけの盛り上がりを見せている理由は、その圧倒的なクオリティはもちろん、未来の映像制作現場に対する期待も大きいのではないだろうか。

現在のバーチャルプロダクションの隆盛を決定づけたのはゲームエンジンであることはまちがいないが、それだけでは単発事例に終わっていた可能性もあっただろう。関係各社のたゆまぬ開発の努力と、各業務用ソリューションがそれを受けて対応し始めたことによって、大規模案件での採用にも筋道がついてきたと言える。このながれが止まらなければ、映像制作の現場は大きく変わっていくだろう。

TV局の中の大きなバーチャルプロダクション、映画やTVCMの撮影現場、巨大な音楽フェス、自宅の実験環境。それぞれに要件はちがえど同じ技術的素地で成り立っていることを考えると、実に夢のある時代になったものである。未来の映像制作現場が、確かにそこに、手が届くところにあるのだ。