ソニーは10月末、グローバルの全社員に向けてマネジメントからのメッセージを配信した。コロナ禍で移動が制限されるなか、会長 兼 社長 CEOの吉田憲一郎氏は、米国ソニー・ピクチャーズ エンタテインメントのスタジオを代表する建物「タルバーグビル」を背に語りかけた。――実はこのメッセージ、国境を越えて「リモート」で制作されたもの。カリフォルニアのスタッフが3次元で収録した建物の映像を、東京のソニーPCLにある「VIRTUAL PRODUCTION LAB」の大型LEDディスプレイに表示し、その前に立つ吉田氏をカメラに収めたのだ。この「バーチャルプロダクション技術」の取り組みや、映像制作のワークフローにもたらす変化について、「LAB（ラボ）」を訪れて話を聞いた。
TEXT＿加藤学宏 / Norihiro Kato
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamda
PHOTO＿弘田 充 / Mitsuru Hirota
▲ソニーPCLとブロスグループ（スタジオブロスおよびモデリングブロス）の業務提携によって誕生した「LAB」のメンバーたち。【前列】左から、テクニカルディレクター 細田昌史氏、大賀英資氏、チーフテクニカルSV 石川智太郎氏、黒谷瑞樹氏／【後列】左から、小林大輔氏、大橋さゆり氏、長嶋祐加氏、モデリングSV 今泉隼介氏（モデリングブロス）、井上豊氏、武元卓也氏、金子元隆氏（スタジオブロス）、千葉有紗氏
※所属の記載がない方は、全てソニーPCL所属
www.sonypcl.jp www.bros-studio.com www.modelingbros.com
＜1＞リアルとバーチャルをシームレスに融合するためのLAB
バーチャルプロダクションの技術開発は、映像業界の各陣営によって独自に進められている。その成果はCES2020において展示され、注目の的となった。それだけでなく、実際に劇場公開映画における利用も始まっている。
▲Atom Viewによるバーチャル制作
今回紹介する「LAB」は、「リアルとバーチャルをシームレスにつなげて実現する映像表現の追求」を目的に、ソニーPCLとブロスグループ（スタジオブロス、モデリングブロス）との業務提携によって運営されている。映像処理には、高精細・高画質な3DCGをインタラクティブに動作させることが可能なゲームエンジンを用いるのだが、用途はエンターテインメント分野に限らない。このLABでは、製造業など広い産業での活用を視野に「リアルタイムエンジンを基軸としたビジネス創出」を目的に研究開発を行なっており、その取り組みのひとつが、バーチャルプロダクションである。
▲リアルとバーチャルをシームレスにつなげて実現する"映像表現の追求"が、「LAB」のコンセプトだ
アーキテクチャは米国Sony Innovation Studioのバーチャルプロダクションを参考にしたものの、施設規模や目的が異なることもあり、試行錯誤しながら1ヶ月ほどでラボの土台を築いたという。短期間でシステムを構築できたのは、新しい映像表現にチャレンジするソニーPCL、リアルタイムCG制作フロー構築に長けたスタジオブロス、そしてフォトリアル表現を中心としたモデリング・ライティングプロダクションであるモデリングブロスの3社が、強みをもち寄ったためだ。加えて、ソニーがもつ映像アセットも寄与した。
▲想定される各社の役割と連係
LABのバーチャルプロダクションの特徴は、背景にグリーンバックを用いたクロマキー合成ではなく、大型LEDディスプレイで映像と人物・物体を一緒に撮影する手法だ。ただし、グリーンバック撮影の最先端だと捉えるのは早計であり、「背景セットのバーチャル化」だと理解すべきだ。バーチャルセットを裸眼で見ることができるため、「すでにそこにある風景」をカメラレンズで収録できるのだ。具体的な利点としては、水面越しの透過表現や、映り込みの撮影が容易であることなどが挙げられる。ポストプロダクションに要する時間は、およそ半分以下になるという。
▲ソニーPCL本社の「LAB」スペースで行われたバーチャルプロダクションデモの様子（画像はカメラで捉えている映像をモニタに表示したもの）。ソニーのCrystal LEDディスプレイシステム（後述）の高画質・高輝度を利用することで、3Dで構築されたバーチャル環境と、現実のペットボトルやスクーターが一体化した映像として撮影することが可能。透過や映り込みの表現をポスプロで合成する必要がない
「グリーンバック撮影とちがって緑や青の照明を同時に使うこともできます。大型LEDディスプレイには、カメラが切り取った映像を重ね合わせて表示しているため、フレーミングがしやすく、撮影監督や美術スタッフのクリエイティビティも上がります」と、「LAB」プロジェクトのマーケティングを担当するソニーPCL の黒谷瑞樹氏は語る。
▲大型LEDディスプレイ上にカメラが切り取った映像を重ねて表示できる。カメラを右にパンすると、バックには映っていない道路の右側の様子が映し出された
▲リアルとバーチャルをシームレスに融合した一例。ステージ上に引いた白線と大型LEDディスプレイの道路上にある白線がつながっているのがわかる
＜2＞オープン化でバーチャルプロダクションの普及と拡充を目指す
このバーチャルプロダクションを利用するにあたって必要なことは、大きく3つあるという。
1．用途に合ったLEDディスプレイを導入したスタジオの用意
2．背景アセットのバリエーション確保
3．運用ノウハウ＆スタッフエデュケーション
黒谷氏は「私たちだけで提供できるものではありません。技術やノウハウをオープンにし、全国にスタジオを広めていくことが大切だと考えています。そして情報を共有することで、バーチャルプロダクションの可能性を拡げていきたいのです」と話す。得られた成果をソニーPCLとブロスグループで独占的に利用するのではなく、オープン戦略によってバーチャルプロダクションの普及と充実を図る意向だ。
ただ、LABで使用されている機材は高価なものばかりだ。利用ニーズはあれど、易々とは広がっていかないのではないか。この懸念も、オープン化で解決につなげる方針だという。
「使いたいけれど、価格面で二の足を踏むケースがあるものと理解しています。このラボはフラグシップであり、ショールームでもあります。どこまでできるのか最高レベルのものを体感していただいたうえで、必要な品質にあったスペックの機器を選定して構築できるようにするつもりです」と、「LAB.」プロジェクトを取りまとめる小林大輔氏（ソニーPCL ビジュアルイノベーション室 室長）。
オープン化で特に期待するのは、背景アセットの充実とコンセンサスの形成だ。黒谷氏は「利用を進めるには、背景アセットの数が増えることが重要です。そのために、背景アセットのバリューチェーンのようなしくみを築いていきたいと考えています。その過程では、法整備の議論も活発化していくでしょう。例えば、今使用している新宿の映像は、風景の完全なコピーではなく、看板を加工するなどしたものです」と話す。小林氏も「街自体は著作物にあたらないとしても、カメラが寄ってフィーチャーすれば意味合いが変わってきます。どう解釈しているのか、解決しているのかといった情報を共有するためにも、オープン化が欠かせません。そのなかで我々は、先行してソリューションをつくっていきたいと考えています」と話を継ぐ。
▲背景アセットの充実を図るためのバリューチェーン構想
次ページ：
＜3＞バーチャルプロダクションの全体像と応用利用
＜3＞バーチャルプロダクションの全体像と応用利用
LABのバーチャルプロダクションについて、デモを通して技術面を説明してもらった。まず最大の特徴である大型LEDディスプレイには、ソニーのCrystal LEDディスプレイシステム（以下、Crystal LED）を採用。これにより、スケーラブルでシームレスな表示を可能にしている。
「コントラストを強く、輝度を高くすることが重要で、そのためにはCrystal LEDが適しています」と、 石川智太郎氏（チーフテクニカルスーパーバイザー ）。
映し出されている映像は、すべて3Dで制作されたもので、固有名詞などはクリエイティブによって書き起こしているものだ。
今回、カメラはソニーのVENICEを使用。天井には370個のマーカーが貼り付けてあり、センサーによってカメラの位置情報を捉えることができる。これをレンズの映像とともにUnreal Engine4で処理することで、空間を3次元で切り取ることができる。フォーカス送りやズームも、リアルタイムで連動する。処理に使用するマシンは、合計3台だ。
▲今回のデモに用いられたCrystal LEDのサイズは、およそ横6m×縦3m（4,800×2,800 Pixel）
大型LEDディスプレイを用いたバーチャルプロダクションはコストが高くなりそうな印象を受けるが、フルスペックの機材を使用した場合でも、様々な工夫でコストダウンできるしくみが用意されている。
ひとつは、点群データを含んだバック映像の作成フローだ。京都町屋の例では、撮影した3次元写真と点群データを、Sony Innovation Studiosが開発したバーチャルプロダクション用ソフトウェア「Atom View」を用いることで非常に高精細な3D映像が生成できる（※）。月単位の時間を必要としていた作業が、週単位に短縮できるという。
※：「Atom View」を扱えるのは、日本国内ではソニーPCLだけとのこと（2020年12月上旬現在）
▲「Atom View」による処理
▲LABで町屋を再現。カメラ右側のモニタにはトラッキングマーカーが表示されている
もうひとつが、バーチャルプロダクションとバックグラウンドで一体化しているコンフィグレーターを使った、事前検証によるコストダウンだ。プリビジュアライゼーションや、バーチャルロケハン等を実施することができる。LABでは、CADデータを変換してビジュアライゼーションのインプットデータを作成可能なソフトウェア「3DEXCITE DELTAGEN」を使用している。
スタジオブロス取締役の金子元隆氏が見せてくれたのは、自動車のCADデータをもとにしたコンフィグレーターのデモだ。色やホイールの変更、画像の角度の変更、日照や対向車の影響による反射もシミュレーション。NVIDIAのAI画像処理ソフトウェア「DLSS」を用いることで、4Kリアルタイムレンダリングを実現している。
サイドミラーは、街の風景を映す。シートの革やダッシュボートの金属など、車内のマテリアルにもこだわったといい、どこを切り取ってもリアルな視界を再現できる。用途はバーチャルプロダクションの事前検証だけでなく、完成前の製品カタログに使用する画像など、様々な応用が考えられる。実物と遜色ない再現性に、LABを見学に訪れる製造業関係者が、バーチャルプロダクション以上に興味を示すことも珍しくないという。
StudioBros/ModelingBros CIVIC configurator: Immersive for Dassault Systems
このモデリングデータや、先ほどの新宿の街を手がけたのは、今泉隼介氏が率いるモデリングブロスだ。バーチャルプロダクションやコンフィグレーターの画像データを、いかにして手軽に利用できるようにするかが今後の課題だといい、「ゼロからこだわる部分と、他のデータを転用して手をかけない部分に切り分け、クオリティのバランスを取ることが大切」だと話す。ライブラリ化など、プロシージャルな素材を使ったワークフローを検討中だとのこと。「LAB」の今後の展開からも目がはなせない。
