デジタル・ガーデンが実践、リアルタイム合成＆カメラトラッキングシステム「Ncam」の正しい利用法

ドイツ発の自動車部品や電動工具メーカーとして知られるボッシュ。そんなボッシュが今年2月28日にYouTubeで公開した「ボッシュラーズ『みんなヒーロー』篇」。ボッシュの製品・技術を正義のヒーローに擬人化し、その活躍する様を描いたものだが、背景空間となる作品舞台は3DCG主体で表現されている。そして実写とCGを一体化するにあたっては、リアルタイム合成＆カメラトラッキングシステム「Ncam Reality」（エヌカム・リアリティ。以下、Ncam）」が活用された。本作の制作・演出・編集・MA・CG制作を手がけたデジタル・ガーデン中核スタッフに、その取り組みを聞いた。

TEXT＿村上浩（夢幻PICTURES）/ Hiroshi Murakami（MugenPictures）
ED.I.T.＿沼倉有人 / Arihito Numakura（CGWORLD）

ボッシュラーズ『みんなヒーロー』篇

「BOSHLERS（ボッシュラーズ）」キャンペーンサイト

© Robert Bosch GmbH

＜1＞撮影時の情報をより効果的にポスプロ工程へ引き継ぐ

ボッシュの製品で社会課題の解決に挑むヒーロー「BOSCHLERS（ボッシュラーズ）」プロジェクトの企画・制作を手がけたフロンテッジからデジタル・ガーデンに本企画のオファーが届いたのは昨年12月のことであった。

本作の撮影からポスプロまで一連の制作を担当したデジタル・ガーデン（以下、DGI）は、AOI Pro.グループのポストプロダクションとして知られる。現在ではポスプロ部門に加え、CG・VFXチーム、撮影チーム、そして昨年1月には企画制作部門「Fuze（フューズ）」を新設したことによって、映像コンテンツをワンストップで手がけられる体制を整えた。

左から、佐藤啓介氏（デジタル・ガーデン取締役）、益子篤CGプロデューサー、白崎達彦氏（Digital Shooting Div.マネージャー）、平嶋将成VFXスーパーバイザー、野田拓図CGデザイナー、森田輝チーフCGデザイナー、新屋敷達磨PM（Fuze）、髙村伸一監督（フリーランス）。以上、デジタル・ガーデン

本作は、TVシリーズ『ガンダムビルドファイターズ』（2013〜2014）でチーフメカアニメーターを務めた金世俊（キムセジュン）氏がキャラクターデザイン＆コンセプトを担当。世界観としては、ハリウッド映画のVFX大作を彷彿とさせるビジュアルが求められた。しかし、その一方では撮影から納品まで1ヶ月弱の期間しかなかったため、実写撮影とポストプロダクションの連携を従来以上に高める施策として、国内ではナックイメージテクノロジーが取り扱うリアルタイム合成＆カメラトラッキングシステム「Ncam」を導入したという。

ボッシュラーズ『みんなヒーロー』篇メイキングムービー（デジタル・ガーデン）

Ncamは撮影カメラの位置とローテーション、レンズの情報をリアルタイムで出力できるためCG素材と実景を合成した映像を瞬時に確認できる上にクレーンや手持ちカメラなど様々なリグや撮影スタイルに対応できるシステムであり、本作のようなダイナミックなカメラワークを求めた撮影には最適だったそうだ。
「以前から撮影現場で得られるデータをより有意義なかたちで活用するための手法を模索していました。そんな折に、ナックさんと協力してNcamの活用に取り組んでいこうと話がまとまったのです。まずは技術検証を兼ねたNcamのプロモーション映像を制作し、ノウハウを蓄積した上で商業案件にチャレンジしたのが本作になります」と、平嶋将成VFXスーパーバイザーはふり返る。

技術検証を兼ねて昨年制作された、Ncamプロモーション映像

「事前にNcamと撮影カメラをキャリブレーションさせる必要があるのですが、同じカメラでも使用するレンズごとにキャリブレーションを行う必要があります。キャリブレーションに要する時間はレンズの仕様によって異なりますが、おおよそ30〜60分ほどかかります。こうした事前の準備に相応の時間を要しますが、カメラのセンサーサイズとレンズのブリージング、ディストーション、センターずれなど、これらのデータは一度記録してしまえば何度でも利用できます」と語るのは、D.I.T.（デジタル・イメージング・テクニシャン）事業を展開するDigital Shooting Div.の白崎達彦マネージャー。

2015年10月に新設された同部署では、撮影からポスプロまでの一連の工程をデジタルで一貫するためのワークフローの構築や技術サポートに取り組んでおり、Ncamの運用も同部署が担当している。白崎氏によると、Ncamは様々なカメラとレンズで利用すればするほどプリセットも増えていくのでより多くのメリットが得られるそうだ。

『ボッシュラーズ』プロジェクトでは、カメラはARRIのALEXA Miniで、9種類のレンズが用いられた。上述のとおり、レンズ本数が増えるとキャリブレーションに要する時間も増える。また、カメラアングルが変わる度に原点を取り直す必要もあるのだが、それらに要した時間や手間を差し引いても、撮影しながらリアルタイムでCG背景を合成した状態の見た目を確認できるメリットは大きかったという。

さらに撮影をスムーズに進める上では、現場の仕切り、D.I.T.、そしてCGをはじめとするポスプロまでDGIがワンストップで対応。Ncamのような特殊な機材やシステムの真価を引き出す上では、事前の検証によって不得意を把握した上で、それに適した体制を築くことが重要であることが伝わってきた。

（左）黒澤フィルムスタジオにおける撮影の様子／（右）Ncam。撮影カメラ（今回はALEXA Mini）の下部に専用リグによって設置されたステレオカメラから得た映像から特徴点を自動的に算出してカメラ座標を出力することができるため、手持ちカメラやクレーンワークといった移動しながらの撮影にも対応する

（左）ボッシュラーズのひとり、「キャプテン・オートノマス」シーンの撮影模様。地面に並べられているのはNcamのステレオカメラ用マーカだが、基本的に撮影カメラのアングル外に配置されているためバレ消し等の労力も軽減できる／（右）向かって左側がNcam制御用モニタ、右側がリアルタイム合成の結果

リアルタイム合成用に作成した背景シーンは、Mayaでセットを組みライティングなどを仕込みV-Rayでレンダリング。そのデータをMotionBuilder（以下、MB）に読み込み、MBからストリームさせている。レイテンシーを最小限に止めるにあたっては、撮影カメラやNcamなど、各種機材の接続方法やグリーンバックをどの機材でキーイングするのが最適なのか、事前に入念な検証を行なったという。

撮影現場での仮合成用に用意されたMBシーン。Mayaで作成したアセットに簡易的なライティングを施し、それをテクスチャにベイクしている。撮影現場で大まかな光の方向性を確認しながら、照明などの配置をざっくり確認できるようにした。また、監督やクライアントの確認事項になる背景（遠景のビル）の見え方や画面奥に展開する敵キャラの配置、その他室内の小物の位置関係などを調整できるよう、それぞれにnullを用意して親子付けし、現場でも即座に配置を調整できるようにすることで、なるべくその場で決めてもらうことを心がけたという。撮影現場（特にTVCM）は、監督、代理店、クライアントが一堂に揃っている貴重なタイミングだ。そこでDGIでは、この段階で可能な限り最終的なイメージを共有することで、撮影後は大きなリテイクを出すことなく、本来の画づくりに注力できるよう、現場で決めなければいけない事項を考慮したシーンを用意するように務めたそうだ

「リアルタイム合成については、Unreal Engine 4からのストリームにも対応しています。UE4を使えば、今回導入したシステムよりもコンパクトな構成にできたのですが、レイテンシーやグリーンバックとのスイッチング、プレイバックのしやすさなど、全体的なオペレーションを考慮した結果、今回はMBからストリームさせました。より良いシステムを追求していきたいですね」（平嶋氏）。

以下のムービー3点は、リアルタイム合成結果を収録したムービー。最終的な仕上がりに近いビジュアルを即座に確認できたため、監督やスタッフのみならず、役者陣、さらにはクライアントとも円滑なコミュニケーションを行うことができたそうだ。

「キャプテン・オートノマス」カットのリアルタイム合成例

「ライダー・ウーマン」カットのリアルタイム合成例

「ザ・クリエイター」カットのリアルタイム合成例

次ページ：
＜2＞ポスプロ工程におけるNcam導入メリット

[[SplitPage]]

＜2＞ポスプロ工程におけるNcam導入メリット

Ncam導入のメリットは撮影現場だけにとどまらない。CG・VFXの本制作では、NcamのカメラトラッキングデータをMBからFBX形式で書き出し、Mayaによるアニメーション等のショットワークに活用。ハイスピード撮影のショットについても問題なく対応できており、精度の高いカメラトラッキングデータが得られたため、効率良くショットワークを行えたそうだ。

「今回のトラッキングデータは、精度が高くほぼダイレクトにCG・VFX作業に利用できました。ですが、現在のNcamシステムに用いられている画像解析用カメラの性能的に、より激しいカメラワークになった場合はブレゴマが増えてしまい、トラッキングの精度も落ちてしまうと思います。アクションシーンの撮影にNcamを利用する場合は何らかの対策が必要だと感じました」（平嶋氏）。『ボッシュラーズ』の撮影では、照明部ならびに撮影部と連携し、カメラが大きく動くカットについてはライティングを明るくしたり、シャッタースピードを上げてもらうことで対応したそうだ。

MBを経由してNcamのデータをFBXで書き出し、それをMayaにインポートした背景シーン。Ncamのデータ収録時に実写プレートとタイムコードを同期させているため、オフライン編集の使いどころと同じフレームが使用できる

通常であればマッチムーブ用のマーカーをグリーンバックに貼る必要があるが、Ncamは撮影カメラのフレーム外にターゲットを配置するため、合成時のバレ消し作業も軽減できたという。
「今まではタイトなスケジュールの中でマッチムーブに費やす時間も考慮して作業を行わなければならなかったのですが、Ncamを導入したことによって、その手間が大幅に削減できました。本作では、クリエイティブな作業により多くの時間を費やすことができました」（森田輝CGデザイナー）

「ザ・クリエイター」ファーストカットのブレイクダウン

＜1＞　遠景の2D背景素材
＜2＞　近景のビル群（2D）を合成

＜3＞　3DCGで作成した背景セットを合成
＜4＞　役者の実写プレートを合成

＜5＞　役者の左手に3DCGで作成したドリルを合成
＜6＞　一連のコンポジット処理が施された完成形

Ncamはデザイナーだけでなく演出面にも大きな恩恵を与えてくれたと、本作の監督を務めた髙村伸一氏は次のように語る。
「合成カットが多い作品では、CGスタッフからできるだけカメラを動かさずに撮影してほしいと相談されがち。ですが、『ボッシュラーズ』企画ではハリウッド映画のSFヒーロー的な世界観を追求したため、必然的に手持ちカメラによるダイナミックなカメラワークが欠かせません。今回は、Ncamを導入したことで躍動感のあるカメラワークとCG合成を高いレベルで両立することができました。撮影しながらリアルタイムで合成イメージを確認できることはカメラマンにとっても大きなメリットですし、役者の配置や背景レイアウトは現場で決めることができたので監督としても演出の幅が広がりました。ひき続き活用して、新たな表現にもチャレンジしていきたいですね」

デジタルベースの映像制作に精力的に取り組んでいるDGIだが、本プロジェクトを通じてNcamを導入するメリットを実感したという。CGと実写の合成だけでなく、複数の実写素材を多重合成する際にもNcamを活用するなど、新たな利用法も模索していくそうだ。
「DGIでは、演出から撮影、CG、ポスプロとワンストップで制作できる体制を構築しています。この強みは映像コンテンツだけでなく、インタラクティブコンテンツも利用できます。今後は、インタラクティブの領域でもDGIをアピールしていきたいと思います」と、DGI取締役の佐藤啓介氏は今後の展望を語ってくれた。