＜2＞シーンメイキング～太秦（過去）～
3Dレーザースキャンによる太秦のアセットを活用
当初、冒頭の実写シーンは東映太秦映画村（www.toei-eigamura.com）で撮影する予定だったが、様々な事情があり中止となり、以前から社内にあった、フォトグラメトリーやレーザースキャンで作成した太秦映画村のアセットを使用することになった。バーチャルプロダクションとして、あたかも現地に行ったかのようにビジュアルのイメージを具現化したのである。
デモムービーの侍役は声優の稲田 徹氏が務めた。市田監督は本番撮影について次のようにふり返る。「今回のデモの目玉はリアルタイムプレビューですが、実写の人物の背景に動かない背景を合成しても面白くなくて、それぞれ動いている状態でのカメラワークを見ることにこそ現場プレビューの価値があると思ったのです。実際、現場でリアルタイムに背景が合成された映像を確認できるので、稲田さんが、背景のビルがせり上がっていくタイミングに合わせて手を振り上げるという、背景に対応した演技をアドリブで入れてくれるなど、このシステムの利点を引き出すことができました」。
マスク生成に関しては、撮影時に白黒のマスクが同時に収録されるしくみ。そのデータについては撮影後に「ここは人間」「ここは人間ではない」という箇所をペイントしてAIに学習させ、マスクの精度を高めている。ペイントに使用するツールはAfter Effects（以下、AE）やDaVinci Resolveなどいくつか試した上で、フィードバックが一番早いと感じたDaVinci Resolveを採用。石原氏と市田氏はDaVinci Resolveの使用経験がなかったため、操作方法を学びながらの作業となった。
「AIがなかなか優秀で、人じゃない刀の部分だけが綺麗に抜かれていたり、モーションブラーなどは人間の作業よりも綺麗にマスクを切ってくれていました。条件が整えば髪の毛1本1本まで綺麗に抜けるので、上手く使えば相当手間が省けるだけでなく、クオリティも高い素材が上がってくると思います。幸い社内に大量の撮影素材があるので、AIに学習してもらう材料には困りませんでした」と小林氏。AIの精度向上のため、一度ある素材で学習させたらまた新たな素材で再度学習させるというように、時間の許す限り学習プロセスを増やした。なお、最終仕上げの段階ではパスを切る必要が出た箇所もあり、それらは通常通りAEを使用しているとのこと。
本番撮影
本番撮影時の様子。グリーンバックを一切立てず、リアルタイムで合成映像を確認しながら撮影を進める
▲カメラに人物と認識されるのを防ぐため、監督やスタッフは布をかぶりながらモニターチェックなどを行う
太秦映画村の3Dアセット
-
©東映太秦映画村
-
©東映太秦映画村
-
©東映太秦映画村
-
©東映太秦映画村
▲太秦映画村の一角をCG化するにあたって作成した3Dアセットの一部。本番撮影前に、監督はこのUE4シーンの中をバーチャルロケハンした
砂埃や塵の表現
©東映太秦映画村
▲地面の砂埃や空気中の塵はUE4のパーティクルで作成
LiveZ studioでの撮影
LiveZ studioでは、撮影中は常にカメラ位置とRGBA映像がストリームされリアルタイムプレビューが行えるだけでなく、撮影後は収録したデータを1セットでシーケンサーに並べるところまでプラグイン化。「新しいワークフ ローだからこそ手間や人的ミスを減らす工夫を加えながら開発しています」と三鬼氏
-
▲リアルタイム合成の具合をチェックするキャスト
-
▲UE4上でリアルタイム合成されている様子
▲撮影後、収録した実写プレートとカメラトラッキングデータはUE4のシーケンサーに自動で並ぶ（画面は背景等の調整前、デモムービー0:38）
背景CGとのタイミング調整
撮影後は背景CGとのタイミング調整などをUE4上で行う
▲デモムービー0:50付近、家屋が浮遊するシーン。撮影時はキー入力をトリガーにして家屋を浮遊させてリアルタイムでタイミングを合わせつつ、撮影後に微調整して完成させた
人物合成のブレイクダウン
AIマスクを活用した人物合成のブレイクダウン
-
▲AIはデフォルトでは人物以外は認識しないため、このように刀がマスクから外れてしまう
-
▲リアルタイムで出力されたチューニング前のマスク。刀がマスクされていない
-
▲撮影時のリアルタイム合成。暗くて見にくいが刀がない
-
▲撮影後にAIに再学習させて精度を向上させたマスク。刀まで認識するようになった
-
▲AIマスクで取り切れなかった細かな部分を手作業で修正
-
▲最終合成
