東映 ツークン研究所が開発・運用するマーカーレスのリアルタイムカメラトラッキング＆合成システム「LiveZ studio」がリニューアル。最新版の性能を聞く。
※本記事は月刊「CGWORLD + digital video」vol. 266（2020年10月号）からの転載となります。
TEXT＿福井隆弘
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamada
© 2020 Toei Zukun Laboratory
LiveZ studioデモムービー
出演・ナレーション：稲田 徹
監督：市田俊介
制作：東映 ツークン研究所
youtu.be/b1vusE57-SU
新たにAIによるキーイング機能も実装
東映デジタルセンター内で2010年に発足したツークン研究所がバーチャルプロダクション機能のひとつとして開発中の「LiveZ studio」（ライブズ スタジオ）。そのデモムービーが、5月29日（金）からYouTubeで公開中だ。
LiveZ studioは、撮影現場で合成映像のリアルタイム確認を可能にするシステム。Unreal Engine 4（以下、UE4）を用いて、グリーンバック不要・マーカーレスのトラッキングと、AIを導入した新しいマスク生成技術により、リアルタイムで人物のマスクを生成し用意した3DCG空間に合成することができる。小規模プロダクションでもバーチャル撮影を可能にすることを目指しているとのことだが、開発リーダーの三鬼健也氏が企画の経緯を語った。「初期バージョンではトラッキング精度などまだまだ不安定で、開発自体を見直した方が良いと判断して改めて仕切り直すことになりました。そこで2019年12月くらいから、UE4とハードをつなげるスキルをもったスタッフをリクルートするなど、社内の開発体制を整えました。それと同時に今回のプロジェクト、LiveZ studioを紹介するムービーをつくりたいという企画が起ち上がりました。当社の市田をディレクターとして2019年末からスタートし、本格的には2020年1月から5月まで制作に取り組みました」。
▲〈上段〉左から、三鬼健也氏、市田俊介氏、小林真吾氏、大橋一勝氏／〈下段〉左から、石原英祐氏、大川拓樹氏、坂田大季氏、朴 ナヒョン氏。以上、東映 ツークン研究所
zukun-lab.com
本作が監督デビュー作となった入社3年目の市田俊介氏はこう語る。「最初にお話をいただいたときに、堅い感じではなくある程度作品としてのユニークさやキャッチーさを担保したいと考えました。そこで、中年のサムライが小躍りしながら歩く姿をワンカット風のカメラ移動とCG背景の変化を合わせて見せたいというイメージが最初に生まれました。コンセプトは、映像技術が日々進化していく様を、時代を越えて渡り歩く侍を通して表現することです。内容の軸はもちろんAIを使ったマスク処理の検証で、それを具体的なビジュアルにしていきました」。コロナ禍での制作となったが、緊急事態宣言発令のタイミングですぐに全社員自宅作業に。最終段階の色味の確認など細かい仕上げはさすがに会社の環境で行う場面もあったが、大半の作業は問題なくテレワークで行えたそうだ。
＜1＞プリプロダクション
バーチャルカメラで撮り方の検証をしながらプリビズ制作
プリビズ時の撮影は1月某日の朝7時から準備を開始。撮影はAIによるマスク処理の検証も含むため、10時から18時と約8時間にも及んだ。その後準備を整え2月12日（水）にリハーサル、2月21日（金）にツークン常設のキャプチャスタジオで本番の撮影が行われた。今回、LiveZ studioのメリットを引き出すために長回しで動き回るカメラワークが前提としてあったため、絵コンテを飛ばしてバーチャルカメラとモーションキャプチャのアクターで撮り方の検証をしてしまった方が早いと判断し、直接プリビズ作成に入ったという。プリビズ用のモデルは社内にある侍と東映太秦映画村のアセットに加え、電車内や未来都市などその他のモデルは全てUE4のマーケットプレイスから用意した。初期段階から各モデルの調達先は決めていたため、プリビズの段階から実写の人物以外はほぼ本番と同様の状態で進めることができた。「今回の最大の目的はLiveZ studioを使用したワークフローを確立することでした。モデル制作に時間をかけてUE4の検証をするためではないので、この企画が始まる前にすでにつくってあった太秦映画村のアセットは別として、それ以外のアセット、現代や未来のシーンの背景については、最短で目的に到達するため、購入したモデルを上手く使う方向で進めました。スピード重視です」と、三鬼氏。
懸念していたトラッキングの精度については、バッチリとはいかないものの、リアルタイムでここまでできれば文句はないというクオリティが出たそうだ。「カメラを超高速で振り回せばさすがに飛ぶかもしれませんが、今回、撮影中にトラッキングがすっ飛んでしまって撮り直すということはありませんでした。演出的なリテイクはありましたが、技術トラブルなどでのリテイクはなく順調に進行でき、リアルタイムでどこまで抜けるかという点では合格点だったと思います。ただし、カメラが人物を軸に回っているので、スタッフが映り込まないように逃げるのだけは大変でした。映ってしまうとAIが人と認識して勝手に抽出してしまうので、グレーの布を被ったりして映り込まないように対処しました」と、全体的な監修を務めた小林真吾氏。なおトラッキングにはIntel RealSense Tracking Camera T265を使用、撮影用カメラにはSony α7 III、ジンバルにはDJI Roninが用いられた。
プリビズ撮影
▲バーチャルカメラとモーションキャプチャによるプリビズ撮影の様子
リアルタイム合成のテスト
▲AIによるリアルタイム合成のテスト風景
AIマスクのテスト
-
▲テスト撮影の様子
-
▲UE4のエディタ上でAIマスクがリアルタイムで動作している
完成したプリビズ
▲今回作成したプリビズ。この段階でおおよそのレンズミリ数が算出される
LiveZ studioシステム構成
▲LiveZ studioのシステム配線図。撮影カメラの映像とトラッキング情報（Intel RealSence）はまずLiveZ StudioのPCに送られ、AIマスク情報とFOV情報を付加してUE4が動作するPCへ。ゲームエンジン内で背景と実写を合成し、録画デバイスと撮影カメラのモニタにリアルタイムで映像を返すしくみ
撮影カメラ
▲LiveZ studioの撮影カメラ
▲カメラ本体に取り付けたセンサーが実写カメラの動きを取得
▲合成後の映像をリアルタイムでモニターしながら撮影可能
