UE4を活用することで生身の役者とCGキャラの即興的な芝居を実現！　オリジナル短編作品『HYBRID』

記事の目次

リアルタイム合成システムLiveZ studioによって、生身の役者とCGキャラの即興的な芝居を実現。UE4による実践的な映像制作の最新形を紹介しよう。

※本記事は月刊「CGWORLD + digital video」vol. 273（2021年5月号）からの転載となります。

TEXT＿福井隆弘
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamada

オリジナル短編作品『HYBRID』
監督・脚本・編集：市田俊介／VFXスーパーバイザー：小林真吾／テクニカルディレクター：三鬼健也／CGスーパーバイザー：鄧小輝／プロデューサー：葛西歩／ラインプロデューサー：貞木優子／企画制作：東映ツークン研究所
©2020 Toei Zukun Laboratory

UE4によるリアルタイムCG、その実用性をガチンコで検証

2020年10月号（266号）の本連載で紹介した、東映ツークン研究所（以下、ツークン）のマーカーレスのリアルタイムカメラトラッキング＆合成システム「LiveZ studio」デモムービー。同作の監督を務めた市田俊介氏が監督／脚本／編集を手がけた短編作品『HYBRID』が、昨年12月18日（金）からYouTubeで公開中だ。本作も位置づけとしてはツークンの技術デモだが、崩壊した未来の日本を舞台に、ホログラムの少女レイカ（大江奈々未）と戦闘用ロボットのエド（声：古川慎、モーション：杉口秀樹）が、危険に立ち向かいながら旅をするという、しっかりとしたストーリーのある"エンタメ作品"に仕上げられている。「昨春、コロナ禍による緊急事態宣言発令によって撮影が中断するなか、社内で新しい取り組みをしようと、企画の募集があったんです。そこで以前から温めていた本企画を提案したところ通りました。コンセプトは、『アナログとデジタルの融合』です。少女とロボという表現としてだけでなく、制作手法もアナログとデジタル双方の利点を組み合わせたワークフローを目指しました。また、ある程度の長さの映像作品をしっかりつくることで見えてくる課題もあるだろうと、ストーリーに起承転結をもたせた約7分40秒の尺になりました」（市田監督）。

左から、貞木優子氏、奥村剛史氏、鄧小輝氏、大川拓樹氏、市田俊介氏、坂田大季氏、稲塚桜子氏、三鬼健也氏。以上、東映ツークン研究所
zukun-lab.com

本作はツークンが以前から取り組んでいる「VFXにおけるゲームエンジンの活用」の実用レベルとクオリティレベルを一段引き上げるためのチャレンジという側面もあった。三鬼健也テクニカルディレクターは、次のように語る。「毎回様々なことにチャレンジしていますが、今回は純粋にUE4の実用性を検証した作品だと言えます。ツークンにおけるデモ制作は発表すれば終わりではなく、その技術の実用化が最終的なゴールです」。先述したLiveZ studioデモムービーの完成後、すぐに本作に着手しており、今回は実際の商業案件を念頭にカメラが激しく動く、キャプチャデータのクリーンアップに手間のかかる演技など、難易度の高い表現を積極的に取り入れたという。そして、画づくりの大半はUE4によって仕上げられた。リアルタイムレイトレーシングを用いたフォトリアルなビジュアルは商業レベルに達したと言っても過言ではない。

『HYBRID』メイキング

＜1＞ワークフロー＆プリプロ

撮影監督、アクション部もテスト段階から参加

本プロジェクトには、一部のモデル制作とアニメーションを担当したFlying Ship Studioなどの外部パートナーを含めて約20名が参加。ツークンでは、約10名が制作に携わったが、市田監督をはじめ中核スタッフの多くは専任で取り組んでいたという。自社のデモ制作においても、しっかりと予算を組み、スタッフを割り当てるという制作方針からは、ツークンの本気度が伝わってくる。先述のとおり、実際の商業制作を念頭に床に転がるなど、あえてモーションクリーンアップが大変な演技やカメラワークを採用。CGキャラクターアニメーション作業としても難易度の高くなる掴み合いなど、生身の役者とのインタラクションが多めの演出となっている。実写撮影ではまず、アクション部でマーシャルアーツを得意とする人に演技をしてもらい、カメラ＆アクションのリハーサル。それをベースに、キャラクターを入れた状態でプリビズの作成に臨んだ。「撮影ではリアルタイムに実写の人とCGのキャラを同時に演技させられるので、コミュニケーションをとりながら、合わせて演技ができました。撮影を担当していただいた清遠哲史さんには、LiveZ studioのシステムを理解してもらうためにVコン撮影から参加してもらいました。清遠さんやアクション部の方々と現場でディスカッションして、その場で対応しながらつくり上げていったので、良い意味で用意していたものとちがうものが出来上がりました」と市田監督。

撮影時に特に気を遣ったのは、後から修正できない実写俳優の目線。現場でしっかりと合わせるように注意がはらわれた。また、撮影用のカメラは、Sony PXW-FS7（ラージセンサーカメラ）と、Sony α7R IIIの2種を使用。ハイスピード撮影や、重みのある手振れ感を活かしたカットを収めたいときは前者。スタビライザーを使って滑らかなカメラワークを演出したい場合は後者という具合に、清遠氏が使い分けていたという。本作のワークフロー／データフローは右図のとおり。撮影から3DCGワークまではフルHD（1,920×1,080ピクセル）サイズで制作されたが、Unreal Engine 4（以下、UE4）によるショットワーク工程にて、最終レンダリングは4K（3,840×2,160）サイズで行われた。なおLiveZ studioシステムの詳細については、本誌266号もしくはCGWORLD.jpで公開中のメイキング記事（cgworld.jp/regular/202010-vfxanatomy-cgw266.html）を参照してもらいたい。

ワークフロー＆データフロー図

▲本作のワークフロー＆データフロー図。作成したCGアセットや実写素材が全てUE4に集約されているのが特徴。また、ディレクターが自らCGカメラの作成とオフライン編集を行なっているため、キャラクターのモーション修正を最小限に抑えるフローにもなっている

フルCGのプリビズ

▲ツークンの過去作品のアセットを再利用して、モーションキャプチャによるフルCGのプリビズを作成。画角やカメラワーク、編集、合成の有無などの検証を行うことで問題点を早期発見し、内容の調整を行なった

アクションリハーサル

▲アクションリハーサルの様子。本作ではモーションキャプチャをフル活用するため、ロボット同士が取っ組み合うような格闘アクションを構築した。ディレクター、カメラマン、アクションコーディネーターの杉口秀樹氏が揃い、意見交換をしながら殺陣とカメラワークを設計。全員アクションが大好きということで、非常に活発なリハーサルとなった

次ページ：
＜2＞本番撮影＆3DCGワーク

[[SplitPage]]

＜2＞本番撮影＆3DCGワーク

生身の役者とCGキャラクターをリアルタイムで"共演"させる

実際の商業制作を意識するという点においては、戦闘用ロボット・エドと、劇中で戦うことになる警察ロボ（声：古川慎、モーション：村岡友憲）のデザインも非常に洗練されている。コンセプトデザインを手がけたのは、MORUGA氏。ツークンとは初めての仕事だったそうだが、市田監督の強い意向によって実現したという。「技術デモですが、映像作品としても成立させる上ではメカデザインもしっかりとしたものにしたいと考えました。MORUGAさんは3DCGによるデザインワークも行われる方なので、フルCGキャラクターとして制作するという意味でもスムーズにやりとりを行うことができました」（市田監督）。ロボットのモデル制作は、警察ロボットから着手。それをベースに、パーツや色を変更してエドを完成させた。リグはベーシックなものだが、ロボットであることから関節のしくみには、メカニカルな機構も取り入れられた。「コンセプトデザインでは、関節周りのパーツが大きくて、動きの妨げになる可能性があったため、パーツ自体を小さめにしてアスリートを意識したデザインへと調整してもらいました。戦闘アクションでは掴み合いやパルクール的な動きも取り入れたかったので、そうした動きを付けやすい形状に仕上げてもらいました」（市田監督）。

本番撮影では生身の俳優とCGキャラクターがリアルタイムで共演できるよう、リハ時はロボットを演じるアクターに実際の立ち位置で演技をしてもらい、本番ではグリーンバックのキーイングやロトスコープに影響しない少し離れた位置で演じてもらい、キャプチャデータにオフセットをかけるという手法が採られた。さらに現場では、ツークンが自社開発するAIによる自動生成マスク（AIが実写プレートを解析して撮影時に白黒のマスクが同時に収録されるというしくみ）を使い、リアルタイム合成によるプレビュー環境が整えられた。「レイカの実体は別の場所にあり、エドと行動するのはホログラム映像という設定にしました。ホログラムルックにすることで馴染ませ作業の工数を軽減するというねらいもあったのですが、AIが自動生成したマスクを最終的なコンポジット作業でも活用するという意図もありました」（市田監督）。

エフェクト表現については、複雑な破壊シミュレーションはHoudiniで作成されたが、火花や煙などはUE4のCascade Particle Systemを使用。ホログラム加工など、演出的なエフェクトについてはAEプラグインが用いられた。

コンセプトデザインと完成モデル

MORUGA氏によるロボットのコンセプトデザインと完成モデル。床を転がったり、パルクールを取り入れた複雑なアクションに対応するため、装甲のようなパーツはなるべく減らし、足回りも細くすることで、アスリートのようなシルエットになるようにデザインを依頼。コンセプトデザインを基に、一部アレンジも含めて3D化。エドと警察ロボ、それぞれベースとなるデザインを共通のものとして、パーツの付け替えやカラーリングの変更によって、2体のキャラクターが制作された。エドは身体中にステッカーが貼られているなど、レイカとの関係性が感じられるようなヒントが追加されている（全てUE4の画面）

▲エドのコンセプトデザイン

▲警察ロボのコンセプトデザイン

▲エドの完成モデル

▲警察ロボの完成モデル

モーションキャプチャ収録＆実写撮影とリアルタイム合成

モーションキャプチャ収録＆実写撮影とリアルタイム合成の様子。撮影はツークンのモーションキャプチャスタジオで行われ、実写素材、CGカメラ、CGキャラクターのモーションを全て同時収録。リアルタイム合成を使った撮影に1日、モーションキャプチャのみの撮影に1日が費やされ、撮影班とCG班が密に協力したことで順調に進んだという

▲モーションキャプチャ収録の様子

▲リアルタイム合成のプレビュー

▲AIマスクを使ったリアルタイムプレビュー

▲グリーンバックを用いたリアルタイムプレビュー。システム上はどちらでも対応可能なため、併用して制作した

AIマスクを用いた人物合成のブレイクダウン

リアルタイム合成時は遅延を軽減するため、低解像度の実写プレートで合成している。AIマスクはあくまでプレビュー用のため再度マスクを切り直す作業が必要だが、本作では人物がホログラム状態という設定のため、ノイズを消すだけでそのまま使用できたカットもあったという

▲実写プレート
▲AIマスク

▲リアルタイム合成
▲完成ショット

破壊エフェクト

破壊エフェクトは主にHoudiniで作成してUE4にインポート。土煙や火花はUE4内で配置したほか、一部のエフェクトはAfter Effectsで追加するなど、臨機応変に対応した

▲Houdiniでの作業

▲UE4での作業

次ページ：
＜3＞Unreal Engine 4による画づくり

[[SplitPage]]

＜3＞Unreal Engine 4による画づくり

UE4のレイトレース機能が着実に写実性を高める

撮影時のリアルタイムプレビューから本制作まで、UE4によるリアルタイムCGが全面的に活用された本作。UE4による画づくりをリードしたのが、CGスーパーバイザーを務めた鄧小輝（とうしょうき）氏だ。「今回は、バージョン4.25から正式に実装されたリアルタイムレイトレーシングにチャレンジしました。メインとなる舞台が荒廃した駅という薄暗い空間だったため、ノイズとの戦いになりました。GIやリフレクションのサンプリング数を上げればノイズは解消できますが、今度はシーンが重くなりリアルタイム再生ができなくなってしまいます。そうしたところ、昨年9月にNVIDIA GeForce RTX 3090が販売開始となり、さっそく導入してみたところレスポンスがかなり改善されました。それでも、最高品質まで上げるとリアルタイム描画は厳しかったため、作業はLowサンプリング設定で進めて、最終レンダリング時にレンダーキューのコンソール設定で各パラメータを高い値に設定してレンダリングを行うワークフローにしました。ツークンでは、2015年末にUE4を導入し、翌年から本格的に使いはじめたのですが、UE4のリアルタイムCG表現には確かな進化を感じています。今後もVFX制作にゲームエンジンを活用していきたいです」。リアルタイムレイトレーシングは、火花などキャラクターに対する動的なリフレクションで特に効果を発揮したという。さらにRTX 3090を導入したことによって、完パケサイズもフルHDから4Kへ上げることもできたそうだ。

リアルタイムCGベースの映像制作はプロダクションマネジメントにおいても恩恵をもたらしたという。「毎週末に全尺をレンダリングする設定にしてもらうことで、週明けの進捗確認を効率良く行うことができました。今回は企画から本制作までの全工程を実践的に行うことができたことも有意義でした」と、ラインプロデューサーを務めた貞木優子氏。RTX 3090搭載PCを使えば、フルHD解像度なら約半日、4K解像度でも土日の2日間のうちにフル尺のレンダリングを終えることができたそうだ。

市田監督が本プロジェクトを次のように総括してくれた。「業界歴まだ4年目の自分でも、企画が通れば本作のように監督を務めさせてもらえることを素直に感謝しています。コロナ禍はピンチですが、新たなことに挑戦するチャンスでもあると思っているので、これからも守りに入ることなく、前を向いて進んでいきたいです」。

UE4によるエンバイロンメント制作

UE4によるエンバイロンメント制作の様子。本作では地下鉄と地上の2ロケーションが登場するため、それぞれレベルを分けて管理している

▲地下鉄（UE4）

▲地下鉄（本編）

▲屋外遠景（UE4）
▲屋外遠景（本編）

フォトグラメトリー

フォトグラメトリーによるデータ作成にはRealityCaptureを使用。α7R IIIで被写体1つを100～200枚撮影し、3Dアセット化を行なった。写真のような古びた布を纏った骸骨では、多少メッシュが崩れてもごまかせると見込んでいたものの、肋骨などの空洞部分は上手く3D化されるか心配していた。しかしやってみると問題なく3D化され、質感もフォトリアルなモデルが作成できたという