VRフィルム『HERA』×ファッション〜現実とVRの境界

日常生活でも作品制作でも、多かれ少なかれ影響のある「ファッション」。そこで現在制作中のVRフィルム『HERA』におけるファッション表現に注目し、先日正式に発表された『HERA』プロジェクトと、映像制作における様々な挑戦について紹介する。

※本記事は月刊「CGWORLD + digital video」vol. 260（2020年4月号）からの転載となります。

TEXT＿草皆健太郎（BOW）
EDIT＿斉藤美絵 / Mie Saito（CGWORLD）、山田桃子 / Momoko Yamada（CGWORLD）
PHOTO＿島田健次 / Kenji Shimada

VRフィルム『HERA』
原作・監督：東弘明／脚本：伊藤靖朗、東弘明／音楽：高橋英明／CAST：名塚佳織、小清水亜美／プロデューサー：藤岡寛子、待場勝利／アートSV：澤井富士彦（WACHAJACK）／CG Director：高金幸司（khaki）、大山俊輔（RUNPU）／Main Programmer：片渕孝一（RUNPU）／Digital Artist：中澤正浩、柳島秀行（CyberHuman Productions）／3D Facial scanning：CyberHuman Productions／STYLIST：渡辺康裕／製作：WOWOW×stoicsense

現在の延長線である近未来を描く挑戦的なVR作品

今回は「CG×ファッション」特集ということで、ファッションに注力したCG作品に触れたい。が、まずは当該作品『HERA』について紹介させていただく。

左から、東弘明監督（stoicsense）、高金幸司CGディレクター（khaki）、中澤正浩デジタルアーティスト、柳島秀行デジタルアーティスト（CyberHuman Productions）
stoicsense.co.jp　khaki.tokyo
www.cyberhuman-productions.co.jp

左から、米倉央デジタルアーティスト、大山俊輔CGディレクター、片渕孝一メインプログラマー、中原一徳氏デジタルアーティスト。以上、RUNPU
runpu.co.jp

『HERA』は人生の追体験ができる、現在開発中のVRコンテンツだ。昨今リアルタイムCGはゲームを中心に、VR技術もハード・ソフト共にすごい勢いで進化している。別方向では、あたかも実在しているかのようなデジタルヒューマンという技術も活気づいている。どちらも過去には実現が難しい憧れの技術だったものであり、両技術を同時に用いたコンテンツが生まれるのはまだ先か......と思っていたのだが、そこにあえて正面から挑戦しているのが、この『HERA』という作品である。すなわち、VR空間で架空の人物たちとインタラクティブなコミュニケーションをとることで、自身とまったく別の世界と物語を体験できる先鋭的なプロジェクトだ。

xR技術に関しては、世界中で研究開発が行われており、様々なコンテンツが生み出されつつあるが、「現実との境界を感じさせない仮想空間」はまだSF作品などで語られる夢物語で、現実世界では実装されていない。『HERA』はかなりハードルの高いプロジェクトなのである。東弘明監督は、常々「マルチエンディングVRフィルムをつくりたい」と考えていたそうで、各所で登壇した際に構想を話していたところ、同じビジョンをもつWOWOWと接点をもつことになり、WOW Laboとしての活動の一環として、共同制作で本企画がスタートしたそうだ。「今回のプロジェクトには3つの取り組み課題があります」と東監督は話す。それは①ストーリー分岐型のVRフィルムの実現、②AI×xRのビジョンの提示、③デジタルヒューマン＆デジタルアクターの作成、である。この3つの課題を満たすべく制作が行われ、背景に関してはまだプリビズ状態だが、先行してデジタルアクターの制作が進められている。制作チームは東監督を中心に『攻殻機動隊新劇場版 Virtual Reality Diver』のチームが再集結した。直近では3月に開催される今年のSXSW Conference ＆ Festivalsで展示される予定とのこと。

ネタバレになるので詳細はあまり触れないでおくが、概要を紹介すると、主人公の男性・NEALが現実の女性であるLUNAとAIシステムであるHERAとの間で心が揺れ動く近未来の物語で、最終的にアイトラッキングを利用し、プレイヤーの見ている視点によって自然とストーリーが分岐していく構造になっている。「VRフィルムには将来AIが入ってくるという予想があります。キャラクターと対話をしながら、それぞれのエンディングを迎える作品が生まれてくると思うんです。そんな未来を見据えて、今その何段階か前のプロトタイプをつくっているところですね」と東監督。

最終的な実装はUnreal Engine（以下、UE）で行われ、リアリティを追求するべく想定しうることを可能な限り詰め込んで制作しているという。例えば衣服のシミュレーションや髪の毛の動きのリアリティだ。動きはモーションキャプチャを用いるが、本作の特性上、デジタルアクターが常にプレイヤー（主人公）に近接して行動・存在するため、デジタルアクターの制作は重要である。登場するデジタルアクターは実在の人物をオーディションで決め、CyberHuman Productions（以下、CHP）でフォトグラメトリーを行い、それを基に制作していく。最近増えてきた手順ではあるが、本作ではそれをVRの中で「存在」させなければならない。そのため、単に3Dモデルを作成するというわけではなく、服装・アクセサリ・メイク・髪型など、全ての面で実在感が求められた。作品の世界観が「40年後、軌道エレベータが建設された東京湾沿岸の特区」という設定であるため、プロのスタイリストが現在のファッション情勢を考慮しつつ40年後のファッションを想定し、それを基に今あるハイブランドから衣服を選び、実際にアクターが着用し、衣服に合わせたメイクやヘアスタイルを決め、それをリファレンスとしているという徹底ぶりである。

ゲームなどの作品であれば、2Dでキャラクターをデザインし、衣服もそれに合わせて描いていく。もちろんデザイナーの知識や考えがキャラクターに生命を与えていくのだが、今回はそこを想像に任せるのではなく「その道のプロ」が未来を読み解いて選んでいるところがポイントだ。そういったある種の「考証」を行うことでリアリティが増していく。スタイリストの渡辺康裕氏いわく「現在はファッションが出尽くしていて、過去をオマージュしてリミックスする時代です。40年後もそう変わらず、むしろ人の手が生む美しさにもっと惹かれていくのではないでしょうか。ファッションは良くも悪くも飽きるので、だからこそちがうものが欲しくなるのです。美しいもの、かわいいものに対する欲求がファッションだと僕は思います」とのこと。本作では、そんなファッションの楽しさを表現した衣服になっているそうだ。そうした様々な検証を経てひとつひとつ積み上げられたファッションであるがゆえに、実制作は苛烈を極めている。

背景に関しては「今建築の主流はザハ・ハディド系の流線的な造形なので、その延長線上にあるデザインを考えています。ザハ系の街を東京で再開発したらどうなるかをWACHAJACKの澤井富士彦氏と話し合いながら決めていきました」と東監督。また作品の世界観は近未来で、量子力学的平行宇宙が存在し、仮想空間もある設定のため、デザイン的にも挑戦となりそうだ。完成が楽しみである。

次ページ：
for Styling

[[SplitPage]]

for Styling

ここからは、具体的な衣服のCG制作について解説していく。

Marvelous Designerを用いた衣服制作①

当初東監督は「CHPで撮影したフォトグラメトリーを上手く活用すればモデリング工数を抑えられるはず」と思っていたそうだが、衣服の構造は複雑でMarvelous Designer（以下、MD）などでイチから作成されている。HERAとLUNAの衣服は主に中澤正浩氏が作成した。「MDを使用したのは初めてで、服飾の知識が必要だと思っていましたが、想像以上につくりやすく、トライ＆エラーもしやすかったですね」と中澤氏。とはいえ型紙はないため、フォトグラメトリーデータと写真を基に再現していく。MDは型紙として作成した形状がそのままUVに適用できるので、柄物のテクスチャを描く際は効率が良かったという

この衣服はひだ状のパーツが密集しており、一度にシミュレーションをかけると上手くいかなかったため、パーツごとに数回に分けてシミュレーションしている。その際、布を硬く変形させにくくする「強化」と、シミュレーションが完了したパーツが次のシミュレーションの邪魔にならないようフリーズさせる「固定」を上手く使い分けている

まず土台となる下地のみシミュレートして「固定」をかける
短冊状のパーツは次の工程でひだ状のパーツを付けるので、できるだけ変形させないように「強化」をかけてシミュレーションし、【画像左】の下地に上手くくっついたら「固定」する

ひだ状のパーツをシミュレートし、【画像右上】のパーツにくっついたら「固定」をかける
襟元と肩周りの細かいパーツをシミュレートしてくっつける

ポリゴン数を節約するために細かいディテールは極力Substance Painter（以下、SP）でテクスチャとして描き込む

テクスチャの集約

もともとは衣服の材質などに合わせてマテリアルを作成していたが、UEの仕様上マテリアルが分かれていると、クロスシミュレーション時にマテリアル別にオブジェクトがバラバラになるため、1オブジェクト1マテリアルになるようにテクスチャをまとめて調整し直したという。「UEのマテリアルは難解で手こずりました」と高金幸司氏。テクスチャの解像度は2K、マテリアルは1キャラクターにつき8個を想定していたが「クオリティ的に厳しかったので、現時点でテクスチャは4K、マテリアルは13～14個にしています」と片渕孝一氏は話す

集約前のテクスチャ

集約後のテクスチャ

Marvelous Designerを用いた衣服制作②

この衣服はフォトグラメトリーからサイズを計測し、パターンを読み取り、制作している。現実の世界では衣服が綺麗に見えるようにスタイリストがモデルに衣服を着用させ、丈をピンで調整して全体のバランスを整えるように、今回はMD上で丈を調節しているという。フォトグラメトリーは生地の裏側のデータはなく、その部分は写真から読みとったそうで、この衣服は特に造形も凝っており、ドレープを美しく見せるために、生地の数値調整を何度も行なったとのこと。結果、綺麗なドレスに仕上がっている。なお、基のスタイリングでは腰に花の装飾が付いているが、時間的なメリットを考えてCinema 4Dでモデリングされた

衣服の完成データ

装飾の3Dモデル

ZBrushによる造形

MDはポリゴン数の制限があったため「ハイポリゴンでシミュレーションしたものを3ds Maxでリダクションし、ZBrushで整えつつSPでディテールを付けるようにして、ポリゴン数をあまり使わないように心がけました」と中澤氏。下画像の赤い衣服に関しては「構造はシンプルですが、伸び縮みする材質だったので再現が難しかったです」（中澤氏）とのことで、フォトグラメトリーから直接ZBrushでリトポロジーして作成したという

ZBrushによるモデリング

レンダリングされた衣服。また、制作期間中にMDがバージョンアップしたが「9になってGPUでシミュレーションをかけられるようになったので試すと、感動するほど速かったのですが、CPUに比べて精度が落ちるのでCPUで作業しました。ざっくりとGPUで、詰めはCPUでやるのが良いと感じましたね」と中澤氏

Unreal Engine上でのセットアップ

UEのリグは、ゲームと同様にいわゆるone chain構造になっていなければならない。「普段はスキンモーフやモディファイヤなどで形状を変形しますが、補助ボーンを入れたり、特殊な部分はそれ用にボーンを入れたりして形状を整えるなど、いつもより工数を多めにとって丁寧に対応しなければならず苦戦しました」（高金氏）。今回の制作チームは主にプリレンダー映像を制作しているクリエイターが中心で、リアルタイム系の知識をもった人はほとんどいなかった。そこで、UEを使ったフォトリアルでハイクオリティなコンテンツ制作に挑戦する人物を探したそうだが見つけられなかったという。「一緒に挑戦してくれる人がいれば、ぜひ連絡をいただきたいですね」と東監督は話す

Mayaでのセットアップ

UEでのセットアップ

モーション制作におけるシミュレーションの使い分け

衣服のシミュレーションに関して、当初はKawaii Physicsをメインで使う予定で、リグもその想定で準備されていた。しかし、ポーズによってはどうしてもめり込みの発生などがあったため、最終的にはシーンによってKawaii PhysicsとUE標準のクロスシミュレーションとを使い分けている。「ヒダのある衣服や複雑な形状の衣服の場合、Kawaii Physicsの方がシンプルで良い結果が得られやすいです。"Root Bone"を指定するだけで末端のBoneまで一括に適用でき、また"Exclude Bones"を併用することで部分的に適用させることもできるので、制御しやすかったですね」と中原一徳氏。また、MDで作成された衣服は、なるべくポリゴン数を減らしているとはいえ、かなりハイメッシュなため、LOD Clothを使っているそうだ。ローポリモデルを用意してシミュレーションを行い、それに対してハイポリモデルの衣服が追従するようなしくみになっている。こうすることで、ペイントによるクロスの設定もやりやすいとのこと。なお、モブキャラクターなどは遠景に配置する可能性もあるため、LODを仕込む予定もあるそうだ

ローポリモデル
ハイポリモデル

クロス設定の塗り前
クロス設定の塗り後

Kawaii Physicsの設定画面
コリジョンの調整

ノード

Unreal Engineによるレンダリング

VR作品では、挙動の軽量化を優先して処理が軽いForward Renderを採用することが多いが、今回はリアルな質感を目指していることもあり、Deferred Renderを使用するという挑戦を行なっている。Deferred RenderはGIやSSSをリアルタイムで処理できるが、処理が重いため、今後チューニングが必要になるという。また、本作はHTC VIVE Pro Eyeでの視聴が想定され、解像度は片目で1,440×1,600ピクセル程度、両目で2,880×1,600ピクセルを基準としている。なおかつ90fpsで動作することを目標にしているそうだ。それが「現実的な空間」として人が認識するために必要な仕様ということなのだろう。現在も最適化を進めているが、FPSの改善は大きな課題のようだ。「現在はGeForce GTX1080 Tiをベースに開発を進めていますが、実装面で最適化を進めつつも、完成までにGPUを更新することで補強できればと考えています。すでに発表されているVRのSLI対応にも期待したいですね」と東監督は語る

写真を基に作成した主人公NEALの衣服

主人公であるNEALに関しては、CHPでの3Dスキャンが日程的にできなかったため、東監督が自ら衣服を着たモデルを撮影したという。しかし、手持ちカメラで様々な角度で数百枚の写真を撮らねばならず、時間もかかるため被写体のモデルも動いてしまい、衣服も黒いものが多く、写真からフォトグラメトリーを行うのは難しかった。結果、写真を基に大山俊輔氏がイチからモデリングし、衣服に関してはこちらもMDで作成している。今回作成された人物モデルは、NEALが9バリエーション、HERA・LUNAが計9バリエーション、それ以外にニールの両親や看護師などが加わり、合計18体とのこと

東監督が撮影したリファレンス写真

MDで作成したNEALの衣服

レンダリング結果

Substance Painter × Unreal Engine

SPの画面【上】とUEの画面【下】を見比べると、大差ない。SPとUEは共にPBRに対応しており、SPにはUE用の書き出しプリセットがあるため、両ツール間でルックを統一させるのは容易である。ただしUEのシェーダは設定項目が多く、普段のレンダラのシェーダとは勝手が大きく異なるため、理解するのはなかなか難しいとのこと。高金氏は「今回やって感じたのは、この作品はゲームに近いことです。自分たちはずっと映像（プリレンダー）をやってきたのでゲームのノウハウがなく、それがすごく挑戦であり、今後勉強していきたいところにもなりました。ゲーム畑のCGアーティストの方と蜜にやりとりして、お互いに勉強しながらつくっていけたらと思います。ゲームをつくっている方とコラボしたいですね」と話してくれた

次ページ：
for Makeup

[[SplitPage]]

for Makeup

メイク＆ヘアスタイルについて、こだわりを見てみよう。

フェイシャルの高精度3Dスキャン

本作では、メイクやヘアスタイルに関しても、プロのスタイリストがモデルへ実際に施した状態をCHPで3Dスキャンし、フォトグラメトリーを行い、それをリファレンスにCGで再現している。画像はCHPで作成されたフォトグラメトリーの一部。様々な表情が撮影された

本格的なメイクの表現

現実世界では服装が替わればメイクや髪型が変わるように、リアルを追求する本作でも、服装に合わせてメイクや髪型を変えている。メイクの表現に関しては、現実の人のように、すっぴん状態のフェイスモデルに対してメイクを施していく。しかし単に色を乗せるだけでは上手く再現できなかったという。特にグロスなどの潤い感やラメの光沢感などには苦戦したそうだが、SPを用いて丁寧にテクスチャを描き、再現した

すっぴん状態のフェイシャル
メイク後のフェイシャル

テクスチャ素材。左からカラー、ノーマルマップ、AO・ラフネス・メタリック。また、今回はスタイリストが用意したアクセサリ類も膨大な数があった。それも現実世界では当然のことで、衣服のちがいはもちろん、そのときの気分や行き先によって身に着けるアクセサリは変わってくる。これらは柳島秀行氏を中心としたスタッフが写真をリファレンスに作成した

リアルタイムレンダー向けのヘアメイク

3Dモデル

レンダリング結果。ヘアメイクに関しては、UEによる処理負荷の関係上、板ポリゴンを用いてゲーム的な造形で作成されている。形状に関しては実際の髪型に合わせて何度も調整をくり返したという。ヘアメイクを担当したABE氏は「本作は未来の物語ではありますが、そんなに遠い未来ではなく、近い将来ありえることのような気がして、ヘアスタイルも突拍子もないスタイルではなく、将来あり得るものを考えました。登場する実像とバーチャルのふたりをどう表現していくか、ふたりの性格のちがいを洋服に合わせてヘアスタイルでも表現したつもりです。フルCG作品に携わるのは初めてだったので、写真の撮影とはちがい、髪の毛の動きやツヤ等がCGになったときにどう見えるのかを考えるのが面白かったです」と話す。髪の毛はゲーム案件の経験も豊かな柳島氏がモデリングを担当。「普段のゲーム制作では髪の毛もそこまで細かく気にしないのですが、今回は"このキャラクターの"ちがう髪型だからこうなる、というリアルな考証を経てつくってもらっています。それだけに調整作業はかなりの回数になりました」と、DHP・中野江美氏はふり返る。「プリレンダー系の映像だけをやっていた方にとっても、リアルタイムは面白いと思いますので、挑戦してほしいですね。リアルタイムで形状も位置・配置もマテリアルも変えられるので、シェーディングしながらトライ＆エラーできることに感動しますし、映像に限らず新しいことに興味がある方には、ぜひ画づくりでリアルタイムレンダーを活用してほしいです」と柳島氏も語る。なお、髪の毛のシミュレーションもKawaii Physicsが用いられている

VRで観られることを意識したまつ毛のクオリティアップ

当初、まつ毛はテクスチャで表現していたそうだが、作品の特性上、寄って見ることになるので、ポリゴンで1本1本作成している。また「目や歯茎の間は、立体視だと違和感があるとわかってしまいます」（東監督）とのことで、ゲームであれ映像であれ、普段は省略する部分も形状を正しくつくり込んでいるとのこと

初期メッシュと【左】レンダリング結果【右】

【左】修正後のメッシュと【右】レンダリング結果。本作の制作を通して「最初からCG作品用にデザイナーがつくった衣服の再現ではなく、衣服をリアルに綺麗にかわいく見せたいという想い、衣服やアクセサリ、メイクをCGでここまで丁寧に見せることに注力した作品は初めてではないでしょうか。それができるとわかったら、ファッションが好きな人が映像制作に入ってこられるチャンスが増えるかもしれません。そうするともっとCGのカルチャーとしての幅が広がっていくと考えています。そういう変化や新しい表現が、映像業界でもっとあっても良いと思います」と中野氏は語る。たしかに現在のCG業界は広く一般に対して浸透しているわけではない。こういった意図をもった作品が生まれることで、新たな変化につながってほしいと筆者も願う