リアルタイムレイトレーシングからデジタルヒューマンまで＞＞Unreal Engine 4 最新動向

3月のGDC 2018に続き、4月のUNREAL FEST WEST 2018、FMX 2018でも大きな存在感を示したUnreal Engine 4（以下、UE4）。その技術はゲームの領域を超えた活用が見込まれている。本記事では、UE4の最新動向を俯瞰する。

※本記事は月刊『CGWORLD + digital video』vol. 239（2018年7月号）掲載の「リアルタイムレイトレーシングからデジタルヒューマンまで　Unreal Engine 4 最新動向」を再編集したものです。

TEXT＿尾形美幸 / Miyuki Ogata（CGWORLD）
執筆協力_今井翔太（エピックゲームズジャパン）

▲GDC 2018 Features Reel | Unreal Engine
© 2018, Epic Games, Inc. All rights reserved.

ビジュアライゼーションに最適化されたUnreal Studio

2018年3月、エピックゲームズはUnreal Studioオープンベータの公開を発表した。Unreal Studioは、建築、プロダクトデザイン、医療などのビジュアライゼーションに最適化された新たなライセンス形態で、現在は無料だが、正式リリース後は月額49ドルで使用可能となる予定だ。このライセンスの最大の目玉は、Datasmithという名のツールキットだ。これを使うと、3ds MaxやCADのデータをUE4へ簡単にインポートできる。

▲Introducing Unreal Studio | 2018 EDU Summit | Unreal Engine

近年、建築やプロダクトデザインの3DデータをUE4でビジュアライゼーションしたいというユーザーは増加傾向にあり、データのインポートにかかる手間と時間が課題になっていた。Datasmithは、3ds Maxのライト、カメラ、マテリアル、ジオメトリが含まれているシーンや、SolidWorksのパーツとアセンブリのファイルなどを直接UE4にインポートする機能を有している。そのため、インポートにかかっていた時間を数十時間単位で削減できる。

さらにラーニングソリューション（教材）、アセット、テンプレート、技術サポートなども用意されているため、初心者であっても比較的簡単にウォークスルー映像や、タブレットなどを使ったインタラクティブなビジュアライゼーションシステムを制作できるという。アセットの中にはAllegorithmicによる100のSubstanceマテリアルも含まれており、シェーダの知識がなくてもフォトリアルな床材や壁材を設定できる。「フォトリアルなビジュアライゼーションを、より早く、より手軽につくりたい」というユーザーのニーズに応えたライセンスと言えるだろう。

UE4.20からはノードベースのパーティクルエディタであるNiagaraの搭載も予定されており、今後の新サービスやアップデートにもおおいに期待できそうだ。以降でも、UE4の最新のデモンストレーション、機能、コンテンツなどを紹介していく。

▲Introduction to the Niagara Visual Effects System | 2018 EDU Summit | Unreal Engine

リアルタイムCGの未来と課題を提示

GDC 2018のオープニングセッション「State of Unreal」の中で初公開された『Reflections Real-Time Ray Tracing Demo』は、リアルタイムCGの未来と課題を提示する映像だった。本作はエピックゲームズ、NVIDIA、ILMxLABが共同で制作しており、映画『スター・ウォーズ』シリーズに登場するストームトルーパーとキャプテン・ファズマが、UE4を使ったリアルタイムCGで表現された。なおILMxLABは、ILMのリアルタイムCG開発のためのチームである。キャプテン・ファズマは周囲の光を鏡のように反射するアーマーを全身にまとっており、プリレンダーであってもレンダリングコストの高いキャラクターだ。それをリアルタイムCGで表現してみせた本作は、多くの人々に驚きをもたらした。

▲Reflections Real-Time Ray Tracing Demo | Project Spotlight | Unreal Engine

▲ストームトルーパーのメッシュ。1体あたりのポリゴン数は30万、ノーマルマップはほとんど使用していない。マテリアルIDの数は16で、4Kサイズのマップを使用している

作品タイトルにある通り、本作ではリフレクションがリアルタイムレイトレーシングで表現された。さらにエリアライトシャドウとアンビエントオクルージョンにもレイトレーシングが適用され、美しく自然な被写界深度も表現された。本作のライティングはシーンの状況、キャラクターの動作に応じて刻一刻と変化するが、キャプテン・ファズマの高い反射率のアーマーも、エリアライトによるソフトシャドウも、映画品質さながらのフォトリアルなクオリティが維持されている。

これらを実現するためには、本来であればレンダリング時に数多くのレイを発生させる必要がある。しかし本作はリアルタイムCGのため、計算できるレイの数は限られていた。実際、本作では1pixelあたり1つのレイしか飛ばしていない。当然、そのままでは大量のノイズが発生するため、ポスト処理で綺麗にしているのだ。このノイズ除去には、NVIDIAのGameWorks（NVIDIAが提供するゲーム開発フレームワーク）が使われている。

▲【左】エリアライトなしのシャドウ表現／【右】エリアライトによるシャドウ表現。このエリアライトはテクスチャで表現されている

▲【左】同じくエリアライトによるシャドウ表現／【右】ポスト処理をしていないため、大量のノイズが発生しているエリアライトシャドウ

▲【左】と【右】はいずれも1pixelあたり1つのレイしか飛ばしていないが、【右】はポスト処理を適用することでノイズを除去している

なお、本作のリアルタイムレンダリングにはNVIDIA DGX Stationが使用された。このマシンはNVIDIA Tesla V100 GPUを4枚搭載しており、サーバラック4台分の演算処理能力を備えたスーパーコンピュータだ。価格は69,000ドル（日本円で約750万円／1ドル=109円で計算）と非常に高価であり、本作のようなリアルタイムレイトレーシングをTVやゲームで使えるようになるまでには、まだまだ時間がかかるだろう。しかし、本作を通して、リアルタイムCGの未来と課題がより鮮明になったことはまちがいない。

▲エリアライトによるソフトシャドウ、床への映り込み、自然な被写界深度、反射率の高いアーマー、アンビエントオクルージョンなど、レンダリングコストの高い要素がリアルタイムCGで表現されている

次ページ：
キャラクター制作の選択肢の拡大を提示

[[SplitPage]]

キャラクター制作の選択肢の拡大を提示

GDC 2018で発表されると同時に日本でも話題となったデジタルヒューマンのSiren。FMX 2018でも女優のアレクサ・リーによるライブパフォーマンスがViconブースで実施され、こちらも来場者の注目を集めた。Sirenは、エピックゲームズ、3Lateral、Cubic Motion、Tencent、Viconの5社がチームを組んで制作した極めてフォトリアルなデジタルヒューマンだ。いわゆる「不気味の谷」を越えていることに加え、リアルタイムCGによるライブパフォーマンスを実現している点に大きな価値がある。YouTubeで公開されたSirenの表情や動きはとても自然で、TV番組のアナウンサー、タレント、アイドルなどの一部がデジタルヒューマンに置き換わる未来もそう遠くないのではと思わせる説得力を有していた。

▲Siren Real-Time Performance | Project Spotlight | Unreal Engine

さらにSirenと同じタイミングで、俳優のアンディ・サーキスからつくられたデジタルヒューマンも発表され、こちらも大きな反響を呼んだ。サーキスを忠実に再現したデジタルレプリカは、シェイクスピアの戯曲『マクベス』のセリフを表情豊かに朗読してみせた。

▲Next-Gen Digital Human Performance by Andy Serkis | Project Spotlight | Unreal Engine

これら2体のデジタルヒューマンの制作には、SIGGRAPH 2017で発表されたVRアバターの『MEETMIKE』制作時の経験が活かされている。『MEETMIKE』は、映画プロデューサーのマイク・シーモア氏のキャプチャデータからつくられた3Dモデルに、同氏のフェイシャルキャプチャデータをリアルタイムに反映させ、VR空間の中でユーザーと対面する（Meet Mike＝マイクに会う）というデモンストレーションだった。

▲SIGGRAPH 2017｜『MEET MIKE』リアルタイムデモ

『MEETMIKE』の場合は頭部だけの表現で、なおかつシーモア氏からつくられた3Dモデルに、本人のフェイシャルキャプチャデータを反映させていた。一方でSirenの場合は、中国人女優のビンジー・ヂィァンからつくられた3Dモデルに、ラテン系女優であるリーのフェイシャルキャプチャデータと、身体のモーションキャプチャデータを反映させている点が新しい挑戦だった。さらにサーキスのデジタルレプリカの場合は、『マクベス』を朗読した際のフェイシャルキャプチャデータを3Lateralが制作したクリーチャーであるOsiris Blackへとリターゲットしてみせた点が新たな試みだった。顔の構造が大きく異なるキャラクターであっても、同じキャプチャデータを適用し、違和感のない演技を付けられることを実証した今回のデモンストレーションは、CG映像制作者にとってとりわけ大きなインパクトをもつ。この技術がさらに発展すれば、キャラクター制作の選択肢はこれまで以上に拡大していくだろう。

▲3Lateral's Osiris Black Performed by Andy Serkis | Project Spotlight | Unreal Engine

▲【左】サーキスのキャプチャデータからつくられた3Dモデル。一定条件のライティングの下で、複数アングルから高画質のHFR画像を撮影し、ボリューメトリックデータを生成している／【中】【右】ZBrushによる3Dモデルのクリーンナップ過程

▲【左】サーキスのデジタルレプリカのメッシュ／【右】『MEETMIKE』のメッシュ。『MEETMIKE』の制作経験がSirenに活かされ、さらにそれらの経験を下にアップデートされたのがサーキスのデジタルレプリカだ

▲【左】『マクベス』のセリフを朗読するサーキスのデジタルレプリカ／【右】前述のサーキスのフェイシャルキャプチャデータがリターゲットされた、クリーチャーのOsiris Black

5社による先進的なコラボレーション

前述の通り、Sirenはデジタルヒューマン制作をリードする5社のコラボレーションによって誕生した。以降では各社の役割を紹介しよう。3Lateralは、同社のシステムを使い、ヂィァンの形状や質感情報などのキャプチャを担当した。キャプチャ時には徹底したフォトグラメトリーが実践され、歯や口の中にいたるまで克明に撮影している。さらに同社は3Dモデルとテクスチャ、フェイシャルリグの制作に加え、リアルタイムのフェイシャルアニメーションシステムも構築した。

Cubic Motionは、ライブ時とオフライン時のフェイシャルキャプチャ、トラッキング、ソルブ、アニメーションなどを担当した。リーの頭部に取り付けられたカメラは、毎秒90フレーム以上で200以上の顔の特徴を追跡し、その分析データは3Lateralのフェイシャルリグへリアルタイムに適用されている。

Viconは、リーの身体と指のモーションキャプチャを担当した。指のキャプチャにあたっては、新たなアルゴリズムが開発され、取得したデータは同社のShogunを介してUE4へ入力された。

エピックゲームズとTencentは、協力してSirenのルックデヴを担当した。さらに両社はクリエイティブ面と技術面に対するサポートやアドバイスを行い、リアルタイムレンダリング技術やスキンシェーダの改善に貢献した。

Sirenの発表に際し、Cubic Motionのアンディ・ウッド会長は「2020年までに、この技術を万人が利用できるようにすることで、コンテンツ制作のあり方が全面的に変わるでしょう」と語った。この言葉が、デジタルキャラクターとコンテンツ制作の未来を端的に予言していると言えよう。

▲Siren Behind The Scenes | Project Spotlight | Unreal Engine

▲リーのフェイシャルキャプチャには、3LateralとCubic Motionの技術が使われている

▲【左】デモンストレーション用のフェイシャルとモーションのキャプチャは、イギリスにあるViconの本社で行われた／【右】キャプチャデータはリアルタイムに3Dモデルへ適用され、タブレットを使ったバーチャルカメラで確認することもできる

▲Sirenの制作にはUE4の機能が最大限に活かされており、目の虹彩や細かい産毛などのティテール表現にいたるまで、UE4によって制御されている。【左】虹彩の溝のノーマルマップがOFFの状態／【右】同じくONの状態

▲【左】産毛のマテリアルの調整前／【右】同じく調整後

最後に、UE4の新たに発表された機能やコンテンツを3つ紹介する。1つめは、ゲームの録画とリプレイ機能だ。この機能はゲーム実況ファンに人気の『Fortnite』にはすでに実装されており、ゲームのユーザーは、自身のプレイを録画、リプレイできる。リプレイ時には、カメラの位置や絞り、映像の再生速度などの変更が可能なため、ユーザーはよりクリエイティブな実況動画を制作し、YouTubeなどを介してほかの人に共有することができる。この機能はUE4.20から実装される予定だ。

▲『Fortnite』の録画とリプレイ機能。UE4.20への実装後は、UE4のユーザーも自身のゲームに本機能を実装できるようになる

2つめは、2018年4月にサービスが終了した『Paragon』のキャラクターや背景モデル、アニメーション、テクスチャ、エフェクト、サウンドなどのアセットデータの無料公開だ。これらのアセットには約1,200万ドルの制作費がかかっているが、UE4ユーザーであれば、UEのマーケットプレイスから無料で利用できる。