リアルタイムレイトレーシングからデジタルヒューマンまで＞＞Unreal Engine 4 最新動向 | 特集

キャラクター制作の選択肢の拡大を提示

GDC 2018で発表されると同時に日本でも話題となったデジタルヒューマンのSiren。FMX 2018でも女優のアレクサ・リーによるライブパフォーマンスがViconブースで実施され、こちらも来場者の注目を集めた。Sirenは、エピックゲームズ、3Lateral、Cubic Motion、Tencent、Viconの5社がチームを組んで制作した極めてフォトリアルなデジタルヒューマンだ。いわゆる「不気味の谷」を越えていることに加え、リアルタイムCGによるライブパフォーマンスを実現している点に大きな価値がある。YouTubeで公開されたSirenの表情や動きはとても自然で、TV番組のアナウンサー、タレント、アイドルなどの一部がデジタルヒューマンに置き換わる未来もそう遠くないのではと思わせる説得力を有していた。

▲Siren Real-Time Performance | Project Spotlight | Unreal Engine

さらにSirenと同じタイミングで、俳優のアンディ・サーキスからつくられたデジタルヒューマンも発表され、こちらも大きな反響を呼んだ。サーキスを忠実に再現したデジタルレプリカは、シェイクスピアの戯曲『マクベス』のセリフを表情豊かに朗読してみせた。

▲Next-Gen Digital Human Performance by Andy Serkis | Project Spotlight | Unreal Engine

これら2体のデジタルヒューマンの制作には、SIGGRAPH 2017で発表されたVRアバターの『MEETMIKE』制作時の経験が活かされている。『MEETMIKE』は、映画プロデューサーのマイク・シーモア氏のキャプチャデータからつくられた3Dモデルに、同氏のフェイシャルキャプチャデータをリアルタイムに反映させ、VR空間の中でユーザーと対面する（Meet Mike＝マイクに会う）というデモンストレーションだった。

▲SIGGRAPH 2017｜『MEET MIKE』リアルタイムデモ

『MEETMIKE』の場合は頭部だけの表現で、なおかつシーモア氏からつくられた3Dモデルに、本人のフェイシャルキャプチャデータを反映させていた。一方でSirenの場合は、中国人女優のビンジー・ヂィァンからつくられた3Dモデルに、ラテン系女優であるリーのフェイシャルキャプチャデータと、身体のモーションキャプチャデータを反映させている点が新しい挑戦だった。さらにサーキスのデジタルレプリカの場合は、『マクベス』を朗読した際のフェイシャルキャプチャデータを3Lateralが制作したクリーチャーであるOsiris Blackへとリターゲットしてみせた点が新たな試みだった。顔の構造が大きく異なるキャラクターであっても、同じキャプチャデータを適用し、違和感のない演技を付けられることを実証した今回のデモンストレーションは、CG映像制作者にとってとりわけ大きなインパクトをもつ。この技術がさらに発展すれば、キャラクター制作の選択肢はこれまで以上に拡大していくだろう。

▲3Lateral's Osiris Black Performed by Andy Serkis | Project Spotlight | Unreal Engine

▲【左】サーキスのキャプチャデータからつくられた3Dモデル。一定条件のライティングの下で、複数アングルから高画質のHFR画像を撮影し、ボリューメトリックデータを生成している／【中】【右】ZBrushによる3Dモデルのクリーンナップ過程

▲【左】サーキスのデジタルレプリカのメッシュ／【右】『MEETMIKE』のメッシュ。『MEETMIKE』の制作経験がSirenに活かされ、さらにそれらの経験を下にアップデートされたのがサーキスのデジタルレプリカだ

▲【左】『マクベス』のセリフを朗読するサーキスのデジタルレプリカ／【右】前述のサーキスのフェイシャルキャプチャデータがリターゲットされた、クリーチャーのOsiris Black

5社による先進的なコラボレーション

前述の通り、Sirenはデジタルヒューマン制作をリードする5社のコラボレーションによって誕生した。以降では各社の役割を紹介しよう。3Lateralは、同社のシステムを使い、ヂィァンの形状や質感情報などのキャプチャを担当した。キャプチャ時には徹底したフォトグラメトリーが実践され、歯や口の中にいたるまで克明に撮影している。さらに同社は3Dモデルとテクスチャ、フェイシャルリグの制作に加え、リアルタイムのフェイシャルアニメーションシステムも構築した。

Cubic Motionは、ライブ時とオフライン時のフェイシャルキャプチャ、トラッキング、ソルブ、アニメーションなどを担当した。リーの頭部に取り付けられたカメラは、毎秒90フレーム以上で200以上の顔の特徴を追跡し、その分析データは3Lateralのフェイシャルリグへリアルタイムに適用されている。

Viconは、リーの身体と指のモーションキャプチャを担当した。指のキャプチャにあたっては、新たなアルゴリズムが開発され、取得したデータは同社のShogunを介してUE4へ入力された。

エピックゲームズとTencentは、協力してSirenのルックデヴを担当した。さらに両社はクリエイティブ面と技術面に対するサポートやアドバイスを行い、リアルタイムレンダリング技術やスキンシェーダの改善に貢献した。

Sirenの発表に際し、Cubic Motionのアンディ・ウッド会長は「2020年までに、この技術を万人が利用できるようにすることで、コンテンツ制作のあり方が全面的に変わるでしょう」と語った。この言葉が、デジタルキャラクターとコンテンツ制作の未来を端的に予言していると言えよう。

▲Siren Behind The Scenes | Project Spotlight | Unreal Engine

▲リーのフェイシャルキャプチャには、3LateralとCubic Motionの技術が使われている

▲【左】デモンストレーション用のフェイシャルとモーションのキャプチャは、イギリスにあるViconの本社で行われた／【右】キャプチャデータはリアルタイムに3Dモデルへ適用され、タブレットを使ったバーチャルカメラで確認することもできる

▲Sirenの制作にはUE4の機能が最大限に活かされており、目の虹彩や細かい産毛などのティテール表現にいたるまで、UE4によって制御されている。【左】虹彩の溝のノーマルマップがOFFの状態／【右】同じくONの状態

▲【左】産毛のマテリアルの調整前／【右】同じく調整後

最後に、UE4の新たに発表された機能やコンテンツを3つ紹介する。1つめは、ゲームの録画とリプレイ機能だ。この機能はゲーム実況ファンに人気の『Fortnite』にはすでに実装されており、ゲームのユーザーは、自身のプレイを録画、リプレイできる。リプレイ時には、カメラの位置や絞り、映像の再生速度などの変更が可能なため、ユーザーはよりクリエイティブな実況動画を制作し、YouTubeなどを介してほかの人に共有することができる。この機能はUE4.20から実装される予定だ。

▲『Fortnite』の録画とリプレイ機能。UE4.20への実装後は、UE4のユーザーも自身のゲームに本機能を実装できるようになる

2つめは、2018年4月にサービスが終了した『Paragon』のキャラクターや背景モデル、アニメーション、テクスチャ、エフェクト、サウンドなどのアセットデータの無料公開だ。これらのアセットには約1,200万ドルの制作費がかかっているが、UE4ユーザーであれば、UEのマーケットプレイスから無料で利用できる。