コンピュータエンターテインメント開発者を対象としたCEDEC2023が、2023年8月に開催された。スクウェア・エニックスによるセッション「Luminous Engineにおけるハイエンドキャラクターリアルタイムデモ 『人形ノ家』 "NINGYOU NO IE" real-time Demonstration | Luminous Engine における制作手法」では、自社製ゲームエンジンであるLuminous Engineの新しいリアルタイムデモンストレーションについて解説が行われた。

関連記事

・国内外の著名スタジオから集った開発者たちが、生成AIの現状と今後の展望を議論！　欧米のゲームテクノロジーパネルディスカッション 〜CEDEC2023（1）

・大規模ゲームの開発をより効率的に、『FINAL FANTASY XVI』制作に向けた開発環境の取り組み～CEDEC2023（2）

高精細なキャラクターが登場するリアルタイムデモ『人形ノ家』

スクウェア・エニックスによるセッション「Luminous Engineにおけるハイエンドキャラクターリアルタイムデモ 『人形ノ家』 "NINGYOU NO IE" real-time Demonstration | Luminous Engine における制作手法」では、Luminous Engineに関するリアルタイムデモンストレーションの制作手法について、同社第二開発事業本部の山口由晃氏、蓮尾雄介氏が講演を行なった。

このデモンストレーションの制作には、人物素材撮影、モーションキャプチャ、背景の制作など、Luminous Engineに対して実際のゲーム開発で求められる機能を確認するため、多岐にわたる工程が試された。モデルには土屋敬子氏が起用され、土屋氏の細やかな表情や動きが再現されている。

講演の前半はアートディレクターの山口氏が担当し、Luminous Engineのハイエンドキャラクターリアルタイムデモの制作手法についてを紹介。後半はグラフィックスプログラマーの蓮尾氏より、変形関連の取り扱いについての解説があった。

• 

• 

『人形ノ家』におけるデータ制作のながれ

演出をしっかり意識したルックデヴ

この『人形ノ家』では演出担当者がアサインされ、単なる研究開発用のデモではなく作品としての品質が追い求められた。機能的なゴールを追求する研究開発だけでは実際のゲーム開発の現場で必要な機能が欠けたり、ユーザーが必要とする機能が不足していると指摘されることがある。

ゲームエンジンとしてのクオリティを確保するために「こういう機能があった方が良かった」という状態を避けるために、実際に利用される状況と同じ環境で、最終クオリティを意識した制作が心がけられた。その方がゴールがイメージしやすいため、有意義な検証になると考えたそうだ。

実際に制作段階でクオリティ重視のためにパラメータを増やしたり、エンジンに必要な機能を追加したりといった要望もあったそうだ。

キャラクターの素材撮影と制作

キャラクターの撮影と制作については、株式会社クレッセントの協力のもと、クレッセントがもつLIGHTCAGEにて人物撮影が行われた。

撮影はモデルの土屋敬子氏を迎えて行われた。顔の微細な表情や演技をアニメーションとして再現することが目標とされ、眼球の動き、唇の柔らかい動き、口元の細かいシワ、表情の移り変わりなどを検証するため、最適なモデルとして土屋氏を抜擢することになった。

本来はストーリーや演出が先にありモデルが選ばれるが、今回はルックデヴ主体のため、モデルを先に選んでからストーリーや演出を後に決定するという逆のアプローチが取られた。また技術のアピールを主目的としたプロジェクトではあるが、視聴者の興味を惹くことも重要だったという。

フェイシャルのメッシュや手のメッシュ用の3Dキャプチャ、テクスチャ撮影、リファレンス写真などが1日で計画的に実施された。

今回は特に「手」の研究開発も重要なテーマとして含まれていた。そのため手の撮影は通常と異なる方法で行われ、モデルには一定の姿勢を維持してもらうことが求められた。

撮影で取得したデータからさらにデータのブラッシュアップを進め、ボディ形状やポリゴンの調整、皮膚の細かい凹凸の追加などが行われた。

皮膚の凹凸部分にはZBrushを使用して追加作業を行い、ノーマルマップの調整も実施。検証用のデータとして、実際の手の構造やシワがしっかりと見えるような調整が施され、やや誇張した表現が採用されている。

フェイシャルのブレンドシェイプ

ブレンドシェイプを活用してフェイシャルの質を向上させるための方法についても紹介された。基本的な方針としては、ジョイントを使った実装での変形と、その理想メッシュとのギャップをブレンドシェイプで補う方法が取られている。

フェイシャルの作成にはFACS（Facial Action Coding System）が使用された。変形の際にはブレンドシェイプを利用し、ブレンドシェイプを骨変形後に使用することで、元の形状を再現しつつジョイントの機能を維持することができている。

手のPSD（ポーズ・スペース・デフォーメーション）

• 

• 

手のPSD（ポーズ・スペース・デフォーメーション）では、フェイシャルと同様のブレンドシェイプが採用されている。ジョイントとブレンドシェイプの駆動方式は顔と同じで、指のジョイントの回転姿勢を考慮して、適切な表現が行われている。

ブレンドシェイプに関しては、実際のアニメーションをながしながらの調整が可能であり、手や指の各部分の調整も行うことができる。

また、このシステムの制作にあたり、複数のツールがTA（テクニカルアーティスト）によって制作された。それらのツールには、指ごとのPSDの動作や、自動的な骨の姿勢の推定ツールなどが含まれている。

眼球の機械機構

デモ映像では登場人物の眼球に機械が仕込まれており、その機械の機構も作成された。眼球の開閉時や内部にある赤いキューブのアニメーション、シェーダなどで構成されている。

目のASG（異方性球面ガウス）については、方向ごとにガウス曲線をコントロールできる特性をもっており、これを利用することで高解像度での眼球の影の表現がAO（アンビエントオクルージョン）として可能になった。さらにはフェイシャルアニメーションとの連動もできるのが便利な点だ。

背景撮影

• 

• 

背景の撮影は、埼玉県にある古民家スタジオで行われた。

撮影現場では素材の寸法を測り、環境光の計測、テクスチャ素材の収録などが行われた。実際に現地に行くと豊富な情報量を体感できるので、素材の撮影だけでなくクリエイターが多くの情報をもち帰ることができ、その点が重要であったとのことだ。

このように、本デモではただのルックデヴではなく、演出をしっかりと取り入れて実施することにより、機能も質も、高品質な結果を得ることができたという。


最後に山口氏は「サウンドも、完全にオリジナルの高品質な音源を制作いただいた」と言い、プロジェクト全体を振り返った。『人形ノ家』が当初の予定通り完遂することができたのは、プログラマー、演出担当、TA（テクニカルアーティスト）、キャラクター、背景、フェイシャルアニメーター、アニメーター、ライティング、サウンド、アート、UI、進行担当など、多くのスタッフの協力によるものだと言い、関係者全員に感謝の意を伝え、講演を終えた。

リアルタイムデフォームのテクニカル解説

講演の後半では、蓮尾雄介氏よりコリジョンデフォームの技術に焦点を当てた解説があった。

具体的には、実現したい目的と実現方法、衝突計算に関する押し出し、膨らみ、法線の計算の詳細解説、そして各種シェーダの実装とタイムラインの制御について説明が行われた。

デモの主要なシーンに女性が頬杖をつく動きがあり、その際には、手との衝突で頰の形状が変形し、さらに摩擦によって頰が引っ張られるような表現が目指された。外部衝突によるメッシュの変形と、外部から加わった力が周囲に伝わり、周囲の形状も変形する効果を実現したかったとのことだ。

頬杖シーンでのメッシュ変形や形状変形の表現については、要件として、アニメーションと同期して骨の衝突データを取得する必要がある。衝突判定をシンプルに行うために、メッシュ同士の衝突ではなく、プリミティブ形状を使って衝突判定を行なった。

距離に応じて膨らみ具合を変えるというシンプルな計算によって実現されている。膨らみの計算は、衝突位置からの距離に基づいて行われ、その結果を基にして変形される。複数の頂点に対して、衝突と膨らみの計算が行われ、それによってメッシュの形状が適切に変形されている。

衝突時の膨らみの大きさや形状をコントロールするため多くのパラメータが存在している。例えばコリジョン形状、影響範囲、鋭さ、スケール、ピーク距離、法線強度、張力などだ。それらのパラメータを調整することでアーティストが微細な調整を行うことが可能となった。

実装初期からのアップデートを通じて、多くの調整や改善も行われた。しかしコリジョンが実際に衝突していなくても影響範囲内にある頂点が反応するため動きが不自然になってしまうという点は今後の課題とされ、今回はタイムラインに合わせて有効／無効を切り替え、不要な影響がないように対処された。

また、膨らみ形状の計算が高負荷であるが、形状をリアルタイムに変化する必要がなければデータをテクスチャ化しておくことで負荷を減らすことができるという。

最後に蓮尾氏は「今回検証した技術をさらにゲームに適したかたちに改良していきたい」と展望を述べ、講演を締めくくった。

講演資料＆映像

・LuminousEngineにおけるハイエンドキャラクターリアルタイムデモ 『人形ノ家』 "NINGYOU NO IE" real-time Demonstration | Luminous Engine における制作手法（CEDiL）