Khakiの技術を結集したカワイイ×リアル「UE5 セミリアルバーチャルヒューマンデモ」

横原大和氏を中心にKhakiの有志によって制作された本バーチャルヒューマンデモ。Unreal Engineをはじめ、Khakiが培ってきた様々な技術の集大成となるデモだが自主制作プロジェクトということもあり、UE5をはじめとした各技術の検証過程に加え、制作の一部で利用されているAIとの関わり方についても公開していただいた。

記事の目次

※本記事は月刊「CGWORLD + digital video」vol. 309（2024年5月号）からの転載となります。

AIとUnreal Engine 5の技術検証を兼ねた自主制作作品

「本作はクライアントワークではなく、もともと趣味的な自主制作として継続的に取り組んでいるプロジェクトです。社内のメンバーにも参加してもらい、バーチャルヒューマンの作成を通してその制作技術や最新のワークフローの検証を進めています」と話すのは、制作の中核を担った横原大和氏。YouTubeやArtStationにて公開された映像は各方面から高い評価を得ており、そのフォトリアルでありながら可愛らしさを兼ね備えたバーチャルヒューマンは、さすがKhakiと言える出来映えとなっている。

「Unreal Engine 5 Semi-Real Virtual Human Demo」

「UE5 Semi-Real Virtual Human Demo Breakdown」
© 2024 khaki

「キャラクターの方向性としてはデモ映像のタイトルにしている通りセミリアルです。完全なリアリスティックに寄せたキャラクターも検討しましたが、それであれば実際の人間をスキャンすればいいわけですし、キャラクターをデザインしてイチから創造していくこともひとつのテーマと捉えていたので、セミリアルなキャラクターとなりました」（横原氏）。

社内から佐々木悠太氏がモデラー、平井美潮氏がコスチュームデザイナーとして参加し、キャラクターデザインは3人で意見交換を行いながら進められたそうだが、そのデザインの検討段階ではAIによる画像生成サービスも活用している。「権利的な問題もありますし、通常の仕事だとAIを使うのは現状難しいですが、今回は自主制作作品であるためAIを上手くワークフローに組み込めました。もちろん全てをAI任せということではなく、案出しや修正の方向性を探る部分でAIを活用しています」（横原氏）。

左から、モデラー・佐々木悠太氏、ビジュアルデザイン＆CGスーパーバイザー・UE5ルックデヴ・横原大和氏、CGアーティスト＆コスチュームデザイナー・平井美潮氏（以上、Khaki）
ArtStation：@yokohara / @yutasasaki77

なお最終的なレンダリングはUE5上で行なっているが、LumenとPath Tracerの検証が主な目的とされている。「今回のデモはプリレンダー映像ですが、これからリアルタイムストリーミングも試していく予定です。それを見据えてライティングからレンダリングのフローを検証しています」（横原氏）。本稿では本バーチャルヒューマンが制作される過程と検証された技術、今後の展開について紹介していく。

＜1＞AIを活用したトライ&エラー

AIによる画像生成を活用してデザインの中央値を探る

キャラクターのデザインは横原氏と佐々木氏が中心となって進められた。作業のながれとしては、佐々木氏が作成した3Dモデルに対してAIによる画像生成で修正案を大量に出力、それらを参考に横原氏が3Dモデルを直接修正し再度佐々木氏へ返すという工程を何度もくり返し、デザインの取捨選択を行なって仕上げていくというものだ。

「AIの活用といっても実データにAIを使用するということではなく、制作に参加した僕を含めた3人以外の視点を有機的に取り入れるための手段として利用しています。特に昨年あたりからAIのデザイン性は飛躍的に向上していると感じていました。単純なデザイン能力においては、もはや自分たちはAIに及ばないと言えるかもしれません。ただ、AIがデザインしたものをそのまま制作したいわけではないので、AIが特に優れていると感じている『デザインの中央値を探る』といった部分を採り入れていくことを目指しました」（横原氏）。

そのため、単純にAIの画像生成による加工をそのままモデルに反映させるのではなく、多くの生成パターンを参考に、好まれるデザインを分析し、横原氏と佐々木氏の間で意見交換しながら取捨選択が行われた。

「わかりやすい部分で言うと髪の毛のデザインなどが挙げられます。AI画像生成によるコスプレのような髪のデザインは、実際のモデリングではなかなかデザイン性が上がらないことが多く、様々なパターンを直接制作中の3Dモデルに対して画像生成することで多くの修正点を得ることができるのは有用でした。顔に関しても“マスピ顔”など多くの画像を生成することで、目と目の距離など顔のサイズによるバランスのデザイン変更案を一挙に得られるのは参考になりました」（佐々木氏）。

一方でコスチュームデザインに関しては、イチから平井氏によってデザインされている。はじめはキャラクターデザインと同様に、簡易的なベースモデルをMarvelous Designerで作成し、それを基に多数のデザイン候補をAIで画像生成させたが、上手くハマらなかったのだという。「どれも一見綺麗なんですが、すぐに消費されてしまうような絵にしかならないんです。それに加えて、デザイン要素をいくつも混ぜると全体の統一感が失われてしまいました。ただ、それでも多くの参考画像を見ることができたのは、デザインセンスを磨くことに役立ったと思います」（平井氏）。

各工程での基本制作ツール

キャラクターモデルはMaya、コスチュームはMarvelous Designerにて作成し、ZBrushでスカルプティング処理を加えている。テクスチャはキャラクターがMari、コスチュームはSubstance 3D Painterにて作成され、ヘアはXGenで作成されている。

Mayaでのキャラモデル作成
Mayaでのキャラモデル作成

Marvelous Designerでのコスチューム作成
Marvelous Designerでのコスチューム作成

Mariでのテクスチャ作成
XGenでのヘア作成

キャラクターの修正過程

髪の毛をフサ状態にしたモデルのレンダリング画像を作成した後、i2iにて多数のバリエーション画像を生成。このAI生成画像を案としてレタッチによって組み合わせを検討し、髪型を決定していく。さらに顔の各パーツのサイズや距離なども改めて検討し直し、モデルを修正していったという。

修正検討の詳細

i2iによるAI生成画像を用いたデザイン検討の詳細。生成された各画像の気になるポイントに対して、横原氏が具体的な修正指示を記載したものだ。「いわゆるマスピ顔なども生成され、わかりやすく万人が好むようなデザインを一挙に取得することができました。そのままデータに反映して使用するのではなく、多数ある画像を分析し、いかに組み込んでいくかを整理してデザイン修正を進めていきました」（横原氏）

Midjourneyによるコスチューム

コスチュームのデザイン案出しにはMidjourneyを活用。

上の4画像はMidjourneyのバリエーションだ。
「バーチャルヒューマン向けの衣装として、近未来、メイドといったキーワードで画像生成しました。非常に多くのデザイン案を得ることができましたが、今回目指すコスチュームの方向性とは合致しなかったので、あくまで参考として見るにとどまりました」（平井氏）

新規コスチュームデザイン

平井氏によってイチから起こされたコスチュームのデザイン案。いわゆる一般的な可愛らしいメイド服から離れ、メイド服のエッセンスを取り入れた洗練されたコスチュームとしてのデザインが模索されている。「結果的に完全オリジナルでつくることになりましたが、AIで生成された画像から多くのデザインの引き出しは得ることができたと思います」（平井氏）

コスチュームの修正

＜3＞キャプチャツールの活用とUE5でのシーン構築

モーションの作成とレンダリングの検証

本デモ映像ではモーションはキャプチャデータを活用している。ボディのモーションキャプチャにはMVN、ハンドキャプチャはManus VR、フェイシャルはFacegoodが使用された。「キャプチャデバイス自体は個人で保有している機材を活用しました。これまでも案件として取り組んできましたし、リアルタイムストリーミングを行なっていく予定もあるので、基本的にはモーションの流し込み、リターゲティングなどのフローを先んじて構築しています」（横原氏）。

Khakiではこれまでも多くのバーチャルヒューマンコンテンツ、リアルタイムコンテンツを手がけてきたが、都度課題となっていたのがリグであったということで、今後に向けて整備する機会となったようだ。「これまでは期間やタイミング的なこともありプロジェクトごとにオリジナルリグにて対応せざるを得ませんでした。今回UE5でのコンテンツ制作フローを検証する中で、MetaHumanを採用しました。クオリティも良く、汎用的に利用できるため、検証としては十分な成果を得ることができたと思います」（横原氏）。

本デモ映像において最も検証したかったというのがルックに関わるフローであり、Path TracerとLumenでのルックの比較検証とR&Dが大きなテーマであったようだ。

「Path Tracerは高品位なレンダリングイメージを容易に実現可能でした。レンダリングには1枚1分程度かかりましたが、物理的に正確なライティングを施してくれるのが大きな利点でしたね。もちろんキャラクターへのレフライトなどを追加したいケースもありますが、シネマティックなイメージをつくりやすかったです。一方Lumenは、リアルタイムでの描画負荷の問題からシャドウクオリティなど諸所の設定をライトによって変更を加える必要があったものの、描画品質は概ね満足のいく仕上がりになったと思います」（横原氏）。

ルックにおいて特に調整が必要となったのが、髪の質感であったという。「特に白髪の場合は質感を出すための工夫が必要となりました。Path TracerとLumenで髪の毛の品質と見た目が大きく異なるため、太さやシェーダのバリエーションをいくつか準備しています。Path Tracerの場合は少し太めの設定をすることで求める質感に近づけることができました。リアルタイムにおいても同じく考慮すべき問題となるので、髪の毛の細かなバリエーションの準備はマストだと考えています」（横原氏）。

モーションキャプチャの活用

MVNおよびManus VRによるモーションキャプチャとヘッドマウントカメラでの撮影の様子
「今回自分の私物の機材を使用していますが、デバイスは何を使っても問題ないですね。設置場所やクオリティの兼ね合いで光学式を採用も可能です。ただし、リアルタイムで高品質なフェイシャルキャプチャを行うためには様々な制約や問題点があるため、今後積極的にテストしていきたいです」（横原氏）

フェイシャルキャプチャとリターゲット

フェイシャルキャプチャとリターゲティングの様子。フェイシャルはFacegoodによるオフラインでのリターゲティングとなり、ニュアンスなどの調整は加えているとのこと
ファイシャルリグはボディと同じくMetaHumanが使用されている。なお、今回Facegoodを採用している理由としては、オートトラッキングとトラッキングの安定性が非常に優れている点に加えカスタム性も高く、求めた表情をつくりやすいとのことだ

Unreal Engine 5でのシーン構築

本デモで目的のひとつとなっていたのがUE5でのルック検証。基本的にはこれまで手がけてきた案件で溜まったシェーダやライティングのノウハウの整理と、それらの実質的なテストとなっている。「シェーダの作成などはこれまで培ってきたノウハウでUE5内で行なっています。その上で最も影響の大きいライティングとそこから活かすオブジェクトの調整などの検証を行いました」（横原氏）。