immaなどのバーチャルヒューマンを数多くプロデュースするAwwが、昨年夏からスタートしたストリーミングブロジェクト「ANOME（アノメ）」。フォトリアルなバーチャルヒューマンでコンスタントにコンテンツを発信するための工夫と共に、先日公開された新作MVのメイキングについても聞いた。

※本記事は月刊「CGWORLD + digital video」vol. 314（2024年10月号）からの転載となります。

フォトリアルなバーチャルヒューマンでリアルタイムに配信

ANOMEは「Another me（もうひとりの私）」をテーマに、最新鋭の3DCG技術だからこそ可能となるインタラクティブな演出や表現で、従来のVTuberとは異なるバーチャルヒューマンのスターを生み出すプロジェクトだ。ゲームや音楽、お笑いなどジャンルを問わず、TV、映画など幅広いメディアを通じて活動していく予定だという。

• 

• 

現在、5名のバーチャルヒューマンがゲーム実況を中心にそれぞれの得意ジャンルで活動している。タレントは機材に詳しくない技術の素人だが、貸与されたiPhoneとPCを使用してそれぞれに自由なタイミングで配信を行なっている。

「技術の専門家ではないタレントが自分たちでリアルタイムにハイエンドなバーチャルヒューマンを動かし、コンテンツを発信できるという点が、私たちの技術的な部分も含めた開発コンセプトです」と語るのは、ANOMEチームリーダーでありAwwバーチャルヒューマン事業部部長でもある簑田葉月氏。

それを可能にしているのがANOMEオリジナルのモーションキャプチャシステムだ。ゲーム実況など上半身のみの配信の場合は、iPhoneとPC1台のみ、マーカー不要でリアルタイムに動きを反映させ配信を行うことができる。

配信のほかにも、活動の一環として楽曲・MVの制作も行なっており、去る5月13日には冥途ヶ原さらさ氏によるMV『13日の月曜日』を公開。

こちらは従来のモーションキャプチャスタジオで光学式のシステムを使い、全身の動きを収録している。「UE5で4K HDRの映像をつくる」ことをテーマに、少人数チームで1ヶ月足らずという短納期でつくり上げた。次項から、より詳しく追っていこう。

＜1＞Vhuman Streamer Project「ANOME」

「もうひとりの私」という新しいVhumanのかたち

ANOMEは「Another me（もうひとりの私）」をテーマに掲げ、バーチャルヒューマンとして活動するタレントが存在することを前提としたプロジェクトであり、タレントとバーチャルヒューマンの相乗効果が特徴だ。実際に配信を見ると、人間的で生々しい言葉やノリと、バーチャルヒューマンの尖ったビジュアルが不思議と調和し、オリジナリティに満ちた配信となっている。

現在、ANOMEには美姫仁奈にきび、冥途ヶ原さらさ、天使㋲子、KAILI、霰きるあの5名のバーチャルヒューマンが所属しており、それぞれが独自のキャラクター性でゲーム実況を中心に活動している。

配信はタレントが自宅から行なっており、その際に使用するのはANOMEから貸与されたiPhoneとPC1台のみというから驚きだ。技術に詳しくないタレントでも、ハイエンドなCGキャラクターを気軽に演じて配信できる点に、同社の高い技術力が感じられる。

バーチャルヒューマンのモデル制作にあたっては、タレント本人も参考にされているという。「バーチャルヒューマンとアクターには相性があるので、個別にセットアップする必要があります」と、ANOME所属のCGクリエイター・Ryuzo氏は説明する。

例えば、タレントによって口を大きく開ける人やボソボソと喋る人など、個々に異なる個性があるため、モデルもその個性に合わせて調整が必要だ。モデルはMetaHumanで制作しているが、特に表情が重要な要素となるため、ブレンドシェイプの調整を専門に行うアーティストを置き、対応している。実際のタレントの表情データを基に、ブレンドシェイプアーティストと打ち合わせながら調整を進めるため、時間と工数がかかるという。

配信でのモーションキャプチャは前述のようにiPhoneのカメラからキャプチャしているが、MVなどで全身の動きが必要になるときはスタジオで光学式のモーションキャプチャを行なっている。現在はクイズや歌ってみたなど、演者が自分でキャプチャできるようなコンテンツを増やしているとのことだ。

ANOMEに現在所属するバーチャルヒューマン

現在活動中のバーチャルヒューマンは5名。

• 

• 

• 

• 

• 

ANOMEのキャプチャ技術

• 

• 

＜2＞冥途ヶ原さらさ『13日の月曜日』MV

4K HDRに挑戦して最高の映像品質をアウトプット

5月13日（月）に公開された冥途ヶ原さらさのMV『13日の月曜日』は、当初、比較的制作負荷が低いリリックビデオ程度のイメージで企画がスタートした。しかし、開発チームの意欲が高まり、企画は大幅に変更。結果として、8シーン、58カットからなるフルCG作品となり、当初の想定を大きく超える規模のものへと発展した。

コンポジット兼任のスーパーバイザー、PM、コンポジット兼エディター、アニメーター、そして背景制作やワークフローの整備などを担当したRyuzo氏の5名を中心とした体制で制作が進められた。公開日は楽曲のタイトルに合わせて5月13日の月曜日に決まっており、この日を逃すと次の「13日の月曜日」は8ヶ月後になってしまうため、約1ヶ月間で制作を完了させる必要があった。

本作の大きなテーマとして掲げられたのが、4K HDRでの制作だ。UE5での4K HDRのMV制作は世界的にも珍しく、特に日本では初の試みとのこと。

「YouTubeのコメントを見てもこの点に気づいてくれる方はほとんどいませんが、技術的には相当な挑戦でした」とRyuzo氏はふり返る。最終的に、多くの視聴者がSDRモニタで見ることは予想していたが、最高品質の色情報で制作すれば、SDRモニタでも美しく映るというねらいもあった。

HDRでの制作は、SDRでの制作に比べて大幅にコストが増加する。まず、EIZOの2700Sや2700XのようなHDR対応の専用モニタが必須となる。HDR制作のコツとしては、適正なモニタを用い、随時輝度警告に注意しながら画を調整していくことが重要だという。

さらにACEScgの色空間を使用したリニアワークフローの徹底や、UE、After Effects、DaVinci Resolveといった各ソフトウェア間でのデータの扱い、ソフト間の適正なやり取りが不可欠だった。

納期の1週間前までは、ルックデヴやレンダリングの検証、各ソフトウェアの連携、パスやファイルの命名規則など、実制作に入る前のワークフロー構築に時間を費やしたという。その検証がひと通り終わった後、残りの1週間でライティングや背景制作、レンダリング、コンポジットを終わらせるという強行スケジュールで進行した。

「後半に制作スピードが伸びる、指数関数的なスケジュール進行でした。はじめはなかなか進まず、企画チームには心配をかけたと思います」とRyuzo氏はふり返る。検証に時間がかかった理由のひとつは、UE5でHDRを出力する事例が少なく、情報収集が困難だったためだ。それだけに、今回のプロジェクトはチャレンジングなものであり、その分、先駆者としての意義も大きかったのではないだろうか。

使用ツールとデータパイプライン

パイプライン図は以下の通り。HDR制作であるため、色域やカラー設定のルールが厳格に遵守されている。全ての作業は広色域のリニアワークフローで統一され、最終段階まで輝度が失われないよう配慮。EXR形式ではカラー設定などのアトリビュートをもつことができないため、各ソフトウェアごとにACEScgに基づいた適切な設定が求められた。

また、確認環境の模索の中で、配信用ソフトウェアであるOBS Studioが予想外に優れたビューアとして機能し、UE5からBT.2100 PQで書き出したmp4を正確に表示できることが判明した。

• 

• 

キャラクターモデル

モデルとリグはMetaHumanを活用してつくられており、特に髪のシミュレーションやシェーディング表現に注力している。髪のリアルさはAwwのバーチャルヒューマンの大きな特徴だ。メイクはテクスチャやマスクを用いてマテリアル内で組み替えが可能で、適宜切り替えられるようにしている。

配信とMVでは共通のモデルが使用されており、MVでは動きが激しいためカットごとにリグの調整が必要だったが、モデルを共用できることがわかったことが大きな成果だったという。

• 

• 

プリプロから完成まで

• 

• 

• 

• 

• 

• 

細やかなフェイシャル調整

フェイシャルは、MetaHumanのブレンドシェイプを用いて、ブレンドシェイプアーティストがベースとなる858種類ものパターンから調整を行う。

フェイシャルはアニメーションにおいてはサブ的な要素と見なされがちだが、Awwのバーチャルヒューマンでは特に力を入れており、口の開け具合など、演じるタレントの表情のクセに合わせて1体1体微細に調整している。

• 

• 

カットバイの調整

配信時には動きが限定的なため気づかなかったが、MV制作で実際にさらさ氏を歩かせるとスカートのめり込みが発生。これらの修正はカットごとにUE内でパラメータを調整して対応した。スカートだけでなく、靴や髪の毛についても全て適宜修正している。アニメーションの修正は58カット全てで行われ、表情の調整を含め、ほぼ1名で対応したという。

• 

• 

LEDのドット感

背景のLEDのドット感の表現には、Niagaraで作成する方法と、マテリアルをプロシージャルに作成する方法の2通りが採用された。LEDの輝度は作品の重要な要素であり、プロシージャルに数学的な情報をもたせることで輝度を保持している。

• 

• 

• 

• 

• 

• 

• 

• 

コンソール変数を活用した照り返し

LEDの照り返しの表現は、カットごとにUE5のコンソール変数を調整することで実現している。リアルタイムでの表現であるため、どうしても不自然になりがちだが、今回は自然な見え方にするよう調整を行なった。

• 

• 

Awwが描くバーチャルヒューマンの未来

母体であるAwwは現在、immaをベースにしたAI搭載の自律型バーチャルヒューマンの開発に力を入れており、immaがリアルタイムに視聴者のコメントに回答する生配信などを試みている。ANOMEにおいても、今後その世界観と交わる可能性があるという。

「ANOMEとimmaなどのキャラクターは一見、事業が別々に見えますが、バーチャルヒューマンをIPとして世界に広げていきたいという目標は共通しています。それぞれのキャラクターやストーリーが交わる出来事があるかもしれませんし、そうしたキャラクターの成長を表現していきたいと思っています」と簑田氏は将来の展望について語った。

キャラクターとしても、CG技術としても成長していくバーチャルヒューマンに期待が寄せられる。

• 

• 

詳細・ご購入はこちら