NVIDIA社は10月1日（火）、Unreal Fest Seattle 2024で、AI駆動のMetaHumanキャラクターの構築や展開を容易に行えるNVIDIA ACE向けのUnreal Engine 5用プラグインを発表した。また、Maya用の新しいAudio2Face-3Dプラグインも発表され、AIを活用したフェイシャルアニメーションの効率的な制作に対応する。さらに、Unreal Engine Pixel Streamingを活用したUnreal Engine 5レンダラも提供。これにより、MetaHumanキャラクターをリアルタイムで大規模にストリーミングできるようになる。

NVIDIA ACEは生成AIによる音声、知能、アニメーションなどのAIモデルを一括して提供する、デジタルヒューマンテクノロジのスイート。NVIDIA ACEに含まれる一連のAIモデルは、マイクロサービスのNVIDIA NIMを介してパッケージ化されており、クラウド上でのデプロイ（展開）・運用や、NVIDIA RTX AI PC上でローカルにデプロイして実行することも可能だ。

今回、NVIDIA ACE向けのUnreal Engine 5用プラグインの提供に伴い、サンプルプロジェクトが用意される。

サンプルプロジェクトを用いたNVIDIA ACEプラグインのチュートリアル

プロジェクト内にはリップシンクとフェイシャルアニメーションのための「Audio2Face-3D」、応答生成のための「Nemotron-Mini 4B Instruct」、コンテキスト情報の「RAG」とおいう3つのオンデバイスACEプラグインが含まれる。これらの新プラグインは近日公開予定だが、サンプルプロジェクトとMetaHumanキャラクターはこちらからダウンロードできる。


また、Maya 2023以降向けのNVIDIA ACEプラグインとして新しいAudio2Face-3Dプラグインも用意される。これにより、高品質かつ音声駆動型のキャラクターのフェイシャルアニメーションを簡単に作成できるようになる。ソースコードやスクリプトのカスタマイズも可能。

MayaへのNDIVIA ACEの導入チュートリアル

さらに、NVIDIA ACEの最新のUnreal Engine 5レンダラがNVIDIA Animation GraphとLinuxをサポート。Unreal Engine Pixel Streamingを活用することで、デジタルヒューマンの大規模展開が可能となる。こちらはアーリーアクセスでの提供となるため、申し込みが必要だ。

■オリジナルブログ：Simplify and Scale AI-Powered MetaHuman Deployment with NVIDIA ACE and Unreal Engine 5（NVIDIA Developer、英語）
https://developer.nvidia.com/blog/simplify-and-scale-ai-powered-metahuman-deployment-with-nvidia-ace-and-unreal-engine-5/

■NVIDIA ACE（英語）
https://developer.nvidia.com/ace

■NIMマイクロサービスのダウンロード
https://developer.nvidia.com/ace/get-started/

CGWORLD関連情報

●NVIDIA ResearchによるSIGGRAPH 2024プレビュー！　AIとシミュレーションにスポットを当てた重要な研究結果が多数発表

NVIDIA Researchがシミュレーションと生成AIに関する研究内容を公開。研究はビジュアル生成AI用のディフュージョンモデル（Text-to-Image）、物理ベースのシミュレーション、AIを活用したレンダリングに焦点を当てたもので、日本の大学を含む各国の研究者や企業との共同研究による論文は20を超える。
https://cgworld.jp/flashnews/202407-Nvidia-Siggraph.html

●日本国内のクリエイティブ生成AIが集まった「NVIDIA生成AI Day 2023 Summer」レポート

2023年7月、NVIDIAが日本国内における生成AIの開発・活用動向を展望するイベント「NVIDIA 生成AI Day 2023 Summer」を開催。同イベントで発表されたクリエイティブ生成AIの研究動向と活用事例をまとめた。
https://cgworld.jp/article/202309-nvidia-aiday.html