株式会社サイバーエージェントNVIDIAは、高品質なデジタルヒューマンの開発および3DCG技術の拡充、コンピューティングインフラストラクチャ構築を目的に、協業を開始したことを発表した。
詳細はこちら

■概要

同協業では、NVIDIAが提供する「NVIDIA Omniverse」などを活用してデジタルヒューマンの研究開発を加速させるとともに、日本市場の固有ニーズに対応した3DCG技術の共同研究を行うことで、AIでクリエイティブの新たなステージを切り拓き、ビジネス機会の創出を目指す。

AI研究開発組織「AI Lab」を有し3DCG技術を活用したビジネス展開に注力するサイバーエージェントと、グラフィックス、シミュレーションおよびAIにおける高度なテクノロジーを有し、アクセラレーテッドコンピューティングで世界をリードするNVIDIAが協業することで、両社のもつ研究開発力とサービスへの実装力を通じて、さらなる3DCG技術の発展と社会実装拡大の実現に取り組んでいくという。

昨今、3DCG技術は映画やゲームなどのエンターテインメント領域における活用にとどまらず、人間の分身として人間本来の活動に加え、時空を超えた新しい表現を可能にするデジタルヒューマンや仮想世界における活用が進むなど、世界的に注目を浴びている。

このような背景のもと開始した、協業における重要テーマは以下のとおりである。

■取り組み内容

「NVIDIA Omniverse」を活用したデジタルヒューマン事業開発
デジタルヒューマンにおける開発では、精密でフォトリアリスティックな3DCGモデルの制作だけでなく、人間の精細な感情の表現も重要なため、最先端の機械学習手法を取り入れた高度な映像表現を実現することが重要である。特に、顔や体を高精細に表現するCG技術、発話映像と音声を同期するリップシンク技術、そして、パーソナライズする上で膨大なパターンのコンテンツ生成が必要とされている。

サイバーエージェントは、著名人のデジタルツインをキャスティングする「デジタルツインレーベル」事業において、「Omniverse」 および「Omniverse Audio2Face」を活用することで、実在する著名人のデジタルアバターのクリエイティブ制作やより自然な発話を実現し、多種多様な広告の生成を目指す。

・「Omniverse Audio2Face」の日本語対応における共同研究
「Omniverse Audio2Face」を日本語の自然言語処理や音声合成と結び付けるため、両社は今後、日本語対応の共同研究についても視野に入れている。サイバーエージェントは、日本語話者の再現研究を行っており、そのスクリプトをもとにした日本語の学習データは、「Omniverse Audio2Face」 を日本語に対応させるためのAIモデルのトレーニングに活用できる。

日本語の形態素解析や感情分析をもとに「Omniverse Audio2Face」を日本語対応させることで、デジタルヒューマンの日本語発話の精度向上を目指すとともに、さらなる高度なデジタルヒューマンの実現への道筋となることを期待している。

・高品質なデジタルヒューマン開発に向けたAI開発環境の構築
高品質なデジタルヒューマンの開発を加速し、様々な領域における高度なAI開発を推進するためには、十分なパフォーマンスを提供することができるエンタープライズ規模のコンピューティングインフラストラクチャが必須である。

サイバーエージェントとNVIDIAは、「NVIDIA Omniverse Enterprise」の活用をはじめ、最高クラスのインフラストラクチャと高速かつスケーラブルなパフォーマンスを提供することができるAI開発環境の構築においても協業していく。

デジタルヒューマン制作過程イメージ(サイバーエージェント)

制作したデジタルヒューマンの表情を動かす工程において、「NVIDIA Omniverse Audio2Face」を活用し、音声ソースからフェイシャルアニメーションを自動生成する

「NVIDIA Omniverse Audio2Face」の主な機能の概要説明動画(NVIDIA)

「NVIDIA Omniverse Audio2Face」で、AIを活用したフェイシャルアニメーションのデモ