NVIDIA日本法人は2024年11月12日（月）・13日（火）、生成AIをはじめとするAIの可能性をテーマにしたイベント「NVIDIA AI Summit Japan」を開催した。このイベントでは57のセッションが行われ、それらはNVIDIA On-Demandから視聴できる。本稿では、こうしたセッションのなかからCGとの関わりが深いデジタルヒューマンと新型HMDをプレゼンしたものを紹介する。

関連記事

・OpenUSDとは何か？開発者、研究者が語るその成り立ちと実践的な活用方法。NVIDIA AI Summit Japan イベントレポート

デジタルヒューマンの活用と研究を推進するサイバーエージェント

株式会社サイバーエージェント デジタルツインレーベル所属の山森 徹氏と同社AI Lab所属の武富貴史氏は、「AI クリエイティブのためのデジタルヒューマン開発」と題して同社のデジタルヒューマンの活用と研究について発表した。

はじめに山森氏は、サイバーエージェントのAIクリエイティブ体制について説明した。同社にはAIを活用したコンテンツを制作するAIクリエイティブ制作、AIを活用するためのワークフロー等を開発するAIクリエイティブ技術開発、基礎研究や論文投稿を行うAI研究の3つの部署がある。これらが連携することで、最先端AI技術のコンテンツ制作への活用を実現している。

続いて山森氏は、サイバーエージェントが保有する極AIお台場スタジオを紹介した。この施設は、デジタルヒューマン開発に不可欠な4Dスキャン／3Dフェイシャルスキャンシステム等を完備している。

以上のような体制と設備を活用して、サイバーエージェントが広告で実現したいデジタルヒューマン表現とは、実在する人物の本人らしさの再現である。そのためには、容姿だけではなく表情やしぐさも再現する必要がある。

同社が目指すデジタルヒューマンの実現には、高品質なフェイシャルアニメーションを生成するためのツール「NVIDIA Audio2Face」が活用されている。ただし、日本語対応の高品質なアニメーションを生成するには、日本語を話す人物のスキャンデータを用いた訓練が必要だった。

この学習データは前述した極AIお台場スタジオで収集され、その後「NVIDIA Audio2Face Training Framework」を使用してシステムの訓練が行われた。その結果、日本語で正確なリップシンクを実現するアニメーションが可能となった。

続いて、武富氏は、サイバーエージェントAI Labで研究したデジタルヒューマンに関する4つのAI技術について発表した。

1つめのAI技術は、顔交換を高品質に実行できる「BlendFace」である。このAIは、顔認識モデルの学習時にブレンド画像を用いることで、従来の顔交換モデルにあった属性バイアスを回避することに成功した。

2つめの「BeautyBank」は、任意の顔画像の化粧をほかの顔画像に転写したり、任意の顔画像に特定の化粧パターンを合成したりできるAIである。

3つめの「PCA-based Model」と「StyleGAN-based Model」は、3次元の顔モデルに化粧を合成するAIである。これらのAIにはそれぞれ長所と短所があるが、どちらも化粧をUV座標系で処理している。

4つめの「Strand Integration」は、人間の頭部に関する多視点画像から高精度に髪の毛を復元できる。このAIは、髪の毛が生えている方向を考慮することを特徴としている。

以上のようなAI技術の紹介後、武富氏は今後の展望としてデジタルヒューマンに関する技術的課題を順次解決することで、デジタルヒューマンの普及を目指したい、と述べて発表を終えた。

ソニー製HMD「SRH-S1」が実現する“インダストリアルメタバース”

ソニー株式会社インキュベーションセンターXR事業開発部門所属の近藤博仁氏は「ソニーのテクノロジーで実現する没入型空間コンテンツ制作システム」と題して、同社の新型HMD「SRH-S1」について発表した。

近藤氏はソニーのPurpose（存在意義）として「クリエイティビティとテクノロジーの力で、世界を感動で満たす」と述べた後、クリエイターをサポートする同社のXR製品ラインナップを紹介した。それらは新型HMD、空間表現ディスプレイ、そしてモバイルモーションキャプチャー「mocopi」である。

新型HMD「SRH-S1」は、製造業をはじめとする産業界で活動する各種エンジニアがバーチャル空間とリアル空間の両方でコラボレーションできることを目的として開発された。こうした開発コンセプトは、“インダストリアルメタバース”（産業的メタバース）と呼ばれる。

インダストリアルメタバースを実現するために、SRH-S1には以下のような制作体験を提供できるように仕様と設計が施された。

・視野中心に加えて周辺も明瞭に確認できる視認性：片眼4Kの高精細ディスプレイの採用
・空間内での制作作業を考えた操作性：目的の異なる2種類のコントローラーを開発し、キーボードと併用できるリング型コントローラーと精密な座標指定が可能なポインティングコントローラーを導入
・リアルとバーチャルをつなぐ作業性：ディスプレイ部分を上部にはね上げると、リアル空間を見ることができるフリップアップ機構によりリアルとバーチャルの行き来をスムーズに実現
・既存3D制作ソフトウェアとの連携：既存3D制作ソフトウェアで制作したデータを、3Dバーチャル空間にシームレスに表示可能

以上のような仕様のSRH-S1を使うことで、ユーザーは平面ディスプレイで設計したデバイスを3Dバーチャル空間に表示させ、コントローラーを使って実機に触れるようにして設計を続けることができる。

近藤氏は、SRH-S1開発においてソフトウェア面で協業したシーメンスの開発責任者ベン・ウィドソン（Ben Widdowson）氏が出演した動画も披露した。その動画によると、同HMD開発の出発点は2008年公開の映画『アイアンマン』で主人公のトニー・スタークがパワードスーツを設計するシーンにあった。このシーンで表現された3Dバーチャル空間における設計の実現を目指したのが、SRH-S1というわけである。

ソニーは今後 HMD においてNVIDIA Omniverseとの連携を検討している。こうした連携によって、SRH-S1を装着しながらOmniverseのバーチャル空間で活動できるようになるだろう。

近藤氏は、「ソニーはエンタメ業界にとどまらず、産業界のクリエイターやエンジニアも支援し、つながりを深めていきたい」と述べ、発表を締めくくった。

本記事で紹介した2つのセッションの内容はいずれも、今後のCGクリエイターの業務に密接に関わるものである。デジタルヒューマンやバーチャルヒューマンの技術は、近い将来パッケージ化されることで制作の難易度が下がり、多くのCGクリエイターがその制作に携わるようになるだろう。こうした制作業務において、SRH-S1を活用すれば、業務の生産性が大幅に向上することが期待される。

また、「NVIDIA AI Summit」のイベント名が示す通り、2つのセッションではいずれもNVIDIAの技術が関連していた。現在、同社の技術は様々なクリエイティブ業務で広く活用されており、その技術的な進展に注目することはクリエイターにとって重要だと言えるだろう。