REALITY株式会社の研究開発部門「GREE VR Studio Laboratory」は、メタバース時代の先端研究開発成果であるバーチャル演奏技術「AI Fusion」の映像を公開した。
詳細はこちら

■「AI Fusion」について

近年、メタバースのサービスにおいて、3D空間でのアバターの表現力向上が期待されている。多くの人々が集まるメタバースでのアバター技術は、個々のユーザーによる表現力とリアルタイムのモーション生成技術の融合であり、その技術向上はクリエイターエコノミーとしての価値や可能性を拡げるものになる。今回公開された映像はREALITYが提供するスマートフォン向けメタバース「REALITY」で利用できるアバターとスマートフォンからの顔認識に、表現力高く汎用的な音楽演奏表現を実現する「AI Fusion技術」を融合させることで実現したミュージックビデオ風のデモ映像である。

研究内容
実験用に書き起したオリジナル楽曲『ツユハナビ』(作詞作曲・菜那) にあわせてピアノ、エレキギター、エレキベース、ドラムの4種類の楽器の正しい演奏を行う腕や指の動作を生成。今回発表したアバター操作アシストAI技術「AI Fusion」により、全身のモーションや表情を動的に融合させ、リアルタイム映像で自然で高度な演奏パフォーマンスを自由に行うことを可能にしている。歌唱の表情はスマートフォン向けメタバース「REALITY」と共通のアルゴリズムで収録し、全身動作はVFX映画の製作などに使われる株式会社クレッセントにて収録した。

技術部分の解説を下記動画で公開している。

今後の展望
今回開発した技術を使用して、将来的には任意の楽曲を自由な空間で、スマートフォンだけで歌唱や高度な演奏を他のユーザーと同時に全身動作で表現できる可能性がある。近い将来、サイバー万博じみたオンラインイベントが当たり前になる時代では、現在のカラオケにあたるような「誰でも、楽しく、自己表現ができる」体験は、アバターとメタバースで活躍するクリエイターエコノミー創出の時代であり、その基盤技術となることが期待できる。