ヤマハとアイ・ペアーズは、VTuberやバーチャルキャラクターによるライブ等で活用されるモーションキャプチャをはじめとするバーチャルプロダクションの制作に関して、汎用的に記録・編集・再生を可能とする新技術を共同開発を行なった。これにより制作過程での効率と柔軟性の大幅な向上が実現した。
VTuberやバーチャルキャラクターなどによるデジタルコンテンツの拡大により、モーションキャプチャ技術の活用領域は、音楽ライブ、映画、テレビ番組、さらには産業用途（自動車・医療・工場）にまで急速に広がっている。加えてUnreal EngineやUnityなどのゲームエンジンの進化やVR/ARデバイスの普及に伴い、今後もさらなる市場成長が期待されている。
その一方で、モーションキャプチャのデータは特定のプラットフォームに依存した形式で取り扱われることが多く、他ツールとの互換性や編集性が乏しい点で課題があった。特にデータの後編集やテイクやバージョンの管理などの制作フローの柔軟性に制限があり、制作現場で高い負荷が生じていた。
こうした状況の解決に向けて、両社はそれぞれの技術資産を生かし、より汎用性の高い、制作の効率化を実現する記録・編集・再生技術の共同開発を行なった。
概要
この技術は、YAMAHAが開発中の「GPAP（ジーパップ）」とアイ・ペアーズが新たに開発した「n-Links Retarget（エヌリンクス リターゲット）」を組み合わせることで実現した。
YAMAHAの「GPAP」は、音声だけでなく映像や照明などのさまざまなデータを、音声データ（WAV）として記録・再生・編集できる仕組みである。
アイ・ペアーズの「n-Links Retarget」は、XsensやOptiTrackなどのモーションキャプチャデータをリターゲット処理を行ってOSC（Open Sound Control）形式で送信できるバーチャルプロダクション支援システムで、安定性と柔軟なリターゲット処理を可能にした。
これにより、YAMAHAの業務用音楽制作ソフト「Cubase」や「Nuendo」などのDAW（Digital Audio Workstation）上で、曲のデータと一緒にキャラクターの動きや表情、照明、カメラワークなどを同じタイムラインで編集・管理できるようになった。モーションデータや演出データは、「n-Links Retarget」でOSCに変換され、WAVとしてGPAPで扱われる。再生するとWAVに含まれた信号が逆変換され、キャラクターの動きや演出として反映される。
これにより、モーションデータの録音・再生・編集・バージョン管理だけでなく、撮り直しが必要だった表情の差し替えやタイミング調整などの後編集も可能となり、キャラクターコンサートの演出制作をDAW上でワンストップで完結できるのが特長である。
「GPAP」特長
・「n-Links Retarget」のOSCでのデータ送信を漏れなく記録できる「GPAP」のインターフェースを開発
「n-Links Retarget」は、通信プロトコルのOSCを採用。120fpsの高フレームレートにも対応しており、滑らかなモーションキャプチャのデータ送信を実現している。また、通信トラブル時のバックアップやモーションキャプチャの位置調整の精度等においても高いクオリティを有している。今回、YAMAHAは「GPAP」においてそれらの仕様やデータを漏れなく記録するため新たなインターフェース（プロトタイプ）を開発した。
・上記の新たなインターフェースの開発により、モーションキャプチャデータをオーディオデータに変換することが可能になった。そのため、再編集、テイクおよびバージョンの管理ができるようになり、従来困難であった柔軟なワークフローの設計も可能になった。
・「GPAP」が、オーディオデータに統一し保存・再生可能な音声・映像・レーザー・DMXなどに加えて、モーションデータも一括管理ができるようになり、バーチャルキャラクターによるライブなどの統合的な演出制御が可能となった。さらに、OSCで送信するさまざまなアプリケーションのデータも同様に記録・編集・再生が可能となるため、今後、音楽・舞台の領域を越えて多様な産業での用途の拡張も期待される。
