株式会社ネクストシステムと、株式会社エム・ティー・ケーは、スマートフォンやタブレットだけで全身をモーションキャプチャし、任意のキャラクターに動きをリアルタイムに反映することが可能なiOSアプリ「ミチコンPlus」とバーチャルアイドル「音街ウナ」と初のコラボを実現した。1月17日より、いつでも利用できるキャラクターとして「音街ウナ」のSugarモデルを選択できる。
詳細はこちら。
■概要
人気声優「田中あいみ」が声を担当し、ボーカロイドとしても活躍を広げる「音街ウナ」は、全世界よりファン動画が毎日投稿される人気コンテンツとなっている。この度AI(ディープラーニング)技術を利用し、スマホだけでマーカレスモーションキャプチャを実現する「ミチコンPlus」で「音街ウナ」が選択できるようになったことで、より手軽にファン活動へ役立てられるようになった。先端技術を駆使することにより「音街ウナ」ファンをはじめ、さまざまな人のモーションキャプチャに対するハードルを下げ、今後の創作活動を応援していく。
アプリのダウンロードはこちら。
■スマホで全身モーションキャプチャ「ミチコンPlus」とは?
「ミチコンPlus」とは、スマホやタブレットのカメラから得た画像情報を当社独自開発の人工知能エンジン「VisionPose(※1)」で人物の全身の動きを捉えて3DCGキャラクターにリアルタイムで反映できる、先端技術を利用したモーションキャプチャアプリ。VisionPoseは発売から約1年で100社以上が導入しており(2020年1月17日現在)、「ミチコンPlus」では、VisionPoseシリーズの1つである、カメラ1台だけで骨格を検出できる「VisionPose Single3D for iOS」を利用してモーションキャプチャを完結している。通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にマーカーなどのデバイスを装着する必要があるが、同アプリではスマートフォン・タブレットのカメラに全身を映すだけで簡単にマーカレスの全身モーションキャプチャを実現できる。また、リアルタイムでのモーションキャプチャだけでなく、端末に保存された動画ファイルからモーションを読み込み、キャラクターに反映する方法も用意している(※2)。動画読み込み機能を利用することで、端末によっては、リアルタイムでのモーションキャプチャが難しかった場合でも、利用することが可能だ(最大15秒)。さらにグリーンバック機能 やAR機能にも対応することで、ファン動画の作成にも利用できる。
※1 VisionPose、及びVisionPoseロゴは、NEXT-SYSTEM co.,Ltd.の登録商標
※2 端末によっては読み込みに時間がかかる場合がある。全身が写っている動画ファイルを利用すること
■モーションデータ書き出し機能でアニメーション素材にも
「ミチコンPlus」で取得したモーションデータを、CSVで書き出し、メールに添付することが可能だ(※3)。例えば、CSVからUnityの.animに書き出すためのパッケージなどを利用することでアニメーション素材として利用が可能だ。
※3 モーションデータの書き出し機能のご利用にはPRO版へのアップグレード(370円/月)が必要です。課金体系は自動更新型ではなく非更新型のサブスクリプション