株式会社ネクストシステムは、スマートフォンで全身のリアルタイムモーションキャプチャを行い、動きを未確認仮想広報担当ミチコ(3Dキャラクター)に反映するアプリ「ミチコン-VisionPose Single3D-」をApp Storeにて公開した。
詳細はこちら

■「ミチコン-VisionPose Single3D-」について

同アプリは、現在開発中の「VisionPose Single3D(以下、Single3D)」の利用例として3月にデモアプリを公開した際に、多くの反響があったため、この度正式アプリとしてApp Storeより公開された。動画の小ネタや、Single3Dを利用したアプリのお試し版として利用できる。また、推奨端末は最新のプロセッサを積んだiPhone XR、iPhone XS/XS MAX。

「ミチコン-VisionPose Single3D-」製品概要
アプリ名:ミチコン-VisionPose Single3D-
カテゴリ:エンターテイメント
価格:無料
App Store URL:itunes.apple.com/jp/app/id1461437373

■特長

スマホだけで全身モーションキャプチャが可能
スマホカメラに映した人の動きを、同社バーチャル広報担当の「未確認仮想広報担当ミチコ」にリアルタイムで反映することができる。通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要があるが、同アプリではカメラ1台で3D座標を取得可能なため、特別なデバイスを体には一切装着せず、従来より手軽なモーションキャプチャを楽しむことができる。

グリーンバック機能搭載、動画配信の小ネタにも
ライブ配信や、動画編集にも利用しやすいよう、背景をグリーンバックに変更する機能を搭載。別途ライブ配信ソフトや、動画編集ソフトなどを利用することで、クロマキー合成も可能。

ミチコンに搭載、VisionPose Single3Dと今後の展開について
Single3Dは同社が提供するVisionPoseシリーズの1つであり、深度センサに依存せずAIの技術要素であるディープラーニング(深層学習)を使うことで、骨格の3D座標の検出をカメラ1台のみで可能にしたシステム。同シリーズのステレオカメラ版VisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能だ。カメラが1台しか用意できないケースや、スマートフォンへの搭載時などにオススメ。
Single3D提供方法:PC版とiOS版をそれぞれSDKとして提供される。
PC版:C#/C++向けのライブラリ
iOS版:Swift向けのライブラリ
※Unityサンプルコードあり
また、現在同アプリは同社バーチャル広報担当のミチコに動きを反映できるのみとなるが、Single3D、並びに同アプリの有用性を広げるため、今後は次のような機能拡張を検討している。
・キャラクターを変更・作成できる機能
・背景を変更できる機能
・動画撮影時にモーションデータをCSVで保存する機能
・全身だけではなく上半身のみでもモーショントラッキングできる機能