スマホで全身をモーションキャプチャし3Dキャラに反映「VisionPose Single3D」デモ映像を公開、6月販売予定（ネクストシステム）

株式会社ネクストシステムは、開発中の「VisionPose Single3D（以下 Single3D）」の利用例として、スマートフォンにて全身をリアルタイムでモーションキャプチャし、動きを3Dキャラクターに反映するデモ映像を公開した。
詳細はこちら。

■概要

Single3Dは同社が提供するVisionPoseシリーズの1つであり、WebカメラとAI（ディープラーニング）を利用して人間の骨格座標を検出するシステム。同シリーズのVisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能だ。なお、同デモ映像で利用したSingle3D（iOS版）は2019年6月販売予定。

カメラ1台で3D推論、より手軽なSingle3Dとは？
Single3Dとは、深度センサに依存せずAIの技術要素であるディープラーニング（深層学習）を使うことで、骨格の3D座標の検出をWebカメラ1台のみで可能にしたVisionPoseシリーズの1つ。
提供方法：PC版とiOS版をそれぞれSDKとして提供する
PC版：C#/C++向けのライブラリ
iOS版：Swift向けのライブラリ
※Unityサンプルコードあり

通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要があるが、Single3Dは特別なデバイスを体には一切装着せず、カメラ1台で3D座標を取得できる。デモ映像ではスマートフォンのカメラを通して被写体の骨格をリアルタイムに検出し、アバターに動きを反映させた。カメラが1台しか用意できないケースや、スマートフォンへの搭載時などにオススメ。

想定される応用分野と社会性について
骨格推定を用いたディープラーニングによる画像認識について、昨今は様々な分野における活用が期待されているが、例えば下記のような利用用途を想定している。
・フォームチェックや採点補助などスポーツの動作解析
・監視カメラを用いた不審者の検知や急病人の検知
・消費者の行動解析によるインサイト調査（無人レジなど）
・バーチャルYouTuber（Vtuber）配信やアーケードゲームなどエンタメ分野への応用
どれも近頃耳にすることが多くなった項目だが、これらは骨格検出技術の発展により、急速に開発が進められている分野の一例。このように骨格検出技術の発展は、幅広い分野で社会発展の一端を担っていると言っても過言ではない。VisionPoseはこれらの基幹技術の1つとして、社会に貢献していきたいと考えている。