ヴァーチャルアイドルとコール＆レスポンス!?　Unityを活用したリアルタイムLIVE「PROJECT MariA」 | 特集

Topic 2　光学式モーションキャプチャの活用

自社モーションキャプチャ設備をふんだんに活用する

HEAP社では、この「PROJECT MariA」のために、モーションキャプチャスタジオを赤坂に新設し、社内で必要に応じてモーションキャプチャを自由に撮影できる環境を手に入れた。「モーションキャプチャ編集ソフトウェアの習得やカメラ等のセットアップが容易で、なおかつキャプチャの精度についても求めている水準を得られたので、光学式モーションキャプチャのOptiTrack Primeシリーズを採用しました」とHEAP社の林氏は語った。CEDEC 2017では、会場の広さの関係から会場に置けるカメラの台数に制限があったため16台に限定し、狭いエリアであっても品質が最大限に高まるように工夫されたカメラレイアウトとなっている。このモーションキャプチャシステムでは同時に5名程度までは問題なく撮影ができるとのことで、今後の制作においてもおおいに活躍することだろう。

OptiTrackで取得された点群データは、編集されることなくUnityの中にストリーミングされ、キャラクターのリグへと流し込まれる。Unityの中で質感設定まで施されたMariAがアクターの動きと寸分たがわぬ動きを見せるところは、テクノロジーの進化を強烈に感じさせる。「OptiTrackには、Unityへストリーミングをするための標準プラグインがありますが、これはリグへの流し込みには対応していなかったため、使用すると足滑りが発生してしまいました。そこで足滑りを解消するためにプラグインを自社開発し、リグへ直接モーションデータを流し込めるように対応しました」とモー氏は話した。

モーションデータパイプライン

モーションキャプチャシステムに採用されたのはOptiTrackで、編集には付属のMotiveを使用する

Motiveから流されたアニメーションは、そのままUnity内にストリーミングされる

本作のために自社開発されたGitベースのアセット管理パイプラインツール
作業中のファイルは、衝突を回避するために一時的にテンポラリの領域に保存される

その後、承認待ち（Waiting for Approval）のリストに並び、しかるべき担当者のレビューを通ったものだけが本流にマージされる

会社紹介PVもUnityでつくる

CEDECのライブショーの中では、HEAP社の特徴を紹介したPVも披露されたが、このPVも全てUnityを使って非常に短い期間でつくられたという。時代のニーズに合った良質のコンテンツを作成するために、HEAP社の大きな特徴でもある、「原作」チームと「映像」チームが同一社内で働ける環境を構築し、彼ら自らが「制作」したコンテンツを直接エンドユーザーへと届けることができる点が最大の強みと言える。PVの中でMariAが「新しいことやワクワクしちゃうことが大好きな社風のため研究開発には超積極的です！」と話す場面があるが、ユーザーからの反応をダイレクトに受けてスピーディにコンテンツへと反映させられるところは、エンジニアにとってもクリエイターにとっても大きな魅力と言えるだろう。

Topic 3　MariAに生命を吹き込む技術開発

表情解析と音声認識、そして指アニメーション

ライブショーの中で、MariAは、非常に多くの豊かな表情を見せ、観客へと呼びかけていたが、このMariAのコントロールの裏側を見せてもらうことができた。最も大事なMariAの表情アニメーションについては、制御するオペレーションスタッフの表情を解析し、「喜怒哀楽」それぞれの状態をパーセンテージによって抽出できる自社開発システムによってコントロールされている。これで、ベースとなる表情は常にスタッフの表情とダイナミックに連動するようになり、さらに声優マイクから取り込まれる音声データの波長を解析しリップシンクをさせるシステムが連動することで、声優さんのしゃべりと同調して唇の形が変化する。さらに、キャラクター特有の決め顔が事前に多数用意してあり、それらがキーボードのボタンを押している間だけ割り込まれるようになっている。このように、魅力あふれるキャラクターの表情がつくり上げられていたということだ。

指のアニメーションについても、キーボードアサインを今回は選択したが、「指については様々なソリューションが候補に挙がり検証を進めてきましたが、ライブでの演出の妨げになる破綻や障害を極力抑えるため、今回は一番無難なチョイスをしました」と林氏は語った。左右12個ずつ用意された指の決めポーズをオペレーターがアクターの動きに合わせて押すことで、実際に演技しているような錯覚を与えていた。

豊かな表情のリアルタイム生成

キャラクターの命ともいうべき表情は特に力を入れて制作されており、多数の表情集の中から豊かな表情が生み出されている

ここぞという場面で見せる決め顔に場内からは歓声が上がる
MariAを操るオペレーターの表情を読みとり喜怒哀楽や決め顔に変化し、魅力的なキャラクターへと成長する

バックヤードでは、モーションキャプチャや音響、コメントなど意外にも多勢で制御されていた
業務用音響制御卓では、全ての機器に対してサウンドデータを遅延処理しつつ送信している

舞台演出を彩る照明連動

ライブでは、CEDECのために開発された様々なシステムをコミカルにMariAが紹介するパートがあった。前述したモーションキャプチャや音声解析などのほかに観客の注目を集めていたのが、ライブ照明連動だ。観客席後方には、本物のライブでも使用されているプロ用の照明卓が置かれており、照明技師の操作によって会場の照明が制御されているが、驚くべきことにMariAが立つヴァーチャルステージの中に配置された照明も同様に連動させることができる。照明業界の国際規格である、DMX512をUnityで読みとるプラグインを自社開発し、イーサネットケーブルで信号を送信するためのArt-Netプロトコルで連動させている。これによって、ヴァーチャルキャラクターライブと会場との照明のギャップを減らし、ライブへの没入感がより強調されるようになっている。

照明コントロールシステム