「MR ST@GE!!」では手の指までリアルタイムキャプチャ
C：「BanaCAST」に関しては、「MR ST@GE!!」ならではの挑戦はありましたか？
石田：手の指のリアルタイムキャプチャは初の試みでした。キャプチャデータの欠損をいかにして防ぐか、もし欠損したとしても、いかに自然に振る舞えるようにするかという2方面での工夫をしています。
C：そもそも、普段のゲーム開発では指をキャプチャしていないんですよね？
遠藤：そうです。指までキャプチャすると扱う情報量が多くなりすぎるので、現実的ではありません。普段は手のキャプチャまでに留め、指はアニメーターが後から手付けしています。でも「MR ST@GE!!」ではアイドルにリアルタイムで出演してもらいたかったので、どうしても指までキャプチャする必要がありました。
石田：指を問題なくキャプチャできたとしても、踊っている最中に手で胸のマーカーを隠してしまったら、胸のキャプチャデータが欠損してしまうんですよ。普段のゲーム開発用のキャプチャでは、そういうデータの欠損は後からモーション課のわれわれが修正し、綺麗なデータにしてからアニメーターに渡しています。ところがリアルタイムの場合は修正している時間がないので、「キャプチャデータの欠損をいかにして防ぐか」が特に重要でした。
C：具体的には、どういった対策をとったのでしょうか？
石田：「MR ST@GE!!」の狭いキャプチャエリアに合わせ、広角のカメラを22台用意し、上と下の両方向からキャプチャできるようにしました。指のマーカーは親指、人差し指、小指の外側に付けており、ボディのマーカーよりサイズは小さいため、手のひらを上に向けたり、指を曲げたりした場合、上方向からのカメラでは撮影できません。だから下方向から撮るカメラも用意しました。その結果、指以外も安定してキャプチャできるようになりました。
遠藤：キャプチャ用のソフトウェア自体も随時バージョンアップされているので、2nd SEASONでは1st SEASON以上にマーカーを追跡しやすくなりました。
石田：加えてキャプチャ時には、「胸の前に手を置くときは、マーカーが隠れないように胸から少し手を浮かせる」「指をグーにするときは完全な握りこぶしをつくらず、少し指を浮かせる」など、気を付けて動いてもらうようモーションアクターさんにお願いしました。アナログな対策ですが、かなり結果を左右します。撮影しやすい位置にマーカーを付けるといった工夫もしましたね。ベストの位置は個人差があるので、本番前に何度もグーパーをやってもらい調整していました。
C：主演アイドルに合わせて日々調整していく......生き物のように変化するライブだったのですね。
土井：それでもキャプチャデータが欠損した場合は、キャプチャデータを無視してボタンひとつで自然な指の形になる仕組みもつくりました。
C：まさに「こんなこともあろうかと」を地で行く入念な対策ですね。
飯島：「765プロミ2017」の段階で、腕の動きに連動して指が自然に動く仕組みをつくってもらったんです。何かあったときのために、その仕組みは2nd SEASONでも残しておきました。
▲前述の取り組みにより、手を口にあてる、両手の指を組む、天を指さすといった多彩な指の動きをリアルタイムに表現できた。その結果、アイドルたちはとても豊かな仕草を「プロデューサー」に見せてくれた
飯島：キャプチャの精度が上がったことは、指の動きだけでなく、全身を使ったダイナミックな動きを表現する上でもメリットがありました。当初、「MR ST@GE!!」ではそこまで激しいダンスはしないだろうと思っていたんです。「リアルタイムだからJUNGOさん（※6）も手加減してくれるだろう」と期待していたんですが、全然そんなことはなくて、ゲームの倍くらいの運動量になっていました（笑）。後でJUNGOさんと話したら「ゲームを超える勢いでつくりたい」と言っていたので、精度を上げておいて本当によかったです。
※6 JUNGO氏：マイノオト所属の演出家。近年の声優が出演する『THE IDOLM@STER』ライブイベントの多くを演出しており、「MR ST@GE!!」でも演出を担当した。
C：ダンスの振り付けは普段のゲームから変わっているのでしょうか？
飯島：変わっています。ゲームで使われている振り付けもありましたが、意図的にゲームから変えているものもあり、われわれアニメーターにとっても新鮮でした。
遠藤：ゲームのダンスの尺は2分前後ですが、「MR ST@GE!!」の尺は5分前後です。フル尺のダンスとはあまり縁がなかったので、新しい経験ができました。
▲後を向いたり、舞台上を動き回ったり、思いっきり高く飛び跳ねたりと、ゲームよりさらにパワフルになったダンス
C：そんな風に、ひとりの指をキャプチャするだけでも大変なのに、よくぞ「双海亜美、双海真美の共演」という『THE IDOLM@STER』史上初の偉業に挑戦しましたね。
遠藤：「最高は塗り替えていくもの」というのが『THE IDOLM@STER』の伝統ですから、より最高を目指してみました（笑）。
C：........................（汗）。
前編は以上です。後編では「双海亜美、双海真美の共演」という歴史的偉業に挑戦した経緯や、アイドルをより輝かせるためのこだわりに迫ります。ぜひお付き合いください。
・後編はこちらでご覧いただけます。
©窪岡俊之 ©BANDAI NAMCO Entertainment Inc.
