3Dキャラクターが破綻なく生演奏を披露――プロレスゲームの雄が見せた『ポラポリポスポ』のキャプチャ技術

4月9日（水）、モーションキャプチャスタジオGUNCY'S TECH FORT（東京都江東区・木場）にて、バンダイナムコエクスペリエンスによるIPプロジェクト『ポラポリポスポ』のモーション撮影見学会が実施された。

本見学会は、「本物のバンド」表現を追求する同プロジェクトの技術的デモンストレーションとして開催され、モーションアクターによる楽器演奏の繊細な動きをキャプチャし、それをもとにCGキャラクターが自然な生演奏を行うという、高度な表現技術が披露された。

本記事では、ユークスおよびgNuuwのモーションキャプチャシステムと、フェンダー社およびローランド社が開発した楽器の組み合わせによって実現した、この先進的な技術の詳細に迫る。

記事の目次

体格の擦り合わせなし、ゼロエディットで3Dキャラが生演奏

今回のデモ演奏は、2曲の生演奏およびフリー演奏の計3パートにわかれて実施された。

最新式のモーションキャプチャーカメラ・VICON Valkyrieが多数配置されたスタジオに案内されると、黒のモーションキャプチャスーツに身を包んだミュージシャンたちが楽器を携えてリハーサルを行っており、通常モーションキャプチャスタジオで目にすることがない光景で見学者を驚かせた。

使用される楽器は、老舗楽器メーカーであるフェンダーとローランドの協力により開発された特別製で、光学式のモーションキャプチャカメラに対応するように、マーカーの装着と光沢部への塗装が施されている。

これだけでも異色な環境だが、驚くべきはそれだけではない。

通常、こうしたモーションキャプチャスタジオでは手指の動きを取得するためにグローブ型のデバイスを用いることが多いが、本プロジェクトでは演奏の妨げにならないようにそうしたデバイスは使用せず、テーピングで指や手の甲に取り付けたマーカーだけで手指の動きをキャプチャしている。

また、本プロジェクト内の映像で楽器を演奏することになる男性キャラクターたちは、華奢かつ手足の長い、いわゆるアニメ体型。通常、現実の人間の動きを3Dキャラクターに反映させる場合はその体型の違いによりモーションのズレが発生してしまうことが多く、なるべく両者の身体つきは揃っている方が望ましいとされる。しかし、本プロジェクトのモーションアクターとキャラクターの間に体格的な擦り合わせは一切ない。

VTuberなど3Dのキャラクターモデルを使用して行われるライブイベントでは、3Dモデルの破綻リスクを考慮し、歌やダンスなどの激しい動きを伴うパートをあらかじめキャプチャしておき、調整済みの録画映像を再生するのが主流だ。

しかし、今回の見学会は、生演奏。楽器の演奏という最も精緻な動きを捉えなければならない分野のモーションキャプチャにもかかわらず、グローブもなければ、体格の調整などもないゼロエディット。あまりにも挑戦的な企画と構成の中、演奏が始まった。

カメラで撮影されたデータはユークス社の独自リアルタイムレンダリングエンジン・ALiS ZERO®へと送られ、3Dキャラクターに反映。表情については別途オペレーターがゲームパッドで入力するという仕組みになっている。

そうして生で音楽を奏でる3Dキャラクターたちには、驚くべきことに、破綻が見当たらず、ステージと観客ほどの距離感で観ているとまるで違和感がない。

2曲目の演奏が終わり、フリーセッションで演者の突発的な動きが入るようになっても、破綻なく対応しており、“キャラクターがリアルタイムに演奏している様子”として成立していた。リハーサル済みのパフォーマンスを「再現」するのではなく、キャラクターがその場で「生きて演奏している」感覚を生み出せる可能性を感じさせるデモンストレーションだった。

「いつかは管楽器の演奏までキャプチャしたい」

高度なモーションキャプチャはどのような経緯で実現したのか。当日のオペレーターを務め、gNuuwの代表取締役でもある布川茂明氏に話を聞いた。

――録画・調整なしでの生演奏、驚きました。今回このような挑戦をされた理由は何だったのでしょうか？

布川：確かに、数年前までは機材やソフトウェアの問題で不安定な部分も多く、ライブ用のモーションは録画して後から調整するのが一般的でした。ですが、近年カメラやソフトウェアの性能も上がり、リアルタイムでも見せられるクオリティにまで技術が進んできたので、チャレンジすることにしたんです。技術進歩による実現性のおかげで成立した挑戦ですね。

――とはいえ、歌やダンスではなく、バンドでの楽器演奏をリアルタイムでトラッキングするところまで一気に挑むのは相当に難しかったのではないですか？

布川：はい。歌やダンスと違って、楽器演奏は指先の細かい動きのトラッキングが要求されますから、難易度はぐっと上がります。正確に楽器を演奏をしようとするとグローブ型センサーを使うことができません。ですが、素手に直接マーカーを貼ると取れやすくもあります。なので、アクターの方々と相談しながら、できるだけ自然な演奏と安定したトラッキングが両立できるよう、マーカーの配置を模索しました。

ただ、ドラムスティックの動きを拾うためにマーカーを取り付けたら重くなって演奏に支障が出るようになってしまったり、その対策のためにマーカーを軽量化したり、軽量化したマーカーが取れてしまわないよう、スティックに埋め込んでみたり、試行錯誤はかなり多かったですね。おかげで今はスティック回しやジャグリングもできているんですが。

――アクターとキャラクターの体格差もありますが、こちらはどう対応されているのですか？

布川：一般的には、キャラクターに合わせたアクターをキャスティングしますが、今回はその逆。どんな体格のアクターでもキャラクターに合うように、独自のシステムでスケール差を吸収できるようにしています。ユークスさんとは過去にAR performersというアイドルプロジェクトを手掛けたことがあるので、そのときのノウハウを全部投入していますね。

20cm程度の身長差であればほとんど違和感なく吸収できる想定で、やったことはないですが子供が大人のキャラを演じるくらいでもなんとかなるはずです。極端に脚が長いタカアシガニみたいな体型のキャラでもなければ、基本的には誰が誰を演じることもできると思います。プロデューサーが演奏してもらいたい人に演奏してもらえる、というのを実現できるようにしていますね。

――今後さらに挑戦してみたい動きや楽器などはありますか？

布川：実は、現状ではギターコードをちゃんとやりきれていないので、まずそこを詰め切るところまで辿り着きたいですね。あとは、管楽器にも挑戦してみたいと考えています。サックスやトランペットは金属光沢が強いので、黒く塗ったり覆ったりしないと光学式カメラでのキャプチャを乱してしまうのですが、そうすると音が殺されてしまう。そうした困難にアプローチしていきたいです。決して「この楽器はできない」とは言わず、モーションキャプチャの表現領域を広げていければ、と思っています。

プロレスゲームの技術をアイドルのライブに

また、幸いなことに、布川氏率いるgNuuwと共同で制作にあたるユークスより古田弘美氏と研谷佳生氏にも話を伺うことができた。

――本プロジェクトを制作されているのがユークスさんと知って驚きました。『エキサイティングプロレス』などのプロレスゲームの印象が強い御社ですが、今回のプロジェクトにはどういった流れで関わることになったのでしょうか？

古田：弊社が以前に手掛けていた AR performersという男性アイドルプロジェクトからの流れですね。1993年の創業以来ずっとプロレスゲームをつくってきた中で培った3Dアニメーションの技術はライブ演出にも活かせるんじゃないかという話は前からあり、そこからぐんと舵を切った結果としてのプロジェクトになります。

研谷：『新日本プロレスリング闘魂烈伝』（1995）からずっと3Dアニメーションの制作はしていますからね。1コマずつクレイアニメでもつくるようにやっていた頃から、ときにはツールまで自作して3Dとアニメーションをやってきたのがユークスの文化なので、やることはなんでもやっていきたい会社なんです。

――プロレス以外にも『ベルセルク -千年帝国の鷹篇喪失花の章-』（1999）、『パシフィック・リム』（2013）に至るまで、御社作品はいずれも重くがっちりしたキャラの動きが多いですが、男性アイドルを制作するのは相当な転換ではなかったですか？

古田：そういう仕事しか来なかっただけです（笑）。プロレスゲームで始まった会社だから巨漢同士がぶつかり合うような仕事ばかり来るようになり、それをやってるうちに社員も巨漢が好きな子ばかりになり、いつの間にかそんなゲームばっかり作る会社になってしまったという。なので、会社として巨漢にこだわりがあるわけではなく、内田（ゲームデザイナー。代表作に『ときめきメモリアル Girl's Side』『ラブプラス』など）が転職してきて、男性アイドルをやりたいと言い出した際はスッと始まりましたよ。

研谷：もちろん、体型が違うのでそこの苦労はありました。身体を覆う筋肉の厚みで動きの粗をカバーできるプロレスラーと違って、アイドルキャラクターは華奢で身体が薄いから骨の動きがそのまま皮膚に出ちゃうんです。筋肉でごまかせないんですよね。だから、肩の上げ下げひとつとっても、キャプチャデータそのままではモーションの破綻がすごく目立つんです。

――となると、最初は華奢なキャラクターを動かすのに苦労されたのでしょうか。

古田：いえ、むしろ、プロレスゲームで培った技術と経験が活きるんですよ。ただでさえプロレスは小柄なレスラーから身長2メートルを超える巨漢まで戦う上に、それがグラップルし合う。その動きの収録にしても、ゲーム内のキャラクターと同じ体型のモーションアクターを常に呼べるわけもないですから、体格が違うアクターのモーションを馴染ませるというのはずっとやってきたわけです。

しかも、弊社のゲームはエディットモードまであるので、とんでもない身長や体型のキャラでも破綻のないアニメーションをしなければいけない。それを経験しているので、アイドルは楽ですよね。男性アイドルキャラクターという時点で身長や体格は似通ってくるし、何よりアイドルたちはグラップルしないですから（笑）。

研谷：アイドルやバンドメンバー同士でブレンバスターが炸裂したりするようなら、真に僕らのノウハウが活かし切れると思うんですけどね（笑）当然ながらアイドルにそんな展開はないのですが、プロレスの経験が活きていることは数多くあるんです。

古田：フォトリアルなプロレスラーの衣装というめり込みが許されないところでアニメーションをつくってきたからアイドルの衣装をコントロールできたし、キャラクター以外をとってもそうですよね。プロレスやUFCのゲームばかり作ってきたので、アイドルのステージを制作したときには「段差もない！　金網もロープもない！　場外にも降りない！　ただただ広いステージのなんと素晴らしいことか！」と（笑）。

――ちなみに、強いて言うなら……といった苦労は何かありましたか？

古田：モデルの制作段階での苦労が1番大きかったです。体つきも布の見せ方もプロレスとは見せ方がまるで違うので。あとはもちろん、アイドルにはつきもののダンスにも苦労しました。プロレスラーも大概速い速度で動いたりはしますが、さすがにアイドルのダンスの方が速い。それも4人や6人が同時に踊るものですから、そこはやっぱり大変でした。

あと、これまでマッチョな男ばかりをつくってきたので、社員からの「こんな細い男をつくるんですか！？」という声もありました（笑）。

――制作はすべて自社エンジンで行われているんですか？

古田：ALiS ZERO®というリアルタイムライブ専用の自社製レンダリングエンジンです。もともとプロレスゲーム用に開発したエンジンから派生したもので、照明やフェイシャル、クロス表現まで全部リアルタイムで動かせるように調整しています。汎用エンジンと違って、必要な機能を自分たちで足していけるのが最大の強みですね。

研谷：衣服や髪の毛のめり込みを極限まで減らしているのも特徴です。プロレス時代から、入場時の旗やコスチュームの表現にこだわってきたので、その流れが今のリアルタイムライブにも直結している。最初から「めり込みは許さない」という思想が根付いたエンジンです。

――そうして制作されていたAR performersが2022年に休止し、間をおいての今回のプロジェクトとなったわけですね。

古田：はい。AR performersは諸事情あって休止してしまったのですが、そのときやり残したこと、かつて目指したコンセプトにもう一度挑戦できて嬉しいです。プロレスゲームで培われてきた知見やノウハウ、やりたいことに合わせていろんなものを継ぎ足してきた自社エンジン、そしてARPの経験を経て、いまや楽器が弾けている。ありがたいことです。

――黎明期から3Dアニメーションを制作し、今回は楽器の生演奏という難度の高い技術にまで挑んだ御社ですが『ポラポリポスポ』プロジェクトおよび今後の作品で目指すものや展望があれば教えてください。

研谷：いまさらなんですが、僕は3D黎明期からやってきたのもあって、ずっと「モーションキャプチャはいらない」と言ってきた側の人間だったんですよ。全部手付けで職人のようにアニメーションをつければいいと思ってきた人間だったんです。でも今は、これしかないと思っている。自分たちがつくりたいものではなくて、観客が観たいもの、求められる表現をかたちにする。それに最も適している技術を選び続ける。それが、ユークスのやり方なんです。なので技術者として、それに応え続けていきたいと思います。

古田：これから先、マーカーレスやボリュメトリックキャプチャの進化で、モーションキャプチャスタジオに来ない、アクターではないような人の動きまで記録できるようになると思っています。人に限らず、ペットや動物、故人の動きまで記録できるようになるかもしれない。モーションキャプチャはエンターテインメントの域を超えて、森羅万象の”記憶装置”になっていくんじゃないかって。そんな世界が来てくれて、新しい文化を創っていけたらな、と思っております。

――ありがとうございました。