「ポラポリポスポ」（以下、「ポラポリ」）は、撮影後に人の手による加工を行わない「“ゼロエディット”モーションキャプチャ」技術によって生まれた次世代キャラクタープロジェクトだ。バンド演奏を再現したオリジナル楽曲のMVや、キャラクターたちのトーク映像など、様々なコンテンツをYouTubeを中心に展開しており、6月には初のCGバンドライブを開催する。

今回は、企画プロデュースを担うバンダイナムコアミューズメント（以下、BNAM）、キャラクターを演じるキャスト陣、技術を担当するユークスとgNuuwから、各工程における「ポラポリ」の新たな取り組みについて話を聞いた。

関連記事

INFORMATION

INTERVIEWEE

▲福田未和氏（プロデューサー／バンダイナムコアミューズメント）
※メールインタビューで参加

制作の「裏側」を積極的に公開する、新たなキャラクタープロジェクト

CGWORLD（以下、CGW）：福田さんは施設型キャラクターイベントの「CG STAR LIVE」もプロデュースされていましたね。「ポラポリ」の企画はどういう経緯で始まったんですか？

福田未和氏（以下、福田）：2020年から始まったコロナ禍で、リアルエンターテインメントを生業としているBNAMとCG STAR LIVEも大きな影響を受けました。先の見えない絶望の中で、「この会社には希望が必要だ！」と勝手に奮い立ち、勢いに任せて「Project Polaris（プロジェクト ポラリス）」という企画書を書いたのが全ての始まりです。

CGW：「Project Polaris」から「ポラポリポスポ」になったんですね。企画のコンセプトは何でしたか？

福田：長年キャラクタービジネスに携わっていて、「どうしてこういうルールなんだろう？」、「なぜ、これをやったらNGなんだろう？」という疑問を抱えることが多かったんです。いつか自分がキャラクターをプロデュースするなら、そんな業界の「当たり前」を変えていきたいと思いました。そうして決めたひとつが、制作工程やスタッフなどの「裏側」を積極的に公開するという方針です。

CGW：キャラクタープロジェクトの裏側は、隠されていることが多いですよね。

福田：そうなんです。隠すのではなく、各分野のプロフェッショナルの支えによってコンテンツが存在していることを発信することで、面白いと感じ、興味をもってくださる新たな仲間が集まれば嬉しいなと思いました。また、キャラクターに関わるお仕事の幅広さを知って、様々な分野のプロを志す若い世代が増えたら良いなという願いもありましたね。「ポラポリ」は、そんな夢や野望と共にスタートしたプロジェクトです。

声優・モーションアクター・ミュージシャンの三人羽織でキャラクターを演じる

CGW：「ポラポリ」では、ミュージシャンの方もモーションキャプチャに参加しているんですか？

福田：バンドの演奏シーンは、実際に楽曲を担当するミュージシャンの方もモーションアクターとして参加してくれました。「ポラポリ」では撮影後に人の手による加工を一切行わないゼロエディットモーションキャプチャを採用していて、撮影した動きをそのまま使うので、一般的なモーション撮影よりもさらにアクターさんの「動き」が重要になります。

CGW：声を担当する声優、トークシーンの動きを担当するモーションアクター、演奏シーンの動きを担当するミュージシャンの三人羽織で、1人のキャラクターを演じているんですね！

福田：キャラクターの個性を動きでも表現する方法を、まだまだ悩み、実験し、検証している最中でして、今回の取り組みはその実験のひとつです。中には初めてモーションアクターを経験される方や、声優とモーションアクターの両方に挑戦してくださった方もいらっしゃいます。

CGW：キャストの皆さんの担当を教えてください。

松田将希氏（以下、松田）：自分はチアキ役のモーションアクターとして参加させていただきました。普段は舞台をメインに活動しており、モーションアクターのお仕事は「ポラポリ」が初めてです。スタジオに入った瞬間から、撮影が終わってモーションキャプチャスーツを脱ぐまでの全部が初めての経験で、とにかくキャラクターに命を吹き込むということだけを考えて挑戦しました。

古田一紀氏（以下、古田）：私はモーションアクターのお仕事をしている中で声をかけていただき、ゲッカ役のモーションアクターとして参加しました。常に目の前にある画面にリアルタイムでキャラクターが映っていたので、自分が話していないときも、きちんとリアクションをとって、シーンに参加し続けることを意識しました。

小松昌平氏（以下、小松）：僕はロミオの声優と、モーションアクターを担当しています。自分がCVを務めるキャラクターのモーションを自分でやらせていただく、というのは初めてで、とても良い経験でした。

CGW：声優さんがモーションアクターも兼任するのは本当に珍しいですね。撮影や収録において、特に難しかった点はありますか？

小松：声優としては、アンドロイドの役も初めての経験でした。喋り方もかなりAI感を意識したものにしているのですが、この試みも初挑戦で、なかなか苦労しました。ロミオのビジュアルはすごく可愛らしいのですが、ロボット感のある喋り方も意識する必要があり、ディレクターさんと入念に擦り合わせましたね。結果的に人とロボットの間の、絶妙な喋り方になったかと思います。演者の中でも「ちょっと怖くない？」という声がありました（笑）

松田：撮影中はリアルタイムで自分の動きとリンクしているキャラクターを見られるのですが、手の開き方や指先の形が少し変わるだけで見え方が全然ちがうので、その場その場で調整していくのが難しかったです。撮影当日までにリハーサルなどをして、動きも入念に仕上げて臨んだのですが、チアキの衣装の関係で手の動きをリハーサルとは全て逆の手でやることになったりして、脳みそフル回転で撮影させていただきました。

古田：ゲッカは袖で手が隠れているので、普通の感覚で動いてもシルエットが素敵にならないだろうと思いました。キャラクターになったときにどう映るかが知りたかったので、リハーサルの段階で長いセーターを持参し、手を隠して確認をしていました。手のひらの表現を制限して演技するのは初めてだったので、工夫が要りましたね。

CGW：普段担当されているお仕事と「ポラポリ」は、どんなちがいがありましたか？

松田：舞台と一番ちがうと感じたのは、その役の声優さんの話し方や間、呼吸と、演技をリンクさせることです。舞台なら自分が楽器になって音を出しますが、今回は誰かの楽器が奏でる音がある。そこが一番ちがって、楽しかった点でした。

古田：モーションアクターだけでなく、様々なバックボーンをもった方々と一緒に動きをつくるというのは、ほかの作品ではないことだと思います。それによって担当する出演者の特徴が際立ち、本当の意味で個性豊かな動きが各キャラクターに付いていると思います。

小松：掛け合いのテンポも独特ですね。「chirp×chirp」ならではかもしれませんが、正直噛み合ってないような会話が意図的に行われています。可愛らしいビジュアルとは裏腹に、一癖も二癖もあるキャラクターたちが、いろんな過去や想いを抱えながら絶妙に交わっているのが「ポラポリ」なのかなと思います。このクセ者たちが今後どうなっていくのか、僕自身楽しみです。モーション技術、CGライブについても期待して見守っていてください！

リアルタイムでキャラクターを動かす「ポラポリ」の技術

CGW：「ポラポリ」を支えている技術についても伺いたいです。まずは技術チームの構成と、皆さんの役割を教えてください。

古田弘美氏（以下、古田P）：「ポラポリ」は登場するキャラクター数によって変動しますが、全体で約17名のチームで制作しています。私はユークスで技術チームのプロデュースを担当しています。

布川茂明氏（以下、布川）：gNuuwは私ともう1名の2名体制で参加していて、モーションキャプチャのオペレーションを担当しています。私はメインオペレーターとして「ポラポリ」のモーションキャプチャ技術全般を担当しています。

瀬戸賢太郎氏（以下、瀬戸）：私は本プロジェクトで採用しているユークス開発のリアルタイムレンダリングエンジン「ALiS ZERO®」のシステム全般を担当しています。ALiS ZERO®のオペレーションは3名体制で行なっていて、私のほかにレコーディングと表示担当が1名、カメラオペレーションの担当が1名います。

牧 達也氏（以下、牧）：私はユークスでマルチカメラやフェイシャルなど、アニメーションに関するテクニカルオペレーションを担当しています。ALiS ZERO®はカメラを何台でも設置できるのですが、MVやトーク映像の場合は4台を置いているので、それらをひとりで担当しています。

研谷佳生氏（以下、研谷）：私はユークスでリアルタイムモーションキャプチャの進行管理とクリエイティブのディレクションを担当しています。

古田P：ほかにはサウンド担当者が1名おり、フェイシャルアニメーションを付けるフェイシャルキャストが、登場するキャラクターの数だけついています。

CGW：フェイシャルアニメーションもリアルタイムで付けているんですか？

牧：はい。リップシンクは音声認識によって自動的に付けているのですが、それに加えて、撮影中にフェイシャルキャストがゲームパッドでひとりひとりのフェイシャルアニメーションを設定しています。

CGW：声優、モーションアクター、ミュージシャンの三人羽織に加えて、顔の動きを担当するフェイシャルキャストもいるんですね！　リップシンクで使っている口のパターンはどれくらいですか？

牧：リップシンクは「あいうえお」の母音5つです。それにゲームパッドで入力する複数のフェイシャルエクスプレッションをブレンドします。現場では、アクターさんにセリフやアドリブを喋っていただいて、フェイシャルキャストが息を合わせてその場でアニメーションを付けています。

フェイシャルキャストはキャラクターの視線を設定したり、表情で喜怒哀楽を表現したりするだけでなく、喋っていないときも表情を変化させることで、画面が単調になるのを防ぎ、キャラクターが魅力的に見えるようにしています。システムとしてはリップシンクが優先されているので、喋っている途中で口の動きが変わってしまうことはありません。

ゲームパッドによるフェイシャルの操作

超高精度キャラクターマッチング技術によるバンド演奏の再現

CGW：本プロジェクトには複数社のプロフェッショナルが集っていますが、どのような経緯で結成されたのでしょうか？

古田P：BNAMの福田さんとは以前からお付き合いがあり、「誰もやったことのない、バンドでリアルタイムライブをするオリジナルIPを起ち上げたい！」という強いご要望をいただいて、2021年の1月頃に本プロジェクトが始動しました。gNuuwの布川さんとも別のリアルタイムライブのCG制作でご一緒していたので、そのつながりから本プロジェクトにご参加いただきました。

企画当初から「プロのミュージシャンに本当に楽器を演奏してほしい」という福田さんの強いこだわりがあったので、それをどう実現するかが課題でした。これまでに培った経験を活かしつつも、ある程度条件を絞ってトライアルをスタートすることにしました。

布川：ちょうど別件で、同じスタジオで似たようなバンド演奏のモーションを撮影する機会があったのですが、それが割と上手くいったので、「ポラポリ」が目指すバンドに特化したリアルタイムライブもできるのではないかという手応えが得られましたね。

CGW：最初のトライアルから今のようなバンド演奏が実現できていたんですか？

布川：様々なトライアルを経て、今に辿り着いた感じです。バンド演奏の再現には、超高精度なキャラクターマッチング技術が必要とされました。

例えば、ギターに手の動きを合わせようとすると、当然ですがCGモデルとアクターは体格が異なるため、動きの差が出やすいんです。「このくらいの体格差なら大丈夫」というところを少しずつ探っていきました。

古田P：最初の頃はCGモデルに合わせて、身長や手の長さなどの体格を細かく指定した上でアクターさんを選定していましたね（笑）

研谷：いったんキャラクターの個性を無視して、CGモデルの体格をアクターさんに合わせて修正してみたりもしました。

布川：テスト撮影したモーションを基に、MotionBuilderでかなり試行錯誤しました。最初のトライアルでおよその技術的な課題がクリアになり、回数を重ねる度に精度がどんどん上がっていきました。とはいえ、きちんとギターを弾いているように見せられるまで、かなり苦労はしましたね。

CGW：ギター演奏を再現するのは、やはり難易度が高いんですね。ドラム演奏も難しかったですか？

布川：ドラムはそれほど難しくありません。光学式モーションキャプチャを使っているので反射しないように楽器全体を加工し、シンバルにもマーカーを付けるだけで、おおよそその通りに再現できます。ただ、現段階ではまだやっていませんが、本物のドラムを使って音まで出すとなると、マーカーをどうするのかなど、解決しなければいけない課題がいくつかあります。キーボードの場合は、叩く鍵盤の位置はきちんと合わせていますが、現段階ではカメラに映らないので鍵盤の押し下げまでは再現していません。

CGW：指もマーカーを付けてモーションキャプチャされていますよね。指のモーションは光学式キャプチャだとマーカーが隠れてしまうことがあって大変だと思いますが、データグローブを使用していない理由はありますか？

布川：データグローブだと楽器を演奏するミュージシャンの方のストレスになってしまいますし、正確な指の動きを捉えるのも難しいので、今回は光学式マーカーを使いました。なるべく演奏しやすいよう、指先だけ出ている専用のグローブをつくって、そこにマーカーを付けています。

指に限らず「ポラポリ」では、CG側の都合でミュージシャンの方に制限を設けることはせず、自由に演奏してもらったテンションをモーションに込められるよう、各所で配慮しています。加えて、全身の動きを同じシステムで撮影する方が、急な変更に対応しやすく、データを管理しやすいというメリットもあります。

ゼロエディットモーションキャプチャを可能にする「ALiS ZERO®」

CGW：「ポラポリ」のキャラクター表現はユークスさんのオリジナルエンジンALiS ZERO®によるものとのことですが、どのようなエンジンですか？

古田P：ALiS ZERO®は、当社がゲームタイトル開発で培った技術を活かして、リアルタイムライブを実現するために開発したリアルタイムレンダリングエンジンです。撮影後のポスト作業をいっさい行わない「ポラポリ」のゼロエディットモーションキャプチャは、布川さんがお話された超高精度キャラクターマッチング技術と、ALiS ZERO®のリアルタイムレンダリングによって実現しています。

研谷：従来の技術では、モーションキャプチャ後に、モーションデザイン、シェーダ調整、クロスシミュレーションなどの作業を経てレンダリングを行なっていました。しかしALiS ZERO®では、モーションキャプチャ時にこれらの工程をリアルタイムで行うため、その場で映像素材を納品できるんです。極めて短い期間で映像素材をつくれることが、ゼロエディットモーションキャプチャの強みです。

瀬戸：撮影現場では、各カメラの映像を表示するPCの出力をATOMOSのレコーダーで録画しています。従来のワークフローだと撮影が長くなるにつれて処理が重くなっていましたが、ALiS ZERO®は1〜2時間の長時間撮影にも対応できます。

ALiS ZERO®の機能

MV用の映像素材の撮影

目指すのは生のリアルタイムライブ

CGW：最後に、本格的に始動した「ポラポリ」が次に目指す目標を教えてください。

古田P：6月のCGライブは収録済みデータによるライブになりますが、ゼロエディットモーションキャプチャとして収録後の修正は一切していません。ですので、楽器を使ったリアルタイムライブは、ほぼ対応可能だと考えています。次のライブは、完全リアルタイムでやってみたいですね。

ALiS ZERO®の開発については、リアルタイムライブでできることをもっと増やしていきたいと思います。今でも照明機器との連動はできていますが、クレーンなどのカメラワークへの対応や、xR技術を活かした映像表現の実現も考えていきたいです。

布川：最終的には、アクターを務めるミュージシャン自身が、その場で生演奏まで披露できるようにするのが、福田さんをはじめとする「ポラポリ」チームの悲願です。特にギターの場合、マーカー用のグローブを着けたままだと実際に演奏するのは難しいとのことでした。なので今後は、グローブを付けずに高精度な指の動きをキャプチャできるところまで、何とかがんばりたいです！

福田：いつかはバンダイナムコアミューズメントの自社施設内に、「ポラポリ」の専用劇場をつくりたいですね！　CG STAR LIVEを担当していたときから抱えている野望です。

「ポラポリ」は技術はもちろん、キャラクターの創り込みにもこだわっています。彼らが生まれた瞬間から現在にいたるまで、あらゆる設定が存在していて、生まれた病院の名前まで決められているほどです。彼らの言葉には、リアルな人と同じように口癖もあって、その裏には理由、性格、パーソナリティがあります。徐々に明らかになっていく彼らの人間性を、一緒に追いかけていただけると嬉しいです。

INFORMATION

©Bandai Namco Amusement Inc.