ARを裸眼で見る!?　演者を高速追従し現実を拡張するライブショー制作事例～『CGWORLD　2017　クリエイティブカンファレンス』(4)～

11月5日に文京学院大学にて「CGWORLD 2017 クリエイティブカンファレンス」が開催された。本稿ではP.I.C.S.（以下、ピクス）とモンブラン・ピクチャーズのセッション「リアルタイムトラッキング&プロジェクションマッピング『EXISDANCE』における Unityを使用したCGアニメーション制作フロー」の模様をお送りする。

前回までの記事はこちら
第1回フォトグラメトリがCG制作を変える！　AVATTA、アタリが語るフォトグラメトリの現状と未来
 第2回アートワークの背後に潜む設計思想、『八月のシンデレラナイン』ビジュアル＆UIメイキング
 第3回妥協しないと死!?　カワイイキャラだけで生きぬくウサギ王の生き残り術

TEXT＿真狩祐志 / Yushi Makari
EDIT＿山田桃子 / Momoko Yamada
PHOTO＿弘田充 / Mitsuru Hirota

＜1＞超高速で動く人物を検出し、映像をリアルタイムに追従させる

『EXISDANCE』は、踊る演者の身体を映像が高速で追従し、その世界観をプロジェクションマッピングで拡張演出するという次世代のライブショー。パナソニックの最新技術であるハイスピードトラッキングと、ピクスの開発した3Dプロジェクションマッピングシステムによって成り立っている。このショーのメイキングを紹介した同セッションの登壇者は、ピクスのテクニカルディレクター坂本立羽氏とモンブラン・ピクチャーズのテクニカルディレクター吉田真也氏だ。

『EXISDANCE』

吉田真也氏（写真左）、坂本立羽氏（写真右）
※筆者撮影

高速で動く演者を検出して、そこに映像を投影することができるプロジェクターの技術と、3DCGをリアルタイムでレンダリングするUnityの技術を融合させ「ARを裸眼で見る」ような感覚を目指したという『EXISDANCE』。坂本氏によると、演者と映像に"ライブ感"を演出するためには、通常のトラッキングではなくリアルタイムに動きを追従することが重要だったと言い、その点が課題にもなったそうだ。「液晶ディスプレイの場合、ゲーミング用にフレームレートが240fpsほど出るものが増えていますが、プロジェクターはまだ30～60fpsが多いため、高速な動きになってくると映像が遅れ、演者の動きとズレてくるんです」（坂本氏）。

このズレの解消や視認性を上げるために、昨年、制作したプロトタイプ作品『Animated Cloth』と比較すると、『EXISDANCE』ではフレームレートや明るさが大幅に向上している。「昨年のプロトタイプ版ではフレームレートが960fps、明るさが3000lm程度で、実際にショーとして使うには映像が暗かったです。また、色味も8ビットの256色でしか表現できなかったため、素材の色や形が制限されていました」（坂本氏）。

『Animated Cloth』

プロトタイプ作品『Animated Cloth』（2016年）と『EXISDANCE』（2017年）のスペックの比較

「一方、『EXISDANCE』は1920fpsで描画できるシステムになっています。明るさは10000lmで色数も16ビットなので表現の幅が増え、影も描画できるようになりました」（坂本氏）。

次ページ：
＜2＞リアルタイムをプリレンダーで補完する

[[SplitPage]]

＜2＞リアルタイムをプリレンダーで補完する

システム構成図

「動く人間の身体にリアルタイムに3Dマッピングを行うためには、演者の動きに合わせて映像が変化する必要があります。演者が横に動いたら、投影内容も横に動かなくてはいけません。このプロジェクターは演者の身体につけた光学マーカーを検出し、自動的に演者を2Dトラッキングします。これに加えて演者の身体に取り付けられた回転センサーを使うことで、体の傾きを考慮した立体的な表現を可能としています。これらのトラッキング技術は独自のプラグインによって実装されており、Unityでこれらのデータを使用できるようになっています」（吉田氏）。

こうしてリアルタイムに演者の動きを追従しライブ感を演出しているわけだが、全てをUnity上でリアルタイムに処理させるのは難しく、プリレンダー映像も使用しているという。

前ページで紹介した映像を見るとわかるように、『EXISDANCE』では最初に空手、次にロボット、最後にキューブというようにモチーフが次々と変わっていくのだが、この最初の空手パートにもプリレンダー映像が使われている。「空手のパートでは、体と背景に別々のプリレンダー映像を投影しています。エンコードはHAPを使っています。よくVJでも使われるんですが、デコードが速い点が特長です。再生には外部アセットとしてAV Proを使っています」（吉田氏）。

空手パートにおけるプリレンダー映像の演出

また吉田氏は、実際に演者の身体に投影する前に、演者を3DスキャンしてつくったCGモデルに映像をマッピングしてみることも重要と話した。「『EXISDANCE』では演者のCGモデルにUV展開して、そのUVに合うように映像を配置しました。このテスト工程があるのとないのとではクオリティの差が歴然でしたね」（坂本氏）。

「ちなみに演者の回転情報は先ほど述べたようにセンサーで取得しているのですが、これはモーションキャプチャデータではありません。演者の姿勢がどのようになるのかを推測するシステムをつくり、回転情報を元に演者の姿勢を推定して、ジオメトリをデフォームさせています」（吉田氏）。

ロボットパートに登場するロボットスーツの映像はCINEMA 4Dで作成

キューブパートでは、モーショングラフィックによる演出も

最先端の技術により演者と映像を融合させ、SF映画やアニメーションの世界が現実に飛び出してきたかのような演出を実現した『EXISDANCE』。今後もさらに進化を遂げ、私達に新しい驚きを与えてくれそうだ。

「CGWORLD 2017 クリエイティブカンファレンス」
参加費：無料　※事前登録制
開催日：2017年11月5日（日）
場所：文京学院大学本郷キャンパス（東京都文京区向丘1-19-1）
主催：ボーンデジタル、文京学院大学コンテンツ多言語知財化センター
機材協力：マウスコンピューター、TSUKUMO（ツクモ）
cgworld.jp/special/cgwcc2017