昨年8月に初演、今年3月に再演された『うたの☆プリンスさまっ♪ SHINING STAR STAGE -LOVE in DREAM-』。シャイニング事務所に所属する人気アイドルグループ2組が会場に歓喜の雨を降らせた。その模様を収録したBlu-ray＆DVDが絶賛発売中のほか、来年3月には2nd LIVEの開催も決定している。バーチャルライブとしては国内最大規模といえる本ライブの成功の裏側について、制作陣に話を聞いた。

※本記事はCGWORLD vol.287（2022年7月号）掲載の記事に加筆・再編集したものです。

Information

光が演出する、 バーチャルライブ史上最高の臨場感！

本ライブではCGの制作や演出を含めた全体の制作・管理をTxDが担当。TxDは、様々なジャンルの会社やクリエイター、エンジニアが垣根を超えて集うクリエイティブチームだ。以前はstudioTEDとして知られていたが、2021年に改名。DMM VR THEATERのステージ設計や各種演目の制作をはじめ、これまでにもVR関連のプロジェクト等を数多く手がけてきた。

今回の制作を担当することになったのも、その実績を買われてのことだ。今回のライブにおいては、 「TxDが得意とする『臨場感あるライブ』をさらに感じていただくためにも、CG制作からライブまで全体を通して管理させていただきたいとお話を進めてきました」とプロダクションマネー ジャー都築奈々氏。そんな経緯もあり本ライブでは全体の管理を任されることとなった。

2020年の夏頃からプロジェクトがキックオフし、順次制作がスタート。制作はCG制作とライブ制作の2つのラインで進行していった。CG制作はモデル、セットアップ、アニメーションまでを合わせて約30～40名が参加。ライブ制作では、開発部1名、照明部3名を含む約15名の主要メンバーに、大道具や音響等の現場スタッフを含めれば数百人が関わっている。

こうしたコンテンツにおいてTxDが大切にしているのが「今・そこに・いる」感覚だ。アニメやゲームといった2次元のキャラクターたちが3次元の舞台上に実在感を伴って存在するというのが、TxDの目指すところだという。そしてそこに大きく貢献するのがTxDが独自に開発 した仮想照明合成システム「xRES」だ。映像内のキャラクターなどに対して現実空間と連動した照明効果を反映できるシステムであり、本ライブでもリアリティを飛躍的に向上させた。

今回のライブについて「アイドル作品の先駆けともいえる『うた☆プリ』のライブに携わらせてもらえたことはすごく光栄です。今は2nd LIVEに向けて、前回以上のクオリティ、臨場感を出せるように一同がんばっています」とステージディレクターを務めたよしだたかゆき氏は話す。仮想と現実が交差する夢のステージ。想像以上の驚きと感動をぜひ一度体験していただきたい。

仮想照明システム「xRES」

キャラクターの「投影」から 「登場」へと変える

これまでTxDでは2つのアプローチでライブ演出を行なってきた。ひとつはIPをもつ会社側から支給された映像に対して、照明を2次元的に合成するというもの。支給された映像を基に照明デザインを作成・撮影し、手作業で合成する方法だ。タイミングや色に関してはひとつひとつ手作業でズレを直していく必要があり、コストが高くなる傾向にあった。

もうひとつは3D空間上に照明を配置するというもの。リアルタイムレンダリングエンジンを使って、生のライブに合わせて照明を変える方法だ。臨場感という面で有効な手法だったそうだが、ツールや環境に合わせてその都度システムを開発し直さなくてはならないというデメリットも。また照明デザインによってはCGデザイナーが意図したキャラクターのルックにならないという問題もあったようだ。

そんな中、「完成された映像に対して、リアリティある光の効果をリアルタイムで与えられるシステムを、ひとつのプラットフォームでつくろう」（よしだ氏）という発想から、デベロッパーの原田貴至氏、ライティングエンジニアの泉次雄氏とよしだ氏を中心にxRESの開発が始まったという。

xRESの機能としては大きく2つ。3D情報をもたない2Dの動画素材に対して、現実の舞台の照明効果を乗せる機能。そして、その照明によって発生する影を生成する機能だ。当然スクリーンに投影されたキャラクターは実体をもたないため、そこに光を当てたとしても光の影響を受けることも影が落ちることもない。実際には取り込んだ映像を基に舞台上のライトの位置や角度をリアルタイムに演算し、擬似的な光や影を投影している。

xRESの生みの親である原田氏は「長い間、キャラクターを現実世界に存在させる仕事をしてきましたが、その中で大切しているのが『実際に物理現象として起こることはリアルに再現する』ことです。なので、照明のタイミングは舞台上と映像内で完全に一致させますし、色に関してもそうです。ひとくちに赤と言っても様々な赤がありますが、実際の灯体と同じ色がキャラクターに乗るように調整しています」と話す。

バーチャルとリアルをつなげる要素に関しては徹底的にリアリティを追求する。その一方で、舞台上の見映えを優先する部分もある。例えばバックライトによってキャラクターのエッジが強調されるような演出では、現実の現象よりもさらにダイナミックに表現されるようになっているそうだ。ただリアルなだけではない。リアルを超えた演出を可能にするのがxRESの強みだ。

システム構成

以下は、xRESを使用する場合の投影システムの構成図だ。

xRESを導入するにあたって、通常の投影システムから大きく構成が変わることはないという。基本的には、映像再生システムから映像表示システムまでの間にxRESを起動したPCを経由させるだけだ。

キャラクターを直接レンダリングアウトしたものと、白黒でキーとして出力したものを用意し、同時にxRESへ取り込む。取り込んだ後、フィル・キーでキーイングを行い、xRES内でアルファチャンネルを生成。そこで背景のない映像がつくられるため、キャラクターのエッジの認識やリムライトの生成を行うことができるというながれだ。

完成された映像に後付けで演出を乗せているため、曲とCGを流用したまま、演出だけを公演ごとにガラリと変えることも可能。「このxRESが面白いのは、CGだけではなく実写の映像であっても同じように使えるというところですね」とCGプロダクションコーディネーターを務めた諏訪重浩氏。グリーンバックで撮影した映像であれば、実写でも同様の効果を加えることが可能だ。

また再生システムを外部に置くことで、安定性が上がり、PCへかかる負荷も分散できる。PCスペックのハードルやバックアップ、経済効率の面からみても、メリットが大きいという。再生システムと表示システムについては機材を選ばないため、ネットワーク経由で映像を送信したり、施設等に設置された既存のシステムを活用することもできる。

ところで、このシステムでは、リアルタイムで素材の読み込み、処理、投影を行うため、どうしても遅延が発生しリアルとバーチャルのタイミングがずれてしまう。そこで、タイミングを揃えるため、遅延差を補正するプログラムが組まれている。照明信号（DMX）にまで遅延をかけられるものはなかなかないそうだ。最終的に現場で人の目による微調整を行い、完全に同期したかたちに仕上げている。

xRESのメカニズム

ピンライトの自動追従

このライブのために実装した機能のひとつが、ピンライトの自動追従機能だ。画素情報から座標を取得し、動きに合わせてピンライトを自動生成する。複数人には対応できないが、事前にピンライトをプログラムする手間を省き工数の削減につながっている。

コンテンツ制作

アイドルたちの理想をかたちにするライブ制作

「キャラクターが実在すると仮定し、そこで彼らがやりたいライブを具体的なかたちにする」。それがライブにおけるTxDの役割だという。そしてその際にはまず、作品やライブに合わせて「実在性を重視」するのか、それとも「魔法のような世界観を重視」するのか方向性を定める。本ライブで前者を優先し、その方向性の中で副題でもある「LOVE in DREAM」というコンセプトをいかに実現していくかというところから制作が始まった。

最初に行われたのが、企画や台本、セットリストからライブ全体のながれを構築すること。バーチャルライブでは曲のつなぎ目が非常に重要になってくる。実際の人間がパフォーマンスをするライブであれば、曲が終わり次の曲へとすぐに入れ替えても違和感はない。人間のアーティストの実在性が疑われることはないからだ。

しかし、バーチャルライブで同様のことをやってしまうと、いかにも映像が切り替わったという印象を与えてしまう。そのため曲間には出ハケに必要なだけの時間をあえてつくっている。その上でテンポ感なども考慮しつつ、飽きさせないながれをつくらなくてはならない。ときにはセットリストの曲順の変更から提案することもあったそうだ。

一方でCG制作やダンスの振り付けも同時に進行していく。振り付けに対しては、ハケるまでの時間や演出にかかわる振りなど、TxDからもオーダー。モーションキャプチャ用の簡易モデルが完成したタイミングでモーション収録が行われた。その収録映像をビデオコンテのようにつなぎ、尺間を決めた後、照明部へデザインを依頼する。並行して、CGセクションではアニメーション作業に入っていく。

「アニメーションは60fpsを基本としています。最近は60fpsのコンテンツが増えていてお客さんも見慣れているので、60fpsがマストになってきていますね。シミュレーション等は30にするか、60にするか、テストしながら探っていきました」とCGプロデューサー、由良 誠氏。60fpsのなめらかな動きは一歩間違えれば違和感が生じてしまうリスクもあるというが、やはり30fpsに比べて存在感は圧倒的だ。

またBlu-rayやDVDのためにライブを収録する際、投影された映像を実際のカメラで撮影することも多いそうだが、60fpsであればそうした撮影にも耐えうるクオリティになる。

この一連のワークフローで特徴的なのが、CGとライティングが完全に分離されて進行していること。CG側ではライティングに関しては考慮する必要なく進められるため、制作期間をしっかりと確保することができた。

CGディレクター・先田吉英氏は「どの工程でも可能な限り高いクオリティにしてから、次の工程に進めていましたね。モーション収録のときも振り付けなど厳しくチェックして、後から変更がないようにという感じでした」と話す。そうして各セクションが制作を進め、調整を重ねた後、xRESで合成され投影されるというながれだ。

モデルとセットアップ

新規となる衣装モデル、シェーダ設定、セットアップをTxDで担当した。セットアップはアニメーション作業の負担にならないように、比較的軽めなつくりを意識。激しい動きや素早く回転する動き等、破綻が起きた場合に対応できるようなコントローラを用意しているものの、基本的にはアニメーション後にシミュレーションをベイクするだけでほぼ完成するようなものだという。髪型はキャラクターのアイコンになっている部分もあるため、あまり動かさないようにしている。

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

モーションキャプチャ

モーションは、曲の入りから終わりまで本番同様に収録している。舞台の広さや高さも正確に設計。この収録にあたっては、動きを正確にプレビューするため、骨ごとにメッシュを分割したプレビュー専用のモデルを用意した。簡易的なスキミングの場合、手を挙げた際に脇が盛り上がる等、モデルのシルエットが崩れてしまうことがあるからだ。プレビューでCGにながし込んだ際の見映えを計算しながら収録を進めた。

「例えばセクシーなダンスを踊ったときに、プレビューのモデルがセクシーに見えなければやり直していただくという手法です。CG側で修正を引き受けるのは最低限に抑えていただきました」（先田氏）。あくまでもCGとして成立するモーションになるよう動きを探った。

また、モーションキャプチャが苦手とするアクター同士の接触は極力避け、「実際は接触していないが接触しているように見える」アクションを。接触せざるをえないときには、肘のクッションでズレを吸収できるよう、肘が曲がった状態で触ることを心がけた。

アシスタントディレクター・中澤香里氏は「実際にキャストさんが舞台に立っているような状態――いわゆる通常のライブのリハーサルみたいな感じで演出をして収録できるのが私たちの強みですね。細かい部分や表情にいたるまで意識してもらいました。トータルで管理しているからこそ、そういったご相談がしやすく、全体の効率アップにもつながったかなと」と話す。

指先の動きについては閉じ開きのタイミングがわかる程度の簡易的な収録ではあったが、収録された動きの変化や揺らぎの情報はしっかり活用。オフセットで用意したポーズを取らせる際に、アクターの人間らしい動きを残すことで自然なポージングを表現した。

極力シンプルなシーン構成

CG側の構成は極力シンプルにするということを心がけていたという。

エフェクトを活用した演出

美風 藍のソロ『WinterBlossom』のライブの様子。ライブ楽曲中の演出として、現実のスモークと映像内のスモークの両方を使用している。映像内で用意するエフェクトについては、作業コストを抑えるために比較的簡易なつくりにしたり、購入した素材を使ったりすることもあるという。しかし、xRESによってエフェクトにも照明効果がプラスされ、実際のスモークと合わさることで十分に威力を発揮。舞台を包むスモークが神秘的な美しさとリアリティを生んだ。

詳細・購入はこちらから