アイドルグループ22/7が、2022年12月24日（土）に開催した配信ライブ「22/7 CHARACTER LIVE -6th BIRTHDAY PARTY 2022-」。これまでも同グループではリアルタイムCGキャラクターライブを開催してきたが、今回は同年に加入した8人の新メンバーを加えた初めてのライブだ。

14人という大所帯をリアルタイムキャプチャし、カメラワークを駆使して“リアル”にこだわった演出を行なっていく。そこには様々な技術の壁が立ちはだかった。CGアイドル未踏の大きな挑戦を行なったバルス株式会社の制作チームにその道のりを聞いた。

Information

「“リアルな”ライブ」がコンセプトのキャラクターライブ

CGWORLD（以下、CGW）：まずは「22/7 CHARACTER LIVE -6th BIRTHDAY PARTY 2022-」を手がけられることになった経緯について教えてください。

総合演出・ディレクター堤 駿介氏（以下、堤）：はい。今回のライブは22/7に新たに8人のメンバーが加わってから初めての、総勢14人によるキャラクターライブになります。

これだけの人数をリアルタイムキャプチャできる面積をもつスタジオは、都内では限られています。1年前のキャラクターライブ「22/7 5th BIRTHDAY LIVE 2021~Colors of Flowers~」を担当させていただいたご縁もあり、15m×5mのキャプチャスタジオをもつ当社の方に主催のバズウェーブさんからご相談をいただきました。

CGW：今回のライブでのコンセプトはどのように立てられましたか？

堤：バズウェーブさんからは最初に、「リアルなライブを意識してほしい」というご要望をいただきました。また、開催日が12月24日（土）とクリスマスイブであることも踏まえ、王道のクリスマスというテーマで進めていくことにしました。

テクニカルディレクター江口真彦氏（以下、江口）：「リアルな」というところが大きかったですね。キャラクターライブというとパーティクルで登場するといった演出が思いつきますが、今回はそうではなく、あくまでメンバーが実在しているように演出してほしいというご要望でした。

堤：そのため、長時間のライブのなかで視聴者をいかに飽きさせず、リアルライブと同じようにカメラワークやアイテムを使って見せていくかを考えました。ステージもリアリティのあるものということで、クリスマスツリーをメインモチーフとして組み立てていきました。

CGW：ライブ制作のスケジュールはどのくらいでしたか？

堤：最初にお話をいただいたのが8月のはじめで、ステージのイメージをいくつか出し合ってすり合わせていき、制作は9月中旬からスタートしました。14人を同時に動かすことの技術検証を含め、実質3ヶ月なのでかなり急ピッチで進めていくことになりました。

キャラクターモデルはご提供いただきましたが、システム周りは基本的に当社内製です。また、演出面においては、リアル会場での経験豊かなカメラマンや照明スタッフの方々にアドバイスをいただき、アイデアを練っていきました。

CGW：セットリストについて、バルスさん側から何かご意見は出されましたか？

堤：はい。一度提案いただいた上で意見を出しました。ユニットが交代するところではどんなカメラワークをするか、MCパートをどのタイミングで取るかといった、リアルさを意識したライブをつくる上でのポイントをいくつかこちらからご提案して、先方のご要望とすり合わせていきました。

14人に対してカメラ39台！　負荷による0.8秒の遅延を解消する方法とは？

CGW：今回のライブ制作において新しく挑戦したこととしては、やはりまずは14人の同時キャプチャでしょうか。

江口：そうですね。14人を同時にキャプチャするというのは今までにない挑戦で、まずは検証から取りかかりました。精度については問題がなかったのですが、負荷による遅延の問題が発生しました。演者さんが動いてからCGのモーションとして処理されるまでに、0.8秒の遅延が出てしまうんです。

そのため、演者さんに向き合うカメラマンさんたちにはリアルタイムの音を聞いていただき、オペレーションルーム側はCGモーションのタイミングに合わせて手を動かすという分け方をしました。

江口：リップシンクのように音と映像が同期する演出については、あらかじめミキサー側に遅らせた音を用意し、こちらのタイミングで動かすことで違和感を発生させないようにしました。

CGW：そうなると、両方に指示を出すディレクターは、どのタイミングが“現実”なのか混乱しそうで大変ですね。

堤：そうなんです。僕は脳が2つほしくなりました（笑）。リアルの演者さんの動きと音が先行して流れてくるので、そのタイミングで移動などの指示をするのですが、一方で照明さんやスイッチャーさんといった映像側には、0.8秒遅れて指示をする必要があります。

そこでミスをすると演出上、変な間ができてしまいます。僕自身、間とタイミングにはもともとこだわりをもっていたので、非常に重視していました。

CGW：0.8秒の遅延というのは一定して0.8秒だったんですか？

江口：はい。ある意味でそれは幸いでした。処理の負荷が一定であれば、遅延も一定でしたので、演者さんには画面に映っていないときでもキャプチャエリア内に留まっていただくようお願いをしました。

堤：演者さんたちはステージから捌けた後も次の曲の準備や確認など、緊張感を絶やさず動いていらっしゃったので、そこは心配ありませんでした。

江口：そんな風に14人分の負荷があることを前提に、フレームレートに影響が出ないようステージ制作を行なっていきました。ステージ周りの最適化は斉藤と水口で行なっています。

CGデザイナー 水口 歩氏（以下、水口）：14人のキャラクターを目立たせることが最優先ですが、ステージの方の見映えもきちんと重視する必要があります。削減できるところは可能な限り削りつつ、でも画面がアップになったところのクオリティはきちんと担保できるように制作していきました。

CGW：やはりポリゴン数はフレームレートに大きな影響があるんですね。

水口：そうですね。今回はライトが多かったので、それも大いに関係しました。

江口：通常であれば床を反射させるのですが、今回の規模ですとムービングライトと干渉して処理が重くなり、フレームレートが半分ぐらいになりましたので、今回は省略する方向で演出してもらいました。こちらが行いたい演出と、コンピュータの性能的にできることのせめぎあいが最後までありましたね。

CGW：今回のライブでカメラはいくつ使用しましたか？

Unityエンジニア 斉藤正和氏（以下、斉藤）：バーチャルカメラが全部で39台です。それをステージ後方にある2枚のサービスモニタに映すので、処理に必要な負荷はその2倍になります。

江口：ここまでカメラの数が増えたのには理由があります。今回はステージも広いので、メンバー個人個人に自動追従するカメラを付ける必要がありました。これだけで14台。自動的に正面を捉えるカメラがあることで、スイッチングするだけで表情アップを抜くことができます。

堤：あとは、ライブ中に4～5人のユニットによるパフォーマンスがそれぞれあるので、ユニット用の別カメラを用意しました。この人数を、14人全員を映すカメラと同じ画角で撮ると寂しい感じになってしまうんです。

• 

• 

江口：他にもプロのカメラマンさんが撮影するハンディカメラを2台用意しました。

先ほどの自動追従ではアップだけしか撮れないのですが、これがあれば引いたり寄っていったりと画面に動きをつけることができます。自動で個々人の画を押さえつつ、手持ちカメラでさらに違う画を撮っていくことでさらに多様な画面づくりをすることができました。

堤：やはりプロのカメラマンさんによるカメラは活きた画になってとても格好よかったですね。

江口：通常ですと望遠レンズを使うことでしか撮れない画も、バーチャルライブですから、カメラマンさんは画面に映り込まないので、ステージ上に入っていって、実際に演者の目の前まで行って撮ることができるんです。これによって思い切り寄ったダイナミックなカメラワークを付けることができました。

Unityエンジニアリーダー安井貴啓氏（以下、安井）：また、以前から検討していた方法として、今回ハンディカメラにタリーランプ（スイッチャー側でカメラが選択されていることを赤く点灯して表すランプ）を装着しました。

これによって、今どのカメラで映しているのかを演者さんにひと目で認識していただけます。調べた限り、バーチャルライブで使用している例はこれが初めてだと思います。

堤：スタジオのリアルのカメラにも慣れている方々だとタリーランプはごく当たり前のものなので、これもリアルライブの空気感を出す上で、演者さんたちには自然なかたちでステージに立っていただくことができました。

斉藤：これまでは、カメラマンさんが、自分のカメラに切り替わるたびにこのカメラで撮っているということを手を挙げて示していたのですが、それだと負担が大きいですし、臨場感がまったく違うのでつくってもらえて本当に良かったです。

堤：あと、普段と異なったのはスイッチャーが2人になっていること。本線とは別に後ろのサービスモニタをスイッチングする人間を別に立てました。それによって顔のアップだけでなく、仕込んでおいた様々な画を映すことができます。格好良く見せるVJ的な演出との混合的なモニタ構成にしていきました。

• 

• 

• 

• 

CGW：ツール面で他に新たに導入したものは何かありますか？

江口：基本的には1年前に取材していただいた宗谷いちかさんのライブの際と同様ですが、大きく変わったところとしては、実際の照明卓（MA Lighting grandMA3）を導入したことです。

照明卓からDMXの信号をUnityに入れて、最終的にはUnityで照明を制御しています。これまではCG上でプリセットされた照明を切り替えていく方法を採っていたのですが、その場合は事前に全て決めてつくり込むので、CGをつくる側も照明のことを理解してつくる必要があり、結構な労力でした。

この照明卓を入れたことで実際の照明スタッフさんから力をお借りすることができ、表現の幅も広がりました。

江口：あとはUnityのライブ制作ツールSPWNを社内で内製していて、客席のサイリウムの動きをカスタマイズしています。

これまではどうしても一定の動きをするだけになってしまっていたところを、楽曲に合わせた動きを見せることができるようになりました。様々なモーションを実際にVICONで収録して、振り方やテンポをそれぞれの楽曲に適した動きになるよう合わせています。

今回、『半チャーハン』という曲に特徴的な振りがあるので、それと合うように実装したいというのがディレクターのこだわりでした。それらを全てアニメーションとしてつくるととても大変ですが、プリセットでパターンを用意してオペレーションをすることで、事前の制作期間の圧縮に繋がりました。

アイドルの可愛さを余すことなく伝える演出の工夫

CGW：アセット面や演出の工夫について伺えればと思います。キャラクターモデルは提供を受けたとのことでしたが、その他の部分についてはいかがでしょうか？

斉藤：揺れものについては負荷や遅延に影響するので、その調整については事前にやりとりをさせていただきました。

堤：本編後のファンクラブ向けアフタートークで、演者さんたちがクリスマス帽子を被って企画をするコーナーがあるのですが、皆さんの髪型に対して違和感がなく、かつ可愛く見える工夫をしました。

水口：最初はポニーテールが帽子から突き抜けまくりで（笑）。

斉藤：髪型に合わせて大きさや被り方で個性が出たのは面白かったですね。初めて3DCGでこの14人が揃ったタイミングだったので、感慨深かったです。

• 

• 

斉藤：また、VICON的にもマーカー的にも重くなるのですが、14人の全ての指をきちんとキャプチャすることは可愛さを見せる上では重要でした。

堤：ピースをしたり、ハートマークをつくったりと、指はアイドルの動きの中で外せない要素ですからね。

• 

• 

CGW：演出面はどのように考えていきましたか？

堤：まず、「リアルなライブ」を目指すにあたって、2022年10月にリアル開催された「22/7 ANNIVERSARY LIVE 2022」を拝見しました。

セットリストが異なる3公演で、ユニット曲を含めこのライブで全ての楽曲がパフォーマンスされたので、ダンスの振り付けやファンの方がどんなところで盛り上がるのかといった温度感を実際に体験し、追って提供された収録映像と合わせて参考にしました。

堤：今回、僕の方から1つ提案したのが、登場曲の「Overture」に合わせてスノードームから出てくる演出。クリスマスですし、今回は360度のステージなので、その特徴から考えて提案させていただきました。

ドームの外郭はメンバーの皆さんの登場とともに粒子となって消えて、ここだけはCGならではの表現になります。安井にシェーダをつくってもらい、水口が上手くアニメーションさせて綺麗に消してくれました。

• 

• 

江口：リアルに寄せたものですと、『カントリーガール』という曲で、人が入る大きなプレゼントボックスからメンバーが登場するという演出がありましたね。

堤：クリスマスと紐づくし、リアルなイベントでもあるので、それをキャラクターライブでも見せようと。こういったアイデアは、僕がもともとテレビっ子だったことから来ているんです（笑）。

プロップの中から登場させるところはCGであることを活かした演出ですが、ステージ脇からキャラクターがボックスを持ってくるながれは、あくまでリアルな段取りを踏んでいます。

江口：キャプチャの現場では、ボックスの底面積と同じ大きさのダンボールを置いて、演者さんにわかりやすくするよう工夫をしました。

• 

• 

• 

• 

堤：アンコールでの登場にも気を配りました。14人がスタンバイしている奈落を見せないようにするカメラワークをつくって、出てくる瞬間は望遠のカメラで格好良く捉える。リアルでやっているライブ演出は全て実践しようと思いました。

当社のステージは広いので、上・下（かみ・しも）もリアルに再現できます。上手（かみて）にカメラを振ると下手（しもて）は映らないので、両方でスタンバイできますし、それを使ったカメラトリックも演出として行なったりと、視聴者を飽きさせない工夫をいろいろと試みました。

CGW：視聴者の方からの反応で特に印象的だったものは何でしょうか？

堤：コメントで褒めていただけたのは、ピンスポットライトですね。

22/7さんの楽曲はソロでの語りをするパートが結構あって、そこをカメラで抜くだけではなく、キャラクターを立たせるような演出をきちんとしたいと思い、そうした場面では敢えて他のメンバーのライトを消しています。

こうした演出はリアルなライブでも5人程度では行うことはあるのですが、キャラクターライブでは見たことがない演出だと反響がありました。

江口：ここまで光が回り回って当たらなくなるのは、不自然といえば不自然なのですが、効果的に使えているので面白い表現になりました。

堤：あとは先ほど挙げてもらった『半チャーハン』のサイリウムの動き。この曲のためにつくられたオリジナルの振りだからこそ、ファンの方も「まるで自分たちがこの会場にいるかのように感じられた」というコメントがありました。

こうしたオリジナルの振り付けはアイドルをつくり上げる大事な要素だと思いますので、今後も採り入れていきたいなと思います。

全ての負荷を解消したIntel 最新CPUの威力

CGW：今回の制作ではPCに相当なスペックが要求されたのでは？

安井：はい。当社ではモーション処理に1台、Unityでの作業に1台の体制で運用していますが、特にUnityマシンの方は照明・演出を含めたプランを盛り込んでいくと、制作が終盤になるに従ってどんどん処理が重くなっていってしまったんです。

現場から「どうにかならないか」と相談をされ、ソフトウェア的な最適化を進めたのですがそれでもなお足らず、本番までの期間を考えると、開発の最適化よりもマシンスペックを上げた方が安心だという結論に達しました。

江口：GPUはNVIDIA GeForce RTX 3090だったのですが、実装上、完全にグラフィックモードに最適化できない部分が多いということで、CPUがボトルネックになっているのではと懸念し、CPUを変えることにしました。その際にIntelさんからマシンをお借りすることができました。

CGW：新しくなってどのくらいの性能差が出ましたか？

安井：性能的には今まで当社で使っていたものの2倍くらいですね。それまで使用していたIntel Core i9-10900X （第10世代）では、サイリウムや照明がカクカクしていたのですが、Intel Core i9-13900K （第13世代）を使用すると、別物のように滑らかになりました。

堤：照明を強く当てると20fpsくらいになってしまい、まったく耐えられない状況でしたからね。

江口：配信が30fpsなので、それ以下になってはいけないなという話をしていたところ、60fps出るようになって驚きましたね。結果としてフレームレートに余裕ができたので、次からは軽量化せずともリッチな映像表現が実現できるのではないかと思っています。

斉藤：現時点でモーションを動かすPCはIntel CPUではないので、それをIntelの最新CPUにしたら、先ほどの「0.8秒のズレ」もなくなるのではないかと個人的に期待しています。

江口：Intel CPUは、マシンの貸与期間が終了した後同じスペックのマシンを導入することになりました。実際にスペックの高いものを使って試すことの重要性を実感しましたね。

開発側としては、機材をガラっと入れ替えて試せるタイミングは限られているのですが、ここまで効果があると目に見えてわかったので、良いタイミングでしっかりと何かしら形にしていきたいなと思います。

スペックの向上によりできることが増えるということは、やはり他社との差別化になります。現時点で、キャプチャスタジオ込みで、これだけの大人数を安定的にリアルタイム処理できることは当社の強みとしてあり、そこからさらに表現や人数規模を増やして行けるような環境を整えていければと思います。

堤：今後さらに自分たちの考える演出を制限なく実現できるよう、きちんと検証しながらこちらの限界を上げていきたいです。