リアルアーティストと、バーチャルアーティストが一緒にステージに立ち、同一空間での共演を実現したバーチャルライブイベント「バズリズム LIVE V 2023」。ボリュメトリックキャプチャの採用により、これまでにない自由なカメラワークで本格的なライブ演出が楽しめる。制作の中核を担ったバルスとキヤノンに話を伺った。

※本記事は月刊「CGWORLD + digital video」vol. 302（2023年10月号）からの転載となります。

Information

ボリュメトリックを取り入れたバーチャルライブ

本イベントは、バカリズムのMCによる日本テレビの音楽番組「バズリズム02」から派生したバーチャルライブで、リアルアーティストとバーチャルアーティストが同じ画角に収まってリアルタイムに共演し、その高いクオリティが大きな話題を呼んだ。参加アーティストは星街すいせいをはじめとするバーチャルアーティスト10組、リアルアーティストとしてCreepy Nuts、フジファブリック、スペシャルゲストとしてラブライブ！蓮ノ空女学院スクールアイドルクラブという豪華布陣となった。

日本テレビおよびClaN Entertainmentが企画・演出を担う本イベントでは、制作全般および配信システム構築を担ったのがバーチャルライブを数多く手がけるバルスで、リアルアーティストとバーチャルアーティストのリアルタイム共演に必要不可欠だったボリュメトリックシステムはキヤノンが担当している。

「昨年来、AR技術を使ったリアルアーティストとバーチャルアーティストのコラボが注目を集めていましたが、どうしてもカメラワークの制限などがあり、自分としては物足りなさを感じていました。そういった制約のないコラボライブを模索していたところで、キヤノンさんの開発したボリュメトリックシステムに行き着いて、一緒にできないか相談させていただきました」（バルス ディレクター・堤 駿介氏）。

相談を受けたキヤノン側でも「非常に魅力的なお話だったので、すぐに技術担当とどう対応するか話し合いました。その時点では解決すべき課題がいくつもあったのですが、バルスさんと技術検証を進めていく中で上手く落とし込むことができました」と、イベント企画を担当したキヤノンの川原拓人氏は語る。

多くの人にこのボリュメトリック技術を使ったコラボライブを知ってほしいという思いから、バルスが以前から懇意にしている日本テレビグループでVTuber関連事業を手がけているClaN Entertainmentへ打診し、今回のイベント開催に結びついた。野心的な試みとなった本イベント、その制作の裏側を紹介していく。

＜1＞ボリュメトリック&モーションキャプチャライブシステム

2つの異なるシステムを同期するという課題

本イベントの中核となる技術は、キヤノンのボリュメトリックビデオシステムとバルスのモーションキャプチャライブシステムの2つで、それぞれをリアルタイムで同期して配信を行う。キヤノンが開発したボリュメトリックビデオは、キヤノン川崎事業所内に設置された専用スタジオを使用し、スタジオ内で行われる演者のパフォーマンスを3Dのメッシュデータとしてキャプチャし配信することができる。

「リアルとバーチャルが融合した状態でライブを行うため、どのように見せるかという演出的な難しさのほかに技術的な課題も多く、そもそも2つの技術を組み合わせてどのようなことができるのかという、根本的な部分のハードルが高かったです。バーチャル空間でしかできないようなカメラワークであったり、ボリュメトリックビデオならではの見せ方という点にこだわりながら探っていきました」と堤氏。ボリュメトリックデータは3Dデータであるため、リアルタイムで自由にカメラワークを変更することが可能だ。

今回のイベントのように、3DCGアセットのカメラワークと実写のカメラワークを同期させたいというような場合には、非常に表現として相性が良いシステムと言えるだろう。また、カメラワークに関しては、普段リアルアーティストのライブである「バズリズム LIVE」に関わっている撮影スタッフがバーチャル空間でのカメラ操作も担当することで、ライブ感のあるカメラワークが実現されている。

キヤノンのボリュメトリックビデオ技術とバルスのモーションキャプチャライブシステム共にそれぞれとても優れた技術だが、2つの技術を組み合わせてライブで配信することには様々なハードルがあったという。「まず大きな問題として、2つのシステムで時間の扱い方について相違がありました。ボリュメトリックビデオは、演者のパフォーマンスをキャプチャして出力するまでに3秒かかります。この3秒のタイムラグをバルスさんの方で行なっているモーションキャプチャの動きとどのように同期させるのかが課題になりました」（キヤノン ボリュメトリックシステム開発・太田祐矢氏）。

実際の対応策としては「ボリュメトリックビデオ側の遅延について、同期のポイントを確認・調整できる機能を考えて、Unityのレンダリング時に解消できるようなしくみを開発して対応しました」とバルスのUnityエンジニア・溝口 健氏は語る。配信当日は、簡易に合成した無遅延の立ち位置ガイド映像を流すなど、演出側への説明を細かく行いながらオペレーションされたという。

配信システムの概要

リアルアーティスト側は、キヤノンのボリュメトリックビデオスタジオでパフォーマンスがキャプチャされ、画像生成サーバを経由して3Dデータ化し、ステージへの配置やレンダリングを行うためのUnityワークステーションにデータが送られる。バーチャルアーティスト側は、バルスのモーションキャプチャライブシステムで収録されたデータがUnityワークステーションでボリュメトリックデータと合わせてレンダリングされ、リアルアーティストとバーチャルアーティストの動きが同期した状態で配信される。このライブシステムは本イベント用にバルスが開発したものだ。

キヤノンのボリュメトリックビデオシステム

本イベント時のボリュメトリックビデオスタジオの様子。業界最大級を誇る8m四方のキャプチャ範囲により、複数のリアルアーティストだけでなく機材も含めた実際のライブ演出形態での撮影を可能にしている。背景は全てグリーンバックで、陰影がなるべく出ないフラットな照明となっている。スタジオ内には専用にカスタマイズされたキヤノン製4Kシネマカメラが100台以上設置され、60fpsでの同期が可能だ。撮影された映像は3Dデータを生成するためのサーバで処理され、テクスチャとアニメーション付きの3Dメッシュとして出力される。

• 

• 

バルスのモーションキャプチャライブシステム

本イベント時のモーションキャプチャスタジオの様子。バルスでは2018年から独自のモーションキャプチャライブシステムを開発しており、今回はボリュメトリックビデオシステムとの連携を実現するため、多くの改良が施されている。キャプチャされたモーションデータはMotionBuilderを介してUnityワークステーションに送られ、バーチャルアーティストの各アセットをコントロールすることになる。

Unity内のステージに配置された照明は照明用制御卓（DMX）でコントロールすることができるようになっており、カメラについてもカメラの動きやスイッチングもリアルタイムで行うことができる。

• 

• 

＜2＞華やかなライブ会場を支えるCGアセット

現実のライブ会場をベースにバーチャルならではの仕掛けを盛り込む

ライブを彩る華やかなステージは、バルス側で制作されている。ステージ上に配置された14種のモニタに映る映像も、演出が考案したラフスケッチを日本テレビの美術デザイナーがデザイン化、それを基にバルス社内のアーティスト陣がデザインから起こした。ステージは「バズリズム LIVE」が実際に開催されている横浜アリーナをベースとして作成され、現実のライブとバーチャルライブとの体験共有がしやすい工夫が施されている。ステージを含むアセットはMayaでモデリングされ、Unityでルックを確認しながら制作が進められていく。バルスではステージのアセットからエフェクトや照明などの特殊効果の作成まで、CGアーティストに制作が全て任せられているという。

「演出側からステージ上に表現したいライティングや、パーティクルのエフェクトなどの要望が上がってくるので、要望に沿ってアセットの制作を進めていくことになります。ステージのベースは横浜アリーナですが、細かく分けると3つのステージが存在していたので、それぞれのステージで使用する特効を演出側の要望に合わせて制作しています。演出側からは、実際のステージで焚くようなスモークの演出をバーチャルでもやりたいということで、スモークを焚いたときのルックなども合わせて調整を行なっています」（バルス CGアーティスト・水口 歩氏）。

今回のステージデザインでは特殊な舞台装置としてのプロップは少ないものの、大きなヘッドフォンが鎮座していたり、場内を撮影するドリーカメラが配置されているなど、リアルなライブ会場を意識したプロップが制作されている。これらのプロップのアニメーションは、基本的に手付けでモーションが設定されているという。このようにリアルなライブ会場に準じたデザインでステージは制作されているが、リアルライブではコストがかかりすぎるようなステージ演出を、あえてバーチャル空間で行なっている演出もある。

「リアルではコストがかかりすぎるバーチャルステージならではの表現として、アリーナ全周を覆う360度モニタを実装しました。そのほかにも、センターステージ床面や天地逆転した際の床になる天井面にも及ぶ映像演出が行われ、最大9ソースの映像が同時に再生されていました」（バルス テクニカルディレクター・江口真彦氏）。

横浜アリーナを模したライブ会場

イベントの会場となるのは、バズリズムのリアルイベントが行われる横浜アリーナのデザインがベースとなっており、横浜アリーナのシンボルでもある天井の4面モニタもしっかり再現されている。ステージの制作はバルスのCGアーティストが担当しており、クライアントからの要望を基に、基本的にはひとりのスタッフがデザインからモデリング、ライトやフォグのような特殊効果までを担当し、作成したアセットをUnityでチェックするところまでアーティストが担当する。

• 

• 

ヘッドフォンが鎮座するステージ

ステージ上には、バズリズムのリアルステージのシンボルアイコンでもある巨大なヘッドフォンが配置されている。このヘッドフォンは曲に合わせて縁の部分だけではなく、全体的に様々な色や質感に変化させることができるようになっており、映像を構成する重要なポイントになっている。ヘッドフォンは一部反射を設定でき、アーティストが写り込むなどの演出も可能だ。

• 

• 

• 

• 

• 

• 

バーチャル空間ならではの360度モニタ

ステージの中でひときわ目立つのが、アリーナをとり囲む360度モニタだ。リアルな会場ではコストがかかってなかなか実現できない演出を、バーチャル空間でチャレンジした。実写映像素材を使用するなど、どうしてもつながらない演出映像も想定し、できる限り目立たない位置をモニタ端に設定するなどの調整が行われている。 

• 

• 

LEDシェーダによるリアリティあるモニタ映像

360度モニタなど、大画面のモニタに映る映像にはLED素子のピッチを再現した現実のLEDパネルのような表現がシェーダで処理されている。このようにリアルライブステージの状態にルックを寄せていくことでライブ自体の臨場感を増し、リアルライブと遜色ない体験が生み出されている。

• 

• 

現実のライブを再現したクレーンカメラ

ライブを華やかに彩る特殊効果

ライブを彩る数々のエフェクトもCGアーティストが、演出からの要望に沿ってデザインし、Unity内に実装されている。 ステージのルックは各エフェクトが入った状態を加味して調整されていくため、基本的にひとりのアーティストがステージデザインからエフェクトデザインまでを担当している。

• 

• 

＜3＞観客の感情を揺さぶるライブ演出

ペンライトをはじめとしたライブ感を高める数々の工夫

本イベントでは、バーチャル空間でのライブではあるが、リアルなライブイベントと同じような興奮や感動を観ている人に感じてもらえるように、様々な演出上の工夫が施されている。まず挙げられるのが、バーチャル会場の観客が振るペンライトの動きや制御だ。今回表現として観客のアセットは使用せずペンライトの動きだけで表現しているため、ペンライトの動きだけでも違和感がないように動きが調整されている。

また無線制御型のペンライトと同じように、楽曲に合わせて制御卓で色を変更することができるようにペンライトの描画方法を改良するなど、臨場感のある演出が可能になっている。楽曲のBPMに合わせてペンライトが動くスピードなども変えることができるので、映画館でのライブビューイングでは、観客が振るペンライトの動きとスクリーン内に映し出されるペンライトの動きが同期し、非常にライブ感のある演出となったという。

本イベントが非常にリアルなライブ感を観る人に与えている要因として、リアルのアーティストやMCとバーチャルのアーティストが同一空間内に違和感なく描画されていることが挙げられるだろう。これはボリュメトリックビデオによって可能になった表現だが、同一空間で両者にライティングを適用することができるため、リアルとバーチャルの差がなく陰影を生成することができたり、床に同じように映り込みや影を生成することが可能になったおかげだ。

ベースのライティングはリハーサル時にダミーのスタッフとバーチャルアーティストを並べてテストするなど、実際の照明スタッフと共に入念な調整が行われている。

また、ライブ感を高めている要素としてはカメラワークも挙げられる。今回カメラの動きは、実際のライブを手がけるNiTRo（日テレ・テクニカル・リソーシズ）のカメラマン・小林宏義氏のカメラワークをバルスのシステムで再現しているため、非常にリアルなライブ演出が体感できる演出となっている。

アーティストの魅力を切り取る大量のカメラ

本ライブイベントでは、ステージ上のパフォーマンスをあらゆる角度から切り取り、リアルイベントでは伝えられないようなアーティストの魅力を伝えるため、大量のカメラが配置されている。今回のイベントでは64台のカメラが設置されており、制御卓からスイッチングして配信できるようになっている。スイッチャーにはリアルライブの「バズリズム」を担当するスイッチャーが本ライブイベントでもアサインされており、リアルのコンサート映像と同様のスイッチングによって演出されている。

• 

• 

現実の照明家と生み出す幻想的な世界観

アリーナ内には、舞台効果としての照明のほか、全体の明るさを調整するためのディレクショナルライトとモニタからの光を再現するためのライトが配置されている。舞台効果としてのライトは、DMXの調整卓からの信号を受けて、全てのライトをリアルタイムでコントロールすることができるようになっている。照明演出は、実際のライブなどで活躍している照明スタッフが担当しているため、リアルイベントに勝るライティング演出となっている。

• 

• 

楽曲と同期してライブを盛り上げるペンライト

ライブ演出の中で特にこだわったというのが、バーチャルの観客が振るペンライトや、無線制御型ペンライトの挙動だ。ペンライトの挙動は楽曲のBPMに合わせて変化させることが可能になっており、無線制御型ペンライトも制御卓から光らせる範囲や色をコントロールすることができるようになっている。 

• 

• 

• 

• 

ライブの没入感を高める床反射

ボリュメトリックビデオでキャプチャされたリアルアーティストと、バーチャルアーティストが同一のステージで共演する際に、違和感なく同一空間に存在しているように感じるのは、床に両者が同じように写り込んでいる効果によるところが大きい。この映り込みの効果は、UnityのHDRPに実装された反射の効果を利用して表現されている。

• 

• 

• 

• 

ボリュメトリック×バーチャルならではの魅力

「ボリュメトリックビデオを使ったライブならではの魅力は、まずアーティストの立体形状がキャプチャされているので、バックショットからの映像もどのタイミングでも自由に配信できることです。リアルライブではスタッフが写り込んでしまったりしますが、バーチャル空間であればそのようなこともありません。また、リアルな人物とバーチャルアーティストの横並びの画であったり、ものすごい引きの画がつくれるのは、ボリュメトリックビデオを使ったライブならではの演出だと思います」（川原氏）。

• 

• 

詳細・ご購入はこちら