オンラインDJ配信と視聴型VRを組み合わせた新しいかたちのバーチャル・クラブイベント、オンラインVRパーティ『SWITCH』

名古屋に所在する4つのクラブで合同開催したバーチャル・クラブイベントの事例を紹介する。"NEW NORMAL STYLE"を確立させるべく、リレー方式のリアル＆オンライン配信で開催された『SWITCH』というイベントだ。その映像演出と配信を手がけたSYMBIOSISが目指すVJの未来像を聞く。

※本記事は月刊「CGWORLD + digital video」vol. 266（2020年10月号）からの転載となります。

TEXT＿村上浩（夢幻PICTURES）
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamada
© 2020 JWD EVENT MANAGEMENT. ALL RIGHTS RESERVED

2020/7/18 Virtual Online Party "SWITCH" VR DJ from SYMBIOSIS Inc. on Vimeo.

『SWITCH』
switch-jwd.studio.design
DJ×VJ/VR技術を駆使した新しい映像表現。名古屋を代表する4つの老舗クラブによるリレー方式のリアル＆オンラインイベント
開催日：2020年7月5日（日）、7月18日（土）
ディレクター、VR配信：中市好昭（SYMBIOSIS）／VJ：坂本茉奈美（VJ MANAMI）、村上悠（murakami yutaka [kezjo] ）／グリーバックスタッフ：本池匡弘（フェイス・プロパティー）／プログラミング、配信：嶋田健二郎
主催：JWD Event Management

VJプレイと空間演出をバーチャル上で融合させる

▲右から、中市好昭氏（SYMBIOSIS）、坂本茉奈美氏（フリーランス）、本池匡弘氏（フェイス・プロパティー）、嶋田健二郎氏（フリーランス）
www.symbiosis-inc.jp

2020年7月5日（日）と7月18日（土）に名古屋に所在する4つのクラブで合同開催されたオンライン配信ミュージックイベント『SWITCH』は、通常のオンラインDJ配信と視聴型VRを組み合わせた新しいかたちのライブイベントで、リアルイベントを超える体験が視聴者に提供された。そんな『SWITCH』の映像演出と配信を担当したのは、イベント映像や商業施設で多くのインスタレーションを手がけるクリエイティブエージェンシー「SYMBIOSIS」である。同社の代表を務める中市好昭氏は日本を代表するVJとして活躍した後に起業し、近年はVJという関わり方だけに留まらずミュージックイベント全体のプロデュースや演出なども手がけている。「数年前に大病を患ったことが仕事に対する考え方や取り組み方を見直すきっかけとなり、自らが理想とする表現を具現化するために起業しディレクションや企画に直接関われる仕事を積極的に手がけていくことにしました。『SWITCH』ではVRイベントの核となる照明デザイナーやプログラマーといった仲間たちと密に連携することで、今までにないオンラインミュージックイベントを開催することができました」（中市氏）。

バーチャルステージの開発にはUnreal Engine 4（以下、UE4）を採用。リアルなライブイベント会場をVR内に再現することから着手した。開発の中で最も重要になったのがライティングによる演出だったため照明デザイナーの本池匡弘氏（フェイス・プロパティー）の協力を仰ぎ、ライブイベントで培った照明の演出や配置のノウハウをVRにも注ぎ込んでもらったという。「残念ながら本イベントには間に合わなかったのですが、照明を制御するDMX信号とUE4を同期させることで、現実の照明機材とUE4上に配置されたムービングライトやストロボなどあらゆるライトをリアルタイムでコントロールできるようなシステムを構築しました（※後ほど解説）。実際のライブではライトを無数に配置することは難しいのですが、UE4であればDMXのチャンネル数だけライトを配置できるので今までに観たことのない照明演出も可能だと思います」（本池氏）。本池氏と共に照明システムの実装や配信オペレーターとしてイベントに関わったのが嶋田健二郎氏。「もともと、音楽やプログラミングに興味があり2006年頃からTouchDesignerやProcessingなどを駆使して映像制作を行いVJなどにも携わってきましたが、4年ほど前から中市氏のサポートをするようになりました。高品質な映像をつくるよりもハード面の方が得意なので、近年は3Dプリンタを使ってライブ会場に設置するモニタのマウントなどライブイベントで必要となるツールの設計や開発も行い、幅広く活動しています」（嶋田氏）。

照明と同様にライブイベントで欠かせないのがVJの存在だ。今回は中市氏の元アシスタントでVJ・映像デザイナーの坂本茉奈美氏が参加。坂本氏は3ds Maxを扱えることもあり、バーチャルステージの作成にも携わった。「コロナの影響もあって世界中の音楽イベントがオンラインデジタルフェスを開催しており、オンライン配信のニーズは日々高まっていると感じます。特にトラヴィス・スコットが『Fortnite』で開催したライブイベントは世界中から大きな注目を浴びましたし、音楽業界にとっても大きな転換点になると思います」（坂本氏）。「オンラインイベントの先陣をきったのは海外のイベントオーガナイザーでしたが、国内でもオンラインイベントの需要やマネタイズの伸びが期待できると思っているので今後もVRを活用したライブイベントの拡大に注力していく予定です」と、中市氏は意気込みをみせる。

＜1＞『SWITCH』配信システム

リアルイベントで培ったVJプレイの知見を活かす

先述のとおり『SWITCH』は名古屋を拠点にクラブイベントを手がけるJWD Event Managementが名古屋のミュージックカルチャーを形成する4つの老舗主要クラブ（JB'S、MAGO 、Vio、X-HALL）に呼びかけ、コロナ禍の現代において"NEW NORMAL STYLE"を確立させるべく名古屋発信で行うリレー方式のリアル＆オンライン配信である。7月5日（日）にMAGOとVioで催されたイベントは会場キャパシティなどの都合上、収録形式が採られたが、7月18日（土）にX-HALLで行われたイベントはリアルタイムで配信された。4つの会場で異なるDJプレイにVRやARといった最新技術をクロスオーバーさせたエンタメ性あふれるショーケースイベントだ。VRには本イベントのようなオンライン映像を観て楽しむ「視聴型」と、ゴーグルなどを着けて空間内を自由に移動できる「体験型」に大別される。本イベントはUE4をベースに開発を行なっているが、アウトプットは体験型ではなく視聴型に留めたという。「オンラインイベントでは多くの人がスマホでの視聴になるため通信速度やプラットフォームが統一できない上にスペック的な差も生じ、ハイクオリティなバーチャルセットが組めないという問題があったため今回は視聴型のイベントにしました。視聴型にしたことで配信システムの構築もVJイベントで培ってきたシステムを拡張することで対応できたため、比較的スムーズに進めることができました」（中市氏）。

DJブースにはグリーンバックと3台のカメラを配置。（DJブース内の照明は本池氏が担当）。3台のカメラのうちメインとなるカメラは正面からDJを捉え、ほかの2台はDJの手元と顔に振り分けられている。フルHDで撮影されたDJ素材とMacBook Proから送信されるVJ素材はHDMI信号から長距離転送が可能なSDI信号に変換され「Blackmagic DeckLink Duo 2」を介してデスクトップPCに送られる。グリーンバックのDJ素材はUE4内でキーイングし、バーチャルセット内のDJブースに投影している。キーイングのクオリティを上げるためプラグインの使用も検討したが、3D配置ができないなど不都合もあったため標準のキーイングを使用したという。

2台あるデスクトップPCのうち、1台はUE4やデバイスにトラブルが発生した際に対応できるようバックアップ用として配備されている。PCスペックはCPU「Intel Core i9 第9世代プロセッサ」、GPU「NVIDIA GeForce RTX 2080 Ti」を搭載。演出用PCは、本イベントの舞台となる「ジャングル」と「近未来都市」の2つのステージを切り替える際に間を繋ぐために使用されている。配信状況をDJが確認できるよう「Blackmagic Design ATEM Mini Pro」を介してDJブースに配置されたモニタへ出力。UE4の映像とDJの音楽をOBS（Open Broadcaster Software）でミックスした上で配信。さらに音と映像に遅延が生じた場合もOBSでコントロールできるようにされた。

『SWITCH』配信システム構成

▲7月18日（土）の行われたリアルタイム配信のシステム構成図。カメラ3台をそれぞれ、正面グリーンバック、上手（カメラ向かって右側）をDJ手元、下手（カメラ向かって左側）をDJの顔中心の構図にし、カメラ３ソースと、VJ映像の1ソースをBlackMagic DeckLink DUO 2でUE4にインポート。それぞれ、バーチャルブースにはDJグリーンバック、バーチャルLEDスクリーンにVJ、左右のカメラカットはサービス映像扱いとして、シーンにレイアウトしている。バックアップとスイッチングを兼ねて、2台のUE4制御用PCと、場面転換用の演出用PCをBMD ATEM Mini PROで切り替え、配信マシン（DELL Precision 7730）に送っている

リハーサル時の様子

▲リハーサル時の様子を収めたスナップ写真。先述した配信システムによって、DJのグリーンバック素材とバーチャル空間がUE4上でリアルタイムで合成されていることがわかる

次ページ：
＜2＞ジャングルと未来都市～映像演出～

[[SplitPage]]

＜2＞ジャングルと未来都市～映像演出～

VJの醍醐味をVR空間で拡張させる

本イベントのステージとなる「ジャングル」と「未来都市」のアセットは中市氏が3ds Maxでベースモデルを作成し、UE4のDatasmithを介してインポートしUE4内に配置している。「Datasmithでインポートすればテクスチャの設定もBlueprintに変換できるので作業も簡単に行えました。植物の3DモデルはQuixel MegascansからQuixel Bridgeを介してインポートし、フォリッジ機能で量産してステージを構築しました」（坂本氏）。アセット作成を担当した中市氏と坂本氏は今回初めてUE4に触れたそうだが、普段3ds Maxを使用していることもあり短時間でUE4の機能を習得できたという。

視聴型VRの場合はカメラに映り込む範囲のみつくり込めば良いため、細部までつくり込む必要のある体験型VRに比べてアセット制作のコストを大幅に抑えることができるという利点もある。UE4上につくり上げたステージそのままではフラットな印象になってしまうため、ポストプロセスを駆使し奥行きを感じられるステージを作成。実写素材とCGの馴染みも意識しながら調整が重ねられた。「オンライン配信では視聴者を飽きさせない照明の演出や、没入感を増幅させるようなカメラワークも重要となります。四方に配置された大型モニタにはDJの顔や手元の映像、VJ映像をリアルタイムで映し出しステージを盛り上げました。未来都市はシーンが広いため、DJのプレイを見せるフェスシーンとカメラワークを駆使し世界観を見せるストーリーシーンの2つで構成しました」（中市氏）。

DJブース内の素材は平面のポリゴンに貼られているだけなのでカメラアングルによっては不自然に見えてしまうこともあり、平面に見えないよう注意しながらカメラワークを作成する必要があったという。「DJの選曲やリズムに合わせてリアルタイムでVJ映像や複数のカメラを切り替えることが可能です。本イベントのために5～600本程度のVJ映像を準備しましたが、遅延することなくUE4上に表示できたときはとても驚きました。スイッチング時に音楽と映像がシンクロしないと視聴者に違和感を与えてしまうので、VJで培った感覚や技術が役立ちました」（坂本氏）。

オンライン配信では観客のリアクションがつかみづらくDJもモチベーションを維持するのが難しいため、ステージを盛り上げる歓声の効果音なども欠かせない要素だという。「DJ配信は映像が単調になりやすく盛り上がりに欠けるという欠点もあるのですが、VRを導入すれば現実にはありえないようなステージをつくることもできるので視聴者を飽きさせない演出も可能です。さらにアバターやチャットを組み合わせることで視聴者同士にも一体感が生まれます。VRを導入したイベントはまだ始まったばかりなので、今後もVRの可能性を提案していきたいです」（中市氏）。

バーチャル空間上にLEDスクリーンを配置する

▲坂本氏が画づくりをリードした"ジャングル"シーンのベースとなる3DCGアセット。「VJ映像用のバーチャルLEDスクリーンの配置は、両方とも僕が3ds Maxで作成しました。テクスチャの設定なども使い慣れたツールで行い、なるべくUE4のBlueprintを使わずに組めるように配慮しました」（中市氏）

▲UE4上のDatasmithでインポート。Datasmithを使えばテクスチャの設定もBlueprintに変換して読み込んでくれる。センターLEDはVJ映像をキャプチャして投影し、左右の円形スクリーンはサービス映像の扱いでグリーンバックが干渉しない下手の位置にカメラを投影

▲"ジャングル"シーンに設定された全てのカメラアングル（10パターン）。UE4上でカメラワークを事前に設定することで、あたかもバーチャルカメラで撮影したようなビジュアルが実現された

植物表現にはMegascansを活用

▲Megascansの植物アセットをQuixel Bridgeを介してUE4にインポートし、フォリッジ機能で植物の量産が行われた。「Megascansは種類も豊富で今回使用したアセットは全て無料でダウンロードできるものです。テクスチャ解像度は最大8Kまで選択できますが、今回はリアルタイム配信を考慮して4Kサイズのものを使用しました」（坂本氏）

UE4による画づくり

ポストプロセスエフェクト「Post Process Volume」を使用し、Color Gradingのホワイトバランスやシャドウで全体の質感を調整。さらに、Chromatic AberrationやFilmのエフェクトを用いることで実写とCGの馴染み具合が高められた

▲ポストプロセスエフェクトON

▲同OFF

▲VJプレイにはResolume Arena7を使用

▲VJ用PC（MacBook Pro）からBMD DeckLink DUO 2を介してUE4にプレイ内容がリアルタイムで読み込まれる（解像度は1080p/60fps）。当日は約500ものVJ素材が用意された

バーチャルの利点を活かした大スケールの"未来都市"

▲"未来都市"の画づくりは中市氏が担当。"ジャングル"と同じく、3ds MaxでVJ映像用のバーチャルLEDスクリーンを作成
▲【画像左】をDatasmithでUE4に読み込み、3Dシーンが作成された

▲"未来都市"のシーンは、DJを見せるフェスシーン【左】と演出的に世界観を見せるストーリーシーン【右】という、2パートで構成されている

UE4による画づくり

▲Post Process VolumeやExponential Height Fogを使い、Color GradingやLight Volumeなどの調整が行われた

▲ResolumeによるVJプレイ
▲【画像左】の情報がリアルタイムでUE4上にも反映される

▲"未来都市"シーンに設定された全てのカメラアングル（12パターン）

次ページ：
＜3＞DMXとUE4をシームレスにつなげる～今後の展望～

[[SplitPage]]

＜3＞DMXとUE4をシームレスにつなげる～今後の展望～

映像、照明、そして音声、さらなる一体化を追求する

本イベントには実装できなかったリアルタイムで制御できるムービングライトだが、イベント後も開発を続け現在は実装できる段階にこぎつけたという。「通常のライブイベントでも使用される照明卓Avolites Titan QuartzからArt-Netを用いてDMX信号をLAN経由で送信し、UE4内のムービングライトを制御しています。同じDMX信号をライブ会場の照明機材に送ることで動きやカラーなどを同期させることもできるので、ライブとVRを組み合わせた新しい演出も可能です。DJの楽曲に合わせてライトが稼働し色を変化させることで今まで以上にライブ感を演出することができますし、曲の変わり目に全てのライトが消える暗転演出などライブ会場と同じ感覚でコントロールできるので助かります」（本池氏）。

照明機材なども瞬時に切り替えることができる上にライトの色や太さなどもリアルタイムで調整可能。「レーザー光やフォグなどの演出もUE4のパーティクルを駆使すれば表現可能だと思います。VRに特化した演出家という職業が誕生するかもしれませんね」（嶋田氏）。さらに今後はHTC VIVE Trackerの導入も検討しており、BlueprintやC++、Pythonなどプログラミングに長けたパートナーを求めているという。「VRコンテンツの開発は、従来のVJ向け映像制作に比べると何かとコストがかかりますが、コロナの影響もありライブイベント業界ではニーズは高まっています。新しい演出技法やVRの技術も日々進化しているので、この波に乗れるか否かでVRにとって大きなターニングポイントになるのではないでしょうか」（中市氏）。

Art-Netを用いたDMXとUE4の同期