Unityユーザーのための講演やブース出展が行われるカンファレンスイベント「Unite Tokyo 2019」が9月25日（水）・26日（木）、グランドニッコー東京で行われた。様々な講演の中から、今回は株式会社stu（以下、stu）が行なった「ライブエンターテイメントにおけるUnity」というセッションをレポートする。このセッションでは、Unityをリアルとバーチャル空間でのライブ演出に活用した事例が紹介された。

TEXT＆PHOTO＿久保 駆 / Riku Kubo（Playce）
EDIT＿小村仁美 / Hitomi Komura（CGWORLD）、山田桃子 / Momoko Yamada

Unityを使って現実空間と一体感のある演出を

前半はリアルのライブ空間にLEDを設置し、バーチャルな演出を行なった際の工夫や開発について、すぎのひろのり氏から講演が行われた。

リアル空間にバーチャル空間を融合させたライブの例。ステージ後方にある巨大なLEDディスプレイには、stuが制作したバーチャル空間の演出が投影されている

はじめに、stuが制作したバーチャル演出を使用したライブが紹介された。すぎの氏が最も意識していたのは「リアルステージとバーチャルステージに一体感をもたせること」。ステージに設置された階段がLED内の階段につながっているように見えるようにしたり、リアル空間の照明がLED内のセットに当たっているように表示するなど、リアルステージの背景により奥行きのあるバーチャル空間が広がって見えるよう工夫したという。

ライブ空間全体について説明された後、バーチャル空間の照明開発についてのポイントが紹介された。照明開発に欠かせないのは、リアル空間の照明を知ることだ。すぎの氏は、まず実際の照明を取り上げ、照明には「ゴボ」、「プリズム」といった光に変化をつける機能があること、照明と電飾はそれぞれ照明卓、電飾卓という操作卓から操作されることが解説された。こうした解説のおかげで、照明へのイメージが明確になり、開発の内容も理解しやすくなった。

続いてバーチャルの照明について、具体的な開発ポイントが紹介された。「バーチャルの照明は、できるだけリアルの照明と見た目を合わせ、実機と同じ機能を実装しています。また、照明卓から、リアルの照明と同じようにバーチャル空間の照明を操作できるシステムも開発しました」（すぎの氏）。

すぎの氏がつくったのは、Unity内の照明をArt-Net信号で操作するシステム。Art-Net信号とは、照明を制御するDMX信号をイーサネット経由で送る信号のことで、ネットワーク上をArt-NetパケットとしてUDPで送られている。すぎの氏はArt-Net.Netという.Net用のC#ライブラリをUnity上で処理しやすいようつくり変え、Art-Net信号でUnityを操作できるシステムを開発。これにより、リアル空間の照明卓から、リアルの照明と同じようにバーチャル空間の照明を操作できるようになったという。

もう1つ開発したのがUDPのプレーヤーとレコーダだ。これはUDPで送られているArt-Net信号を記録し、後から同じ信号を送信する機能をもつ。これまでは演出のシミュレーションを行うために、演出家を呼んで照明卓を操作してもらう必要があった。演出家が送る信号をレコーダで記録し、同じ信号を送ることで、演出家を呼ばずとも実際の演出を確認しながら、デバッグや開発を進めることができたという。

続いて、照明から発するビームの開発について解説が行われた。ビームをつくる際に重視したのが、重くなりがちなゴボの処理をできるだけ軽くし、スムーズにシミュレーションできるよう仕上げること。同時に100近い数のビームを動かすため、より速く、複数の処理を行うような方法を求めオープンソースや無料のアセットを試し続けた。その結果「Hx Volumetric Lighting」というアセットに辿り着いたという。このアセットをもとに、照明の実機を借りて一緒に動かしながら開発を進め、求めていた条件の照明をつくることができた。開発した照明を照明デザイナーのつくった図面をもとに配置し、バーチャル空間にセットを組んでいったという。

最後にバーチャル空間全体のレンダリングで意識した点が解説された。重視したのは、リアルとバーチャル空間の一体感。リアルとバーチャル空間の照明を一体感のある演出として動かし、連動感を提供する。人に対してリアリティのあるサイズのオブジェクトをつくり、空間の説得力を増す。リアルとバーチャル空間のパースを合わせるなど、様々な方法で一体感を追求していったという。

解説を終えて、すぎの氏はライブ演出でUnityを使うメリットについてこう語る。

「Unityの利点は、リアルタイムレンダリングで演出を行えることです。本番直前の色の調整や、現場の照明さんの技術を採り入れた照明演出を行うことが可能になりました。また、照明に機能を盛り込むことで、同じセットでも様々な曲に対応できる汎用性の高いバーチャルセットをつくることができました。実際に昨年の紅白歌合戦では25曲以上の楽曲にこのシステムを使用しています」（すぎの氏）。また、バーチャル空間でセットを組む利点として、セット転換が一瞬で行えることを挙げた。

すぎの氏は最後に「リアルタイムレンダリングでライブ演出に挑むことで『プログラム落ちないかな......』というドキドキ感も味わうことができました」と話し、会場の笑いを誘った。

VRライブの特性を活かした演出

リアルとバーチャルを融合させたライブ演出について語られた前半に対し、後半ではバーチャル空間のみで行われるライブ演出について解説が行われた。登壇したのはstuのCGディレクター高尾航大氏。高尾氏は過去2回行われた『輝夜月VR LIVE』の演出、開発を担当している。

『輝夜月VR LIVE』とは、バーチャルYouTuber輝夜月がバーチャル空間で行ったライブ。VRでのライブは世界初の試みであり、大きな注目を集めた。

バーチャル空間でイベントを開催、参加できるサービス「Cluster」で開催された同ライブ。VRヘッドセットを使ったVR空間での参加と、劇場でのライブビューイングの2通りの参加方法がある。高尾氏はそれぞれの配信方法について、構成図をもとに解説を行なった。VRヘッドセットへの配信はトリガーでライブシーンの切り替えを行うことでライブが進行する。また、各劇場への配信は、VRカメラマンが撮影した映像がスイッチャー、配信機を介して各劇場へ配信されている。VRカメラマンとは、VR空間内でカメラを操作し撮影を行う人たちのこと。VR空間で見ている視界がそのまま配信されるため、今回はFPSゲームが得意な人たちに撮影を依頼したという。

「今回、面白いと感じたのは、VRカメラマンという需要を知ったこと。こういう新しい職種が生まれる時代になったんだと思いました」（高尾氏）

続いて開発についての説明が行われた。まずはセットリストの作成を行い、これをもとに開発を進めていったという。

2ヵ月という短い期間で制作されたという今回のライブでは、スムーズに制作を進めるため様々な工夫がされていた。高尾氏は、セクションごとにシーンを作成し、各々が各シーンの中で作業する体制をとったという。それぞれのシーンはUnityの「Load Scene Additive」という機能を活用し、マスターシーンに統合していった。また、Clusterでライブを開催するため、Clusterと開発のリポジトリを結合する必要があった。今回は直接Clusterのリポジトリにコミットすることで、結合の手間を省けたという。こうした工夫と各クリエイターの手が早かったおかげで、短期間であれだけのクオリティを出せたと高尾氏は語る。

こうした制作体制で実際どのようなものをつくっていったのか。まず演出全体の軸として、「演者と共にライブをつくっていく『共創感』を出すこと」を重視していたと述べた。「ストーリーの中に入って、演者と起きていることを体感できるライブを目指した」と語る高尾氏。ストーリーを伝えるために意識したのが「Qライン」と「オチ」だ。

「Qライン」とは期待値を高める演出のこと。ライブ会場とは別に待機所を作成し、参加者を開始時間まで待たせることで、ライブ開始時の高揚感をあおった。また「オチ」として、終演後に静かな曲を流す、待機所に戻るとフォトスポットが出現するなどの演出を用意し、参加者の感動を誘った。ライブ終了後、SNSを通じて撮影された写真の交換が行われるなど、参加者同士の交流が生まれるきっかけにもなったという。

演出全体のイメージを紹介されたあと、実際の制作物と各フローで注意した点が解説された。初めに制作したのは、各曲の絵コンテとVコンテ。これにより全員の共通認識が取れ、スムーズに開発を行うことができた。

モデリングの際、注意したのはVR上で安っぽく見えないよう、全ての個所にラフネスマップを入れること。またモデラーがスケール感の調整を行うなど、360度どこを見ても不足がないようつくりこんでいったという。

音楽の部分では演じられる楽曲以外にオーケストラ音源や効果音を作成し、絵的な演出が難しい部分で感動を補完できるようにした。高尾氏が取り上げた「音質が個人のマシンに左右される」という点もVRライブならではの注意点だ。そのほかカメラワーク、照明、モーションタイポグラフィックスや、シェーダを使った演出なども制作したという。

最後に高尾氏はVRライブの可能性について、次のように語った。「VRライブはCGで表現可能な演出は全て実現できるので、演出の幅が実質無限大です。現実とちがい観客が演者に触れる危険性がないので、さらに面白い演出ができる可能性を秘めています。これからさらにVRライブを良くしていくために、プロの演出家の方々とVRライブを行える環境をつくっていきたい。リアル、バーチャルの垣根を越えて、VRライブならではの演出や機構を考えていきたいです」（高尾氏）。

セッションの最後、stuの代表今村理人氏が登壇しこう語った。「株式会社stuという名前は、リアルのRとバーチャルのVの間の3文字から来ています。リアルもバーチャルもやるという意思表示も込めた名前です」（今村氏）。

バーチャルによるライブ演出はさらに躍進していく。そんな可能性が感じられたセッションだった。