2022年9月22日（木）、ソニーPCLのクリエイティブ拠点「清澄白河BASE」のバーチャルプロダクションスタジオにて人気ヒップホップユニットCreepy Nutsが登場するスペシャルライブ『Ginza Sony Park presents 「Creepy Nuts」Special Live』が生配信された。バーチャルプロダクションを活用した音楽配信ライブはソニーグループとして初の試みとなり、技術的にもチャレンジが多かったという。制作チームに舞台裏を聞いた。

Information

Ginza Sony Park presents「Creepy Nuts」Special Live

日時：2022年9月22日（木）19:30～
配信：YouTube（Sony Park公式チャンネル）
出演者：Creepy Nuts
協力：株式会社ニッポン放送
料金：視聴無料
www.sonypark.com/parklive/splive/

バーチャルプロダクションスタジオからの生配信を実現するための技術面＆演出面のチャレンジ

ソニーPCLが昨年2月にオープンした「清澄白河BASE」は、ソニーのCrystal LED Bシリーズを使用したバーチャルプロダクションスタジオやボリュメトリックキャプチャスタジオを擁するクリエイティブ拠点だ。

昨年9月22日に行われた『Ginza Sony Park presents「Creepy Nuts」Special Live』では、清澄白河BASEのバーチャルプロダクション技術を使って、あたかもニッポン放送の駐車場や勝鬨橋で彼らがライブを行なっているかのような演出で生配信された。当日のライブ中に種明かしが行われ、MCパートではCreepy Nutsの2人がバーチャルプロダクションの背景を手元のスイッチで次々と切り替えて楽しむ様子もみられた。

このプロジェクトは、当初、東京・銀座のGinza Sony Parkで2018年から開催されてきた「Park Live」の流れを汲む、新たな挑戦として企画された。Ginza Sony Parkは現在2024年に完成予定の新Ginza Sony Parkに向けた工事により一時閉園中だが、工事期間にもこれまで続けてきたPark Liveを別の場所でもできないかというところからスタートしたという。

「Ginza Sony Parkでは、2018年8月から2021年9月まで250回以上のPark Liveをリアルや配信で開催してきましたが、ちょうど清澄白河BASEのローンチの話がもち上がり、バーチャルプロダクション技術を使ったユニークなPark Liveの実現にチャレンジできないかということから企画をつくり上げていきました。企画を練る段階では、バーチャルプロダクションはCMや映画などの短いショットで構成された映像向けの技術だと思っていたので、音楽ライブだと画をもたせるために少し工夫が必要だということと、この新しい試みに賛同してくれるアーティストと組むことが大事だと考えていました」と統括プロデューサー加藤丈晴氏（ソニーPCL）は話す。

企画が動き始めたのが昨年の1月〜2月、3月に参加アーティストがCreepy Nutsに決定し、3月から4月にかけて企画内容とコンセプトを固め、5月に詳細な内容が確定。アーティスト選定の決め手となったのは、Creepy Nutsが音楽活動以外にもラジオパーソナリティなど多彩な活動をしており、ライブパフォーマンスとオールナイトニッポンを彷彿させるラジオ番組的なトークをかけ合わせたライブ・エンターテインメントショーが実現可能ではないかという期待ができたことからだったという。

配信ライブは、3つのパートで構成されている。まずニッポン放送の駐車場入口でのライブ、2つめはVRセットのネタばらしをしながらのラジオ風トーク、3つめは勝鬨橋の上という現実ではありえない場所でのライブだ。6月には企画内容を制作ワークフローに落とし込み、そこから9月までの約3ヶ月で実装された。

制作期間には背景のアセット制作の他に、清澄白河BASEの常設システムに加えて、LEDウォールの外側にCGを合成するための検証なども並行して行われていたという。携わったスタッフは、アセット制作やシステム担当の他に音響、照明、撮影などのスタッフを含め40名ほど。

「まず、disguise を使ってLEDウォールの外側にもCG背景を合成したときに、境界が上手く馴染むようにリアルタイムで合成できるか、またリアルタイム描画でfpsを落とさず画も破綻せずに配信できるか、というのが今回の技術的なチャレンジのひとつでした。もうひとつは冒頭のニッポン放送の駐車場です。視聴者がまだスタジオ撮影なのか何なのか様子がわかっていない段階で、いかにリアリティを感じてもらうかがポイントになりました。LEDウォールを使ってリアルに見せるというのは、これまで収録映像では数多くやってきたことですが、ポストプロダクションで処理ができない生配信でいかにリアルに見せるかというのは大きなチャレンジでした」とVPコーディネーターの遠藤和真氏（ソニーPCL）は話す。

演出面でのチャレンジについては、演出・ディレクターを務めた馬場一萌氏（ホーダウン）が以下のように語ってくれた。「今回LEDと1対1対応しているインカメラの他に、複数台のカメラを使って複数アングルで撮影するという演出になっています。インカメラを激しく動かしてしまうと、他のカメラから撮影している背景が矛盾してしまうという問題があります。どこまでインカメラを動かしても成立するのか、バランスを取るのが難しかったですね。結構演出的には最後まで挑戦した部分です」。

それでは、次項から本プロジェクトの技術的なメイキングを紹介する。

Part 1. ニッポン放送駐車場

ライブはニッポン放送の駐車場を背にしたCreepy Nutsによる『2way nice guy』のパフォーマンスで幕を開けた。ニッポン放送の駐車場からライブが始まるというのは非常に驚かされる演出だが、ライブのスタートをこの場所にしたのはどのような理由からなのだろうか。加藤氏に聞いた。

「冒頭の場所をどこにするかはいくつか候補があったのですが、背景がCGですよというネタばらしをしたときに、見覚えのある場所の方が驚きが出るのではないかということと、あの駐車場はオールナイトニッポンなどの番組出演者とファンとの交流の場で、かつてはライブも開催していた場所なんですが、現在は周辺の建物との関係で大きな音を出せなくなってしまった。そこで現実にはライブができない場所でもバーチャルであればできるということで、その2点が決め手になりました」と話す。

駐車場のアセット制作はスタジオブロスの成生佳穂氏が中心となって進められた。アセット制作はまず駐車場の3Dスキャンから始まった。3Dスキャンの作業はレーザースキャンで全体をスキャンし、一眼レフカメラを使ってフォトグラメトリー用に2,000枚程度の写真が撮影されたという。メッシュ化にはRealityCaptureが使用されている。キャプチャ作業は駐車場の利用者がいなくなる深夜帯に行い、レーザースキャンに3時間、フォトグラメトリー用の撮影に4時間程度を要した。

駐車場撮影の様子

• 

• 

最終的な駐車場のアセットにするには、レーザースキャンされたデータにフォトグラメトリーで生成されたテクスチャデータをMayaで投影して編集していくという手法が採られている。一部フォトグラメトリーでデータ化できない部分や素材的にNGな部分はMayaでモデリングされているという。

「反射が強い部分は、レーザーでスキャンできなかったり、　RealityCaptureで生成されたテクスチャも崩れてしまっているところが多いので修正が多かったですね。結構反射物が多かったので、モデルの修正よりもテクスチャ修正の物量がとても多かったです」と成生氏。

フォトグラメトリー

• 

• 

スタジオの床に対しても、美術によって駐車場の地面のテクスチャと同じに見えるコンクリートの地面が作成されている。「駐車場のコンクリート以外の部分が入ってくると、結構美術でつくるのが大変だったりリアルさに欠けるということもあり、CG側の駐車場のテクスチャは実際の駐車場の地面よりかなりシンプルに要素を削ぎ落として作り替えてもらっています」と馬場氏は話す。

テクスチャ作成にはPhotoshopやSubstance 3D Painter、Substance 3D Samplerを使用。Substance 3D Samplerでマテリアルを作成し、Substance 3D Painterに作成したマテリアルを読み込んでテクスチャを補正していくことが多いという。「フォトグラメトリーとバーチャルプロダクションを組み合わせた案件は弊社でもこれまでにいくつか手がけてきましたが、今回はリアルタイムで視聴者からの反応が見られて楽しかったですね。フォトグラメトリーとバーチャルプロダクションの組み合わせは、ロケ地の天気などに左右されずに撮影することができるので、どんどん活用されると良いなと思っています」と成生氏はふり返る。

テクスチャの修正

• 

• 

• 

• 

Unreal Engineでのシーン構築

• 

• 

• 

• 

Part 2. Ginza Sony Park

ニッポン放送の駐車場を背景にして3曲が演奏された後、Creepy Nutsの2人によるトークパートが始まり、今回のライブの種明かしとともに、Ginza Sony Parkの背景が表示された。この背景には、建替工事に入る前にGinza Sony Parkを地上から地下4階まで点群スキャンしたデータが活用されている。「工事の前に、何か活用できることがあればと思い全体をスキャンしておきました」（加藤氏）。スキャン作業には深夜帯の時間を使いながら2.5日ほどかかったという。

今回のライブでは地下2階の点群データをベースに、スタジオブロスで背景データとして再構築された。「制作フローは概ね駐車場と同じです。天井部分に配管が多かったので、その部分はモデリングをして追加しました。形状が複雑な部分は、フォトグラメトリーで作成されたデータをそのまま使うのは難しく、1からモデリングしていることが多いです」と成生氏は話す。

点群データ

• 

• 

メッシュ

シーン構築

• 

• 

Part 3. 勝鬨橋

ライブの最後となる楽曲『のびしろ』では、勝鬨橋を封鎖するように詰まれたスピーカーの前でCreepy Nutsが演奏するという、とても非日常的でアナーキーさを感じる演出となっている。勝鬨橋がパフォーマンスするCreepy Nutsを乗せたまま、都会のビル群の間を飛行していくのもバーチャルプロダクションならではと言えるだろう。

背景の制作は森 剛志氏が中心となって担当。「春頃に楽曲が『のびしろ』に決まり、“ありえないライブ”ってなんだろうというところから構想をスタートしました。『のびしろ』の歌詞に「勝鬨橋」というキーワードが出てくるので、勝鬨橋でゲリラライブをやるというありえない設定から、街やタワーが動き出すといったざっくりとした演出の方向性を決めて、森さんと作業の内容やスケジュールを話しながら進めていった感じですね」と馬場氏。

当初は、勝鬨橋もニッポン放送の駐車場などと同様に、3Dスキャンで対応できないかという案も出たという。「車道から上手くカメラのアングルを付けてスキャンするのは難しいだろうと。また、背景はリアリティがある方向というよりは、演出的にちょっと遊びを入れたいということで、全体的にモデリングベースで制作した方が良いのではないかという判断になりました」（遠藤氏）。

勝鬨橋のシーンは、馬場氏がBlenderでビデオコンテやリファレンスを作成し、他のCGスタッフがCinema 4Dで橋をモデリング、森氏がUE4で実装していくというワークフローで進められた。この勝鬨橋のシーンでは演出に合わせてUEでアセットをリアルタイムでアニメーションさせなければならず、難しい部分もあったと森氏は言う。

「馬場氏の演出を、負荷を気にしながらさばいていくというのはなかなか大変な作業ではありました。シーン全体が動くといった大胆な演出が多く、disguiseで配信することを考えて、どこまでUEで演出を組むのか、かなり頭を使いました。曲が決まっているので、タイムラインに沿って演出を配置していけばいいだろうと当初は思っていましたが、やはりdisguiseで切り出せた方が後々楽だろうと考えにいたり、最終的には演出をひとつひとつ切り分けてdisguiseに渡すというカスタムイベントをつくって対応しました。これまで収録映像でのUE4によるインカメラVFXの背景制作はいくつか手がけてきましたが、アーティストのライブで生配信というのは初めての経験でした。大きなプレッシャーを感じながらの制作になりましたが、YouTubeのコメントなど、視聴者の反応が好意的で嬉しかったですね」と森氏はふり返る。

Blueprintによるカスタムイベント

UE上でのシーン構築

アセット

ライト

今回の制作をふり返って

LEDウォールとdisguiseを使ったLED外のCG合成をリアルタイムで配信するという、先進的なライブ制作をふり返っての感想を聞いた。「昨年2月、清澄白河BASEに常設のバーチャルプロダクションスタジオがオープンしてから、映画やCMといった収録もの以外の領域で初めてバーチャルプロダクションを活用したオンラインライブができたというところがまず大きかったです。ライブイベント領域やエンターテインメント領域に対して様々な方向性でアプローチできるスタジオを目指している中で、スタジオの開設から早いタイミングで実現できたのは一番の収穫でした。今回ライブイベント用に仮設した機材は、常設とするべくアップデートを続けています。これからもこのようなスタジオの使い方が増えていくといいなと思っています」（遠藤氏）。

「当初思っていたとおりのユニークなPark Liveになりました。新しいライブエンターテインメントという観点では、スタート地点くらいには立てたのかなと思っています。今回は実験的なアプローチだったので笑いありライブありといった、ちょっと面白おかしい構成でやってみたのですが、今後はただただ格好良い内容を1本通してやってみたいなと。次はそういうチャレンジができるのではと思っています」（加藤氏）。

「僕は普段、CMやMVなどの完パケ前提の映像ディレクションをすることがほとんどなので、今回バーチャルプロダクションでリアルタイムレンダリングを使った制作を初めて経験して、かなり勉強になりました。普段CGのディレクションでは懸念しないような壁にぶち当たったりして、バーチャルプロダクションではこういうところで躓くんだなとか、肌感として理解できたのは良かったと思います。バーチャルプロダクションでももう少しカメラの自由度が大きくなれば、ドキュメンタリー風の演出やシチュエーションコメディのバーチャルプロダクション版なんかもできるのではと期待しています」（馬場氏）。

バーチャルプロダクションスタジオからのリアルタイム配信という新たなエンターテインメントの可能性を提示した今回のライブ。Ginza Sony Park、清澄白河BASEそれぞれの今後の挑戦にも期待したい。