2022年2月に開設されたソニーPCLのクリエイティブ拠点「清澄白河BASE」。その中のボリュメトリックキャプチャスタジオについて、設立にいたる経緯やスタジオの特徴、先日開催されたVRChatでのボリュメトリックライブ『ヨルノヨ ［VIEWING-ROW / idom］』事例などの取り組みを紹介する。

※本記事は月刊「CGWORLD + digital video」vol. 297（2023年5月号）からの転載となります。

VRChatのボリュメトリックライブを成功に導いた最先端技術

横浜の都市臨海部を光とアートで演出するイルミネーションイベント「ヨルノヨ」。2020年から毎年行われてきた催しが、2022年に新たな企画としてメタバースコンテンツ『ヨルノヨ ［VIEWING-ROW / idom］』を展開した。

横浜の街並みをVRChat上に再現し、アーティストのidomが夜空を舞いながら歌い上げるファンタジックな映像は、VR空間ならではの没入感を味わえると話題に。アクセスの約3割は海外ユーザーで「現地に行ってみたくなった」という声も上がり、横浜の魅力を全世界に向けて発信したイベントとなった。

このユニークな試みを実現したのが、「清澄白河BASE」のボリュメトリックキャプチャスタジオである。同スタジオは、もともとソニーグループの品川本社の中で拠点を構えていたが、2022年の7月に、ソニーPCLのクリエイティブ拠点「清澄白河BASE」へと移設された。

それにより、映像コンテンツに強みをもつソニーPCLと、最先端技術を追い求めてきたソニーグループがより密接に連携していく中で、ソニーPCLが手がける横浜市の実在するイルミネーションイベント「ヨルノヨ」を舞台とした企画が生まれ、『ヨルノヨ［ VIEWING-ROW/ idom］』の制作が決定。idomのパフォーマンスを現実そのままにVR空間へ転送し、VRChatでのボリュメトリックライブを成功に導いた。

CGWORLDは「清澄白河BASE」を見学し、ボリュメトリックキャプチャ技術のR&Dに関わってきたソニーグループの増田 徹氏に話を伺った。

「清澄白河BASE」の特徴や『ヨルノヨ［VIEWING-ROW / idom］』の制作秘話、常設のバーチャルプロダクションスタジオも駆使したidomのスペシャルMV『GLOW | Sony's Volumetric Capture ＆ Virtual Production SPECIAL VIDEO』まで、ボリュメトリックキャプチャの未来に迫った。

＜1＞ボリュメトリックキャプチャとは

本人にしかできないリアルな動きをバーチャルの世界へ

ボリュメトリックキャプチャは実在の空間を3次元のデジタルデータとして取り込み、高品位に再現する技術だ。

1台のカメラで1方向から撮る通常の撮影とは異なり、スタジオを360度取り囲んだ100台以上のカメラで空間を丸ごと撮影し、動画のCGデータを作成する。このデータは自由視点表現として任意の方向から見た2D映像に落とし込むこともできれば、3Dであることを活かしてARや立体モニタ、ヘッドマウントディスプレイでも体験できる。

最大の特徴は、不気味の谷を感じさせないほどのフォトリアルな表現にある。CGモデリングでは難しいひらひらとした服装や不規則な動きであっても、ボリュメトリックキャプチャスタジオで撮影すれば簡単に取り込める。

ソニーの空間再現ディスプレイ（Spatial Reality Display）ELF-SR1で見せてもらったのは、子どもがよちよち歩きをする3D映像だ。小さな歩幅でたどたどしく歩く様子が忠実に再現されており、思わず微笑ましい気持ちになってしまうほど。

この動きを手付けで表現するのは難しいだろう。増田氏は「将来的な用途のひとつに、家族の映像を記念に撮ることも想定できます。ボリュメトリックキャプチャは、本人にしか出せない動きをそのまま残すことに非常に向いているんです」と展望を話す。さらに演劇や舞踊などの無形文化財を後世に残すデジタルアーカイブなど、エンタメに留まらない可能性も秘めている。

コンテンツの制作フローとしては、まずボリュメトリックキャプチャ撮影を行い、そこで取得した各カメラ画像から被写体の3Dモデルを再構築。

その後3Dモデルにカメラ映像をテクスチャマッピングし、モデルデータをブラッシュアップした後、視聴デバイスに合わせたコンテンツ制作に利用する。

「清澄白河BASE」では、まず撮影当日か翌日に、各カメラからの中から演技がわかりやすい角度で撮られた映像をmp4で書き出す。その中から選ばれたOKテイクのみ、3Dモデルを生成。納品にかかる日数は尺次第だが、1分尺であれば1～2日で納品できるそうだ。

それを基に、演出家が本番仕様のカメラワークを決定。そのフィードバックを受けてからテクスチャマッピングを行い、高品位のCGデータが1週間ほどで完成するという。

ボリュメトリックキャプチャのしくみ

ボリュメトリックキャプチャコンテンツの制作フロー

ボリュメトリックキャプチャコンテンツの一般的な制作フローを示す（画像は後述する『ヨルノヨ ［VIEWING-ROW / idom］』と『idom - GLOW | Sony's Volumetric Capture ＆ Virtual Production SPECIAL VIDEO』のもの）。

「清澄白河BASE」では、ソフトウェアは演出家とカメラワークのやり取り時のみBlenderなどを使用。そのほかはオリジナルのソフトを使用し、独自のアルゴリズムによって高品位のレンダリングを実現している。データ形式は3Dの場合は連番のobjかAlembic、2Dの場合はCamera Rawの映像のpngと仮想カメラ位置からのデプスマップを納品する。用途に応じてファイルサイズを変えるなど柔軟な対応が可能。

＜2＞ソニーPCLのクリエイティブ拠点「清澄白河BASE」

クリエイターたちの夢の場所を目指す

ソニーグループは2020年に、品川本社にスタジオ「Volumetric Capture Studio Tokyo」を起ち上げ、ボリュメトリックの概念実証（Proof of Concept）を進めてきた。

品川では映画『バイオレンスアクション』（2022）や中島美嘉のMV『Delusion』（2022）（※関連記事はこちら）など、様々なコンテンツに参加。その手応えを得たことでPoB（Proof of Business）に切り替え、ビジネスとして成立させるため、2022年7月にソニーPCLの拠点である「清澄白河BASE」へスタジオを移転。

先端映像技術を活用したコンテンツ制作を数多く請け負うソニーPCLと連携をとり、『ヨルノヨ［VIEWING-ROW / idom］』を筆頭に3D作品の案件も多数手がけるようになった。

CGWORLD 2023年5月号の特集で紹介したKing Gnu『Stardom』MV（2022）も「清澄白河BASE」で制作された作品のひとつだ。

エンジニアとクリエイターが直接意見交換する機会が増えたことも刺激になっており、増田氏は「『清澄白河BASE』はクリエイターがやりたいことを試す場でもあるし、ソニーの新しい技術をクリエイターに投げかける場でもあると思っています」と「清澄白河BASE」の意義を語った。

ボリュメトリックキャプチャスタジオは直径8.7m、高さ4.2mで、3D化できる撮影範囲は直径6m、高さ3m。周囲には100台以上の同期されたカメラが配置されている。

カメラは1画面全てを同じタイミングで撮影できるグローバルシャッターを採用しており、フレームレートは最大60fpsだ。3Dデータをつくるときにはピンボケは最大の敵であり、全てにピントが合った被写界深度の深い画面をつくらなければならない。

スタジオが以前より1mほど広くなった分、カメラから被写体の距離が遠くなったため、照明を強化することで対応した。7人程度までであれば、安定した品質で同時に撮影が可能だという。

「清澄白河BASE」

「清澄白河BASE」の内部マップ。エレベータ側の入口にバーチャルプロダクションスタジオがあり、ボリュメトリックキャプチャスタジオは奥に位置する。

「品川のスタジオでは本社の設備を使っていたので、役者さんの控え室には会議室を利用していたんです。でもここはメイクルームやシャワールームもありますし、スタジオへの導線も楽になりました」（増田氏）。

ボリュメトリックキャプチャスタジオの仕様

ボリュメトリックキャプチャスタジオの図面。スタジオの直径は8.7m、撮影エリアの直径は6mで、天井高は4.2m、うち撮影エリアは3mとなっている。フレームレートは60fpsまでの撮影に対応。

スタジオの特徴

スタジオ内部の様子。中心エリアは全てのカメラから映るため、最も綺麗に撮影できる。「タレントさんを撮影する場合は、顔を綺麗に撮るため、グループ撮影の場合も中心で1人ずつ撮ることが多いです。CGで並べれば後工程でもフォーメーションをつくれますから」。

抜き撮りであれば全員のOKテイクが出るまで撮影をくり返す必要はなく、グループ全員のスケジュールを調節せずに済む。「10分踊って一発OKならそれで終了です。撮影は予定よりも早く終わることがほとんどですね」（増田氏）。

• 

• 

技術的な強み

スタジオ中央上部には天井吊りレールを完備。品川スタジオのときから「天吊りをしたい」というリクエストは多数寄せられており、ワイヤーで吊って被写体を浮かせることで無重力感のある表現が容易になった。吊りのタイミングは細かな調整が必要になるため、ワイヤーはスタジオの外から人力で引っ張っている。

「ボリュメトリックキャプチャは髪の毛がなびいたり、服がひらひらしたりと、浮遊感によってその場に実在するようなリアリティを出せるんです。だから全身グリーンタイツを着たアシスタントがブロワーで風を当てるという、少しアナログな手法を使うこともあります」（増田氏）。

また、人物のボーンデータをマーカーレスで取得することができ、FBXで書き出し可能。ボリュメトリックで撮影したものと、まったく同じ動作をするボーンを利用してアバターを動かせる。

＜3＞『ヨルノヨ[VIEWING-ROW / idom] 』を核としたコンテンツ活用

「清澄白河BASE」が生み出す未来

『ヨルノヨ［ VIEWING-ROW / idom］』は2022年12月24日（土）から2023年1月3日（火）までの期間限定で、VRChatにて公開されたメタバースライブ。新進気鋭のシンガーソングライターidomが横浜の夜景をバックに宙に浮かび上がるという幻想的な内容だ。

idomのCGデータにはボリュメトリックキャプチャが用いられており、VRChatでフォトリアルな人物が現れる。VRChatは基本的にデフォルメされたキャラクターが多いこともあって、参加したユーザーからは「こんなにリアルなものは見たことない！」と好評を博した。

取材ではMeta Quest 2で映像を体験したが、夜空に舞うidomは360度どの角度からも本物そのものでCGモデルとは思えないレベル。身振り手振りなどのパフォーマンスも丁寧に描画され、リアルライブの最前席で鑑賞しているかのような没入感を味わえる。

さらに映像の途中では自分自身も空に舞い上がり、下を向くと足元にはイルミネーションで輝く横浜の全景が映るという演出も。アーティストと横浜の街の魅力を最大限に引き出す映像美を堪能できた。

制作での最大の課題はVRChatのデータ制限だった。ワールドも含めて600MBに収めなければならなかったが、ボリュメトリックコンテンツはフォトリアルゆえにデータサイズが大きくなる。メッシュ数を絞っても現実感が薄れないように、アルゴリズムに変更を加えて対応していった。

その後2月28日（火）に公開されたスペシャルMV『idom - GLOW | Sony's Volumetric Capture ＆ Virtual Production SPECIAL VIDEO』は、『ヨルノヨ［VIEWING-ROW / idom］』で収録したボリュメトリックのデータを基に、「清澄白河BASE」のバーチャルプロダクションスタジオで撮影した、いわば「清澄白河BASE」の全てを注ぎ込んで制作されたコンテンツである。

横15.2m×高さ5.4m（解像度9,600×3,456ドット）のLEDディスプレイにボリュメトリックの3DCGデータを表示し、それをバックにidomが歌声を披露。まるで2人のidomが現れたかのような壮大な世界観で、ボリュメトリックキャプチャがもつ新たな可能性を感じられた。

ボリュメトリックキャプチャの様子

『ヨルノヨ ［VIEWING-ROW / idom］』のボリュメトリック撮影風景。最も綺麗に映る中心付近で撮影しているのがわかる。なおidomは渋谷モディ壁面の大型LEDビジョン「ソニービジョン渋谷」で放映された映像コンテンツの制作においてもボリュメトリックキャプチャを体験したことがあり、今回が2度目だという。

空を飛ぶidomのCGデータ。天井吊りを使って撮影した。このデータは『idom - GLOW | Sony's Volumetric Capture ＆ Virtual Production SPECIAL VIDEO』にも活かされている。

『ヨルノヨ ［VIEWING-ROW / idom］』

VRChatで開催されたメタバースライブの様子。80人が同時アクセス可能で、背景は横浜みなとみらいの新港中央広場からスタートした。横浜の地形データは、国土交通省が公開している3D都市モデルのPLATEAUをベースにしている。

「ワールドをつくってアーティストを登場させるという自治体連携の企画は今後も行なっていきたいです」（増田氏）。

『idom - GLOW | Sony's Volumetric Capture ＆ Virtual Production SPECIAL VIDEO』

バーチャルプロダクションスタジオの大型LEDディスプレイにボリュメトリックキャプチャによって作成したCGデータを表示し、その前で歌唱するidom。

『ヨルノヨ［ VIEWING ROW / idom］ 』のデータを利用しているため、MVの制作時にはボリュメトリックの再撮影は行なっていない。ボリュメトリックでデータを残しておくことで、制作の幅が広がることがわかる好例だ。

• 

• 

• 

• 

詳細・ご購入はこちら