不気味の谷を越えたリアルで自然なCG表現。現実空間を丸ごとデータ化するソニーの「Volumetric Capture Studio Tokyo」の可能性

最先端の映像技術を提供し続けるソニー株式会社（以下、ソニー）が、2020年8月に世界初の生配信ライブ『いきものがかり Volumetric LIVE 〜生きる〜』を開催したのは記憶に新しい。失敗が許されない「生配信」という制約の中、実写では実現が難しいカメラワークやCGによる背景合成を可能にしたのが、「Volumetric Production System（ボリュメトリックプロダクションシステム）」だった。今回、実際に同社のVolumetric Capture Studioを見学させてもらい、改めてその技術と表現の可能性を体験してきた。

TEXT＿石井勇夫 / Isao Ishii（ねぎぞうデザイン）
EDIT＿三村ゆにこ / Uniko Mimura（@UNIKO_LITTLE）

"Volumetric Production System"と"Volumetric Production System(logo)"はソニーグループ（株）またはその関連会社の登録商標または商標です。

現実の空間を3次元デジタルデータとして取り込む
ソニーの「Volumetric Capture Studio Tokyo」

「Volumetric Production System（以下、ボリュメトリックプロダクションシステム）」とは、現実空間を3次元のデジタルデータとして取り込んで高画質で再現するシステムだ。通常の2D撮影の場合は、1方向から1つのカメラで平面を撮影して2Dのディスプレイで表示するが、「ボリュメトリックプロダクションシステム」では対象を360度からぐるりと囲んだ多数のビデオカメラで撮影して、空間をそのままキャプチャしてCG化する。手法的には多角度からの撮影画像を基に3Dデータを作成する「フォトグラメトリ」の1種ともいえるが、一般的なフォトグラメトリが「1コマの静止画で完結」しているのとは異なり、ボリュメトリックプロダクションシステムは「動画からシーケンスとして3Dモデルを生成」していく。その際、足の裏などカメラの死角によってキャプチャできない箇所のテクスチャは、他の部分から推測したテクスチャで自動補完される。

動画から1コマごとの3Dモデルが連番で生成されるので、再生するとモデルが1コマ1コマ連続して動いてムービーとなる。まるで、フレームごとにベイクされたAlembicデータのようなものだ。再生方法に関しても、2D撮影ではテレビやスマホでのディスプレイ表示が一般的だが、ボリュメトリックキャプチャではレンダリングした2D映像の他に3Dモデルデータが生成されるため、ARや立体モニタ、ヘッドマウントディスプレイ（以下、HMD）を使用したVRやMRなど、様々なデバイスで楽しむことができる。

▲いきものがかりのスマートフォンのARアプリ。通常のARアプリと大きく異なるのは、「キャラクターのリアルさ」だ。CGモデルであることを意識させない自然な映像が、様々な角度から楽しめる

またボリュメトリックプロダクションシステムでは、フォトリアルな表現が比較的簡単にできることが魅力として大きい。撮影動画から髪や衣服の動きまでを全て3Dモデルとして生成してくれるため、一般的なCG制作であればシミュレーションを必要とするような難しい動きであっても、3Dデータとして自然に再現することができる。まるで写真や動画を撮影したかのように再現されるため、いわゆる「不気味の谷」が発生しないのが特徴的だ。

デメリットとしては、生成されたモデルの形状を後から修正することが難しいことや、3Dモデルを生成した後にライティングを変えることができない点だ。これを回避するためには、合成後の工程を十分に考慮した「撮影プラン」を入念につくり込んでおくことが必要だ。また当然ながら、クリーチャーや恐竜といった実在しない生物をキャプチャすることはできない。

以上をふまえて、ボリュメトリックプロダクションシステムの特徴を一言で言うならば、「リアルなものをリアルなまま、簡単にバーチャルの世界に取り込むことができること」ということになる。ちなみに同社のVolumetric Capture Studioの規模についてだが、総面積約100平方メートル、キャプチャができる空間は直径5メートル、高さ3メートルの円柱状の空間で、撮影スタジオとしてはコンパクトなサイズ感となっている。

▲16本の柱が囲む円柱状のスタジオ。明るくフラットなライティングだ。ライトは高輝度・高性能・高品位の国産LEDライトを利用している

撮影はスタジオの外周に並んだ約80台のビデオカメラで行う。キャプチャする上で鮮明かつブレのない動画を撮影しなければならないため、被写体の動きブレを防ぐために高速に設定。なおかつ被写界深度を深くして、ピントが全体に合うようにレンズを絞る。

◀▲ビデオカメラは高速で動くものを歪みなく撮影するため、グローバルシャッターの4Kカメラを採用している

レンズを絞って撮影することもあるため明るい照明を備えており、グリーンバックの抜けが良くなるようフラットなライティングとなっている。ただ、あまりにフラットすぎると味気ない画になるため、あえてキーライトを入れて生々しく映るよう撮影することもあるという。その場合は、あらかじめ合成後を想像してライティングを合わせておくことが重要だ。

▲グリーンバックのカーテンは青や白に変えることも可能

スタジオを出たスペースの一角には、オペレーションを行うためのサブスタジオ（副調整室・約30平方メートル）があり、約40台のワークステーションや多数のモニタといった機器が並んでいる。この場所で撮影したものをリアルタイムで確認しながら撮影するのだ。システムは全て内製、最低2名でのオペレーションが可能だという。

▲撮影スタジオ横に併設されたサブスタジオ

ここで一度、ボリュメトリックプロダクションシステムを使ったコンテンツ制作フローを整理してみよう。

＜1＞同期された複数のカメラで撮影
＜2＞自動で3Dモデリング（テクスチャ込み）
＜3＞3Dモデルを使ってカメラワーク作成とオフライン編集
＜4＞高品位レンダリング
＜5＞コンポジット

同社でのオペレーションは＜1＞＜2＞＜4＞、＜3＞＜5＞は外部のCGプロダクションに依頼するながれとなっている。納期の目安は、ラフなCGモデルであれば1分尺で1〜2日、高品位なものはさらに1週間程度とのことだが、当然、最終的なクオリティや条件によって変わる。いわゆる一般的な工程で制作されるCGモデリングやアニメーション制作と比較すると、圧倒的なコスト削減が可能とのことだ。確かに、1週間程度でリアルな人間のモデルを制作して、なおかつアニメーションまで付けられるのだから驚異的なスピードだ。ここまで自然でリアルなものをこのスケジュール感で制作するのは、昨今話題のMetaHuman Creatorでも難しいのではないだろうか。

また、実は高品位レンダリングこそが同社ボリュメトリックキャプチャの最大の魅力でもある。仮想カメラの位置を考慮した補正を行いながら、同社による内製レンダラによってレンダリングを行うので、他社のボリュメトリックキャプチャよりも自然でリアルなレンダリング品質が叶うのだ。そのため、高品位レンダリングして納品することが多いとのこと（もちろん3Dモデルのみの納品も可能）。さらに3Dモデルとして納品したものは、同社の空間再現ディスプレイ「ELR-SR1」を使うことで「裸眼での立体視」を楽しむことができるというので、いたれり尽くせりである。

筆者も実際に空間再現ディスプレイを体験させてもらったのだが、自然でリアルな立体映像を裸眼でそのまま楽しむことができるのが嬉しい。まるで「リアルなフィギュアが活き活きと動いている」かのような新鮮な驚きがあった。

ちなみにライブ配信でのオペレーションについては、撮影したものをアマゾンウェブサービス（AWS）にアップし、クラウド上でリアルタイム処理に最適化したモデリングとレンダリング、視点移動処理の計算を行なってデータをダウンロード。それをローカルでCG合成し、音声を同期させて配信するというながれになっている。撮影から視聴者に届くまで、ネットワークのバッファを考慮しても20秒程度で配信が可能とのことだ。

ソニーの「Volumetric Capture Studio Tokyo」開発事例

■CASE 01：『Volumetric Capture "DOUBLE DUTCH"』
〜初撮影で難易度の高い激しい動きに挑戦

「ダブルダッチ」とは2本のロープを使って跳ぶ縄跳びのことで、使用するロープが形状的に細い上に高速で動くため、キャプチャするには非常に難易度が高いモチーフだ。同社キャプチャスタジオでの初めての撮影となった本事例だが、あえて高速で動くロープを撮影することに挑戦したのだそうだ。被写界深度を深くかつ被写体のブレを防ぐため、シャッタースピードをできるだけ上げて撮影。カメラワークに関しても、極端にローアングルだったり回転するロープをすり抜けて入り込むアングルだったりと、ボリュメトリックキャプチャの魅力と特徴を存分に堪能できる映像となっている。また、CGによるエフェクトを加えることで、人物はリアルなままに幻想的なCGの世界に入り込んだような演出となっている。この映像を観て、ボリュメトリックキャプチャに注目した人も多いのではないだろうか。

■CASE 02：『ビッ友×戦士キラメキパワーズ！』
〜ボリュメトリックプロダクションシステムをテレビドラマに初めて活用

毎週日曜日の朝9時、テレビ東京系列で好評放映中の『ビッ友×戦士キラメキパワーズ！』（以下、『キラメキパワーズ！』）での変身シーンや決め技のシーンでもボリュメトリックキャプチャが使われている。制作フローは、まずはキャプチャした映像からラフな3Dモデルを制作。次に専用のCG制作ソフトにインポートして、カメラワークを付けてからレンダリングするというながれとなっている。

カメラワークを付ける際に使用するCG制作ソフトは、ソニー内製のオリジナルアプリをVR HMDにインストールして使用。PCに繋げる必要もなく、スタンドアロンでの操作が可能だ。また、VR HMDのコントローラをカメラのように使用することで、VR空間内でカメラを手に持って撮影しているような感覚でカメラワークを付けることができる。

「CGに詳しくないカメラマンでも、VR内で直感的にカメラワークをつけることができます。試しにカメラマンに操作してもらったのですが、楽しかったらしくずっと遊んでおられました」とR&Dセンター統括課長でソフト開発を担当した石川毅氏（以下、石川氏）は話す。キャプチャされたモデルはVR HMDにインポートされ、CGプロダクションにてVR空間内でカメラワークを付けていく。本作のCG制作を担当したGRAVITAS代表取締役・田所貴司氏（以下、田所氏）は「通常のモニタとマウスを使った作業とはまるでちがいます。初心者にとってはHMDでの操作の方が扱いやすいと思います」と使ってみた印象を語っている。

▲（前列左から）田所貴司氏（GRAVITAS）、増田徹氏、松井康範氏（ソニーグループ　事業開発プラットフォーム）、(後列左から)　小川浩司氏、池田康氏（ソニーグループ　事業開発プラットフォーム）、石川毅氏（ソニーグループ　R&Dセンター）

そもそも「『キラメキパワーズ』でソニーのボリュメトリックプロダクションシステムを使いたい」という提案を持ちかけたのは、他でもない田所氏であった。「アニメ特有のカメラワークは日本独自の文化だと思うのですが、従来の技術ではそれを実写で再現するのはコスト的にも難しかったんです。しかし、ソニーのボリュメトリックプロダクションシステムであればそれが可能です。日本のテレビ史上初の技術となったのではないでしょうか」（田所氏）。今回は自由視点での移動のみではあるが、今後はエフェクトを入れたりサイズを変えたり、分身させたり......と、表現の幅を広げていきたいと話している。

▲専用アプリでカメラワークをつける田所氏。まるでゲームをしているかのように楽しみながら操作している。「VRで付けたカメラワークとキャラクターがズレることなくレンダリングできるのも気持ち良いです」（田所氏）

ソニーの「Volumetric Capture Studio Tokyo」の展望

これからのボリュメトリックプロダクションシステムの展望について、同社としてはエンターテインメント以外でも活用していきたいと考えているようだ。例えば、家族をスキャンしてCGモデルとして残すなど、従来の3DCGの使い方とはひと味ちがったアプローチを考えているという。事業開発プラットフォームで統括課長を務める松井康範氏は「バーチャルヒューマンなどのCGがいかにフォトリアルなったとしても、実写で残したいというニーズはなくならないと考えています。例えば子供の写真は、CGよりもボリュメトリックで残したいのではないでしょうか。HMDがもっと一般家庭に広まれば、そういったコンテンツも多方面にわたって開発できそうです」と新たなマーケットへの期待を語っている。

またHMD以外にも、前述した「ELF-SR1」のような空間再現ディスプレイを活用するなど応用範囲は広い。「教育コンテンツの分野では、昆虫などの生物をボリュメトリックキャプチャして、空間再現ディスプレイを使った図鑑を作るといった使い方もできます。3Dでモデリングした動物に手付けでアニメーションを付けるよりも、ありのままの自然な姿と動きをデータ化して再現できるのが魅力です」と石川氏。

他にも、人間国宝による能や舞、国民的アーティストの演技やステージといった、後世まで引き継ぎたい様々な日本文化をボリュメトリックキャプチャしてアーカイブするなど、3次元映像として鑑賞するための使い方は幅広い。現在も撮影を重ねるたびに改良が加えられ、初期の作品と比較するとクオリティが飛躍的に上がっているという。事業開発プラットフォームの増田徹氏は「他社の技術も進化していますが、我々も進化しています。最終的にはバーチャルプロダクションとコラボレーションして、様々なコンテンツを開発していけたら」と展望を語る。バーチャルプロダクション技術をもつソニーPCLとの連携を進めているとのことで、エンターテインメントに限らず多方面で発展していきそうだ。引き続きボリュメトリックプロダクションシステムの可能性に期待したい。