ソニーの「ボリュメトリックキャプチャ技術」と「360 Reality Audio」をかけ合わせた初の試みとなる本作。360度空間を活かした映像と音楽の新たな可能性に迫る。

※本記事はCGWORLD287号（2022年7月号）の記事を一部再編集したものです

中島美嘉が思い描く世界観をボリュメトリックで具現化

圧倒的な存在感と表現力で人気を博すアーティスト・中島美嘉が、初めて全曲セルフプロデュースしたアルバムの第3弾『Delusion』のMVが5月4日（水）よりYouTubeにて公開された。本MVはソニーのオブジェクトベースの360立体音響技術を活用した音楽体験「360 Reality Audio」と、同社ボリュメトリックキャプチャ技術をかけ合わせた作品となっている。中島氏が思い描くおとぎ話のような独創的な世界観が、氏自身の存在感と映像テクノロジーの融合によって見事に表現されている点に注目したい。

本作は芸術分野とデジタル表現に造詣の深い田所貴司氏が監督を務め、VFXスーパーバイザーを涌井 嶺氏が担当した。「はじめから美嘉さんの中には描きたい世界観が明確にあったので、いかにそれを具現化するかが課題でした」（田所氏）。本作のボリュメトリック撮影は2022年の4月11日に行われた。

同週にはスタジオよりボリュメトリックのラフモデルの提供を受け、涌井氏ディレクションのもと、モデラーの牛乳瓶氏とアニメーターの金谷健太郎氏がCGカットの制作を開始。4月17日にはラフモデルをハイポリモデルに差し替え、レンダリングしながら田所氏がリアルタイムで修正とコンポジットを行なったという。5月2日の完パケまでたった1ヶ月間のタイトなスケジュールだった。「田所さんのコンポジットが爆速だったので、このスケジュールでも完成できました（笑）。 それからスタッフ間のやり取りにDiscordを使ったことで、ほぼリアルタイムで対応してもらえたのもスムーズで良かったです」（涌井氏）。ボリュメトリックスタジオの技術サポートとポスプロを担当した、ソニーの増田 徹氏はこうふり返る。「ボリュメトリックは、とりあえずいろいろ撮ってみて後でどれを使うか決めるというフローが多いのですが、今回は明確にどういう画を撮りたいかが撮影の段階で決まっていたので、必要なものだけに集中してスムーズに撮影することができました」。

タイトな制作スケジュールでつくられたとは思えないクオリティの映像表現を可能にした、テクノロジーと経験のなせる技に大注目の作品だ。

＜1＞プランニング、プリプロダクション

自由な発想で描かれる不思議で綺麗な世界観

本作は、企画時から内容をほぼ変えずに演出コンテ、制作を進めることができたという。「具体的なビジュアルは、美嘉さんとの打ち合わせの場で決めていきました。話し合う中でこの絵の世界観が合うだろう、と提案していってすり合わせました」（田所氏）。ボリュメトリックは撮影段階ではカメラワークを確定させる必要がないため、ビデオコンテやプリビズは作成せず、演出コンテのみで撮影に挑んだという。「ボリュメトリック撮影の面白いところは、撮影の段階で気にすべきなのは演技だけという点です。最終的に3Dモデルになるので、カメラワークなどを後から変更できる強みがあります」（増田氏）。

ボリュメトリックシーンの演出の意図について、田所氏はこう語る。「まずサビ部分はボリュメトリックでつくると決めていたので、自由に発想して演出を組んでいきました。1サビはエッシャーの世界観を参考に、上下左右のない空間でさまようイメージ。2サビは怪しげながらも踊りたくなる曲調なので、不気味な病棟で美嘉さんが踊っているイメージです。この2つはボリュメトリックの得意とする自由視点を活かしてみました」。さらに最後のシーンは、あえて自由視点は使わず、3Dモデルであることを活かしている。「最後は美嘉さんが修道院のシスターに見つかって心が負けてしまうシーンです。人間は心が負けると身体も崩れてしまうので、その表現として今回はあえてボリュメトリックの3Dデータのポリゴン感を活かしながら崩壊させるという演出をしてみました」（田所氏）。


実写パートはロケのスケジュールの都合で日中にしか撮れず、光のコントロールが課題だったという。「試行錯誤を重ねる中、結果として『不思議で綺麗』という世界観を上手く表現できたと思います。CGのマッチングも当初不安だったのですが、合わせてみたところ想像以上に上手くいきました」（田所氏）。

森のカットの絵コンテと完成映像

病棟のカットの絵コンテと完成映像

身体が崩れていくカットの絵コンテと完成映像

＜2＞ボリュメトリックキャプチャ

Blenderで扱うボリュメトリックデータ

本作のボリュメトリック撮影は、ソニーの「Volumetric Capture Studio Tokyo」にて実施された。「処理のアルゴリズムを毎度改善しています。例えば以前は緑色が被って穴ができていた部分も、差分処理や内製AIを使うことで綺麗に残せるようになりました」（増田氏）。とはいえ現状は完全に自動ではなく、手作業で直している部分も多いという。「穴などのエラー処理はもちろん、カメラが寄るカットだけ細かく処理するなど、毎回マニュアルでクオリティを上げています。ただ、今回中島さんがとても協力的で、処理が難しいポーズや動きをしないよう対応してくれました。おかげで手作業での大きな修正はなく、スムーズに対応できました」（増田氏）。

3DCGは基本的にBlenderで作成・レンダリングされているが、カメラが寄る部分の人物のみソニー内製のレンダラでレンダリングし、コンポジットするワークフローが採られた。「まずAlembicの連番でラフモデルをいただいて、アニメーターの金谷健太郎くんとカメラワークを決めていきました。ラフモデルはBlenderのビューポートでもリアルタイムで動くので、ストレスなく作業できます。最終的に本番用のモデルに差し替えてレンダリングしました。一部カメラが寄るカットは、カメラデータをソニーさんにお渡しして、別でレンダリングしていただいています。ただライティングはできないので、同ポジで白色の中島さんのモデルをBlenderでレンダリングして、ライティング用の素材として田所監督にお渡ししました」（涌井氏）。ボリュメトリックデータは、5,000ポリゴンのラフモデルで1分あたり1GB以下、10万ポリゴンのハイポリモデルで1分あたり4GB程度だという。「ボリュメトリックデータが増えると重くなるので、背景モデルはなるべくインスタンス化したり、ボリュームのみの素材をEeveeで書き出すなどの最適化をしました」（涌井氏）。


ボリュメトリックの使い道について、田所氏はこう語る。「ボリュメトリックの面白みは自由視点だけではなくて、見た目は実写だけど3Dデータとして扱えるというところにあると思っています。大きさや時間軸、シミュレーションなどと組み合わせればもっと表現の幅を広げられると思いますし、ARやVRとの組み合わせも面白いところです」（田所氏）。

「Volumetric Capture Studio Tokyo」での撮影

ソニー「Volumetric Capture Studio Tokyo」での撮影の様子

• 

• 

• 

• 

ハイポリモデル

• 

• 

森のカットの制作画面

• 

• 

• 

• 

• 

• 

【1】～【6】Blenderのアニメーションプレビュー表示。金谷氏による縛りのない大胆なカメラワークとなっている

病棟カットの制作画面

• 

• 

• 

• 

• 

• 

【1】～【6】Blenderのアニメーションプレビュー表示。5,000ポリゴンのローポリモデルで作業することで、リアルタイムでのプレビューが可能だったという

＜3＞3DCG＆コンポジット

制約のない自由なCG表現

本作の3DCGは、ボリュメトリックの面白さを最大限引き出すため、通常のつくり方とは異なる部分も多かったという。「背景は牛乳瓶さんにお願いしています。自由視点でぐるっと回り込むので、モデルを360度つくり込んでいただく必要がありました。CGのカメラワークは金谷くんにお願いしています。金谷くんはカメラマンもやっていて、僕が思いつかない構図やワークを組んでくれるので面白い画ができました。」（涌井氏）。特に森のカットのカメラワークは、ディレクションも含めこだわったという。「1人をぐるぐる回るのではせっかくの自由感がなくなるので、メインの被写体を複数にして、フレームの外にいる美嘉さんを代わる代わる追っていくようなワークにしました」（田所氏）。


中島氏が崩れていくラストのカットは、BlenderのGeometry NodesとParticle Systemを用いて作成された。「田所監督からデジタル的に燃えていくように、というオーダーがあったので、ポリゴン感を残しつつ燃えていくような動きとマテリアルを組みました。顔は途中まで残すために、別パーツにして制御しています。Geometry Nodesとボリュメトリックはかなり相性が良かったです」（涌井氏）。石像は、アニメーションデータは使わず、通常の3DCGの制作手法でつくっていったという。「データの1フレームだけを使ってつくりました。元の色をある程度残しつつ、朽ちた石像の質感を目指してマテリアルを組んでいます」（涌井氏）。


監督である田所氏は以前ポストプロダクション現場でのエンジニアの経験があり、本作でもコンポジットからグレーディングまで行なっている。「いつもFlameを使ってコンポジットしています。今回は主に涌井さんのCGとソニーさんからくる美嘉さんの素材を組み合わせたり、質感を足して画づくりしたりしました。涙や一部のグリーンバック合成のカットはこちらのCG部で作成しています」（田所氏）。各素材の色空間は、CGはLinear-sRGB、実写素材はRawデータからLogに現像して使用された。また、今回ポスプロが田所氏ひとりだったため、特にカラーマネジメントシステムは利用していないという。「真っ黒な状態で読み込んだ素材を、トーンカーブで暗部を徐々に持ち上げていく方法でコンポしています」（田所氏）。いわば独自のトーンマッピングによって、田所氏はあの不気味で幻想的な空気感と色合いをつくり上げているのだ。

Blenderでの作業の様子

身体が崩れるカットのBlenderでの作業の様子

• 

• 

石像カットの制作

Blenderによる石像カットの制作の様子

こぼれ落ちる涙のカット

• 

• 

• 

• 

田所氏オリジナルのカラーワークフロー

• 

•