記事の目次

    フォトグラメトリーによる3D環境の構築と緻密なインビジブルエフェクトを駆使して"3つの難題"を克服した渾身プロジェクト

    ※本記事は月刊「CGWORLD + digital video」vol. 224(2017年4月号)からの転載となります

    TEXT_福井隆弘
    EDIT_沼倉有人 / Arihito Numakura(CGWORLD)、山田桃子 / Momoko Yamada

    #重力猫『GRAVITY CAT / 重力的眩暈子猫編』PV
    presented by GRAVITY DAZE 2
    監督:柳沢 翔/企画制作:博報堂、東北新社〈ポストプロダクション〉
    オフライン編集:木村悦子、田端華子/オンライン編集:佐々木賢一/CGディレクター:松本哲明/コンポジター:加藤泰裕/デジタルアーティスト:市川 悟、三須聡之、中江昌彰、荒田大輔、松尾勇佑、田原史章、牧野由典/CGテクニカルサポート:亀村文彦/CGプロデューサー:城戸久倫/CG制作進行:池部 宙/CGプロダクション:オムニバス・ジャパン
    ©2017 Sony Interactive Entertainment Inc.

    主観ワンカット長回し、子猫の撮影、重力変化という3つの挑戦

    #重力猫『GRAVITY CAT / 重力的眩暈子猫編』(以下、#重力猫)は、今年1月19日(木)に発売されたPS4タイトル『GRAVITY DAZE 2/重力的眩暈完結編:上層への帰還の果て、彼女の内宇宙に収斂した選択』のWeb向けプロモーションとして、1月12日(木)にYouTubeで公開されたバイラル動画だ。大学の卒業論文に四苦八苦する1人暮らしの姉(高田静流)、そこへ遊びに来た妹(乃木坂46 伊藤万理華)のふたりが、突如壁や天井を走りまわりはじめた子猫を捕まえようと触れたことをきっかけに、部屋自体の重力変化に翻弄される様を、VFXを駆使して描き出している。姉の主観(POV)によるワンカット長回し、生身の子猫に芝居をさせる、そして重力変化という、3つの難易度の高い表現を巧みに融合させているのだが、その優れた出来映えから公開後すぐに240万回以上の視聴を達成した。


    右から、佐々木賢一氏(DEFENSE)、亀村文彦氏(ロゴスコープ)、中江昌彰氏、松本哲明氏、池部 宙氏、城戸久倫氏、市川 悟氏(以上、オムニバス・ジャパン)、加藤泰裕氏(フリーランス)
    www.omnibusjp.com

    そんな本作のCG・VFXワークをリードしたのは、オムニバス・ジャパン(以下、OJ)だ。「柳沢 翔監督とご一緒させていただくのは今回が2度目になります。当初は、子猫をCGアニメーションで表現できないかと、ご相談いただいたのですが、監督の『バズらせるためにも限界までリアルにやりたい』という意向から、ワンカットにみせるためのCG環境の構築や反重力表現のエフェクト作業が主となりました」と、城戸久倫CGプロデューサーはふり返る。CG環境の構築は、撮影セットと屋外の街並みに大別された。どちらもフォトグラメトリーによるリアリティキャプチャという作戦が採られたが、子猫という非常にコントロールが難しい動物の撮影、なおかつそれを4分ちかくのワンカットPOVに仕上げる上では、膨大なカメラトラッキングと細密なマスク処理が求められた。近年は、柳沢作品のほぼ全てのオンライン編集を手がけている佐々木賢一氏(DEFENSE)は、次のように総括してくれた。「柳沢さんは企画から完成までいっさいの妥協をゆるしません。VFXチェックの際は、ひとフレームずつコマ送りで確認するのが常なのですが、今回ほど『終わらないかも』と思った作品は初めてでした(笑)。だけど、プリプロの段階から深く関われる案件は貴重ですし、これほどの規模の撮影に関われることも滅多にありません。おかげさまで公開後は大きな反響をあつめることができ、今後にも活かせるとても良い経験ができました」。

    01 プリプロダクション

    実写のテスト撮影とプリビズによる綿密な検証

    2016年9月末からプロジェクトがスタート。10月後半に絵コンテが出来上がると、それを基に各種検証が進められた。実は、昨夏に公開された資生堂「スノービューティー2016『逆さに降る雪』」、昨秋から放送されたDODA CM『綾野剛 キミだけのゴール』篇の2作品も柳沢監督によるディレクションだが、これらにも重力変化の表現が登場する。「ですが、どちらも90度ほどの回転でした。そうした経緯もあり、柳沢監督は制作当初から『#重力猫』では、姉の部屋(セット)を"実際に360度回転させる"ことにこだわっていましたね」(佐々木氏)。そこで「重力変化装置」という、その名の通りセット自体を回転させる大道具(油圧式で回転速度を多段階で変速可能)が制作された。また、企画当初は猫はCGアニメーションで作成することが検討されていたが、とにかくバズらせるものを、そのためには猫好きの人たちの心を射止める必要があるとの判断から、苦労を承知で本物の子猫を撮ることが決まった。重力変化と子猫の演技を実写で撮る、なおかつほぼ全編を姉の主観のワンカット長回しで、という課題をクリアするにあたっては、猫のグリーンバック撮影や ミニチュアを用いた検証など、5~6度にわたるテスト撮影を実施。実写でやれることがみえてきて、コンテも修正していくうちに、猫は本物でいけるのではないかという手応えつかむことができたそうだ。

    「撮影カメラについては、GoProDJI Osmoも候補に挙がっていたのですが、ジンバルの具合(POVに仕上げる上ではなめらかすぎてもNG)、臨場感のある画が撮れる、なおかつ4Kの動画撮影が行えることからソニーα7Sが採用されました」(城戸氏)。「ワンカット風に仕上げるにあたっては、当初から完パケのサイズ(フルHD)よりも120%ほど大きなサイズで各ショットを作成しておくことで、オンライン編集の段階でトリミングやブローアップによる調整が行えるように計画していました。そうした意味でも4Kで撮影する必要がありましたね」(松本哲明CGディレクター)。

    VFXまわりの検証にあたっては、ミニチュアセットのテスト撮影素材を使ったビデオコンテをたたき台として、より正確な検証を行うためのプリビズも作成された。「さすがにミニチュア撮影のビデオコンテだけでは、曖昧な要素が多くリスクが高すぎると思い、プリビズを作成することを提案させてもらいました。窓抜けの街並みがどのような見え方になるのか? ワンカットに仕立てるために各シーンをどのように撮り分けるのが効果的か? そうした不安要素を検証するために、実際のカメラの画角や動きなどにできるだけ合わせたプリビズをOJさんに作成していただきました」(佐々木氏)。プリビズは、最初にCGベースで作成する必要のある窓抜けの環境がどれくらいフレームインするかを検証するものを作成。続けて、ライティングの変化の検証を目的としたもの。そしてキャメラマンや動物トレーナーの影やしかけなどのバレものの映り込み度合いの検証を目的としたものという、3段階にわたって作成していったという。

    柳沢監督が描いた演出コンテより。当初は総尺2分程度で考えられていたそうだが、最終的に4分ちかくに達した

    複数回にわたり行われたテスト撮影より

    初回のテスト撮影は成猫で行われたが、成猫に演技をつけるのは困難であることがわかり、子猫を起用することに

    ミニチュア模型を用いたテスト撮影。こちらを基にビデオコンテが作成された

    実際に猫を使用した撮影前最終テスト撮影。この時点では猫を誘導するためのレーザーポインター、猫トレーナーの映り込み消し等が予想された

    実写のテスト撮影後に作成されたプリビズ

    テイク1。ビデオコンテの尺感に合わせて窓外に都市モデル等を配置して作成。これをベースに2回目のオールスタッフが行われた

    テイク2。第2回オールスタッフ時に出た撮影部ならびに照明部からの意見を取り入れライティングを検証。これを基に第3回オールスタッフが行われた

    テイク3。亀村氏が撮影したHDRIを窓外に配置し、背景の見え方(ルックや視認性など)が検証された

    次ページ:
    02 オブジェクトトラッキング&フォトグラメトリー

    [[SplitPage]]

    02 オブジェクトトラッキング&フォトグラメトリー

    コーデットマーカーを用いた作業データの共有化

    実写撮影は、昨年12月1日(木)から3日(土)までの3日間にわたって東宝スタジオで行われた。先述のとおり、撮影セットならびに窓抜け背景については、リアリティキャプチャをベースにCG環境が作成されたが、CG・VFXまわりのテクニカルアドバイザーを務めた亀村文彦氏(ロゴスコープ)の提案により、PhotoScanによるフォトグラメトリーが採用された。「窓外の背景については当初からHDRIによるIBLを予定していたのですが、チェックを重ねるうち、立体感が出ないなどの理由から、3Dで作成することに後から変更したのですが、こちらもPhotoScanで3DCG化に挑戦しました。ツールの仕様やスケジュール面の制約もあって、完全な環境を構築するまでにはいたりませんでしたが、今後も活用していきたいですね」(亀村氏)。室内セットの撮影では、フォトグラメトリー用とカメラトラッキング用のマーカーを共通化、さらに各マーカーにナンバリング(1~90までの2セット、計180枚を使用)することでPhotoScan上で3D空間を構築する際の定義にも役立てられた。「マーカーの貼り付けは、一連のトラッキング作業をリードされた加藤(泰裕)さんと手分けして行いました。マーカーを貼った後は、各マーカー間の距離も計測しておくことでフォトグラメトリーによるCGセットと、トラッキングデータの整合性を高めることができたと思います」(亀村氏)。

    POVの撮影方法も気になるところだが、そちらは岡村良憲キャメラマンが、姉を演じた高田静流のまさに顔の真横から撮るという、かぎりなく二人羽織の状態で行われた。実写撮影の様子は、本作のメイキング動画から垣間見ることができる。キャメラマンの影がセットに落ちる、猫のトレーナーが見切れる、猫を誘導するためのエサやしかけ等々、バレ消し作業が膨大に発生することが想定されていたが、自ずとフォトグラメトリーとカメラトラッキングの精度を高めるための現場対応が求められていたことが窺える。「公開日との兼ね合いで年明け早々には納品する必要があったこともあり、CG・VFXの本制作は12月20日過ぎからの約2週間で、ほぼ全編(4分弱)にわたるショット分の作業を仕上げる必要がありました。そうした意味でも、事前の準備が大切だと実感しました。3段階に分けてプリビズを作成したりと、通常よりも入念に行うことができたのですが、それでも撮影現場では不測の事態が発生したのでなおさらですね」(加藤氏)。

    PhotoScanによるフォトグラメトリー(屋外)



    • グリッドチャートを用いたカメラ内部パラメータの事前解析



    • 読み込みんだカメラ画像のカメラ内部パラメータをプリキャリブレーション


    空部分をマスキングした後、カメラ外部パラメータを求めて、ポイントクラウドを生成

    スタジオ内に建てられたセット(屋内)のフォトグラメトリー


    識別番号を割りふったコーデッドマーカー。本文でふれたとおり、フォトグラメトリーならびにトラッキングの両作業で共通のマーカーが用いられた



    • コーデッドマーカー間の距離を事前に計測しておくことで3D空間を構築する際の定義にも活用



    • 空部分をマスキングした後、カメラ外部パラメータを求めて、ポイントクラウドを生成

    SynthEyesによるセット内空間のトラッキング作業例

    3DEqualizerによるトラッキング作業例。スチールと撮影カメラ(Sony α7S)のトラックポイントを共有することで3D空間を再現し、マッチムーブ解析精度を上げている


    3DEqualizerを使い、現場で撮影したスチールからキッチンまわりの空間を3D空間化した状態


    PhotoScanで生成した3Dデータを基に屋外の街並み環境を作成する。緑にハイライトされているのは、PhotoScanから書き出したプロジェクション用カメラ。元写真の枚数分、300個のカメラが並んでいる(元写真の1枚あたりの解像度は3K)



    • 右下にあるのが、300個のプロジェクション用カメラ。写真撮影は、ロケハンでキャメラマンに決めてもらったニュー新橋ビルの屋上で実施。ビル角で撮影したそうだが、カメラの位置が正確に反映されていることがわかる



    • 300個のうち1つのカメラによるプロジェクションを表示したもの


    プロジェクションカメラから見た状態。実際のカメラワークに応じて、ビル群の見え方が一番良いプロジェクションカメラをフレーム単位で選択。そのデータ中の各建造物ごとに、ディテールアップや各種調整を施していくという、非常に細かな作業が求められた

    次ページ:
    03 3DCG & コンポジットワーク

    [[SplitPage]]

    03 3DCG & コンポジットワーク

    限界に挑んだからこその格別の達成感

    ワンカット長回しで撮ったかのように仕上げるにあたっては、実写素材を12カットほどに分けてつないであるという(編集点は暗転などカメラを大きく振ったタイミングで乗り換えているそうだ)。「オフライン編集はふたりのエディターさんがつないだものに対して、柳沢監督自身でも編集を施すかたちでまとめられてありました。尺調整との兼ね合いもあって、細かな可変処理も施されているのですが、トラッキングの精度を高めるために自分の方で元の撮影素材から再構成した上でOJさんにはCG・VFX作業を進めてもらいました。セット内のリファレンス写真を大量に撮っていただけましたし、フォトグラメトリーによる3D環境(トラッキングデータ)を提供してもらえたので、ワンカットに見えるようにつなぐこと自体はそこまで苦労しなかったのですが、バレ消し作業が膨大に発生したので時間との戦いでした」(佐々木氏)。バレ消し/マスク切り作業の中でも特に窓の処理が大変だったそうだが、佐々木氏と交流のある6名のFlameアーティストに協力してもらったそうだ。さらに、PC画面の差し替えや中盤に登場するトートバッグへのカラスのイラスト(ゲーム自体のキーファクターのひとつ)のプロジェクションといった演出的に重要な合成処理も随所に施されている。

    3DCGによる主たるエフェクトは、中盤に登場する蛇口から出る水と、それをコップに汲んで、倒れたストーブから出た火に蒔いたときの流体エフェクト(いずれも重力が逆方向のため、天井に向かって落ちていく)と、クライマックス前の本棚から妹に向かって落ちていく数十冊もの本だ。いずれもデジタルアーティストの市川 悟氏がリードした。「流体エフェクトについては、HoudiniでシミュレーションしたものをAlembic形式でMayaに読み込みV-Rayでレンダリングしました」。シンクまわりも亀村氏がしっかりと3D環境を用意してくれたので、それを基にシミュレーション。大変助かったとのこと。「落下物については、本のほかに破片やリンゴも作成しましたが、いずれも役者さんの演技や演出面への配慮が多いためシミュレーションではなく手付けでアニメーションさせています」(市川氏)。窓抜けの背景処理については、ベランダと窓枠は3DCGで作成。さらに窓自体の汚し素材についてもCGで作成されたが、こうしたさりげない加工によって確実にリアリティを高められたという。「背景素材をショットに組み込んでみると、近景の建物と遠景の間に視差がつかないことから平面的に見えてしまいました。そこでNUKE上で、適当な位置でマスク分けして視差を加えています。また、監督からのリクエストでビルのディテールが見えるようにハイライトを追加しました」とは、窓抜けの背景表現のコンポジットワークをリードした中江昌彰氏。

    姉妹と子猫が窓から外へと飛び出した後のクライマックスもやはり作業は難航した。「昨年末の段階で、合成クオリティについてはおおむねOKとなったのですが、年明け早々の納品間際の段階で、役者さんをもっと奥まで飛ばしたいという修正リクエストをいただいたのです。そこで、フォトグラメトリーデータを加工して遠方にビルのオブジェクトを追加するなど細かな調整を行いました。難易度が高く、制作中はとにかく大変でしたが、それぞれのスタッフのセンスが良く、上手くかみ合って今回の作品を仕上げることができたと思います。このメンバーと、このタイミングだったからやりとげることができたと思うのですが、毎回このレベルを求められてしまうとさすがにキツいでしょうね(笑)」(松本氏)。公開後には、柳沢監督が自身のFacebookを通じて全スタッフのクレジットを公表したことから(粋なはからいである)、CG・VFXスタッフたちにも様々な反響が届いているそうだ。「海外でも評判が良いらしく、ここまでの反響は初めてだったのでとても感慨深い作品になりました。同業の方に好評いただくのは嬉しいことですが、本作のように一般の方からの反響というのは格別のものがありますね。これからもがんばっていこうと思います」(松本氏)。


    Flameによる実写素材のクリーンアップ作業の例。猫が演技をしているように見せるにはトレーナーの存在が不可欠だが、撮影プレートの随所でバレてしまっているため、OJから提供されたトラッキングデータ(FBX形式)と写真素材を用いて消し込み処理が施された。(図・左上)top ビュー(この3D空間を真上から見た状態)/(図・右上)Resultビュー(このショットの最終的な見た目)/(図・左下)カメラマップをしているaction(AEにおけるコンポジション)のスケマティックビュー/ (図・右下)このシーン全体のスケマティックビュー

    クリーンアップ作業のBefore(画像左)/After(画像右)


    中盤に登場する重力方向が真逆になった水の表現(蛇口から出る水、姉がコップから蒔いた水)は実写では撮れないため、Houdiniによる流体シミュレーションが用いられた。図は、FLIPで作成した水のメッシュとコリジョンオブジェクトのワイヤーフレームを表示した状態

    水エフェクト合成のBefore(画像左)/After(画像右)


    クライマックス直前に描かれる、ベランダへ通じる高窓の上に立った妹に向かって落ちてくる本は3DCGで対応した(演技とのインタラクションや役者の安全面を考慮)。本の手付けアニメーションに加え、パーティクルで作成したガラス片、ベランダ、窓枠をMayaで作成



    • 撮影プレート



    • 合成した最終形



    ベランダ越しの背景環境のNUKEによる加工例。CG班から提供された素材のままでは、実際のカメラワークが付くとフラットに見えてしまったため、近景と遠景にマスク分けした上でそれぞれに応じた質感の調整が施された(UI中央のグリーンのワイヤーフレームは室内の3D空間)

    クライマックスの背景環境の拡張について


    PhotoScanから書き出した背景モデルに対して、カメラ移動によって見えてくる建物ごとにメッシュを整理。それに応じて、カメラマップしているテクスチャにも調整が施された



    • さらに目立つビルの屋上にダクト等の細かなパーツを追加。解像度が足りない建物も新規にモデリングしたものに置き換えられた



    • 窓抜け用のHDRIを加工して、シーンのライティングに利用

    コンポジット作業過程を図示したもの



    • 初期の太陽入り背景



    • ビル群の質感調整を行うため、太陽なしのフラットなイメージ素材にレタッチした上で、コンポジット上でリフレクションを追加するワークフローを採用



    • 手前のビル群を切り抜き、視差をつくるために手前のビルをマッピングした外側よりも小さいスフィアをシーン内に配置



    • 太陽をなくしたことで、日陰になってしまったビルにハイライトを追加



    • ベランダのCG素材を合成。その上でカラコレ、LUTを適用



    • CG班が作成した窓に対する室内映り込み素材と汚れ素材を合成


    実写プレートを合成した最終形

    背景素材のブレイクダウン



    • プロジェクションマップしたHDRIをそのままレンダリングした状態(奥の街並みや空はそのまま使用)



    • PhotoScan素材を加工したビル群



    • ガラスの映り込みやライティング素材を個別に書き出し、コンポジットで調整。さらに、下手の太陽のフレアを再現



    • 元のHDRIを合成した上でLUTを当て、最終的な画角に寄せた状態



    • 月刊CGWORLD + digital video vol.220(2017年4月号)
      第1特集:最新レンダラ徹底比較
      第2特集:デジタル作画 最新動向

      定価:1,512円(税込)
      判型:A4ワイド
      総ページ数:144
      発売日:2017年3月10日
      ASIN:B01MSB5L7Y