02 オブジェクトトラッキング＆フォトグラメトリー
コーデットマーカーを用いた作業データの共有化実写撮影は、昨年12月1日（木）から3日（土）までの3日間にわたって東宝スタジオで行われた。先述のとおり、撮影セットならびに窓抜け背景については、リアリティキャプチャをベースにCG環境が作成されたが、CG・VFXまわりのテクニカルアドバイザーを務めた亀村文彦氏（ロゴスコープ）の提案により、PhotoScanによるフォトグラメトリーが採用された。「窓外の背景については当初からHDRIによるIBLを予定していたのですが、チェックを重ねるうち、立体感が出ないなどの理由から、3Dで作成することに後から変更したのですが、こちらもPhotoScanで3DCG化に挑戦しました。ツールの仕様やスケジュール面の制約もあって、完全な環境を構築するまでにはいたりませんでしたが、今後も活用していきたいですね」（亀村氏）。室内セットの撮影では、フォトグラメトリー用とカメラトラッキング用のマーカーを共通化、さらに各マーカーにナンバリング（1～90までの2セット、計180枚を使用）することでPhotoScan上で3D空間を構築する際の定義にも役立てられた。「マーカーの貼り付けは、一連のトラッキング作業をリードされた加藤（泰裕）さんと手分けして行いました。マーカーを貼った後は、各マーカー間の距離も計測しておくことでフォトグラメトリーによるCGセットと、トラッキングデータの整合性を高めることができたと思います」（亀村氏）。
POVの撮影方法も気になるところだが、そちらは岡村良憲キャメラマンが、姉を演じた高田静流のまさに顔の真横から撮るという、かぎりなく二人羽織の状態で行われた。実写撮影の様子は、本作のメイキング動画から垣間見ることができる。キャメラマンの影がセットに落ちる、猫のトレーナーが見切れる、猫を誘導するためのエサやしかけ等々、バレ消し作業が膨大に発生することが想定されていたが、自ずとフォトグラメトリーとカメラトラッキングの精度を高めるための現場対応が求められていたことが窺える。「公開日との兼ね合いで年明け早々には納品する必要があったこともあり、CG・VFXの本制作は12月20日過ぎからの約2週間で、ほぼ全編（4分弱）にわたるショット分の作業を仕上げる必要がありました。そうした意味でも、事前の準備が大切だと実感しました。3段階に分けてプリビズを作成したりと、通常よりも入念に行うことができたのですが、それでも撮影現場では不測の事態が発生したのでなおさらですね」（加藤氏）。
PhotoScanによるフォトグラメトリー（屋外）
-
グリッドチャートを用いたカメラ内部パラメータの事前解析
-
読み込みんだカメラ画像のカメラ内部パラメータをプリキャリブレーション
空部分をマスキングした後、カメラ外部パラメータを求めて、ポイントクラウドを生成
スタジオ内に建てられたセット（屋内）のフォトグラメトリー
識別番号を割りふったコーデッドマーカー。本文でふれたとおり、フォトグラメトリーならびにトラッキングの両作業で共通のマーカーが用いられた
-
コーデッドマーカー間の距離を事前に計測しておくことで3D空間を構築する際の定義にも活用
-
空部分をマスキングした後、カメラ外部パラメータを求めて、ポイントクラウドを生成
SynthEyesによるセット内空間のトラッキング作業例
3DEqualizerによるトラッキング作業例。スチールと撮影カメラ（Sony α7S）のトラックポイントを共有することで3D空間を再現し、マッチムーブ解析精度を上げている
3DEqualizerを使い、現場で撮影したスチールからキッチンまわりの空間を3D空間化した状態
PhotoScanで生成した3Dデータを基に屋外の街並み環境を作成する。緑にハイライトされているのは、PhotoScanから書き出したプロジェクション用カメラ。元写真の枚数分、300個のカメラが並んでいる（元写真の1枚あたりの解像度は3K）
-
右下にあるのが、300個のプロジェクション用カメラ。写真撮影は、ロケハンでキャメラマンに決めてもらったニュー新橋ビルの屋上で実施。ビル角で撮影したそうだが、カメラの位置が正確に反映されていることがわかる
-
300個のうち1つのカメラによるプロジェクションを表示したもの
プロジェクションカメラから見た状態。実際のカメラワークに応じて、ビル群の見え方が一番良いプロジェクションカメラをフレーム単位で選択。そのデータ中の各建造物ごとに、ディテールアップや各種調整を施していくという、非常に細かな作業が求められた
