>   >  NUKE プラクティカル・ガイド:Vol.5:3D トラッキングとカメラプロジェクションを用いたクリーンアップ
Vol.5:3D トラッキングとカメラプロジェクションを用いたクリーンアップ

Vol.5:3D トラッキングとカメラプロジェクションを用いたクリーンアップ

前回 「Vol4:実写合成ツールとしての Nuke 活用法」 は、2D トラッキングを利用して、実写プレートからバレ物を消し込む方法を紹介した。今回も引き続き実写素材を用いた CleanUp を取り上げるが、前回と異なり、3Dトラッキング(CameraTracker)とカメラプロジェクション(Project3D)を使った方法を紹介しよう。

はじめに:実写素材から隠れた部分を作り出す原理

今回は、下の動画から手前を横切っている人物を NUKE で消し込む(CleanUp)ことにする。

 

被写体に対して、カメラがトラック移動などで横に動いた場合、静止したオブジェクトの位置が手前にあるか奥にあるかで、画角内の移動量が変わってくる。遠景の山はほとんど動かないのに、手前の演者さんがカメラの動きで大きく画面上を動く......ということを想像してもらうと分かりやすいだろう。
しかし、今回の作例のように、パン(カメラを左右に振り撮る)やティルト(カメラを上下に振り撮る)を使い、カメラを回転させて撮影した映像では、実写プレートに映り込んでいる、静止したオブジェクト同士の位置関係が変わらず、球体に画をマッピングしてカメラを動かした時と同様の見え方となる。

例えば、自分の目の前に人垣ができている場合、自分の頭(目)の位置を変えず、首の振りだけで人垣の向こうを見るのは不可能で、背伸びや半歩横にずれたりと、頭(=カメラ)の位置を変えなければ、奥は見えない。つまり、首を振っている(=カメラを移動せずに回転している)限りは、視界に写っている手前のオブジェクトと奥にあるオブジェクトの位置関係に変化はないわけだ。
繰り返しになるが、カメラを回転して撮影した実写プレートは、球体にマッピングして、その球体を中心からカメラで撮影しているのと変わらない。実際には、回転の軸の位置等で違いはでるのだが、マクロ撮影でもない限り、無視できる範囲のものだろう。

球体にカメラプロジェクション

球体にカメラプロジェクションするとこのような感じになる。パンやティルトというカメラの動きはこれで表現できる

動画の撮影にはパナソニック LUMIX GF2 を使い、手持ちでパンのように身体を回転させ、撮影した。映像では、カメラの前を人が横切っているが、その人影で見えなくなった背景は、別のフレームでは見えている。しかも、前述した通りパンで撮影しているため、そこから同じ画を作り出すことが可能だ。横切る人物で隠れた部分を、別のフレームから補うということができるというわけだ。

360フレーム目 380フレーム目

360 フレーム目<左>にいる人物が、380 フレーム目<右>では同じ場所に居なくなっていることが確認できる

上の画像では、まずカメラの正確な動きを知るために [CameraTracker] ノードを用いて 3Dトラッキング。プリミティブなジオメトリである [Sphere] ノードを呼び出し、そこに検出したカメラから、対応するフレームの撮影プレートを [Project3D] ノードを使い投影している。実際に 360 フレーム目(人が映り込んでいる)と、380フレーム目(人が見切れている)とをオーバーラップさせてみると......

フレームをオーバーラップ

2つの画像を重ねてみると、背景のパース感がほぼ合っていることが判る。この理屈を使えば、人物で隠れている部分の画を作り出すことが可能だ

上手い具合に、重なっているのが確認できた。また試しに、元の実写プレート( Sphere に投影していないもの)を、後ろに写っている塔を基準に合わせてみると......

動画プレートの調整

何も調整していない動画プレートの360フレーム目(上)と380フレーム目(下)。一見、合いそうに見えるのだが......

別のフレームに重ねる

塔を基準に合わせてみると、2つの画像の背景パースが異なるため、ダブってしまった

このように、上手く合わない。もう少し分かりやすい例として、この撮影プレートの一番最初、つまりパンの始めのフレームと、パンの終わりのフレームを見比べてみよう。

パースに違いが出る

赤で引いた線は平行ではなく、パースに違いがあることが判った

よく見ると建物のパースが違っているのが確認できる。これでは上手く合わないのも当然だ。
くどくなるが、今回、紹介する手法では、あるフレームの画角から、そのフレームの画を球体に投影して、別のアングルから再度撮影というもの。従い、最初に説明したようにパンやティルトといった回転系のカメラの動きであれば、パースが違えど画角内でのオブジェクトの位置関係に変化がなく、また、そのパースも球体の中から撮影することで解消される。

球面に投影

パンの始めの画を球体に投影し、330フレーム目のカメラ画角から再度撮影したもの(上)と、パンの最後の画を球面に投影し、330フレーム目のカメラ画角から再度撮影したもの(下)

差分

一番下の差分を見ると判るが、建物、地面のパースがほぼ合っていて、黒くなっているのが確認できる

長々と説明してきたが、このような手法を用いることで手前を横切る人で隠れてしまっている部分の画を構築することが可能だ。

その他の連載