はじめよう！踏み出そう！VFX！:第1回：Blenderで踏み出す実写合成！【ステイホームVFX連動企画】 | 連載

〈Step 3〉3D空間での動きの推測：ソルブ

次に「点」の動きを元にカメラの動きを推測します。難しそうに聞こえますが、カメラの情報を入力してボタンひとつで完了します。

◀【1】映像の右側の［トラック→カメラ］にカメラの情報を入力します。今回はBlackmagic Pocket Cinema Camera 4Kの4Kサイズで撮影しているので、［センサーサイズ］は［18.96］（mm）と入力します。カメラのセンサーサイズは、公式HPや説明書の仕様欄に記載があります。［レンズ］の［焦点距離］には、撮影時の焦点距離を入力します。今回は28mmで撮影したので、［28］と入力します

◀【2】映像の左側の［解析→解析→カメラモーションの解析］のボタンを押すと、自動で解析が始まり、カメラの動きが推測されます

◀【3】もしカメラの焦点距離などの情報がわからない場合は、映像の左側の［解析→解析→絞り込み→焦点距離］をONにすることで、必ずしも正確ではありませんが焦点距離とセンサーサイズを自動で計算してくれる機能もあります

〈Step 4〉修正

次に、精度を高める「修正」の工程に入ります。

◀【1】カメラモーションの解析を行うと、映像のパネルの上部に「Solve error: ●.●●px」という数字が出るはずです。この値が低いほど高い精度でカメラの動きを推測できているという目安になります

Solve errorは少なくとも1.0以下、できれば0.3以下を目指すと良いはずです。ただしあくまで目安であり、シーンによっては高い値でも問題ない場合もあります。

このSolve errorの値を下げる方法はいくつかあります。

▲【2】明らかに他と違う動きをしている「点」は、画面下のタイムラインのグラフでこのように飛び出て見えます。このグラフはグラフ上で［Ctrl］キーを押しながらマウス中ボタンをドラッグすることで縦横自由に拡大縮小できます

◀【3】また、画面左上のドープシートから、エラー値の高い「点」を一覧で探すこともできます

◀【4】他にも、映像の左側の［解析→クリーンアップ］を使うことで、エラー値が一定以上の「点」を自動的に削除することもできます。しかし、エラー値はあくまで目安で、実際には高い精度でトラッキングできている「点」が削除されてしまうこともあるため、この機能は慎重に使う必要があります

◀【5】新しく「点」を追加して分析をし直したり、精度の悪い「点」を削除することでこちらの環境では最終的に［Solve error］を0.20まで下げることができました（0.3程度でも十分です）

適宜セーブをお忘れなく！

〈Step 5〉3Dシーンの作成

いよいよ「マッチムーブ」の最後の工程「3Dシーンの作成」です。3Dシーンを作成するにはいくつか方法がありますが、手っ取り早いのは［シーン設定］から自動で行うことです。

◀【1】映像の左側の［解析→シーン設定→トラッキングシーン設定］のボタンを押すと、自動的に3Dのシーン作成が行われます

▲【2】トラッキングの状況によってテストオブジェクトの見え方が異なることがありますが、自動でトラッキングシーンが作成されました。ただ、プロキシの影響で背景映像が見えないことがあります（ピンク色はメディアオフラインを示しています）

◀【3】もし背景がピンクになっていたら、まず画面右上のアウトライナーから、［Camera］を選択します

◀【4】［Camera］を選択したら、画面右のプロパティパネルのカメラアイコンの［下絵→歪みなしでレンダリング］のチェックを外すと3Dビューでも背景映像が正常に見えるはずです

▲【5】テストオブジェクトが邪魔なので、右上のアウトライナーから［Cube］と［Light］と［Ground］を複数選択（［Ctrl］を押しながら左クリック）したのち、［右クリック→削除］します

◀【6】最後に［foreground］と書かれたフォルダを選択して、次の工程に進みます（こうすることで、次オブジェクトを追加するときにforegroundフォルダに分類されます）

◀【7】ここからは3Dビューも使います。Blenderの3Dビューの操作の早見表を作成しましたので、適宜スマホ等に表示してご活用ください。画像をクリックすると大きなサイズで表示されます

▲【8】映っているキーボードの左端のEscキーと右端のPgUpキーの距離が27.5cmだったので、新しくキーボードのEscキーとPgUpキーの位置に「点」を追加し、トラックした後［カメラモーション解析］を行います。［解析→座標系］の［距離］欄には［0.275］（単位はm）を入力し、その上の［スケールを設定］をします

▲【9】映像上で机の天板上にある3つの「点」を選択して、［解析→座標系→床］のボタンを押すと、机が3D上のxy平面に接地されます。もしまだ机の天板上に「点」を作っていない場合、この段階で新しく追加しても問題ありません。机の上の「点」を追加後、先ほどと同じようにトラックしてから［解析→解析→カメラモーションの解析］を行います

▲【10】画面右上の3Dビューでフロント視点から見ると、机の「点」がxy平面に集まっていることがわかります

▲【11】カメラ視点に戻します。これで、Blender内でのスケールと映像内のスケールが一致しました。いくつかオブジェクトを追加してみましょう。デフォルトのプリミティブはどれも2mくらいあるので、［S］でサイズを小さくするとちょうど良いはずです。フロント視点で高さを机の天板（xy平面）に合わせるとより「そこに置いてある感」を出せます。［スペース］バーで再生すると、映像とCGの動きがぴったり合っているはずです

◀【12】ちなみに机の中央の錆びた青い箱は一辺6cmなので、プリミティブで6cmの箱を作りぴったり重ねるように配置すると、完全に合わせることもできます。ただしこれはある程度の精度が出ていないとぴったり合わないので、今回は何となく動きが合っていればよしとします

これにて「マッチムーブ」終了です。これで実写のカメラの動きとCGのカメラの動きを合わせることができました。最後にセーブもお忘れなく。

【理論】なぜこうするの？

「マッチムーブ」では、いくつかの「点」同士の「動きの差」からモノの動きを割り出します。とはいえ映像上の「点」の動きだけでは、カメラが動いているのか、点そのものが動いているのかわかりません。

今回〈Step 2〉で試した「カメラトラッキング」は「点」が舞台に固定されているものと仮定し、カメラの動きを推測しています。そのため「点」は舞台上で動かないものを選ぶ必要がありました。見る角度によって見た目が変わってしまう反射物や人間など、舞台上で変化したり動くものは今回の「点」としてはふさわしくありません。

また「点」同士の「動きの差」も重要なので、舞台上での「点」同士の距離がある程度離れている必要がありました。舞台上で場所が近い「点」ばかりでは「点」同士の「動きの差」が少ないため、正確にカメラの動きを推測することができません。

今回は扱っていませんが、逆にカメラが固定されていると仮定し「点」の動きを推測する「オブジェクトトラッキング」というものもあります。人間の顔をCGに置き換えたり、動いているモノにCGを付け加えたりできます。「カメラトラッキング」と「オブジェクトトラッキング」を組み合わせれば、カメラも被写体も動いている状況で実写とCGの動きを合わせることもでき、さらに幅広い表現が可能になります。もちろん、Blenderでも可能です。