02：背景を「キーイング」してみよう！
「キーイング」とは、色や明暗の差などから映像の一部を抜き取る技術です。よく映画のメイキングなどで緑の背景（グリーンバック）で撮影しておき、そこにCGを合成、というのを見かけますよね。それを実際にやってみます。
【実践】よくわからなくてもOK！ まずは手順通り触ってみよう！
〈Step 0〉Delta Keyer ノードを配置する
-
- ◀【1】［Ctrl+Space］でノード検索窓を表示します。検索窓に"dk"と入力し、［Delta Keyer (DK)］を選択して、［Add］（もしくは［Enter］キー）してください
-
- ◀【2】ノードグラフに新しい［DeltaKeyer1］ノードが追加されました。何かに繋がった状態で追加された場合は、［Shift］を押しながらドラッグして周りと切り離します。何やらたくさん入力ソケット（色とりどりの三角）がありますね
▲【3】このように、［DeltaKeyer1］ノードを［InputTransform］ノードの次に設置します。［Shift］を押しながらノードを線の上にもっていくと割り込ませることができます。［DeltaKeyer1］の「黄色」の入力ソケットに線が繋がっていることを確認してください
〈Step 1〉キーイングカラーを指定する
-
- ◀【4】［DeltaKeyer1］ノードを選択すると、画面右側にこのようなプロパティが表示されます。［Background Color］横のスポイトアイコンを掴んだままドラッグすると、画面上でキーイングカラー（＝透過する色）をピックできます
▲【5】スポイトをビューまでドラッグして、顔の近くのグリーンバック上で色をピックします。何度かピックして一番綺麗に透過される色を探します。グリーンバックがある程度抜けて透明になりました（チェッカー模様は透明な部分を表しています）
キーイングカラーは抜きたい対象（被写体）の近くで最も綺麗に抜ける色を取るのが一般的です。ビューはノードグラフ同様、マウスの中ボタンドラッグで前後左右の移動、［Ctrl+ホイール］でズームできます。
▲【6】最後の［ViewingTransform］ノードを選択した状態で［2］キーを押し、右のビューに映像を表示します。右ビューの上部にある3つの円が重なった［Color］アイコンをクリックし、Alpha表示にします
表示した右のビューでは白が不透明、黒が透明であることを表しています。まだ背景には白く残っている部分があり、人物は黒く透けてしまっている部分があります。次のステップからこれを改善していきます。
〈Step 2〉Clean Plate ノードの設置
-
- ◀【7】［Ctrl+Space］でノード検索窓を表示します。検索窓に"cpl"（最後のlは小文字のLです）と入力し、［Clean Plate(CPl)］を選択して、［Add］（もしくは［Enter］キー）してください
▲【8】［CleanPlate1］ノードが追加されたら、右下の［ViewingTransform］ノードを［Ctrl+C］と［Ctrl+V］でコピー＆ペーストし、［CleanPlate1］の次に接続します
▲【9】①［CleanPlate1］ノードと［InputTransform］ノードを接続します。②［ViewingTransform_1］を選択した状態で［2］キーを押して右側のビューに表示します。一瞬右のビューが白くなりますが、焦らず③右ビュー上部の先ほどクリックしたアイコンを再びクリックし、［Alpha］ビューから［Color］ビューに戻します。このような表示になるはずです
▲【10】［CleanPlate1］を選択し、右側のプロパティで今度はグリーンバックのみを抽出します。余計な色がフチなどに残らないようにしながら、ギリギリまで背景を抽出できる値を試行錯誤しながら探っていきます。今回は上記の値が最も良い結果を得られたので、この数値を入力してください
今回は使用していませんが、プロパティ一番上の［Method］を［Color］から［Ranges］にすると、ビュー上で四角く選択した範囲の背景を抽出することもできます。これらのプロパティは撮影時のライティングや被写体の色などによって最適な値が変わるため、素材ごとに試行錯誤して良い値を探していきます。
▲【11】次に［Grow Edges］の値を上げ、［Fill］にチェックを入れて穴を埋めます。ここで明らかにグリーンバック以外の色が載っている場合は前のプロパティの値を見直してください。先ほどの数値通りであれば、おおよそこのような見た目になるはずです
これでClean Plate＝緑の背景のみの映像が出来上がりました。
▲【12】最後に、［CleanPlate1］ノードの出力ソケットと、［DeltaKeyer1］ノードの「ピンク」の入力ソケット（CleanPlateソケット）を接続します
▲【13】先ほどと同様右下の［ViewingTransform］ノードを選択した状態で［2］キーを押し、右ビューの上のアイコンからAlpha表示にすることで透過具合を見ることができます。前景が透けているのはそのままですが、背景は綺麗に抜けていることがわかります
［Ctrl+S］でプロジェクトの保存をしておきましょう。
〈Step 3〉マットを調整する
-
- ◀【14】もう少し細かい調整に入るので、ビューを変えます。［DeltaKeyer1］を選択し、画面右側のプロパティから［View Mode］を［Status］に変更します
▲【15】［Status］ビューでは、黒が透過、暗いグレーが半透明、明るいグレーが不透明であることを示しています。前景に半透明な部分が多く、透けてしまっていることがわかります
▲【16】タイムラインから5フレーム目に移動します
-
- ◀【17】［DeltaKeyer1］のプロパティの、［Matteタブ→Threshold］の範囲を変えてみます。［High］の値を下げると前景の不透明部分が減り、［Low］の値を上げると背景の不透明部分が減ります。［Clean Foreground］の値を上げると前景のマットが滑らかになり、［Clean Background］の値を上げると背景のマットが滑らかになります。数値をいじって一通り試してみたら、元に戻します
-
- ◀【18】［Clean Background］の値を"0.001"に上げ、［Threshold→Low］の値を"0.1"に上げます。値を入力したあとは、［Enter］もしくは何もない場所をクリックして決定します。背景に残っていた暗いグレーの部分（不透明部分）が消えました
-
- ◀【19】［CleanForeground］の値を"0.001"に上げ、［Threshold→High］の値を少しずつ下げていきます。前景の暗いグレーの部分（不透明部分）が消えていきます。しかし、前景の半透明部分が完全になくなるまで［Threshold］の値を下げると、右手のブレた部分も完全な不透明になってしまいました。また、緑は色かぶりの補正で質が落ちている箇所を示しています
-
- ◀【20】プロパティ一番上の［View Mode］を［Final Result］に変更して見てみます。一見良さそうに見えますが、よく見ると右手のブレているところのエッジが硬すぎて不自然な見た目になってしまいました。「ブレ」の部分は背景が透けて見えるはずです
-
- ◀【21】［Threshold→High］の値を1.0に戻します
〈Step 4〉リファレンスカラーの指定
この問題は、衣装の色かぶりが原因です。今回はリファレンスカラーを使用して、この問題を改善します。
-
- ◀【22】［Keyタブ→Reference］の色指定によって、色かぶりで抜けてしまった部分を取り戻すことができます
-
- ◀【23】［Reference］の右のスポイトを使って右腕の服の袖あたりの明るい色をピックしてみます。同じ値にしたい場合は画像に表示されているRGB値を［Reference］の下の数値欄に直接入力してください
▲【24】プロパティ上の［View Mode］を［Status］にしてみると、服の暗いグレーが減りつつ、右手のブレた部分は先ほどよりも残っていることがわかります
-
- ◀【25】［Matteタブ→Threshold→High］の値を下げ、服の上の暗いグレー（半透明部分）が全てなくなるギリギリの値を探します。先ほどより値を下げなくても全ての暗いグレー（半透明部分）が消えるはずです
-
- ◀【26】プロパティ一番上の［View Mode］を［Final Result］にして見てみましょう。ブレた手の半透明部分をある程度残したまま前景を不透明にすることができました
〈Step 5〉エッジの調整
-
- ◀【27】最後に［Matte→Erode/Dilate］の値を"-0.0006"にします。エッジが若干内側に食い込み、細かい違いですが馴染みが良くなりました
ここまできたら［Ctrl+S］でプロジェクトを保存しておきましょう。
【理論】なぜこうするの？
そもそもなぜ背景が緑なのでしょうか。これはコンピュータは画像をRGB（赤・緑・青）で処理するため、RGBのいずれかに偏っていたほうが画像の処理がしやすいというのが一番の理由です。そして赤よりも人の色に被りにくく青よりも明るく撮りやすいため、緑がよく選ばれます。しっかりとした照明環境があれば、青（ブルーバック）の方が良い場面もあります。
今回のノードでは読み込まれた映像素材はまず［CleanPlate1］ノードと［DeltaKeyer1］ノードにながれています。［CleanPlate1］ノードでグリーンバックのみの映像を作った上で、［DeltaKeyer1］ノードでそのグリーンバックのみの映像と、元の映像素材を比較して色を抜いているというながれです。ノードで見るとシンプルですね。
ちなみに今回紹介したキーイングの方法はあくまで一例です。他にも被写体のうち絶対に不透明な内側の「芯」と、ブレや髪の毛など半透明な部分がある「フチ」を分けてキーイングして組み合わせる方法や、映像素材に合わせてもっと柔軟にいくつかのキーイングノードを組み合わせていく方法など、様々なアプローチがあります。今回使用したDeltaKeyerはあらゆる機能が入った万能キーヤーですが、慣れてきたら他のノードを組み合わせてみるのもオススメです。
Point！ グリーンバック撮影のコツ
実は今回、実用的な練習のためにあえてキーイングしづらい照明と衣装で素材を撮影しています。実際には以下の点に気をつけて撮影すべきです。
▶グリーンバックは色が均等になるように、十分な明るさの照明を当てる
▶被写体にグリーンバックの緑色が被らないように距離を置いたり、黒幕等でライティングをコントロールする
......とはいえ、個人制作で十分な光量の撮影用照明を買い揃えたり、自由に配置できる広いスペースを確保するのはなかなか難しいですよね。そこでClean Plateによって不均等な照明下の素材でも綺麗に抜いたり、リファレンスカラーによって色かぶりが強い素材でも比較的綺麗に抜く方法を紹介しました。予算があれば先に照明等の撮影環境を工夫すべきなので、これらの機能は本当は使わないのが理想です。
また、カメラや記録フォーマットによってもクオリティは変わってきます。今回はRAW撮影ができるBlackmagic Pocket Cinema Camera 4K というシネマカメラで撮影していますが、スマホや一般的なデジカメで撮影した素材は圧縮がかかっており、綺麗に抜くのが難しい場合が多いです。ものによっては後処理である程度改善できたりもしますが、かなり上級者向けかつ大きくクオリティが上がるわけではないので、今回は説明を省いています。
Log撮影ができるカメラがあれば、Logで撮るのもオススメです。Log撮影は対数で上手く色情報を濃縮し保存しているので、通常のビデオ撮影よりも良い結果が出せます。Logで撮った映像素材を使う際は、今回作成した［InputTransform］ノードの［Source Space］プロパティから使用したLog形式のInputを選択します。
