VFXの基礎的な理論と手法の概略を初心者向けに簡単レクチャー。『Hello, VFX!』

「CGWORLD JAM ONLINE 2022」で好評を博した講演『Hello, VFX! 誰でも今から始める実写合成』。VFXのいろはを端的にまとめてご紹介します。

※本記事はCGWORLD288号（2022年8月号）の記事を一部再編集したものです

記事の目次

Information

・アーカイブ動画（要・定期購読）
https://cgworld.jp/special/remotework-plan/
・告知ページ（データ無償配布中）
https://cgworld.jp/special/jam/vol4/program/1042/
・VFX解説記事「はじめよう！踏み出そう！VFX！」
https://cgworld.jp/regular/202104-38912vfx-01.html
https://cgworld.jp/regular/202104-38912vfx-02.html
https://cgworld.jp/regular/202104-38912vfx-03.html

VFXの基礎的な理論と概略をピンポイントでレクチャー

これまでのVFX Anatomyでは、プロフェッショナルたちの実践的なVFXワークを、その名の通り解剖し解説してきました。今月号に限り、今年3月より本連載のライターを務めてきた筆者が「VFXという技術そのもの」を解剖するVFX Anatomy 初級編『Hello, VFX!』として解説を行います。

三宅智之（38912 DIGITAL）

早稲田大学教育学部複合文化学科在学中。小学生の頃からVFXに興味をもち、中学3年時にVFX短編『2045』を公開。平成28年度総務省「異能vation」採択（最年少）。その後都内の映像制作会社でアルバイトをしながら、個人ではフリーランスのVFXアーティスト、ライターとしても活動中。
Twitter : @38912_digital

本記事は、5/28（土）に開催されたオンラインイベント「CGWORLD JAM ONLINE 2022」にて講演した『Hello, VFX! 誰でも今から始める実写合成』をベースに、内容を再構成したものです。講演では、VFXの花形である「マッチムーブ」から、「カラーマネジメント」「クロマキー合成」「カラーマッチ」、最終的な「画づくり」と「書き出し」までを90分でひと通り実演しながら解説しました。

本記事ではさらに講演の内容を圧縮し、VFXの基礎がコンパクトにわかる構成にしています。より詳しい内容や実演の様子は、CGWORLDアーカイブ（定期購読者向け特典）にてご覧いただけます。また、作例で使用した映像素材、途中経過の素材などのデータを告知ページにて無償配布中です。本記事も講演もオープンソースのBlenderと無償版DaVinci Resolveを使用して解説しているので、誰でも今から始められます！

CGWORLD.jpでは初心者向けのVFX解説記事（全3回）を公開しています。こちらも配布データを使いながら楽しく実践的にVFXの基礎を学べる構成になっておりますので、ぜひご覧ください！

さて、本記事では、廃虚となったボーンデジタル本社から、崩壊した九段下を眺める作例をベースに解説します。背景はCGで人物は実写、かつカメラも動いているため、初心者の方にとっては難易度が高いと感じるかもしれません。ですが、VFXはひとつひとつ解剖していけば誰でも始められます。技術をひとつずつ自分のものにして、自由に空想を具現化できるようになりましょう！

次からは、VFXの意義、各技術の具体的な解説に入ります。さぁ、悩むより始めよう、VFX！

＜1＞VFXとは

現実と地続きの表現が得意なVFX

VFX（Visual Effects）とは、実写やCG、ミニチュアワークなどを後処理で組み合わせて、現実では撮影が困難な映像をつくり上げる映像技術です。日本語で視覚効果と呼ばれています。

ではなぜ、映画やCMなど、映像分野で広くVFXが使われているのでしょうか。それは、人間が「現実と地続きの物語」に惹かれるからだと考えています。例えば映画『チャーリーとチョコレート工場』には、ファンタジックで摩訶不思議な世界が登場しますが、物語は「家族愛」を軸に展開します。ほかにも幼少期のトラウマからの脱却であったり、恵まれた現代人への皮肉を子供たちを通して描いたりと、非常に現実的で普遍的なテーマが描かれています。どんなに現実から遠いファンタジックな物語でも、キャラクターやモチーフ、ストーリーの軸などを現実と地続きにデザインすることで、観客は感情移入し自分の物語として楽しむことができるのではないでしょうか。

VFXは、映像の世界において「現実と地続きの空想」をつくり上げるのが得意なテクノロジーです。もし空想を完全に実写で撮るとしたら、例えばミニチュアをピアノ線で吊り、位置を合わせて直接カメラで撮影する「特撮（特殊撮影）」と呼ばれる手法があります。「特撮」は現実と地続きの空想を描くのに非常に優れた手法ですが、コントロールが難しかったり、限られた時間内での撮り直しが難しかったりします。逆に「フルCG」は映像を全てコントロールすることができるほか、撮り直しも実写に比べ非常に簡単ですが、現実らしさを取り込むには高度な技術や感性が必要になります。こうした「特撮」と「フルCG」のいいとこ取りをしたのが「VFX」です。VFXは実写が得意とする現実要素の取り込みと、CGが得意とするコントロールのしやすさを両立しているので、現状最も効率良く「現実と地続きの空想」をつくり上げることができる技術なのです。効率良くつくることで人間は集中すべきところに集中できるようになります。

今後AIの発展により「想像しただけで思い通りの映像をつくれる」という時代がやってくるかもしれませんが、少なくとも現代の映像分野においてVFXは「空想と現実をつなぐ」ことが得意な技術として、広く使われています。

現実と地続きの空想

人は現実と地続きの空想に惹かれる

廃虚は現実が風化し、見慣れぬものに変化したことで生まれる違和感や懐かしさが魅力の舞台だ

『実世界旅行』（2019年製作・YouTube『VFX根性論 –個人が起こす映像革命–』内にて公開中）

爆破とは日常の破壊であり、存在が当たり前だったものが崩れるという非日常への入り口である

『ようこそ早本映画部へ』（2017年製作・YouTubeにて公開中）

魔法や超能力は、現代の科学技術では達成できていない、現実がこうあったらいいのにという空想を具現化したものだ

『購買戦争』（2017年製作・YouTubeにて公開中）

映像で空想を具現化

映像で空想を具現化する方法はいくつもある

ミニチュアやピアノ線を使って特殊な撮影を行う「特撮」は、現実を取り込むことを得意とするが、コントロールが難しい
全てCGでつくり上げる「フルCG」は、コントロールを得意とするが、現実を取り込むのは難しい

現実で撮れるものは実写で、そうでないものはCGで描く「VFX」は、特撮とCGのいいとこ取りをして、効率良く「現実と地続きの空想」を描くことができる技術だ

＜2＞マッチムーブ

「点」を追って、動きを推測する

マッチムーブとは、実写のカメラや被写体の「動き」を映像から逆算してCGに割り当てる技術です。例えば実写映像にCGを合成するとき、そのまま上に重ねただけでは背景とCGの動きがずれて浮いてしまいそうですよね。マッチムーブを使えば、CGの動きをカメラや被写体の動きにぴったり合わせて、まるでその場に存在するかのように見せることができます。このマッチムーブは、VFXの基本テクニックとして映画からCMまで非常に幅広い分野で使われている技術です。とはいえ、比較的シンプルな手順で十分な効果が得られるので、敷居は低くVFX 初心者でも簡単に始められます。

マッチムーブはおおまかに、①特徴的な「点」の動きを追う、②動きの推測、③3Dシーンの構築、というながれで行います。

人間は両目の視差や焦点をはじめとして、あらゆる情報を脳で統合して立体空間を認識しています。一方、コンピュータがマッチムーブをするときは、映像上のいくつかの「点」の動きから、立体空間やカメラの動きを推測します。ここでの「点」とは、地面に落ちている石や壁に貼られた小さなシール、家具のボルトなど、画像として特徴的な「点」のことです。まずいくつかの「点」の動きを追いかけます。次にそれら「点」同士の動きの違いを「移動による視差」だと仮定することで、カメラや被写体の動きを逆算することができるのです。逆に言えば、点に視差以外の動きの要素が含まれているとエラーになってしまうので注意する必要があります。上手くマッチムーブするには「見た目がフレームの間で変化せず」「物体上で動かない」点を追いかけるのが基本です。今回の作例のようにカメラの動きを推測したい場合は、追いかける「点」は空間上で動かないこと（静物上の点）が条件となります。またグリーンバック撮影など、映像上に特徴的な「点」がない場合は、あらかじめテープやシールでマーカーを貼っておくとよいでしょう。

ほかにも、シャッタースピードが遅くブレてしまうと「点」の見た目が変わってしまいトラッキングが難しくなるので、なるべくブレないようにシャッタースピードを上げて撮影することをオススメします。

また、カメラワークはマッチムーブのしやすさに直結します。たとえば近くから遠くのものまで映っており、移動によって十分に視差がある映像は綺麗にマッチムーブできることが多いです。逆に、カメラの動きが少なかったり、画角が狭いときは視差が少なくなってしまい、上手くいかない場合が多いです。このような場合は、撮影時に追加でマーカー（コントラストの強い小さな丸いシール等）を置いたり、解像度を高く広めに撮っておいて、合成後にクロップしたりする手があります。

Blenderによるマッチムーブ

Blenderでも高精度なマッチムーブが可能だ。画面レイアウトを画面上部のタブから［＋→VFX→Motion Tracking］にすることで、マッチムーブ用の画面にできる。画面中央の［開く］から、使用する映像を開く

事前設定

読み込んだら、事前にいくつか設定を行う

映像ビュー右のパネル内の［トラック→カメラ］に、撮影したカメラのセンサー幅、レンズの焦点距離、歪みの値を入れる
再生を軽くするために、プロキシを作成する

特徴的な点を追う

グリーンバックには特徴的な点が少ないので、撮影時にマーカーを貼った。点を追うための枠を［Ctrl＋クリック］で追加し、［G］で移動してマーカーを覆うようにする

映像ビュー左のパネル内の［トラック→トラック］の左から3番目のアイコン［マーカーをトラック］で、先ほど枠を追加した部分の動きを追うことができる

カメラの動きを解析

全てのフレームに8つ以上の点が存在する必要がある。左上のタイムラインの赤色のフレームは点が8つ未満、黄色は8つ以上、グレーは16個以上あることを表す。まずは赤色のフレームがなくなるように、点を増やしていく

エラーを修正する

カメラモーションの解析をすると、映像ビュー右上にSolveエラーの値が表示される。ここは、少なくとも1.00以下、できれば0.30以下を目指すとよい

画面下のグラフで飛び出ている点は動きがズレていないか確認する
左上のシートでそれぞれの点のエラー値が出ている。エラーが高い点は修正が必要な可能性が高い

3Dのセットアップ

3Dのセットアップをしていく

カメラを選択して、右側のプロパティパネルから［オブジェクトコンストレイント→オブジェクトコンストレイントを追加→カメラソルバー］を追加すると、解析したカメラの動きが3Dのカメラに反映される

映像ビューの左側のパネル［解析→座標系］から、壁の向きを設定したり、スケールを合わせたりできる
カメラのプロパティ内の［下絵］をオンにして使用した映像を読み込むことで、3Dビュー上で簡易的に映像を重ねて表示できる

オブジェクトを配置してシーンのセットアップをすると、動きが実写と一致していることがわかる

＜3＞カラーマネジメント

望ましい色の規格に揃えて作業する

映像におけるカラーマネジメントとは、その名の通り映像の「色」を管理することです。多種多様な色の規格をもつ、あらゆる素材を組み合わせるVFXにおいて、カラーマネジメントは重要な概念です。適切にカラーマネジメントを行うことで、その後の工程で感覚に頼る部分を減らすことができます。カラーマネジメントは奥が深く難しい理論も多いのですが、ここで覚えていただきたいのは、「VFXでは望ましい色の規格に揃えて作業する」ということです。

映像における「色の規格」とは、主に「ガンマ」と「色域」と「白色点」によって定義されます。

ここでの「ガンマ」とは、ディスプレイやソフトウェアで人知れず働いている色の歪みのことです。現代のディスプレイ機器にはブラウン管の名残で、中間調の色が暗くなるという色の歪みが加えられています。そのままでは色が歪んで見えてしまうので、コンピュータ側で逆の補正を加え、ディスプレイ機器の色の歪みを打ち消しています。これにより画像の暗部に多くの情報を圧縮できるので、人間の暗いところに敏感という生物的な特性から見ても良い結果が得られるようです。しかし、コンピュータの中で現実の光の挙動を再現するVFXにおいて、この歪みは邪魔な存在です。いったん歪みのない状態にして作業をし、また元に戻す必要があります。

「色域」とは、色の範囲を定めたものです。例えば、人間の可視光はおよそ380～750nmの波長ですが、今のところ可視光全てを表示できるディスプレイは存在しません。RGB（赤・緑・青）の組み合わせによって、限られた範囲の色を再現しています。この範囲の規格（色域）も様々あるため、VFXではいったん広い規格に統一して作業を行う必要があります。最終的に、表示するデバイスの色域に絞ることで、正しい色で表示することが可能になります。

「白色点」とはその名の通り白色の定義です。たとえば電球の前では通常赤寄りの波長が白く見え、蛍光灯の前では通常緑よりの波長が白く見えるなど、人間が白だと感じる色は照明の環境によって異なるため、映像の中での白色の定義は場面ごとに変わります（色順応があるため）。VFXでは、扱う素材の白色点を統一して組み合わせる必要があります。

ここまで「VFXでは望ましい色の規格に揃えて作業する」ことの必要性をご紹介してきましたが、実際の扱いにはかなり高度な知識が必要です。そこで、色の管理システムであるAcademy Color Encoding System（ACES）をご紹介します。ACESは、読み込む素材の規格・作業の用途・再生するデバイスの規格の3つを指定するだけで、望ましいカラーマネジメントを行えるという便利なシステムです。今回コンポジットに使用する無償版のDaVinci Resolve 17でも、標準機能だけでACESを利用することができます。

色の歪み

ディスプレイには色の歪みがある

50％グレーの画像と白黒のパターンを交互に配置した画像を横に並べ、遠目に見てみる

ソフトウェアの補正を切ると、50％のグレーはディスプレイの歪みによって暗く見えてしまう

ソフトウェアによる補正

ディスプレイの歪みは、ソフトウェアによって補正されている

現実の光には歪みがないが、ディスプレイには中間調の色が暗くなるという特性がある。それを打ち消すため、ソフト側で逆の歪みが加えられている

VFXではコンピュータ内で現実の光の挙動を再現する必要があるほか、様々な歪み方の素材を扱うため、一度歪んでいない状態にして加工し、最終的にまた補正の歪みを加えて表示する必要がある

可視光の表示

現在のディスプレイは、人間の可視光全てを表示することはできない

RGB（赤・緑・青）の3点の発色を決めることで、表現可能な色の範囲（色域）が決められる

VFXでは様々な色の範囲の素材を扱うため、一度広い範囲に統一して作業してから、表示デバイスに合わせて範囲を設定する

OpenColorIO（OCIO）

ACESの利用

ACESを使わなくとも、映像ができればそのつくり方は正解だ。とはいえ、先人の知恵であるシステムを使えば、集中したいところにもっと集中できる

＜4＞クロマキー合成・色合わせ

要素を分離して、精度を上げる

クロマキー合成とは、一般的に緑や青（肌の対色）の布を背景に撮影することで、効率良く被写体を分離して差し替える技術です。

一般的なクロマキー合成ツールは、背景の単色を指定して背景を透過します。しかし、実際には一発で綺麗にはいかないことがほとんどです。キーイングにはあらゆる手法がありますが、ここではクリーンプレート（背景だけの画像）を使用してキーイングしてみます。クリーンプレートは撮影時に用意しておく場合もありますが、後から擬似的に生成することもできます。この方法は比較的簡単かつ、不均一なマットでも従来の単色のキーイングより圧倒的に良い結果を得ることができるほか、特に半透明部分が得意なのが特徴です。ほかにも、被写体をコア（核）とエッジ（境界）に分けてキーイングして組み合わせたり、色情報をもつRGBチャンネルと透過情報をもつアルファそれぞれを調整していくことで、より綺麗な結果を得るテクニックもあります。

クロマキーで透過できない部分は、手動で範囲を指定（マスク処理）して透過します。場合によっては、フレーム間で動きを追っていくロトスコープを行う場合もあります。

キーイングができたら、素材の色合わせに移ります。色合わせとは、いろいろな素材を組み合わせたときに浮かないよう、各素材の色を調整して馴染ませることです。被写体の色はあらゆる要素が複雑に絡んでいるので、その要素を分離して考えるのが大切です。例えば、最も基本的な部分で言えば同じ色でも日向と日陰では異なる色に映りますよね。ほかにも色の規格や反射など、様々な理由で色は変わります。なるべく要素を分離して、ひとつずつ合わせることで色合わせの精度を上げることができます。

まず大前提として、色の規格が合っていることは重要です。ここではACESによるカラーマネジメントを行なったので、色の規格は揃っています。次は照明による色のちがいですが、今回は簡易的に色と明るさの2つに分離して考えてみます。色は彩度を極端に高くして合わせたり、明るさはゲイン（全体明るさ）やガンマ（中間値の明るさ）を変えて極端な例で合わせたりする手法があります。極端な状況にすることでちがいがわかりやすくなり、合わせやすくなります。

色が合ったら、VFXの作業は終了です。最後に映像に味付け（カラーグレーディング）をします。DaVinci ResolveのカラーページでLUTを当てて色を変えてみたり、グロー（明るい所がにじむ現象）を再現したりできます。VFXの工程で求められるのはそのままカメラで撮ったような整った色味です。一方、味付けの工程では逆に色を崩していくことで、映像の色味に意図を加えることが求められます。そうすることで、映像作品の中にVFXカットと実写カットが併存している場合でも、色を同じように扱うことができるのです。

「Delta Keyer」を用いたキーイング手法

DaVinci ResolveのFusionページ内で使える「Delta Keyer」を用いた最も基本的なキーイング手法