世界最大級のCGの祭典SIGGRAPH 2023が8月6日（日）から10日（木）までアメリカ・ロサンゼルスとオンラインのハイブリッドで開催された。期間中に開催されたプロダクション・セッションではハリウッド映画のメイキングが連日披露され、興味深いテーマが目白押しであったが、今回はその中から映画『アバター：ウェイ・オブ・ウォーター』（2022）のメイキング・セッションのレポートをお届けする。

関連記事

・多彩なジャンルの作品がバランス良く揃った、今年のElectronic Theaterの入選22作品を一挙紹介〜SIGGRAPH 2023（1）

・テキストから3D顔モデル、テクスチャ、アニメーションなどを生成する様々なAIモデルが登場。XRとAIに関連した注目論文をピックアップ～SIGGRAPH 2023（2）

Wētā FX史上最大規模のVFXショットに挑戦

プロダクション・セッションはハリウッド映画のメイキングを扱うため、基本的に全てのセッションにおいて、著作権保護の関係で講演中は写真や動画の撮影がいっさい禁止されている。しかし、インターネットなどでは通常、公開されることのないメイキング資料などが披露されるため、貴重な情報を見聞きできることが大きな魅力だ。

特にこの映画『アバター：ウェイ・オブ・ウォーター』のメイキング・セッションは、LAコンベンションセンターを訪れたオンサイトの参加者のみが視聴可能で、例えフル・カンファレンスであってもバーチャル参加での視聴は対象外とされた。

さて、このセッションの冒頭では会場前方にあるスクリーンに撮影禁止を含む注意事項が表示される。SIGGRAPHは国際学会なので各国の言葉で表示されるのだが、

英語：Photography and Recording prohibited.

日本語：写真および動画撮影はご遠慮ください。

イタリア語：Fotografia e registrazione vietate.

バイナリー：0001 0010 0100 1000 1001

……などと表示されていて、なかなかお茶目であった。では、さっそくセッションの様子を、要約してお届けしていこう。

ジョー・レッテリ：おはようございます。今日はご来場いただき、ありがとうございます。映画『アバター：ウェイ・オブ・ウォーター』(2022)は、映画『アバター』(2009)の続編にあたります。映画『アバター：ウェイ・オブ・ウォーター』のVFX制作はバーチャルプロダクションによって進められました。ジェームス・キャメロン監督によるディレクションの下、ストーリーの展開上、膨大な水のショット、デジタル・キャラクター、そしてフェイシャル・ワークなどが必要となりました。

VFXは3,240ショット、うち水が絡むショットは2,225もあり、まさにWētā FX史上、最大規模の作品となりました。これらの作業はLightstorm Entertainment（※）のバーチャルステージにおけるライブアクションのパフォーマンス・キャプチャ、そしてWētā FXによるVFXという、2社のコラボレーションとチームワークによって進められました。

Wētā FXでは自社開発のレンダラであるManukaやGazeboなどに代表される様々なツールが投入され、またこの作品のために新しいツール、パイプライン、ワークフローの開発が行われました。これらにより可能な限り早く、可能な限りハイクオリティの映像を実現すべく、プロダクションが進められました。

※Lightstorm Entertainmentは、ジェームス・キャメロン監督の制作会社

パフォーマンス・キャプチャ収録やバーチャルステージ撮影のために準備されたシステムやツール

エリック・セインドン：水中シーンのパフォーマンス・キャプチャのために、巨大な水タンクのパフォーマンス・キャプチャ・ボリュームを2つ、用意しました。これによって水中での演技をキャプチャしました。

パフォーマンス・キャプチャでは身体の動きだけではなく、俳優の表情も記録しています。そのため、スキューバダイビングのような呼吸器は装着できず、すべての俳優は数週間に渡る訓練を受け、水中で呼吸を止めてパフォーマンス（演技）を行いました。

リチャード・バネハム：陸上のシーンのバーチャルステージでの撮影に向けて、Lightstorm Entertainmentではアイライン・システム（Eyeline Syst）を開発しました。これはスポーツイベントやコンサート会場での撮影に使用されるスパイダーカムのような構造で、ワイヤーで吊るしてコントロールすることで、バーチャルステージの中を自由に動きまわることができます。スパイダーカムと異なる点は、アイライン・システムはカメラの代わりにモニタとスピーカーがついていて、パフォーマンス・キャプチャの際に撮影した俳優の顔をモニターに映し出すことができます。

バーチャルステージでのオンセット撮影時に、画面の中でのデジタル・キャラクターの立ち位置、顔の高さに合わせて正確に配置＋移動が可能なので、他の俳優が演技の際に目線（アイライン）を合わせるのが容易になります。スケルに乗ったアードモア将軍が、クオリッチ大佐に施説内を案内するシークエンスの撮影では、アイライン・システムによってクオリッチ大佐の立ち位置や大きさが正確に再現されたうえで、撮影がなされました。

リチャード・バネハム：また、バーチャルプロダクションではリアルタイム・デブス（Realtime Depth）が活用されました。これは、バーチャル・カメラのレンズの下に小さなウィットネス・カメラを左右2つ配置し、ここからデプス情報をリアルタイムで算出したものになります。例えば、机の上に座っているスパイダーをクオリッチ大佐が押さえつけるショットなどでは俳優とデジタル・キャラクターの前後関係をデプス情報によって把握することができました。

さらに、このデブス情報をベースに、後処理によって画面に映っている俳優の仮3Dジオメトリを生成することもできました。この処理自体はリアルタイムではありませんでしたが、この後のフェイシャルなどの作業を容易にするのに役立ちました。

最後に紹介したいのはテクノ・ドーリー（Techno Dolly）です。テクノ・ドーリーはモーション・コントロールによるドーリーで、狩猟ボートが絡むシークエンスの撮影で多用されました。フライト・シミュレータなどでお馴染みの油圧式モーション・ベース(Motion Base)で狩猟ボートを動かし、ブルー・スクリーンをバックに、テクノ・ドーリーで撮影。これは潜水艇の撮影でも活用されました。

この作品は……

撮影セット

85種類

水が絡むセット

13種類

実物大の狩猟ボート

7台

水のシミュレーション

1,600種類

VFXアーティスト

1,900人

仮に1プロセッサだけで処理した場合の全計算時間

350,000年

という途方もないプロジェクトでありました。

俳優の演技を忠実に再現したフェイシャル・アニメーション

マルコ・レレヴァント：私からはキャラクターのファイシャル・アニメーションについてお話します。Wētā FXは過去に担当した映画『アベンジャーズ』（2012）や『ジェミニマン』（2019）などの作品の経験によって、フェイシャル・アニメーションに関する蓄積があります。まず、R＆Dの一環として、様々な顔の表情を撮影し、膨大な数のターゲットシェイプを用意しました。これらをベースにキャラクターの表情をつくっていくわけですが、大前提として……

①俳優の演技を忠実に再現すること

②編集可能であること

この2点を念頭におき、開発が進められました。

また、センサーを付けた俳優の顔を3台のカメラで撮影し、デブス情報をベースに3Dのジオメトリを起こし、それから筋肉の動きをシミュレートしてスキン・デフォームのアニメーションをつくり、60種類、尺にして5,000〜7,000フレーム相当のシェイプを準備しました。

おおまかなワークフローは、

①前述のリアルタイム・デブス（Realtime Depth）で得られたデプス情報から、ラフな3Dジオメトリを起こす

②このジオメトリをベースに、スキン・デフォームのアニメーションをつくる。これは俳優の顔に限りなく近く、正確につくられる

③これを実際のキャラクター・モデルへとデフォームさせる

の3段階で構成されています。

先ほど「編集可能であること」が重要とお話ししましたが、筋肉は「マッスル・カーブ」と呼ばれ、アニメーターは顔の筋肉ごとに直接コントロールすることが可能でした。これによって表情の微調整が行われました。

キャラクター・モデルへとデフォームさせる際、当初は形状に不具合が生じたこともありましたが、ディープラーニングによって形状の学習データを集め、より効率的に、より正確にデフォームが行われるよう、開発を行いました。

ちなみに、キリの表情は20代の頃のシガニー・ウィーバーの写真をリファレンスにして、シガニー・ウィーバーの演技がより自然にフィットするようにしています。

よりリアルさを追求した炎と水のR＆D

ニコラス・イリングワース：この作品では膨大なショットを裁く必要がありました。このエフェクト・アニメーションのために、数多くの社内ツールが開発されました。

まずは炎のR＆Dについてお話します。最初に行なったのは　キャンドル（ロウソク）の観察と解析でした。実際にキャンドルを燃やして3台の露光が異なるカメラで動画を撮影。それをシミュレーションTDとエフェクトTDたちで取り囲んで見守りました。側から見ているときわめて不思議な光景だったと思います（笑）。

そして、デジタルで燃焼シミュレーションのテストを開始し、リアルな炎を表現するためのR＆Dがスタートしました。炎の燃焼は化学反応であり、燃料、酸素量、そして温度などが密接に関係し合います。例えば、同じキャンドルでも3本のキャンドルの炎を近づけると、お互いに作用し合って形状が変わったり、お互いの酸素を奪い合ってチラつきが起こったりします。これらを物理的に正しく再現すべく、ソルバーの開発が行われました。この結果、リアルな炎を実現できるソルバーが完成しました。

劇中に登場する火炎放射器の炎のテスト撮影も行いました。Wētā FXのスタジオから少し離れた広場で、メトケイナ族の住居の一部分を実物大セットでつくり、本物の火炎放射器で実際に火を放ち、燃え上がる様子を撮影し、リファレンスにしました。それをデジタルで燃焼シミュレーションを行い、調整を繰り返すことで、可能な限りリファレンスに近づけました。

続いて、水のR＆Dです。水は全て自社でソルバーを開発し、使用しました。その中の1つに「シン・フィルム（Thin Film）」と呼ばれるソルバーがあります。これは身体が水面で濡れた直後に皮膚の表面を流れる、“水の薄い被膜”をつくるためのもので、この初期バージョンは映画『アリータ：バトル・エンジェル』（2009）でも使用しています。シン・フィルムはキャラクターと水が絡む殆どのショットで使用されましたが、“水の薄い被膜”という特性上、非常にハイレゾリューションの流体シミュレーションが必要とされ、計算時間も膨大なものになりました。

このほか、狩猟ボートやタルカンの水しぶき、海のショットでのミスト（霧状の水けむり）に特化した「ステート・マシーン（State Machine）」と呼ばれるソルバーも開発しました。大型狩猟船シードラゴンを取り巻く水しぶきなども、船の動きをベースに、正確にシミュレーションをしています。

狩猟ボートをとりまく水の流体シミュレーションのR&Dでは、その一環として、野外の水上で実物のボートの観察も行いました。実物のボートにGPSを取り付けて高速航行させ、位置を測定。ボートの操縦桿は操縦の際の傾きを記録。そして、上空からの空撮で海面にできたボートの軌跡を撮影しました。これら全てを解析し、ソルバーを開発しました。これにより、ボートが曲がりながら高速航行した際にできる水面の軌跡を、できる限り物理的に正しく再現できるようになりました。

ボートが海面をジャンプする様子もリファレンスとして撮影しました。この映像はそのひとつですが……、あまりにも上手く撮れたので、満面笑みのエリック・セインドンの笑顔が画面隅っこに偶然映り込んでいますね（笑）

最後に、この作品のVFXに参加したWētā FXのクルー全員に感謝し、今日のパネルを締めくくりたいと思います。

『アバター：ウェイ・オブ・ウォーター』関連のQ＆A

SIGGRAPH2023では本プロダクション・セッション以外にも、Wētā FXによる映画『アバター：ウェイ・オブ・ウォーター』関連のパネルがいくつか開催された。その中で行われたQ＆Aの中で、印象に残ったものを数件ピックアップして、ここでご紹介したい。

Q：炎のソルバーについて質問です。惑星パンドラは酸素が少ないことで有名みたいですが（笑）、R＆Dではその辺りはどのように考慮されましたか？

A：素晴らしい質問です（笑）。実はお尋ねの件について、我々も開発チーム内で何度か意見を交換したことがあるのですが、酸素の量を変えてしまうと、燃焼シミュレーションの結果が前述のリファレンス映像と同じにならなくなってしまいます。そこで、演出上の観点から、炎のソルバーでは便宜上「地球と同じ酸素量」というパラメータ設定で燃焼シミュレーションを計算しました。

Q：1作目と2作目のVFXで「最も大きなちがい」は何でしょうか？

A：2作目は多くの部分が「物理的に正しい（physically correct）」計算結果になるように開発された点だと思います。

Q：シン・フィルムの流体シミュレーションについて質問です。先程「計算時間が膨大だった」というお話が出ましたが、実際どのくらいの時間がかかりましたか？

A：最も時間がかかったショットでは、流体シミュレーションの計算時間は8日間にも及びました（場内から驚きの声が上がる）

Q：俳優さんたちは本当に水中で息を止めて撮影していたのでしょうか？

A：はい。本当です。その“副産物”として、ケイト・ウィンスレットは7分15秒間潜水して「映画撮影において、息を止めた時間の世界新記録」を偶然にも樹立してしまいました（場内から驚きの声が上がる）。