コンピュータグラフィックスとインタラクティブ技術に関するトップカンファレンスであり、今年で50周年を迎えたSIGGRAPH 2023が8月6日（日）から10日（木）まで開催された。アメリカ・ロサンゼルスにおいてハイブリッド開催された同カンファレンスの中から、『スパイダーマン：アクロス・ザ・スパイダーバース』（2023）のメイキング・セッションのレポートをお届けする。

© SIGGRAPH2023. All Rights Reserved.

関連記事

・多彩なジャンルの作品がバランス良く揃った、今年のElectronic Theaterの入選22作品を一挙紹介〜SIGGRAPH 2023（1）

・テキストから3D顔モデル、テクスチャ、アニメーションなどを生成する様々なAIモデルが登場。XRとAIに関連した注目論文をピックアップ～SIGGRAPH 2023（2）

・よりリアルな表現を求めたWētā FXの取り組みの数々を紹介。映画『アバター：ウェイ・オブ・ウォーター』のメイキング・セッション〜SIGGRAPH 2023（3）

SPIの中核スタッフが語る制作の裏側

SIGGRAPH期間中に開催されるプロダクション・セッションでは、ハリウッド映画のメイキングが連日披露される。今年も興味深いテーマが目白押しであったが、本稿ではその中から映画『スパイダーマン アクロス・ザ・スパイダーバース』のメイキング・セッションをレポートする。

プロダクション・セッションはハリウッド映画のメイキングを扱うため、基本的に全てのセッションにおいて、著作権保護の関係で、講演中は写真や動画の撮影がいっさい禁止されている。それだけに、インターネットでは公開されていないメイキング資料などが披露され、貴重な情報を見聞きできる点が大きな魅力だ。

では早速、セッションの様子を要約して紹介しよう。

※講演の中で登場する映像用語などは、臨場感を出すため、可能な限りハリウッドの現場で使われている用語＋補足で記述してある。また、映像を見ながら説明している箇所では、補足的な意訳もつけ加えてある

ルックが異なる6つのユニバース制作

マイケル・ラスカー氏（VFX Supervisor）：VFXスーパーバイザーのマイケル・ラスカーです。今日は5人の顔ぶれで、この作品のVFXがどのように制作されたのかを紹介したいと思います。

この作品では、まず6つのユニークなユニバース（多元宇宙に存在する並行世界）のデベロップが必要となりました。

※『スパイダーマン：アクロス・ザ・スパイダーバース』では、ユニバースごとにルックが異なる

マイルズ・モラレス／スパイダーマンのユニバース（アース1610）

前作から1年半後という設定で、その分、少し成長したマイルズ、アップグレードされたスパイダーマンのスーツ、前作から進化したレンダースタイル、そしてマイルズが暮らすブルックリンの街並みの表現などをつくっていきました。

ブルックリンの街のルックデヴは、コンセプトアートからスタートしました。

前作の画質を「スタンダード」として、印刷プロセスの中で生じる色ずれや、ハーフトーン、ハッチング、インクラインの表現など、初期のアメコミの画質を意識したルックにしています。

グウェン・ステイシー／スパイダー・グウェンのユニバース（アース65）

前作でのグウェンのビジュアルスタイルは、水彩絵で描かれた初期のスパイダーマンのコミックをベースにしていたと思います。また、舞台は1990年代のNYチェルシー地区という設定でした。

今回の新しいグウェンは、コスチュームデザインやヘアスタイルなどをアップデートしました。様々な新しいテクニックが開発され、特に彼女の心情を上手く画面に反映することに重点が置かれました。

水彩絵のペイントによるブラシストロークのようなルックを開発し（詳細は後述）、アーティストたちは、背景を膨大な数のブラシストロークで描きました。カラーパレットは彼女の心情やリアクションによって変化をもたせています。

この点は、最もチャレンジングなデベロップの1つでした。なぜなら、全てのショットのペイントが異なり、同じペイントを使用しているショットは1つとしてないためです。

パヴィトル・プラバカール／スパイダーマン・インディアのユニバース（アース50101）

スパイダーマン・インディアが住むムンバッタンはインドのムンバイにマンハッタン風の都市が融合したような設定で、70年代インドのインドラジャル・コミックス（Indrajal Comics）・スタイルのカラーパレットやテクスチャをリファレンスにしています。

ムンバッタンは、あえて「未来的なデザイン」ではなく、街を電話線が行き交い、オート・リクシャー（三輪タクシー）が走るなど「伝統的なインド文化を感じさせるデザイン」を意識しています。建造物は、可能な限りハイディテールにしており、このために様々な複雑なパターンのインク・アウトラインに対応可能な、新しいラインツールも開発されました。

ムンバッタンのビビッドなコントラストは、このユニバースのスパイダーマン、パヴィトル・プラバカールのコスチュームにも反映されています。

ミゲル・オハラ／スパイダーマン2099のユニバース（アース928）

このユニバースは2099年のNYが舞台で、「レトロフューチャーリステックな未来」という設定でした。

シド・ミードに代表される「70～80年代の近未来のコンセプトアート」を参考に、クリーンでシャープ、そしてクールな近未来のNYをデザインしました。

これらのスタイルはミゲル・オハラのスーツのデザインにも見ることができます。動いたときにダイナミックに映えるよう、スーツのデザインには、80年代のプリント基板パターン風のテック・イメージが盛り込まれています。

ホービー・ブラウン／スパイダー・パンクのユニバース（アース138）

このユニバースでは、70年代のロンドンのパンクロック・シーンのパンクスタイルをベースに、当時流行したコラージュされた切り張り文字のデザイン、パンクロックのポスター、70年代後半の建築デザインなどを盛り込みました。

スパイダー・パンクのルックも、コラージュされた文字や印刷物のような、フラットな見た目になるようにしました。

アース1610のパラレル・ユニバース（アース42）

私が個人的に好きなユニバースが、アース42です。マイルズがいるアース1610のパラレル・ユニバースで、叔父のアーロン・デイヴィスもまだ生きていて、マイルズはクモに咬まれていません。

アース42でのマイルズは叔父アーロンからトレーニングを受けたマイルス・G・モラレスことプラウラーで、スーパーパワーはもち合わせておらず、普通の人間が物理的に立ち回れる範囲の行動をとるという設定でした。

コミック・アーティストのフランク・ミラーやショーン・マーフィー風の、暗くコントラスト強めのインクスタイルです。ここでのカラーパレットはサチュレーションが強く、インクスプラッターやドライブラシ風のハードエッジな画質でした。

以上が、6つのユニバースの簡単な解説です。

独特の存在感を放つヴィランのアニメーション

アラン・ホーキンス氏（Head of Character Animation）：キャラクターの1人、スポットのアニメーション制作についてお話しします。

この映画の新しいキャラクター開発には、多少のプレッシャーがありました。ここでは、その試行錯誤の過程を紹介したいと思います。

これ（※動画がながれる）はスポットのアニメーションの初期テストです。スポットがベーグルを食べていると、体のいろんな穴からベーグルが飛び出してくるという、ジョークを盛り込んだテストです。

他にも、カートゥーン風のギャグや、顔面の穴が様々な形状に変形するアイデアなど多様な案が出されました。そこで、良いアイデアを集めるべく、みんなでピッチ（アイデアの競合）を行いました。

その中で、アニメーション・スーパーバイザーのウンベルト・ローザが提案したエゴン・シーレ（20世紀前半のオーストリアの画家）の作品をヒントにしたアイデアが採用されました。

エゴン・シーレのセルフ・ポートレート作品は、非常に印象的な手の置き方・配置をしていることで有名です。この要素を取り入れることで、スポットのポーズをより個性的に強調することに成功しました。

ダーク・エネルギーを吸収して強くなると、黒い穴の範囲が広がっていくアイデアなども出されました。

ここから穴の配置やアクションのアイデアを詰めていき、「いかにも3Dジオメトリ」という動きではなく「2Dドローイングに近い動き」のアニメーション要素などを取り込みながら、スポットに独特の存在感ある「パワフルなモンスター」であることを印象的づける動きを与えていったのです。

エフェクト制作の3つのポイント

パヴ・グロホラ氏（Look of Picture・FX Supervisor）：私は、この作品のエフェクト・アニメーションについて紹介します。ここでは、大きく分けて以下の3つの話をします。

①2Dと3Dのエフェクトの概要
②ラインワーク
③Rebelleの活用

①2Dと3Dのエフェクトの概要

全体を通じて、なるべく「スタイライズされた2D素材」に見えるようにデベロップが行われました。

まず3Dでボリュメトリックな爆煙をつくり、この上に2Dアーティストがインクラインを描き込むことでスタイライズしていきます。2Dアーティストは、3DFX（3Dによるエフェクトの略語）がもつディテールと、手描きとのバランスに注意しながら、インクラインを描きこんでいきます。なぜなら、やり過ぎると両者の良さが成立しなくなってしまうためです。

中には3DFXではなく、2Dエフェクトアーティストが描いた2Dエレメントを、直接コンプにもち込んでファイナルになるショットもありました。

しかし基本的には2Dと3Dのミックスが多かったです。なぜなら、それぞれに得意不得意があるためです。

2Dアーティストは、デザイン的に優れた、たいへん力強いエフェクトを描くことができます。一方、3DFXはパワフルで、ハイディテールな表現が可能です。しかし、その上に2Dアーティストがインクラインを描きこんでいくと、ときとして、ディテールがあり過ぎて時間がかかってしまう場合もあります。

両者のバランスを上手く組み合わせることで、インパクトあるエフェクトが実現できます。特に前述のスポットなどは、穴がたくさん出てくるので、手描きアニメの方が印象深い動きを表現できます。

②ラインワーク

ラインワークは1作目よりも遥かに複雑になりました。キャラクターの3Dジオメトリにアメコミ風のラインを描き込んでいくのですが、今回は6つのユニバースがあり作業量も膨大です。またキャラクターによっては、非常に複雑なラインを描く必要がありました。

どのようにアプローチしていくか？　そこで考えたのが以下の2つの方法です。

＜その1 プロシージャルによる方法＞

1つ目は、プロシージャルなルール・ベースによる方法です。

Houdini上で「Kismet Linetool」と呼ばれるツールを開発しました。これは、ジオメトリの曲率などから手描き風カーブをプロシージャルに生成できるものです。コントロールがたくさんあり、様々なパラメータが用意され、太さの調整やサーフェスからのオフセットなど、オーガニックで手描き風のカーブが生成できます。

チャレンジだったのは、3D空間でカメラが動いた場合の対処でした。

そこで開発されたのが、複数のカーブを用意しておき、キャラクターの角度やカメラアングルによってそれぞれオン／オフの切り替えができるというものです。

このセオリーを応用して、カメラが変わっても、3Dジオメトリ上にオーガニックかつ自然なラインを生成できるようになりました。

Kismet Linetoolが最も力を発揮したのは、たくさんのキャラクターや背景の建物があり、カメラが街中を動き回るようなショットがあったときでした。これを2Dアーティストが1フレームずつ手描きで描き込んでいくのは作業が膨大となり大変ですが、Kismet Linetoolでテンプレートのセットアップを用意しておくことで、インクラインをプロシージャルに自動生成し、複雑なカメラワークにも対応できました。

これでアーティスト・タイム（各アーティストが作業に要する時間）を大幅に節約することができました。

＜その2 ハンドメイドによる方法＞

同じくHoudini上で、キャラクターの顔のジオメトリにインクラインを直感的に調整できるツールを開発しました。描いたインクラインをキャラクターやカメラアングルに合わせて、アーティストが手動で、直感的に位置を調整できます。

このツールは主にキャラクターの顔面で使用されました。なぜなら、キャラクターの顔のインクラインはとても繊細でハイレベルなコントロールが必要とされるためです。

さて、1作目のとき、機械学習のアルゴリズムを用いて様々なアングルからのデータを蓄積しておき、ベストなカーブをUVスペース上で効率良く自動補間するテクニックが開発されました。2作目ではさらにシステムに改良を加え、たくさんの学習データを異なるカメラから加えることで最適なカーブを補間し、良い結果を導くことができました。

このシステムは14の異なるキャラクターに対応しており、アーティストは退屈なシェイプの修正作業ではなく、よりクリエイティブな作業に時間を費やすことができました。

様々なテストの結果、プロシージャルとハンドメイドを組み合わせて使用するのが、最も効率が良いということがわかりました。これにより、高いクオリティを保ちつつ、時間を節約することができました。

まず手描きで、オーガニックでゴージャスなインクラインを描きます。やはり、説得力のある美しいインクラインを描く作業は、プロシージャルだけでは表現に限界があるため、2Dアーティストによる手描きのインクラインは最良の仕上がりを生みました。その上に、Kismet Linetoolでプロシージャルなカーブを施して、より複雑なディテールを追加していきました。

③市販ツールRebelleの活用

最後に、非常に強力なペイント・アプリケーションであるRebelleを紹介します。これはサードパーティの市販ツールで、今回の機器展のブースでも見ることができます。言ってみればPhotoshopのようなツールなのですが、興味深いのは「自然界に存在する素材が考慮されている」点です。

また、墨絵や水彩絵の具が上から下へと流れるような流体ソルバをもち、非常にクオリティの高い流体シミュレーションが実現できます。異なる色の絵の具を混ぜ合わせるような効果にも優れています。

これだけ優れた2Dの流体ソルバを備えていながら、Rebelleは「あくまでも2Dペイントのツール」として設計されており、アニメーションには対応していませんでした。

そこで、Rebelleがツール内部でカーブを生成しているプロセスを、Pythonスクリプトでハイジャック（笑）することでカーブを送り込み、それを流体ソルバで処理させることで非常に興味深い結果を生むことができました。

今お見せしている（※動画がながれる）、流れる墨絵のようなクリップは、3年前にテストしたものです。非常に美しい水彩画の流れる動きを生むことができ、それを最終的にHoudiniに統合することで、プロダクションに応用することができました。

この表現は、グウェンのユニバースで使用されました。

ユニバースを彩るテクスチャ表現

ニコール・コーニュート-サットン氏（Texture Paint Supervisor）：私はルックデヴ・チームで、テクスチャ部門のスーパーバイザーを担当しました。

この作品のように、スタイライズされたアニメーション映画の場合、そして様々な国が登場する場合、私は未だ訪れたことがない国の「ビジュアル・ランゲージ（視覚による情報伝達）」を学ぶ準備をします。

特にこの作品には6つのユニバースにおけるビジュアル・ランゲージが存在します。

これに基づいて準備を始めるわけですが、実写映画とちがってリアリティを表現するのではく「アメコミの世界観」を表現していくのが大きなポイントでした。

シド・ミード風レトロフューチャーなヌエバ・ヨーク

このユニバースは2099年のNY、ヌエバ・ヨーク（Nueva York）が舞台です。

最初にスーパーバイザーから尋ねられたのは「シド・ミードと『レトロフューチャーリステックな未来』について、どのくらい知っている？」ということでした。

そこでリサーチを開始し、まず「レトロフューチャーリステックな未来」を意識した2099年のコンパクト・カーのルックデヴから取りかかりました。

シド・ミードの有名なコンセプトデザインの数々で見られる、マーカーやブラシのテクスチャなどを参考にしながら、3Dライティングとのバランスを模索しつつ、最初のクルマのデザインを起こしました。これをベースに他のクルマのデザインを起こしていきました。

ビルディングや建築物のルックデヴも同様に、シド・ミードが映画『ブレードランナー』（1982）のために描き起こした「トーキョー・ロサンゼルス」のコンセプトアートなども参考にしています。

シド・ミードのマーカーで描かれたデザインをテクスチャで表現しました。これに3Dでライティングを施すと、非常に豊かなディテールを得ることができました。

またスパイディHQ（スパイダーマンの本部）のレーザー・ケージのシーンに出てくるヴィランは、実に50種類の様々なヴィランがデザインされました。

水彩画のようなグウェン・ステイシーのユニバース

この世界は、水彩画のようなスタイルで、ピンク、ブルー、バイオレットを基調とする中に、窓の光をグリーンにすることでアクセントを入れています。

全てのショットでブラシ・ストロークが感じられ、手描きのペインティングに見えるよう、テクスチャは全て手描きによるものです。

個性的なキャラクター表現、スパイダー・インディアのユニバース

インドのカルチャーを意識し、金色が強調されたセットデザインもありました。

また、ハゲタカのようなスーツを着て飛行するヴィラン・ヴァルチャーは、手描きの雰囲気が出るようセピアトーンで表現し、手描きの2Dラインを多用しています。

他にも、ムンバッタンに登場する様々なキャラクター、例えばウェブスリンガーはカウボーイ風、ベン・ライリーは筋肉質なので筋肉のディテールを濃い2Dラインで表現、スパイダーバイトは電子的に、サイボーグは形状が複雑なのでディテールをどんどん足していったり……と楽しみながらルックデベロップを行いました。

さて、テクスチャ部門のチームには、世界中から人材が集まっています。今回、様々なユニバースの背景に登場する人々にも人種、文化、年齢、言語の幅広いバリエーションがあり、チームの皆さんを背景に登場する人々のデザインに反映してみました。

テクスチャ部門のクルーの皆さん1人1人に感謝します。

合成素材をまとめ「手描きの絵」に仕上げるLook of Picture

ブレット・セントクレア氏（Senior Look of Picture Supervisor）：「Look of Picture」部門は、他の各部門から届いた合成素材を「1つにまとめ上げる」役割を果たします。ショットのスラップ・コンプ（仮合成）を受け取り、Nukeによるコンプの段階で「手描きの絵に見えるよう」加工していきます。

例えば、アトモスフィアを加えてカラーコレクションをしたり、白黒で受け取った背景にアートディレクションに沿いカラー指定を行なったり、アメコミのスクリーン印刷プロセスのCMYK版の色ずれを再現したり、前出のRebelleによるインクが流れたような背景に合うよう手前のキャラクターに1Dツールでブラシ処理をしたり……などなど。

ライティングが完了してスラップ・コンプが済んだ映像は、その時点である程度完成している「スタンダードな3DCG画像」です。つまり、この段階までは普通の3Dコンピュータ・アニメーション映画と同じ見た目なのです。ここからさらに手を加え「手描きの絵に見えるように加工していく」のが、私たちLook of Picture部門の役割となります。

グウェンのキャラクターを例に挙げますと……

①3DCGの完成形（この段階では普通の3Dコンピュータ・アニメーション映画と同じ見た目）
②カラー・ブロッキング（カラーの変更）
③ブラシ・ワーク
④エッジ部分のブラシ・ワーク
⑤これらブラシ・ワークのバランス調整
⑥インクラインの追加
⑦背景の調整
⑧合成してファイナル　

という工程を踏んで、「手描きのイラスト」のような仕上がりにもっていきます。

ひとくちに「手描きのイラストに見えるように」と言っても、ショットごとに様々なチャレンジがあり、その都度1つ1つ解決していきます。

2099年のNYという設定のアース928では、シド・ミードがコンセプトアートを起こしていくのと同じ過程を再現すべく、まず青いペンでパースペクティブのスケッチを行い、その上にマーカーでディテールを描いていくというレンダリングスタイルを再現しています。

その上で、マーカーやブラシがどのように作用するかを見極めます。アーティストは輪郭のラインを描くのか、内側のラインを描くのか、ブラシ・ストロークの方向は曲率に沿った方が良いのか、また反射はどのように作用すべきか、色を加える際にブラシやマーカーの濃さの配分はどうあるべきか……などを検討していきます。

ムンバッタンは、70年代のインドラジャル・コミックスのスタイルがベースなので、パルプ・ペーパーのテクスチャや、インクウォッシュ、影の部分におけるカラーグルーピングなどの特徴を画面に反映していきました。

グウェン・ステイシーのユニバースであるアース65では、グウェンが街を飛び回るシークエンスの背景に、初期テストでは水彩画のような様々なブラシストロークを試しました。

これらの各ユニバース、各キャラクターのニーズに対応するため、膨大な数のツールが開発されました。

Nuke上で、コミック風に見せるため、わざと色の版を分離させたり、版ずれを再現するツールも開発されました。また、様々なハッチングスタイル、ラインスタイル、ブラシスタイルに対応させる必要がありました。

ブラッシングツールはたくさんのチャレンジがありました。ブラシ調整をArnoldでの3Dレンダリングで処理するには時間を要しますので、アップ・ストリームのプロセスに戻ることなく、作業をNuke内で完結するためGPUベースのOSL（Open Shading Language）ツール、BrushBumberを開発しました。さらなる高速化のためC++バージョンも開発されました。

手描きのストロークを効率良く実現すべく、Nuke上で「ストローク・システム」も開発しました。様々なパターンを適用するだけで、まったく異なる画風が実現しました。

またNuke上でカーブを描くことで、様々なブラシストロークが表現できるツールも開発されました。

各部門のコラボレーションにより完成した『スパイダーマン：アクロス・ザ・スパイダーバース』

最後に、この『スパイダーマン：アクロス・ザ・スパイダーバース』は各部門とのコラボレーションの賜物でした。

アートデベロップメント・チーム、ルックデヴに加え、今日のプレゼンでは登壇していないライティング、コンポジットの各チーム、そして全部門のアーティスト、リード、スーパーバイザーの貢献のおかげで、この作品は完成したのです。