コミック風映像への挑戦、映画『スパイダーマン：スパイダーバース』プロダクション・セッション～SIGGRAPH 2019 レポート（4）～

SIGGRAPH2019期間中に開催されたProduction Sessionレポート第2弾では、最終日の一番最後に行われた、Sony Pictures Imageworksによる「Swing into Another Dimension: The Making of "Spider-Man: Into the Spider-Verse"」の講演をふり返る。セッションの最中は写真撮影が禁止されており、講演の中で紹介されたクリップや映像がないとなかなか理解しにくい部分もあるかと思うが、少しでも当日の模様を楽しんでいただきたい。

※本記事は2019年7月28日に開催されたSIGGRAPH2019での取材内容に基づきます。

TEXT & PHOTO＿鍋潤太郎/Juntaro Nabe
EDIT＿山田桃子 / Momoko Yamada
© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

Production Sessions『スパイダーマン：スパイダーバース』パネラー
ダニー・ディミアン氏（VFXスーパーバイザー）
ジョッシャ・ビバリッジ氏（アニメーション・スーパーバイザー）
ブレット・セントクレア氏（ルック・デベロップメント・スーパーバイザー）
パブ・グロコラ氏（エフェクト・スーパーバイザー）
ベン・ヘンドリックス氏（CGスーパーバイザー）

リアル風とカートゥーン風、バランスをとりながらつくり上げられた新しい表現／ダニー・ディミアン氏（VFXスーパーバイザー）

「Sony Pictures ImageworksのVFXスーパーバイザー、ダニー・ディミアンです。『スパイダーマン：スパイダーバース』は正式タイトルが決まる前から、大きな疑問をクリアする必要がありました。それは"なぜ今さら、新しいスパイダーマン映画をつくる必要があるのか？"ということでした。『スパイダーマン』はこれまでに8本もの映画シリーズが製作されてきました。にも関わらず、あえてアニメーション映画としてつくる理由として"観客の予想を裏切り、誰も観たことがない映像で観せる"ということが大前提にあったのです。言うまでもなく「スパイダーマン」は大変有名なキャラクターですし、彼の背後には複雑なオリジナル・ストーリーがあります。新しい作品をつくるともなれば、責任は重大です」。

「この作品の世界観をつくる上で、コミックブックやポップアートのようなカラーを前面に出そうと考えました。我々はコミックが大好きです。特に、コミックの印刷独特のハーフトーン（網点）のテクニック、これを絵づくりに応用したいと考えました」。

「ここで大きな課題となったのが"リアリスティック風"vs"カートゥーン風"のバランスです。どんな見た目にするのか、これで作品の成否が大きく変わります。このさじ加減は、大変エキサイティングであると同時に、少々恐ろしいものがありました」。

「新しいルックを開発するためには、実在する街をイメージさせる"絵としての説得力"も必要です。まず、舞台となるNYの写真をたくさん見て、検討を重ねました。街は、それぞれに個性があります。NYの夜の街の写真、地下トンネル、ハドソン川周辺、メイおばさんが住んでいるという設定のクイーンズの家並み、などなど。これらをもとに、アート部門がかなりディテールの入ったコンセプト・アートを起こし始めました。スタイライズされて、興味深い見た目を、様々な観点から追及していきました。それと並行して、マイルス、ステイシー、ピーターなどの主要キャラクターが"どのように見えるべきか"、ルックデブも進めていきました」。

「デザイン面で心掛けたのは、"余分なモノは省いて、なるべくシンプルにする"というルールでした。これには"シンプルにして、見た目は素晴らしいものにして、Win-Winの関係を実現する"という意味合いが込められていました。目指すは、ポップかつグラフィック・デザイン・ランゲージの世界観で、これによってキャラクターのパフォーマンスをひと味ちがった印象で見せることです。前述のようにカートゥーンとリアリティの中間をうまくバランス良く取って、やりすぎ感を感じさせず、カッコいい絵づくりを目指しました」。

カートゥーン風を2コマ落ちで表現するために施されたアニメーションの工夫／ジョッシャ・ビバリッジ氏（アニメーション・スーパーバイザー）

「アニメーション・スーパーバイザーのジョッシャ・ビバリッジです。この作品はコミックやカートゥーン風のアニメーションになります。そこで浮かび上がってきたのが、2コマ落ちアニメーションというアイデアです。動きを2コマ落ちにすることで、よりカートゥーン・リアリティ感を得ることができます」。

「また、その関係で3Dレンダリングのモーション・ブラーは入れないことに決めました。これに対応するため、速い動きのキャラクターにはスミアと呼ばれるモーション・ブラーのような線を入れるなどの、カートゥーン風の様々な工夫が必要となりました」。

「伝統的な手描きアニメーションの場合、平面に描きますので、パースや立体感、レイアウトなど、空間をある程度自由に描くことができます。一方、3Dの場合、3次元ですので、パースは計算されたパースになります。そこでデザインを優先にして、例えば3Dのビル群のアセットにそれぞれローテーションをかけて、3D上では嘘のパースペクティブをあえて使ったりもしました。しかし、ここで浮上してきたのがストロボ（フリッカー）の問題でした。2コマ落ちでモーション・ブラーが入っていないアニメーションで、かつ大画面でカメラが横に大きく移動すると、動きがフリッカー状に見えてしまうのです。ここで、様々なテクニックを試し、目の錯角も利用して、可能な限りスムースに見えるように工夫しました。このフリッカーの克服は、大変大きなチャレンジでした」。

プロダクション・セッションの合間の休憩中には、スクリーンに業界トリビアが表示されていた。その中の1枚には「『スパイダーマン: スパイダーバース』を完成させるには、140人ものアニメーターが必要とされ、それはSony Pictures Imageworksの歴史上、最大の人数だった」と記されていた

「（会場で、映像がながれる）これはピーターとマイルスの2人のスパイダーマンがNYの街を飛び回るシーンです。ピーターは飛び慣れているので、体の筋肉がポーズや力加減を知り尽くし、無駄のない動きです。一方、マイルスは若く無邪気な動きながら、経験が浅いのでエネルギーを無駄に浪費するような飛び回り方です。そういうキャラクターのちがいが感じられるように、アニメーションをつけていきました。前述したスミアも、モデルを大幅に変形させて、あたかも2Dアニメで描いたような"ブレ"を入れています。しかし、再生すると人間の目が自動的に補間して、それらしい動きに見えるから不思議です」。

マシンラーニングも活用したインクライン表現／パブ・グロコラ氏（エフェクト・スーパーバイザー）

「エフェクト・スーパーバイザーのパブ・グロコラです。さて、私はテクニカルな側面から様々なお話をしたいと思います。2Dアニメ風な雰囲気を残すために、エフェクト・チームがインクライン（アニメ・セル風のライン）を各キャラクターに入れているのですが、これは意外と簡単ではありませんした。普通に考えればテクスチャで貼る、という方法を誰でも考えつくと思いますが、UVを使って貼ると、顔やアゴなどに入るべきラインが、必ずしもカメラからの角度にマッチしないという問題が起こったのです。トゥーン・シェーダも試したのですが、トゥーン・シェーダから発生されたラインは、フェイシング・レシオから計算されたエッジに対して自動発生するので、手描きのインクラインのような自然なテイストを出すのは、なかなか難しいことがわかりました」。

「そこで、Houdini上でカスタム・ツールをつくりました。特定のフレームに対してアーティストがカメラ・スペース上にインクラインを描いて、キャラクターが動くと、描いたラインがキャラクターに自動的に追従してくれるというものでした。このラインは、アーティストが後で微調整できるようにデザインされていました。シンプルなインターフェイスで、アーティストがなるべく使いやすいようにツールをデザインし、フレキシブルにコントロール可能なように心掛けました。特に、この作品のように膨大なショット数を裁く必要がある場合には、このようなツールは大変重宝しました」。

「インクラインが必要なショットが全部で800ショットあったので、作業効率を上げるために、マシンラーニングを使用したツールもプロトタイプとして開発しました。マシンラーニングを活用するには、たくさんのサンプルを用意する必要があります。アーティストが描いたラインを、キャラクターやカメラの動きからマシンラーニングが自動的にソリューションを実現してくれるのが理想です」。

「（映像がながれる）これは実際のショットからの1例ですが、鼻やアゴなどのラインがうまく追従しており、マシンラーニングが大変効率的に活用できたことがわかります」。

画面に登場する全てをコミック風に仕上げていく／ブレット・セントクレア氏（ルック・デベロップメント・スーパーバイザー）

「ルック・デベロップメント・スーパーバイザーのブレット・セントクレアです。これまでの話でわかるように、アニメーション部門とエフェクト部門がキャラクターのインクラインの問題を解決してくれました。それ以外に解決すべき点としては、バックグラウンドのキャラクター、コスチューム、ビルディングや車などのアセットが全て揃い、今度はそれをどのようにショットに組み込んでいくか？ということでした。そこで考えたのが、ある程度インタラクティブに作業を進めていくために、できるだけNUKE上で作業や調整を行えるワークフローにするということでした」。

「普通のプロジェクトでしたら、経験上、何をどうすれば良いかある程度はわかっているのですが、この作品はちがいました。スタイライズされて、ペイント・ストロークなども入っているし、カメラは動き回ります。何をどうれば良いのか？これはモデルで実現？それともテクスチャ？もしくはマットペイントのプロジェクションで実現するか？全てが手探り状態の作業だったのです。新しいビジュアル・インフォメーションを、どのように組み上げていくか？久しぶりに生みの苦しみを味わった作品でした」。

「初期のテストでは、アート部門から届いたマットペインティングをビルティングにリ・プロジェクションして、どのように見えるかテストしてみました。たくさんのアイデア、様々なアプローチをテストしました」。

「例えば初期のキャラクター・デザインとアニメーション・テストでは、ドットとライン、ペイントストロークが入り混じる中、どうやってキャラクターを動かすか？マテリアルやサーフェスのトポロジーはどう設定するか？など様々な課題がありました。下手をすれば、安っぽい仕上りになってしまいます」。

「また、初期のテストではシーンのディフューズがスペキュラによって破壊され気味だったこともあり、監督から『ハイライトが強すぎる。質感が液体のように見える』という指摘もありました。並行して、我々が求めるプロダクション・クオリティをどうやって実現していくか？を常に考えながら作業しました」。

「シェーダによるソリューションもテストし、様々な試行錯誤の結果、まだ解決すべき問題は残っているものの、徐々にメイン・キャラクターのマイルスのルックが、アートワークに近づき、改善されていきました。そして最終的には、かつて見たことがないような、ユニークなルックに仕上げることに成功しました」。

「部屋のインテリアにも似たようなチャレンジがありました。かなりの時間を費やして100以上のビルをモデリングして、NYやブリテン――あ、"ブルックリン"です。言い間違えた（場内爆笑）。このブルックリンのビル群を構築しました。特に夜のシーンなどは、外から部屋のシーンが見えます。通常であれば、これにはプロシージャルな手続きで処理します。しかし今回は、縦横のブラシ・ストローク、マルチプレーンのアプローチのようにプレーンを組み合わせたパースペクティブなど、様々なデザイン面のチャレンジを克服すべく、プロトタイプとして開発されたシェーダは、何故かMagic Cubeと呼ばれ、テストを開始しました。Magic Cubeはハイレベルなコントロールが可能で、様々なブラシ・パターンも用意され、ほぼ全てのニーズに対応することができました」。

「次に、スクリーン・トーンについてお話します。印刷独特のスクリーン・トーンの雰囲気を実現することは、大変大きなチャレンジでした。しかも、この作品はステレオ（立体視）納品の作品です。最初にアートワークを見たときに浮上したのは"どうやってドットを、3D空間に配置するのか？"という問題で、これもたくさんのテストを繰り返しました」。

「過去に制作した『ポーラー・エクスプレス』も立体作品でしたが、このときも同じような問題が起こりました。この作品は当初パステル・スタイルで、というアイデアがあったのですが、それを3D空間でどう見せるかという問題が起こり、それを彷彿させるものがありました」。

「今回はカメラが動き回り、その中で壁やトンネルの3D空間にドットをどう配置するか？ UVやカメラプロジェクションなど、様々なテストを繰り返しました。例えば背景の窓にあるグロー1つの表現にしても、全てグラフィックで見せるという大前提がありますから、デプス・オブ・フィールドやモーション・ブラーは"ハード・バージョンのソフト"に置き換えて表現しなければなりません」。

「ドットはキャラクターに対してはうまく作用しましたが、画面に登場する全てのものがグラフィックなルックでありながら、視覚的にキャラクターのパフォーマンスの邪魔にならないようにしなければなりません。Arnoldでシェーダを開発し、レンダー結果をNUKEにもち込んで、可能な限り早く、フレキシブルにコントールできるようにしました」。

「皮膚の表現も問題でした。ペインティング風なブラシストロークを3Dでどうやって実現していくか。ブラシがカラーをうまくスミアするようにして、それをビューティーパスに反映させてみました。興味深い見た目でありながら、違和感がないように仕上げなければなりません。HoudiniやKatana、そしてNUKEを駆使しながら、ルックデブを進めていきました。最終的にCGなのかコンセプトアートなのか、見分けがつかないレベルまでもっていくのが目標でした」。

次ページ：
コミックのようなルックを映像で実現するため、色ずれや誇張したレイアウトも採用／ダニー・ディミアン氏（VFXスーパーバイザー）

[[SplitPage]]

コミックのようなルックを映像で実現するため、色ずれや誇張したレイアウトも採用／ダニー・ディミアン氏（VFXスーパーバイザー）

「イラストレーションや紙にプリントされたようなコミックのようなルックを、どうやってシネマトグラフィーの中にうまく実現していくか。例えばこのサンプル画像は、マイルスや電車が写ってるショットですが、背景に単にフィルターをかけてボカすなどの従来の方法ではなく、何か新しい方法で、効果的にレンズを使って、深度を感じさせ、かつ味のある独特の絵づくりを行うかが求められました。これには複数のアイデアを考えてみました。古いコミック・ブックを観察してみると、スクリーン印刷の際にカラーレイヤーが印刷機上で正確にラインナップせず、色ずれを起こす。これが、ピントが少しボケたような、独特の見た目を醸し出しているがわかります。一方、実写を観察してみると、複数の反射現象によって、それがイメージがボケたような印象を与えることがあります。そこで最初に考えたのが、コンプでZデブスを使ってRGBパスをあえてずらして、ハーフトーンのように見せる方法でした」。

「もう1つ、構図やレイアウトも重要でした。例えばこのショット（映像を表示）。ショットを横から別のアングルで見てみると、NYのビルの配置は非常に不自然で、パースペクティブ的にも正しい配置とは言えません。しかし、メインのカメラから見ると、アニメ風の誇張したレイアウトに見えるのです。このような見た目優先のレイアウトも採り入れていきました」。

「アニメーションや動きの中でも同様のチャレンジがあります。カメラやキャラクターがとても速く動くショットでは、スタイライズな中にも、モーション・ブラーを使用せず、オブジェクトにスミアな形状をくわえることで対応しています。これにはエフェクト・チームが、スタイライズされた中にも躍動感を感じさせる、優れた仕事をしてくれました。これについては、パブに説明してもらいましょう」。

スミアによるスピード感の表現やハンド・ドローイング素材の利用など、エフェクトチームによるさらなる挑戦／パブ・グロコラ氏（エフェクト・スーパーバイザー）

「この作品では、モーションブラーやデプス・オブ・フィールドを全く使わないということが大前提でしたから、動きが速いシーンでは、スピード感やブラーの代わりにスミア・オブジェクトをどう効果的に入れるか、がチャレンジでした。これには、大きく分けて2つのアクション・ラインのタイプがあります」。

「1つはエンバイロンメント・ストリークと呼ばれる方法で、シングル・ポイントのパースペクティブの中で、注意深くアレンジを考えました。すごくスタイライズされたショットでも、Houdiniでたくさんのアトリビュートを仕込んで、正しいスケール、正しいデプスで、コンプの際にうまく調整できるようにしました」。

「その例として、このショット（映像を表示）ですが、まず普通に再生してみます。そしてコマ送りで見てみましょう。このように、パンチの際にブラーが入ったようなストリーク形状で、大幅なスミアを加えています。こうして絵にインパクトを与えているのです。さらに、これに破片を追加して、ストロボ風なフリッカーが起こってしまうのを防いでいます」。

「もう1つはアクション・ラインで、こちらはよりアニメ風で、手描きのアニメ風のアプローチによって、モーションブラーのようなラインを加えています」。

「さて、この作品がエフェクト部門にどのようなインパクトを与えたのかをお話しましょう。私はこの作品で一番最初にアサインされたエフェクト・アーティストでしたが、実は、簡単にできるだろうと高を括っていました。エフェクトのシミュレーションなども、レンダリング結果にフィルタを掛けて、アニメっぽくすれば良いだろう、と思っていたのです。残念ながら、そんな簡単にはいきませんでした。これは、先ほどお話したインクラインでトゥーン・シェーダが上手くいかなかったのと同じで、ハンド・ドローイングのような自然な感じには見えませんでした」。

「そこで考えたが、2つの方法です。1つには、なるべくたくさんのハンド・ドローイング素材を集めること。2つ目は、様々なテクニックやトリックを使って3Dエフェクトの上に乗せてハンド・ドローイング風に見せること」。

「最初の方法は、2Dアニメの手描きエフェクト・アーティストを雇って、エフェクト・アニメーションをたくさん描いてもらいました。これはCGツールではなかなかつくることのできない、2Dのエフェクト・アーティストによるユニークなタッチやパターンをたくさん得ることができ、大変うまくいきました。Houdini上でアセンブルするツールをつくり、これはゲームのエフェクトでよく使われる手法で、スプライトを使ってリアルタイムに再生でき、希望の箇所に配置することができました」。

「もう1つの方法は、様々なテクニックやトリックを使ってつくった素材を、3Dエフェクトの上に乗せて使用する方法です。簡単な例だとスパークがありますが、モーションブラーが使えないこともあり、少々ちがう方法でつくることになりました。パーティクルをモーション・ブラーする代わりに、グラフィカルなジオメトリを発生させ使用しました」。

「また、スパイダー・ネットを再帰的に発生させる"マルチバース"という手法も開発されました。これは、カメラが継続してズームインしていくと、奥の方から次から次へと新しいスパイダー・ネットの形状が現れるというもので、マンデルブロー集合と同じような理論でつくられました」。

ショット毎に細かく調整し仕上げていくグラフィック・ライティング／ベン・ヘンドリックス氏（CGスーパーバイザー）

「......残り時間があと4分しかないそうで、手短にお話します（笑）。私はグラフィック・ライティングについてお話します。これまで説明したような、素晴らしいアニメーション、FX、ルックデブ、カメラワークなどを引き継いでショットを仕上げていきます。プロジェクション・マップなども組み合わせ、各エレメントのバランスに注意しながら、調整していくのです」。

「（映像を表示）これは、あるショットの例ですが、前述のように背景は可能な限りシンプルにして、メイン・キャラクターのマイルスやピーターにフォーカスしつつ、コンプの作業を進めていきます。ショット毎にかなり細かい調整が必要なので、シンプルに、もっとグラフィカルに、を念頭に作業を進めました」。

「監督はリファレンスとしてカービー・ドッツ（※）のような見た目を好んで用いていました。各シークエンスの中での色の変化は、ポジショニング・マスク、ファイシング・レシオ、そしてZデブスなどの各パスを組み合わせて調整し、コンプの際はNUKEのテンプレートを用意し、コンポジターと共有しました」。

※コミックアーティストであるKirby Krackleにちなんで名付けられたドット表現。参考サイト

「最後になりますが、この作品では、多くのキャラクターがマスクをしていますし、たくさんのチャレンジが要求されました。この作品で重要だったのは、800人以上のアーティストやエンジニアが、力を合わせて『スパイダーマン: スパイダーバース』を完成させたということです。今日は、どうもありがとうございました」。

info.

『スパイダーマン：スパイダーバース　プレミアム・エディション【初回生産限定』
品番：BPBH-1225
JAN：4547462121332
リリース日：2019年8月7日
価格：9,200円（税別）
www.sonypictures.jp/he/1342084
© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.