>   >  コミック風映像への挑戦、映画『スパイダーマン:スパイダーバース』プロダクション・セッション~SIGGRAPH 2019 レポート(4)~
コミック風映像への挑戦、映画『スパイダーマン:スパイダーバース』プロダクション・セッション~SIGGRAPH 2019 レポート(4)~

コミック風映像への挑戦、映画『スパイダーマン:スパイダーバース』プロダクション・セッション~SIGGRAPH 2019 レポート(4)~

SIGGRAPH2019期間中に開催されたProduction Sessionレポート第2弾では、最終日の一番最後に行われた、Sony Pictures Imageworksによる「Swing into Another Dimension: The Making of "Spider-Man: Into the Spider-Verse"」の講演をふり返る。セッションの最中は写真撮影が禁止されており、講演の中で紹介されたクリップや映像がないとなかなか理解しにくい部分もあるかと思うが、少しでも当日の模様を楽しんでいただきたい。

■関連記事はこちら
「AMD Radeon ProRender」と専用クラウドレンダリングファーム「Bullet Render Farm」~SIGGRAPH 2019 レポート(1)~
超短時間で発表、論文ダイジェスト「Papers Fast Forward」と今年の注目論文ピックアップ~SIGGRAPH 2019 レポート(2)~
2485ものVFXショットを制作、映画『アベンジャーズ/エンドゲーム』プロダクション・セッション~SIGGRAPH 2019 レポート(3)~

※本記事は2019年7月28日に開催されたSIGGRAPH2019での取材内容に基づきます。

TEXT & PHOTO_鍋 潤太郎/Juntaro Nabe
EDIT_山田桃子 / Momoko Yamada
© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

Production Sessions『スパイダーマン:スパイダーバース』パネラー
ダニー・ディミアン氏(VFXスーパーバイザー)
ジョッシャ・ビバリッジ氏(アニメーション・スーパーバイザー)
ブレット・セントクレア氏(ルック・デベロップメント・スーパーバイザー)
パブ・グロコラ氏(エフェクト・スーパーバイザー)
ベン・ヘンドリックス氏(CGスーパーバイザー)

リアル風とカートゥーン風、バランスをとりながらつくり上げられた新しい表現/ダニー・ディミアン氏(VFXスーパーバイザー)

「Sony Pictures ImageworksのVFXスーパーバイザー、ダニー・ディミアンです。『スパイダーマン:スパイダーバース』は正式タイトルが決まる前から、大きな疑問をクリアする必要がありました。それは"なぜ今さら、新しいスパイダーマン映画をつくる必要があるのか?"ということでした。『スパイダーマン』はこれまでに8本もの映画シリーズが製作されてきました。にも関わらず、あえてアニメーション映画としてつくる理由として"観客の予想を裏切り、誰も観たことがない映像で観せる"ということが大前提にあったのです。言うまでもなく「スパイダーマン」は大変有名なキャラクターですし、彼の背後には複雑なオリジナル・ストーリーがあります。新しい作品をつくるともなれば、責任は重大です」。

「この作品の世界観をつくる上で、コミックブックやポップアートのようなカラーを前面に出そうと考えました。我々はコミックが大好きです。特に、コミックの印刷独特のハーフトーン(網点)のテクニック、これを絵づくりに応用したいと考えました」。

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

「ここで大きな課題となったのが"リアリスティック風"vs"カートゥーン風"のバランスです。どんな見た目にするのか、これで作品の成否が大きく変わります。このさじ加減は、大変エキサイティングであると同時に、少々恐ろしいものがありました」。

「新しいルックを開発するためには、実在する街をイメージさせる"絵としての説得力"も必要です。まず、舞台となるNYの写真をたくさん見て、検討を重ねました。街は、それぞれに個性があります。NYの夜の街の写真、地下トンネル、ハドソン川周辺、メイおばさんが住んでいるという設定のクイーンズの家並み、などなど。これらをもとに、アート部門がかなりディテールの入ったコンセプト・アートを起こし始めました。スタイライズされて、興味深い見た目を、様々な観点から追及していきました。それと並行して、マイルス、ステイシー、ピーターなどの主要キャラクターが"どのように見えるべきか"、ルックデブも進めていきました」。

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

「デザイン面で心掛けたのは、"余分なモノは省いて、なるべくシンプルにする"というルールでした。これには"シンプルにして、見た目は素晴らしいものにして、Win-Winの関係を実現する"という意味合いが込められていました。目指すは、ポップかつグラフィック・デザイン・ランゲージの世界観で、これによってキャラクターのパフォーマンスをひと味ちがった印象で見せることです。前述のようにカートゥーンとリアリティの中間をうまくバランス良く取って、やりすぎ感を感じさせず、カッコいい絵づくりを目指しました」。

カートゥーン風を2コマ落ちで表現するために施されたアニメーションの工夫/ジョッシャ・ビバリッジ氏(アニメーション・スーパーバイザー)

「アニメーション・スーパーバイザーのジョッシャ・ビバリッジです。この作品はコミックやカートゥーン風のアニメーションになります。そこで浮かび上がってきたのが、2コマ落ちアニメーションというアイデアです。動きを2コマ落ちにすることで、よりカートゥーン・リアリティ感を得ることができます」。

「また、その関係で3Dレンダリングのモーション・ブラーは入れないことに決めました。これに対応するため、速い動きのキャラクターにはスミアと呼ばれるモーション・ブラーのような線を入れるなどの、カートゥーン風の様々な工夫が必要となりました」。

「伝統的な手描きアニメーションの場合、平面に描きますので、パースや立体感、レイアウトなど、空間をある程度自由に描くことができます。一方、3Dの場合、3次元ですので、パースは計算されたパースになります。そこでデザインを優先にして、例えば3Dのビル群のアセットにそれぞれローテーションをかけて、3D上では嘘のパースペクティブをあえて使ったりもしました。しかし、ここで浮上してきたのがストロボ(フリッカー)の問題でした。2コマ落ちでモーション・ブラーが入っていないアニメーションで、かつ大画面でカメラが横に大きく移動すると、動きがフリッカー状に見えてしまうのです。ここで、様々なテクニックを試し、目の錯角も利用して、可能な限りスムースに見えるように工夫しました。このフリッカーの克服は、大変大きなチャレンジでした」。

プロダクション・セッションの合間の休憩中には、スクリーンに業界トリビアが表示されていた。その中の1枚には「『スパイダーマン: スパイダーバース』を完成させるには、140人ものアニメーターが必要とされ、それはSony Pictures Imageworksの歴史上、最大の人数だった」と記されていた

「(会場で、映像がながれる)これはピーターとマイルスの2人のスパイダーマンがNYの街を飛び回るシーンです。ピーターは飛び慣れているので、体の筋肉がポーズや力加減を知り尽くし、無駄のない動きです。一方、マイルスは若く無邪気な動きながら、経験が浅いのでエネルギーを無駄に浪費するような飛び回り方です。そういうキャラクターのちがいが感じられるように、アニメーションをつけていきました。前述したスミアも、モデルを大幅に変形させて、あたかも2Dアニメで描いたような"ブレ"を入れています。しかし、再生すると人間の目が自動的に補間して、それらしい動きに見えるから不思議です」。

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

マシンラーニングも活用したインクライン表現/パブ・グロコラ氏(エフェクト・スーパーバイザー)

「エフェクト・スーパーバイザーのパブ・グロコラです。さて、私はテクニカルな側面から様々なお話をしたいと思います。2Dアニメ風な雰囲気を残すために、エフェクト・チームがインクライン(アニメ・セル風のライン)を各キャラクターに入れているのですが、これは意外と簡単ではありませんした。普通に考えればテクスチャで貼る、という方法を誰でも考えつくと思いますが、UVを使って貼ると、顔やアゴなどに入るべきラインが、必ずしもカメラからの角度にマッチしないという問題が起こったのです。トゥーン・シェーダも試したのですが、トゥーン・シェーダから発生されたラインは、フェイシング・レシオから計算されたエッジに対して自動発生するので、手描きのインクラインのような自然なテイストを出すのは、なかなか難しいことがわかりました」。

「そこで、Houdini上でカスタム・ツールをつくりました。特定のフレームに対してアーティストがカメラ・スペース上にインクラインを描いて、キャラクターが動くと、描いたラインがキャラクターに自動的に追従してくれるというものでした。このラインは、アーティストが後で微調整できるようにデザインされていました。シンプルなインターフェイスで、アーティストがなるべく使いやすいようにツールをデザインし、フレキシブルにコントロール可能なように心掛けました。特に、この作品のように膨大なショット数を裁く必要がある場合には、このようなツールは大変重宝しました」。

「インクラインが必要なショットが全部で800ショットあったので、作業効率を上げるために、マシンラーニングを使用したツールもプロトタイプとして開発しました。マシンラーニングを活用するには、たくさんのサンプルを用意する必要があります。アーティストが描いたラインを、キャラクターやカメラの動きからマシンラーニングが自動的にソリューションを実現してくれるのが理想です」。

「(映像がながれる)これは実際のショットからの1例ですが、鼻やアゴなどのラインがうまく追従しており、マシンラーニングが大変効率的に活用できたことがわかります」。

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

画面に登場する全てをコミック風に仕上げていく/ブレット・セントクレア氏(ルック・デベロップメント・スーパーバイザー)

「ルック・デベロップメント・スーパーバイザーのブレット・セントクレアです。これまでの話でわかるように、アニメーション部門とエフェクト部門がキャラクターのインクラインの問題を解決してくれました。それ以外に解決すべき点としては、バックグラウンドのキャラクター、コスチューム、ビルディングや車などのアセットが全て揃い、今度はそれをどのようにショットに組み込んでいくか? ということでした。そこで考えたのが、ある程度インタラクティブに作業を進めていくために、できるだけNUKE上で作業や調整を行えるワークフローにするということでした」。

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

「普通のプロジェクトでしたら、経験上、何をどうすれば良いかある程度はわかっているのですが、この作品はちがいました。スタイライズされて、ペイント・ストロークなども入っているし、カメラは動き回ります。何をどうれば良いのか? これはモデルで実現? それともテクスチャ? もしくはマットペイントのプロジェクションで実現するか? 全てが手探り状態の作業だったのです。新しいビジュアル・インフォメーションを、どのように組み上げていくか? 久しぶりに生みの苦しみを味わった作品でした」。

「初期のテストでは、アート部門から届いたマットペインティングをビルティングにリ・プロジェクションして、どのように見えるかテストしてみました。たくさんのアイデア、様々なアプローチをテストしました」。

「例えば初期のキャラクター・デザインとアニメーション・テストでは、ドットとライン、ペイントストロークが入り混じる中、どうやってキャラクターを動かすか? マテリアルやサーフェスのトポロジーはどう設定するか? など様々な課題がありました。下手をすれば、安っぽい仕上りになってしまいます」。

「また、初期のテストではシーンのディフューズがスペキュラによって破壊され気味だったこともあり、監督から『ハイライトが強すぎる。質感が液体のように見える』という指摘もありました。並行して、我々が求めるプロダクション・クオリティをどうやって実現していくか? を常に考えながら作業しました」。

「シェーダによるソリューションもテストし、様々な試行錯誤の結果、まだ解決すべき問題は残っているものの、徐々にメイン・キャラクターのマイルスのルックが、アートワークに近づき、改善されていきました。そして最終的には、かつて見たことがないような、ユニークなルックに仕上げることに成功しました」。

「部屋のインテリアにも似たようなチャレンジがありました。かなりの時間を費やして100以上のビルをモデリングして、NYやブリテン――あ、"ブルックリン"です。言い間違えた(場内爆笑)。このブルックリンのビル群を構築しました。特に夜のシーンなどは、外から部屋のシーンが見えます。通常であれば、これにはプロシージャルな手続きで処理します。しかし今回は、縦横のブラシ・ストローク、マルチプレーンのアプローチのようにプレーンを組み合わせたパースペクティブなど、様々なデザイン面のチャレンジを克服すべく、プロトタイプとして開発されたシェーダは、何故かMagic Cubeと呼ばれ、テストを開始しました。Magic Cubeはハイレベルなコントロールが可能で、様々なブラシ・パターンも用意され、ほぼ全てのニーズに対応することができました」。

© 2018 Sony Pictures Animation Inc. All Rights Reserved. | MARVEL and all related character names: © & ™ 2019 MARVEL.

「次に、スクリーン・トーンについてお話します。印刷独特のスクリーン・トーンの雰囲気を実現することは、大変大きなチャレンジでした。しかも、この作品はステレオ(立体視)納品の作品です。最初にアートワークを見たときに浮上したのは"どうやってドットを、3D空間に配置するのか?"という問題で、これもたくさんのテストを繰り返しました」。

「過去に制作した『ポーラー・エクスプレス』も立体作品でしたが、このときも同じような問題が起こりました。この作品は当初パステル・スタイルで、というアイデアがあったのですが、それを3D空間でどう見せるかという問題が起こり、それを彷彿させるものがありました」。

「今回はカメラが動き回り、その中で壁やトンネルの3D空間にドットをどう配置するか? UVやカメラプロジェクションなど、様々なテストを繰り返しました。例えば背景の窓にあるグロー1つの表現にしても、全てグラフィックで見せるという大前提がありますから、デプス・オブ・フィールドやモーション・ブラーは"ハード・バージョンのソフト"に置き換えて表現しなければなりません」。

「ドットはキャラクターに対してはうまく作用しましたが、画面に登場する全てのものがグラフィックなルックでありながら、視覚的にキャラクターのパフォーマンスの邪魔にならないようにしなければなりません。Arnoldでシェーダを開発し、レンダー結果をNUKEにもち込んで、可能な限り早く、フレキシブルにコントールできるようにしました」。

「皮膚の表現も問題でした。ペインティング風なブラシストロークを3Dでどうやって実現していくか。ブラシがカラーをうまくスミアするようにして、それをビューティーパスに反映させてみました。興味深い見た目でありながら、違和感がないように仕上げなければなりません。HoudiniやKatana、そしてNUKEを駆使しながら、ルックデブを進めていきました。最終的にCGなのかコンセプトアートなのか、見分けがつかないレベルまでもっていくのが目標でした」。

次ページ:
コミックのようなルックを映像で実現するため、色ずれや誇張したレイアウトも採用/ダニー・ディミアン氏(VFXスーパーバイザー)

特集