>   >  スタジオジブリとバンダイナムコ研究所、それぞれの研究開発のリアル~Virtual Computing 2020企業招待講演レポート
スタジオジブリとバンダイナムコ研究所、それぞれの研究開発のリアル~Virtual Computing 2020企業招待講演レポート

スタジオジブリとバンダイナムコ研究所、それぞれの研究開発のリアル~Virtual Computing 2020企業招待講演レポート

「Visual Computing 2020(VC 2020)」(主催:画像電子学会 ビジュアル・コンピューティング研究会、情報処理学会 コンピュータグラフィックスとビジュアル情報学研究会、映像情報メディア学会 映像表現&コンピュータグラフィックス研究会)が2020年12月2日(水)から4日(金)までオンラインで開催された。本イベントはCG関連技術の国内最高レベルの発表および情報交換の場として1993年から開催され、本年で28回目を迎える技術カンファレンスで、今回は全国から500名が参加した。

本稿では3日間におよぶ会期中で行われた数々のセッションの中から、「インダストリーにおける研究開発のリアル」をテーマに12月2日に行われた2本の講演『研究の成果を現場で生かす ~アニメ表現を彩るCGエフェクト~』(岩澤 駿氏/スタジオジブリ)と、『デジタルエンターテイメント、ゲーム開発企業の研究開発プロジェクトとは ~アカデミックな知見の活用とアカデミックとの違い~』(髙橋誠史氏/バンダイナムコ研究所)の概要をレポートする。


TEXT_小野憲史 / Kenji Ono
EDIT_三村ゆにこ / Uniko Mimura(@UNIKO_LITTLE



「研究の成果を現場で生かす ~アニメ表現を彩るCGエフェクト~」
~スタジオジブリ・岩澤 駿氏~

はじめに登壇したのは、スタジオジブリ映像部プログラマーの岩澤 駿氏だ。東京大学大学院学際情報学府修士課程を修了後、2006年からスタジオジブリでCGエフェクトやアニメ制作ツールの開発に従事。2014年に東京大学大学院情報学環で助教を務め、2017年からドワンゴのエンジニアとしてオープンソースのアニメ制作ツール「OpenToonz」の開発運営を担当。現在は再びスタジオジブリで次回作の制作に参加中という、産学横断的なキャリアをもつ岩澤氏。講演内容も自身のキャリアや研究テーマがどのようにアニメ制作の現場で活かされてきたかという、複眼的な視点をもつものとなった。

  • 岩澤 駿/Shun Iwasawa
    スタジオジブリ
    映像部プログラマー

子供の頃から絵を描いたり自然に触れたりするのが好きだったという岩澤氏。大学に進学後、河口洋一郎氏(現:東京大学名誉教授)の作品に触れたことで、CGプログラミングに対する興味が生まれた。大学院時代の研究テーマは構造色(光自体の性質が波長により異なることに由来した発色現象の総称/シャボン玉やCDの虹色、空の青色などに見られる)のレンダリングで、シャボン玉の構造色と極小曲面(2003)や、モルフォ蝶の羽の構造色(2004)をCGで再現するなどの研究に取り組んだ。

スタジオジブリ入社後に参加した作品群でも、こうした学生時代の知見が存分に活かされている。例として挙げられたのが、映画『崖の上のポニョ』(2008)、『メアリと魔女の花』(2017)のシャボン玉エフェクトと、最新作『君たちはどう生きるか』で開発中のグレアエフェクトだ。以下、開発の経緯について講演内容を基に紐解いていこう。

© 2008 Studio Ghibli・NDHDMT

岩澤氏は、「揺らめくシャボン玉の虹色素材を、アニメーターが描いた手描きの輪郭線に合わせてCGで生成することが、自分に課せられた課題でした。既存のツールでは実現できず、独自にエフェクトを開発しました」と、両作品で用いられたシャボン玉エフェクトのねらいについて語った。ここで岩澤氏が参考にしたのが、過去のシャボン玉の可視化に関する研究だ。1990年代から論文発表が始まり、徐々に複雑な内容へと進化していることがわかる。

その中でも、基本となるのが薄膜干渉のスペクトル計算だ。シャボン玉の「外側の空気とシャボン液」、「シャボン液と内側の空気」の2つの界面で反射した光が干渉して、特定の波長の光が強め合うことで発色する。具体的なパラメータとして挙げられるのが、媒質の屈折率・光の入射角・薄膜の膜厚だ。さらに入射光の色と、照明環境がシャボン玉の色に影響を及ぼす。また、シャボン玉を構成するシャボン液の厚みが重力や対流で変化することも、シャボン玉の色が刻々と変化する一因になる。これらは過去の研究によって明らかになっており、これらの知見を基に薄膜干渉の反射スペクトルを作成することができた。

By Shun Iwasawa, CC BY 4.0

その上で本案件における課題となったのが、手描きで描かれたシャボン玉の輪郭線に対して、薄膜の法線の向きと薄膜の厚さをどう分布させるかだった。これがわかればそれぞれの分布に合わせて色をプロットさせればいい。法線の向きについては、シャボン玉の形状が3DCGで描かれているなら、簡単に得られる。しかし、このエフェクトではアニメーターが描いた二次元の輪郭から演算で求める必要があった。そこで輪郭を距離画像に変換し、ガンマ補正やぼかしをかけて、シャボン玉の大きさに合わせて正規化し、輪郭から擬似的なデプスマックを作成。これを用いて三次元形状の近似とすることにした。

By Shun Iwasawa, CC BY 4.0

一方で薄膜の厚さは、シャボン玉の形状とは独立して複雑な変化をしている。このエフェクトではシャボン液の対流シミュレーションは諦め、輝度が膜の厚さに対応するような画像をアーティストが直接入力することにした。シミュレーションの正確さよりも、「アーティストの自由度」を優先したというわけだ。時間が経つと重力の影響で薄膜はシャボン玉の下ほど厚くなっていく特徴を踏まえて、実制作では上下のグラデーションを基本とした画像を入力している。

By Shun Iwasawa, CC BY 4.0 © soapbubble.dk 2008-2018, CC BY-NC 4.0

もっとも、話はそれだけでは終わらなかった。演出上の要望にあわせる必要があったからだ。具体的には「もっとパステルカラーっぽくしたい」、「パターンに揺らぎをつけたい」、「もっと『魔法』っぽくしたい」などだ。それぞれ「スペクトルにRPGごとのガンマ補正を追加」、「2次元のフラクタルノイズを生成して合成」、「波紋のような虹色のパターンを循環させる」ことで実現できた。

By Shun Iwasawa, CC BY 4.0

続いてのトピックはグレアエフェクトの表現だ。レンズの絞りやクロスフィルタ、虹彩などを光を通過するとき、回折によって生じる光の筋を計算で表現するもので、ヘッドライトなど光の強い輝きを表現するために使用される。

はじめに岩澤氏は映画『耳をすませば』(1995)を例に、従来の手描きセルアニメでのグレアエフェクトのつくり方を紹介した。透明なセルに紙やすりで傷を付けたものをレンズの前に置き、透過光を回折させてフィルムに多重露光することで表現していたのだ。岩澤氏は「アナログな職人技によって、現実に起こっている光の現象と同じ原理を作り出し、グレアエフェクトを表現していた」と述べた。

By Shun Iwasawa, CC BY 4.0

それでは、これをCGで再現するにはどうしたらいいか。岩澤氏は再び過去の学術界における「目やカメラで起きる回折光の可視化の研究」事例についてふり返った。こちらもシャボン玉エフェクトと同様に、1990年代から研究が本格化。ヘッドライトやカメラのレンズフレアなどのリアルタイムレンダリングへと結実してきた。その上でフラウンホーファー回折の方程式について紹介。回折光の結像が遮蔽物の像のフーリエ変換で近似できることを示した。この計算式を応用することで、六角形絞り、クロスフィルタ、ランダムなギザギザ模様など、アーティストが入力した「絞り画像」から様々なグレアパターンがCGで再現できるようになったという。

By Shun Iwasawa, CC BY 4.0

しかし、ここでも演出面から要望が出た。グレアパターンを非対称にしたいというものだ。計算上はパターンが必ず点対称になってしまうのだが、岩澤氏も「自動車のヘッドライトなどを見て、グレアパターンが非対称に感じられることがある。だとしたら、CGでもそうした表現ができなければいけない」とコメント。グレアパターンの周囲に沿ってノイズを発生させ、その値に合わせてギザギザを縮小させることで非対称な表現を実現した。ここでも物理的な正しさよりも演出面での効果が優先されたのだ。

これらの事例からわかるように、スタジオジブリでは「手描きの模倣」をポリシーとしてCGの研究開発が行われているという。「作品のスタイルに馴染ませる」ことと「情報量を少しリッチにする」ことで、手描きアニメーションの良さを損なわずに、CGのもつ強みを活かす手法が採られているというわけだ。そのためには自然現象をモデル化してシミュレーションするだけではなく、手描きアニメーションのスタイルを観察してCGで再現するアプローチも求められるという。

© 1991 岡本螢・刀根夕子・Studio Ghibli・NH

例に出されたのが映画『おもひでぽろぽろ』(1991)で描かれた背景画だ。山間の風景だが、良く観察すると写真とは異なる特徴が2つあげられる。「遠近で陰影のディテールに差があること」と「色数の限られたポスターカラーで描かれているため、ハッキリした塗り分けで陰影が描かれる」ことだ。CGで樹木を表現する場合でも、単にフォトリアルな風景にするのではなく、アニメーションの画面に見られるスタイルを観察し、それを模した絵作りをする必要があるというわけだ。

また、岩澤氏はサイエンスに基づくCGの特徴として「もっともらしい見た目が得られる反面、用いられる数理モデルが複雑になればなるほど得られる結果をパラメータから予測することが難しい」点を挙げた。科学的に厳密なシミュレーション結果が「演出上欲しいルック」と等しいとは限らない。欲しい見た目が得られるまで、パラメータを変えて何度もシミュレーションを繰り返すより、シミュレーションを行なった上で、すでに見てきたような演出上の「ウソ」で近道をするのが現実的だという。

また、産業界でも既存のツールでは表現できない映像をつくるために、研究分野にアンテナを張ることが重要だとした。ここで考えられるのが「現場の開発者が既存の研究を調査すること」と「研究者が成果のフィードバックを現場に求めること」の2つのアプローチだ。前者ではソースコードが適切なライセンスで公開されていると活用しやすいことや、現場での採用事例を研究者の業績として還元できるしくみが求められるのではないかとした。

By DWANGO Co., Ltd. CC BY-NC 4.0

また、後者では共通の技術的基盤が求められるとして、自身が開発運営に参加しているオープンソースのアニメーション制作ツール「OpenToonz」を紹介した。ジブリで用いられていた「Toonz Ghibli Edition」をベースに株式会社ドワンゴが開発し公開したもので、商用・非商用を問わず無料で使用できる。本講演で紹介されたエフェクトも、OpenToonzの組み込みエフェクトとして開発され、ネット上で公開されている。岩澤氏は「本ツールを用いて新しい表現やツールを作成して公開することで、研究と現場の交流を深めていきましょう」と呼びかけ、講演を締めくくった。



次ページ:
「企業におけるアカデミックな知見の活用とアカデミックとの違い」

特集