スタジオジブリとバンダイナムコ研究所、それぞれの研究開発のリアル～Virtual Computing 2020企業招待講演レポート

「Visual Computing 2020（VC 2020）」（主催：画像電子学会ビジュアル・コンピューティング研究会、情報処理学会コンピュータグラフィックスとビジュアル情報学研究会、映像情報メディア学会映像表現＆コンピュータグラフィックス研究会）が2020年12月2日（水）から4日（金）までオンラインで開催された。本イベントはCG関連技術の国内最高レベルの発表および情報交換の場として1993年から開催され、本年で28回目を迎える技術カンファレンスで、今回は全国から500名が参加した。

本稿では3日間におよぶ会期中で行われた数々のセッションの中から、「インダストリーにおける研究開発のリアル」をテーマに12月2日に行われた2本の講演『研究の成果を現場で生かす～アニメ表現を彩るCGエフェクト～』（岩澤駿氏／スタジオジブリ）と、『デジタルエンターテイメント、ゲーム開発企業の研究開発プロジェクトとは～アカデミックな知見の活用とアカデミックとの違い～』（髙橋誠史氏／バンダイナムコ研究所）の概要をレポートする。

TEXT＿小野憲史 / Kenji Ono
EDIT＿三村ゆにこ / Uniko Mimura（@UNIKO_LITTLE）

「研究の成果を現場で生かす～アニメ表現を彩るCGエフェクト～」
～スタジオジブリ・岩澤駿氏～

はじめに登壇したのは、スタジオジブリ映像部プログラマーの岩澤駿氏だ。東京大学大学院学際情報学府修士課程を修了後、2006年からスタジオジブリでCGエフェクトやアニメ制作ツールの開発に従事。2014年に東京大学大学院情報学環で助教を務め、2017年からドワンゴのエンジニアとしてオープンソースのアニメ制作ツール「OpenToonz」の開発運営を担当。現在は再びスタジオジブリで次回作の制作に参加中という、産学横断的なキャリアをもつ岩澤氏。講演内容も自身のキャリアや研究テーマがどのようにアニメ制作の現場で活かされてきたかという、複眼的な視点をもつものとなった。

岩澤駿／Shun Iwasawa
スタジオジブリ
映像部プログラマー

子供の頃から絵を描いたり自然に触れたりするのが好きだったという岩澤氏。大学に進学後、河口洋一郎氏（現：東京大学名誉教授）の作品に触れたことで、CGプログラミングに対する興味が生まれた。大学院時代の研究テーマは構造色（光自体の性質が波長により異なることに由来した発色現象の総称／シャボン玉やCDの虹色、空の青色などに見られる）のレンダリングで、シャボン玉の構造色と極小曲面（2003）や、モルフォ蝶の羽の構造色（2004）をCGで再現するなどの研究に取り組んだ。

スタジオジブリ入社後に参加した作品群でも、こうした学生時代の知見が存分に活かされている。例として挙げられたのが、映画『崖の上のポニョ』（2008）、『メアリと魔女の花』（2017）のシャボン玉エフェクトと、最新作『君たちはどう生きるか』で開発中のグレアエフェクトだ。以下、開発の経緯について講演内容を基に紐解いていこう。

岩澤氏は、「揺らめくシャボン玉の虹色素材を、アニメーターが描いた手描きの輪郭線に合わせてCGで生成することが、自分に課せられた課題でした。既存のツールでは実現できず、独自にエフェクトを開発しました」と、両作品で用いられたシャボン玉エフェクトのねらいについて語った。ここで岩澤氏が参考にしたのが、過去のシャボン玉の可視化に関する研究だ。1990年代から論文発表が始まり、徐々に複雑な内容へと進化していることがわかる。

その中でも、基本となるのが薄膜干渉のスペクトル計算だ。シャボン玉の「外側の空気とシャボン液」、「シャボン液と内側の空気」の2つの界面で反射した光が干渉して、特定の波長の光が強め合うことで発色する。具体的なパラメータとして挙げられるのが、媒質の屈折率・光の入射角・薄膜の膜厚だ。さらに入射光の色と、照明環境がシャボン玉の色に影響を及ぼす。また、シャボン玉を構成するシャボン液の厚みが重力や対流で変化することも、シャボン玉の色が刻々と変化する一因になる。これらは過去の研究によって明らかになっており、これらの知見を基に薄膜干渉の反射スペクトルを作成することができた。

By Shun Iwasawa, CC BY 4.0

その上で本案件における課題となったのが、手描きで描かれたシャボン玉の輪郭線に対して、薄膜の法線の向きと薄膜の厚さをどう分布させるかだった。これがわかればそれぞれの分布に合わせて色をプロットさせればいい。法線の向きについては、シャボン玉の形状が3DCGで描かれているなら、簡単に得られる。しかし、このエフェクトではアニメーターが描いた二次元の輪郭から演算で求める必要があった。そこで輪郭を距離画像に変換し、ガンマ補正やぼかしをかけて、シャボン玉の大きさに合わせて正規化し、輪郭から擬似的なデプスマックを作成。これを用いて三次元形状の近似とすることにした。

By Shun Iwasawa, CC BY 4.0

一方で薄膜の厚さは、シャボン玉の形状とは独立して複雑な変化をしている。このエフェクトではシャボン液の対流シミュレーションは諦め、輝度が膜の厚さに対応するような画像をアーティストが直接入力することにした。シミュレーションの正確さよりも、「アーティストの自由度」を優先したというわけだ。時間が経つと重力の影響で薄膜はシャボン玉の下ほど厚くなっていく特徴を踏まえて、実制作では上下のグラデーションを基本とした画像を入力している。

By Shun Iwasawa, CC BY 4.0 © soapbubble.dk 2008-2018, CC BY-NC 4.0

もっとも、話はそれだけでは終わらなかった。演出上の要望にあわせる必要があったからだ。具体的には「もっとパステルカラーっぽくしたい」、「パターンに揺らぎをつけたい」、「もっと『魔法』っぽくしたい」などだ。それぞれ「スペクトルにRPGごとのガンマ補正を追加」、「2次元のフラクタルノイズを生成して合成」、「波紋のような虹色のパターンを循環させる」ことで実現できた。

By Shun Iwasawa, CC BY 4.0

続いてのトピックはグレアエフェクトの表現だ。レンズの絞りやクロスフィルタ、虹彩などを光を通過するとき、回折によって生じる光の筋を計算で表現するもので、ヘッドライトなど光の強い輝きを表現するために使用される。

はじめに岩澤氏は映画『耳をすませば』（1995）を例に、従来の手描きセルアニメでのグレアエフェクトのつくり方を紹介した。透明なセルに紙やすりで傷を付けたものをレンズの前に置き、透過光を回折させてフィルムに多重露光することで表現していたのだ。岩澤氏は「アナログな職人技によって、現実に起こっている光の現象と同じ原理を作り出し、グレアエフェクトを表現していた」と述べた。

By Shun Iwasawa, CC BY 4.0

それでは、これをCGで再現するにはどうしたらいいか。岩澤氏は再び過去の学術界における「目やカメラで起きる回折光の可視化の研究」事例についてふり返った。こちらもシャボン玉エフェクトと同様に、1990年代から研究が本格化。ヘッドライトやカメラのレンズフレアなどのリアルタイムレンダリングへと結実してきた。その上でフラウンホーファー回折の方程式について紹介。回折光の結像が遮蔽物の像のフーリエ変換で近似できることを示した。この計算式を応用することで、六角形絞り、クロスフィルタ、ランダムなギザギザ模様など、アーティストが入力した「絞り画像」から様々なグレアパターンがCGで再現できるようになったという。

By Shun Iwasawa, CC BY 4.0

しかし、ここでも演出面から要望が出た。グレアパターンを非対称にしたいというものだ。計算上はパターンが必ず点対称になってしまうのだが、岩澤氏も「自動車のヘッドライトなどを見て、グレアパターンが非対称に感じられることがある。だとしたら、CGでもそうした表現ができなければいけない」とコメント。グレアパターンの周囲に沿ってノイズを発生させ、その値に合わせてギザギザを縮小させることで非対称な表現を実現した。ここでも物理的な正しさよりも演出面での効果が優先されたのだ。

これらの事例からわかるように、スタジオジブリでは「手描きの模倣」をポリシーとしてCGの研究開発が行われているという。「作品のスタイルに馴染ませる」ことと「情報量を少しリッチにする」ことで、手描きアニメーションの良さを損なわずに、CGのもつ強みを活かす手法が採られているというわけだ。そのためには自然現象をモデル化してシミュレーションするだけではなく、手描きアニメーションのスタイルを観察してCGで再現するアプローチも求められるという。

例に出されたのが映画『おもひでぽろぽろ』（1991）で描かれた背景画だ。山間の風景だが、良く観察すると写真とは異なる特徴が2つあげられる。「遠近で陰影のディテールに差があること」と「色数の限られたポスターカラーで描かれているため、ハッキリした塗り分けで陰影が描かれる」ことだ。CGで樹木を表現する場合でも、単にフォトリアルな風景にするのではなく、アニメーションの画面に見られるスタイルを観察し、それを模した絵作りをする必要があるというわけだ。

また、岩澤氏はサイエンスに基づくCGの特徴として「もっともらしい見た目が得られる反面、用いられる数理モデルが複雑になればなるほど得られる結果をパラメータから予測することが難しい」点を挙げた。科学的に厳密なシミュレーション結果が「演出上欲しいルック」と等しいとは限らない。欲しい見た目が得られるまで、パラメータを変えて何度もシミュレーションを繰り返すより、シミュレーションを行なった上で、すでに見てきたような演出上の「ウソ」で近道をするのが現実的だという。

また、産業界でも既存のツールでは表現できない映像をつくるために、研究分野にアンテナを張ることが重要だとした。ここで考えられるのが「現場の開発者が既存の研究を調査すること」と「研究者が成果のフィードバックを現場に求めること」の2つのアプローチだ。前者ではソースコードが適切なライセンスで公開されていると活用しやすいことや、現場での採用事例を研究者の業績として還元できるしくみが求められるのではないかとした。

By DWANGO Co., Ltd. CC BY-NC 4.0

また、後者では共通の技術的基盤が求められるとして、自身が開発運営に参加しているオープンソースのアニメーション制作ツール「OpenToonz」を紹介した。ジブリで用いられていた「Toonz Ghibli Edition」をベースに株式会社ドワンゴが開発し公開したもので、商用・非商用を問わず無料で使用できる。本講演で紹介されたエフェクトも、OpenToonzの組み込みエフェクトとして開発され、ネット上で公開されている。岩澤氏は「本ツールを用いて新しい表現やツールを作成して公開することで、研究と現場の交流を深めていきましょう」と呼びかけ、講演を締めくくった。

次ページ：
「企業におけるアカデミックな知見の活用とアカデミックとの違い」

[[SplitPage]]

「企業におけるアカデミックな知見の活用とアカデミックとの違い」
～バンダイナムコ研究所・髙橋誠史氏～

続いて登壇したのはバンダイナムコ研究所で技術開発本部先端技術部の課長を務める髙橋誠史氏だ。北陸先端科学技術大学院大学で博士後期課程を単位取得退学後、2009年にバンダイナムコゲームスに入社。バンダイナムコ研究所の分社化に伴い、2019年より現職で働いている。R&DチームのマネジメントやR&Dプロジェクトのディレクション、同社のオリジナルキャラクター「ミライ小町」プロジェクトのテクニカルディレクションなどを担当している人物だ。髙橋氏は近年のゲーム業界を取り巻く環境変化について触れながら、企業が学術界の研究成果をどのように活用しているか。また、企業における研究開発の特徴とは何かについて説明した。

髙橋誠史／Masafumi Takahashi
バンダイナムコ研究所
技術開発本部先端技術部課長

バンダイナムコホールディングスを筆頭に、トイホビー、ネットワークエンタテインメントなど、各事業戦略を実行する5つのユニットと主幹会社、そして主幹会社をサポートする多数の関連事業会社からなるバンダイナムコグループ。バンダイナムコ研究所もネットワークエンターテインメントユニットに属する関連事業会社の1つだ。「AI」と「XR」を2本柱に、オープンイノベーションやグループ内共創、イベント出展、新事業や新製品の開発など、活動領域は多岐にわたる。ゲーム業界でも珍しい、R&Dに特化した企業だと言えるだろう。

もっとも研究開発の基本方針の一つは、バンダイナムコグループが掲げる「IP軸戦略」に即したものとなる。IPの魅力を高める、IPのビジネスを広げるR&Dであり、クリエイターと協業するR&Dというわけだ。この点が個々の研究者が自由に研究を進める学術界との大きなちがいになる。また、「研究開発」と「技術開発」の双方にまたがる点も特徴だ。

また、企業が商行為の一環として行うため業界動向にも左右される。旧ナムコが手がけていた業務用基板やそれに必要な半導体開発などは好例だ。80年代から90年代にかけて、同社では本分野で盛んなR&Dが行われていたが、今では撤退している。家庭用ゲーム機との互換基板の普及やPCベースでのコンテンツ開発が一般的になったこと、市場の変化などが原因だ。ハイエンド開発に投資することが商品力の強化につながり、売上や利益に直結していた時代はすでに過去の話となり、投資に対する回収がシビアな時代になっている。研究開発にはコストがかかるが、コストをかけたからといってヒットする製品が生まれるわけではない。R&D受難の時代というわけだ。

続いてトピックは同社におけるR&Dの種類に移った。「遊びの試作」、「技術検証」「内製エンジン開発」、「技術デモ制作」、「CG系リサーチ」、「新規事業系R&D」の6種類だ。これに加えて、ゲーム機メーカーであれば次世代機開発やプラットフォーム開発、SDK開発などもR&Dに含まれることになる。

前提となるのが、ゲーム業界は技術ドリブンのエンタテインメント産業という点だ。そのため企業の主事業も技術革新と共に変化してきた。旧ナムコが1955年に創業した際、主事業は遊園地やアミューズメント施設向けの遊具開発だった。それがアーケードゲームに移行する契機となったのが『パックマン』のヒットで、1980年のことだ。1983年にファミリーコンピュータが発売されるといち早く参入。モバイルゲームにも1999年のiモード登場に合わせて参入し、すでに20年以上が経過している。このサイクルを踏まえると、そろそろ次の新規事業について考える時期に来ているのではいかと髙橋氏は指摘する。

ここで期待されるのがXR分野だが、すでにVR HMD向けコンテンツは同社にとってR&Dの対象から外れつつあると述べた。バンダイナムコグループを構成する各事業会社で、通常のビジネスフローに乗りつつある段階だ。コロナ禍でライブ事業やロケーション事業が大きな影響を受ける中、広義の「バーチャル」ビジネスに期待が寄せられている。いずれも決定打となるプラットフォームが存在しないことが悩ましい反面、だからこそ注目が集まる分野だ。

XRに続くR&Dのトピックとして注目されている分野にAIがある。同社でもIP軸戦略に基づき、グループが得意とするドメイン領域（CG・音声・ゲーム・アニメ）を活かした研究開発が進められている。あるドメイン領域を強化することで競合他社に対する参入障壁が築けるからだ。グループ内で相談しやすい文化があり、グループ間でデータセットを共有化する取り組みやリリース済みのゲームのPython対応、OpenAI Gym対応なども進められている。

一方で、学習に使うデータの権利やトレーニング済みモデルの権利処理など、ゲーム開発者にとっても法務的な理解が求められる分野だとした。実際、AI研究は法務部門にとっても新領域で、一般的な受託開発と異なる部分も多く、日本ディープラーニング協会が策定した開発標準契約書など、業界外の知見も参考にされているという。

以上をまとめて髙橋氏は、ゲーム会社で定番のR&Dを「開発効率を上げること」と「クリエイター能力を拡張する」という2種類にまとめ、「事業の継続のために行なっている」と指摘した。そのため論文投稿されるケースも少なかったが、近年では徐々に増加傾向にあるという。製品がリリースされたり、新規技術が何かに採用された後は企業にとって論文投稿の良いタイミングだ。技術力を誇示できるだけでなく、リクルーティングにもつながる。もっとも、実際の方針は企業によって異なり、トップカンファレンスを目指す企業もあればそうでない企業があるのも事実だ。

続いて髙橋氏はR&Dチームに求められているものや、ジレンマについても明かした。ポイントは長期的な展望が描きにくいことだ。CGにしろAIにしろ、R&Dには継続的な投資が求められる。その一方で業界のトレンドは刻々と変わり、かつハイエンドゲームの開発投資が企業にとって大きな負担になっている。いきおいR&Dにおいても、費用対効果や用途の明確さが求められるというわけだ。ときにはR&Dチームに実際の活用提案まで求められることもあるが、商習慣の壁から実現にいたらないこともある。R&Dと製品開発の溝はゲーム業界に限らず、多くの業界で見られるジレンマだが、この溝が年々広がっているというわけだ。

「特にAI分野で顕著なこととして、新しいアイデアや実装が公開されると、とりあえずR&Dで試してみるものの、なかなかビジネスに進まないのが実情です。Proof of Concept、いわゆる概念実証にコストを割く一方で成果につながりにくいのです。これはゲームエンジンの普及時を彷彿とさせます。企画書では判断できないとして、とりあえず試作するもののどの試作を基に製品化すればいいか、判断できないという状況が生まれました」。企業にとってR&Dは利益追求の手段だ。それだけに業績が低迷すると、コストカットの対象になりやすい。このジレンマをどのように越えるかが求められているという。

そこで同社が取り組んでいるのが、自社IPを活用した攻めのR&D、すなわち「ミライ小町プロジェクト」だ。バンダイナムコ研究所のメンバーが、バンダイナムコスタジオ所属の2016年に、技術研究の営業用に展開したプロジェクトがベースで、2018年にサウンドチームのオリジナルVOCALOIDプロジェクトに合流して公開されたプロジェクトとなる。その後、2019年に研究所が設立すると、R&Dにとどまらないキャラクター展開を見せるようになった。キャラクターを前面に押し出していく手法は目新しいものではないが、それだけに事例が多く、ビジネス層にも理解されやすいメリットがあった。その後、ミライ小町は既存IPでは難しい実験的な役割を担ったり、外部とのコラボレーションなども行うキャラクターとして、広く展開されていった。

また、キャラクタードリブンのゲーム開発は、格闘ゲームの『鉄拳』シリーズや、アイドル育成シミュレーション『アイドルマスター』シリーズなど、バンダイナムコグループが得意とする領域だ。そこには様々な技術が用いられており、ことAI分野に限っても表情生成・音声合成・モーション自動生成・空間認知・意思決定など、多岐にわたる領域が存在する。AI技術のR&Dを用いてミライ小町の魅力度を高められれば、グループが所有する豊富なIPへの波及効果も期待できる。それぞれはバラバラなR&Dプロジェクトに芯が通せるというわけだ。

そしてなにより、自社IPによるキャラクターをもつことでエンジニアやリサーチャーが「自分たちがクリエイターである」という気概をもつことができた。髙橋氏は「ただ利益を上げるだけではクリエイターとしてはつらい。小規模プロジェクトを通して人材育成につなげる重要性についても、わかってはいるが現実には難しい。それよりも、R&Dプロジェクトを小規模プロジェクトと見立てて利用することが現実的。だからこそ、クリエイターが自由に使えるキャラクターを用意することで、クリエイティビティを発揮する場が用意できる」と指摘する。

また、研究機関や大学、他社との協業についても触れた。自社ではできないこと、それは共同研究、インターンシップ、公開済みの技術活用などだ。異業種コラボも同様でグループの内外で協業を進めているという。そのためには自社でハンドリングできるIPや資産をもつことが重要だ。同社ではミライ小町のUnity向けアセットやイラストの公開、協賛ハッカソンなどへの素材提供、研究素材に使えるクラシックゲームの整備、データセット、アセットの整備、オープンソース活動などだ。「今後も技術研究の成果物をできるだけ公開していきたいですね」（高橋氏）。

セッションの終わりに髙橋氏は、企業にとって求められるR&Dの姿勢について、改めまとめた。まず自社が行なっているR&Dの分類を行うこと。その上でR&Dプロジェクトをビジネス層に通すための効果的や手法について考えること（同社であればキャラクターを通して「魅せるR&D」となる）。リサーチャーやエンジニアに対して、クリエイターである自覚をもたせること（必要に応じてクリエイターを巻き込むこと）。最後に外部とのコラボレーションの準備を常に怠らないことだ。ゲーム業界でもR&Dを専門に行う企業ならではのユニークな知見が多数詰まっているように感じられた。