企業と大学の共同研究では、課題や情報の共有がとりわけ難しい
C：では続いて、四倉さんたちのARGと、向川教授たちのNAISTが共同研究をするようになった経緯も教えていただけますか？
四倉：ARGの取り組みは、その立ち上げ直後から中村教授にお話していました。私はかつて国際電気通信基礎技術研究所（ATR）に所属しており、そのときの上長が中村教授だったので、非常に話がしやすかったという背景があります。2018年の1月頃に今の研究課題の大枠が決まり、それも中村教授にお見せしたところ、「楽しそうですね。向川教授と一緒にやってみたらどうでしょう。向川教授には私からお話しますから」というありがたい提案をいただきました。正式に共同研究の契約締結をしたのは6月で、それから今にいたるまで、中割りと仕上げの自動化技術の開発を並行して進めています。
C：SIGGRAPH ASIA 2018のポスターの応募締切は8月末でしたから、約3ヶ月で成果をまとめ、応募なさったということでしょうか。すごい研究スピードですね。
久保：四倉さんたちとのお話は2月頃から始めており、制作現場が抱えている課題は早々に共有していただけました。「こういうふうに解決していったら良いんじゃないかな」といったアイデアは、早い段階から考えていましたね。実際に手を動かし、課題解決のための提案や実装を始めたのは6月以降というながれです。四倉さん、前島さん、私の3名は、全員が森島繁生先生（現・早稲田大学教授）の教え子で、お2人は私の先輩にあたります。学生時代から共同研究などでお世話になってきた方々なので、情報の共有はすごくスムーズに進んだように思います。
C：始まる前から、お互いの距離感が近かったわけですね。
久保：その点が、本研究の推進力を支えているように感じます。チャットツールやWeb会議システムなどを使い、かなり頻繁に相談や情報共有をしています。何かわからないことがあれば、「これって、どんな感じですか？」とチャットツールで質問を投げかけておき、手が空いたときに返答してもらうといった具合です。
C：制作現場が抱えている課題を共有してもらう中で、NAIST側が想定していなかったこと、新たに知ったことなどはありましたか？
久保：日々発見の連続でした。一例を挙げると、アニメ制作の場合はキャラクターの色を指定する設定表があるし、色を塗る領域も決まっているから、彩色の自動化はそれほど手間のかかる課題ではないだろうと思っていました。でもお話を伺ってみると、実際の彩色は思った以上に細やかな仕事で、そこには手間もコストもかけられており、一筋縄で自動化できるものではないとわかりました。
舩冨：本研究の実施にあたり、すごく貴重なアニメの制作データを提供いただけたのですが、そのままディープラーニングに適用することは難しく、様々な前処理が必要でした。その前処理をするにあたり、データの意味を理解することが最初の大きなハードルでした。OLMデジタルのアニメ制作現場を見学させてもらえたことで、われわれ教員も学生も、かなり理解が深まり、どんな情報であればディープラーニングに使えるかを判断する勘所が養えたように思います。
向川：例えばアニメの動画には、黒色の線（輪郭を示すトレス線）のほかに、青色の線（カゲを示す色トレス線）や赤色の線（ハイライトを示す色トレス線）が描かれています。それぞれの線にどんな意味があるのか、最初はわかりませんでした。色の設定表を見ても、どの色がどういう場合に使われるのか、すぐには理解できませんでしたね。制作現場の方々は専門的な共通基盤の上で仕事をしているため、見ればすぐ理解できるのですが、われわれには無理でした。わからないことを質問したり、設定表と彩色された動画を見比べたりしながら、ひとつずつ確認していく作業が必要でした。
舩冨：ほかにも、キャラクターの動画であれば、必ず全身が描かれているものだと最初は思っていました。ところが腕だけが動くカットは、腕だけの動画が何枚も別に描かれていて、動かない部分は1枚の動画でまかなっているのです。ああ、そうやってつくるのかと、でも腕だけの動画だと、どのキャラクターのどの部分なのか、機械に判断させるのは難しいぞ......というように徐々に理解を深めていきました。
向川：このデータは外しましょうとか、機械が学習しやすい形に変えましょうといった、ディープラーニングの前段階での作業が思った以上に大変でした（笑）。
久保：企業と大学が共同研究をする場合、こういった課題や情報の共有がとりわけ難しいのです。今回は比較的距離感の近い人たちが集まれたので、課題も情報もすぐに共有でき、すごく研究が進めやすいように感じています。
C：課題や情報を共有した後は、どのような手順で研究を進めたのでしょうか？
向川：ディープラーニングによる画像の領域抽出には大量のデータが必要なので、手始めにアニメ『ポケットモンスター』シリーズを通して一番登場しており、大量のデータを確保できるピカチュウに絞って彩色の自動化を試みました。もちろん、ピカチュウだけが彩色できても現場の仕事で使い物になる技術にはほど遠いので、この知見を応用し、データ量の少ない別のキャラクターの彩色にも対応できるようにしたいと考えています。
C：現時点での、ピカチュウの彩色自動化の精度はどの程度ですか？
前島：うまくいくときもありますが、完全ではありません。塗り間違いや塗り残しが発生することもあります。
久保：カットの内容に大きく左右されますね。例えばピカチュウの全身が映っているカットだと比較的うまくいきますが、ピカチュウの顔がクロースアップになっていて、なおかつ顔の一部が見切れていたりすると、それがピカチュウだと機械に判断させるのが難しくなってきます。そういうカットだと失敗する確率が高いです。この課題をどう解決するか、まさに今、池澤さんたち学生が取り組んでくれているところです。
前島：さらにピカチュウは高確率でサトシの肩に乗っているので、どこの領域までがピカチュウで、どこからがサトシなのかを機械に判断させるのが難しいという課題もあります。
C：アニメ制作の場合、ひとつのキャラクターであっても、「基本の色」に加え、「夜用」「水の中用」など複数の設定表が用意されることがあると思います。そういう場合の彩色も、本研究では想定しているのでしょうか？
久保：ポスター発表の時点では「基本の色」で塗る機能のみを実装しましたが、将来的には設定表に応じて色を変換する機能も実装する予定です。設定表の色と、色を塗る領域とは1対1の対応関係にあるので、例えば設定表を「基本の色」から「夜用」に変更すれば、対応する領域の色が「夜用」に変換される機能の実装は可能だろうと思っています。
C：ちなみに、本研究では中割りと仕上げの完全な自動化を目指しているのでしょうか？
前島：設定表に従って、正しい色を正しい場所に置く作業は、可能な限り自動化したいと思っています。それはクリエイティブな仕事ではないので、コストの面でも、アーティストにもっと創造的な仕事をしてもらうという面でも価値があると思います。中割りについても同様で、アニメーターのセンスや創造性を必要としない単純な原画の補間作業は自動化したいです。一方で、動画を描く仕事は原画を描けるアニメーターになるための練習の機会という位置付けもあるので、補間にあたり動きを工夫する必要のある動画（中割り）は従来通りアニメーターが手で描くことになると思います。
久保：創造的な仕事まで今のディープラーニングの技術でカバーすることは難しいと思うので、まずは決まり切った作業の自動化に挑戦したいです。
前島：今回のポスター発表は、まだまだスタートラインの段階だと思っています。ピカチュウの自動彩色に絞っても完全ではないですし、カゲとハイライトの色トレス線は例外が多いため、あらかじめディープラーニングの対象から外してあります。ただ、カゲとハイライトが彩色できないのは問題なので、それを復元する手法も今後開発していきたいと思っています。ここまでの研究である程度の可能性は感じられたので、さらに機械学習のデータを充実させ、取り組み方も見直し、精度の改善を図りたいと思っています。
▲SIGGRAPH ASIA 2018でのポスター発表の様子
▲同じく、SIGGRAPH ASIA 2018でのポスター発表の様子。写真中央の女性が、本ポスターの筆頭著者（ファーストオーサー）であるRamassamy氏。「ポスター発表は何度も経験してきましたが、これまで質問をしてくださった方の大半は研究者でした。ところが本ポスターの場合は、制作現場の方からの質問の方が多かったので非常に驚きました。それだけ現場の課題に直結した内容なのだと思います」（久保氏）
四倉：SIGGRAPH ASIA 2018では厳しい査読を突破して採択されたので（※採択率62.4％）、さいさきは良いと思います。なるべく早い現場での実用化を目指し、今後も研究開発と実証実験を重ねていきます。
C：NAISTのプレスリリースでは、2020年を目標に実用化を目指していると明言なさっていましたね。
四倉：一応の目標ですね。ゴールを設定すると後はやるしかなくなるので、自分たちで退路を絶ちました（笑）。
向川：余談になりますが、そのプレスリリースを日本語と英語で出したところ、フランス語に翻訳され、フランスのニュースサイトに掲載されました。どうやらRamassamyさんのインターンシップがかなりの成功談として受け取られたようです。フランスの大学は海外でのインターンシップ経験を積むことが求められると聞いていますが、なかなか受け入れ先がないのに加え、短期間なので成果を上げるのが難しいという問題を抱えているようです。そんな中、4ヶ月でSIGGRAPH ASIAのポスター発表を成し得たということが評判になり、新たに2人のフランス人学生が本研究室に来ることになりました。この波及効果は予想外で、面白いなと感じています。
C：ヨーロッパ各国の中でも、フランスは日本のコンテンツのファンが特に多いと聞いていますから、来たがる学生は多いでしょうね。
前島：当社のR&D部門にもフランス人からの応募は定期的にありますので、そういう効果があるのは納得できます。
