2018年12月4日～7日に東京・有楽町で開催されたSIGGRAPH ASIA 2018にて、Pre- and post-processes for automatic colorization using a fully convolutional network（ディープラーニングを用いたアニメの自動彩色技術）と題したポスターが発表された。本技術は現在予備研究段階で、IMAGICA GROUP、オー・エル・エム・デジタル（以下、OLMデジタル）、奈良先端科学技術大学院大学（以下、NAIST）による産学の共同研究チームが、アニメ制作現場での実証実験を行いつつ、2020年を目標に実用化を目指している。同研究チームのメンバーに、本技術の展望や、産学連携の意義を語ってもらった。
TEXT＿尾形美幸 / Miyuki Ogata（CGWORLD）
PHOTO＿弘田 充 / Mitsuru Hirota
産学の技術と知見を融合し、中割り、および仕上げの自動化技術を開発
▲左から、リサーチディレクター・四倉達夫氏、リサーチャー・前島謙宣氏（以上、IMAGICA GROUP／オー・エル・エム・デジタル）、教授・向川康博氏、准教授・舩冨卓哉氏、助教・久保尋之氏、博士前期課程・池澤隼人氏（以上、奈良先端科学技術大学院大学）。本取材はOLMデジタルのR&D ViPlusにて実施しており、四倉氏、向川氏、舩冨氏、池澤氏にはWeb会議システムを通して遠隔地から取材対応いただいた
CGWORLD（以下、C）：CGWORLDでは近年デジタル作画に関する取材を継続して行なっているため、本技術の研究過程や成果にも非常に興味をもっています。
四倉達夫氏（以下、四倉）：日本のアニメ作品の制作数は年々増加している一方で、アニメーターの数は頭打ちのため、制作の効率化・自動化が急務となっています。そこで本研究チームは、アニメ制作のワークフローにおける、中割り（原画の間を補間する動画を描く工程）と、仕上げ（完成した動画に色を着彩する工程）の自動化に注目しました。IMAGICA GROUPとOLMデジタルが培ってきたアニメ制作技術と知見、NAISTがもつコンピュータビジョン・CG・機械学習の基盤技術を融合し、日本のアニメ制作に特化した中割り、および仕上げの自動化技術を開発したいと考えています。その第一歩としてSIGGRAPH ASIA 2018のポスターで発表したのが、ディープラーニングを用いたアニメの自動彩色技術です。
C：仕上げ（彩色）に加え、中割りも研究対象なのですね。本研究チームにおける、四倉さんの役割も教えていただけますか？
四倉：私はIMAGICA GROUPとOLMデジタル側の研究代表者を務めています。今にいたる経緯を簡単に説明しますと、2017年の後半にIMAGICA GROUPがアドバンスドリサーチグループ（以下、ARG）という組織を立ち上げました。映像制作における難しい課題をグループ全体で解決していくことを大きな目標としており、私はリサーチディレクターとして研究の提案やディレクションをすることになりました。ARGには、OLMデジタルに加え、IMAGICA Lab.やフォトロンなど、グループ各社の技術者が参加しており、安生健一が全体を統括しています。大学との連携による研究力強化は当初から視野に入れていましたし、AIやディープラーニング関連の技術力を培いたいとも思ってきました。本研究の実施にあたっては、私に加え、前島謙宣もリサーチャーとして参加しています。
前島謙宣氏（以下、前島）：四倉のディレクションを受けて、私はAIの学習に必要な素材をアニメ制作現場から集めたり、集めた素材を向川康博教授らのNAIST研究グループが扱いやすいように加工したり、NAISTの研究成果をアニメ制作現場で実装したりといった役割を担っています。もともとの専門は画像処理とCGですが、本研究を通してAIに対する理解も深めているところです。
向川康博氏（以下、向川）：私はNAIST側の研究代表者を務めています。専門分野はコンピュータービジョン、平たく言うと「ロボットの目」ですね。カメラを通して現実空間の形や色の情報をコンピュータに入力し、ロボットに認識させます。CGの裏返しの技術とも言えますね。CGも関連研究領域のひとつに含まれるので、今回新たにアニメ分野の研究に挑戦できたのは良い経験になっていると感じます。本研究には、私と、舩冨卓哉准教授と、久保尋之助教からなる教員3名と、本研究室（光メディアインタフェース研究室）所属の学生4名（池澤隼人氏、石井大地氏、森島僚平氏、Sophie Ramassamy氏）に加え、中村哲教授と、その研究室（知能コミュニケーション研究室）所属の学生1名（品川政太朗氏）も参加しています。
舩冨卓哉氏（以下、舩冨）：私の場合は、画像処理やパターン認識に軸足を置いて研究をしてきました。本研究で実際に手を動かしているのは学生たちで、われわれ教員は学生を指導しつつ、研究に関連する最新動向をリサーチし、今後の進め方のスーパーバイズをしています。
久保尋之氏（以下、久保）：私の専門はCGで、フォトグラメトリやリアルタイムシェーディング、アニメーションなど幅広く研究しています。アニメ制作の効率化は学生時代から取り組んできたテーマなので、本研究にやりがいを感じています。SIGGRAPH ASIA 2018で発表したポスターは学生のRamassamyさんが筆頭著者（ファーストオーサー）でした。彼女はフランスのEcole Nationale Supérieure d'Ingénieurs de Caenからインターンシップに来ていた特別研究学生で、約4ヶ月のNAISTでの研究を経て、今は帰国しています。ほかの学生は現在も本研究に従事しています。
C：今回のインタビューには同席なさっていませんが、中村教授の専門も教えていただけますか？
久保：中村教授の専門は音声・自然言語処理で、AIやディープラーニングの技術を活用し、人とコンピュータが対話するための音声認識や言語解析をしています。AIやディープラーニングのスペシャリストなので、本研究ではそれらの分野に関するアドバイスをいただくことが多いです。
向川：まとめると、コンピュータービジョンと、画像処理やパターン認識と、CGと、音声・自然言語処理と......、各分野の専門家たちが知恵を出し合って取り組んでいる研究体制と言えますね。
▲NAISTの光メディアインタフェース研究室の学生居室の様子。2019年2月現在、本研究室には4名の教員、1名の事務補佐員、6名の博士後期課程学生、15名の博士前期課程（修士課程）学生、1名の特別研究学生が所属している
C：層の厚い研究体制ですね。そんな中で、学生の池澤さんはどういう経緯で本研究に関わるようになったのでしょうか？
池澤隼人氏（以下、池澤）：私は博士前期課程（修士課程）の学生で、本研究には2018年の6月くらいから参加しています。本研究室では、進行中の研究の中から参加したいものを学生が選びます。私が研究を選ぶ直前、ちょうどTVでアニメーターの仕事の労働時間や収入の問題を伝える番組をやっていました。そういう問題を解決する一助になればと思い、本研究への参加を希望しました。
向川：本研究室では常に複数の研究が進行しており、本研究のように企業から共同研究をご依頼いただくケースもよくあります。ときには、進行中の研究の数が学生の数よりも多いという事態も起こっています。そんな中、当時所属していた9名の修士1年の学生のうち、3名が本研究への参加を希望してくれました。さらに特別研究学生のRamassamyさんや、中村教授の研究室の品川さんも参加してくれたので、学生にとってもかなり魅力的な研究なのだと思います。
C：どの研究に参加するかは、学生さんの希望が優先されるのでしょうか？
向川：そうです。どれをやりたいか、基本的には学生本人に決めてもらっています。
次ページ：
企業と大学の共同研究では
課題や情報の共有がとりわけ難しい
企業と大学の共同研究では、課題や情報の共有がとりわけ難しい
C：では続いて、四倉さんたちのARGと、向川教授たちのNAISTが共同研究をするようになった経緯も教えていただけますか？
四倉：ARGの取り組みは、その立ち上げ直後から中村教授にお話していました。私はかつて国際電気通信基礎技術研究所（ATR）に所属しており、そのときの上長が中村教授だったので、非常に話がしやすかったという背景があります。2018年の1月頃に今の研究課題の大枠が決まり、それも中村教授にお見せしたところ、「楽しそうですね。向川教授と一緒にやってみたらどうでしょう。向川教授には私からお話しますから」というありがたい提案をいただきました。正式に共同研究の契約締結をしたのは6月で、それから今にいたるまで、中割りと仕上げの自動化技術の開発を並行して進めています。
C：SIGGRAPH ASIA 2018のポスターの応募締切は8月末でしたから、約3ヶ月で成果をまとめ、応募なさったということでしょうか。すごい研究スピードですね。
久保：四倉さんたちとのお話は2月頃から始めており、制作現場が抱えている課題は早々に共有していただけました。「こういうふうに解決していったら良いんじゃないかな」といったアイデアは、早い段階から考えていましたね。実際に手を動かし、課題解決のための提案や実装を始めたのは6月以降というながれです。四倉さん、前島さん、私の3名は、全員が森島繁生先生（現・早稲田大学教授）の教え子で、お2人は私の先輩にあたります。学生時代から共同研究などでお世話になってきた方々なので、情報の共有はすごくスムーズに進んだように思います。
C：始まる前から、お互いの距離感が近かったわけですね。
久保：その点が、本研究の推進力を支えているように感じます。チャットツールやWeb会議システムなどを使い、かなり頻繁に相談や情報共有をしています。何かわからないことがあれば、「これって、どんな感じですか？」とチャットツールで質問を投げかけておき、手が空いたときに返答してもらうといった具合です。
C：制作現場が抱えている課題を共有してもらう中で、NAIST側が想定していなかったこと、新たに知ったことなどはありましたか？
久保：日々発見の連続でした。一例を挙げると、アニメ制作の場合はキャラクターの色を指定する設定表があるし、色を塗る領域も決まっているから、彩色の自動化はそれほど手間のかかる課題ではないだろうと思っていました。でもお話を伺ってみると、実際の彩色は思った以上に細やかな仕事で、そこには手間もコストもかけられており、一筋縄で自動化できるものではないとわかりました。
舩冨：本研究の実施にあたり、すごく貴重なアニメの制作データを提供いただけたのですが、そのままディープラーニングに適用することは難しく、様々な前処理が必要でした。その前処理をするにあたり、データの意味を理解することが最初の大きなハードルでした。OLMデジタルのアニメ制作現場を見学させてもらえたことで、われわれ教員も学生も、かなり理解が深まり、どんな情報であればディープラーニングに使えるかを判断する勘所が養えたように思います。
向川：例えばアニメの動画には、黒色の線（輪郭を示すトレス線）のほかに、青色の線（カゲを示す色トレス線）や赤色の線（ハイライトを示す色トレス線）が描かれています。それぞれの線にどんな意味があるのか、最初はわかりませんでした。色の設定表を見ても、どの色がどういう場合に使われるのか、すぐには理解できませんでしたね。制作現場の方々は専門的な共通基盤の上で仕事をしているため、見ればすぐ理解できるのですが、われわれには無理でした。わからないことを質問したり、設定表と彩色された動画を見比べたりしながら、ひとつずつ確認していく作業が必要でした。
舩冨：ほかにも、キャラクターの動画であれば、必ず全身が描かれているものだと最初は思っていました。ところが腕だけが動くカットは、腕だけの動画が何枚も別に描かれていて、動かない部分は1枚の動画でまかなっているのです。ああ、そうやってつくるのかと、でも腕だけの動画だと、どのキャラクターのどの部分なのか、機械に判断させるのは難しいぞ......というように徐々に理解を深めていきました。
向川：このデータは外しましょうとか、機械が学習しやすい形に変えましょうといった、ディープラーニングの前段階での作業が思った以上に大変でした（笑）。
久保：企業と大学が共同研究をする場合、こういった課題や情報の共有がとりわけ難しいのです。今回は比較的距離感の近い人たちが集まれたので、課題も情報もすぐに共有でき、すごく研究が進めやすいように感じています。
C：課題や情報を共有した後は、どのような手順で研究を進めたのでしょうか？
向川：ディープラーニングによる画像の領域抽出には大量のデータが必要なので、手始めにアニメ『ポケットモンスター』シリーズを通して一番登場しており、大量のデータを確保できるピカチュウに絞って彩色の自動化を試みました。もちろん、ピカチュウだけが彩色できても現場の仕事で使い物になる技術にはほど遠いので、この知見を応用し、データ量の少ない別のキャラクターの彩色にも対応できるようにしたいと考えています。
C：現時点での、ピカチュウの彩色自動化の精度はどの程度ですか？
前島：うまくいくときもありますが、完全ではありません。塗り間違いや塗り残しが発生することもあります。
久保：カットの内容に大きく左右されますね。例えばピカチュウの全身が映っているカットだと比較的うまくいきますが、ピカチュウの顔がクロースアップになっていて、なおかつ顔の一部が見切れていたりすると、それがピカチュウだと機械に判断させるのが難しくなってきます。そういうカットだと失敗する確率が高いです。この課題をどう解決するか、まさに今、池澤さんたち学生が取り組んでくれているところです。
前島：さらにピカチュウは高確率でサトシの肩に乗っているので、どこの領域までがピカチュウで、どこからがサトシなのかを機械に判断させるのが難しいという課題もあります。
C：アニメ制作の場合、ひとつのキャラクターであっても、「基本の色」に加え、「夜用」「水の中用」など複数の設定表が用意されることがあると思います。そういう場合の彩色も、本研究では想定しているのでしょうか？
久保：ポスター発表の時点では「基本の色」で塗る機能のみを実装しましたが、将来的には設定表に応じて色を変換する機能も実装する予定です。設定表の色と、色を塗る領域とは1対1の対応関係にあるので、例えば設定表を「基本の色」から「夜用」に変更すれば、対応する領域の色が「夜用」に変換される機能の実装は可能だろうと思っています。
C：ちなみに、本研究では中割りと仕上げの完全な自動化を目指しているのでしょうか？
前島：設定表に従って、正しい色を正しい場所に置く作業は、可能な限り自動化したいと思っています。それはクリエイティブな仕事ではないので、コストの面でも、アーティストにもっと創造的な仕事をしてもらうという面でも価値があると思います。中割りについても同様で、アニメーターのセンスや創造性を必要としない単純な原画の補間作業は自動化したいです。一方で、動画を描く仕事は原画を描けるアニメーターになるための練習の機会という位置付けもあるので、補間にあたり動きを工夫する必要のある動画（中割り）は従来通りアニメーターが手で描くことになると思います。
久保：創造的な仕事まで今のディープラーニングの技術でカバーすることは難しいと思うので、まずは決まり切った作業の自動化に挑戦したいです。
前島：今回のポスター発表は、まだまだスタートラインの段階だと思っています。ピカチュウの自動彩色に絞っても完全ではないですし、カゲとハイライトの色トレス線は例外が多いため、あらかじめディープラーニングの対象から外してあります。ただ、カゲとハイライトが彩色できないのは問題なので、それを復元する手法も今後開発していきたいと思っています。ここまでの研究である程度の可能性は感じられたので、さらに機械学習のデータを充実させ、取り組み方も見直し、精度の改善を図りたいと思っています。
▲SIGGRAPH ASIA 2018でのポスター発表の様子
▲同じく、SIGGRAPH ASIA 2018でのポスター発表の様子。写真中央の女性が、本ポスターの筆頭著者（ファーストオーサー）であるRamassamy氏。「ポスター発表は何度も経験してきましたが、これまで質問をしてくださった方の大半は研究者でした。ところが本ポスターの場合は、制作現場の方からの質問の方が多かったので非常に驚きました。それだけ現場の課題に直結した内容なのだと思います」（久保氏）
四倉：SIGGRAPH ASIA 2018では厳しい査読を突破して採択されたので（※採択率62.4％）、さいさきは良いと思います。なるべく早い現場での実用化を目指し、今後も研究開発と実証実験を重ねていきます。
C：NAISTのプレスリリースでは、2020年を目標に実用化を目指していると明言なさっていましたね。
四倉：一応の目標ですね。ゴールを設定すると後はやるしかなくなるので、自分たちで退路を絶ちました（笑）。
向川：余談になりますが、そのプレスリリースを日本語と英語で出したところ、フランス語に翻訳され、フランスのニュースサイトに掲載されました。どうやらRamassamyさんのインターンシップがかなりの成功談として受け取られたようです。フランスの大学は海外でのインターンシップ経験を積むことが求められると聞いていますが、なかなか受け入れ先がないのに加え、短期間なので成果を上げるのが難しいという問題を抱えているようです。そんな中、4ヶ月でSIGGRAPH ASIAのポスター発表を成し得たということが評判になり、新たに2人のフランス人学生が本研究室に来ることになりました。この波及効果は予想外で、面白いなと感じています。
C：ヨーロッパ各国の中でも、フランスは日本のコンテンツのファンが特に多いと聞いていますから、来たがる学生は多いでしょうね。
前島：当社のR&D部門にもフランス人からの応募は定期的にありますので、そういう効果があるのは納得できます。
次ページ：
ちゃんと現場で実証実験をして
使える技術になるまで改良したい
ちゃんと現場で実証実験をして、使える技術になるまで改良したい
C：最後に、産学の共同研究にどのような意義を感じているか、各々の意見を聞かせていただけますか？
前島：制作現場の近くに身を置いていると、目の前の課題を優先しがちで、今回のような研究課題に取り組む時間の確保が難しいのです。NAISTと組ませていただいたことで、その研究スピードの早さに驚きました。研究を本業にしていることに加え、各分野の専門家が集まった層の厚い体制によるところが大きいのかなと感じています。
向川：NAISTは学部をもたない大学院大学なので、一般的な大学に比べると圧倒的に多くの時間を研究に割くことができます。前職で大阪大学に所属していた頃はより多くの時間を教育に割いていましたが、NAISTの学生は全員が入学前に別の大学で卒業研究を経験しているので、研究者としての下地ができているという強みがあります。ゆえに研究スピードが速いと感じていただけたのだと思います。
加えて大学と組んでいただく意義として、制作現場の常識にとらわれないアイデアを出せることがあると思います。例えば、本研究ではアニメの制作現場を見学し、原画・中割り・彩色（仕上げ）という制作工程を教えていただきましたが、それをAIが担うにあたり、先に原画を彩色して、後から中割りをしても良いのではないかと思いました。現場の方は驚かれるかもしれませんが、そういう自由な発想でもって、今後も本研究に取り組んでいきたいと思っています。
C：その発想は、なかなか現場からは出てこないでしょうね。
四倉：そういう新しい風を吹かせていただくことを期待しています。本研究では、スタート直後から具体的な研究課題を共有できたことで、研究スピードに勢いがついたように思います。産学が一緒に何かをするときには、お互いにちょっと一歩を踏み出して、より具体的に、より率直に意見を交換できる体制をつくることが大事だなと再認識しています。
C：まずはピカチュウのトレス線の内側に限定して自動彩色を試みるというように、比較的ハードルの低い課題からスピード感をもって解決していくというやり方も功を奏しているように思いますね。
四倉：そうですね。大きな研究課題に対し、どういう戦略で臨むかという点は、NAISTの皆様や前島と共にかなりディスカッションしてきました。われわれが最初に研究課題を提示した段階ではまだまだ漠然とした部分があったのですが、率直で活発な意見交換を繰り返す中で、具体的な課題へと分解できた点が特に良かったと思います。企業が大学に研究を丸投げするのではなく、まめにディスカッションをして、ちゃんと現場で実証実験をして、その結果を大学にフィードバックして、使える技術になるまで改良するというサイクルを回していきたいと思っています。
C：中割りの自動化についても、同じように意見交換をしているのでしょうか？
池澤：はい。中割りも非常に難しい課題なので、取り組みやすい小さな課題に分解し、私ともう1人の学生とが、それぞれちがうアプローチで取り組んでいる最中です。この最初の一歩が、今後の成否を決める大事なポイントだと思っています。彩色に少し先を越されてしまいましたが、中割りでも成果を出したいと考えています。
向川：期待しています（笑）。
四倉：期待しています（笑）。加えて、アニメの研究をしている日本の大学は少ないので、本研究が基軸となってアニメの研究に取り組む大学や研究機関が増えてくれることにも期待したいです。
C：おっしゃる通り、本研究の成果に加え、アニメやCGの研究体制拡充にも期待したいですね。お話いただき、ありがとうございました。
