>   >  ディープラーニングを用いたアニメの自動彩色に産学の共同研究チームが挑戦。その展望と、産学連携の意義を語る
ディープラーニングを用いたアニメの自動彩色に産学の共同研究チームが挑戦。その展望と、産学連携の意義を語る

ディープラーニングを用いたアニメの自動彩色に産学の共同研究チームが挑戦。その展望と、産学連携の意義を語る

2018年12月4日~7日に東京・有楽町で開催されたSIGGRAPH ASIA 2018にて、Pre- and post-processes for automatic colorization using a fully convolutional network(ディープラーニングを用いたアニメの自動彩色技術)と題したポスターが発表された。本技術は現在予備研究段階で、IMAGICA GROUPオー・エル・エム・デジタル(以下、OLMデジタル)、奈良先端科学技術大学院大学(以下、NAIST)による産学の共同研究チームが、アニメ制作現場での実証実験を行いつつ、2020年を目標に実用化を目指している。同研究チームのメンバーに、本技術の展望や、産学連携の意義を語ってもらった。

TEXT_尾形美幸 / Miyuki Ogata(CGWORLD)
PHOTO_弘田 充 / Mitsuru Hirota

産学の技術と知見を融合し、中割り、および仕上げの自動化技術を開発

▲左から、リサーチディレクター・四倉達夫氏、リサーチャー・前島謙宣氏(以上、IMAGICA GROUP/オー・エル・エム・デジタル)、教授・向川康博氏、准教授・舩冨卓哉氏、助教・久保尋之氏、博士前期課程・池澤隼人氏(以上、奈良先端科学技術大学院大学)。本取材はOLMデジタルのR&D ViPlusにて実施しており、四倉氏、向川氏、舩冨氏、池澤氏にはWeb会議システムを通して遠隔地から取材対応いただいた


CGWORLD(以下、C):CGWORLDでは近年デジタル作画に関する取材を継続して行なっているため、本技術の研究過程や成果にも非常に興味をもっています。

四倉達夫氏(以下、四倉):日本のアニメ作品の制作数は年々増加している一方で、アニメーターの数は頭打ちのため、制作の効率化・自動化が急務となっています。そこで本研究チームは、アニメ制作のワークフローにおける、中割り(原画の間を補間する動画を描く工程)と、仕上げ(完成した動画に色を着彩する工程)の自動化に注目しました。IMAGICA GROUPとOLMデジタルが培ってきたアニメ制作技術と知見、NAISTがもつコンピュータビジョン・CG・機械学習の基盤技術を融合し、日本のアニメ制作に特化した中割り、および仕上げの自動化技術を開発したいと考えています。その第一歩としてSIGGRAPH ASIA 2018のポスターで発表したのが、ディープラーニングを用いたアニメの自動彩色技術です。

C:仕上げ(彩色)に加え、中割りも研究対象なのですね。本研究チームにおける、四倉さんの役割も教えていただけますか?

四倉:私はIMAGICA GROUPとOLMデジタル側の研究代表者を務めています。今にいたる経緯を簡単に説明しますと、2017年の後半にIMAGICA GROUPがアドバンスドリサーチグループ(以下、ARG)という組織を立ち上げました。映像制作における難しい課題をグループ全体で解決していくことを大きな目標としており、私はリサーチディレクターとして研究の提案やディレクションをすることになりました。ARGには、OLMデジタルに加え、IMAGICA Lab.フォトロンなど、グループ各社の技術者が参加しており、安生健一が全体を統括しています。大学との連携による研究力強化は当初から視野に入れていましたし、AIやディープラーニング関連の技術力を培いたいとも思ってきました。本研究の実施にあたっては、私に加え、前島謙宣もリサーチャーとして参加しています。

前島謙宣氏(以下、前島):四倉のディレクションを受けて、私はAIの学習に必要な素材をアニメ制作現場から集めたり、集めた素材を向川康博教授らのNAIST研究グループが扱いやすいように加工したり、NAISTの研究成果をアニメ制作現場で実装したりといった役割を担っています。もともとの専門は画像処理とCGですが、本研究を通してAIに対する理解も深めているところです。

向川康博氏(以下、向川):私はNAIST側の研究代表者を務めています。専門分野はコンピュータービジョン、平たく言うと「ロボットの目」ですね。カメラを通して現実空間の形や色の情報をコンピュータに入力し、ロボットに認識させます。CGの裏返しの技術とも言えますね。CGも関連研究領域のひとつに含まれるので、今回新たにアニメ分野の研究に挑戦できたのは良い経験になっていると感じます。本研究には、私と、舩冨卓哉准教授と、久保尋之助教からなる教員3名と、本研究室(光メディアインタフェース研究室)所属の学生4名(池澤隼人氏、石井大地氏、森島僚平氏、Sophie Ramassamy氏)に加え、中村哲教授と、その研究室(知能コミュニケーション研究室)所属の学生1名(品川政太朗氏)も参加しています。

舩冨卓哉氏(以下、舩冨):私の場合は、画像処理やパターン認識に軸足を置いて研究をしてきました。本研究で実際に手を動かしているのは学生たちで、われわれ教員は学生を指導しつつ、研究に関連する最新動向をリサーチし、今後の進め方のスーパーバイズをしています。

久保尋之氏(以下、久保):私の専門はCGで、フォトグラメトリやリアルタイムシェーディング、アニメーションなど幅広く研究しています。アニメ制作の効率化は学生時代から取り組んできたテーマなので、本研究にやりがいを感じています。SIGGRAPH ASIA 2018で発表したポスターは学生のRamassamyさんが筆頭著者(ファーストオーサー)でした。彼女はフランスのEcole Nationale Supérieure d'Ingénieurs de Caenからインターンシップに来ていた特別研究学生で、約4ヶ月のNAISTでの研究を経て、今は帰国しています。ほかの学生は現在も本研究に従事しています。

C:今回のインタビューには同席なさっていませんが、中村教授の専門も教えていただけますか?

久保:中村教授の専門は音声・自然言語処理で、AIやディープラーニングの技術を活用し、人とコンピュータが対話するための音声認識や言語解析をしています。AIやディープラーニングのスペシャリストなので、本研究ではそれらの分野に関するアドバイスをいただくことが多いです。

向川:まとめると、コンピュータービジョンと、画像処理やパターン認識と、CGと、音声・自然言語処理と......、各分野の専門家たちが知恵を出し合って取り組んでいる研究体制と言えますね。

▲NAISTの光メディアインタフェース研究室の学生居室の様子。2019年2月現在、本研究室には4名の教員、1名の事務補佐員、6名の博士後期課程学生、15名の博士前期課程(修士課程)学生、1名の特別研究学生が所属している


C:層の厚い研究体制ですね。そんな中で、学生の池澤さんはどういう経緯で本研究に関わるようになったのでしょうか?

池澤隼人氏(以下、池澤):私は博士前期課程(修士課程)の学生で、本研究には2018年の6月くらいから参加しています。本研究室では、進行中の研究の中から参加したいものを学生が選びます。私が研究を選ぶ直前、ちょうどTVでアニメーターの仕事の労働時間や収入の問題を伝える番組をやっていました。そういう問題を解決する一助になればと思い、本研究への参加を希望しました。

向川:本研究室では常に複数の研究が進行しており、本研究のように企業から共同研究をご依頼いただくケースもよくあります。ときには、進行中の研究の数が学生の数よりも多いという事態も起こっています。そんな中、当時所属していた9名の修士1年の学生のうち、3名が本研究への参加を希望してくれました。さらに特別研究学生のRamassamyさんや、中村教授の研究室の品川さんも参加してくれたので、学生にとってもかなり魅力的な研究なのだと思います。

C:どの研究に参加するかは、学生さんの希望が優先されるのでしょうか?

向川:そうです。どれをやりたいか、基本的には学生本人に決めてもらっています。

次ページ:
企業と大学の共同研究では
課題や情報の共有がとりわけ難しい

特集