アニメ制作におけるAI導入の第一歩！
CGW：制作にAIを導入したとのことですが、AIを使ってみようと着眼されたきっかけは何でしょうか？
櫻木：今回AIまわりでご協力いただいたPreferred Networksさんは、「PaintsChainer」という線画に色を塗るAIを開発しています。それをアニメに使えないかと打診をいただいたことがきっかけで、実験を含めて本作でやってみよう、となりました。お互いにAIのことやアニメ制作の勉強会を開いて、どんなことができるかいくつか試案を出し、最終的にキャラクターのデザインや、人間のモーションの制御をAIにやってもらっています。背景を描かせることも考えたのですが、深層学習用のデータは膨大な量が必要なので本作の制作時には足りなくて、今後に持ち越すことになりました。
CGW：AIによるキャラクターデザインは、具体的にどのように行なったのでしょうか？
櫻木：本作でAIがデザインしたのは「アルマティック」というキャラクターです。もともとAIが完璧に人の真似をする前の、いわば真似しきれないデザインは、人が考えつかない画になるのではないかという発想がありました。実際にDesignChainerという線画を描くAIに「アルマ」というキャラクターを勉強させてみると、学習過程で描き出されたデザインが丁度良い感じに気持ち悪かったので、アルマティックのデザイン原案として採用しました。このデザインに先ほどのPaintsChainerで色塗りをさせたものを、キャラクターデザインの河野紘一郎さんや色彩設計の田中美穂さんに整理してもらっています。
【左】DesignChainerが描いたデザインをPaintsChainerで着彩したアルマティックのデザイン原案、【右】河野氏が整理したアルマティックのキャラクターデザイン
CGW：AIにデザインをさせてみていかがでしたか？
櫻木：学習基の画像の解像度がちがうだけで異なる画が出てくるのは興味深かったですね。アルマティックのデザインも、なかなか人が考えつかないような気持ち悪い感じにできて良かったです。AIの導入は成功したと言ってよいと思います。
DesignChainerが描いた解像度の異なるアルマティックのデザイン
内田：AIによるモーションの制御では、モーションキャプチャのデータをAIに学習させて、歩く・走るくらいまでは到達しました。その動きを群衆のモブキャラクターに流し込んで使っています。
櫻木：今回は初めての試みだったので、学習用のデータの準備の仕方にも戸惑いがありました。ですがゼロから始めて歩く・走るところまで到達できたことで、今後もっと学習データ自体が綺麗になり、たくさん用意できればより様々な動きができそうです。
CGW：これからもAIに挑戦されるのでしょうか？
櫻木：そうですね。AIは興味のある分野ですし、今後避けては通れない分野になると思います。Preferred NetworksさんのようにAI側の才能ある人と組んでやらないとできませんし、われわれ制作側にもAIに理解のあるスタッフが必要になるので、関係者が気持ち良く仕事ができるような体制を整えていきたいですね。
アルマティックが登場する場面カット
AI×Unityを用いたモブ自動生成システム
CGW：モブキャラクターを自動生成・自動制御しているとお伺いました。どのようなしくみでしょうか？
内田：モブキャラクターの3Dモデルは男性5体・女性4体で、それぞれ髪・顔・体の3パーツとバッグなどのプロップを入れ替えることで、様々なバリエーションのモブモデルを用意できるようにしました。また、マテリアル色をレンダリング時に切り替えて異なる色の服が割り当てられるシェーダを、Unityさんと共同で開発しています。モブのモーションは、Unity内でモブが歩くルートを決め、ユニティちゃんをランダムに配置してシミュレーションを行い、本番のモブキャラクターに置き換えるしくみです。モブキャラクターの複製数、歩く速度などの挙動はPreferred Networksさんが開発したツールで制御しました。モーションは、モーションキャプチャデータを基にPreferred NetworksさんのMotionChainerが学習した動きが用いられています。
CGW：開発過程で特に苦労されたことは何でしょうか？
内田：UnityさんのシステムとPreferred Networksさんのシステムと、両方新しいシステムを扱うので、お互いのバージョンがちがって動かないことがありました。そもそもエラーが出たとき、どこに原因があるのか検証するのがものすごく大変でしたね。期待した挙動をしないことも、ままありましたし......。まだ接地が怪しい部分もありますが、実用にいたったことは大きな一歩だと思います。
CGW：自動生成システムを使用して、制作現場に変化はありましたか？
内田：例えば色の切り替えを手動でしなくてよくなりました。群衆のシーンでモブモデルを何体も並べなくても、Unityの中の作業シーンに読み込まれている3Dモデルの色を組み合わせてバリエーションを増やして配置してくれるので、手動で作業しなくても済み、効率化できて良かったです。そこへたどり着くまでは大変でしたが......（笑）。
CGW：そもそもなぜゲームエンジンのUnityをアニメに使うことにしたのでしょうか？
内田：本作は、新宿駅東口などのシーンで何カットも群衆が出てくるのですが、3ds Maxだと大量にキャラクターを配置する作業がすごく大変です。その点Unityはゲームエンジンなのでレンダリングが圧倒的に速くて、トライ＆エラーもしやすいメリットがありました。モブキャラクターにはそこまでクオリティが求められるわけではないので、実験がてらUnityでやってみようとなったのです。モーションはAIにやらせたいという方針は決まっていたので、そのアニメーション＆レンダリングツールにUnityを選んだという感じですね。
AIによる経路探索をしているUnityの作業画面。Preferred Networks協力のツールが活躍した
バリエーションカラーを生成した新宿駅東口の場面カット。Unity協力によるツールの成果だ
CGW：今後もUnityを使用される予定ですか？
内田：はい。やはりリアルタイムレンダラはすごく良かったですから。Unity内ではモーションの修正がしにくいとか、まだ課題はあります。もともとアニメーション制作のソフトではないので仕方ないことなのですが、今後開発が進むことに期待しています。ほかにもUnity自体がもっている可能性として、将来的に撮影処理を3D的にできるのではないかと考えています。現在はCGで制作しても一度2Dの素材に置き換えてからコンポジットしていますが、Unityを使えば3Dの中でコンポジットできるようになるかもしれません。そのフローを統合させられれば、ソフトを行ったり来たりする必要がなくなりますし、その分もっとプリプロなどに時間をかけられるだろうと期待しています。
櫻木：Unityは、PSOFT Pencil+への対応やユニティちゃんトゥーンシェーダーの開発など、アニメや映像業界に協力的で、前向きに取り組んでくれています。自分としても、今後はモブだけでなくメインキャラクターのカットもUnityに移行したいという思惑もあるんです。本作では、Unityでリアルな新宿のシーンを描けました。現段階で良いところまできているので、作風によっては不可能ではないと感じています。
