TikTokを中心にダンスアニメーションを投稿している双子の女子高生姉妹『ひなひま』。本アニメの制作にはStable Diffuionを用いたAIが活用されている。本作にてAI活用で取り沙汰される著作権の問題もクリアにしつつ、高いクオリティでコンテンツを量産できる制作体制を整えたKaKa Creationに話を伺った。

AIを活用したアニメ制作、確立した制作フローを解説

「AIの力で、創造する人に力を。もっと、世界をつなぐクリエイションを。」というミッションの下、AIを活用したアニメ制作事業、コンテンツサービス開発事業を展開しているKaKa Creation。昨年11月21日（火）より、アニメTikToker『ツインズひなひま』を始動させた。

キャラクターデザインにはアニメ『ラブライブ！虹ヶ咲学園スクールアイドル同好会』（2020）のキャラクターデザインを担当した横田拓己氏が参加し、SNSを通じて配信される可愛らしい双子の日常は話題となってきている。

そのアニメ制作には同社がコンセプトとしているAIが活用されている。「アニメ制作の過程でAIを導入しています。それによる作業工数の削減の恩恵を受け、高品質なダンスアニメ動画を高頻度にお届けできるようなフローを構築しました」と語るのはプロデューサーの飯塚直道氏。

「会社の成り立ちとしても、サイバーエージェントに在籍していたメンバーが中心となってスタートし、もとよりインターネットでのコンテンツ運用の経験がありました。僕はアニメ会社でのキャリアもあったため、AIを活用してクリエイションの可能性を広げることを目的とし、技術的な研究開発も含めて『ツインズひなひま』をスタートさせました」。

AIのクリエイションへの活用は注目の技術である一方で、著作権や盗作など非常にナーバスな問題も抱えている。「AIは可能性と共にいくつかの問題を抱えていますが、権利面でもクリーンな制作を実現することを目指しました。その根幹となるのが特定のキャラクターを記憶させる学習モデル「LoRA」の開発ですが、その上で作業工数を減らし高いクオリティのアニメーションを量産できるフローが構築できたと思います」（飯塚氏）。

AIの導入にあたって、学習用モデルLoRAの独自開発を含め、Unreal Engineの導入などアニメ制作に新しいフローを実践した本作。その試行錯誤の過程と確立されたフローをここでは紹介していく。

＜1＞AIを活用したアニメ制作フロー

AIの活用によって作業工数の削減を目指す

AIを活用していくことをビジョンとしているKaKa Creation。そのひとつの方向性として本プロジェクトをスタートさせたとのことだが、アニメTikTokerのプロジェクトを進めるにあたっては、アニメがより身近なものになっていることを挙げる。

「VOCALOID（ボーカロイド）の登場で作曲というものが身近になったり、近年ではYouTuberやTikTokerとして情報を発信することが容易になりました。アニメもまたどんどん身近になっていくものだと思っています。見るだけではなく、つくるという点においてもです。AIの力を加えることで、さらにそのながれは加速していくものだと考えています。そこでまずはそれを自分たちの手で実践してみようというところから始めました」（飯塚氏）。

ただし、本格的なアニメ制作ではシナリオや声優の確保など、非常に大がかりなものとなってしまうこともあり、全編でAIを活用するという試験的な目的を遂行しづらいため、TikTokでのダンスアニメーションを配信していくというプロジェクトに決まったという。

「制作においては、デジタルでの制作にAIをどのように組み合わせていくか。本プロジェクトのテーマでもありますし、試行錯誤をくり返しましたが、結論から言うと『仕上げの工程におけるAIの活用』というかたちを採用しています」（飯塚氏）。

大きなフローとしては、CGキャラクターを用いてダンスアニメーションを制作し、その後AIにて作画風に加工するというながれ。一見シンプルに見えるが、実現するまでには多くの検証と調整が行われたという。「フルデジタルでのアニメ制作フローを採っています。ダンスモーションに関してもモーションキャプチャを活用していますが、CGモデルの作成やモーションキャプチャの活用もスタンダードとなってきて、一般にも周知されているものです。ただし、現在のアニメ制作で3DCGを組み込んでいく際に、コンポジット調整に大きなコストがかかっています。『ツインズひなひま』ではこの作画調への加工をAIに行なってもらうことでクオリティを担保しつつコスト削減を目指しています」（飯塚氏）。

なお、本プロジェクトではAIツールとしては、Stable Diffusionを採用している。「様々なAIツールが出てきていますが、実質的にはプロダクションレベルで使用できるツールとしては、Stable Diffusion一択でした。AIを活用することでキャラクターオブジェクトの意図しない変形、それによるチラツキなどを制御するための機能が充実していることが決め手でした」。

また、本制作の特徴として、CGシーンの構築にUnreal Engineを使用している点にも注目したい。「ダンスモーションとして髪の毛やスカートなどの揺れもののシミュレーションや、ライティング機能などの利点を活かしています」（AI/CGテクニカルディレクター・Ultra-noob氏）。

「踊ってみた」動画などを配信中のアニメTikToker『ツインズひなひま』

姉が白毛のひまり（妃莉）、妹が赤髪のひなな（陽奈奈）。TikTokへの動画投稿は身の回りで流行っているから始め、YouTubeも併せて「踊ってみた」動画などを多数配信中。構築したフローで、短期間でコンテンツの量産が可能なことを実践している。

• 

• 

AI を用いた制作ワークフロー

本作で用いられたワークフロー。各工程での作業詳細は下記にて解説するが、基本アセットはMayaにて作成。Unreal Engineにてシーンを構築しレンダリング後、Stable Diffsionにて作画風へ加工。

＜2＞アセットの準備と制作の全容

イレギュラー対応を極限まで減らす仕込み

制作の主要ツールとしては、Maya、Unreal Engine、Stable Diffusion。プロジェクト始動後は、キャラクター制作と並行して、各工程での技術検証が行われた。キャラクター制作はさかもと商会のさかもとけいじ氏が担当。

「AIによる仕上げ前提ということで、一般的なCGモデル制作と比べて要素を抑えた制作となりました。前提はデザインを忠実に再現することで、その上で動かすためのギミックを加えていくのですが、表情のためのモーフは感情用のモーフを含めて、至極一般的なものしか作成していません。複雑にパターンをつくり込みすぎないという配慮からです」（さかもと氏）。ただし、各工程でのテスト結果によるフィードバックから変更する部分もあったという。

「作成したモデルで検証を行なってもらったところ、髪の毛やスカートなどの揺れが暴れすぎているとのフィードバックをもらいました。当初MMDモデル程度のボーン数が適切ではないかと想定していましたが、結果を受け、大きな動きが再現できるボーン数を減らしました」（さかもと氏）。

なお、Unreal Engineをフローに採り入れているが、採用について、Ultra-noob氏は以下のように話す。「オブジェクトのめり込みなどの問題で現状アニメ制作現場では導入されてるケースは少ないのですが、シミュレーションやライティングなどの機能は有用です。今回はAIによるめり込みの修正を自動で行う利点を活用して、運用できるようになりました」。

最後に、Unreal Engineにてレンダリングされた連番ファイルをStable Diffusionにてイラスト調へ加工するが、ここでも工夫が凝らされている。「Stable Diffusion内で使用できる、特定のキャラクターを記憶させる学習モデル「LoRA」を独自で開発しました。通常のLoRAモデルの開発では、学習データの数の限界などもあり、クオリティに限界があります。しかし、今回の『ツインズひなひま』では横田拓己さん描き下ろしの手描きイラストに加えて、CGモデルのレンダリング画像を500枚以上の学習データセットとして用意することで、モデルの形状を破綻なく加工することができるようになりました」（飯塚氏）。

これにより、AI活用で問題視される著作権に触れることなく、自社開発したキャラクターの再現性を高めることができたという。

横田拓己氏によるキャラクターデザイン

横田拓己氏によるひまり（妃莉）のキャラクターデザイン画。

• 

• 

AIでの加工を前提としたキャラクターモデルとテクスチャ

通常のモデル制作の際は、アニメーション時に細く見えすぎないように盛って作成することが多いが、AIでの加工が前提となるため、直線的なシルエットを重視して作成された。また、シワなどの隆起も加工の際に邪魔になる可能性があったため、要素から除外された。併せてテクスチャに関してもカラーと固定影のみを準備。フェイシャルは感情用のモーフと口形など一般的なつくり。

• 

• 

• 

• 

• 

• 

Unreal Engineでのシミュレーション

• 

• 

• 

• 

Stable Diffusion による仕上げ

Stable Diffusionでの作業の一例。CGをベースにAI動画を生成するので「img2img」タブの「Batch」タブを使った作業がほとんどだとか。テストなどで様々なファイル操作が必要になるため、常にファイラーを表示して作業するとのこと。別途にPythonでmp4を簡易的につくったり、ファイルネームをリネームするなどの自作ツールも複数使用されている。

クオリティを担保する学習モデル「LoRA」

LoRAの概要図。500点以上の学習データを記録させ、キャラ崩れやオブジェクトの破綻を防ぎ、クオリティを維持することに成功した。また、こうした学習モデルを膨大に記録させることで、既存の著作物との類似性を回避し、自社キャラクターの再現性を徹底させ、著作権をクリアにしたAI活用を可能としている。

アニメーションのチラつきを抑える取り組み

LoRAモデルの活用やその他の機能を複合し、チラつきを抑えることも可能となったが、作画加工とのバランスで現在も試行錯誤しているとのこと。

• 

• 

• 

• 

• 

• 

• 

• 

詳細・ご購入はこちら