このコラムでは企業のDX相談から映像制作のワークフロー改善まで、技術に関わることを幅広く扱うテクニカルディレクター集団「BASSDRUM(ベースドラム)」が、アニメ制作における技術活用の可能性を探ります。
実際の現場で起きているお悩みを例に、その課題を解決するためのプロトタイプを開発していきます。みなさんもぜひ、一緒に試してみてください。本企画で取り上げるお悩みも随時募集しております!
第4回となる今回は、アフレコ準備に欠かせない線撮(線画のラフ動画)を、もっと手軽につくれないか、というアニメ演出の現場からのご相談です。このお悩みに対し、タイムシートをもとに線撮を自動生成するツール『カットジェネレーター』を試作し、現場作業の効率化に挑みます。
森岡東洋志/BASSDRUM
1981年生まれ。東京工芸大学博士課程満期退学。工学修士。メーカー勤務を経て、2014年からIoTデバイスの開発やスマートフォンアプリの開発、インスタレーションの開発に携わる。2015年、プロトタイピングに特化したワントゥーテンドライブを設立し、CTOとしてメーカーとの新製品開発やテクノロジーを使ったエンターテイメントの開発を行う。2020年に独立し、BASSDRUMに参画。大阪芸術大学にて非常勤講師も務める。
今回のお悩み「線撮をもっと効率的につくりたい」
アニメスタジオ勤務 演出 O氏の悩み
アフレコ(台詞収録)の準備として、線画素材に背景や小道具、セリフ字幕などを重ねた「線撮(線画のラフ動画)」をつくる必要があります。線撮は、キャラクターの芝居や動きのタイミング、セリフとの間を確認するために欠かせない工程です。しかし、この線撮づくりがかなり大変なのです。
現場ではAfter Effectsを使って、以下のような工程が発生します。
- 線画素材や背景素材を読み込み
- レイヤーの重ね順を調整し
- 表示タイミングを1カットずつ合わせ
- 必要に応じてセリフ字幕を配置する
こうした作業は定型的であるにも関わらず、すべて人手で進める必要があります。また、素材の差し替えが発生するたびに再調整が必要になるため、作業負荷が高くなっています。
第1回目の連載で紹介された「ラッシュジェネレーター」を使って、シーン全体の流れは把握しやすくなりました。一方、アフレコ準備に必要なのは、1カット単位でレイヤーの重なりや表示タイミング、セリフの入りを確認できる線撮素材です。こちらをもっと簡単につくる方法はないでしょうか?
今回はこちらのお悩みを解決していきましょう!
★TIPS:「線撮」とは?
線撮とは、アニメ制作の初期段階で作画中の線画素材を使い、動きやタイミングを確認するための仮映像です。アフレコや演出チェックの準備として欠かせない工程ですが、現場では次のような課題があります。
・素材更新のたびに再作業が必要
After Effectsで素材を再インポートし、レイヤー順やタイミングを整え直す必要がある。
・作業量が多く、人手に依存している
定型的な工程が繰り返し発生するため、 自動化できれば効率化の余地が大きい。
線撮を自動生成する「カットジェネレーター」
今回はこちらのお悩みを解決するため、1カット単位の線撮(ラフ動画)を自動生成できるツール「カットジェネレーター」を試作しました。
★TIPS:「カットジェネレーター」とは?
カットジェネレーターは、タイムシートに記載された情報をもとに、素材フォルダ内の画像を指定されたレイヤー順で自動合成し、線撮(ラフ動画)を出力するPython製のツールです。素材の状態や表示タイミングを手早く確認できるため、アフレコ準備や素材チェック用の確認動画を効率よく作成できます。
カットジェネレーターでできること
・素材フォルダとタイムシートを指定するだけで線撮(ラフ動画)を自動生成
・レイヤーのON/OFF、画像切り替えのタイミングも自動反映
・アフレコ用・素材確認用ムービーをすぐに出力可能
GitHubで公開中のサンプルプログラムはこちら → ( https://github.com/bassdrum-org/cut-generator )
READMEの手順に沿って環境を構築すれば、コマンド一つでラフ動画を生成することができます。
環境構築
STEP 1|必要な環境とインストール方法
本プログラムの実行には、バージョン3.6以上のPythonが必要です(Pythonは、3DCGソフトの拡張から機械学習まで、様々な分野で利用されているプログラミング言語です)。Macには標準でインストールされており、古いモデル以外はインストール不要ですが、Windowsでは別途ログイン・インストールが必要になります。
Windowsの方はマイクロソフトの「Pythonのインストール」を参考にしてみてください。うまくいかない場合は、エラーメッセージを検索するなどして原因を調べていきます。最近はChatGPTのようなAIツールを活用すると、かなりの精度で考えられる原因と対策を教えてくれるので、試してみても良いかもしれません。
Macの場合は「ターミナル」、Windowsの場合は「PowerShell」を起動して、”python --version”と入力し、3.6以上のバージョンと表示されれば準備完了です。
STEP 2|GitHubからプログラムをダウンロード
GitHubのリポジトリ(このプログラムを公開している場所)に移動し、「<> Code」という緑のボタンを押します。次に、「Download Zip」を選択し、プログラムファイルをダウンロードした後、解凍します。
STEP 3|必要なライブラリをインストール
ラッシュジェネレーターのプログラムに必要なPythonのライブラリ(プログラムを動かすのに必要な部品)をインストールするため、ターミナルもしくはPowerShellを開き、ダウンロード・解凍したフォルダ「cut-generator-main」に移動します。たとえば、デスクトップにある場合は以下のように入力します。
cd ~/Desktop/cut-generator-main (Mac)
cd C:\Users\あなたの名前\Desktop\cut-generator-main (Windows)
以下のコマンドを入力して実行します。
pip install -r requirements.txt
こちらでエラーが出なければ準備完了です。これにより、プログラムを動かすために必要なライブラリ(部品)がまとめてインストールされます。
万一エラーが出た場合は、そのエラーメッセージをコピーして、ChatGPTなどに貼って相談するのもおすすめです。
プログラムを動かす実行手順
次に、ダウンロードした「カットジェネレーター」を使って実際に線撮動画を作成する手順を紹介します。Pythonの環境構築が完了していれば、以下の3ステップで動画を生成できます。
STEP 1|画像素材を準備する
キャラクター、背景、小道具など、合成したい画像素材をフォルダ分けして用意します。
A、B、C…といったフォルダ名がレイヤー順として扱われるため、上に表示したいものほどアルファベット後方になるように整理すると、仕上がりが分かりやすくなります。
STEP 2|タイムシート(CSV)を用意する
各素材をどのタイミングで表示するかを指定するタイムシート(CSV形式)を用意します。リポジトリ内の examples/ フォルダにサンプルファイルがあるので、まずはそれをコピーして編集してみてください。用意した素材に合わせてフレーム番号やセリフを変更しましょう。
STEP 3|プログラムを実行する
素材とCSVを準備したら、ターミナル(Mac)またはPowerShell(Windows)を開いて以下のコマンドを入力します。
python cut_generator.py <画像ディレクトリ> <CSVファイル> <出力ファイル名>
指定した内容に基づいて、線撮動画が自動生成されます。また、完成した動画ファイルは指定した名前で同じフォルダ内に出力されます。
画面サイズやフレームレートなど、出力に関する細かい設定も可能です。詳細はGitHubの README.md に記載されています。
さらに使いやすくするカスタマイズ案
今回のプロトタイプをベースに、次のような機能拡張の可能性も検討しています。
◼️GUI(グラフィカル・ユーザー・インターフェース)の搭載:
CSVではなく、タイムライン上で素材やタイミングを視覚的に調整できる編集画面を追加。プレビューを見ながらカットを調整できるようにする。
◼️AI処理との連携:
AIによる自動背景除去などを組み込み、キャラクターの線画だけを自動抽出・合成。人手でのマスク作業を減らし、線撮をより見やすく。
◼️外部ツール連携:
生成した線撮情報を、DaVinci Resolve、Premiere Pro、After EffectsなどのDCCツール(映像編集ソフト)に直接読み込める形式で出力。本制作への橋渡しをスムーズに。
最後に
いかがでしたでしょうか?
この相談室では、アニメ制作に関する課題を技術で解決する連載を行なっています。「こんなことできないかな?」というご相談をお待ちしております!
また、お仕事としても上記のようなアニメの業務効率化やワークフローの改善に関するお悩みを承っています。こちらもお気軽にご連絡ください。
BASSDRUM / ベースドラム株式会社
体験施設・ショールームの企画から企業のDX支援、新規事業・プロダクト開発に至るまで、AIなどの先端分野と現場で培った知見の融合により、技術面からプロジェクトをリードする、世界初のテクニカルディレクター・コレクティブ、及びその中核にある会社組織。クリエイティブとテクノロジーを横断的に理解し、両者のコミュニケーションを媒介しながら、プロジェクトのあらゆる局面において技術を武器にチームの実現力を最大化します。2024年、日本のアニメ業界の未来を支えるチーム『ADX』を設立。
bassdrum.org
特別協力:迫田祐樹(スタジオコロリド京都)・太田宏志(スタジオコロリド)
執筆:小野源太、森岡東洋志
設計:森岡東洋志・池田 航成
プロジェクトサポート:福井彩加
(BASSDRUM)
編集:柳田晴香