ACADEMIC meets INDUSTRY:No.001：東京工科大学メディア学部三上研究室 | 連載

RESEARCH 2：制作パイプラインや工程管理に関する研究

・研究目的

この研究は私が金子先生の下で研究を始めたときからの、いわばライフワーク的な研究です。モデリング、アニメーション、レンダリングなど、CG技術に関する研究は数多くありますが、それらに比べれば、制作パイプラインや工程管理の研究は昔も今も活発とは言えません。そこで2000年代初頭に大学の実証制作へAlienbrainのVer1.0を試験導入した経験などから、この研究を研究テーマのひとつに定めるようになりました。

CGの素材はおおむねデジタルなので、コンピュータとネットワークによる管理は十分可能です。しかし単にファイルの命名規則を決め、ディレクトリ構造を定義し、保存するという初歩的なところにも課題はあります。プロジェクトごとの流儀があるため、ほかの会社やほかのプロジェクトの経験者が異なる環境に入ったときには、従来との差異が問題となります。現在では、自社開発した制作管理ツールを利用している会社も増えてきています。

・研究方法、および研究の新規性

プロダクションの実践に近い研究は、会社や作品の事情に左右されることもあり、インハウスで実施しないと問題や解決方法が見つかりません。産学連携での実証制作を通して問題の発見や分析、解決方法の検討を行うのですが、実際の制作で実用性や有用性を出せるレベルまで高めるのは大変です。こうした制作現場での問題解決は、学術的な新規性の創出という点はそれほど望めないという特性もあります。

われわれは研究としての新規性を重視し、プリプロダクションのデジタル化から着手することを決めました。映像コンテンツの管理の基準となるのはシーンやショットです。必要なシーンはシナリオ段階で、必要なショットは絵コンテ段階で、必要なアセットはデザインや設定段階で明らかになります。プリプロダクションの様々な作業をデジタル化し、その結果をデジタル処理すれば、ディレクトリ構造やリンク集を自動的に設定できるのではというアイデアを思いつきました。シーン、ショット、アセットの関連素材の格納場所を、XMLで記述されたリンク集で管理し、専用ツールで処理したシナリオや絵コンテが更新されれば、そのリンク情報を書き足していくシステムとしてIPMLを構想しました［1］。

本研究は構想が大きすぎるため、まだまだ部分的な研究をしている段階ではありますが、いくつかのツールが実際に開発されています。ひとつはシナリオエンジンというツールで、Webブラウザを利用して段階的にシナリオを執筆できます［2］。完成したシナリオはIPMLに記録可能です。もうひとつはジオラマエンジンというプリビズツールです［3］。このツールは、制作したシーンの情報をIPMLから自動的に読みとり、必要なアセットを自動的に配置します。このようにプリプロダクションをデジタル化していけば、以降の工程でも、ある程度の単純な作業の自動化が望めます。

ほかにも、従来のスプレッドシートをベースにした管理ツールではなく、分岐統合をくり返すフローチャート型のインターフェイスで管理するシステムを試作しました。このシステムには、作品独自のワークフローや、特殊なショットのワークフローを設計できたり、似たようなショットのパターンを流用できるような工夫が施してあります。これ以外にも、担当ショットの難易度を法則化してスタッフのタスクを見える化したり、ファイルを開いた時間と保存した時間を自動的に収集して労務管理に応用したりするシステムなど、様々なプロトタイプを研究しています。

プリプロダクション支援ソフトウェアの研究開発

▲シナリオエンジンの画面。Webブラウザ上で動作する、段階的なシナリオ執筆が可能なツールです。登場人物設定や舞台設定などの資料を閲覧しながら、シーンを記述できます。作成したシナリオは書式に合わせて出力したり、登場人物や舞台名がタグ付けられるため、関連ツールでの利用が可能です

▲ジオラマエンジンの画面。リアルタイムで動作可能なプリビズツールです。シナリオエンジンで作成したシナリオを読み込み、自動的にシーンに登場するキャラクターモデルや背景モデルを読み込んで配置できます

▲作業が分岐したり合流したりする複雑なワークフローを、フローチャートを利用したインターフェイスで管理するシステムです。ショットごとに異なるワークフローの設定やワークフローの複製も可能です

・実用化の可能性

シナリオエンジンは、映像産業振興機構のプロフェッショナル向けシナリオアナリストセミナーで利用されたこともあり、一部では試験的な実用化が進んでいます。パイプラインは各社の事情に即して構築されるため、大学の研究がそのまま活かされるケースは多くありません。しかし日本動画協会の「アニメーション分野におけるデジタル制作環境整備に係る調査研究」［4］の取りまとめなど、アニメ業界のデジタル作画に伴う管理技術共通化の取り組みに参加することで、産業界に還元できています。今後も実践的な研究を進めるためには、最新の作品やプロダクション事例との比較が重要になります。様々な業界関係者を対象に調査をしていますが、よりいっそうの交流の場をつくっていきたいとも思っています。

今回は主に【1】と【4】に関する研究を紹介しましたが、先に述べた通りアニメやゲーム、CGに関する様々なテーマを学生たちと一緒に考えています。「機械学習を利用した絵コンテの自動着色」［5］や、「生体情報を活用したプロシージャルなアクションゲームレベルデザイン」［6］など、多くの研究があります。興味のある方はぜひご連絡ください。

・参考文献

［1］三上浩司，伊藤彰教，中村太戯留，近藤邦雄，金子満，"映像コンテンツ制作のための統合化映像制作情報管理手法の研究"，Visual Computing / グラフィクスとCAD 合同シンポジウム2008予稿集，画像電子学会／情報処理学会，2008
［2］戀津魁，菅野太介，三上浩司，近藤邦雄，"金子満映像制作支援のためのシナリオ記述・構造化システムの開発"芸術科学会論文誌，10巻3号，2011
［3］Koji Mikami, Toru Tokuhara，"Diorama Engine - A 3D Directing Tool for 3D Computer Animation Production"，Computer Graphics International，IEEE，pp.318-323，2003
［4］一般社団法人日本動画協会「アニメ制作におけるデジタル技術に関する調査・研究」http://aja.gr.jp/jigyou/chousa/digital_tech
［5］宋京舟，三上浩司，"機械学習を用いたアニメ絵コンテの自動着色手法"，映像表現・芸術科学フォーラム 2018 （Expressive Japan），2018
［6］Henry D. Fernandez B, Koji Mikami, Kunio Kondo，"Adaptable Game Experience Based on Player's Performance and EEG"，NICOGRAPH International2017，IEEE，2017