本連載では、CG映像制作におけるテクニカル系スタッフの仕事の現状と課題を、パイプライン開発の専門家である痴山紘史氏（日本CGサービス（JCGS）代表）が探っていく。今回は、連載 第4回で紹介したグラフィニカ技術開発プロジェクトの、SIGGRAPH Asia 2024 Technical Communications部門 Best Paper Award（最優秀論文賞）受賞を記念した追加インタビューをお届けする。

SIGGRAPH Asia 2024のTechnical Papers部門が主に学術的な研究成果を発表する場であるのに対し、本研究が受賞したTechnical Communications部門は、現場で得られた知見や技術に重点を置いた、より実践的な研究成果を発表する場だ。加えて本研究は、Visual Computing 2024でビジュアルコンピューティングポスター賞、情報処理学会 コンピュータグラフィックスとビジュアル情報学研究会で優秀研究発表賞を受賞するなど、高い評価を得ている。以降では、グラフィニカの主要メンバーと、アーチの遠藤聡平氏、拓殖大学の藤堂英樹先生へのインタビューを通して、本研究の核となる技術の「スタイル転写」と、その技術を検証するために制作されたプロトタイプ作品『Forest Tale』の詳細を紐解く。

プロジェクト始動の経緯、および開発期間

田熊 健氏（以下、田熊）：前回の記事でご紹介したように、当社では技術開発に力を入れています。そのためアーチさんが実験的な映像プロジェクトを始める際に「一緒にやりませんか」とお声がけいただき、本プロジェクトが始動しました。

遠藤聡平氏（以下、遠藤）：アーチは、アニメの企画制作プロデュースを手がける会社です。また、AnimeCraftというブランド名を冠した制作支援ツールの研究にも取り組んでおり、例えば絵コンテツールのAnimeCraft Storyboard（旧名称 Griffith）や、アニメ制作に特化したストップウォッチWebアプリケーションのAnimeCraft Stopwatch（旧名称 Griffith Stopwatch）などを開発しています。新たな技術開発を行うにあたり、当社代表の平澤（直）と共に、アーティストを支援するための技術開発のテーマを検討しました。その中で、成果が視覚的にわかりやすく、かつ日本のアニメーションにおいてまだ開発の余地があるルックに注目したことが、このプロジェクトのきっかけです。

アーチはプロデュース会社なので、プロジェクトを共に進めるスタジオが必要でした。そこで、平澤が同じく代表を務めているグラフィニカさんに声をかけ、一緒にプロジェクトを進めることになりました。

小宮彬広氏（以下、小宮）：3DCG制作の範疇を超える高度な研究開発をグラフィニカだけで行うのは難しいと判断し、技術顧問を務める小山（裕己）先生に相談したところ、スタイル転写技術を紹介していただき、これを基軸にした提案をアーチさんに行いました。プロジェクトが具体的に動き出す段階で、小山先生がNon-Photorealistic Rendering（非写実的レンダリング／NPR）の研究を進めている拓殖大学の藤堂先生を紹介してくださり、藤堂先生もチームに加わることになりました。

遠藤：本プロジェクトが始まったのは2023年1月頃です。ツール開発とプロトタイプ作品の制作がほぼ同時にスタートし、ツールの開発計画の立案やルックの検討を並行して進めていきました。その後、作品は2023年の年末に完成しました。作品が完成してから論文を発表するまでにも、わりと時間を要しました。最終的にプレスリリースを出す準備が整ったのは2024年7月頃で、そこから一気にメディアへの露出を進めました。

小宮：本プロジェクトの始動からSIGGRAPH Asia 2024にいたるまでに、約2年かかっています。ただし準備期間が長かったのに加え、全員がほかの業務も兼任していたので、実際に手を動かした期間は1年ほどだったように思います。

スタイル転写技術の強み

小山裕己先生（以下、小山）：スタイル転写技術は、SIGGRAPH 2001で発表されたAaron Hertzmann氏らによる代表的な論文「Image Analogies」にも見られるように、比較的古くから存在しています。しかし、実際にプロダクションで使用された事例を私は聞いたことがありません。とはいえ、この技術には大きな可能性があると感じ、挑戦しようと決めました。

藤堂英樹先生（以下、藤堂）：スタイル転写技術の強みは、リファレンスとなるひとつのスタイル画像をつくることで、そのタッチをほかの画像に転写できる点にあります。ただし、この技術を3DCGアニメーションに適用する際には、様々な課題が生じることが予想されました。そのため、まず「スタイル転写をどう実現するか」という基本的な部分から、現場の皆さんと相談しながら作業を進めました。

CGWORLD（以下、CGW）：昨今流行している生成系AIをあえて使わず、古典的な手法を採用した理由は何でしょうか？

小山：本プロジェクトでは、操作結果をアーティストが容易に予測できることを重視しました。生成系AIは確かに便利ですが、現状では操作結果を完全に予測するのは難しいという弱点があります。一方、本プロジェクトで採用したクラシカルな方法であれば、技術的にホワイトボックスであり、動作原理が明確なため、アーティストをより支援できるツールになると考えています。

After Effectsによる従来のアプローチとのちがい

CGW：スタイライズされた絵をつくる場合、After Effects（以下、AE）でコンポジットをして、適切なルックにする手法が一般的です。あえて技術開発を行なった動機は何でしょうか？

小山：AEを使えば、水彩画風や、油彩画風のルックをつくることは可能です。しかし本プロジェクトでは、「これまでとは異なるワークフローを開拓したい」というモチベーションが大きかったです。従来のやり方では、例えば水彩画風のルックを表現する際には、ノイズを加えたり、色を拡散させたりといった効果をAE上で組み合わせていました。スタイル転写技術の場合は、リファレンスとなるスタイル画像を入力し、そのスタイルを転写することで新しいルックを表現します。この技術を使えば、AE上で複雑な効果を組み合わせて画づくりをするスキルがなくても、直感的に様々なスタイルの画を試作できるようになります。

さらに、AEの場合はスタイルごとに専用のコンポジションをつくる必要がありますが、スタイル転写技術の場合は、リファレンスとなるスタイル画像を差し替えるだけで異なるスタイルを表現できる点が大きな強みです。ただし、AEを使って創意工夫しながら画をつくるアプローチが悪いというわけではありません。重要なのは「選択肢を増やすこと」です。本プロジェクトでも、最終的にはAEを使って仕上げており、それ自体は決して否定したいわけではなく、新しい選択肢が増えたという点が大きな意味をもつと考えています。

AEによる従来のアプローチと、本プロジェクトのスタイル転写技術によって生成された素材をAE上でコンポジットするアプローチは、組み合わせて使うことも可能です。従来のアプローチを否定するのではなく、新しい選択肢が加わったことで、これまで見たことのない表現を生み出せる可能性が広がることを目指しています。

小宮：従来のアプローチとわれわれが開発したスタイル転写技術の大きなちがいのひとつが、「時間連続性」と呼ばれる機能です。これは、前のフレームと後のフレームの画が連続性をもっているという特性を指します。従来のアプローチでは、絵のスタイルを、動きやシェーディングの変化に追従させる作業は非常に困難でした。一方で、われわれが開発したスタイル転写技術では、シェーディングの影や位置、オブジェクトの配置、パーツごとの特性に応じて、スタイルが適切に転写されます。これにより、画の連続性を維持しながら、一貫した表現が可能になります。

時間方向の滑らかさと、スタイル転写の精度を両立

藤堂：本プロジェクトのスタイル転写技術の基礎となったのは、先程ご紹介した「Image Analogies」という技術です。本技術では、入力画像［A］と、その画像にスタイルを適用した画像［A’］を用いることで、別の画像［B］に同様のスタイルを適用した画像［B’］を生成できます。

藤堂：入力画像［A］は、必ずしも［A’］の基となった画像である必要はない点は興味深いです。例えば、「この部分は空」、「この部分は岩」といった塗り分けによるガイド画像を用いるかたちでも、スタイルを転写することが可能です。

藤堂：本プロジェクトではこのアイデアを拡張し、複数のリファレンスガイドとなる画像を組み合わせることでタッチを転写するしくみを構築しました。具体的には、以下の手法を採用しています

1. リファレンススタイル画像［A’］：アーティストがスタイルを描いた球形のリファレンス画像を用意。
2. リファレンスガイド画像セット［A］：3DCGを使用して、ガイドとなる特徴的な要素を含む画像セットをレンダリング。
3. ターゲットガイド画像セット［B］：［A］と対応して、対象となるアニメーションシーンのガイド要素をレンダリングした画像セットを用意。
4. ［A’］、［A］、［B］を揃えることで、スタイル転写された画像［B’］を生成できる。

藤堂：生成された画像［B’］はスタイル情報のみが反映された単色の画像となるようにしています。この画像を基に合成処理を行い、最終的なアニメーションシーンを完成させています。この枠組みを用いれば、画像［A’］を水彩画風や油彩画風に差し替えるだけで様々なスタイルを適用することが可能です。結果として、多様な表現を簡単に生成できる柔軟な技術が実現しました。これまでのスタイル転写技術はタッチの転写が主流でしたが、輪郭線に対してもスタイル転写が効果的であることがわかったのは、今回のプロジェクトで得られた新しい知見です。

また、時間方向のノイズを抑えるために挑戦的な試みを行いました。スタイル転写をそのままアニメーションに適用すると、フレームごとに独立した処理が行われるため、ノイズが生じます。この問題を解決するため、フレーム間でスタイルの連続性を保つヒントデータをつくるために、スタイル転写技術自体を活用しようというアイデアが生まれました。具体的には、次のようなアプローチをとりました。

1. リファレンスとなるスタイル画像［A］と、ターゲットとなるガイド画像［B］間の、類似している特徴があるところにスタイルを転写する本技術の性質を利用し、前のフレーム［A］と、次のフレーム［B］をガイドにして、前のフレーム［A’］のスタイルを、類似している特徴があるところに転写した［B’］（Temporal Guide）を生成。
2. 生成されたTemporal Guideをスタイル転写の処理に用いることで、フレーム間でのスタイルの連続性を維持。

藤堂：このアプローチによって、フレームごとに内容が大きく変化しても、ノイズが発生しない滑らかな転写が実現したので、時間方向の滑らかさとスタイル転写の精度の両立が可能となり、アニメーション全体での表現の一貫性が大きく向上しました。

田熊：当社の技術開発プロジェクトのWebサイトでは、本プロジェクトの論文、および解説動画を公開しているので、ぜひご覧ください。

SIGGGRAPH Asia 2024での、発表の様子

• 

• 

• 

• 

シンプルなワークフローの実現

CGW：「Image Analogies」では複数色の画像に対してスタイル転写をしていましたが、本プロジェクトのスタイル転写された画像［B’］は単色になっている理由を教えてください。

藤堂：1枚の静止画に転写する場合であれば、複数色の情報を含む設定でも比較的簡単に進められました。しかし、これを3DCGアニメーションに適用しようとすると、照明や輪郭線、色などを個別に分けて転写する必要が出てきます。その結果、設定が次第に複雑化していきました。そこで、シンプルかつ安定して転写が行える方法を模索した結果、スタイル全体を一色に統一する方が適切だとわかりました。この方法で得られた転写後の画像を3DCGのレンダリング結果に重ねてみたところ、十分説得力のあるルックが得られたのです。その上で、AEを使って色付けを行うことで、スタイル転写の弱点を補う形にしました。これにより、アーティストの創造性を最大限に活かせる方法になったと感じています。

小宮：特に、レンダリング工程ではなく、AE上でのコンポジット工程に色調整を委ねられる点は、プロダクション現場での最終的な作業において非常に有用でした。

小山：本プロジェクトでは、複雑なワークフローを避けることを常に念頭に置いており、可能な限りシンプルなワークフローで実現できる方法を追求しました。スタイルを示す画［A’］の扱いにおいても、この方針を反映しています。今回は球体に色を塗った画像を使用しましたが、本来であれば対象となる3DCGシーンに直接色を塗る方が精度は向上する可能性があります。

しかし、あえて「球体に色を塗る」という制限を設けることで、アーティストにとってわかりやすく、シンプルなワークフローを維持できました。この制限により、何が起きているか直感的に理解しやすくなり、試行錯誤もしやすくなりました。結果的に、このアプローチが高品質な映像制作につながったと考えています。さらに、球体をリファレンスとする点は一見「MatCap」に似ていますが、MatCapが法線情報のみに依存するのに対し、本技術ではシェーディング情報、スペキュラ、輪郭線、影など、幅広い情報を使用しています。その上で、MatCapのような感覚で利用できるため、アーティストにとっても非常に理解しやすいしくみになったと思います。

Blenderをベースにしたワークフロー構築

小宮：基礎技術がある程度確立し、映像制作を進められる段階になっても、ユーザーライクなUIや3DCGソフトウェアとのインテグレーションが実現しなければ、アーティストは実際に画づくりを行うことができません。そこで、当社の酒井が中心となり、Blenderをベースにしたワークフローを構築しました。

酒井邦博氏（以下、酒井）：今回のBlenderを用いたワークフローには、主に2つの大きな特徴があります。まず、水彩画風や油彩画風といったスタイルを実現する際に、特定の表現に特化した技術開発が一切不要であったことです。また、アーティストの直感的なアイデアをその場で試せる環境が整い、テクニカルスタッフを介さなくても、現場で自由にトライアンドエラーができるようになりました。例えば、「鉛筆のタッチを少し変えてみよう」といった調整が気軽に行えるようになったのは非常に大きな進歩です。

従来のルック開発では、シェーダや3DCGの専門知識をもったスタッフがニーズを取りまとめ、多大なコストをかけてひとつのルックを開発していました。そのため、後戻りが困難で、試行錯誤にも限界がありました。

酒井：一方で、本プロジェクトのスタイル転写技術の場合は、スタイルの基になる画像さえ用意できれば、簡単に新しいルックを生成できます。これにより、アーティストの自由な発想を反映させた、迅速かつ柔軟なルック開発が可能になりました。

小宮：プロトタイプ作品の制作時には、私が球体にタッチを描き込み、演出スタッフとリアルタイムでやり取りをしていました。転写された素材を見せて、「もう少し粗い方が良い」などの意見をもらったら、Photoshopでタッチを変更し、再度転写して確認するというプロセスを繰り返しました。こうした試行錯誤を短時間でスムーズに行えたのは、このワークフローの大きな利点でした。

また、まったく異なるスタイルの絵をつくる際にも、必要な画像を差し替えて既存のパラメータを調整するだけでほとんど完了します。このシンプルさは現場での大きな強みです。

酒井：このワークフローを活用することで、非常に多くのトライ＆エラーを繰り返しながら作品の品質を高めていけた点に、大きな手応えを感じました。

※Blenderをベースにしたワークフロー構築については、CEDEC 2023での発表「アニメR&Dの最前線：絵コンテ制作支援からルック開発、ゲームエンジン活用まで」でも紹介されています。詳しい情報や実例についてはこちらもご覧ください。

スタイル転写技術のデモ

酒井：それでは、実際にスタイル転写のデモを行います。今回はレンダリング済みの3DCG素材とスタイルを示す画を用意して、スタイル転写を実行してみます。

小宮：こちらがBlender上で動作するスタイル転写ノードとGUIです。ノードは非常にシンプルな構造になっており、直感的に操作できます。また、CUDA対応によりGPUを活用して高速な処理が可能です。例えば、新しいリファレンス用の球を描いて適用する場合でも、1フレームあたり数秒で処理が終わります。アニメーション用に時間連続性を考慮する場合でも、1カットあたり数分程度で処理が完了します。

藤堂：処理時間は解像度に依存するため、プレビュー時に解像度を下げたり、確認箇所を絞って転写することで、リアルタイムプレビューも可能になると思います。

酒井：今、話をしている間に処理が完了しました。

CGW：速いですね！ 驚きました。少し遊び心が湧いてくるのですが、例えばスイカの画像を貼り付けたらどうなるのか見てみたくなります。

酒井：そのようなアイデアも簡単に試せます。画像をスイカに差し替えるだけなので、すぐにでも実行できます。

本プロジェクトで得られた成果

CGW：本プロジェクトで得られた成果を、研究者・制作者・プロデューサーのそれぞれの立場からお聞かせください。

小山：これまではルックの目標を定めた後に、技術開発やルック開発を繰り返しながら完成形を目指すながれが一般的でした。しかし本プロジェクトのように試行錯誤が容易になれば、目標として定めたルック自体を作業中に見直し、アップデートできる可能性が出てきます。これにより、「目標のルックをどうつくるか」を考えるだけでなく、目標そのものを進化させ、よりクリエイティブな作品づくりを目指せるようになると思っています。

小宮：これまでのセル調のルック開発では、手描きの表現に近付けるための技術開発が行われてきました。しかし、3DDCGは情報を削ぎ落とすことが不得意なので、手描きの模倣を目指している現状に少し悔しさを感じています。だからこそ「従来のアニメではない、アニメーション」と言えるような新しい表現を模索したいと考えています。

例えば、映画『ゴッホ 最期の手紙』（2017）という、全編を「動く油彩画」で表現した作品があります。このような表現のためには膨大な労力が必要で、商業作品での実現は難しいですが、スタイル転写技術を使えば、アーティストの絵を基にした長編映像の制作が可能となります。手描きでは難しいディテールを活かした作品をつくれるようになることは、大きな成果です。

遠藤：本技術は、制作会社とアーティストに、映像制作のクリエイティブな部分に集中できる環境を提供します。グラフィニカさんやアーチだけで独占せず、ほかの制作会社さんとも共有していきたいと考えています。本技術が新たな仲間づくりの種となり、技術開発による、映像品質や制作環境の向上につながることを期待しています。

「原案を依頼する作家さんのスタイルが、アニメーションにするには難易度が高すぎ る」といった場合でも、本技術を使えばこれまでよりいっそう忠実に実現できるかもしれません。クライアント側の企画の可能性が広がる点も成果だと思います。研究者にとっても、自分の研究成果を活かせる場を模索するきっかけになるのではないでしょうか。技術開発×映像制作の輪が広がり、多くの人と協力していける未来を期待しています。本技術を広め、仲間を増やしていきたいと考えています。本記事を読んで興味を持たれた方は、ぜひ気軽にお問い合わせください。

今後の課題

酒井：後ろでこっそりスイカ画像のスタイル転写を実行していました。これを最後のお土産にしてください。

CGW：ありがとうございます！ この結果を見ると、単純にUVや法線情報を基にテクスチャを転写しているわけではないことがよくわかりますね。

藤堂：現状では、パッチワークのように切り貼りしているため、模様がつぎはぎ状に接合されている点や、奥行き感が乏しい点などの課題が残っています。模様のサイズや曲がり具合を調整する方法を探ることは、今後取り組みたい研究課題のひとつです。

小宮：こうした課題を解決するための将来的な方向性として、藤堂先生が別途研究されているストローク転写（Stroke Transfer）という技術があります。この技術とスタイル転写を組み合わせ、新しい研究課題として発展させようというアイデアも出ています。

筆者まとめ

複数の企業と研究者が一丸となって取り組んだ今回の研究開発は、プロトタイプ作品の完成だけに留まらず、SIGGRAPH Asia 2024のTechnical Communications部門でBest Paper Awardを受賞するという快挙を成し遂げました。本プロジェクトで開発された、アニメーションを考慮したスタイル転写技術と、それをプロダクションで使用するためのシンプルで効率的なワークフローは、映像制作の方法を大きく変える可能性を秘めています。今後、この技術がどのように進化し、どのような映像作品を生み出していくのか非常に楽しみです。