東京アニメアワードフェスティバル(TAAF)実行委員会、一般社団法人 日本アニメーター・演出協会(JAniCA)による「アニメーション・クリエイティブ・テクノロジー・フォーラム(ACTF)2024 in TAAF」が、3月9日(土)・10日(日)の2日間にわたって開催された。

9日は制作プロダクションなどによる各社事例紹介の配信・聴講、10日はソフトベンダーなどによるセミナー配信や、としま区民センターでのリアル出展を実施した。

本記事では各社事例紹介から、スタジオジブリスタジオポノックによる「OpenToonzとIwaWarperの事例紹介:『君たちはどう生きるか』」の模様をレポートする。

記事の目次

    関連記事

    CLIP STUDIO PAINTでストーリーボードを描こう! マーザ・アニメーションプラネットの絵コンテ術 〜ACTF2024 in TAAF(1)

    イベント概要

    「アニメーション・クリエイティブ・テクノロジー・フォーラム(ACTF)2024 in TAAF」

    開催日:2024年3月9日(土)、10日(日)
    場所:としま区民センター
    参加料:無料
    主催:東京アニメアワードフェスティバル実行委員会
    共催:一般社団法人日本アニメーター・演出協会(JAniCA) ACTF事務局株式会社ワコム株式会社セルシス
    www.janica.jp/course/digital/actf2024inTAAF.html

    『君たちはどう生きるか』

    原作・脚本・監督:宮﨑 駿
    プロデューサー:鈴木敏夫
    制作:スタジオジブリ ⋅ 星野康二 ⋅ 宮崎吾朗 ⋅ 中島清文
    音楽:久石 譲
    主題歌:米津玄師
    上映時間:約124分
    配給:東宝
    公開日:2023年7月14日(金)

    www.ghibli.jp/works/kimitachi
    © 2023 Hayao Miyazaki/Studio Ghibli

    ジブリ長編で初めてHDRを導入

    本セッションにはスタジオジブリの奥敦氏、スタジオポノックの岩澤 駿氏、OpenToonzエヴァンジェリストの泉津井陽一氏が登壇。

    2Dアニメーション制作ソフトウェアのOpenToonz貼り込み専用ソフトウェアのIwaWarperを、2023年公開の『君たちはどう生きるか』でどのように活用したのかを解説した。

    左から、轟木保弘氏(モデレーター/ACTF事務局)、奥井 敦氏(スタジオジブリ)、岩澤 駿氏(スタジオポノック)、泉津井陽一氏(OpenToonzエバンジェリスト)。『君たちはどう生きるか』では、奥井氏が撮影監督、岩澤氏がプログラミング、泉津井氏がCGを担当した
    OpenToonz(OT)は色彩設計、デジタルペイント、デジタル撮影、IwaWarperは素材の貼り込みに使用。動画のスキャンはスタジオジブリが社内開発したスキャンツールのGTSを用いた。OpenToonzとGTSはオープンソースソフトウェア(以下、OSS)であり、IwaWarperも『君たちはどう生きるか』制作後にオープンソース化した。本作はデジタル制作の多くの部分をOSSが担った点が特徴とえる

    まずは奥井氏がHDR制作に向けた取り組みについて紹介した。『君たちはどう生きるか』スタジオジブリで初めてHDRを採用した長編作品だが、奥井氏は2010年頃からSDRでの映像制作に限界を感じていたことを明かす。

    大きな転機となったのは2015年に北米でDolby Cinemaのシアター展開がスタートしたことだ。現地の設備を視察した奥井氏は、Dolby Cinemaの黒の表現や色の階調、ハイライトの眩しさに衝撃を受け、HDRの有用性を体感したという。

    そこで2016年『風立ちぬ』(2013)『思い出のマーニー』(2014)のデータを使用し、HDR制作のテストを行った。

    HDR制作テスト時のワークフロー。OpenToonzで制作したSDRマスターをベースにしているが、拡張の必要があるハイライトの素材やマスクを書き出して、Nukeにち込んだ。Nuke上ではSDRの素材をリニア色空間に展開し、暗部とハイライト部分のつくり込みをした

    スト結果がスタッフから好評を得て、今後の作品にHDRを導入することが決定した最初に取りかかったのは、三鷹の森ジブリ美術館で上映される短編『毛虫のボロ』(2018)のDolby Cinema版だった

    『毛虫のボロ』のワークフロー。テストとは異なり、Nukeでのつくり込みはEIZOのHDRリファレンスモニタ「ColorEdge PROMINENCE CG3145」(以下、CG3145)上で行い、グレーディング時にはロサンゼルスのDolby screening room Hollywood VineにHDRデータをち込んでDolby Cinemaスクリーンで最終チェックをした。Dolby Cinemaの最高輝度は108nitなので、1,000nitだけでなく108nitのHDRデータも作成している

    『毛虫のボロ』のHDR制作を経験したことで、暗部についてはグレーディングで充分にコントロールできることがわかった。一方ハイライトはSDRマスターをベースにする以上、一度白飛びしてしまった部分に関しては階調の復元はできないという結論にいたったという

    そこで『君たちはどう生きるか』ではOpenToonzでSDRマスターを仕上げ、その素材をバラバラにしてNukeにち込み直し、再構成してHDRマスターを制作するという方法を採った。

    しかし実際に作業をしてみると、OpenToonzとNukeではソフトのちがいから最終的なルックに差異が生じてしまったという。その解決策としてOpenToonzを改良し、SDRワークフローの延長線上でHDRのつくり込みができる環境を構築した。

    ルックの差を解消するためには、どちらかのソフトに統一する必要があった。ただNukeでSDRマスターを制作するのは難しかったため、OpenToonzでリニア処理ができるよう岩澤氏に改良を依頼した
    ▲岩澤氏によるOpenToonzの改良点。階調をチェックするビューアの表示機能も搭載した。HDRモニタへの表示まではできなかったので、チェックは『毛虫のボロ』と同じようにNukeにち込み、CG3145のモニタで行なっている

    HDRを活かしたスパーク

    HDRが活かされた『君たちはどう生きるか』のカットを紹介しよう。主人公の眞人が産屋に行く途中、地下の通路の石に触れるとスパークが走るカット926だ。

    OpenToonzのSDRマスターのプレビュー画面。カット926で最も明るくなったコマで、スパークは白飛びして階調がなくなっている
    HDRマスターのプレビュー画面。HDRのリニア空間で計算した映像をノンリニアのSDRモニタ上で表示しているため、同じように白飛びした状態になっている。HDRで明るさを差し込んでおり、SDRマスターよりも明るく見える
    ゲインコントロールして絞った(光量を抑えた)状態。実際は白飛びした部分に階調の情報が残っていたことがわかる。HDR対応のモニタで確認して作業をすれば、まぶしさを表現した映像制作が可能だ
    ▲本作のワークフロー。OpenToonzでHDRのつくり込みとレンダリングをしている。このときはすでにIMAGICA Lab.にDolby Cinemaスクリーンが設置されていたので、最終グレーディングも国内でできた
    ▲本作のHDR制作タイムライン

    奥井氏はHDR制作において32bitフロート処理やリニア出力が必須であり、2Dアニメーションに本格的に導入されるのはこれからになるだろうとコメントした。本来はHDRマスターを制作した上でSDRの映像をつくるのが理想だが、制作環境のハードルはまだまだ高いと実感を伝える。

    回は撮影時にHDR制作を進めたが、上流工程の美術や仕上げまで対応するためにはHDRワークフローへの理解も必要だという。今後HDR制作が少しずつ広がっていくことに期待したい。

    柔軟な貼り込みを実現するIwaWarper

    泉津井氏はIwaWarperを使った貼り込み作業について紹介した。IwaWarperは岩澤氏が手がけたインハウスツールで、パス(ペジェ曲線)ベースのテクスチャ貼り込みに特化した機能を備えている。

    IwaWarperの概要。マニュアルは整備されていないが、1時間ほどのレクチャーで習得できる使いやすさも利点

    パスを自由にコントロールして円形や多角形など複雑な形状に合わせて貼り込むことができ、レイヤー構成をつためテクスチャを重ね合わせることも可能で、様々な表現をツール単体で実現できる。

    これまでのスタジオジブリでは1999年に開発終了したAvid Elastic Realityを使用しており、作画ベースのものや背景動画などはテクスチャで対応していた。例えば『ハウルの動く城』(2004)の制作では、ハウルの城の上部は3DCGだが、脚の関節から下は作画のためテクスチャを貼り込んでい
    IwaWarperの開発経緯。『君たちはどう生きるか』の制作後にオープンソース化した

    テクスチャは通常のアニメ制作では1枚で済ませることが多い。しかしスタジオジブリでは、角度が変わったときに明るさの変化を出したり、奥に移動したときに密度が上がらないようにしたりするため、テクスチャを複数用意している。それらを変形させた後にオーバーラップをかるという手間のかかる工程を踏む。

    IwaWarperの作業手順

    最初にカットの中から必要な原画を数枚(3~7枚程度)選定する。それをに美術にテクスチャ素材を発注し、レタッチしたり配置を変えたりして、貼り込み用素材を作成する。

    その後はIwaWarperに読み込み、動きを1コマずつトレースし、プレビュー機能を使って不自然な部分を直していく。最後はOpenToonzにち込み、パレットフィル機能でルの色ごとにマスクを分離して合成する。

    IwaWarperで貼り込んだ崖から落ちる岩

    IwaWarperはカット820の崖から落下する岩の貼り込みに使用した。岩はクルクルと回ったり、2つに割れたりと、複雑な動きをしている。崖自体は3DCGだ
    IwaWarperの作業画面。右側にシェイプツリー、下にタイムラインがあり、マウスのスクロールで送りと戻しができる。赤い線で囲まれた岩がソースで、青い線の部分に貼り込まれる。タイムラインを動かすと回転に合わせて追従していることがわかる

    IwaWarperの最大の特徴は、形状とピクセルの対応点を別々に設定できること。そのため対応点を移動させれば形状を変えずに絵だけを歪ませることができる。この機能のおかげで、パースや形状の変化に柔軟に対応し、自然な画づくりが可能になった。

    対応点を移動してプレビューすると岩の絵が変化する。形状と対応点でキーフレームが個別に用意されており、タメツメをコントロールすることで中割を均等にせず緩急を付けることもできる
    ▲割れる岩にも対応可能。パスをコントロールして編集する機能が揃っておりスナップもできるため、岩が割れて絵が2枚に分かれても違和感がないように見せられる

    キューブ状に崩れる回廊の貼り込み

    ▲回廊がキューブ状に崩れていくカット1197。一定のサイズ以上のキューブには、全てそれぞれテクスチャを貼り込んでいる
    キューブはCセル、Dセル、Eセルと3レイヤーに分かれている。パスが大量にあるため、タグを付けて分類したり、特定のパスだけ表示したりと、視認性を向上する機能も用意されている。「このカットが来たときはどうしようと思いましたが、なんとかやり切ることができました。一般的な貼り込みツールではなかなか難しいカットでしたね」(泉津井氏)

    OpenToonzの新エフェクトを紹介

    最後はOpenToonzのビジュアルエフェクトの中から、Glare Iwa FxFloor Bump Iwa FxFlow Paint Brush Iwa Fxを岩澤氏が解説した。

    『君たちはどう生きるか』のために開発されたOpenToonzの新エフェクト

    Glare Iwa Fxで生成した黄金の門のグレア

    Glare Iwa Fxは光源の周囲に発生するグレア(光の筋)を表現するエフェクトだ。グレアは光が遮蔽物を通過するときに拡がる折という現象によって発生する。Glare Iwa Fxでは現象そのものをシミュレーションしてグレアを再現した。

    Glare Iwa Fxは黄金の門が映し出されるカット523使用。画面の上中下でそれぞれ輝いている3つの光がグレア
    グレアの発生原因となる遮蔽物や絞り画像を「Irisポートに入力六角形の画像を入力すると、6方向に光の筋が延びるグレアパターン生成できる
    グレアを乗せたい画像のハイライト部分だけを抜き出して「Source」ポートに入力すると、グレアパターンがハイライトに適用され、グレアが生成される
    最後に元画像とフレア画像をスクリーン合成する
    Glare Iwa Fxはユーザーが直接グレアパターンをつくるのではなく、遮蔽物や絞り画像の形状をつくってシミュレーションするのが特徴だ。フィルを変えるだけで多彩な光の筋のパターンを生成できる。基本的な4、6、8方向のパターンは内蔵されているため、絞り画像必要ない
    ▲カット523のノードツリー。Glare Iwa Fxのノードは3つあり、それぞれ異なるグレアを出している
    ▲カット523ではギザギザの線の絞り画像を使用。グレアパターンはそれぞれの線に対して垂直の放射線の筋が出ている。さらに放射方向へ拡大縮小するランダムな変形と色調整を加えた

    ▲カット523の作業工程。3つのグレアはそれぞれゆっくりと横移動している

    Glare Iwa Fx解説動画

    Floor Bump Iwa Fxで表現した石畳

    Floor Bump Iwa Fxは床面を凹凸に変形させるエフェクトで、眞人たちが柔らかくなった石畳に飲み込まれていくシーンに使用している

    通常であれば3Dソフトで表現する効果だが、専用エフェクトを開発することによって、ツール間行き来する手間を減らして簡便に処理できるようにしたいという狙いがあった。

    ▲Floor Bump Iwa Fxを使用した、眞人の足が柔らかくなった石畳に飲み込まれていくカット499
    「Height」ポートに高さマップを入力。高さマップは画像の明るさが高度に対応している。50%のグレーだと凹凸なし。白や黒に近くほど凹凸が激しくなる
    ▲カット499の入力画像(画像左)。美術スタッフが描いた石畳が想像よりも厚みがあったため、敷石の隙間の厚みの差を考慮して沈む計算ができるようにディスプレイスメントマップを追加した。マップの明暗が敷石の凹凸に対応している
    ▲テクスチャモードで出力した結果。「穴のエッジ部分で、敷石の厚みがちゃんと見えているのがポイントです」(岩澤氏)
    ▲拡散反射モードや鏡面反射モードのほか、同じエフェクトから合成用に様々な素材を出力できる
    Floor Bump Iwa Fx解説動画

    Flow Paint Brush Iwa Fxで汚れを作成

    最後のFlow Paint Brush Iwa Fxは汚れや傷の特効用のエフェクトである。本作には特効専門のスタッフがいなかったため、ビジュアルエフェクトで代用することを目指して開発した指定した領域内に筆のタッチを配置することで汚れのパターンを作成している

    特効の場合はセルに合わせて1枚1枚を描く必要があるが、今回はパラメータを変えることで望む効果が出ることを目標として、約20カットほどで使用した。

    ▲Flow Paint Brush Iwa Fxを使用したカット1039。眞人(画像右)のほほ、肩、ひじ、背中、足の計5箇所にある汚れは、同エフェクトによってつくられている
    最初に筆のタッチのテクスチャを用意する上のテクスチャは画用紙に描いた筆のタッチをスキャンしたものだ。Flow Paint Brush Iwa Fxは筆のながれも表現できるが、今回は筆をポンポンと置いただけのfluffyというテクスチャをメインに使用している
    汚れを発生させ範囲四角形指定すると中に筆のタッチが配置される。タッチの密度はパラメータでコントロール可能
    次にタッチを発生させたいエリアを画像で入力すると、黄色い部分の内側のみタッチが配置される。実際の作業ではアニメーターが汚れのアタリを斜線で描いているので、それをに最大値フィルタで太らせて発生エリアに使用した
    エフェクトのパラメータを調整し、タッチの位置や向きをランダムにしたり、密度や大きさを変更したりして、最適な汚れを作成する
    ▲エフェクトの発生範囲は平行四辺形になっており、作画の動きに合わせて形すると、汚れのパターンが追従する。単純なアフィン変換ではなく、汚れのパターン全体にふくらみや、タッチがコマごとに自然にブレる効果なども付けられる
    ▲カット1039の眞人の特効用の合成ノード。タッチはノーマル色とカゲ色が重なる部分もあったため、タッチのエリアごとにFlow Paint Brush Iwa Fxをつくった

    ▲エフェクトの発生範囲の四角形を、作画の動きに合わせて変形させていく。ほほ、肩、ひじ、背中、足の5箇所を全て手作業で行なった。背中と足の発生範囲は途中で見えなくなるため画面外に消える

    ▲作画の動きに追従してエフェクトが発生している

    完成カット。最後に作画で描かれたアタリの斜線も合成した
    Flow Paint Brush Iwa Fx解説動画

    セッションの最後にACTF事務局の轟木氏は、アニメ制作の撮影で広く使われており、レイヤーベースのAfter EffectsノードベースのOpenToonzやIwaWarperのちがいについて質問した。

    泉津井氏はどちらも一長一短はあるとしながらも、にテレビシリーズの場合は一度つくったエフェクトを再利用することが多いため、ノードベースは非常に有効だとコメント。ノードであればプリセットをつくったりコピーペーストをしたりする必要がなく、効率的に作業ができる部分があるという

    またAfter EffectsとOpenToonzでは合成の考え方自体が異なっており、そのちがいを知ることで新しい表現が見えてくることもあると語る。OpenToonzにまだ触れたことがない人もぜひ使ってみてほしいとメッセージを送った。

    © 2023 Hayao Miyazaki/Studio Ghibli

    TEXT_高橋克則/Katsunori Takahashi
    EDIT_李 承眞/Seungjin Lee(CGWORLD)、小村仁美/Hitomi Komura(CGWORLD)