実写映像へのCGキャラクター合成を、これまでにない手軽さとスピードで実現するオートデスクのAIプラットフォーム「Autodesk Flow Studio」。先日発表された「AI Rigging」と「Neural Layer」という新機能により、同ツールは単なるキャラクター合成ツールから、VFX制作の広範な工程をカバーする強力なプラットフォームへと進化を遂げた。

本稿では、Flow Studioの生みの親であり、映画監督・VFXスーパーバイザーとしても豊富な経験を持つニコラ・トドロビッチ氏へのインタビューを通じて、オートデスクとの強力なタッグが描くクリエイティブの未来像を紐解いていく。

Flow Studio について詳しく見る

ニコラ・トドロビッチ氏来日公演情報

AI技術がもたらす「ストーリーテリングの民主化」

CGWORLD編集部（以下、CGW）：まずはWonder Dynamics社起ち上げの経緯から伺います。

ニコラ・トドロビッチ氏（以下、トドロビッチ）：2016年、共同設立者のタイ・シェリダン（Tye Sheridan）と一緒にSF作品の映画脚本を書いていた時に、制作予算、主にVFXコストに1～2億ドルもかかってしまうことがわかり、映画をもっと安価に作る方法はないかと模索しはじめたのが、AIへの着目と会社設立のきっかけです。

小規模な制作会社や個人のクリエイターが映画をつくろうとすると、コストの壁にぶつかります。結果として、自分たちの本来のビジョンを犠牲にして作品をつくらざるを得なくなるのです。クリエイターが思い描くビジョンと、実際に完成する成果物との間に、絶望的なまでのギャップがあります。

CGW：そのギャップを埋めるためにAIを活用しようと。

トドロビッチ：そうです。私たちは当初、自分たちの映画のためだけに技術開発をしていましたが、完成した技術を見て「これは大手スタジオだけでなく、個人や少人数のチームでもストーリーテリングが可能になる画期的なツールになる」と確信し、広く提供することにしました。

CGW：それが現在の「Flow Studio」ですね。

CGW：オートデスク傘下に加わることになった経緯については？

トドロビッチ：オートデスクとは合流する約1年前から強力なパートナーシップを結んでいました。私たちが目指したのは、「AIが作業の3〜4割を担い、残りの6割はMayaなどの既存のプロフェッショナルツールでアーティストが仕上げる」というワークフローです。この考え方が、オートデスクのダイアナ・コレラ氏をはじめとするチームのビジョンと完全に一致しました。

スタートアップが大手企業に買収されると、プロダクトの方向性が犠牲になったり、ビジョンを変えざるを得なかったりすることがよくあります。しかしオートデスクは私たちの5年先、10年先のビジョンを信じ、ロードマップを諦めることなく追求できる環境を与えてくれました。

私たちはAIのエキスパートですが、彼らはCG・VFXパイプラインの最高のエキスパート。この2つを組み合わせることは、業界にとって非常に有用なステップだと確信しています。

CGW：素晴らしい信頼関係です。さて、トドロビッチさんは先日、The Hollywood Reporter誌「AIでハリウッドの未来を形作るトップ25人」に選出されましたね。

トドロビッチ：映画界の権威ある方々と共に選出されたことは、非常に光栄です。それ以上に嬉しいのは、「ハリウッドがようやくAIを未来の一部として受け入れ始めた」ということです。

ハリウッドは伝統的に、新しい技術を毛嫌いする傾向がありますが、先日行ったカンヌでもAIの話題で持ちきりでした。ハリウッドも「AIはもはや無視できない。無視することはかえって危険だ」と気づいたようです。

CGW：AIがクリエイターの仕事を奪うという懸念に対してはどうお考えですか？

トドロビッチ：「より自由なストーリーテリングが可能になる」と考えています。もともと映画産業はニューヨークやニュージャージーでスタートしました。当時、トーマス・エジソンがカメラや劇場システム（ニッケルオデオン）の特許を独占しており、映画を制作・上映するには必ずエジソンの会社に高額なライセンス料を支払う必要があったのです。

それに不満を抱いた独立系のプロデューサーや監督たちが、ライセンスの束縛から逃れるために、ニューヨークから遠く離れたカリフォルニアの農場へ移り住み、隠れて映画をつくり始めました。それがハリウッド・スタジオ・システムの始まりです。

つまり、ハリウッドそのものが「一部の人間による技術の独占を打破し、独立したクリエイターが自由を手にする」という歴史から生まれているのです。

現在、AI技術の発展に対して不安を抱く人も多いですが、私たちが目指しているのはまさに「技術の民主化」です。AIは、多くの人が自由にストーリーテリングを行えるようにするための手段なのです。

Flow Studioが実写とCGの融合における最大のボトルネックを解消する

CGW：Flow StudioはAI Rigging やNeural Layerといった機能追加により、実写映像の中の人物をCGキャラクターにすげ替えるツールからVFXプラットフォームへと進化しました。

トドロビッチ：Flow Studioに新たな機能群を追加した最大の理由は、実写の中にCGキャラクターを入れ込むプロセスにおけるボトルネックを解消するためです。

ライブアクションの映像の中にCGを違和感なく溶け込ませるには、正確なトラッキング、リギング、ライティング、コンポジットなど、非常に難易度が高く時間のかかる作業が多数存在します。これまでは、それらの工程が個別の分断された作業になっていました。

AI Riggingが統合されたことでキャラクターのセットアップが自動化され、さらにNeural Layerが加わったことで、出力品質の向上が図られました。これにより、作業の全工程が非常にスムーズにながれるプラットフォームへと進化しています。

CGW：モデリングから最終的な画づくりまでを一貫してサポートする基盤になった、と。

トドロビッチ：おっしゃる通りです。テキストや画像から3Dアセットを生成する機能に加えて、それらを動かすためのリギング、そして最終的なルックをシネマティックに仕上げるためのニューラルレンダリング・コンポジット。

Flow Studioはまだ発展途上ではありますが、アーティストが直面する煩雑なステップをAIで効率化し、彼らがクリエイティブな判断に集中できる環境を提供しています。

AI Rigging：既存のMayaリグ仕様と共存し、自由な編集を担保するワークフロー

CGW：新機能の「AI Rigging」について詳しく教えてください。

トドロビッチ：コンセプトは、短時間（2～4分程度）でベーシックなリグを自動で構築することです。完璧なプロダクション用リグを一から構築するというよりは、AIモーションキャプチャでキャラクターをすぐに動かせるよう、アニメーションの基盤となるスケルトンを短時間で用意する、という考え方です。細かな変形や演技のニュアンスについては、後工程でNeural Layerを使って見た目を調整したり、必要に応じてMayaなどの外部ツールで微調整したりします。

CGW：リギングの複雑な工程がAIでどのように処理されるのですか？

トドロビッチ：モデルを読み込むと、AIがキャラクターの構造を解析し、自動でジョイントを割り当てます。ユーザーは、表示されたドットをドラッグしてジョイントの位置を微調整するような感覚でセットアップできます。スキニングやウェイト調整も内部で自動的に処理されますが、従来のリギングのように細部まで厳密にウェイトを追い込むというよりは、Flow Studio内のAIモーションキャプチャで自然に動かすためのスケルトンリグを素早く構築するイメージです。

CGW：アーティストは生成されたリグを手動で編集できますか？

トドロビッチ：もちろん可能です。Flow Studio内でライブアクション（実写素材）の動画出力まで全て完結させたい場合、AI RiggingとNeural Layerを組み合わせることで、そのまま完成に持っていけます。

ハリウッドのVFXスタジオのように高度な制作環境をもつ現場では、AI Riggingで生成したリグを、まずはプロキシ用の仮リグとして素早く出力し、その後Mayaに持ち込んで、スタジオ独自の仕様に合わせた複雑なコントローラや制御機能を追加していく、といった使い方も可能です。
簡易的にキャラクターを動かして確認したい場合はAI Riggingだけでスピーディに進め、本番制作向けに細部まで作り込みたい場合は外部ツールでさらに調整するなど、目的や求める品質に応じて柔軟にワークフローを選択できます。

CGW：動画を入力してアニメーションを生成できるとのことですが、これはAIによるモーションキャプチャに近い機能ですか？

トドロビッチ：はい、まさにAIモーションキャプチャと連動する機能です。ライブアクション、アニメーション、AIモーションキャプチャをエンドツーエンドで繋ぎ合わせて処理できるパイプラインを想定しています。内部には約25種類のモデルが組み込まれており、それらを連動して動かします。

顔の表情や指の細かな動きに関しては、今後追加する予定で、現在は基本的な身体の動きのトラッキングがメインとなります。現状、細かなニュアンスの補正は、Neural Layer側で映像的に処理して補完するアプローチとなります。

Neural Layer：コンポジット工程をAIで補完し、不自然さを取り除くニューラルレンダリング

CGW：続いて、Neural Layerについて教えてください。

トドロビッチ：従来の複雑なレンダリングパイプラインを必要とせず、リアルな肌やライティングを実現する機能ですが、現状はコンポジターやライティングアーティストの作業を下支えする「コンポジット工程の強力な補完ツール」と理解してもらうと良いと思います。

基盤となっているのはVideo-to-Videoのディープラーニングモデルです。例えば、水や髪の毛の物理的な挙動など、フルスクラッチでAIに生成させるとまだ品質が安定しない領域もあります。しかしNeural Layerが最も得意としているのは、3Dモデル特有の“不自然さを修正”することです。

CGW：“不自然さを修正”とは？

トドロビッチ：3Dモデルをクローズアップした際に見えてしまうメッシュの不規則性や、CG特有の冷たい質感を、AIが実写のコンテキストを理解した上で補正するのです。

単にピクセルを上書きするのではなく、元のイメージやリファレンスを理解した上で推論を行い、よりリアリスティックでシネマティックなルックへと変換します。これは従来のArnoldのような物理ベースのレンダラだけでは難しかったアプローチです。

既存のパイプラインにおいては、MayaやArnoldでベースをレンダリングし、FlameやNukeで行っていた複雑な2Dコンポジット作業やライティングの微調整を、Neural Layerが担うイメージです。

CGW：品質レベルとしてはプリビズ向けでしょうか？ 商業VFXレベルまで視野に入っていますか？

トドロビッチ：私たちの目標は「あらゆるレベルで使ってもらうこと」です。すでにプリビズから、ハイエンドなVFXショットまで幅広く使用されています。もちろん、4K解像度の劇場映画のクローズアップショットに完全対応するにはまだ改善の余地がありますが、間もなく品質が飛躍的に向上した次世代モデルもリリース予定です。

CGW：最後に、Flow Studioをどのようなユーザーに使ってほしいですか？

• 

• 

トドロビッチ：Flow Studioは現在、CGに精通するスペシャリストはもちろん、3DCG未経験のユーザーまで簡単に活用してくれています。その中でも個人的に一番嬉しいのは、やはり少人数のチームや個人のクリエイターの方々に使っていただいていることです。

「これまでは予算や技術の壁があってできなかったけれど、Flow Studioのおかげで自分のつくりたかった映像がつくれるようになった」という声を直接聞いたとき、本当にこのツールをつくって良かったなと感じるのです。インディーからハリウッドまで、全てのストーリーテラーのイマジネーションを“実現”するための力になれること。それが私たちの最大の喜びです。

CGW：クリエイターにとって非常に勇気づけられるお話でした。本日はありがとうございました。