『レディ・プレイヤー・１』主演俳優が開発。CGキャラクターを自動で実写に合成するAIツール「Wonder Studio」が登場。プロダクションにどんな変化をもたらすか現場目線で考察。

Image Courtesy of Wonder Dynamics

Wonder Dynamicsが実写のシーンにCGキャラクターを自動でアニメーションさせ、照明や合成を行うAIツール「Wonder Studio」を発表した。同社は『レディ・プレイヤー・1』で知られる俳優のタイ・シェリダンと、VFXスーパーバイザー／映画監督のニコラ・トドロヴィッチの2人の共同創業者によって設立された。アドバイザリーの1人にはスティーヴン・スピルバーグ監督もいる。
今回は「Wonder Studio」の機能を説明しつつ、アドバイザリーとプロダクションにどんな変化をもたらすか考察していく。

「Wonder Studio」がもたらす変化

モーションキャプチャが必要ではなくなる

現在、人間の動きを忠実に再現したアニメーションを、CGキャラクターに適用しようという場合、専用の機材を用意しモーションキャプチャーを行う必要がある。しかし「Wonder Studio」は、実写映像をベースに自動でCGキャラクターにアニメーションをつけるため、カメラさえあればCGキャラクターに人間のようなアニメーションをつけることが可能になった。

ショット単位で作業する必要がない

「Wonder Studio」には、モデルとなる動きをするアクターとそのアクターの動きをアニメーションとして反映させたいCGキャラクターを一度選択すると、シーケンス全体で選択したアクターが追跡され、CGキャラクターにアクターの動きを自動的に反映する機能がある。つまり、ショット単位で動きをつける作業が不要になる。

フレーム単位の重いVFX作業が不要

「Wonder Studio」には、カメラで撮影された映像をもとに、俳優の演技を自動検出する機能があり、その演技を自動でアニメーション、照明、合成された好みのCGキャラクターに反映させる機能がある。

既存のパイプラインに適用できる

既存のプロダクションでよく使用されているソフトウェア（Maya、Unreal、Blender、Nukeなど）との連携を念頭に開発されており、既存ワークフローへの導入ハードルを下げる設計がなされている。

編集性の高さ

映画制作には多くのアーティストとベンダーが関わり、VFXの納品まで何度も編集作業が必要である。既存のAIソリューションはアーティストが必要とする編集性が未発達であるため、映画制作プロセスへの導入は容易ではない。しかし、「Wonder Studio」はアーティストと映画制作プロセスを考慮して構築され、VFXプロセスの各要素を3D空間で編集することが可能で、アーティストの編集性を拡張しながら映画制作の効率化が期待できる。

アドバイザリーの考察

スタジオブロス・モデリングブロス

オンラインで配信されているデモを見る限り、動画からモーションデータ生成、キャラクターを入れ替える際に欠損した背景の塗り足し、カラー・マッチング、環境ライティングの再現などが行われています。おそらくVFXアーティストによるマニュアル作業フローを、AIベースで再構築を行い、ショット解析、作業スクリプト自動生成、リペイント・リライトを自動化フローに置換するツールと考えています。映像の完成までに高度のスキルと時間を必要とする作業になるため、現状Maya、Katana、Nukeなど複数のDCCツールを組み合わせて行っていますが、工程を効率的にブレイクダウン、各作業ステップをAIに委ねる事に成功しているのは驚きです。

これが、プロユースの映像制作用途に発展するのか、誰でも制作を楽しむ事ができるアプリを目指すのか、方向次第で興味の向きが変わります。前者であれば、どの程度制作上の細かい要求に合わせてコントローラブルなものであるかという点です（プリセットの6種以外に外部のアセットをインポートすることが可能になるでしょう。AIパイプラインを司るスクリプトの生成もある程度操作する事ができるようになるでしょう）。後者であれば、配信系を中心として多くのクリエイターが低価格で質の高いVFXを発信できるようになると思います。

もしかしたら映像制作エントリーレベルからプロフェッショナルまで必須のツール、言わばAdobe Photoshopの様なツールに化けるかもしれません。弊社でもベータテスターの申し込みをしていますが、実際に試用はこれから、という段階です。

ここから本題ですが、技術そのものより「Wonder Studio」を送り出した経営陣に注目するべきかもしれません。『レディ・プレイヤー1』主演タイ・シェリダン氏が創業者・社長、出資者・アドバイザーに『アベンジャーズ/エンドゲーム』監督のジョー・ルッソ、スティーブン・スピルバーグ他、「映画界のビッグクリエイティブ」が名を連ねています。1970年代からハリウッドでは映画のビデオ録画・ソフト化、CGアクターの起用などイノベーション技術が映画業界に参入する度に権利保護団体が反対の姿勢を打ち出し物議を醸し出してきた歴史があります。このアプリの面白いところは、イノベーション技術を拒んできた「ハリウッドのクリエイティブ」自ら映像制作のイノベーションを後押しするアクションを見せている事です。AIイノベーションと映画業界。肖像権の運用ばかりに話題はいきがちですが、制作現場への本格導入は目の前なのかもしれません。

コロッサス

既存の技術、つまりこれまで人の手と頭で行われていた、クリエイティビティーの一種であるが、クリエイティブとは言えない作業をAIの助けを借りて自動化したアプリケーションですね。

「Wonder Studio」で行えることとは、ショットのコンテにしたがって撮影した背景＋ダミーキャラクター（ダミー俳優）の映像から、

・マッチムーブ（カメラの動きの計算して３D上にカメラデータを作る）コンポジット処理
・マスク抜き（実写撮影からダミー俳優のマスクを作成する）コンポジット処理
・クリーン（実写背景からダミー俳優を削除する）コンポジット処理
・モーションキャプチャー（ダミー俳優の動きをトレースしてスケルトン情報を作る）３D処理
・CGキャラクターへの置き換え（用意されたCG俳優にスケルトンを入れてアニメーションレンダリング）３D処理

これらの処理が自動化され、その後にキャラクターアニメーションデータをエクスポートして、既存のCGアプリケーション（Maya,UnrealEngin,Blender）にインポートしてさらにキャラクターアニメーションを入れ替え、リファイン、レンダリングを行って再度合成する、という流れになっているようです。上記の５つの流れだけでも自動化できれば、かなりの処理工数削減が期待できるでしょう。キャラクタースケルトンを抽出するモーションキャプチャー機能は、AIが撮影された動画全体から、ダミー俳優が映っているショットを検出し、自動的に処理を行うという点も優れていますね。エクスポート機能を使えば「Wonder Studio」に用意されたキャラクターだけでなく、オリジナルキャラクターにも差し替えられるので、自由度はかなり広がると思われます。
CG、あるいは実写と合成したVFX映像制作は、元をたどれば、誰かの頭の中に描き出されたイマジネーションを誰の目にも見せることができる2D映像に変換する過程そして技術です。これまで、そのワークフローはとてつもなく手間がかかり、人手が掛かっていました。しかし、コンピュータが発達して、AIが人間のクリエイティビティーの真の助け手となって、想像するだけでダイレクトに映像化される、そんな日が来るのかもしれません。そんな夢を先取りしたしたかのような新しいアプリケーションだと思います。全ての工程を一人で、あるいは少人数で行っている学生やフリーランスの方にとってはかなりの朗報ではないかと思われます。全ての工程を定められた時間内で行うにはかなりの技術と環境が必要でしたが、これでできる工程を自動化してしまえば、それ以外の部分にクリエイティビティを集中できますね。

khaki

・CGWORLD読者が注目すべき理由、ポイント
Wonder Studioはブラウザ上でAIなどを組み合わせて実写の人物からCGキャラクターへ変更するVFX作業工程を全自動で行うことができるとうたっています。撮影された動画からモーションキャプチャ、実写人物のリムーブ、CGキャラクターのライティングと馴染ませまで自動で行われるようなデモが公開されていてこの品質が本当に達成されているのであればすぐにでも使用できる用途があるかもしれません。このWonder Studioがどの程度の品質かは全く分かりませんが近い将来のVFXの自動化の方向性を垣間見ることができる気がするので注目しています。

・アドバイザーの感想
今発表されているデモだけではどの程度業務用途に耐えられるのかなどは一切不明ではあります。機能的に当初はカジュアルな用途に限定されているようにも見えます。MayaやBlender、UEなどへエクスポート可能とのことなので詰めの作業はDCCツールで行うことが可能なようなので用途によってはすぐに活用も可能かもしれません。こういったツールによって小規模、自主制作のVFX作品がより多く登場していきそうで楽しみです。

利用方法について

「Wonder Studio 」は現在、クローズドベータユーザーのみに提供されている。
以下URL先のフォームを送信すればオープンベータへの参加権を確保することができる。
https://docs.google.com/forms/d/e/1FAIpQLSdLY3_MQuMEqBy-MZCyXHoPe2YK5BUiSQecjCt0eLUQCux4qA/viewform