世界最大級のCG国際コンベンションSIGGRAPH 2025が、8月10日（日）〜8月14日（木）の5日間にわたり開催された。SIGGRAPHでは毎年プロダクション・セッション（Production Sessions）が開催され、ハリウッド映画を中心にプロダクションの制作事例が披露される。

その中から、ロバート・ゼメキス監督の映画『HERE 時を越えて』における、AIを駆使したディエイジングの事例を紹介したセッション「Time-Traveling VFX: AI-Driven De-Aging in Here」の内容を、要約してお届けする。

関連記事

・3Dシーンへの3Dペインティング、動画内へのオブジェクト挿入、弾性素材のVR編集などが登場。XRとAIに関連した注目論文をピックアップ〜SIGGRAPH 2025（1）
・世界の最前線をスクリーンで体感！ Electronic Theaterで上映された全17作品を紹介〜SIGGRAPH 2025（2）

注釈

本稿の翻訳は筆者の意訳によるものだが、リアリティを出すため、英語圏でのプロダクション用語や、クルー同士の呼び名などは、可能な範囲でそのままお届けしている。

また記事中では、2025年9月現在Metaphysic AI公式サイトに掲載されている動画リンクから、プレゼンテーションで使用された映像に近い箇所を紹介している。時間が経過するとリンク切れを起こす可能性もあるため、あらかじめご了承いただければと思う。

講演者

ケビン・バイリー／Kevin Baillie
VFX Supervisor／2nd Unit Director
Here Production

ヨー・プラサ／Jo Plaete
Chief Innovation Officer & VFX Supervisor
Metaphysic

映画『HERE 時を越えて』でのAI活用事例を紹介

ケビン・バイリー氏（以下、ケビン）：ケビン・バイリーです。映画『HERE 時を越えて』（以下、HERE）では、オーバーオールVFXスーパーバイザーを担当しました。

今日は、みなさんとIn-Person（会場などで実際に対面すること）でお会いでき、大変光栄です。今の時代はビデオ・カンファレンス・コールなどが主流になり、直接お会いする場が貴重となっております。皆さんがこうしてSIGGRAPHに来場されたのも、とても幸運なことと言えるのではないでしょうか。

さて、まず自己紹介です。私はシアトルで生まれ、『スターウォーズ』や『バック・トゥ・ザ・フューチャー』などを観て育ちました。映画『E.T.』は私が映画館で初めて観た映画でした。『ジュラシック・パーク』を観たときに気づいたのですが、「それぞれの時代の、最先端テクノロジーがなければ実現できなかった映像」という点が、好きな作品に共通していました。『ジュラシック・パーク』はハリウッド映画史上VFXのターニングポイントでしたし、映画『トイ・ストーリー』はアニメーションのターニングポイントとなりました。

『ジュラシック・パーク』を観た頃、私は高校でコンピュータを使った製図の授業を受けていました。自分もあんな恐竜をつくってみたいと思い、高校の先生に「AutoCADを使って、恐竜をつくる方法を教えてください」と頼むと「アホか君は。AutoCADでそんなことはできない。……しかしだね、この間オートデスクからMS-DOS版の3D Studioがリリースされて送られてきた。はい、これマニュアル」と（場内から拍手が沸き起こる）。そこで、それを使って高校の授業の課題をこなす傍ら、ロゴ・アニメーションなどをつくっていました。

そうこうするうちに、地元シアトルの会社とコネクションができ、そこからマイクロソフトと繋がり、そしてサンフランシスコで非営利の教育プログラムを実施していた、ジョージ・ルーカスを紹介されました。高校のジュニアからシニアの間の夏休みにスカイウォーカーランチの見学に招待され、ジョージと会うことができました。

そこで、高校最終学年になると、『スター・ウォーズ エピソード1/ ファントム・メナス』でのポッドレースのアニマティックのデモをつくり、手紙とVHSテープを毎月送り続けていました。高校を卒業する2週間前、ジョージのプロデューサーから電話があって「手紙とVHSを送りつけてくるのは止めなさい（笑）、仕事をあげる。高校を卒業したら出社しなさい」と。

卒業した2日後にはマリン・カウンティにやってきました。そこでポッドレースのプリビズを担当することになりました。当時プリビズは未だ一般的でなく、チームも少人数でした。

18歳で現場に飛び込み、目にしたのは、フィルムメーカーたちが新しいテクノロジーや技術をストーリーテリングに素早く応用している姿勢でした。それが自分の礎となり、その後、様々なVFXスタジオで経験を積み、テクノロジーをストーリーに結びつける役割を担ってきました。

さて、私の横にいるのはヨー・プラサ氏で、MetaphysicのVFXスーパーバイザーです。Metaphysicは、この映画『HERE』で全53分に及ぶAI主導によるディエイジング作業を担当したVFXスタジオです。

ヨー・プラサ氏（以下、ヨー）：MetaphysicのVFXスーパーバイザー、ヨー・プラサです。

ベルギーで過ごした子供時代に『ジュラシック・パーク』を観て衝撃を受け、後に『ロード・オブ・ザ・リング』で溶岩を開発した人のプレゼンテーションを見て感銘を受け、「こんな仕事があるのか、自分もやってみたい」と思うようになりました。しかし、ベルギーには学べる場がありませんでした。

そこで、まずはベルギーでコンピュータ・サイエンスを専攻し、それからイギリスへ行きボーンマス大学の大学院で3Dコンピュータ・アニメーションを専攻しました。周りは皆アーティストで、自分1人だけテクニカルなバックグラウンドをもっていたので、ツール開発や技術支援を行う立ち位置となり、そういうキャリアを歩んできました。

現在、Gen AI（生成AI）が台頭し、かつて私がテクノロジーとアーティストの間に立って技術支援を行なってきたのと同じように、よりGen AIが必要となってきました。今日は、Gen AI分野における「黎明期」のプロダクション事例を、皆さまにご紹介できるのではないかと考えています。

さて、われわれのスタジオMetaphysicについて簡単に紹介します。2022年の前半に設立され、これまでにエミネム「Houdini」MV、『エイリアン:ロムルス』、『マッドマックス:フュリオサ』などの作品に参加してきましたが、今回の『HERE』はツール開発などの観点でも大きな意味をもつ作品でした。また、今年2月にDNEGグループに買収され、傘下のスタジオとなりました。

AI主導によるディエイジング

ケビン：まだ映画をご覧になっていない方にわかりやすくご説明しますと、この作品は、全編に渡って同じカメラからの視点で描かれた作品です。カメラは動かず、時間軸だけが動きます。

この家に住んだ家族の歴史が描かれています。ということは、時間軸に沿って年齢のレンジが広い範囲で変わっていくという表現が必要となりました。

主要な俳優はトム・ハンクス、ロビン・ライト、ポール・ベタニー、ケリー・ライリーでしたが、ボブ（ロバート・ゼメキス監督の愛称。以下、ボブ）は、全編に渡って彼ら自身が役を演じることを求めてきました。

ケビン：“カメラが動かない”という独特の演出技法の作品は「リスキーなアイデア」とされ、大きな予算を獲得するのが難しいものです。映画『アイリッシュマン』（2019）で採用したようなCGヘビーなVFXテクニックで制作することは、予算的に困難であるという点でした。

そこでわれわれは、この物語をいかに映像化していくのかを考えなければなりませんでした。しかも、観客は名優トム・ハンクスのことを大変よく知っています。つまり、映像化のハードルは、非常に高い作品ということになります。

われわれはこれまでに何度となくボブと仕事をしたことがありますが、ボブにまつわるジョークの1つに、「ボブが休暇に行くと、彼の休暇4日目に脚本が届く」というのがあります。ボブは映画制作を熟知しているので、フィジーへ旅立って4日もあれば脚本を書くには充分、というジョークです。

打ち合わせでボブに会いにいくと、「この映画では、カメラは動かない」と。最初はいつものジョークだと思っていたんですが、どうやら本当だということがわかりました。

そこで、どうやって実現するかリサーチを開始しました。かつてMetaphysicクルーの1人が手がけた『DeepTomCruise』や『アメリカズ・ゴット・タレント』など、AIによるディープフェイクに関連するテクノロジーを調査しましたが、大スクリーンでの鑑賞に耐えられるクオリティにはいまだ到達していませんでした。

そこで、5つのVFXベンダーとテストを開始し、途中で2社が消え、残った3社の中にMetaphysicがいました。トム・ハンクスにサウザンドオークスにあるパナビジョンまで来ていただき、複数のセリフに沿ってテスト撮影を行いました。

ケビン：そこから12週間を費やし、ディエイジングのテストを行いました。今、お見せしている（上の動画）のは初期のテストで、顔面だけバウンディングボックスでクロップしたラフなスラップコンプ（＝仮コンプ）です。合成箇所が四角なので、現場では通称Ice Cubeと呼ばれていました。この段階では、依然としてギャップやダイナミックレンジの課題は残されていましたが、「なんとか行けそうだ」という結論に達しました。

その後、Metaphysicのコンポジット・チームが様々な調整を加えることにより、ボブ自身、そして映画会社であるミラマックスも、次第に満足できるレベルに近づいていました。

このテスト作業の責任は重大で、もしテスト映像の完成度が不十分であれば、この映画の企画そのものにGOサインが出ません。

また、この頃に浮上したのが映画『アイリッシュマン』（2019）で生じた問題をクリアしたい、ということでした。これが何かというと、「顔面は若返っているが、体の動きは実在俳優の年齢相応になってしまい、見る人が見れば違和感を感じる」という点でした。

そこで私はヨーに相談し、「君はこれまで様々な技術面の問題を克服してきた。だから聞くけど、撮影セットで、ラフなディエイジング結果をリアルタイムでプレビューさせることができるかい？」と尋ねました。

撮影セットでのリアルタイム・プレビュー

ヨー：そこで、2週間後、ケビンと2人でZoomミーティングを行いました。そのとき、私はリアルタイムでのプレビューが技術的には可能であることをプレゼンするべく、「若きトム・ハンクス」になってZoom会議に参加しました。

ケビン：Zoomミーティングに入ると、画面にはヨーではなく、トム・ハンクスがいました。

ケビン：「ちょっと待て。どうやってトム・ハンクスをZoomミーティングに呼んだんだ？　あれ、しかも若い頃のトム・ハンクスだ。……いや待てよ。この顔はトム・ハンクスではなく、ヨー、君自身だ！（笑）」。

当初、前述の映画『アイリッシュマン』（2019）で生じた問題を回避するため、撮影のアイデアとしてダブル（若い頃のトム・ハンクスの背格好や雰囲気が似た俳優を代役で撮影すること）を使うことを検討していました。なぜなら、ダブルを使用すれば、首や腕などを若い見た目に修正する作業が省けます。そこで、ダブルを演じる俳優に、トム・ハンクス自身が「トム・ハンクスに見える演技」を指導し、テスト撮影を行いました。

しかし、この顔差し替えのテストをして、はっきりわかったことがありました。静止画でテストをすると、それは、完璧にディエイジされたトム・ハンクスでした。しかしながら、ひとたびPLAYボタンを押すと、顔と声はトム・ハンクスなのですが、「われわれが見慣れたトム・ハンクス」ではなくなってしまうのです。

この段階でわれわれは、単に顔面を差し替えただけでは、上手くいかないということを学びました。これは大変明確で、テスト映像を見たボブも同意見でした。

ヨー：興味深いことに、トム・ハンクスの膨大な写真をベースに、笑顔や表情をAIに学ばせると、トム・ハンクスの笑顔は再現できました。しかし、これをダブルに合成する際、成否の鍵は、体の動きにあることがわかりました。

現時点でのAIは、「動きを学ぶことができない」のです。結果、「体の動きをトム・ハンクスに見せる」には、コンポジットの段階で手作業による調整をかなり加える必要だということなどがわかってきました。

そこで、前述の『アイリッシュマン』問題は残ってしまいますが、ダブルではなく、全てトム・ハンクス本人が演じることに方向転換しました。

こうしてZoomミーティングを終えましたが、このオンセットでのリアルタイムなプレビューを、実際にプロダクション現場で使える状態までもっていくには、2ヵ月間を要しました。

撮影スタジオへの搬入や撤収を素早くできるよう、コンテナを2つ用意し、その中にリアルタイム用の調整室を構築し、そのコンテナごとロンドンのパインウッドスタジオに搬入しました。

このコンテナ調整室の中にはA100 GPUサーバーのラックを2～3台設置しました。コンテナ内には2～3名のオペレーターが常駐しました。今お見せしているテスト映像（下の動画）は、カメラで撮影した私の顔面の表情を、リアルタイムにトム・ハンクスの顔に置き換えるリアルタイムのデモです。iPhoneのライトを顔面に近づけると、照明の変化にもインタラクティブに対応しているのがわかると思います。

ヨー：こちらの映像は、トム・ハンクス、ロビン・ライトの2人の演技を、リアルタイムにディエイジングさせたテストです。BeforeとAfterのモニタがあり、Afterはディエイジング処理を経て、6フレーム遅れで再生されます（後述）。

興味深かったのは、この撮影現場でのリアルタイムのプレビュー結果が、ボブだけでなく、撮影監督やメイクアップ・チームへのフィードバックに繋がった点です。

例えば撮影時に、通常用いる「若く見える」メイクを施して、リアルタイム・プレビューでディエンジング結果を見れるので、プレビュー結果を見てメイクをもうひと工夫するというフィードバックが生まれました。トム・ハンクスも、ディエイジされた25歳の自分の演技を見て、「ここは、もう少し演技を変えてみよう」と何度もテイクを重ねて挑戦していました。

ケビン：ロビン・ライトのリアクションも、印象的でした。

初期の頃、15秒間のテスト撮影をして、2人でディエイジング結果を確認していたときの話です。彼女がずっと沈黙しているので、心配になって顔を見たら、涙を流していました。

「どうしました？　大丈夫ですか？」と声をかけたのです。すると、「過去3ヵ月間、『プリンセス・ブライド・ストーリー』（1987）の頃の純真だった気持ちを、どう演じようか、ストレスを抱えていました。でも、このプレビューを見たら「どうお芝居すればより効果的に見えるかが明確になり、それにちょっと感動してしまいました」、と。彼女にとっては、最適な演技アシスタントだったそうです。

ヨー：ポール・ベタニーは、ディエイジされた若き自分の顔を見て、「これが、僕だ！　僕の心の中は若い頃のままで、この映像が、まさに本来の自分の姿なんだ」と言っていました（笑）。

さて、以下が撮影現場で行われたリアルタイム・プレビューのオーバービューです。

1. RED V-Raptorで撮影
2. 60mのSDIケーブルで、コンテナ内のGPUマシンへ伝送
3. 各フレームの解析
4. 各俳優の識別
5. 各俳優の顔面にラフなディエイジング処理
6. 各俳優の顔面に仮合成
7. セットへ伝送
8. ボブのモニタに表示
9. 録画し、確認用の再生への対応

※上記の色分けしている箇所の処理で各2フレーム分の遅れが生じ、プレビューでは6フレーム遅れて再生されたということ
※ディエイジング処理の際、俳優の顔面部分だけをバウンディングボックスでクロップ、スタビライズし、顔面を定位置に固定した上で処理を行い、処理後に元のオフセット値に戻すことで高速化しているようであった

オフライン4Kでのディエイジング処理

ヨー：さて、これまで撮影セットでのリアルタイム・プレビューについてご紹介しましたが、ここからはオフライン4Kでのディエイジング処理についてお話します。

過去数本の映画での経験から、ディエイジングの処理は2Kで行い、そこからAIアップスケールで4Kにコンバートするというワークフローが生まれました。実のところ映画の大スクリーンで確認しても、特に画質の問題も認められず、効率が良いことからこのワークフローを採用しました。

ボブのチェックでは、今再生しているクリップ（上の動画）のような映像をボブに見せて、確認してもらいました。

完成映像の両サイドに小さな画像を並べ、

・オリジナル・プレート
・ディエイジ処理後
・『フォレスト・ガンプ』（1994）などの本編から選んできたAIトレーニング用、トム・ハンクスの静止画
・『プリンセス・ブライド・ストーリー』（1987）などの本編から選んできたAIトレーニング用、ロビン・ライトの静止画

これらを配置した映像でチェックしました。AIトレーニング用の画像は全て静止画で、オリジナル・プレートに近いカメラアングルの画像をトレーニングデータセットの中から選定して使用しています。顔の位置は合わせていますが、ご覧のように照明や光の向きはバラバラです。これは興味深い点だと思います。

また、「AIトレーニング画像が、どのように処理結果に影響するか」という点についてお話ししたいと思います。トレーニング画像に、実際の演技に似た表情の画像が含まれていない場合、「ディエイジは上手くできても、表情が同じにならない」ということもわかりました。

伝統的な「3Dデジタルヒューマン」の弱点

ヨー：これまで、伝統的な3DデジタルヒューマンのVFXパイプラインは、モデル／ブレンドシェイプ／リグ／テクスチャなどの組み合わせで行なってきました。

フェイシャル・キャプチャは、3Dトポロジーのメッシュをモーションキャプチャなどを活用し変形させてきました。また、再構成されたパフォーマンスデータを、ターゲット・アセットにリターゲットすることで行なってきました。

ここから、アニメーターが手作業によって、動きを調整し、この上にシミュレーションを走らせ、皮膚や衣類の変形に対応しました。これが完了すると、フォトリアリスティックにレンダリングを行い、コンポジットで調整を行い、ファイナル画像が完成しました。

3DデジタルヒューマンのVFXパイプラインに共通した弱点とは……

完成したリアリティ＝ 100％ −（各ステップで失われる完成度の合計）
・技術的な限界や人的ミスにより、各ステップで完成度が失われる
・成功の鍵は、完全なリアリティを残し、プロセス全体を通して損失を最小限に抑えること

また、人間の脳は、デジタルヒューマンの顔のリアリティが5％でも欠けていると、「何かおかしい。リアルではない」と認識してしまいます。

「3Dデジタルヒューマン」から、AI主導による「ニューラルネットワーク・インファレンス」へ

ヨー：ニューラルネットワークとは、人間の脳の神経回路を模倣した機械学習モデルです。AIにおけるインファレンス（Inference）とは、トレーニング済みのAIモデルが、学習した知識（パターン）を使って、新しいデータに対して予測、分類、生成などを行うプロセスを指します。

成功の鍵は、ニューラルネットワークを「正しくトレーニングさせること」にあります。これは決して容易ではなく、この「ブラックボックスのエリアを上手く教育していくには、アーティストが関与して、クリエイティブなツールとして、何がフォトリアリスティックなのか、をニューラル ネットワークに正しくトレーニングしていく必要があるのです。

ケビン：3Dデジタルヒューマンのパイプラインですと、フィルム・クオリティでフォトリアリスティックな顔面に、サブサーフェスなどを入れてレンダリングすると、1フレームにつき30～40時間かかるなんてこともあります。

今回のインファレンスを使用して、ハイレゾでどのくらいの処理時間がかかりましたか？

ヨー：……1秒くらいでしたね。

ケビン：40時間の計算が1秒で終わるということは、大幅な予算の節約に繋がるだけでなく、その分をイテレーション（調整を重ねる回数）に割ける利点もあるでしょうね。

異なるアイデアを統合したアップエイジングの成功事例

ケビン：ここで1点、興味深い観点のお話を紹介しましょう。今回、こうしてAIツールを扱って思うことは、まだツールや経験値が不十分で、手探りで開発を進め、試行錯誤を繰り返しながらクオリティを高めている現状は、まるで90年代のVFX時代に戻ったような感覚があります。

アップエイジング（加齢）は、その良い例の1つでした。映画の終盤で、唯一カメラが動くショットがあり、ここでロビン・ライトを80歳にアップエイジングさせる必要がありました。

ケビン：ここでは、撮影の際に特殊メイクによる加齢が行われましたが、特殊メイクは皮膚の上に乗せていくので、どうしても“外側に”膨らんでしまいます。ボブはこの点と、皮膚の透明感などに不満を示し、また単なる加齢ではなく、「もっとエレガンスに加齢した雰囲気」を求めてきました。

最初2Dコンポジットによる調整も試しましたが、あまり効果的に見えませんでした。そこでMetaphysic AIのチームに協力を求め、ロンドンのオフィスで80歳くらいの女優をトレーニング画像として撮影し、処理をしてみました。しかし、今度は加齢具合を思うようにコントロールするのが難しい。

するとMetaphysic AIのチーム内部からアイデアが出て、別のAIモデルを使い、プロンプトから指示を出すことで、特殊メイクによるオリジナルプレートよりも顔立ちが細く、スッキリした、よりエレガンスな加齢が実現できました。このように、まったく異なるアプローチを試すことで、上手くいった事例もあったのです。

ニューラル・アニメーション、ブラックボックスとの闘い

ヨー：ニューラル・アニメーション（Neural Animation）は、今回の作業の中でキーになる要素の1つでした。これは、ニューラルネットワークが吐き出したインファレンス結果を、アニメーションで修正するという作業のことです。

ヨー：大前提として、われわれは俳優のパフォーマンス（演技）を変えるという作業は一切行いませんでした。

しかし、時としてネットワークが出力してきた動画が思い通りでなく、しかもAIツールですから「ブラックボックス」で、細かい調整は困難です。例えば目線がオリジナルプレートと異なっている、笑顔が上手くキャプチャできていない、などの問題が起こりました。

特にボブの場合、俳優の目線に対して、非常に細かい演出をしてきます。これらを解決すべく、初期の頃は、オリジナルプレートの演技の表情から顔面のベクターを算出し、そのベクター値をベースに目線や表情を演技に沿って調整する「ニューラル・リグ」と呼ばれるツールを開発したりもしました。こうして調整した結果を新しいレイヤーにして重ねるという方法です。

しかし笑顔や表情の調整には、この方法では限界があることがわかってきました。そこで試したのは、ニューラル・ネットワークの結果に対し、トポロジー・ベースのジオメトリでキーフレームでA→Bのブレンドシェイプによってコントロールする従来の方法です。これだと細かい調整が可能です。

しかし、こういう作業ができるアーティストは社内に1人しかおりませんでした。そこで、このためにアニメーターたちを雇い、私たちは彼らを「ニューラル・アニメーター」と呼んでいました。

彼らにとって驚きだったのは、このアニメーションの作業にMayaではなくNukeを使ったことです。ただし、メニューをMaya使いが慣れたスタイルにすることで、彼らに使いやすくしました。最初のうちは戸惑いもありましたが、彼らは一度使い慣れてしまえば、何の問題もなく使いこなせるようになりました。

Nuke上で変更したアニメーション結果は、そのまま最終画像に吐き出す仕様になっていたので、アニメーターたちは「自分の作業結果が、そのまま映画の画面になる」ということに喜んでいました。

AIを活用した背景映像の品質向上

ケビン：プロダクションが後半に差しかかり、デジタル・エンバイロンメント（背景）がなかなか私の求めるクオリティに近づかないことが何度かありました。この頃、私はMagnific AIの「アップスケーリング機能」を見つけました。低解像度の画像を高解像度に変換してくれるツールです。単なるアップスケールだけでなく、細かいディテールなども追加してくれるのです。

別のVFXベンダーとのZoomミーティングの際に、画像をキャプチャし800ピクセルほどの解像度に落としてからMagnific AIに投げ、5分後に計算が終わったので、Zoomミーティングに戻って、その画像を投稿し、「私が求めているのは、こういう感じだ」と見せたのです。

ケビン：ここにいくつか、そのサンプルがあります。上がBefore、下がAfterになります。ご覧のように、雪が積もっている枝がよりシャープになり、しかも積もっている雪に元画像には入っていない微細なディテールが追加されているのがおわかりいただけると思います（上の動画）。

このツールは手早く結果を見ることができます。自分が求めるクオリティを言葉で伝えるより、こうしたツールによって一目瞭然に伝えられることは、従来のVFXではできなかったことです。エンバイロンメントを担当したCrafty ApesとLuma Picturesとの作業では、このMagnific AIがワークフローの中に組み込まれ、たくさんのショットを完成させました。

ここから言えることは、クリエイティブな判断に多大な時間を費やしているとき、こういうツールを組み合わせることが時間の節約に繋がります。また、この作品は「カメラが動かない」ということも大きな助けになりました。

ただ実際のところ、この作業には膨大な手間も要しました。例えばこの当時、Magnific AIが出力できるのは8bitのJPEG画像でした。Magnific AIにもち込む前に、Nuke上で雪のハイライト部分を上手く丸めて8bitに落とし込み、Magnific AIでアップスケーリングを行い、その結果をNukeにインポートし、雪のハイライト部分の情報を元に戻し、8bitのsRGBで作業が行える状態までもっていき……などの下準備が必要となりました。

こうしたプロセスを経て、映画『HERE』のVFXが実現しました。今日ご紹介したAIツールの応用は、良い制作事例になったと考えています。