Foundry社とHugo Guerra氏は8月26日（水）、Guerra氏の講演動画「Hybrid VFX pipelines: Nuke + machine learning + AI (Hugo Guerra keynote)」をYouTubeで公開した。Nukeの新しい3Dシステムや機械学習ツールのCopyCat、そしてBeeble AIを組み合わせた実験的なハイブリッドコンポジットワークフローについて解説している。
Redshiftのパスを活用した昼夜の変換
Guerra氏はまず、Redshiftから出力されたパスを利用して、昼間のシーンを夜に変更するプロセスを解説している。GI、Diffuse、Reflection、Refractionに分割されたパスを活用し、再レンダリングすることなく太陽光を打ち消す手法を紹介。Diffuseパスやメインのサン・ドームライトから光を減算し、Shadowパスを用いて補正をかけることで、夜のルックをつくり出している。
3Dシーンにカスタムライトを配置
続いて、CGや実写素材のライティングを後処理で変更する手法について解説。USDを介してNukeの新しい3Dシステムにアセットを読み込み、カスタムのPoint LightやLightパスを生成する。これにより、コンポジット段階で光源を柔軟に調整可能となる。
Beeble AIによるPBRパスの生成と評価
実写素材やAI生成画像に対するリライティングの実験として、Beeble AIを用いてPBRパスを生成するワークフローを紹介。Guerra氏は「映像素材から直接Normalパスを得られることは素晴らしいこと。全てを変える要素だ」と語り、2D映像から3D的なジオメトリ情報を抽出できる点を高く評価している。
CopyCatとFurnaceを用いたデフリッカー処理
Guerra氏はAIで生成された素材に特有の課題として、俳優の顔が変わってしまったり、服の色がちらついたり（フリッカー）する不安定さを指摘。その解決策として、Nukeの機械学習ツールであるCopyCatやFurnaceのプラグインを用いたデフリッカー処理を使用して素材のちらつきを抑え、実用的な品質へと安定させるアプローチを紹介している。
■Hybrid VFX pipelines: Nuke + machine learning + AI (Hugo Guerra keynote)
https://www.youtube.com/watch?v=NaCJiquNnYY
CGWORLD関連情報
●Foundry、Nuke＆Griptapeワークフロー解説動画公開 RotoPaintから3D化、Nuke 17のライトノードを用いたリライトまで
Foundryが動画「Griptapeを活用したAI画像から3DへのワークフローとNukeでの再ライティング| Foundry」を公開。同社AIオーケストレーションプラットフォーム「Griptape」とコンポジットツール「Nuke」を組み合わせた、AIを活用した画像生成から3D化、リライト（再照明）までのワークフローを解説している。動画の音声は英語だが、Foundry Japanが日本語字幕を用意している。
https://cgworld.jp/flashnews/01-202608-Nuke-Relight.html
●Foundry、バーチャルプロダクションツール「Nuke Stage」発表 Nukeと共通のUI、ノードベースシステムでリアルタイムコンポジットを実現、現在アーリーアクセス提供中
FoundryがインカメラVFX（ICVFX）・バーチャルプロダクション（VP）向け新製品「Nuke Stage」を発表。Nukeと共通のUIとノードベースシステムを採用したソリューションで、VFXアーティストはLEDウォールでフォトリアルな環境（B44 EXR）をリアルタイム再生し、ライブコンポジティングが行える。対応OSはWindows 10/11。現在はアーリーアクセスの段階で、利用にはFoundryへの登録が必要となる。
https://cgworld.jp/flashnews/01-202504-Nuke-Stage.html
