Foundry社は10月29日(木)、自身のYouTubeで日本語訳付きのチュートリアル動画「GriptapeとNukeを活用したFX素材生成ワークフロー」を公開した。複数のAIモデルやAIエージェントを連携させるプラットフォーム「Griptape」を用いて、炎や煙、砂ぼこりなどのVFX素材を生成し、カスタムGizmoとしてNukeに統合するワークフローを解説している。
AIエージェントによるプロンプト生成とエフェクトの制御
Griptapeでは、Nuke Start Flowノードを起点に、生成するエフェクトの種類と追加条件を入力する仕組みを構築。エフェクトは炎、煙、雨、砂ぼこりなどをドロップダウンから選択でき、形状や大きさ、色、動きの方向なども指定可能だ。デモでは砂ぼこりを選択し、「単一の発生源から一方向にながれる」「常に地面に接する」「カメラに対して平行に移動する」といった条件を入力している。
これらの情報はプロンプト生成用のAIエージェントに渡し、画像生成モデル向けのプロンプトに変換。エージェントには、映画制作に精通したVFXアーティストとして振る舞うルールセットを設定。さらに、背景を完全な黒にする、エフェクトをフレーム内に収める、カメラ移動やレンズの歪みを含めないといった制約を与え、コンポジットに適した素材を生成できるようにする。
Nano BananaとKling Omniを連携させた動画生成
生成したプロンプトはNano Bananaに渡され、エフェクトの静止画像が生成される。続いて、Describe Imageノードで画像の内容を解析して詳細な説明文を取得し、最初に指定した追加条件と組み合わせて、動画生成用のAIエージェントに入力する。
ここでは「エフェクト全体を常にフレーム内に収める」「スローモーションではなく実時間の動きにする」「元画像の外観を維持する」といった条件を設定。さらに、Kling Omniの制限に合わせてプロンプトを2,500文字未満にする。
動画生成では、Nano Bananaで生成した静止画像をKling Omniのファーストフレームに指定することで、外観の一貫性を高める。ただしこの手法は、今回のデモのような砂ぼこりのながれなど連続的なエフェクトに適しており、爆発のように時間とともに形状が大きく変化する場合は、静止画像が現象の途中段階を表してしまうことから、必ずしも有効ではないという。
専用の生成プロセスでアルファチャンネルを作成
エフェクト動画の生成と並行して、コンポジットに使用するアルファチャンネルも別系統のワークフローで生成。ここでは専用の画像生成ノードに固定プロンプトを入力し、エフェクトの透明度を表す画像を作成する。開発初期には、生成画像を単純にグレースケール化したような結果になる問題があったことから、背景領域と前景の暗い部分を区別し、透明・半透明の領域を適切に判定するルールを追加した。
生成したアルファ画像は、エフェクト動画をリファレンス動画として使用する動画生成ノードに渡され、時間変化を伴うアルファ動画へ変換される。最終的にRGBのエフェクト動画とアルファ動画をNuke End Flowノードから出力する構成となる。
Nuke Gizmoへの統合と実写プレートへのコンポジット
構築したGriptapeのワークフローは、Nuke用のカスタムGizmoとして公開できる。デモでは実写プレートに炎を追加するため、Nuke上でGizmoを作成し、プロパティから「Fire」を選択。追加条件として「横長の炎」を指定してノードを実行すると、Griptape側のワークフローがバックグラウンドで動作し、生成された炎の動画とアルファ素材がNukeに返される。
コンポジットでは、生成素材のアルファチャンネルをコピーし、カラーコレクションやグレインの追加によって実写との質感を調整。さらに、ショットをトラッキングし、エフェクトをCardに投影してシーン内に配置している。オリジナルの実写プレートをAIで直接変更するのではなく、生成素材を従来のコンポジット手法で統合できる。
なお、生成アルファの精度には改善の余地があるため、現段階では背景に配置する炎や煙などの素材生成に適したアプローチとして紹介している。
【新着動画】 「GriptapeとNukeを活用したFX素材生成ワークフロー」 AIエージェントやNano Banana、Kling Omniを活用し、炎や煙などのVFX素材を生成。カスタムGizmoとしてNukeに統合し、実写映像にコンポジットするまでの一連の工程をご紹介します。ぜひご覧ください! https://t.co/stYlxGdgeP
— Foundry Japan (@TheFoundryJP) October 29, 2026
■GriptapeとNukeを活用したFX素材生成ワークフロー(YouTube)
https://www.youtube.com/watch?v=5Df3CsqF69Y
CGWORLD関連情報
●Foundry、ILMによるNetflix『ダイナソーズ:恐竜の時代』のメイキング講演動画公開 Nuke&Katanaを活用
Foundryが動画「Inside Industrial Light & Magic’s VFX: How Netflix’s ‘The Dinosaurs’ was built with Katana and Nuke」を公開。ILM(Industrial Light & Magic)のシニアコンポジター・Andreas Feix氏が、Netflixのドキュメンタリーシリーズ『ダイナソーズ:恐竜の時代』におけるVFXのメイキングを講演したもので、NukeとKatanaを中心としたパイプラインや効率化の手法を解説している。
https://cgworld.jp/flashnews/01-202610-Nuke-Dinosaurs.html
●Foundry、Nukeと機械学習、AIを組み合わせたハイブリッドVFXパイプラインの解説動画を公開 新しい3DシステムやCopyCat、Beeble AIの活用法など
Foundry社とHugo Guerra氏が、Guerra氏の講演動画「Hybrid VFX pipelines: Nuke + machine learning + AI (Hugo Guerra keynote)」をYouTubeで公開。Nukeの新しい3Dシステムや機械学習ツールのCopyCat、そしてBeeble AIを組み合わせた実験的なハイブリッドコンポジットワークフローについて解説している。
https://cgworld.jp/flashnews/01-202609-Nuke-Hybrid.html
●Foundry、Nuke&Griptapeワークフロー解説動画公開 RotoPaintから3D化、Nuke 17のライトノードを用いたリライトまで
Foundryが動画「Griptapeを活用したAI画像から3DへのワークフローとNukeでの再ライティング| Foundry」を公開。同社AIオーケストレーションプラットフォーム「Griptape」とコンポジットツール「Nuke」を組み合わせた、AIを活用した画像生成から3D化、リライト(再照明)までのワークフローを解説している。動画の音声は英語だが、Foundry Japanが日本語字幕を用意している。
https://cgworld.jp/flashnews/01-202608-Nuke-Relight.html