Foundry社は7月29日(水)、The Foundry Japan YouTubeチャンネルで動画「Griptapeを活用したAI画像から3DへのワークフローとNukeでの再ライティング| Foundry」を公開した。同社AIオーケストレーションプラットフォーム「Griptape」とコンポジットツール「Nuke」を組み合わせた、AIを活用した画像生成から3D化、リライト(再照明)までのワークフローを解説している。動画の音声は英語だが、Foundry Japanが日本語字幕を用意している。

NukeのロトペイントによるAI画像生成のコントロール

動画の序盤では、NukeのRotoPaintノードを活用して、背景に追加する岩の形状と配置をラフに作成する工程を紹介。単なるカード(板ポリゴン)を配置して背景を埋めるのではなく、立体的な岩のジオメトリをAIで生成するアプローチを採用している。これにより、後の工程においてNuke上での正確なテクスチャの投影やリライトを可能にするための下準備を行なっている。

Nano BananaとImage Bashノードによる2Dコンセプトの生成と切り抜き

続いて、GriptapeでのAgent Schemaを用いたプロンプトの組み立てを解説。Nukeから出力したマスク情報を用いてNano Bananaモデルが背景に馴染む複数の2Dコンセプト画像を生成する。使用する画像を選択した後、Griptape内のImage Bashノードを使用して岩を切り抜く工程へと進む。背景と衝突しないようにアルファマスクを作成し、透過画像を次の3D化プロセスへと引き渡す。

Tripo Image to 3Dによる3Dジオメトリ生成とBlenderでのフォーマット変換

次に、Tripo Image to 3Dノードを用いて、透過画像からPBRテクスチャ付きのハイポリゴン3Dモデル(.glb形式)を生成するプロセスを紹介。ここでは約190万ポリゴンという非常に高解像度なモデルが生成されるが、.glb形式は現状のNukeでは直接サポートされていない。そのため、一度Blenderにインポートし、Alembic形式へ変換して書き出している。

Nuke 17で新搭載されたNuke Lightsノードを用いたリライト

アセットが完成したらNukeでの作業に移る。Alembic形式に書き出したジオメトリを、GeoImportノードを介してNukeの2.5Dシーンへ読み込み、GeoProjectノードでテクスチャを投影し、GeoTransformノードでアセットを正確に配置。そして、Nuke 17で導入された、新しいライティングハンドルを備えたNuke Lightsノード(DirectLightノード)を活用し、トップ、サイド、フロントによる3点照明を構築する。Scanline Renderノードを介して3Dジオメトリを自然にリライト(再照明)し、既存の背景と自然に馴染ませる。

■Griptapeを活用したAI画像から3DへのワークフローとNukeでの再ライティング| Foundry(YouTube)

https://www.youtube.com/watch?v=Fc2MfpXL3M0

CGWORLD関連情報

●Foundry、バーチャルプロダクションツール「Nuke Stage」発表 Nukeと共通のUI、ノードベースシステムでリアルタイムコンポジットを実現、現在アーリーアクセス提供中

FoundryがインカメラVFX(ICVFX)・バーチャルプロダクション(VP)向け新製品「Nuke Stage」を発表。Nukeと共通のUIとノードベースシステムを採用したソリューションで、VFXアーティストはLEDウォールでフォトリアルな環境(B44 EXR)をリアルタイム再生し、ライブコンポジティングが行える。対応OSはWindows 10/11。現在はアーリーアクセスの段階で、利用にはFoundryへの登録が必要となる。
https://cgworld.jp/flashnews/01-202504-Nuke-Stage.html