NVIDIA Research（NVIDIA Spatial Intelligence Lab）は6月29日（月）、3Dキャプチャ向けの新たなリライティングフレームワーク「TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions」を発表した。3DGS（3D Gaussian Splatting）による3D空間の再構成と、学習ベースのニューラルレンダラを融合させた技術で、フル3D空間での形状、マテリアル、ライティングの制御機能を維持しつつ、インタラクティブなフレームレートでフォトリアルなレンダリング品質を達成する。

3DGSとニューラルレンダリングの融合

従来のPBRと3DGSを用いたパイプラインは、処理が高速で3Dの整合性が保たれるものの、視覚的なリアリティに限界があった。一方で、最新の拡散モデルによる動画生成を用いたリライティングは写実的だが、計算コストが高く、長時間の描写では整合性が破綻しやすい。「TRON」はこのトレードオフを解消するため、物理演算とユーザー側の制御を担うレイトレーシングベースの3DGSシーンと、それらをリアルタイムにフォトリアルな映像へと変換するニューラルレンダラを直結。高速性、制御性、写実性の全てを両立できたという。

Diffusion Priorsを活用したマテリアル分解

TRONでは、既存の3DGRT（3D Gaussian Ray Tracing）を拡張し、個々のパーティクルにPBRマテリアルパラメータとライティングモデルを持たせている。また、入力された複数の視点画像から、AlbedoやRoughnessなど初期段階のマテリアル分解を正確に行うために、Diffusion Priors（拡散モデルが学習を通じて獲得した事前知識＝Priorsを別のタスク解決のガイドとして利用すること）を活用。ここで推定されたマテリアル情報は、3D空間を再構成する過程で3DGSシーンにベイクされ、続くライティング計算における物理的なベースとなる。

レイトレーシングの新たな役割とシングルステップ推論

TRONでは、オープンソースのシェーディング言語「Slang」を用いて研究チームが構築した、独自のレイトレーサを、ニューラルレンダラをドリブンするための条件データ（Gバッファ）生成に特化させている。Deferred PBRやMIS（Multiple Importance Sampling）によるIrradianceといった、物理的に意味を持つコンパクトな要素のみを抽出する。これらの条件データはそれ自体に十分な物理的信号を含むため、後続のニューラルレンダラはIterative Refinement（反復計算）を必要とせず、シングルステップ推論（Single-step Inference）による高速な画像生成を実現する。

ライティングやマテリアルの動的編集

TRONは、3D形状とPBRマテリアルを保持しているため、任意のHDRIを用いた環境マップ下でのリライト、光源強度の変更、AlbedoやMetalicなどの調整もインタラクティブに行える。さらに、動的なオブジェクトをシーンに追加する際も、ジオメトリに沿った正確なキャストシャドウによる、自然なシーン調和（Harmonization）を保つことができる。独自の多段階学習により、拡散モデル特有のフレーム間のフリッカーも抑えられているとのこと。

■TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions（NVIDIA Spatial Intelligence Lab）
https://research.nvidia.com/labs/sil/projects/tron/

CGWORLD関連情報

●NVIDIA、モーション生成AIフレームワーク「GPC」をSIGGRAPH 2026で発表　インタラクティブ制御のための、自然かつ物理的根拠のある動きを生成

NVIDIAとサイモンフレーザー大学からなる研究チームが、大規模なモーションデータセットを用いて生成コントローラを訓練するための新しいフレームワーク「GPC: Large-Scale Generative Pretraining for Transferable Motor Control」をSIGGRAPH 2026で発表。GPCは、600時間に及ぶ大規模なモーションデータからキャラクターの動きの「スキル」を学習し、自然言語処理などで用いられるTransformerアーキテクチャを通じて、多様かつ自然なモーションを生成する技術。また、全体の1%未満という少数の追加パラメータだけで、新たな動作タスクに効率よく適応できる。
https://cgworld.jp/flashnews/01-202607-NVIDIA-GPC.html

●アドビ、3Dモデルをプリミティブパーツに分解する技術「SuperFit」をCVPRで発表　新定義の解析的プリミティブによりテーパーや湾曲、中空構造までをわずか8パラメータで表現

ブラウン大学とAdobe Researchからなる研究チームが論文「Residual Primitive Fitting of 3D Shapes with SuperFrusta」に基づく3Dモデル変換技術「SuperFit」をCVPR 2026で口頭発表。Hugging Faceでは研究目的に限定してデータセットが提供されている。
https://cgworld.jp/flashnews/01-202606-SuperFit.html

●3D生成AI「Rodin Gen-2.5」リリース　最大1,000万ポリゴンの生成が可能に、4秒100万ポリゴンの高速生成、LLM的思考プロセス搭載、12Kテクスチャ

Deemosが3Dモデル生成AIプラットフォーム「Rodin Gen-2.5」をリリース。バージョン2.5では、1,000万ポリゴン規模のモデル生成が可能となったほか、4秒で100万ポリゴンを生成する高速処理、LLMに見られる適応的な思考プロセスが導入されている。サービスは初月2.99ドル（約500円）のライト版をはじめとするサブスクリプション形式で提供されている。
https://cgworld.jp/flashnews/01-202606-RodinGen-2.5.html