ケンブリッジ大学とインペリアル・カレッジ・ロンドン、および独立系研究者からなる研究チームは8月4日(火)、室内スキャンデータを操作可能な3Dシーンへと変換するオープンソース(Apache-2.0ライセンス)のツールキット「LiteReality-Agent」を発表した。専用のiOS向けLiDARスキャナアプリ「LiteReality」で室内を撮影するだけで、自律型AIエージェントがデータを解析し、可動アセットを含むインタラクティブな3Dシーンを構築する。
Introducing LiteReality-Agent
— Zhening Huang (@ZheningHuang) August 7, 2026
An agentic system that turns room scans into realistic, interactable 3D scenes.
No tool currently exists that can turn an entire room scan into an interactable 3D scene, so we built one!
Scan your room with the app we built, then let… pic.twitter.com/nMAt2HWNGq
自律型エージェントによるレンダリングと品質管理のループ
「LiteReality-Agent」は、3D空間のジオメトリ、マテリアル、可動構造の全てを「Room.py」という単一のPythonプログラムとして保持。AIエージェントは生のメッシュデータを直接編集するのではなく、このコードの行を書き換えてシーンを構築する。
At the core of LiteReality-Agent, we define the entire room in a single https://t.co/1PAjXKr9H7 file and provide a set of tools specifically designed for this task.
— Zhening Huang (@ZheningHuang) August 7, 2026
The agent uses these tools to measure the scene, receive visual feedback, gather evidence, and leverage its coding… pic.twitter.com/EZrGyaVcIG
自律型AIエージェントは、スキャンデータから空の部屋を再構築した後、反復的な編集作業を開始する。コードの編集、結果のレンダリング、現実のキャプチャとの比較、評価という4工程のサイクルを自動で回すことで、スキャン画像と生成結果の差異を徐々に埋めていく。品質管理を通過するまでコードの自己修正が続くことから、最終出力シーンはフォトリアルな品質に達するという。
プロンプトによる自由なレイアウト変更と物理的整合性
LiteReality-Agent pipeline is built on top of LiteReality(https://t.co/9B4KeEjTsj) and and articraft (https://t.co/9TIrIEAPPT) for object reconstruction the agent pill takes it to another level, capturing crazy amounts of detail that are hard to imagine with a deterministic… pic.twitter.com/c26i47DuPw
— Zhening Huang (@ZheningHuang) August 7, 2026
LiteReality-Agentでは、シーン全体がコードとして記述されている。そのため、ユーザーがテキストプロンプトで「壁をむき出しのレンガにする」「ウォールナットのパネルを張る」といった指示を出すだけで、即座にテクスチャリングが再実行される。また、部屋の家具の再配置や装飾の追加においても、既存のジオメトリを壊すことなく、オブジェクトの接地状態やコリジョン回避を維持したままレイアウトを更新。ドアの開閉範囲を避けて照明器具を配置するなど、物理的な破綻のない、高度な空間認識能力を備える。
完成したシーンは単なるスキャンモデルではなく、完全にオーサリングされたデータとなる。そのため、カメラビューに合わせてピクセル単位で正確なセグメンテーション、深度、法線、アルベドといった各種レンダリングパスを出力できる。
https://t.co/HZxQS2UqUA
— Zhening Huang (@ZheningHuang) August 7, 2026
Check our more reconstruction results at our viewer here! pic.twitter.com/T25bl3f6GM
■LiteReality-Agent(プロジェクトページ)
https://litereality.github.io/Litereality-agent-site/
■LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction(ブログ)
https://litereality.github.io/Litereality-agent-site/litereality-agent-post/
■LiteReality-Agent(GitHub)
https://github.com/LiteReality/LiteReality-Agent/
■LiteReality(App Store)
https://apps.apple.com/jp/app/litereality/id6774158260
CGWORLD関連情報
●Disney Research、モーション生成と編集を統合するAI手法を発表 大規模生成モデルを活用し、既存のモーションを維持しながら新しいコンテンツを対話的に生成・編集
Disney Research Studiosとスイス連邦工科大学チューリッヒ校の研究チームが、モーション生成と編集を統合する新たな手法「Interactive Generative Motion Editing via Scheduled Inpainting」を発表。大規模生成モデルを活用し、既存のモーションを維持しながら新しいコンテンツを対話的に生成・編集できる手法となる。Disney Research公式YouTubeでは、本技術を用いてモーションキャプチャデータを直接編集し、環境の変化に適応させるデモ動画が公開されている。
https://cgworld.jp/flashnews/01-202608-Disney-Motion.html
●NVIDIA、リライト可能な3DGSパイプライン技術「TRON」発表 インタラクティブなフレームレートで形状、マテリアル、ライティング制御を可能に
NVIDIA Research(NVIDIA Spatial Intelligence Lab)が、3Dキャプチャ向けの新たなリライティングフレームワーク「TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions」を発表。3DGS(3D Gaussian Splatting)による3D空間の再構成と、学習ベースのニューラルレンダラを融合させた技術で、フル3D空間での形状、マテリアル、ライティングの制御機能を維持しつつ、インタラクティブなフレームレートでフォトリアルなレンダリング品質を達成する。
https://cgworld.jp/flashnews/01-202607-NVIDIA-TRON.html
●NVIDIA、モーション生成AIフレームワーク「GPC」をSIGGRAPH 2026で発表 インタラクティブ制御のための、自然かつ物理的根拠のある動きを生成
NVIDIAとサイモンフレーザー大学からなる研究チームが、大規模なモーションデータセットを用いて生成コントローラを訓練するための新しいフレームワーク「GPC: Large-Scale Generative Pretraining for Transferable Motor Control」をSIGGRAPH 2026で発表。GPCは、600時間に及ぶ大規模なモーションデータからキャラクターの動きの「スキル」を学習し、自然言語処理などで用いられるTransformerアーキテクチャを通じて、多様かつ自然なモーションを生成する技術。また、全体の1%未満という少数の追加パラメータだけで、新たな動作タスクに効率よく適応できる。
https://cgworld.jp/flashnews/01-202607-NVIDIA-GPC.html