米AIスタートアップのWorld Labsは11月12日（水）にテキストや画像、動画、3Dレイアウトなど多様な入力から“永続的な3D世界”を生成できるマルチモーダル世界モデル「Marble」を一般公開した。創業者には、スタンフォード大学のAI研究を牽引してきたコンピューターサイエンス分野の第一人者、Fei-Fei Li 氏が名を連ねる。
生成した3Dワールドは、そのまま利用できるだけでなく、自然言語による編集や他ワールドとの結合、周囲への拡張など柔軟な操作が可能。最終的な生成物は画像・動画・Gaussian Splat・メッシュとしてエクスポートでき、ゲームエンジンや3D制作ツールとの連携も視野に入れたワークフローを実現する。
また、World Labsは同時に、クリエイター向けのコミュニティ「Marble Labs」を立ち上げた。ワークフロー共有やケーススタディの公開を通じ、ゲーム開発、VFX制作、デザイン、ロボティクスなど多様な分野での利用を促す。
Marbleの概要
Marbleは、文章・画像・映像・簡易3Dレイアウトなど、あらゆる手がかりから整合性のある3D空間を生成する次世代の世界モデルだ。生成した3Dワールドは、そのまま利用できるだけでなく、自然言語による編集や他ワールドとの結合、周囲への拡張など柔軟な操作が可能。最終的な生成物は画像・動画・Gaussian Splat・メッシュとしてエクスポートでき、既存の制作パイプラインへの統合を意識したワークフローを実現する。
Marbleの特長
多様な入力に対応─文章・画像・動画・3Dレイアウト
Marbleは、異なる形式の入力から一貫した3D世界を構築する。
・テキスト
文章から空間構造・雰囲気・光源などを推定して3D空間を生成
・単一画像
1枚の画像を手がかりに、写っていない部分まで補完して空間を3D化
・複数画像／動画
複数視点の写真や短い動画から、途切れのない単一の3D環境を再構築
・3Dレイアウト
ユーザーが配置したボックスや平面を“構造”として扱い、テキストで見た目だけを変える「構造とスタイルの分離」を実現。 同じレイアウトをもとに複数のバリエーションの世界を生成できる。
編集・拡張・合成－AIネイティブの制作ワークフロー
生成後の操作性も特徴だ。
・局所編集
特定オブジェクトの削除・調整といった部分的な修正をAIが補完する
・全体編集
空間全体のスタイル変更、テーマ統一、質感の変更などを自然言語で指定可能
・拡張
ワールドを外側へ拡大し、不足部分を整合性を保って自動生成
・合成
複数の3D世界をつなぎ合わせ、より大規模な環境を構築できる。列車の内部や長い回廊など、単一生成では難しいシーン構築を可能にする
Chisel－“構造とスタイルの分離”を可能にする編集モード
新たに実験的編集機能「Chisel」モードも提供されている。これは、ボックスなどの簡易形状で空間の骨格を作り、テキストで質感や雰囲気を与える制作手法だ。
・レイアウトはユーザーが設計
・見た目はAIが生成
・同じ骨格から複数スタイルの3D世界を派生
従来の3D制作で分かれていた工程を統合し、試行錯誤の効率を高める仕組みとなっている。
エクスポート－Gaussian Splat・メッシュ・動画に対応
生成された3D世界は、以下の形式で取り出せる。
・Gaussian Splat
Marbleが最も高い忠実度で再現する形式。World Labs製のWebレンダラ「Spark」と組み合わせることで、ブラウザ・VRなどで表示できる。
・三角メッシュ
低精度のコライダー用メッシュから、高品質なメッシュまで複数の出力形態を用意。既存のゲームエンジン・3Dツールへの統合を容易にする。
・動画
カメラ軌道を細かく設定したレンダリングが可能。炎・煙・光源といった動的要素を追加しながら、カメラ制御情報を保持できる。
Marble Labs－利用者コミュニティと事例を公開
World Labsは同時に、クリエイター向けのコミュニティ「Marble Labs」を立ち上げた。ワークフロー共有やケーススタディの公開を通じ、ゲーム開発、VFX制作、デザイン、ロボティクスなど多様な分野での利用を促す。
静寂から空間へ：1枚の画像を生き生きとした世界へ
アーティスト兼映画制作者のウィルフレッド・リー（Artist's Journey）は、「記憶から構築された空間を探索するとは何か」というテーマを基に、Marbleを用いた制作を行った。Leeは、Marbleで生成した複数の3Dシーンを接続し、空間オーディオを加えることで、実験的な物語空間「Memory House」を構築した。本作は1枚の2D画像を出発点として、探索可能な複数の部屋へと拡張されている。
Memory Houseは、AI生成の画像・ナレーション・音響を組み合わせ、ガウシアンスプラッティング技術を活用して構成された作品であり、知覚や静寂、空間認識に関する体験的表現を試みている。その結果、夢と建築が交差するような、記憶を可視化した仮想空間が提示されている。
イメージから没入感へ：VIVE Mars x Marble
映画制作における3Dワールド構築は、従来、バーチャルプロダクションの中でも最も時間と専門スキルを要する工程だった。モデリング、ライティング、レンダリングの複雑さが、クリエイターの試行や撮影準備のスピードを制限していた。
World Labsが開発したMarbleは、この課題の解消を目指す。ガウシアンスプラッティングとAIによる空間生成技術を用いて、単一の画像やテキストから数分で探索可能な3D環境を生成できる。
さらに、HTCのVIVE Mars CamTrackおよび新しいリアルタイム合成ソフトウェアMars Novaと組み合わせることで、クリエイターはコンセプト段階から撮影準備までをシームレスに進められるようになる。この統合により、AIを活用したバーチャルプロダクションのワークフロー全体が高速化されるだろう。
ワールド生成からマルチプレイヤーへ：Rosebud x Marble
RosebudAIは、自然言語プロンプトを用いてゲーム構築・アート生成・メカニクス追加を行える、非コーディング型のゲーム制作プラットフォームである。生成的3Dワールドの活用可能性を検証するため、RosebudチームはMarbleと共同で実験を行い、Marbleの空間生成ツールをRosebudのゲーム制作パイプラインに直接組み込めるかをテストした。
両者はさらに、Marbleが生成する3Dワールドを複数のプレイヤーが共有し、同じ空間を探索しながら相互に交流できる「共有プレイスペース」として利用する可能性についても検討した。
この取り組みの目的は、ワールド生成とゲーム生成を統合することで、従来の大規模制作体制を必要とせず、誰でも高速かつ容易に没入型の3Dゲームを作成・体験できる環境を示すことにある。
2D映画を3Dの世界へ：Escape.ai x Marble
Escape.aiは、インタラクティブシネマとAIを活用したエンターテインメント向けの次世代プラットフォームであり、実験的なストーリーテリング作品の配信とクリエイター支援を行っている。
同社はMarbleとの共同研究を通じ、空間再構成によって映画表現を拡張する可能性を検証した。目的は、2Dの映画コンテンツを探索可能な3D空間へ変換し、観客が生成された環境の中で作品を鑑賞できる仕組みを構築することだった。
実験では、Marbleの世界生成APIをEscape.aiのCreator Studioに統合し、映画制作者が3D環境と視聴空間を自動生成できるワークフローを実現した。これにより、スクリーン映像と周囲の空間が連動する新しいハイブリッド型の映画体験が創出された。
Marbleによるロボットシミュレーションのスケーリング
ロボット研究では、高品質で多様なシミュレーションデータの確保が大きな課題となっている。安全な知覚・移動・操作を学習させるには大量の環境が必要だが、それらを手作業で構築するには時間とコストがかかり、再現性にも限界がある。
研究者のHang Yin氏とAbhishek Joshi氏は、この問題に対する新たなアプローチとして、Marbleの世界生成技術を用い、シミュレーションおよびデータ収集に適したスケーラブルかつ物理的に整合した3Dシーンを自動生成する手法を検証した。Yin氏はBEHAVIOR-1KやOmniGibsonシミュレーターの開発・保守に携わり、Joshi氏はRoboSuiteやInfinigen-Articulatedなど主要なシミュレーション基盤の開発に貢献してきたロボティクス研究者である。
彼らの共同実験により、Marbleが高速な世界生成と高度な物理シミュレーションを両立する、ロボットトレーニング向けの有効な生成基盤になり得ることが示された。
没入型露出：OCD治療のための生成的世界
シャンパリモー財団のニューロテクノロジー・ウェアハウスに所属する没入型AIシステム研究グループは、高度な生成技術の神経学・精神医学領域への応用を探っている。
同グループは、Marble Worldsを利用し、強迫性障害（OCD）の治療に活用できる没入型環境の構築方法を研究している。治療シナリオを短いテキストで記述し、それを患者の不安を引き起こす具体的な仮想シーンへ変換することで、曝露反応妨害法（ERP）を支援する新しいアプローチを模索している。
ERPは、不安を誘発する状況に意図的に直面し、強迫行動を抑制する訓練を行う治療法であり、研究チームはAIによる自動生成環境を用いることで、その実施をより柔軟かつ個別化できる可能性を検証している。
