Googleカリフォルニア大学Runwayからなる研究チームは12月5日(金)、空間を不定形な霧や点群ではなく四面体(三角錐)メッシュを用いたラディアンスフィールドとして定義し直すことにより、NeRFや3DGS(3D Gaussian Splatting)など既存技術の壁を突破する新しい3D空間の描画手法「Radiance Meshes for Volumetric Reconstruction」をオープンソース(MITライセンス)で公開した。

「Radiance Meshes for Volumetric Reconstruction」は、空間をラディアンスフィールド(放射輝度フィールド)として定義したメッシュデータとして保持する技術。従来の手法では、空間を霧のようなボリューム(NeRF)や無数の楕円体(3DGS)として表現していたが、本技術では、「デロネー四面体分割(Delaunay tetrahedralization)」という数学的な手法を用いて、空間を四面体(三角錐)の集合体として表現する(デロネー分割:空間内に配置された点を結び網の目のような構造をつくる際、不自然に細長い三角形ができにくいようにバランス良く分割するアルゴリズム)。

これにより、3D空間はGPUが扱いやすい三角形ベースのメッシュとして定義されるため、従来のボロノイを用いた手法よりも既存のグラフィックス技術との親和性が高くなる。

▲「Radiance Meshes for Volumetric Reconstruction」は、メッシュを用いてラディアンスフィールド(放射輝度フィールド)を構成し、3DGSのような近似手法よりも高速でありながら、ポッピング(ちらつき)のない正確なボリューメトリック・レンダリングを実現。本技術では物理的な構造を持つメッシュに(左)、色や密度といったボリューム情報を乗せることで(中央)、1コマ285fpsにも達する高速なフォトリアル映像の描画を実現する

描画プロセス(ラスタライズ)面でも従来技術と大きなちがいがある。NeRFは、光線を1本ずつ追跡して計算するレイトレーシングに近い手法を用いており、計算コストの高さと描画時間の多さが課題となっていた。3DGSは楕円体を画像に投影するラスタライズ手法で高速化したが、視点を動かした際に物体が一瞬消えたり現れたりするポッピングノイズの発生があった。この点、Radiance Meshesは空間自体をメッシュ化しているため、ゲームなどで一般的に使われている高速なラスタライズ手法を適用できる。これにより、3DGSとの比較では、同等の解像度で30%以上も高速な描画を実現しているという。

▲縦軸は描画手法(ラスタライズとレイトレーシング)、横軸は描画対象(連続的なフィールドと独立したプリミティブ)。NeRF(左下)は画質に優れるものの計算がかなり遅いレイトレーシング手法、3DGS(右上)は高速だが中程度の画質に留まる手法。これに対してRadiance Meshes(左上)は、空間の連続性(フィールド)を保ちつつ高速なラスタライズ技術を用いる独自の位置付けにあり、高速性と編集のしやすさを兼ね備えた技術となる

本技術では、画質の安定性を高めるための工夫として、ニューラルネットワークから色や密度情報を取得するというアプローチを採用。これにより、メッシュの形状が変化しても見た目が滑らかに推移し、学習プロセスが安定するようになったという。また、半透明な物体の正しい描画のために、カメラからの距離に応じて四面体を瞬時に並べ替える高度なソートアルゴリズムも導入している。

▲本技術が三角メッシュを採用するメリットは、速度や移植性だけでなく、業界が蓄積してきた既存技術や手法をそのまま活用できる点にあるという。映像は物理シミュレーションの一種「Point-Based Dynamics」を用いた、リアルタイムかつインタラクティブにメッシュを変形させるデモで、従来のレンダリング技術との高い親和性が示されている

Radiance Meshesはメッシュ構造を持つことから、物理シミュレーションとの連携が容易で、復元した3Dモデルに対して重力をかけたり、衝突させたりといったインタラクティブな操作が可能になる。また、魚眼レンズのような複雑なカメラモデルにも対応できる柔軟性も備える。

■Radiance Meshes for Volumetric Reconstruction(プロジェクトページ、英語)
https://half-potato.gitlab.io/rm/

■Radiance Meshes for Volumetric Reconstruction(GitHub)
https://github.com/half-potato/radiance_meshes

CGWORLD関連情報

●VoxelKei氏、無料の3DGS編集用Unityエディタ拡張「Spatialograph Maker」ベータ版をBOOTHで公開! 小規模・大規模・ボクセル化の3種モードを搭載

VoxelKeiが3D Gaussian Splatting(3DGS)データをUnityおよびVRChat環境で利用可能な形式へ変換・最適化するUnityエディタ拡張「Spatialograph Maker beta」をBOOTHにて無料公開。PLY形式の点群(ポイントクラウド)データをUnityに読み込み、VRChatでの利用を前提とした最適化処理などをエディタ上で行える。対応環境はWindowsのUnity 2022.3.22f1。
https://cgworld.jp/flashnews/01-202512-SpatialographMaker.html

●オープンソースの3DGSエディタ「SuperSplat Editor 2.14.0」リリース! 指定のタイムライン範囲内をMP4・MOV・MKV・WebM形式で動画レンダリング、コーデックの選択にも対応

Playcanvasがオープンソースの3D Gaussian Splatting(3DGS)エディタ「SuperSplat Editor 2.14.0」をリリース。動画のエクスポート機能が強化され、対応フォーマットの拡充やレンダリング範囲の指定など、映像制作のワークフローを支援する機能が追加されている。エディタはWebブラウザ上で利用できるほか、GitHubではソースコードがオープンソース(MITライセンス)で公開されている。
https://cgworld.jp/flashnews/01-202511-SuperSplat214.html

●オープンソースの3Dエンジン「PlayCanvas Engine v2.13.0」リリース! 3DGS向けストリーミングLODシステム、スプラットシェーダエフェクトフレームワーク搭載

PlaycanvasがオープンソースのWeb向けゲームエンジン「PlayCanvas Engine」の最新バージョン、v2.13.0をリリース。3DGS向けストリーミングLODシステムが導入されたほか、出現・隠蔽・着色・ブルームといったエフェクトを適用できるSplat shader effectsフレームワークが実装されている。GitHubでのソースに加え、オンラインデモサイトも用意されている。
https://cgworld.jp/flashnews/01-202511-PlayCanvasEngine213.html