近年、3DCG業界で大きな注目を集めている新技術「3D Gaussian Splatting」（以下、3DGS）。従来のポリゴンメッシュとは全く異なるアプローチで、これまで困難とされてきたリアルな質感を高速に生成できるとして、多方面から大きな注目を集めている。

ボーンデジタルはこの春、3DGS技術の第一人者である株式会社exAgentの代表取締役CEO、中山智博氏によるオンラインセミナー「今こそ知りたい3D Gaussian Splatting」を開催した。本記事では、3DGSの基本的な仕組みから、スマートフォンを使った手軽な始め方、プロフェッショナルな現場での活用事例、そしてロボット技術や自動運転にも繋がる未来の展望までを一望したセミナーのレポートをダイジェストでお届けする。

3D Gaussian Splatting（3DGS）とは何か

――今話題の「3DGS」とはどのような技術なのでしょうか。

中山智博氏（以下、中山）：3DGSは「ガウス関数」という数学的な処理を用いた技術です。これは、Photoshopの「ガウスぼかし」のように、情報を平均化する機能とイメージしてもらうとわかりやすいです。

――「ガウスぼかし」は馴染みがありますね。

中山：3DGSでは、まず画像や映像から特徴点を捉えて「点群（ポイントクラウド）」と呼ばれる点の集まりをつくります。そして、そのひとつひとつの点に対して、周囲の色情報をガウス関数で平均化し、絵の具をキャンバスに叩きつけるように（Splatting）、3D空間上に色を配置していきます。

この「点」は、色や透明度、奥行き、方向などの情報を持った楕円形の面として扱われ、それらが無数に重なり合うことで、まるでリアリズム絵画のような非常にリアルな3D空間を構築する、というのが基本的な仕組みです。

――3DGSでは具体的にどのような表現が可能になりますか？

中山：これまでのポリゴンメッシュを使った3DCGでは不可能だった表現が可能になります。特に大きなちがいが現れるのが、「透明感のあるもの」「反射するもの」「細かいディテールを持つもの」の3つです。

――透明感とは、「水」などでしょうか？

中山：そうです。従来のフォトグラメトリやレーザースキャンでは、透明なものは光が透過してしまうため、「存在しないもの」として扱われたり、形状が大きく歪んでしまうことがほとんどでした。しかし、3DGSは点を中心に色と透明度の情報を描画していく手法なので、水がながれる様子やその透明感を立体的に、ありのままに再現できます。

――ここまで表現できるのは驚きです。

中山：次に「反射するもの」、例えばメッキパーツの反射や金属光沢です。従来の技術では、強い反射もスキャンを困難にする要因でした。この作例のクラシックカーのように、メッキパーツが多く、ガラスのような透明な物体が組み合わさっている対象も、3DGSなら質感や雰囲気を非常に高い再現度でデータ化できます。

中山：ちなみにこのデータは、私がiPhoneでクルマの周りを2分ほど動画撮影して生成したものです。

――iPhoneの動画からこのクオリティですか。質感といえば、この猫の作例も印象的です。

中山：「細かいディテールを持つもの」ですね。動物の毛並みのような、ふわふわした質感の再現も3DGSの得意分野です。

中山：この作例では、猫自身の毛、クッションの毛、そして床の絨毯の毛と、3種類の毛並みのちがいが見事に表現されています。従来のポリゴンモデルでこれをやろうとすると、ディテールが潰れてひとつの塊のようになってしまいがちでした。いわゆる「ブロッコリー化」という現象ですね。3DGSなら、毛の1本1本が持つ繊細なニュアンスまで捉えることができます。

――確かに。

中山：同様に、植物のような薄く細かいオブジェクトの再現性も飛躍的に向上しています。

中山：例えばこのマーガレットですが、花びらや茎、葉のような非常に薄いオブジェクトは、従来のスキャン技術では矛盾が生じやすく、モデルに穴が空いてしまうことが頻発していました。3DGSは点に対して色面を描画していくため、原理的に穴が空くことがなく、見たままの繊細な構造を再現できます。いずれも、1分程度の撮影から、約30分のマシントレーニング（後述）で生成したものです。

3DGSとポリゴンメッシュの構造的なちがい

――3DGSとポリゴンメッシュとの構造的なちがいについて教えてください。

中山：従来のゲームや映像で使われてきたポリゴンメッシュは、3D空間に配置した「点（頂点）」を線で結び、三角形の「面」をつくって立体を形成します。全ての面は、直線で構成される面の最小単位である三角形の集合体なので、拡大すると必ずカクカクしてしまいます。

中山：これは、CADなどで使われる滑らかな曲面を表現できるNURBS曲線でも、点を「頂点」として扱うという点は同じです。

――ポリゴンやNURBSでは、点が必ず立体の「角（頂点）」になると。

中山：その通りです。一方3DGSでは、点は頂点ではなく、色と透明度を持った楕円形の面の「中心」として扱われます。その点を中心として、絵筆で色を置くように、柔らかい境界を持った面を無数に重ねていく。このアプローチにより、物体と空間の境目が滑らかになり、視覚的に非常に自然で、人間の目に馴染みやすい絵画のような表現が可能になるのです。

――点の扱い方が根本的にちがうのですね。3DGSはレンダリングはしないのでしょうか？

中山：3DGSの生成プロセスは、AIの機械学習に近いため「レンダリング」ではなく「トレーニング」と呼びます。入力された画像や映像を基に、AIが矛盾がなくなるよう、何万回、何十万回と繰り返し計算を行い、最適な色の配置を学習していくのです。このトレーニング回数を重ねることで、ディテールが鮮明になっていきます。ただし、やりすぎると「過学習」を起こして逆にノイズが増えることもあり、そのあたりの見極めも重要になります。

スマホと無料ツールから手軽に始められるのも3DGSの魅力

――これほど高精細なものがつくれるとなると、専門知識や高価な機材が必要なイメージがあります。

中山：実は、スマートフォンと無料アプリさえあれば、誰でも今日から3DGSを始めることができます。これが3DGSの素晴らしい点です。もちろん、クオリティを追求していくと、有料のツールやプロ向けの機材が必要になりますが、入り口のハードルは非常に低いと言えます。まずは無料の範囲で撮影のコツを掴み、技術を磨いてから、ステップアップしていくのが良いでしょう。

中山：私はLuma AIのLuma 3D Captureをオススメします。
https://apps.apple.com/jp/app/luma-3d-capture/id1615849914
https://play.google.com/store/apps/details?id=ai.lumalabs.polar&hl=ja

――撮影方法にコツなどはあるのでしょうか？

中山：綺麗に生成するための重要なコツは「視差」をしっかりつくることです。やってしまいがちな失敗が、自分が中心に立ってその場で回転しながら撮影してしまうこと。これでは視差が生まれにくく、上手く形状を認識できません。対象物の周りを移動しながら、水平方向、見下ろす俯角、見上げる仰角の3つの角度から、なるべく多角的に撮影するのが基本です。

――プロの現場では、ドローンなども活用されているのでしょうか？

中山：はい。より大規模な空間をスキャンする際には、ドローンやヘリコプターによる空撮も行います。ドローンで撮影した数千枚の画像を基に、街並みや広大な敷地を丸ごと3DGS化することも可能です。ドローンが規制で飛ばせない場所では、ヘリコプターを使うこともあります。実は私、高所恐怖症なのですが、撮影のためにはドアを外してもらわないと真下を撮れないので、これまで4回、全てドアなしのヘリに乗りました（笑）。

――壮絶ですね（笑）。さらに高精度なデータを求める場合にはどういった機材を使うのですか？

中山：プロ向けのハイエンド機材として、「XGRIDS」のような製品があります。

中山：これは、画像から3D形状を復元する「Structure from Motion（SfM）」技術に加えて、高精度のレーザースキャナーを搭載しているのが特徴です。レーザーで計測することで、スマホアプリなどでは難しかった正確な寸法（スケール）を持った、ミリ単位の精度のデータを取得できます。価格は数百万円からと高価ですが、従来の同等性能の機器に比べれば、非常にコストパフォーマンスが高いと言えます。歩きながらスキャンするだけで高精度なデータが生成でき、専門知識もほとんど必要ありません。

3DGS活用例①　景観シミュレータ

――ここからは、3DGSの具体的な活用事例を紹介していただきます。

中山：まずは「景観シミュレータ」としての活用です。

中山：例えば、現実の街並みを3DGSで再現し、そこに建設予定の建物の3DCGモデルを合成することで、完成後の景観をリアルにシミュレーションできます。実際に、大阪の心斎橋に建設される商業ビルのプロジェクトで、ビルが建つことでブランドロゴが周囲からどう見えるかを検証するためにこの手法を用いました。信号機や街路樹といった現実の障害物を含めてリアルに検証できる点を、クライアントからは高く評価いただきました。

3DGS活用例②　Unityを活用したセキュアな3Dシステム

――続いてはセキュリティが求められる現場での活用です。

中山：3DGSの強みのひとつは、ブラウザで共有できる手軽さですが、逆に完全オフラインでの活用も可能な点も大きな強みです。守秘義務などの関係で「データを外部サーバーにアップロードできない」というケースで、ゲームエンジンのUnityと3DGSを連携させることで、完全オフラインで活用することができます。

――こちらの「ShipTwin」がそうですね？

中山：はい。「ShipTwin」は船舶用ポンプの学習コンテンツで、私たちが開発したものです。実際のポンプをスマートフォンで撮影して3DGSデータを生成し、それをUnityに取り込んで、各部の名称や操作方法といった解説情報をインタラクティブに表示できるようにしました。

――Unityと3DGSを組み合わせることでクローズドな学習コンテンツを生み出したのですね。

中山：その通りです。コンテンツはスタンドアロンのアプリケーション（.exeファイルなど）として書き出してあるので、インターネットに一切接続しないクローズドな環境で利用できます。船員の方は、航海中に自室のPCでこのアプリを使い、いつでも担当機器の操作方法をゲーム感覚で復習できるわけです。

――気になるのが制作過程でのセキュリティ面への配慮です。

中山：私たちの手法では、撮影からコンテンツ化までの全工程をクライアントのローカルマシンで完結させることが可能です。

――それは安心ですね。

3DGS活用例③　自己位置推定技術「SLAM」への応用

中山：3つ目の活用例として、ロボットや自動車との情報共有があります。

中山：3DGSは、「人間にとって視覚的にわかりやすいリアルな見た目」と、「機械が認識しやすい点群データ」という2つの特性を兼ね備えています。この特性が、今後のロボット技術や自動運転の分野で非常に重要になるのです。

――それがこの自動運転やロボットの自己位置推定技術「SLAM」への応用ですね。

中山：はい。SLAMは、センサーからの情報を基に、自分が今どこにいるのかを把握し、同時に周囲の地図を作成する技術です。あらかじめ室内や工場内を3DGSでスキャンして高精度なマップ（点群データ）を作成しておけば、ロボットは自身のセンサーで取得した情報と照合することで、GPSの届かない環境でも正確に自分の位置を把握できるようになります。

――ロボットが空間を認識するための「眼」になると。

中山：その通りです。近年のAI技術の急速な発展により、これまで立ち遅れていたロボットの「頭脳」の部分が飛躍的に進化しています。3DGSは、人間と機械、両方の世界を繋ぐインターフェイスとして、これからのロボット社会の基盤を支える重要な技術になる可能性を秘めているのです。