香港中文大学(深圳)ByteDance清華大学の研究チームは3月28日(金)、オープンソースの3Dモデル生成AIプロジェクト「Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging」の論文を発表、4月10日(木)にはGitHubリポジトリにコードが公開される。Hi3DGen v0.1のモデルはHugging Faceのスペースでも公開されている。

Hi3DGenは、入力する2D画像と出力する3Dモデルの中間表現としてノーマル(法線)マップを使用する「ノーマルブリッジング(Normal Bridging)」というアプローチを導入することで、高精細な3Dジオメトリの生成を可能にするAIモデル。ノーマルマップはサーフェスの向きを表現するものであり、物体の細やかな形状の特徴を捉えるのに適していることから、Hi3DGenでは入力された2D画像からノーマルマップを推定し、3Dジオメトリを高度に再構成する

▲入力画像(左)とHi3DGenでの生成結果(右)。他のAIモデルと比較してディテール豊かな出力となっている

Hi3DGenフレームワークを構成する3つの主要コンポーネント

Hi3DGenのフレームワークは「画像からノーマルマップの推定(Image-to-Normal Estimation)」、「ノーマルマップから3Dジオメトリの生成(Normal-to-Geometry Generation)」、「高品質データセットの構築(3D Data Synthesis Pipeline)」という3つの主要コンポーネントから構成されている。

第1段階では鮮明なノーマルマップ推定を可能とする「Noise-injected Regressive Normal Estimation(NiRNE)」技術を利用する。実写画像に対しても高精度のノーマルマップを推定・生成できる点が特長とのこと。

第2段階では潜在拡散モデル(Latent Diffusion Models、LDMs)を用いてノーマルマップから3Dジオメトリへの変換を学習する「Normal-Regularized Latent Diffusion(NoRLD)」手法が導入されている。

第3段階では、本モデルのために開発された「DetailVerse」というデータセット構築パイプラインを使用する。テキストプロンプトの収集から高品質な画像の生成、3Dアセットのディテール合成というステップを経てデータセットが構築されるパイプラインで、このデータセットの質が、最終出力される3Dモデルの品質を大きく左右するという。

下記プロジェクトページには、より詳細な技術解説と多様な生成サンプル、Hunyuan3D-2.0TrellisTripo-SGとの品質比較などが掲載されている。

■Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging(プロジェクトページ、英語)
https://stable-x.github.io/Hi3DGen/

Hugging Face
https://huggingface.co/spaces/Stable-X/Hi3DGen

■GitHub
https://github.com/Stable-X/Hi3DGen

CGWORLD関連情報

●3Dモデル生成AI「Meshy-5 Preview」リリース! Blenderアドオン、自然言語による対話形式によるモデル生成にも対応

Meshyが3Dモデル生成AI最新バージョンのプレビュー版「Meshy-5 Preview」をリリース。テクスチャからのライティング成分の除去(De-lit)、ジオメトリのシャープなエッジとリッチなディテール表現、テクスチャとジオメトリの正確な位置合わせなど、前バージョンと比較してより高品質なモデル生成を実現する。
https://cgworld.jp/flashnews/01-202504-Meshy-5-Preview.html

●3Dモデル生成AIのTripoがBlenderアドオンに! 「Tripo MCP」リリース、CursorやClaudeを介して自然言語で対話するだけで3Dシーンを構築

Vastが3Dモデル生成AI「Tripo」をBlender内で直接利用できるオープンソースのアドオン「Tripo MCP」をGitHubでリリース。BlenderとAIコードエディタCursorやAIアシスタントClaudeなど外部ツールをMCP(Model Context Protocol)サーバを介して接続することにより、Blender内で直接、対話形式による3Dモデル生成が行えるようになる。
https://cgworld.jp/flashnews/01-202504-TripoMCP.html

●AIエージェントとの対話だけでRodinがBlender内で3Dシーンを生成! オープンソースのBlenderアドオン「BlenderMCP 1.1.0」リリース

Siddharth Ahuja氏がオープンソースのBlenderアドオン「BlenderMCP 1.1.0」をリリース。また、3Dモデル生成AI「Rodin」の開発元・Deemos社は本アドオンのユーザー向けにAPIキーの利用を無償で提供。これにより、ClaudeなどのAIエージェントに対して自然言語による対話形式のプロンプトで指示を行うだけでRodinが3Dモデルを生成し、MCP(Model Context Protocol)サーバを介してBlender内でシーン構築を行うことができるようになる。
https://cgworld.jp/flashnews/01-202504-BlenderMCP110.html