本連載では、CG映像制作におけるテクニカル系スタッフの仕事の現状と課題を、パイプライン開発の専門家である痴山紘史氏（日本CGサービス（JCGS）代表）が探っていく。第13回後編では、引き続きPreferred Networks（以下、PFN）を取り上げる。3Dスキャンや3D生成AI、空間理解技術の研究開発に携わるメンバーへの取材を通して、研究と実装の間にあるギャップをどのように埋め、技術を現場で使えるかたちへと落とし込んでいるのか、その取り組みと思想に迫る。

PFNが取り組む3つの3D領域

CGWORLD（以下、CGW）：PFNが取り組む3D技術は、3Dスキャンに加え、3D生成AIや3D空間理解にも広がっていると伺いました。それぞれの領域は、どのように位置づけられるのでしょうか。

松元叡一氏（以下、松元）：3Dスキャンは、現実の物体や空間を高精度に再現する領域です。PFNではこの領域に早くから取り組み、独自に実装やカスタマイズを重ねながら、再現性の高いスキャン技術を開発してきました。

松元：次に3D生成AIは、画像から3Dモデルを生成したり、テキストから三次元データを生成したりする領域になります。まだ発展途上の技術ではありますが、AI学習用データセットの生成や、将来的な3Dモデリングの自動化、設計支援への応用が期待されています。

そして3D空間理解は、ロボットや自動運転車が周囲の環境を三次元的に認識するための技術領域です。その実現には大量の学習データが必要になるため、3D技術を活用したデータ基盤の整備も重要なテーマになっています。

さらにPFNでは、3Dスキャンの発展形として4Dスキャンにも取り組んでいます。これはガウシアン表現に時間軸を加えることで、空間だけでなく動きまで含めて記録・再現する技術です。多数のカメラで同時撮影したデータを基に、時空間全体を3Dアニメーションとして表現するもので、技術的にはボリュメトリックスキャンに近い領域に位置づけられます。

研究と実装の間にあるギャップを埋める

伊藤 翔 氏（以下、伊藤）：事業の観点から見ると、3D領域はまだ「この市場の開拓が、決定的な勝ち筋だ」と言い切れる段階ではありません。どこに大きな需要が生まれるのかを探りながら、様々な産業分野で活用を進めているところです。

伊藤：現在、主な活用先として注目しているのは製造業です。そのほかにも、建築・不動産、ロボットシミュレーション、自動車シミュレーションなどの分野で利用が進んでいます。

一方で、PFNではエンターテインメント領域、とりわけ映像制作への展開にも力を入れています。例えば、高品質な3DGS（3D Gaussian Splatting）をバーチャルプロダクションへ活用する取り組みを進めており、角川大映スタジオと共同でLEDウォールを用いた撮影検証も行なっています。

PFNの特徴は、3Dデータを生成するだけで終わらないことです。実際の現場で活用できる状態までもっていくための接続部分についても、自ら研究開発しています。映像業界向けにはUnreal Engine（以下、UE）のプラグイン開発も進めており、制作現場のワークフローへ組み込むところまで見据えています。

CGW：研究成果を現場へもち込む際には、大きなギャップがあります。論文として成立していても、そのままでは実運用に耐えないケースも少なくありません。そうしたギャップはどのように埋めているのでしょうか。

松岡 徹 氏（以下、松岡）：UE関連の開発では、私自身がお客様と直接やり取りしながら進めています。実際に使っていただき、「どうすれば使いやすくなるのか」、「何が足りないのか」を聞きながら改善を重ねるかたちです。

松岡：私は3DGSデータをUE上で表示する工程の技術開発を担当していますが、そのままではお客様の用途に合わないケースもあります。その場合は、3DGS側のデータ処理を見直すこともありますし、プラグイン側を改修することもあります。

特にバーチャルプロダクションでは、単に表示できれば良いわけではありません。高解像度出力への対応に加え、nDisplayのような複数ディスプレイ環境への対応も必要です。また、スタジオごとにプロジェクト構成やカラー調整の手法も異なります。

そのため、実際のパイプラインや制作環境に合わせて調整を重ねる必要があります。現場で発見された不具合をもち帰って修正し、再度検証していく。そうしたサイクルをくり返しながら完成度を高めています。

伊藤：研究成果を実際のプロダクトやサービスとして成立させるためには、「どの状態まで仕上げれば現場で使えるのか」を見極める必要があります。PFNでは研究と実装を明確に分けるのではなく、お客様と伴走しながら改良を続けるメンバーも多くいます。研究成果を社会実装までつなげることも、私たちの重要な役割だと考えています。

研究者も現場へ。ラストワンマイルを埋める

伊藤：小林には研究開発だけでなく、実際のシーン復元にも参加してもらっています。

小林颯介氏（以下、小林）：私は復元ツール側の技術リードを担当しています。この分野は論文が次々と発表され、技術も急速に進化しています。ただ、論文の手法がそのまま実務で使えるとは限りません。研究で用いられるデータセットは比較的条件が整理されていることが多く、バーチャルプロダクションのように広大な空間を高解像度で扱う現場では、そのまま適用できないケースもあります。

小林：そのため、私たちはできるだけ汎用的に利用できる技術やライブラリを整備しながら、案件ごとに必要となる調整にも対応しています。人の手でアノテーションを追加することもありますし、納品まで残り数日の状況で新しい手法を実装することもあります。汎用技術の開発と個別案件への最適化を並行して進めている点が、このチームの特徴だと思います。

伊藤：その一例が、TBSの日曜劇場『GIFT』です。私たちは背景制作工程の一部を担当しており、作品の主要舞台となる体育館を3DGSで復元し、スタジオ撮影の背景として利用できるようにする取り組みを進めています。

この作品では車いすラグビーが題材になっており、体育館がくり返し登場します。そのため、単純に空間を復元するだけではなく、実際のドラマ撮影ではどのカメラアングルが使用されるのか、どの領域の品質を優先的に高めるべきかまで考慮する必要がありました。小林も体育館の撮影へ同行し、その場で撮影方針を判断しながら進めました。

• 

• 

CGW：撮影後の復元や調整まで含めると、かなりタイトなスケジュールになりそうですね。

小林：撮影から納品までは3〜4週間程度で進むことが多いです。ただ最近は、まず1週間ほどで確認用の素材を提出してほしいという要望も増えています。本来であれば1カ月ほどかけて仕上げたいのですが、制作現場では途中段階の成果物を早いタイミングで確認したいというニーズが強く、短期間で一度アウトプットを出すケースも少なくありません。

松岡：その場合は、小林が復元したデータを私がUE上で確認し、スケールや位置などを調整した上でお客様へ提出します。このスピード感に対応するためには、既存機能だけで一定水準まで対応できる体制を整えておく必要がありますし、案件ごとに細かな調整を行うことも珍しくありません。

用途によって変わる3Dスキャンの品質

CGW：先ほどから品質のお話が出ていますが、映像として求められる品質と、計測データとして求められる品質は必ずしも一致しないように思います。そのあたりは、どのように考えているのでしょうか。

小林：特にバーチャルプロダクション向けでは、見た目の品質を重視するケースが多くなります。一方で、用途によってはライティングや形状調整のために、ある程度ジオメトリの精度が求められることもあります。

ただ、3DGSでは、見た目の再現性とジオメトリの正確性を完全に両立することが簡単ではありません。例えば鏡面の場合、鏡の位置に正確なジオメトリが生成されるのではなく、鏡の向こう側に別の空間が存在するような復元結果になりやすいんです。ただ、映像としての見た目だけを考えると、その方が高品質に見えることもあります。そのため、バーチャルプロダクションでは、そうした特性を許容した上で復元するケースも少なくありません。

松元：一方で、PFN 3D Scanでは、3DGSとは異なるアルゴリズムも利用しています。より正確なジオメトリが求められる場合には、計測精度を重視した手法を選択します。用途によって求められる品質が異なるため、技術も使い分けているわけです。

また、3DGSを使う場合でも、用途に応じた調整が必要になることがあります。例えば床面のように平面性が重要な箇所では、反射表現を優先するよりも、ジオメトリを整理してフラットにした方が自然に見えるケースもあるんです。TBSの『GIFT』でも、体育館の床は非常に重要な要素でした。床面の見え方ひとつで空間全体の印象が変わるため、用途をふまえた品質調整が必要になりました。

小林：研究レベルでは、見た目の品質とジオメトリ精度の両立を目指した手法も数多く提案されています。ただ、それらが実際の制作環境で扱いやすいとは限りません。例えば、UEとの連携やリアルタイム再生まで考えると、研究成果をそのまま導入できないこともあります。

そのため私たちは、理論的な性能だけではなく、実際の制作環境へ組み込めるかどうかも含めて技術を選択しています。研究成果を実用技術へ落とし込む際には、そうした視点も重要になります。

3Dデータを蓄積し、次の価値へつなげる

伊藤：現在、PFNでは都市・建築3Dデータエコシステム構築に向けた調査・検証を進めており、東京の大丸有エリア（大手町・丸の内・有楽町）の建築物を数百棟規模で収集・整備しながら、大規模な3Dデータ基盤を構築しています。

この取り組みは、経済産業省およびNEDO（新エネルギー・産業技術総合開発機構）が推進する生成AI開発力強化プロジェクト「GENIAC」の一環として進めているものです。都市・建築空間などの実世界データを活用しながら、大規模3Dデータ基盤の構築と、フィジカルAI時代を見据えた基盤モデルの開発に取り組んでいます（概要はこちらを参照）。ここでは、見た目の美しさだけでなく、ジオメトリとしての正確性も重視しています。

小林：近年はLLMやVLMの発展に伴い、3DもAIの重要な入力データのひとつになると考えられています。ただ、画像やテキストと比べると、3Dには大規模な学習データセットがまだ十分に存在していません。そういう意味では、このGENIACのプロジェクトは、3D版の大規模データセットをイチから構築する取り組みとも言えます。

伊藤：私たちとしては、3DGSで構築したデータを蓄積し、AIの学習や開発を支える基盤として活用していくことを重視しています。

エンターテインメント業界と少し異なるのは、一つひとつの成果物をつくって終わりではなく、それらが蓄積された先にどのような活用ができるのかを重視している点です。映像業界にもアセットの再利用という考え方はありますが、GENIACのプロジェクトでは、大量のデータを蓄積し、それをAIの学習や研究開発へ展開していくところに特徴があります。

プロジェクトで得られた成果は、他案件へ展開することもありますし、既存サービスへ応用したり、新しいサービスとして切り出したりすることもあります。プロジェクト単位で動くことが多いものの、その中で得られた知見や技術を次へつないでいく意識は強いですね。

小林：技術的なニュースや研究成果については、対面でもSlackでも日常的に共有しています。案件ごとに別のテーマへ取り組んでいても、過去の案件で得た知見が別の案件で役立つことは少なくありません。そのため、個別案件で得られた知見についても、できるだけ共通ライブラリへ取り込み、再利用できるかたちにすることを意識しています。

伊藤：私から見たPFNの特徴のひとつは、情報共有への抵抗感が少ないことです。ノウハウ・ベストプラクティスの共有や社内発表も日常的に行われています。また、「この技術は別の案件や産業にも応用できないか」という視点をもつ人が多いのも特徴です。そうした意識が、社内での勉強会や発表会といった活動を支えているのだと思います。

松元：社内では、各プロジェクトの取り組みをポスター形式でもち寄る発表会も開催しています。プロジェクト数が多いため、そうした場で初めて知る取り組みも少なくありません。お互いに質問しながら知識を共有することで、技術の蓄積や横展開につなげています。

3D×AIの次なる挑戦

CGW：今後、AIや3Dの領域で取り組みたい技術的なチャレンジや、注目している研究テーマについて教えてください。

松元：大きなテーマのひとつは、急速に進んでいるAI開発のながれの中へ、3Dをどう取り込んでいくかです。現在のLLMやVLMは、まだ3Dを十分に扱えているとは言えません。そこに3Dの情報を組み込んでいくことは、PFNが掲げる「現実世界を計算可能にする」という目標にもつながる重要なテーマだと考えています。

一方で、より足元の課題としては、高品質な3Dスキャン技術を社会の中でどう活用していくかがあります。技術そのものはすでに実用レベルに達しているので、『GIFT』のような事例を増やしながら、より多くの現場で使われる状態を目指していきたいですね。

小林：3DとLLMの組み合わせは、まだ探索段階にあり、実用化までには距離がある論文も少なくありません。ただ、特にロボット分野では視覚・言語・行動を統合的に扱う研究が活発化しており、今後3DがAIの重要な構成要素になっていく可能性は十分にあると思っています。

伊藤：表に出せる事例はまだ限られていますが、水面下では社会実装が進んでいる部分もあります。今後は「こういう技術が実際に使われている」、「こういう成果につながった」といった事例を、AI×3Dの領域でも積極的に発信していきたいと考えています。どこで、どのように活用されているのかが見えるようになれば、社会全体での活用もさらに進んでいくのではないでしょうか。

松元：個人的に取り組みたいテーマとしては、「設計」があります。現在の生成AIは、画像や3Dモデルを生成することはできますが、物理的な制約まで含めて正しく設計できるわけではありません。機械や建築物のように、現実世界で成立するものをAIが設計できるようになるには、まだ大きな課題があります。その領域には今後チャレンジしていきたいですね。

最近は、BlenderやMayaのような3DツールをAIが扱う方向性も見え始めています。そうしたながれの先に、AIが3Dツールを活用しながら設計まで行う世界が実現したら面白いと思っています。

CGW：最後に、採用や人材育成についても伺えればと思います。これからPFNへの応募を考えている方へメッセージをお願いします。

伊藤：PFNではインターンシップに力を入れています。3D領域に限らず、コンピュータビジョン全般の領域で広く募集していますので、興味のある学生の方にはぜひ応募していただきたいですね。

また、インターンシップや新卒採用以外にも、キャリア採用、第二新卒採用、アルバイトなどのかたちで応募できる機会を通年で設けています。興味をもっていただけた方は、ぜひ採用ページを見ていただければと思います。

筆者まとめ

映像業界ではあまり馴染みのない存在かもしれませんが、PFNといえば近年、情報系の優秀な人が次々と集まり、AI分野を代表する企業のひとつになっています。そこで進められている事業の規模や領域も映像業界とはかなり異なるだけに、同社が3D Scan事業を始めたと知ったときは、正直「なぜPFNが3Dを？」と思いました。

今回お話を伺って、その理由がようやく理解できました。PFNの3D技術は、もともとエンターテインメントのために育ってきたものではありません。ロボットや自動運転、AI学習用データの構築といった文脈の中で発展してきた技術が、現在は映像制作やバーチャルプロダクションとも接点をもち始めています。PFNがこの領域にいる面白さは、まさにそこにあるのだと感じました。