本連載では、CG映像制作におけるテクニカル系スタッフの仕事の現状と課題を、パイプライン開発の専門家である痴山紘史氏（日本CGサービス（JCGS）代表）が探っていく。第9回では、クレッセントのテクニカル系スタッフの仕事を前後編にわたって深掘りする。

ポータブル型ボリュメトリックビデオ撮影システム Volu☆ME!の開発経緯

菊谷康太氏（以下、菊谷）：当社では、ボリュメトリックビデオ撮影のサービスとして4Dviewsを提供していますが、システムの構築に大がかりな設備が必要となるため、導入のハードルが非常に高いという課題がありました。そこで、よりポータブルなシステムへのニーズがあるのではと考え、Volu☆ME!の開発をスタートさせました。

例えば、自動車メーカーが車両のデザインレビューを行う際、自分自身がCGで再現された車両と同じ空間に入り、どのように見えるのかを確認できることは非常に重要です。しかし、そうした目的のために4Dviewsを導入するのはオーバースペックで、設置も容易ではありません。そのため、現場に持ち運んで手軽に設置できるシステムが求められていると考え、Volu☆ME!の開発に着手しました。

小林達彦氏（以下、小林）：私が入社した当初は、Unityを使ったVRアプリケーションの開発に携わっており、その延長でヘッドマウントディスプレイ（HMD）の開発にも関わりました。当時はまだ十分な性能をもった市販のHMDが存在しておらず、例えば視野角180度といった産業用途に特化したデバイスを、自社でハードウェアから開発していた時期もあります。

その後、Meta Questのような大型製品が市場に登場し、規模的に自社での競争が難しいと判断し、HMDの開発からは撤退しました。以降は、同じVR分野でも「コンテンツ開発」に注力するようになっていきました。当社ではもともとモーションキャプチャにも取り組んでおり、VRコンテンツとの技術的な親和性が高かったことも理由のひとつです。

コンテンツ開発を進めていく中で、「VR空間内にリアルな人物を登場させたい」というニーズが高まりました。そのニーズに応える手段として、ボリュメトリックビデオ技術が非常に有効だと考え、4Dviewsの運用を担当するようになりました。そして、その経験を基に、より手軽にボリュメトリック映像を撮影できるシステムとして、Volu☆ME!の開発に着手したわけです。

試行錯誤のVolu☆ME!プロトタイプ開発：ToFカメラの限界と突破口

小林：開発初期のプロトタイプづくりでは、静岡大学発のベンチャー企業と連携し、市村清新技術財団からの助成を受けて、ハードウェアとソフトウェアの双方に挑戦しました。当時は、赤外線によって物体までの距離を計測する「ToF（Time of Flight）」技術を用いたカメラの開発も手がけており、それを使って撮影対象を三次元化することを試みました。しかし、十分な性能を得ることができず、非常に苦戦しました。

ToFカメラは、赤外線を対象物に照射し、反射して戻ってくるまでの時間から距離を計算するしくみですが、特に人間の肌と唇で反射の特性が異なる点が問題でした。唇部分が肌よりも遠くにあると誤認される現象が頻発し、この課題の解決にはいたりませんでした。

現在使用しているカメラは、もともとMicrosoftが開発し、現在は中国のOrbbecがその技術を引き継いで製造しているものです。このカメラでは、当時直面していた反射特性のちがいによる問題も適切に処理できています。

小林：ToFカメラで撮影した深度（デプス）画像とRGB画像を基に三次元化を行う処理や、複数のカメラ映像を統合してひとつのデータにするためのキャリブレーション処理などは、プロトタイプ開発時に構築した技術をベースに、現在も社内で独自に開発を進めています。また、ハードウェア開発そのものを諦めたわけではなく、将来的には再び挑戦したいという想いももち続けています。

Volu☆ME!の構成と活用例：リアルタイム性を追求したシステムの現在地と今後の展望

小林：Volu☆ME!は、最小で6台、最大で9台のカメラを使用して、ボリュメトリックビデオ撮影を行うシステムです。システム上の構成としては最小6台が基本ですが、撮影対象が1台のカメラからでも視認できれば、三次元化自体は可能です。一方で、最大9台という制限は、現行のPCスペックでリアルタイム処理が可能な上限に起因しています。

このシステムは「リアルタイム性」と「コンパクトなシステム構成」を重視して設計されており、ハードウェア構成や出力データのクオリティも、それらの要件を基に決定されています。将来的にPCの性能が向上すれば、より多くのカメラを用いた撮影や、さらに高精細なデータ出力にも対応できる拡張性を備えています。

小林：現在の主なユーザーは、大学や自動車メーカー、通信会社などで、いずれも技術検証や研究開発を目的としています。映像分野の関係者からも関心を寄せていただいていますが、現時点ではリアルタイム処理に特化している分、映像作品に求められるクオリティにはやや届かず、「将来性に期待」といった位置づけです。

こうしたニーズにも応えていくために、今後も積極的に開発を進めていく方針です。例えば、当社は4Dviewsのシステムを所有しており、そこから得られる高精度なボリュメトリックビデオ撮影データを“正解データ”として、AIに学習させる取り組みも進めています。こうしたアプローチによって、処理の高速化と品質の向上を両立させることができないかと模索しており、当社ならではの強みを活かした開発を推進していきたいと考えています。

CGWORLD（以下、CGW）：4Dviewsの技術は、Volu☆ME!開発者としての小林さんの目にはどのように映っていますか？

小林：4Dviewsのクオリティは非常に高いと感じています。とりわけ、フィルタリングの技術は卓越しており、素直に「すごいな」と思わされます。

4Dviewsの基盤となっているのは、視体積交差法（visual hull）という手法です。これは、グリーンバックの空間で被写体を撮影し、背景を除去してシルエットを抽出することで、対象物の輪郭を取得します。そのシルエットを基に、三次元空間内のボリュームを削り出していくわけです。さらに、複数方向から撮影した映像に対してこの処理をくり返すことで、最終的に立体形状を構築していきます。

ただし、カメラの台数には限りがあるため、ボリュームの「角」が残ってしまい、結果として形状がカクついて見える場合があります。ここで重要になるのがスムージング処理であり、この仕上がりの精度が最終的なクオリティを大きく左右します。

その点、4Dviewsのフィルタリング技術は非常に洗練されており、形状の滑らかさを高いレベルで実現しています。さらに特筆すべきなのは、空間的なフィルタ処理だけでなく、時間軸に沿ったフィルタリングも行える点です。つまり、1フレームずつ丁寧に処理した後で、それらを時系列でつないだ際にも滑らかさを保つ工夫がなされているのです。

こうした複合的なフィルタリング技術の巧みさが、4Dviewsの強みだと実感しています。

企業との共創から生まれる技術と価値

菊谷：Volu☆ME!の開発以外にも、表には出づらいながら、企業との共同研究や共同開発にも取り組んでいます。相談ベースで声をかけていただくことも多く、例えばある企業からは「新しいセンサーを開発したが、活用方法が定まっていないので、一緒に用途を模索してほしい」というご相談をいただきました。そこから、モーションキャプチャ用のグローブの開発に着手し、試作まで進めたこともあります。

先のケースでは製品化にはいたりませんでしたが、何に使えるかわからない段階から、可能性を模索しながらプロトタイプをつくっていくようなプロジェクトに関わる機会も少なくありません。

より具体的な事例としては、日本自動車研究所との共同研究があります。このプロジェクトでは、実物のクルマの前方に大型モニタを設置し、その映像上でARを用いて人や自転車が飛び出してくるといった危険なシチュエーションを再現して、運転者がどのような反応を示すかを検証する実験を行いました。いわば「車載型の巨大ARゴーグル」ともいえる取り組みです。

このプロジェクトにおいて、私たちはハードウェア面では機材選定やAR表示のしくみ構築、ソフトウェア面ではシナリオ設計やエディタ開発などを担当しました。実物のクルマの改造については、研究所側が担当するという役割分担で進行しました。

こうした研究開発領域におけるVR活用の利点は大きく、同じシナリオで何度も検証ができることや、現実では再現が難しい危険な状況を安全に体験できることが挙げられます。その親和性の高さから、長年にわたって継続的にお付き合いさせていただいている企業も少なくありません。

一方で、エンターテインメント領域における開発にも注力しています。最近では、講談社VRラボが展開するバーチャルアイドルプロジェクトにて、ミュージックビデオの制作やリアルタイムライブの演出開発に携わっています。

このように、産業向け・エンタメ向けの両面で、様々な開発事例があります。詳細は、当社Webサイトでもご紹介していますので、ぜひご覧ください。

リアリティか、再現性か：エンタメと産業領域における開発ニーズのちがい

菊谷：エンタメと産業の領域は、一見対照的に見えるかもしれませんが、実際のコンテンツ内容は驚くほど似通っていることも多いです。例えば、エンタメであっても「シミュレータ」と呼べるものはありますし、産業分野でも「ゲーム的」な要素を取り入れたものが存在します。そのため、私たちとしても、明確に区別して考えることはあまりありません。

とはいえ、求められる要件にちがいがあるのも事実です。産業系や研究系の開発では、「この仕様で、こう動いてほしい」といった明確な要件定義と、それに対する正確な再現性が何よりも重視されます。仕様通りに動作すること、予測通りにシミュレーションされることが最重要とされる世界です。

一方、エンタメにおいては「正確さ」よりも「面白さ」や「見映え」が優先されるケースも多くあります。極端に言えば、多少事実と異なっていても、体験として魅力的であれば受け入れられるわけです。そのギャップは、私にとって非常に興味深いポイントでもあります。

かつての私は産業向けの案件をよく担当していたので、エンタメ案件でも同じように、「ここは何センチ動かせばよいですか？」と細かく仕様を確認していました。しかし、映像の監督などと仕事を重ねるうちに、「正確さ」ではなく「フィーリング」や「リアリティ」が求められているのだということを、だんだんと理解していきました。

特にバーチャルプロダクションのプロジェクトに携わるようになってからは、「リアル」な再現ではなく、「リアリティ」を感じさせる表現が求められていることを強く実感しています。

とはいえ、どちらの分野においても、最終的に目指すのは「良い映像」や「良い体験」であることに変わりはありません。そのためには、ベースとしてのエンジニアリングの正確さや安定性が不可欠です。何度でも同じシーンを再現できる、システムが安定して動作するといった技術的な信頼性が、エンタメでも産業でも共通して求められていると感じています。

新時代のバーチャルプロダクションに向けた注目技術と今後の展望

菊谷：当社では「Link-ALL」という理念の基、バーチャルプロダクションに様々な技術を集約していくことを指針としています。今後もこの方針に沿って、バーチャルプロダクションに貢献する新技術の知見を積極的に集めていきたいと考えています。

その中で、近年注目しているのが3D Gaussian Splatting（3DGS）です。これは、写真から簡易的に“3Dらしきもの”を生成できる技術で、非常に手軽に立体的な表現を実現できるのが特長です。これまでのバーチャルプロダクションにおいて、例えば「街並みをイチから構築する」といった作業は非常に高いハードルがありました。一方で、ビデオウォールに単に映像を再生するだけの手法では、カメラを振っても視差が得られず、没入感に乏しいという課題がありました。その点、3DGSはその中間に位置する、非常に現実的な解決策になると感じています。

また最近では、3DGSをさらに発展させて動画に対応させた技術も登場しており、将来的な応用可能性に大きな期待を寄せています。これについては当社が直接開発しているわけではありませんが、4Dviewsの開発会社が積極的に取り組んでいるようで、今後の動向を注視しています。

加えて、ボリュメトリック技術にも引き続き注目しています。現在は高品質なデータを取得・活用する方向での利用が主流ですが、バーチャルプロダクションの現場では、例えば群衆などの大量のキャラクターを扱うケースもあり、そこではもっと軽量なデータでの運用が求められます。今後はそうした現場ニーズに応じた軽量化やリアルタイム性を備えた技術の必要性も高まってくるでしょう。

最後に、やはり避けて通れないのがAIとの関係性です。どの分野でもAIとの共存は今や前提となっており、私たちとしても、バーチャルプロダクションの文脈でAIをどう活用すれば最も面白く、実用的になるのかという点を常に模索し続けています。

テクニカルスタッフ育成における課題と次世代への期待

菊谷：当社では、モーションキャプチャやバーチャルプロダクションを手がけていますが、これらの業務に対応できる人材が非常に少ないという課題を常に感じています。そこで、ボーンデジタルの協力を得て、かつて実施していた「モーションキャプチャ・スペシャリスト養成講座」を、内容を刷新したかたちで再開する準備を進めているところです。

近年、ゲームエンジンを扱える学生は増えており、それ自体は非常に心強い傾向です。ただし、それと同時に、「もう一歩先のレベル」に進むためには、コンピュータの基礎的な知識も備えておいてほしいと感じる場面が少なくありません。例えば、メモリを確保したら適切に解放するという基本的な考え方は、ゲームエンジンと高性能なPCに頼った開発環境では、なかなか実感として理解されにくいものです。そうした基礎を理解し、システム全体を俯瞰しながら、構造的に美しいものをつくれる技術があれば、より良いプロダクトにつながるはずです。

実際に、若手から「プログラムが落ちるので見てほしい」と相談を受けてコードを確認すると、ループの中で毎回クラスをnewしていた、というようなケースもありました。本人としては「動けばOK」という認識で済んでしまっていたようで、そうしたスタンスにはやや危うさを感じました。

UnityやUnreal Engineといった商用ゲームエンジンだけでなく、OpenGLなどのより低レイヤーの技術に自ら触れてみる経験が増えれば、結果として安定性や構造性に優れた開発ができるようになるのではないでしょうか。

私自身、学生時代にOpenGLを教えられた際は、正直なところよく理解できていなかったのですが、社会人として実務に携わる中で、「あのとき学んだ知識が、こういうトラブルの原因だったのか」と後から理解がつながった経験があります。そうした積み重ねが、土台のしっかりした技術者を育てていくのだと思います。今後の若い世代には、そうした基礎を見つめ直す重要性を伝えていきたいと考えています。

クレッセントが求める人材像と、新スタジオの魅力

菊谷：当社は常に人手不足ということもあり、少しでも興味をもってくださった方は、ぜひ気軽に遊びに来ていただきたいと思っています。リクルートページも最近リニューアルし、先輩社員の声などコンテンツを充実させていますので、ぜひご覧ください。

これまでは、教育機関の先生方のご紹介など、縁を通じた採用が多かったのですが、今回、新たにスタジオを開設するにあたって、より多くの方にクレッセントを知っていただくことにも力を入れています。特にバーチャルプロダクションに関心のある方は、ぜひ一度足を運んで、現場の雰囲気を体験してみてください。

CGW：これだけ大規模なスタジオと豪華な機材がそろっているというだけでも、非常に魅力的です。ここまでの設備を触れる環境は、そうそうありませんよね。

菊谷：実際、新入社員が高性能なシネマカメラを扱うこともあります。たしかに、そうした機材に早い段階で触れられる会社は少ないかもしれません。ただ、逆に言えば、まずは触れてみないと何も始まらないという考えの基、社員が機材に実際に触れて試すことを歓迎する社風があります。

筆者まとめ

モーションキャプチャを起点に、4Dviewsやバーチャルプロダクションへと対象を広げてきたクレッセントの取り組みは、ふり返れば「現実世界をデジタルに取り込む」という一貫したテーマの基に展開されてきたように思います。そして今、その延長線上にスタジオの建設という新たな挑戦があることに、心から驚かされます。かつては想像もできなかったようなハイスペックな設備を自らの手で築き上げてしまう姿勢は、オタクとしてシビれる！あこがれるゥ！という感じです。

さらに、自社開発の製品として展開しているVolu☆ME!のようなツールも実に魅力的です。ゼロから自分たちの手で製品を生み出すことで得られる知見は、何にも代えがたい価値をもちます。それは、新たな技術の到来を見極め、選び取るための強力な指針となるでしょう。これまで積み上げられてきた実績と知見を土台に、クレッセントが次に打ち出す一手に、今後もおおいに期待したいと思います。