ボリュメトリックキャプチャ映像の編集から配信までを一貫して行える統合型プラットフォーム「HoloSuite」。制作現場で大幅な作業時間の短縮を実現している同ツールを提供するのは、米・サンフランシスコに本拠を構えるArcturus社。

今回は、Arcturusのサンフランシスコスタジオを訪問し、100台のカメラによる最新のキャプチャ設備「HCAPシステム」を視察。さらに、Founder/CCOであるEwan Johnson氏にインタビューを実施し、HoloSuiteの技術的な特徴と、同社が描くボリュメトリックキャプチャ映像の未来について話を聞いた。

HoloSuiteとは？ ボリュメトリック映像の編集・配信までを一貫して行える統合型プラットフォーム

HoloSuiteは、Arcturus社が開発したボリュメトリック映像のポストプロダクションおよびストリーミングツール群の総称。主に以下の3つのコンポーネントで構成されている。

①HoloEdit：非破壊型のノンリニア編集ツールで、ボリュメトリックデータの編集、リギング、圧縮、ライティング調整などが可能。
②HoloStream：適応型ビットレートストリーミングを提供し、ネットワーク環境に応じて最適な品質で3Dコンテンツを配信する。
③HoloSuite Player：UnityやUnreal Engine、iOS、Android、Webブラウザなど、さまざまなプラットフォームでの再生をサポートするプレイヤー。

ボリュメトリックキャプチャスタジオ「HCAPシステム」探訪

今回訪問したのは、同社の中核技術である「HCAPシステム」が設置されたスタジオだ。

HCAP（HoloEdit Capture）とは？

HCAP（HoloEdit Capture）は、Arcturus社が開発したボリュメトリックビデオ編集ソフトウェア「HoloEdit」で使用される専用のMP4ベースのファイル形式である。この形式は、3Dモデルの形状データを含むメッシュストリーム、表面の質感や色彩情報を含むテクスチャストリーム、同期された音声データを含む音声ストリームの3つの主要なデータストリームを統合している。これにより、複数のデータを一つのファイルにまとめることが可能となり、効率的なデータ管理と編集が実現される。HoloEditでは、「Make Clip」機能を使用してHCAPファイルをインポートし、編集や再構成を行うことができる。この統合的なアプローチは、ボリュメトリックコンテンツの制作ワークフローを簡素化し、制作効率の向上に寄与している。

「これは、私たちのHCAPセットアップです。メッシュとテクスチャの再構築を行っています」と説明するのは、同社スタッフのガーバーマン氏。円形に配置された約100台の小型カメラが、中央のキャプチャエリアを包囲している。

本システムは、各カメラの映像を収集し、それを統合して背景を除去するコンピュータビジョンモデルを用いることで、3Dアセットを生成する仕組みだ。生成された3DオブジェクトはUnityやUnreal Engineといったゲームエンジンに取り込めるほか、ウェブページ上でストリーミングしたり、ARKitやARCoreを用いてスマートフォンやタブレット上でレンダリングすることも可能だ。興味深いのは、スタジオ常設のセットアップとは別に可搬型の新しいシステムがあることだ。

「移動可能な型で、折りたたんで配送可能なクレートに収まります。これにより、スタジオ外での使用が可能になります」とガーバーマン氏は説明する。

HCAPシステムは医療用途、訓練・シミュレーション、ファッションショー、広告、マーケティング、ブランドプロモーション、ビデオゲームなど多岐にわたって利用されているが、現在最も有効だと感じているのがスポーツ分野だという。

「最近の方針として、弊社はスタジオ外での撮影、特にスポーツ分野に注力しています。スポーツでは、ボリュメトリックキャプチャによって、フィールド上のアクションを再構成し、仮想カメラを任意の位置に配置可能です。例えば、打者目線で野球のボール視点を見ることだってできます。映像は2D放送、タブレットやスマホ、VRヘッドセットなど多様なデバイスで再生可能です。」（ジョンソン氏）

「キャプチャ後のアセットを編集するツールが必ず必要になる」 ーHoloSuite開発の経緯

——ボリュメトリックキャプチャが注目される背景には、どのような業界ニーズがあるのでしょうか？

Ewan Johnson氏（以下、Ewan）： 根本的には「本物らしさ」への需要が高まっていることが大きな要因です。AIで生成されたキャラクターが普及する一方で、人間の実際の動きや表情こそが真の表現を生むという考え方が、映画、広告、VRなどの分野で強くなっています。

特に米国では、LEDウォールを使ったニュース・スポーツの演出が非常に進んでいます。Unreal Engineを使ったバーチャルセットが一般化しつつあり、そこに人物のボリュメトリック映像を組み合わせる事例が急速に増えています。

一方、日本では2DのMVや短編映像での活用が多く、Crescent社と共同で制作したchelmicoのMV『easy breezy』などは優れた事例です。3年前に制作したマクドナルドの月見バーガーのARなども好例ですね。世界市場と日本市場では、まだ活用方法に違いがあると感じています。

——設立のきっかけと、現在のビジョンを教えてください。

Ewan： 弊社は7年前にゲーム業界と制作ツール分野出身の3名によって設立されました。設立当初のビジョンは、2D映像編集から3D体験への移行において、人間のパフォーマンスをいかにリアルにデジタル空間に持ち込むか、というものでした。

当時、Microsoftなどがキャプチャ技術を進める中、私たちは「キャプチャ後のアセットを管理するツールが必要になる」と考え、「HoloEdit」を開発しました。
キャプチャ市場に直接参入するのではなく、既存のシステムと共存する道を選んだのです。他のキャプチャ企業は「技術の完成度が上がれば編集は不要」と考えていましたが、私たちは「映像は必ず編集が必要」と信じ、編集ツール開発に注力しました。

設立当初から「キャプチャに依存しない編集ツール」を掲げており、それは現在も変わりません。ただし、現在は方向性を拡張し、スタジオ撮影から実際の競技場などフィールドへとキャプチャの対象を広げ、スポーツのリアルな体験をデジタルに変換することに注力しています。

HoloSuiteの独自性ー「編集特化」は明確な戦略

——他のツールにはないHoloSuiteの特徴を教えてください。

Ewan氏： 我々が編集に特化した背景には、明確な戦略があります。Depthkitや4Dviewsなどキャプチャ技術に強いツールは確かに存在しますが、キャプチャ後のアセット管理や編集については十分な解決策がありませんでした。

HoloSuiteの主な特徴は3点です。

まず、映像品質の大幅な向上。ボリュメトリックデータの不要部分の除去や顔部分の高解像度保持などが可能で、圧縮率90～95％を実現しています。これにより、データサイズを大幅に削減しながら、視覚的品質を保つことができます。

次に、軽量でリアルタイム再生が可能になったこと。モバイルで4〜5台、PCで70台以上の同時再生ができます。これは従来技術では不可能でした。

そして、Unreal EngineやUnityとの高い互換性により、創作に集中できる環境を提供できるようになりました。

従来は「品質・スピード・低コスト」この三つを成立させることはできないと言われてきましたが、HoloSuiteではそれが可能になっています。

他社技術との共存ー大幅な作業時間の短縮が実現、リアルタイムプレビューでさらにクリエイティブに集中できる

——他社技術との連携例はありますか？

Ewan氏： はい、我々は他社技術との共存を重視しており、様々なキャプチャシステムからのデータを受け入れることができます。

西日本で撮影された「Mechanics」などは4Dviewsでキャプチャし、HoloSuiteで編集・配信されました。KDDIのMVも自社キャプチャ＋HoloSuiteで制作され、CanonによるARビルド体験も事例の一つです。

——制作現場でのHoloSuite導入による変化はありますか？

Ewan氏： 制作現場での変化は劇的です。従来のワークフローでは、キャプチャ後のデータ処理に膨大な時間がかかっていましたが、HoloSuiteの導入により編集時間が大幅に短縮されました。

また、リアルタイムプレビュー機能により、編集中に即座に結果を確認できるようになったため、制作者はより創造的な作業に集中できるようになっています。

——今後のHoloSuiteのアップデートや展開について教えてください。

Ewan氏： 2年前、Microsoftのキャプチャチームを統合し、「撮影〜編集〜配信」までの統合プラットフォームを構築しました。これにより、スタジオ外、つまり実際のイベント現場（スポーツ・コンサート等）でのキャプチャが可能となりました。

我々が目指すのは、「世界中の誰もが、その場にいるように体験できるライブ感」の実現です。従来の2D動画と違い、3Dデータにより自由にカメラを操作でき、視聴者それぞれが独自の視点でコンテンツを楽しめるようになります。

Web配信についても、WebXRやWebGLを活用したブラウザベースの配信システムを強化しており、特別なアプリをインストールすることなく、ボリュメトリック映像を視聴できる環境を整備しています。AR連携では、ARKitやARCoreとの統合を進めており、スマートフォンやタブレットでの視聴体験を向上させています。スタジアム内のファンエリアでのインタラクティブ体験や、インフルエンサー向けの活用も想定されています。インフルエンサーごとの独自視点を提供することで、これまでにない映像体験を創出できるでしょう。