2025/06/30 PR

3DLEDディスプレイシステム「Immersive LED System」と、マーカレスモーションキャプチャ「AR51」の組み合わせで切り開く、没入型コンテンツの新境地

革新的なマーカレスモーションキャプチャシステムが登場した。イスラエルのAR51社が開発・製造する「AR51」は、マーカースーツやグローブなどの着用が不要で、複数人を同時にキャプチャ、さらに演者が手に持つボールや小道具などのオブジェクトトラッキングやフィンガートラッキングも可能なリアルタイムのモーションキャプチャシステムである。

ゲームや映画などのコンテンツ制作はもちろん、その特性を活かすことでXRライブやイマーシブコンテンツを新たな次元へと導く可能性を秘めている。そんなAR51を、新たなエンターテインメント体験の研究開発を行なっているHibino Immersive Entertainment Labが試用。その手応えを聞いた。

記事の目次

「AR51」紹介ムービー
120fpsで収録できるカメラ8台と制御用PCで構成されたシステムを拡張することで同時収録は無制限だという。さらに、収録規模にかかわらず9msという低遅延を実現している

新しいエンタメ体験のR&D拠点「Hibino Immersive Entertainment Lab」とは？

「音と映像で、世界に感動をクリエイトする」を企業パーパスに掲げているヒビノ。CGWORLD読者的には、ハイエンドのバーチャルプロダクションや大型LEDディスプレイシステムを用いたライブエンターテインメントをテクノロジー面から支える存在と認識している人も多いだろう。

そんなヒビノは2023年11月に、大型映像・バーチャル・3次元LED技術を活用した新たな演出手法や没入型体験の研究開発・デモンストレーションを行う拠点として「Hibino Immersive Entertainment Lab」の運用を開始した。

同ラボには、3DLEDディスプレイシステム「Immersive LED System」が常設されている。「Immersive LED System」は米Liminal Space社が自社開発したパッシブ3次元LED技術「Ghost Tile」を活用しており、ヒビノがこれまでに培ってきた大型映像技術、バーチャル技術を掛け合わせることによって、次世代のイマーシブ体験を提供していこうとしている。

なお、ヒビノは2023年8月にLiminal Space社と資本業務提携契約および3次元LED技術の運用に関する技術ライセンス契約を締結している。

Hibino Immersive Entertainment Labに常設された幅21.6メートル、高さ3.6メートルの「Immersive LED System」。独自の偏光フィルターと専用S3Dグラスを用いることで、現実と仮想世界（3DCG・AR／MR）をシームレスに融合させた新たな演出手法と没入型の演出体験の研究開発およびデモンストレーションを提供している

イマーシブ×インタラクション、高次元での融合を探る

——こちらの施設では、三次元LED技術を用いた最先端の演出やイマーシブ体験などのR&Dを行なっているそうですね。今回、AR51を試そうと思われた動機を教えてください。

ヒビノ／渡邉真之輔氏（以下、渡邉）：
イマーシブを追求していく上では、インタラクティブ要素を取り入れていく必要があると思っていました。

アーティストの方や、イマーシブ体験をされるお客さんの動作をリアルタイムでキャプチャできる良いものはないかと探し続けていたのですが、昨秋のInter BEE 2024でAR51のデモを見る機会がありました。

キャプチャスーツが不要で、対象エリアに入ればすぐにキャプチャされる。そして9msという、非常に低遅延なところにも惹かれました。

**渡邉真之輔／Shinnosuke Watanabe**
ヒビノビジュアル Div. XR and Pro-imaging XR Unit　課長（ヒビノ）

HELTEC／池田隆行氏（以下、池田）：
仕事柄、マーカレスモーションキャプチャには15年前から注目していました。

今年1月にAR51と国内販売代理店契約を締結しました。その優れた性能はもちろんですが、決め手になったのは開発体制の充実と将来性です。

コンピュータービジョンのPh.D（博士）が10名も在籍していることもあって、オブジェクトトラッキングの対応、UnityとUnreal Engine向けプラグインの提供開始など、わずか数ヶ月の間に矢継ぎ早に大きな改良・強化を実践しています。

われわれはベンダーとお客さんの架け橋となる立場ですが、フィードバックへの対応もとても早い。HELTECのプロダクトを育てていくという方針にも協力的です。

**池田隆行／Takayuki Ikeda**
執行役員、センシング事業部長（HELTEC）

——今回、ヒビノとHELTECのコラボレーションによって実施された検証について教えてください。

渡邉：
AR51システムを1ヶ月ほどお借りして、デモコンテンツを作ったりしながら色々と試させていただきました。

体験者が手を動かすとLEDウォールが壊れるという、シンプルながらも没入体験できるコンテンツをUnreal Engine 5で作ってみました。

AR51は、キャリブレーションが本当に早くて驚きました。30秒ぐらいで済みました。

池田：
最初のセットアップだけ少し時間を要しますが、カメラ位置を変えるといった大きな変更をしないかぎり、翌日以降はキャリブレーションを行う必要がありません。

今回も1ヶ月の間で、最初と途中の2回しかキャリブレーションを行いませんでした。

AIを用いた画像認識技術を活用することで手軽さと高性能を両立はもちろん、システムの堅牢堅実性とスケーラビリティを備えているのがAR51の強みです。

今回作られたデモの様子。体験者の腕の動きに合わせて壁が破壊される。写真では1人だが、カメラ8台の構成で同時に6名までリアルタイムキャプチャできる。カメラの台数とPCを増設すれば、収録対象エリアと同時収録人数は無制限だという（※詳しくは、HELTECまで）

Hibino Immersive Entertainment Labに設置されたカメラ。今回は、900万画素＆120fps対応カメラを12台設置

AR51の制御UI。900万画素のカメラを用いる場合、CPU：Intel Core i9-13900K、GPU：Gigabyte RTX 4090、RAM：64GB（DDR5-5200）　を搭載したワークステーションを使用。今回は12台のカメラを扱うため、2台のWSで運用していた

体験を共有できることがイマーシブの大きな魅力

——デモを体験して、非常に綺麗な発色で奥行きのある立体視が実現できていることにも驚きました。プロジェクタではなく、LEDディプスレイを用いていることが大きいですか？

渡邉：
そうですね。LEDディスプレイは自発光だからプロジェクタよりも高輝度で鮮明です。

LEDディスプレイに独自の偏光フィルターを施工し、専用の3Dグラスと組み合わせることで、従来のプロジェクタ方式に比べてステレオ・コントラスト比（3D表示の奥行き効果）を大幅に向上させることができます。

Immersive LED Systemは、高輝度でフリッカーやジャダーが発生しにくいので、3D酔いが起きるリスクも大幅に抑えられている。また、140度と広視野角なので相応の広さのLEDを設営すれば数千人規模のイマーシブコンテンツも実現できるという

——今回の実証実験の手応えを聞かせてください。

渡邉：
AR51を用いることで、われわれが取り組んでいるイマーシブ体験にインタラクション演出を効果的に取り入れることができると思いました。

ヒビノでは、多くの実績があるコンサートやライブイベントに加えて、テーマパークや美術館などのロケーションベースエンターテインメントにもこの拠点で研究開発しているシステムを利用してほしいと思っています。

その意味でもAR51を利用することで、今までなかった新しいイマーシブコンテンツが創り出せるのではないかと思っています。

池田：
HELTECには、モーションキャプチャ領域では多くのお客様がいらっしゃいます。一方で、イマーシブはまだ新しい領域なので世界中でその可能性を模索しているところです。

今回は、ライブイベントから常設の施設まで豊富な実績があるヒビノさんとコラボレーションさせていただくことができて、とても有意義でした。

イマーシブの大きな魅力は「体験を共有できること」だと思っています。AR51は、すごく手軽に高度なモーションキャプチャが実現できるシステムなので、何か新しいことにチャレンジしたいと思っている方にぜひ一度試してほしいです。

マーカレスモーションキャプチャ「AR51」

【主な特長】
・同時収録人数無制限（※120fpsカメラ8台で構成されたワークステーションPCを拡張することで可能）
・演者のキャリブレーション不要
・オブジェクトトラッキング対応
・フィンガートラッキング対応
・スタジオの広さに合わせ、スケーラブルなシステム構築
・Unity／Unreal Engineプラグイン付属
・全てはリアルタイムに、超低遅延（9ms）で動作