今年8月に開催された「Vket Real」のソニーブースでは、同社の空間再現ディスプレイを活用し現実のお客さんをVR空間のアバターが接客するという新たな試みがなされ話題を呼んだ。ここでは、HIKKYとソニーのコラボレーションで生まれたイマーシブストアの裏側に迫る。

※本記事は月刊「CGWORLD + digital video」vol. 316（2024年12月号）からの転載となります。

バーチャルとリアルの融合、3拠点をつなぐVRイベント

今年8月、VR法人HIKKYが主催する「Vket Real 2024 Summer」が開催された。第3回となる今回は、秋葉原・渋谷・大阪の計3都市での同時開催となった。「Vket Real」は、アバター姿のままでも現実世界を楽しめるコンテンツを提供することで、「自分の好きな姿で自分の好きなように生きる世界」を目指し、様々なリアルとバーチャルをつなぐ体験を提供しているイベントだ。

一般的な展示即売に加え、バーチャル×リアルの作品や交流会など独自の展開も行なっている。さらに最新技術を駆使した「Vketアトラクション」によって、VRユーザーは家にいながら会場や街へ出かけられる「バーチャルな姿のままリアルに飛び出す」体験を得ることができるのが特徴だ。

また、同時にXR関連のクリエイティブ活動およびコミュニティ活性化も目的とし、プラットフォーマーや企業・団体、開催する街のお店などに参加を促すことにより、メタバースの未開市場を一丸となって開拓していくことも視野に入れている。

今回のイベントではソニー株式会社の空間再現ディスプレイ（Spatial Reality Display：SRD）を使い、HIKKYがクリエイターと開発したバーチャル空間とリアルの3拠点をつなげる展示即売会「飛び出す！しゃべって繋がるイマーシブストア」を展開し、好評を博した。

SRDはHMDを装着せずとも、裸眼で実在感のある立体映像が楽しめるディスプレイだ。HIKKY代表の舟越 靖氏は「HMDなしでアバターが現実世界に出てこられるような体験を夢見てきましたが、それがソニーさんとタッグを組み、コミュニティやクリエイターの力を借りて実現できました」と感慨深く語ってくれた。

ソニーの別府大輔氏も「製品開発と日々のアップデートを続け、クリエイターの創造性を広げられるようサポートしていきたいと考えています」と今後の展望を語る。それでは、イマーシブストアという先端の技術とコンテンツ力がマッチアップした両社の取り組みを紹介していこう。

＜1＞「飛び出す!しゃべって繋がるイマーシブストア」

HMDなしで体験できるアバターによる接客

イベント会場での実際のイマーシブストアは、バーチャル上の多角形ストアの一部がリアルに飛び出したように構成され、壁面のメインモニタの向こう側でアバターがリアルタイムで接客をしてくれる。メインモニタ横の2枚のモニタは「窓」になっており、並んでいる間もバーチャル空間内の接客の様子を覗き見ることができる。

ディスプレイ越しにバーチャルのキャラクターに接客をしてもらうイベントはすでにあるが、1つのバーチャル空間を介して複数の拠点をつなげるしくみが今までにない点だ。来場者がいる拠点から別拠点の様子がバーチャルを通じて窓越しに見えるため、より「そこにある」感覚と、世界がつながっているという、思わず「ワオ！」と声が出るような新しい体験ができる。

イマーシブストアのアイデアは、HIKKYのスタッフがSRDの展示イベントで縦に3台つなげて1つの大きな画面として見せているソニーのコンテンツを見たことから生まれた。「3面をつないだソニーのコンテンツはまさに覗き込む体験で、そこにインスピレーションを受けて今回のアイデアをクリエイターと共に考えました」と企画営業部事業開発担当の氏家幸大氏（HIKKY）は、そのインパクトを語ってくれた。

その後、ソニーは斜め45度でデスク上に設置するスタイルを前提としていたSRDを、裸眼立体視の面白さをもっと多くの方に見てもらうため、壁掛け形状で活用できるようにソフトウェアをアップデート。これによりショールームやイベント、店頭展示といった用途での引き合いが増え、そのタイミングでHIKKYから「VketReal」について今回の提案があったという。

VRコンテンツ制作やイベントでの体験づくりのプロフェッショナルであるHIKKYのユニークなアイデアと、ソニーのエンターテインメントに関わる高度な技術の融合により、マーケティング、エンジニアともども非常に盛り上がったところから企画がスタートした。この話が持ち上がったのは本番の1ヶ月半ほど前で、実際に制作を初めたのはなんと1ヶ月前だという。

この短い制作期間で完成できたのは、HIKKYが長年培ってきたVRの知見に加え、コミュニティやクリエイターたちの協力が大きかったそうだ。作業は外部のクリエイターが2Dデザインとシステム実装を担当、HIKKYのモデラーが3Dモデルを担当している。

ストアのコンセプト設計

イマーシブストアのコンセプトイメージ。バーチャルにある多角形の店舗ブースに在中しているアバターが、各地にあるリアル会場の人を接客して物販をする形式だ。ブース内部の壁面には各地のリアル会場につながっているモニタがある。バーチャル空間にはTシャツなどのグッズがストックしてあり、これらをアバターが説明しながら販売していく。設置場所を選ばずに多くの場所をつなげることができるバーチャル空間の特徴を活かした設計となっている。

実際のストアとメタバース接客

• 

• 

飛び出すサイネージとアイテムギミック

• 

• 

＜2＞空間再現ディスプレイ「ELF-SR2」とResonite

裸眼で楽しめるSRDとResoniteによるコンテンツ制作

接客窓口としてバーチャルとリアルをつなげた空間再現ディスプレイ「ELF-SR2」は、高色域の4K立体映像でバーチャル空間を現実世界に「召喚」する。バーチャルのものが、まるでそこに実物があるように、視線認識技術により立体映像体験を実現する画期的デバイスとなっている。

リアルな立体映像を実現するため、高速・高精度のリアルタイムセンシング技術、リアルタイム映像生成アルゴリズム、マイクロオプティカルレンズなどのソニーの独自技術が使われている。コンテンツを制作したHIKKYによると、UnityやUE用のプラグインやSDKもアップデートされながら配布されていて開発環境が整っているので、今回のような凝ったコンテンツ制作も容易にできたという。

バーチャルのストアはVRプラットフォームのResoniteで制作されている。Resoniteはワールドやアイテム開発、ツールやアバター制作から公開まで全てが1つのプラットフォームで完結することが特徴だ。同時に、OSCやWebSocket、HTTPなど様々な外部通信も可能なため、イマーシブストアのような現実とメタバースをなげる自由度の高いコンテンツの制作に向いている。

また、ワールドではなくアイテムが中心の世界観であるというところが特徴のひとつで、その場にあるものはなんでも動かしたり増やしたり、保存することが可能。そのため、ワールドで見つけた素敵な帽子をその場で身に着けてアバターを更新したりすることもできる。まだリリースされて間もないが、日々アップデートされて常に最先端を走っている点ではメタバースプラットフォームの中でも『レディ・プレイヤー1』や『サマーウォーズ』の世界観に最も近いと言われている。

基本的に使えるアバターはFBX、GLBなど多くの基本的な3Dモデルのデータ形式に対応しているため、画面にモデルデータをドラッグ＆ドロップし、アバタークリエイターを使ってセットアップするだけだ。直感的に頭と手の位置を合わせるだけなので意外と簡単にできる。わからなければバーチャル上で一緒に作業ができるため、目の前で他の人に手伝ってもらってセットアップも可能だという。

最近では、他のプラットフォーム向けにUnity上でセットアップされているアバターをResonite向けに変換するツールがあり、より参入する敷居は下がってきている。

空間再現ディスプレイの基本仕様

• 

• 

Resoniteでのアバター読み込みとワールド制作

• 

• 

• 

• 

＜3＞コンテンツ制作における工夫と最適化

体験を重要視した制作とそれを支えるソニーの技術

イマーシブストアでのコンテンツの工夫は、技術的なことと同時に、感動的な体験をいかにつくるかのクリエイティブが大事だった。例えば、会場に設置された販売スペースはバーチャルの多角形ストアの一部がせり出した形になっていて、並んで待っている間でもバーチャルでの接客を見ることで臨場感を感じたり、実際に購入したものをレシートで出してその場で渡したり、中のアバターと一緒に写真を撮るサービスをしたり、ここでしかできないおもしろい体験があふれている。

アパレル業界では、接客して試着まで持ち込むと9割以上が購入するというデータがあるように、満足できる接客は商品購入につながる。イマーシブストアはサイネージを使うだけではなく、中のアバターがリアルに接客することでユーザーの購買意欲をかき立てる体験になっているという。お祭りのときに、ついつい屋台で食べ物を買ってしまうことにも似ている。

そのような体験コンテンツをつくるときに、裸眼で実在感のある立体映像を体験できるSRDの表現力は効果が大きく、自然にVR空間とリアルの接点をつくれることで一気に体験としての精度や感動値が高まり、購入へとつながったようだ。加えてSRD側でも、よりコンテンツ体験の価値を高める工夫がなされている。今回のような垂直の設置角度はSDKのアップデートで対応可能になり、水平方向への飛び出しや、奥行きを感じられるコンテンツの再生に適している。

既存のプロジェクトファイルから変更をほとんど加えることなく手軽に対応できるため、コンテンツ制作側の負担も少なかったという。しかし垂直に設置すると、例えば奥行きのあるコンテンツを視聴する場合、顔を動かした際に背景が大きくブレて見えてしまう現象が起こってしまうため、フィルタをかけることでブレを軽減する「奥行き視聴調整」が機能として追加されている。「あまりフィルタをかけすぎるとトラッキングの追従性が落ちてしまうので、上手くバランスをとっています。ブレが大きいと、人の体験としての品質が落ちてしまうこともあり、注意して調整しました」とソニー 技術センター 商品設計の石橋時光氏は、この機能の重要性を語る。

本当にクリエイターが使いやすいものをつくろうとしたら、こういったアップデートを重ねることが大事になってくるとのことだ。

UXを考慮したモデル制作

垂直設置に対応した開発

• 

• 

• 

• 

• 

• 

詳細・ご購入はこちら