「SIGGRAPH Asia 2015」におけるEmerging Technologiesならびに展示会場（Exhibition）を中心に、人間とテクノロジーの関わり方について提起するような展示を実際に見て、触れて、体験した。一連の貴重な体験を下に、"Virtual Experiences in Reality"というキーワードを軸として、いくつかの革新的な技術による画期的なシステムについて取り上げたい。本稿では、「JackIn Head」を紹介する。

＜１＞"Virtual Experiences in Reality"とは

遠隔かつヴァーチャルなコミュニケーションは、現代社会を生きる私たちの希求であり、進行中のチャレンジだ。異なる場所にいる人同士を結び交流させることは、すでに実現されてきているし、ビデオチャットや遠隔会議システムの商業的な普及を通して、頻繁に広く利用されてもいる。
ただ、こうしたアプリケーションはエンターテイメントやビジネス目的のためには十分である一方、それが提供する範囲は、広がりの上でも深さの上でもまだまだ限定的だ。とりわけ、ヴァーチャルリアリティ（VR）とオーギュメンテッド・リアリティ（AR）のアプリケーションおよびハードウェアの急増に伴い、遠隔コミュニケーションの大きなながれは、単なる音声やビデオチャットの域を超え始めている。体験の共有、コラボレーションが可能になった時代において、ヴァーチャルリアリティおよびオーギュメンテッド・リアリティの技術とツールがもたらす遠隔コラボレーションは、コラボレーション体験の範囲を押し広げている。

sigasia2015

image courtesy of ACM SIGGRAPH

Exhibitionエリアの奥に設けられた、「Emerging Technologies」エリアの様子

＜２＞JackIn Head

「JackIn Head」とは、笠原俊一氏（株式会社ソニーコンピュータサイエンス研究所、以下Sony CSL）と、暦本純一氏（東京大学大学院情報学環 教授、Sony CSL副所長）が打ち立てた"human to human telepresence"リサーチ・プロジェクトである。このプロジェクトの目的は、一人称視点（first-person point-of-view／POV）でのコンテンツ制作とリアルタイム没入体験の新たな道を切り開くことである。このJackIn Headシステムには2バージョンがある。オフラインとオンラインだ。

JackIn Head: 1st person omnidirectional video for mmersive Experiences

２−１．JackIn Head オフライン・バージョン

オフライン・バージョンは、装着者の周囲環境と体験を記録できる6台の広角カメラを搭載したヘルメットから成る。従来型の一視点の限られた視野角のみを記録するカメラを搭載したヘルメットとは異なり、このJackIn Headオフライン・バージョンは、装着者の周囲360度を捉え、フルHD画質のハイ・フレームレート（HFR）で映像を記録する。

さらに全方位画像のスタビライズを行うため、遠隔にいる観賞者にとって、より心地よい体験をもたらす。これに対して、従来型の頭や体に装着するカメラシステムでは、レンズが正面から捉える角度しか記録できない上に、カメラの装着者が体験する全ての衝撃や動きに影響を受けてしまう。カメラの装着者が、動き、方向、速度の変化を補正可能であるのに対して、一人称映像の観賞者は、カメラが映し出すジッターも含め、全てを見ることになり、場合によっては、こうしたことがコンテンツへの興味を失わせるし、酔いをもたらす原因になる。

しかし、JackIn Headオフライン・バージョンにおいては、スタビライズと複数台のカメラ使用の結果、揺れの少ない、よりロバストな視覚体験が実現されている。展示会場でのデモンストレーションには、陸上ハードル、フィギュアスケート、バイク、キックボクシング、体操競技選手などの一人称映像が展示されていた。

  • sigasia2015
  • sigasia2015

（左）JackIn Head -オフラインバージョン。自転車からの一人称映像（スタビライズ処理後）／（右）JackIn Head - オフラインバージョン。体操競技者の一人称映像（スタビライズ処理後）

スタビライズされた映像とそうでないものちがいは簡単にわかる。例えばキックボクシングの映像では、カメラの装着者が攻撃される時、スタビライズされていない映像には多くの唐突で急激な動きが含まれてしまい、観賞者はこうしたコンテンツでガタつきやぶつ切れの感じを抱く。
一方でスタビライズされたバージョンでは、2人のボクサーのまるで振り付けされたダンスを見ているかのようだ。他のデモンストレーション映像でも同様に、スタビライズバージョンは滑らかで観賞しやすい一人称映像を生み出していた。

２−２．JackIn Head オンライン・バージョン

JackIn Headのオンライン・バージョンは、リアルタイム性を有したテレプレゼンスアプリケーションになる。Bodyユーザーと呼ばれる人が、映像を捉えるカメラユニットを装着し、もう1人の遠隔にいるGhostユーザーへ一人称映像を伝送する。Ghostユーザーは、Head Mounted Display（HMD）の使用により、没入映像体験が可能になる。

この非常にユニークなJackIn Headのオンライン・バージョンの装置は、見かけの上でもオフライン・バージョンとはっきりと異なる。一見したところ、人の耳より少し大きなヘッドホンのようであり、映画『スターウォーズ』のレイア姫の耳を覆うヘアバンドによく似ている。このデザインには理由があり、それぞれの耳の端に、HDの魚眼レンズカメラが搭載されているのだ。このウェアラブルなJackIn Headユニットは、装着者の運動にしなやかさをもたらす。なぜなら、装着者の頭周辺や周囲の様々な場所にカメラを向けるにもかかわらず、ウェイトやオブストラクションを最小限に抑えるからだ。

sigasia2015

JackIn Head オンラインバージョン。2台の魚眼レンズカメラを備えたGhost User ハードウェアユニット

Bodyユーザーを基点とする360度全方位を2つの魚眼レンズが映像として捉える。そして、この映像をBodyユーザーに接続されたコンピューターに有線で伝送して、GPU処理によりリアルタイムにスタビライズさせ、ステッチングする。その結果、Ghostユーザーは遠隔にいながら、Bodyユーザーの周囲環境を把握可能になる。さらにGhostユーザーは、Bodyユーザーに対して頭の向きを指示することなく、HMDに備わったヘッドトラッキングによって、見たい方向に視野を向けることができる。これは遠隔コラボレーション作業にとって非常に有益である。JackIn Headのオフライン・バージョンと同じく、全方位映像のスタビライズにより、Ghostユーザーは、心地よい視覚体験を得ることができる。さらにBodyとGhostの間の同時的な映像コミュニケーションが可能になるように映像がリアルタイムでスタビライズされている。

sigasia2015

JackIn Head オンラインバージョン。2台の魚眼レンズカメラを備えたGhost User ハードウェアユニット／（右）JackIn Head オンラインバージョン。GhostユーザーがHMDで見る一人称映像（写真は平面ディスプレイに出力された映像を撮影）

現行の映像コラボレーションシステムでは、遠隔のユーザーや観賞者の見たい対象は、カメラの装着者に大きく委ねられてしまう。例えば、遠隔ユーザーがカメラ視野の左外側を見たい時、カメラの装着者に左を向くよう指示を与えねばならない。また、仮にカメラが頭の先やヘルメットの上に装備されていれば、視野はカメラの視野角に限定されてしまい、遠隔ユーザーは下方を見ることはできない。
しかし、JackIn Headのオンライン・バージョンに組み込まれている2つの魚眼レンズは、Ghostユーザーに頭を基点とする球状の視野をもたらし、上述のような問題を解決する。さらに、 カメラユニットの装着者であるBobyユーザーに対しても動きの自由を与える。Bodyユーザーは好きな対象を好きな方法で見られるのだ。またGhostユーザーにとっても、Bodyユーザーの頭部位置が遠隔体験を邪魔する状況は生じない。

＜３＞まとめ

カメラユニットを装着するBodyユーザーに動きの自由を確保しつつ、Ghostユーザーに連続的かつスムーズでほぼ制限のない視野をもたらす、この点こそがリアルタイムのJackIn Headシステムの遠隔コラボレーションにおける最も重要な貢献であるだろう。
このようなJackIn Headシステムでは、HMDを装着したGhostユーザーが見下ろし、Bodyユーザーが動かす両手を見ることさえできる。仮に、BodyユーザーとGhostユーザーの互いの物理的距離が、例えば数メートルと非常に近い場合、Ghostユーザーは Bodyユーザーの視野から、自分たちを見ることができる。この体験は不気味であると同時に魅惑的でもある。近い将来、物理的に離れた場所にいるチーム同士が、ヴァーチャルにコラボレーションする可能性は、もうそこに見えている。

さて、次回の"Virtual Experiences in Reality"は新連載として装いも新たに、SIGGRAPH Asia 2015のExhibition会場から、「Scope+」について、レポートする。

＜参考文献・URL＞
「JackIn: 一人称視点と体外離脱視点を融合した人間ー人間 オーグメンテーションの枠組み」　笠原俊一、暦本純一「情報処理学会 インタラクション」（2014）

Jack-In Head: Immersive Experiences Transmission by Wearable Omnidirectional Camera with Motion Decoupling（東京大学大学院情報学環 暦本研究室）

First Person Omnidirectional Video: System Design and Implications for Immersive Experiences　Shunichi Kasahara, Shohei Nagai, Jun Rekimoto
TVX '15 Proceedings of the ACM International Conference on Interactive Experiencess for TV and Online Video

TEXT＿ジャナック・ビマーニ（株式会社ロゴスコープ リサーチャー／プロデューサー）
翻訳・編集：橋本まゆ

Written by Janak Bhimani, Ph.D., Researcher/Producer, Logoscope Ltd.
Translated by Mayu Hashimoto