新たにスタートする本連載。近年、多様な展開を見せるヴァーチャル（バーチャル）・リアリティ（VR）について、様々な視点からアプローチする。執筆するのは、株式会社ロゴスコープでリサーチャーならびにプロデューサーとして活躍するジャナック・ビマーニ博士（メディアデザイン学）。
初回は「SIGGRAPH Asia 2015」に出展されていた、国立台湾大学のYu-Hsuan Huang氏らが手がけた「Scopep+」を詳しく取り上げる。さらに「JackIn Head」（株式会社ソニーコンピュータサイエンス研究所）へも言及し、VR・ARの実践的なアプリケーションの有用性とその将来性について考察していく。
＜１＞はじめに（本連載について）
近年の技術革新は、私たちの世界の捉え方を変えるだけでなく、世界の体験の方法までも変化させる。とりわけヴァーチャル・リアリティ（VR）の発展は、視覚に語りかける映像のクリエイティビティとストーリーテリングの範囲を押し広げている。技術の発展と普及に伴い、ハードウェア／ソフトウェア両面において、誰もが没入感のある体験を生み出すことができるようになった。
本連載「Virtual Experiences in Reality」では、多様な学問から形成される関連トピックを紹介、探求、調査することで、VRを扱っていく。さらに研究、技術、クリエイティビティを重視し、様々な視点から新しいVRの知見を提示したい。この新しい創意に富んだ領域についてのダイナミックな視点を提示するために、異なる専門領域の交差するエリアに焦点を合わせていく。
今やいつくもの物語が私たちを取り巻き、その物語は私たち人間の体験と関連付けられている。現在の技術は、私たちの世界を私たちが見ているままに捉え、共有することを可能にする。VRは、個人の共有体験を強調するのだ。本連載は、これからの反復されうるストーリーテリングやコミュニケーションのあり方について、それを推進する手引きとなる人や、場所、物を紹介することを目指している。
＜２＞Scope+ : A Stereoscopic Video See-Through Augmented Reality Microscope
国立台湾大学（Graduate Institute of Networking and Multimedia, National Taiwan University）のYu-Hsuan Huang／ユー・シュアン・ホァン氏と彼のチームは、Scope+の研究開発の当初から、遠隔コラボレーション環境でのAugmented Reality／オーギュメンテッド・リアリティ（AR）アプリケーションの必要性を認識していた。「Scope+」とは、透過型のS3Dビデオ映像によるARが体感できる顕微鏡（A Stereoscopic Video See-Through Augmented Reality Microscope）のことである。Huang氏はコンピューターサイエンスの博士課程の学生であると同時に、医学を専門に学んだ眼科学者だ。Huang氏は、Scope+が顕微鏡の世界で最初のARアプリケーションであると説明する。このScope+は高度な動きと繊細な機能を有している人間の眼を扱う、若い眼科医の教育現場や研究の需要から発展した経緯がある。
Scope+ : A Stereoscopic Video See-Through Augmented Reality Microscope
Scope+開発の背景にある一番の動機は、既存の外科トレーニング用医療システムが、腹部切開、心臓及び整形外科の処置に焦点を当てていることだった。これらのシステムは、外科手術の学習に有用であるが、顕微鏡手術の領域へは容易に転用できない。Scope+は顕微鏡手術に大きく依存する美容整形、脳外科、そしてもちろん、眼科などの各領域におけるトレーニングや教育の需要へと向けられている。
２−１．システムデザイン（System Design）
Scope+のシステムデザインは、顕微鏡手術で使用される道具とVR・AR技術とを結合させることで成り立っている。主な構成要素は、HMD（ヘッドマウントディスプレイ）デバイスであるOculus Riftと改造されたPrusa i3 3D Printer（SciBot）だ。3Dプリンタの射出部分が、特別にデザインされた両眼顕微鏡モジュールに置き換えられている。
ユーザーがHMDを通してある対象を観察すると、このモジュールにより立体視を得ることができる。また、Scope+では、操作レバーがフットコントローラーに改造されている。このフットコントーラーは、顕微鏡手術の中でも、特に眼科手術のアプリケーションによく見られるものだ。
「Scope+」のハードウェア構成（写真はScope+: a stereoscopic video see-through augmented reality microscopeより引用）
Scope+のユーザーは、対象を観察し手先を集中している間にも、視点の移動、ターゲットの拡大、焦点面の位置変更、照明の強度調整が可能だ。Prusa i3と互換性のある顕微鏡モジュールを組み立てるために、2つの高解像度（1,600 × 1,200ピクセル）カメラと、2つのミラーが組み合わされている。カメラの可動域と基線長（対物レンズ間の距離）は、個別に調整可能であり、それらを駆動させるアルゴリズムと合わさって、心地よい立体視を維持する。
Scope+のシステムは、ユーザーが実際に顕微鏡を覗き込んで操作ペダルを扱う際に、遠隔作業や遠隔教育に必要なコラボレーションの基本要素を強化する。映像やグラフィックなどを用いた遠隔コラボレーションの際、一番大きな問題のひとつが遅延（latency）である。ユーザー同士の双方向の遅延時間が大きいと、実際に行う作業のリアルタイムシミュレーションが試行されることは不可能だ。
Scope+は遅延の問題に対して、GPUによるハードウェアアクセラレーションとマルチスレッドレンダリングをシステムに組み込むことで対応した。また、このシステムは2台のフルHD解像度のカメラを使っていてもハイフレームレート（30fps）を維持できる。そのため仮に遅延があったとしても最小限に抑えられる上に、この低遅延とハイフレームレートにより、一緒に作業している遠隔ユーザーに対して、遅延がまったく存在しない感覚を与える点は非常に重要である。
２−２．ヴァーチャル・トレーニング（Virtual Training for Real-Life Applications）
従来、眼科医は手術のためのトレーニングの際、人間の眼の代替品を使用してきた。動物の眼（例えば豚）、シリコンで造られた眼や、眼窩を含む頭部の人体模型が、新人の外科手術のトレーニングで使われている。Huang氏によれば、動物の眼や人工眼を使うことの問題は、それらが人間の眼ほど精巧ではない点にあるという。また、動物の眼や人工眼は、入手することや作り出すための準備に労力を要してしまう。さらに使用適正の保存期間がとても短い上に、一度しか使用できない。またもうひとつの問題は、動物の眼を使用している際に、血液や他の体液が漏れ出てくることである。Scope+の場合、生じる最も大きな液体は、集中して重要な仕事に取り組むユーザーの汗の滴だけだ。
コストを削減し、面倒な手続きを回避させるだけでなく、Scope+はユーザーがシミュレーションやトレーニングできる範囲を押し広げている点も強調したい。このシステムが資源として際限なく利用可能であるだけでなく、外科医が実際に直面するかもしれない特殊な状況を提示することも可能なのだ。例えば、ある眼科手術では、眼のレンズの上に丸い穴を開けるが、この処置が正常になされなかった場合、レンズ全体が破裂し深刻な事態を引き起こす。ユーザーのすぐ近く、あるいは地理的に非常に離れたところにいるトレーナーの手助けによって、Scope+は眼科医の手術の際のリスクを軽減し、危険な結果を回避するのを助けるのだ。
SIGGRAPH Asia 2015「Emerging Technologies」エリアにおける「Scope+」展示の様子
このScope+システムの使用時、リアルタイムビデオにオーバーレイされるARマーカーはユーザーにとってのガイドラインになる。そのため、ユーザーは彼らの眼を対象に集中できる。オーバーレイされたARレイヤーは、ジェスチャーによるナチュラルUIを通して、必要な情報を提示する。このシステムにより、ユーザーが顕微鏡から眼を離すことなく、オーバーレイされたテキストやツールの中で情報を見つけることが可能になる。さらに、このシステムは実際の顕微鏡手術の模型でもあるので、外科手術で使用されるのと同じ道具や器具が訓練の際にも使用できる。Scope+が顕微鏡手術に適しているのは、顕微鏡手術が触覚や触知のフィードバックよりも視覚に大きく依存するからだ。Scope+のユーザーには、力覚フィードバックする特別な装備や衣服は必要ない。白衣さえあれば充分だ。
（左）Scope+を用いた眼科手術のトレーニング／（右）眼科手術のトレーニング例。リアルタイムビデオにオーバーレイされたARレイヤーは、ユーザーのジェスチャーによるナチュラルUIを通して必要な情報を提示する（写真はScope+: a stereoscopic video see-through augmented reality microscopeより引用）
＜３＞VR／ARアプリケーション
Jackln Head（SIGGRAPH Asia 2015レポートを参照）とScope+の双方には、実社会でのアプリケーション展開の可能性が存在する。Jackin Headシステムのオフライン・バージョンは、すでに試行され広告やコマーシャル目的のために、多くの資金が動いている。研究者たちは、それがある特定のスポーツやエクストリームスポーツで使用されることを強く望んでいる。2020年の夏に東京オリンピックの開催が予定されており、日本の研究者たちはまたとない優位なポジションにある。近い将来、スポーツや展示イベントで、人々が360度スタビタイズ映像を体験できる日がやってくるにちがいない。
JackIn Head: 1st person omnidirectional video for Immersive Experiences
また、現在、Jackln Headのオンライン・バージョンは、30fps以上のスタビライズされた一人称視点をもたらす。今後の研究はシステムをポータブル化し、より高解像度にすることを目指している。潜在的なアプリケーションは無数にあるだろう。このシステムは、例えば、災害地域において、遠隔にいる専門家が現場にいる人をアシストするのに非常に有効である。また、遠隔での職業トレーニングでは、従来型のディスプレイに頼った二次元のコミュニケーションから離れて、指導者と学習者がまるで隣同士で働くことを可能にするだろう。
一方のScope+は、近い将来、国立台湾大学の眼科学の専門医学実習生のプログラムに組み込まれることに期待したい。若手に限らず眼科医にとって、技術の進化を促すと同時に、実際の手術でのミスを回避する重要な鍵となるはずだ。医療の領域外でも、いくつかの細部を改良することで、バイオロジカルサイエンスへも適応できる可能性もある。例えば、現代の教育カリキュラムに応えるかたちで、ブレッドボードを買っては捨てることを繰り返すことなく、何度も電子回路を試作することができるだろう。
JackIn Head とScope+は、VR・ARの実践的なアプリケーションでの真のポテンシャルを強く示している。解像度やフレームレートに関してはまだ限界があるものの、こうしたチャレンジは、技術の進歩と製品として普及により達成されるはずだ。
ここまで詳細に見てきたこの2つのシステムは、「百聞は一見にしかず」であるだけでなく、「一見が同時に実践」であることを見事に証明しているのだ。
TEXT＿ジャナック・ビマーニ（株式会社ロゴスコープ リサーチャー／プロデューサー）
翻訳・編集：橋本まゆ
Written by Janak Bhimani, Ph.D., Researcher/Producer, Logoscope Ltd.
Translated by Mayu Hashimoto
-
-
ロゴスコープ／Logoscope
株式会社ロゴスコープは、Digital Cinema映像制作における撮影・編集・VFX・上映に関するワークフロー構築およびコンサルティングを行なっている。とりわけACES規格に準拠したシーンリニアワークフロー、高リアリティを可能にする BT.2020 規格を土台とした認知に基づくワークフロー構築を進めている。最近は、360 度映像とVFXによる"Virtual Reality Cinema"のワークフローに力を入れている。また設立以来、博物館における収蔵品のデジタル化・デジタル情報の可視化にも取り組んでいる。
ロゴスコープ公式Facebookページ
