>   >  Virtual Experiences in Reality:第1回:Scope+ 〜 A Stereoscopic Video See-Through Augmented Reality Microscope 〜
第1回:Scope+ 〜 A Stereoscopic Video See-Through Augmented Reality Microscope 〜

第1回:Scope+ 〜 A Stereoscopic Video See-Through Augmented Reality Microscope 〜

新たにスタートする本連載。近年、多様な展開を見せるヴァーチャル(バーチャル)・リアリティ(VR)について、様々な視点からアプローチする。執筆するのは、株式会社ロゴスコープでリサーチャーならびにプロデューサーとして活躍するジャナック・ビマーニ博士(メディアデザイン学)。
初回は「SIGGRAPH Asia 2015」に出展されていた、国立台湾大学のYu-Hsuan Huang氏らが手がけた「Scopep+」を詳しく取り上げる。さらに「JackIn Head」(株式会社ソニーコンピュータサイエンス研究所)へも言及し、VR・ARの実践的なアプリケーションの有用性とその将来性について考察していく。

<1>はじめに(本連載について)

近年の技術革新は、私たちの世界の捉え方を変えるだけでなく、世界の体験の方法までも変化させる。とりわけヴァーチャル・リアリティ(VR)の発展は、視覚に語りかける映像のクリエイティビティとストーリーテリングの範囲を押し広げている。技術の発展と普及に伴い、ハードウェア/ソフトウェア両面において、誰もが没入感のある体験を生み出すことができるようになった。

本連載「Virtual Experiences in Reality」では、多様な学問から形成される関連トピックを紹介、探求、調査することで、VRを扱っていく。さらに研究、技術、クリエイティビティを重視し、様々な視点から新しいVRの知見を提示したい。この新しい創意に富んだ領域についてのダイナミックな視点を提示するために、異なる専門領域の交差するエリアに焦点を合わせていく。

今やいつくもの物語が私たちを取り巻き、その物語は私たち人間の体験と関連付けられている。現在の技術は、私たちの世界を私たちが見ているままに捉え、共有することを可能にする。VRは、個人の共有体験を強調するのだ。本連載は、これからの反復されうるストーリーテリングやコミュニケーションのあり方について、それを推進する手引きとなる人や、場所、物を紹介することを目指している。

<2>Scope+ : A Stereoscopic Video See-Through Augmented Reality Microscope

国立台湾大学(Graduate Institute of Networking and Multimedia, National Taiwan University)のYu-Hsuan Huang/ユー・シュアン・ホァン氏と彼のチームは、Scope+の研究開発の当初から、遠隔コラボレーション環境でのAugmented Reality/オーギュメンテッド・リアリティ(AR)アプリケーションの必要性を認識していた。「Scope+」とは、透過型のS3Dビデオ映像によるARが体感できる顕微鏡(A Stereoscopic Video See-Through Augmented Reality Microscope)のことである。Huang氏はコンピューターサイエンスの博士課程の学生であると同時に、医学を専門に学んだ眼科学者だ。Huang氏は、Scope+が顕微鏡の世界で最初のARアプリケーションであると説明する。このScope+は高度な動きと繊細な機能を有している人間の眼を扱う、若い眼科医の教育現場や研究の需要から発展した経緯がある。

Scope+ : A Stereoscopic Video See-Through Augmented Reality Microscope

Scope+開発の背景にある一番の動機は、既存の外科トレーニング用医療システムが、腹部切開、心臓及び整形外科の処置に焦点を当てていることだった。これらのシステムは、外科手術の学習に有用であるが、顕微鏡手術の領域へは容易に転用できない。Scope+は顕微鏡手術に大きく依存する美容整形、脳外科、そしてもちろん、眼科などの各領域におけるトレーニングや教育の需要へと向けられている。

2−1.システムデザイン(System Design)

Scope+のシステムデザインは、顕微鏡手術で使用される道具とVR・AR技術とを結合させることで成り立っている。主な構成要素は、HMD(ヘッドマウントディスプレイ)デバイスであるOculus Riftと改造されたPrusa i3 3D Printer(SciBot)だ。3Dプリンタの射出部分が、特別にデザインされた両眼顕微鏡モジュールに置き換えられている。

ユーザーがHMDを通してある対象を観察すると、このモジュールにより立体視を得ることができる。また、Scope+では、操作レバーがフットコントローラーに改造されている。このフットコントーラーは、顕微鏡手術の中でも、特に眼科手術のアプリケーションによく見られるものだ。

sigasia2015

「Scope+」のハードウェア構成(写真はScope+: a stereoscopic video see-through augmented reality microscopeより引用)

Scope+のユーザーは、対象を観察し手先を集中している間にも、視点の移動、ターゲットの拡大、焦点面の位置変更、照明の強度調整が可能だ。Prusa i3と互換性のある顕微鏡モジュールを組み立てるために、2つの高解像度(1,600 × 1,200ピクセル)カメラと、2つのミラーが組み合わされている。カメラの可動域と基線長(対物レンズ間の距離)は、個別に調整可能であり、それらを駆動させるアルゴリズムと合わさって、心地よい立体視を維持する。

Scope+のシステムは、ユーザーが実際に顕微鏡を覗き込んで操作ペダルを扱う際に、遠隔作業や遠隔教育に必要なコラボレーションの基本要素を強化する。映像やグラフィックなどを用いた遠隔コラボレーションの際、一番大きな問題のひとつが遅延(latency)である。ユーザー同士の双方向の遅延時間が大きいと、実際に行う作業のリアルタイムシミュレーションが試行されることは不可能だ。
Scope+は遅延の問題に対して、GPUによるハードウェアアクセラレーションとマルチスレッドレンダリングをシステムに組み込むことで対応した。また、このシステムは2台のフルHD解像度のカメラを使っていてもハイフレームレート(30fps)を維持できる。そのため仮に遅延があったとしても最小限に抑えられる上に、この低遅延とハイフレームレートにより、一緒に作業している遠隔ユーザーに対して、遅延がまったく存在しない感覚を与える点は非常に重要である。

2−2.ヴァーチャル・トレーニング(Virtual Training for Real-Life Applications)

従来、眼科医は手術のためのトレーニングの際、人間の眼の代替品を使用してきた。動物の眼(例えば豚)、シリコンで造られた眼や、眼窩を含む頭部の人体模型が、新人の外科手術のトレーニングで使われている。Huang氏によれば、動物の眼や人工眼を使うことの問題は、それらが人間の眼ほど精巧ではない点にあるという。また、動物の眼や人工眼は、入手することや作り出すための準備に労力を要してしまう。さらに使用適正の保存期間がとても短い上に、一度しか使用できない。またもうひとつの問題は、動物の眼を使用している際に、血液や他の体液が漏れ出てくることである。Scope+の場合、生じる最も大きな液体は、集中して重要な仕事に取り組むユーザーの汗の滴だけだ。

コストを削減し、面倒な手続きを回避させるだけでなく、Scope+はユーザーがシミュレーションやトレーニングできる範囲を押し広げている点も強調したい。このシステムが資源として際限なく利用可能であるだけでなく、外科医が実際に直面するかもしれない特殊な状況を提示することも可能なのだ。例えば、ある眼科手術では、眼のレンズの上に丸い穴を開けるが、この処置が正常になされなかった場合、レンズ全体が破裂し深刻な事態を引き起こす。ユーザーのすぐ近く、あるいは地理的に非常に離れたところにいるトレーナーの手助けによって、Scope+は眼科医の手術の際のリスクを軽減し、危険な結果を回避するのを助けるのだ。

sigasia2015

SIGGRAPH Asia 2015「Emerging Technologies」エリアにおける「Scope+」展示の様子

このScope+システムの使用時、リアルタイムビデオにオーバーレイされるARマーカーはユーザーにとってのガイドラインになる。そのため、ユーザーは彼らの眼を対象に集中できる。オーバーレイされたARレイヤーは、ジェスチャーによるナチュラルUIを通して、必要な情報を提示する。このシステムにより、ユーザーが顕微鏡から眼を離すことなく、オーバーレイされたテキストやツールの中で情報を見つけることが可能になる。さらに、このシステムは実際の顕微鏡手術の模型でもあるので、外科手術で使用されるのと同じ道具や器具が訓練の際にも使用できる。Scope+が顕微鏡手術に適しているのは、顕微鏡手術が触覚や触知のフィードバックよりも視覚に大きく依存するからだ。Scope+のユーザーには、力覚フィードバックする特別な装備や衣服は必要ない。白衣さえあれば充分だ。

  • 連載「Virtual Experiences in Reality」第1回:Scope+
  • 連載「Virtual Experiences in Reality」第1回:Scope+

(左)Scope+を用いた眼科手術のトレーニング/(右)眼科手術のトレーニング例。リアルタイムビデオにオーバーレイされたARレイヤーは、ユーザーのジェスチャーによるナチュラルUIを通して必要な情報を提示する(写真はScope+: a stereoscopic video see-through augmented reality microscopeより引用)

▶次ページ:
<3>実践的なVR/ARアプリケーションとは

その他の連載