RESEARCH 1：アナモルフォシス裸眼立体視
・研究目的
適応的表示系プロジェクトでは、マルチモーダルセンシング－知的計算―適応的レンダリングの最新技術を擁する人間中心のサイクル処理（Human-in-the-Loop）をフレームワークとする知的環境メディア（SAM：Smart Ambient Media）［1］の原理に則った適応的表示系を数多く提案・開発してきました。SAMは、昨今注目されているSociety 5.0の中核を担うと期待されるサイバー・フィジカル・システム（CPS）のコンセプトとも完全に符合しています。ここで紹介するアナモルフォシス裸眼立体視［2］は、近年のSAM研究開発の代表的な成果のひとつです。
▲知的環境メディア（SAM）のフレームワーク
・先行研究
ホログラフィに代表されるようなハードウェアの描像原理を刷新することで発展してきた既存の立体視システムは、生成映像の品質を向上させにくいという課題が残されています。
-
▲SIGGRAPH 2011 Emerging Technologiesで展示発表したレーザプラズマ方式の空中ディスプレイ - 例えば、SIGGRAPH 2011 Emerging Technologiesで展示発表したレーザプラズマ方式の空中ディスプレイ［3］は、強力な赤外パルスレーザを用いて、空中の任意位置にプラズマ発光体の点列を生成できる裸眼式の3次元ディスプレイです。人間の残像効果を利用してポイントクラウドを360度の視点から同時に認識させることが可能ですが、発表の時点では毎秒5千点をベクタースキャンするのが精一杯でした。
物体表面の特徴量を参照して、ポイントの密度や明度をソフトウェア制御することによって、限られた表示資源の制約内で物体の特徴を最大限引き出した描画を目指すリソースアウェア・レンダリング手法［4］を利用しても、普及解像度が4Kに迫ろうとするラスターディスプレイと比べた場合、その表示精度は明らかに見劣りします。
・原理と手法
とある朝のTV番組で紹介された、アーティスト永井秀幸氏による、壁に立てかけてL字状に開いたスケッチブックに描かれた作品群を見て、私は釘付けになりました。それらは共通して、制作時から特定の位置（スイートスポット）に視点を固定して、滑らかにつながるように画用紙ごとに表示対象を変形し、陰影付けを施しているため、同じ視点から鑑賞した際、対象が紙面からポップアップするように見えるのです。これを可能にしているのは、アナモルフォシス（anamorphosis）と呼ばれる、ルネサンス期から絵画や建築に利用されてきた古典的視覚デザイン技法です。
▲永井秀幸氏の作品例。【左】は視点をスイートスポットに合わせているため、自然なポップアップ感が得られていますが、【右】のように変化させた視点位置からでは同様の視覚的効果は得られません
この3Dトリックアートがもつヒトの心理（知的計算の原理）の利用可能性に触発され、スケッチブックを2枚の狭額縁ディスプレイモニタに置き換え、さらに汎用Webカメラを利用して非接触に検知したユーザー視線の情報を獲得（センシング）し、新たなスイートスポットに合わせて上記の変形と陰影付けをリアルタイムに調整（適応的レンダリング）していけば、運動視差による増強効果が発生し、ラスターディスプレイと同等の解像度で裸眼立体視を可能にする、個人向けSAMを手軽に構築できるのではないかという基本アイデアを得ました。
複数枚の大型スクリーンを、ユーザーを取り囲むように配置し、背面投影により没入的な立体映像を提示するシステムの代表例としてはCAVEが有名です。しかし、その立体視の原理は、アクティブシャッター式グラスを同期させることによる両眼視差です。しかも、広視野の仮想空間を矩形状に近似投影するにあたって、スクリーン間の境界は障害となります。実際、その付近ではユーザーが知覚する奥行き情報の誤差が相対的に増加するという研究報告も知られています。
一方、提案手法ではモニタの境界をむしろ積極的に利用し、ユーザーに2枚のディスプレイが壁と床の役割を担っているとあらかじめ意識させています。この前提に立って、ユーザー視点から見て絶えずディスプレイ間の表示を滑らかにつなぎ、3次元物体が床と壁に落とす影を主な手がかりとして、裸眼であっても観察対象に対するユーザーの奥行き知覚がより増強されるような心理的描画のアプローチをとっていることに本手法の新規性があります。
▲アナモルフォシス裸眼立体視の原理。リアルタイム顔追跡から得られる視点位置に合わせて再投影をくり返すことにより、運動視差による奥行き感が発生します。スポットライトレンダリングは、描画対象への視覚的注意を増強することに役立っています
・実用化に向けて
試験的システムでは、24インチクラスの汎用モニタを用いています。実際に表示された投影像を観察する複数名の視線を計測したところ、モニタの額縁のような環境因子よりも表示物体の表面をなぞる傾向がより強く見られました。これは実際にポップアップ効果を観察者が心理的に得ている証拠です。
▲【左】本手法による裸眼立体視像／【右】視線追跡実験の様子
本手法は、折り畳める2画面のゲーム機やスマホ上で手軽な立体視を提供する点で有効に働くであろうと考えています。しかし、表示空間が小さい場合には両眼視差の影響が無視できなくなり、アナモルフォシスの単眼性を損ねかねない問題点が残されています。利き目検出などによるスイートスポットの較正といった対応策の検討が待たれます。
・参考文献
［1］藤代一成: 「知的環境メディア」（講座）, 画像電子学会誌, 46巻4号585-589頁, 2017年10月
［2］井阪建, 藤代一成: 「L字型表示面を用いた錯視による裸眼立体映像生成」（動画付き研究速報）, 映像情報メディア学会誌, 70巻6号J143-J146頁, 2016年5月（同誌, 73巻1号J108-J112頁, 2019年1月に〈研究ハイライト〉として再掲）
［3］Hidei Kimura, Akira Asano, Issei Fujishiro, Ayaka Nakatani, Hayato Watanabe: "True 3D Display", in Proceedings of ACM SIGGRAPH 2011 Emerging Technologies, Article No. 20, Vancouver, August 2011［DOI: 10.1145/2048259.2048279］
［4］中谷 文香, 藤代 一成, 石川 尋代, 斎藤 英雄: 「レーザプラズマ式3次元ディスプレイのための物体の表面特徴量を用いたリソースアウェア・レンダリング」, 日本バーチャルリアリティ学会論文誌, 17巻4号419-428頁, 2012年12月
