3DBiz研究会「新春公開セミナー」レポート～染瀬直人氏による実写VRの最新事情を紹介～

2018年2月15日に東海大学高輪キャンパスにおいて3DBiz研究会の新春公開セミナーが開催された。その中から、CGW.jpにとって注目度の高い内容となった染瀬直人氏による講演「実写VRの現在位置。360VR 180VRそして3D」の内容を紹介していく。

TEXT & PHOTO＿大口孝之 / Takayuki Ooguchi
EDIT＿山田桃子 / Momoko yamada

実写VR映像の現在とこれから

3DBiz研究会とは、魅力ある3Dコンテンツを供給するために、様々な技術とノウハウをもったメーカー、プロダクション、研究者、教育関係者などが集まり、情報の共有を行う目的で2010年に設立された団体である。最近は4K3D映像やVRコンテンツ制作などにも範囲を拡大させており、今回のテーマも「VR/AR/MR & 3D & VR音響」とされた。

中でも最も興味深かった話は、「実写VRの現在位置。360VR 180VRそして3D」と題した、染瀬直人氏による講演であった。写真家・映像作家の染瀬氏は、6台のGoProで同時に撮影した動画を1つの360度動画に編集する、仏Kolor社のソフトウェアAutopano Videoの公認エキスパートで、YouTube Space Tokyoの360度動画のインストラクターも務めている。

染瀬直人氏

染瀬氏の作品としては、日本財団が海外の読者に情報発信を行う多言語Webサイト「nippon.com」において、「平和記念都市ヒロシマと世界遺産・原爆ドーム」や、「軍艦島--現代に蘇る廃墟の聖地」など、一般人がなかなか入れない場所で撮影した360度動画を発表している。またこのサイトでは、ロボット雲台を使用し、望遠レンズで分割撮影した画像を50～1000枚以上も繋ぎ合わせ、1枚の超高画素写真にすることで、ズームアップすると鮮明な細部が現れる「ギガピクセルイメージ」の「雪の世界遺産白川郷」も見られる。

この講演では、染瀬氏のこれまでと現在の活動から、360度実写映像の歴史、最新の撮影機材やディスプレイ、編集ソフトなどの情報が報告された。中でも注目されたのが、複数のカメラの画像を繋ぎ合わせるステッチングの新技術についてである。筆者は、先進映像協会・日本部会AIS-Jが主催するルミエール・ジャパン・アワードの審査員を毎年務めているが、ステッチングの良し悪しはVR作品の大きな評価基準となる。

この作業の精度を劇的に向上させるのが、オプティカルフローを用いる手法である。オプティカルフローは、画像中の移動物体の検出や動作の解析など行う技術で、VFXのモーション・トラッキングや、フレームレートの変更などにも用いられてきた。これを360度VR動画のステッチングに利用することで、自然なシームレス表現を実現できる。現在、ステッチングソフトのSGO社 Mistika VRや、Arashi Vision社 Insta360 Pro、Z CAM S1 Pro、KanDao社 Obsidian R & SなどのハイスペックVRカメラ、クラウド上で処理されるGoogleのJumpアセンブラなどに採用されている。

またもう1つ注目されている機能に、デプスマップの生成がある。デプスマップは、CGの世界では隠面消去やコンポジット、2D/3D変換などに使用されているが、実写VRではカメラと被写体間の距離を認識してCGを合成したり、6DoF効果を付与したりするのに使われる。

6DoFとは6 Degrees of Freedomの略で、ヨー/ロール/ピッチの回転にサージ（前後）/スウェイ（左右）/ヒーブ（上下）の移動も含めた6つの自由度があることをいう。つまり一般に実写VRの場合、視聴者が頭を動かした時、回転運動には対応できるが、並進運動には追随してくれない（撮影時のカメラの場所で固定される）という問題がある。そこでデプスマップを利用することにより、身体を傾ける程度のVR空間における移動を実現させようというものだ。

現在GoogleのJUMPシステムやNokia社のOZO、KanDao社のObsidian、そしてFacebook社が発売を予定しているSurround 360のx24やx6などは、デプスマップ生成が可能になっており、6DoFに対応している。

Facebook for Developers F8 3D 360 cameras

またAdobe Researchにおいても「Project Sidewinder」というプロジェクトで開発中である。

#ProjectSidewinder: Adobe MAX 2017 (Sneak Peeks) | Adobe Creative Cloud

だが、より完全な空間情報を得るには、全ての入射方向からの光線を記録できるライトフィールド技術が必要になる。この分野で先端を走るLytro社は、ライトフィールド式VRカメラのLytro Immerge 2.0を開発し、実験映像「Hallelujah」を制作している。またArashi Vision社も、128個のカメラアレイを用いるライトフィールドカメラを開発中と発表した。

The Making of Hallelujah with Lytro Immerge

このようにハードウェアやソフトウェアが充実していく一方で、市場の立ち上がりには今ひとつ鈍さが見られる。今回のセミナーにおける他の講演者からも、「VRは技術だけが独り歩きしていて、ビジネスとして成立していない」という声も聞かれた。またNokia社は「VR市場の成長が予想以上に遅い」ことを理由として、昨年10月にOZOの開発から撤退することを発表した。実際ハイスペックVRカメラは非常に高価で、狭い市場の割りにはメーカー間の競争が激し過ぎる。

それならば一般向けVRカメラはどうなのか。たしかに今は、価格的にも手ごろな360度カメラが数多く出回っている。しかし、これらのほとんどは立体視に対応しておらず、唯一の例外はVUSE VR Cameraだけだ。だが、立体視はVRの非常に大きな要素であり、これを省いてしまっては魅力が激減してしまう。ならば、立体視の機能を残しつつ、もっと手軽に実写VRを実現させる方法はないのか。

その点に注目したのがGoogleとYouTubeで、昨年夏に新フォーマット「VR180」を発表した。これは「VRに360度の視界は本当に必要なのか?」という疑問に答えたものである。なぜなら「カメラマン自身やスタッフ、撮影や照明機材などが写り込むことをどうやって避けるか（消すか）」という問題や、そうやって苦労して撮影しても「視聴者は、わざわざ背後を振り返ってまで鑑賞してくれない」という問題もあるからだ。ならば潔く割り切って、前方180度の視界のみを扱うことで、ハードウェアやソフトウェアの制約が大幅に減る上、立体視にも問題なく対応できる。

現在、このフォーマットに対応したカメラとして、Lenovo社のMirage Cameraや、YI Technology社のHorizon VR180 Camera、KanDao社のQooCam、Z CAM K1 Proなどがある。またKodak社は、折りたたむことで360度にも180度にも対応可能な、Pixproのプロトタイプを発表している。さらにリグのメーカーであるiZugar社からZ2XL180が、さらにEntaniya社からはEntaniya Rig 3D Stereo 180 VRがそれぞれ発売されている。

こういった製品には、基本的に従来の3Dカメラのノウハウがほぼそのまま活かせ、ユーザー側も撮影や編集に特別な工夫も不要になる。このような理由でVR180は、実写VRの普及を大きく加速させる可能性をもっているといえよう。