上空約3万メートルにおよぶ宇宙空間で360度の遊泳体験が楽しめる本作。過酷な条件下での360度映像制作を、NUKEのVR用プラグイン「CARA VR」と「mocha VR」を活用することにより、短期間で実現させた作品である。技術面を担った360Channelにその制作上の工夫について解説してもらった。
※本記事は月刊「CGWORLD + digital video」vol. 231（2017年11月号）からの転載となります
TEXT＿360Channel
EDIT＿藤井紀明 / Noriaki Fujii（CGWORLD）、山田桃子 / Momoko Yamada
information
「SPACE DRIFTER -VRバルーン、宇宙へ-」
PC、スマホ、HMDなどマルチプラットフォームに対応し、無料で楽しめる360度VR動画専用配信サービス「360Channel（サンロクマルチャンネル）」にて好評配信中！
www.360ch.tv/videoview/363
CARA VRとmocha VRを活用した360度VR動画コンテンツ
2017年1月27日、NASAが出資する「New Mexico Space Grant Consortium」でマーケティングを担った近藤 憲氏のクラウドファンディングが起ち上がり、わずか5日間で目標額を超える約126万円を集めた。そして、技術面や映像面のサポートとして「360Channel（サンロクマルチャンネル）」が関わり、本プロジェクトはスタートした。見どころは、ニューメキシコ州の広大な大地から上空約3万メートルでの宇宙遊泳だ。本作は360度VR動画のコンテンツ配信サービスを提供する「360Channel」で配信されている4Kの360度VR動画で、Gear VR、Oculus RiftやPlayStation VRなどのハイエンド向けHMDから、カードボードなどの簡易HMDまで幅広く対応し、PCでもスマートフォンでも視聴できる。
-
- 左から、本件企画者・近藤 憲氏、（以下、株式会社360Channel）技術統括 兼 プロデューサー・松山聡志氏、CGデザイナー・古川久美子氏、CGデザイナー・K.A氏
本動画は全編実写パートのみで構成されており、NUKEを活用し制作されている。オートデスクの藤村祐爾氏が自作リグを設計し、ストラタシス・ジャパンがデザインを形にした。撮影、エディット、コンポジットを360Channelが担当している。VR酔いも起こりにくく、高品質なVRコンテンツとして仕上がっている本作だが、企画開始から機体設計、実験、撮影まで3週間、帰国から納品まで3週間というタイトなスケジュールであった。過酷な温度環境に耐え、長時間撮影ができる機材選定を経て撮影は成功を収めたものの、映像自体は風や乱気流により揺れ続け、それに加えて急激な温度変化によるレンズの曇りが発生していた。そのため、従来のスティッチだとVR酔いが起こり、部分的にスティッチエラーが起こってしまう。その酔いを軽減し、レンズ曇りがあれど、綺麗にスティッチングをすることを可能にしたのが、VRコンテンツ制作に特化したNUKEのプラグイン「CARA VR」とトラッキング技術を搭載する「mocha VR」だ。CARA VRは他のツールとの親和性が高く、スティッチからコンポジットまで一連でできるソフトとして強みがある。それでは機材選定からCARA VRが実際どのように活用されたのかまで、詳しくみていこう。
Topic 1 撮影機材と編集ソフトの選定
厳しい条件での撮影に耐えうる機材の選定
今回の撮影と技術統括を担当したのは松山聡志氏だ。使用した機材は、GoPro HERO4 ブラックエディションの6台リグ、GoProハウジング、GoPro バッテリーバックパック 3rd ABPAK-401、独自リグ、GPS。機材選定として、高度3万メートルまで機体を飛ばすにあたり必要な条件として、「重量制限」、「マイナス50℃に耐えられる機材」、「2時間撮影できる」、「4K以上の映像」（360Channel内でVR視聴での最低限必要と考えている解像度）という項目があった。そのため、対応できるカメラとして、GoPro6台で設計するリグを選定し、水や衝撃に対応できるようハウジングを使用。通常、ハウジングを利用したGoPro 6台リグでの撮影の場合、熱暴走などにより最大で20分から40分しかバッテリーがもたない（自社実験より）。まずは、1台で2時間撮影できることを目指し、背面バッテリーを採用した。次に熱暴走をクリアするため、360Channelは薬用の冷却シートを採用。薬用の冷却シートを使用することにより、2時間以上継続して撮影することが可能となった（自社実験より）。そして、耐久性と重量を考慮した、ABS製の素材を使用した機体で－50℃の環境で実験すると、薬用の冷却シートの水分がハウジングに付着し、寒さによって電力消費量が多くなり2時間を超える撮影はできなかった。この問題をクリアするため、機体内の熱伝導の効率化と重量を考え、機体に用いるネジをステンレススティールのネジとアルミに交換し、薬用の冷却シートを取り除くことで－50℃の環境下の実験でも2時間撮影することが可能となった。これらの機材を使用しニューメキシコで本撮影を実施。GPSが起動しないというトラブルや、乱気流による映像の揺れ、レンズの曇りはありながらも、結果として機体は回収でき、6台とも映像を記録することができた。
それらを短期間かつ効率的に編集するためNUKEプラグインの「CARA VR」「mocha VR」を使用した。選定理由としては素材の対応に紐づくもので、撮影素材はスティッチ部分が多く、画が激しく動いて回転したり、気候の大きな変化によりレンズが曇ったり、360度撮影なのでフレアが入ったりなど、スティッチのための情報が欠如してしまうため、360度映像を作成するには非常に難しいものであった。そのため、細かい部分まで調整ができ、他のソフトウェアやプラグインとの連携が高く、スティッチからコンポジットまで一貫してできるソフトとして、NUKEとCARA VRを使用することに決定した。また、風の影響により、機体が激しく動き、360度映像的に酔いが激しい映像にもなっていたため、トラッキングやスタビライズ機能が高いmocha VRを使用することにした。
自作リグの設計
-
近藤氏が設計したリグのイメージ図
-
オートデスクでエヴァンジェリストを務める藤村祐爾氏が再度設計したイメージ図
-
プラスチックよりも耐久性があり、軽量化を計れるという理由でABS素材、ネジなどは、熱伝導率を考え、材質はステンレススティールとアルミ素材を使用した。3Dプリンティングは、ストラタシス・ジャパンの3Dプリントで制作したリグである
-
機体を包んだ断熱材に、発見した人に向けたメッセージを英語とスペイン語で書いた。GPSが途中で追跡が不可能になったものの、着地した民家の住民からの連絡によって奇跡的に機体を回収することができた
撮影機材とセッティング
左上から360HEROS 360H6、完成した自作リグ、GPS、二段目左から、水と耐久性向上対策としてハウジングを使用し、カメラはGoPro HERO4 ブラックエディション、SDカードはEXCERIA PRO microSDHC/microSDXCメモリカード64GB、追加バッテリーとして、GoProバッテリーバックパック 3rd ABPAK-401、電池はGoProの純正バッテリーを使用
-
現地ホテルで、本番に備えてハウジングに収める6台のカメラをマウント中
-
高度約30,000mの上空で、気圧差により膨れ上がり破裂するよう計算してヘリウムガスを注入し、それに耐えうるバルーンを選択した。破裂後に降下すると、パラシュートが開く設計となっている
Topic 2 NUKE＋CARA VR
Autopanoとの連携
360度動画の制作はまず複数のカメラデータを読み込み、パノラマに展開する作業から始まる。それにあたり、CARA VR v1.05よりAutopanoのデータを読み込めるようになった点が便利だと感じたので、ぜひ紹介したい。Autopanoは複数のイメージを繋ぎ合わせて（＝スティッチ）パノラマ画像を制作する独立ソフトで、360度動画制作のための様々な機能が備わっ ている。その一例が「シンクロナイズ」機能である。360度動画は複数のカメラデータを繋ぎ合わせることで全天球の画を作成するが、各カメラの録画開始に若干のズレが出る。そのため、パノラマ展開作業を始める前に、まずそれぞれの動画の開始点を合わせる必要がある。Autopanoでは「シンクロナイズ」機能により音や映像を分析して開始点を揃えることができ、またカチンコを使用することでより正確になる。CARA VRはこ のシンクロナイズ機能がない点が不便だと感じていたのだが、Autopanoで調整をした後にデータをインポートすることで、各動画はシンクロナイズされた状態で読み込まれるようになる。
また、CARA VRには、豊富なカメラプリセットを指定することで各動画をパノラマ展開する「C_CameraSolver」ツールがあるが、Autopanoデータを基にその設定も自動で行われる。さらに「C_Stitcher」ノードもはじめから接続されており、ノードをイチから繋ぐ手間も省ける。これにより、AutopanoとCARA VR、各ソフトの強みをシームレスに活かせることとなった。ただし、後述するカラーマッチに関しては、CARA VRで再調整する必要がある。
カメラデータの読み込み
-
［CARA VR→Import→AutoPanoVideo_Project］から.kavaや.panoデータを読み込む
-
動画の配置やノードの作成もAutoPanoのデータを基に自動的に行われる
AutoPanoデータを読み込んだ状態。6つの動画が自動的に配置され、ノードも接続されていることがわかる
カラーマッチ
それぞれのカメラの露出や色を均一にするカラーマッチは、後々のスタビライズにも影響するため精度の高さが必要だった。カラーマッチはCARA VRの「C_ColourMatcher」を使って調整する。レンズの曇りや映り込む太陽のフレアで不安定な場面もあったが、場合によっては1ステップごとに計算することで調整した。また、力技にはなるがカメラごとにGainを調整することもできる。カメラとカメラの間のバンディングは、「C_Stitcher」のBlendモードをMuti-BandかSpherical Multi-Bandにすると滑らかになる。Multi-Bandブレンドモードでは、Supressionが使用でき、ブレンド具合を調整できる。小さい値ほどより色と露出が均一になり、大きい値ではAlphaブレンドモードの結果に近づく。小さくしすぎると、画がぼんやりとし、大きくすると色の差が目立つため、最適な値を探ることが望ましい。
カラーマッチ前後比較
-
カラーマッチ適用前
-
カラーマッチ適用後
C_Stitcherのブレンドモード：Multi-Blend、Supression：0.05
Topic 3 スティッチとmocha VRでのスタビライズ
スティッチ
「C_Stitcher」により、通常はシンプルな工程でとても綺麗にスティッチされたパノラマ画像が作成される。今回は曇り・動き・回転があり情報が消えるという難しい素材だっため、様々な調整をする必要があった。CARA VRにはスティッチの精度を上げるためのいくつもの機能があるので、一部を紹介したい。ここで紹介するもの以外にも、スティッチポイントの指定・各カメラのマスク調整・Rotoによる細かな調整など、CARA VRにはスティッチを向上させる様々な機能が備わっている。
❶スティッチのStitch Keysのステップ値を調整する
ステップ値が50のときは、50フレームおきにキーが打たれスティッチの分析が行われる。キー間は、その分析を基に補完される。そのため、ステップ値を小さくし、打たれるキーを多くすればするほどスティッチの精度は上がる。ただし、場合によってはステップ値を下げるよりも、以前のデータを使う方が良い結果になることもある。例えば、カメラが曇るなど、画の正確な情報が得られないフレームは、正確な情報が得られる前半部分のデータをそのまま使用する方が結果は良くなった。各ノードや設定はエクスポートすることができるので、同じカメラ・似たような条件であれば、素材を差し替えるだけでほとんど作業なしで綺麗なスティッチが出来上がることになる
スティッチのStitch Keysのステップ値を50に設定したもの。大きくずれていることがわかる
キーが打たれるようにステップ値を設定したもの。ずれが改善された
❷Convergeの値をなるべく正確なものにする
Convergenceはカメラが重なるポイントを調整する値で、そのシーンで注目させたい部分を基準に入力する。対象物からカメラの距離をなるべく正確に入力することで、スティッチがより綺麗になる。シーンによっては近いものに合わせるか、遠いものに合わせるかである程度妥協をする場合もある。さらに、今回のように大きく動いてしまうと遠近の歪みも目立ってしまい、調整に悩んだ。「C_CameraSolver」「C_ColourMatcher」「C_Stitcher」などで設定することができ、「C_CameraSolver」でConvergeの値を設定すれば、他ノードはAutoにチェックを入れることで自動的に同じ値が適用されるようになる。なお、nodal rigでは設定できないので注意
Converge=0.4（m）。手前の男性の顔は上手く繋がっているが、奥の男性が二重になっている
Converge=20（m）。奥の男性が二重になることは抑えられるが、今度は手前の男性の顔がおかしくなってしまう。このシーンでは手前の男性の表情に注目してほしかったので、Convergeの値は小さめでいくことにした
❸C_StitcherのVectorのコントロール
スティッチした部分の歪みを調整するために、「C_Stitcher」のプロパティでVector Detail・Strength・Consistency・Iterations・Warpsの値を調整できる。それぞれ値を大きくすると、計算は重くなるが精度が上がる。とはいえむやみに値を上げると、さして結果が変わらないのに計算時間が跳ね上がる場合や、むしろ歪みすぎてしまうこともある。Strengthに関しては、値を大きくするとディテールが拾えるが、ジャギーが生じやすくなる。小さくすると正確ではなくなるが、繋がりがスムーズになる。使い分けが大事であると感じる
上がデフォルト値の結果・下が各値を上げた結果。わかりづらい可能性があるが、ブルーシートを止める石や、影に注目していただくと、Vectorの各値を上げた後は、二重の部分が軽減されていることがわかる
スタビライズ
回転を抑え、水平を安定させるためスタビライズを行う。CARA VR Xには、CameraTrackerを使用したスタビライズの方法がすでに備わっているが、今回はとても激しく動くシーンがありmocha VRを採用した。mocha VRはトラッキングソフトウェアのMocha ProにVR機能を追加したソフトである。この機能を使用して、回転補正をする。水平線のトラッキングポイントを指定し計算した後、Reorientで水平のポイントを探すことで水平線が落ち着き、回転も止めることができる。手動でキーを打つシーンもあったものの、結果として今回のプロジェクトでは正解だったように思う。乱気流のシーンなどはあまりに静止してしまうので、あえてスタビライズを甘くしたほどである。mocha VRはスタンドアローンのほか、プラグインとしてAdobe（After Effects、Premiere Pro）、Avid（Media Composer）、OFX（NUKE、Fusion、VEGAS Pro）で使用することができる。
スタビライズ前後比較
-
スタビライズ前
-
mocha VRを通してスタビライズした状態
『SPACE DRIFTER-宇宙遊泳-』調整前後比較
最後に
その後カラーグレーディングを経て完成した動画は「360Channel」で配信中なので、ぜひご覧いただきたい。今回のような困難な素材を扱うにあたり、CARA VRの調整の自由度の高さはとても有益であった。宇宙を撮影した360度動画はほかにも多数存在するが、乱気流や風船が破裂する瞬間まで公開している例は珍しいのではないかと思う。
今回は360度動画制作のためのCARA VRのTIPSを多めに紹介させていただいたが、NUKEの他機能ももちろん使用できるので、CGとのコンポジット作業なども一貫して行うことができる。ソフトをまたがずに一連の作業ができることは、再調整がしやすいだけでなく360度動画の課題とされる画質の劣化も抑えることができる。個人的には、そのような使い方こそ、NUKE＋CARA VRタッグの本領を発揮してくれるのではないかと思っている。
360度動画が珍しいものではなくなった昨今、次々と高品質な360度カメラが発表され、技術もまたたくまに向上している。360Channelでは、今後もより面白く品質の高いコンテンツを制作し配信していくので、ぜひご注目いただきたい。
-
-
月刊CGWORLD + digital video vol.231（2017年11月号）
第1特集UnityとUE4、ノンゲームにおける活用動向
第2特集TVアニメ『宝石の国』
定価：1,512円（税込）
判型：A4ワイド
総ページ数：128
発売日：2017年10月10日
ASIN：B075N573CF
