全力疾走に対応した屋外ARシステムで撮影されたポカリスエットの最新CM。システムの構築から実際の撮影における工夫まで、本作を支えた技術の裏側に迫る。

※本記事は月刊「CGWORLD + digital video」vol. 314（2024年4月号）からの転載となります。

現実とゲームが融合した世界をAR技術で見ながら撮影する

7月12日（ 金）より全国で放送開始された大塚製薬の健康飲料「ポカリスエット」の新TVCM「潜在能力は君の中。」篇。「考えるより先に動いてみよう。汗をかけば君の力は満ちてゆく。」という思いを伝えるために「ゲーム」が表現モチーフとして選択され、女優の池端杏慈氏と椿氏が、キャラクターや様々なARオブジェクトが至るところからポップする山道を疾走する、現実とゲーム世界が融合されたような映像となっている。

柳沢 翔氏が監督を務めた本作は、現場で空間上にあるCGオブジェクトを実際に確認しながら撮影するという前代未聞の撮影に挑み、屋外を走るカメラとAR空間を同期させながら撮影する独自のシステムが用いられた。

ARは周知の通り、デジタル情報を重ね合わせ現実を拡張する技術だ。カメラなどを介して現実の光景に、CGなどが合成され、あたかも実存するように見せるもの。本作の撮影ではARシステムと同期したカメラにて、完成した映像にあるようにキャラクターやオブジェクトをポップする様をリアルタイムにフィードバックを受けながら、2人の少女が階段を駆け上がる姿が撮影されたという。AR技術は様々なコンテンツで利用されているが、本作のように屋外かつ広域でひと繋ぎのARとして体感できるものは他に類を見ない。

実際、本作の撮影を行うにあたっては、撮影条件で活用できるARシステムを開発することが必須事項であった。「企画の相談を受けたのが昨年の末頃でした。それから撮影を5月に行うことが決まり、それに向けてシステムを開発する必要がありました。ARツールとしていくつかの候補がありましたが、検討の結果ARKitを活用することに決め、3月いっぱいその技術的な検証を行い、4月に実践的な撮影テストを行う合宿を経て、5月の本番撮影に臨みました」（Bascule XRテックリード・桟義雄氏）。

システム開発においても、実際の撮影においても多くの困難があったという本作。制作を担当したSpoon、技術開発を担ったBascule、BASSDRUM、Fabrica.の4社に話を伺い、本CMが完成するまでの舞台裏を紹介していこう。

＜1＞システムと技術の検証

全力疾走を可能にするARシステムの構築

「撮影のしくみから説明すると、カメラマンが3台のiPhoneが載ったリグを持ち、リアルタイムプレビューしながら撮影を行うというものです。この構成になったのには、大きく分けると『120メートル全力疾走でAR』『カメラマンにプレビュー』『後処理のための記録』の3つを実現するためでした」（桟氏）。使用されたiPhoneは、ARKit用、プレビュー用、Blackmagicでの記録用となっている。

大前提として全力疾走で約100メートル走るときに、現実の風景とマッチしたARオブジェクトが実際に出せるかどうかというのが大きな課題となり、最初に行われたのがARアプリ／ツールの選定であった。

「いくつかの候補がありましたが、屋外で全力疾走するという点で現実的だったのがARKitでした。とは言え、ARKitは走っている間マーカーを認識しないため、できること・できないことの整理をしつつ、可能な限り撮影でのニーズに応えられるようなしくみを検証していきました」（桟氏）。

AR空間は事前に撮影場所を3Dスキャンし、Maya上でオブジェクト制作とレイアウト作成が行われた。作成されたMayaデータは軽量化してUnityに移植し、ARシステムに組み込まれている。こうして作成されたARデータを全力で走るという条件下でいかにズレなく発生させるかという点も大きな課題であったが、エリアごとの座標修正用マーカーでビタビタになるようキャリブレーションを詰めに詰めることで実現されている。

撮影時にはARプレビューを行い、カメラワークと演出に反映してもらえるものでなければならなかった。そのため、超低遅延プレビューを実現する、オペ卓とカメラマンを含めて機材およびシステム構成が検討された。「プレビューのクオリティとレスポンスに加え、現場でのオペレーションも考慮して決める必要がありましたね」（BASSDRUM テクニカルディレクター・森岡東洋志氏）。

作業としてはAR用のCGの差し替えもあり、後工程のための素材やデータの記録も必要とされた。「実素材とARを別に記録しています。オペ卓とカメラマンとのデータ通信の手段も含めて検討する必要ありましたが、欠損のリスクを減らした上でポストプロダクションでも効率化できる仕様を模索しました」（森岡氏）。

ARによるリアルタイムプレビュー

放送されているCM映像はARオブジェクトの差し替えが行われているが、現場では軽量化されたオブジェクトを用いたARシステムでリアルタイムにプレビューを受けながら撮影されている。全長約100メートルにもおよぶ撮影エリアにビタビタにマッチしたARを生成するという難しいプロジェクトであった。

• 

• 

• 

• 

• 

• 

システム開発

システムの開発は、Bascule、BASSDRUM、Fabrica.の3社によって行われた。検証、開発から本番の撮影まで、多くのタスクがあり、困難なプロジェクトであったことが窺い知れる。「企画を受けてから撮影までの2ヶ月強。システム開発の期間としては非常に短いものでしたが、撮影テストを実施して調整する合宿も行い、効率的に進めていきました」（Fabrica. テクニカルプロデューサー・岡田敦子氏）。

ARシステム

ARKit用、プレビュー用、Blackmagicでの実写記録用の3台のiPhoneで構築されたARシステム。

• 

• 

ARKit

ARKitは、画像認識とIMUによる自己位置推定を行う。移動中にマップを生成するが、マップの保存はできない。基本的には高精度だが、長距離移動は激しい動きによるズレは大きい。撮影コースを5ブロックに分割し、マーカーによるキャリブレーションを実施することでズレを最小限に抑えている。

• 

• 

当初の構成

• 

• 

カメラトラッキング

ARオブジェクトの座標の記録

ARKit座標やマーカーで動かしたARオブジェクトの座標はオペ卓PCにてOSC（OpenSound Control）で受けて記録された。記録された座標はtsvで書き出され、BDProtocol（BASSDRUM独自開発の各種データを画像として埋め込む方式）によるメタデータとして動画内に埋め込まれている。タイムコードで実写素材と同期しているため、コンポジット作業の効率化にもつながった。

オペ卓PC

＜2＞ARシステム運用と撮影

屋外ARを可能にするオペレーション

「今回開発した屋外全力疾走に対応するARシステムですが、現場でのオペレーションも含めて初めて完結するものです。ビタビタにマッチしたARを生成する上では、キャリブレーションが非常に重要でした」（小川氏）。

前述したようにマーカーによる徹底的なキャリブレーションを実施しているが、ARKitはマップを保存することができないため、撮影前に毎回行う必要があった。撮影エリア一番奥にあるマーカーから順に原点マーカーまで戻るというながれで進められた。「オペ卓とのデータ転送のための長距離ケーブルを取り回しながら、スタッフはカメラを前に向けた状態で後退していきました。その際、カメラを振ってしまうとズレが生じてしまうので非常にデリケートな作業になりましたね」（小川氏）。

撮影においてもいくつかの制約があり、困難な現場であったようだ。「しっかりキャリブレーションをとって万全な体制で挑んでも、原因不明のズレが発生することもあり何度もテイクを重ねる必要があったのですが、天候の関係で撮影できないこともあったり。演者とカメラマンを含めたスタッフは約100メートルの坂道を駆け上がるということで、そもそも体力的に1日3回までしか撮ることができず、難しい現場でしたね。1回走るだけでも本当にヘトヘトになるほどでした」（Spoon プロデューサー・矢野健一氏）。

一方で撮影時にはMeta Quest 3にてAR空間を確認できるシステムも用意されたため、出演者、監督、カメラマンを含めたスタッフがAR空間を直感的に認識でき、意図通りの演出を実践できたという。「本システムでオブジェクトの位置調整を行うこともできたので、演技や演出に合わせて現場でカスタムすることができ、重宝しました」（桟氏）。

全力疾走に対応し屋外で広範囲なエリアをカバーするARシステム。3社ともに難しい案件であったと語る一方で、検証開発を経てさらなる進化の可能性を感じたという。「いくつものアプリやデバイスを検証し、今回は活用に至らなかったものもありますが、長期的な開発期間があればより発展したシステムを生み出せると感じています」（森岡氏）。　

オペレーションの概要図

システム、機材、撮影現場でのオペレーションの概要図。オペ卓とカメラマン間でのデータ転送に関しては、無線では遅延やデータ欠損のリスクが大きくなるため、長距離ケーブルが採用された。カメラマン後方で並走するアシスタントにラップトップマシンを担いでもらい、その中で映像合成を行う案もあったが、カメアシとオペ卓間をケーブルで繋がなくてよいが、オペ卓でのリアルタイムプレビューができなくなるため採用は見送られた。

使用機材

複数のiPhoneカメラの映像およびトラッキングデータをオペ卓で管理するため、カメラマン側に各種信号を取りまとめる「ミニオペ卓＝機材リュック」を構築する必要があり、撮影時にはカメアシがカメラマンに並走してケーブルの取り回しが行われた。

• 

• 

原点マーカー

ARの基準となる原点マーカー。Meta Quest 3をかぶって3Dスキャンの地形データと現実を重ね、リアル原点マーカーの位置が調整された。

• 

• 

Meta Quest 3によるVRシステム

Meta Quest 3でVRオブジェクトの位置の確認および調整できるシステムも用意された。「演技の障害になるオブジェクトの位置の調整などを現場で行いました。特に山道の狭くなる場所では役立ちましたね。出演者がどういった世界にいるかを感じ取る上でも不可欠なシステムでした」（岡田氏）。

• 

• 

キャリブレーション

ARKitはマップが保存されないため、撮影前に毎回マーカーを読み込んでキャリブレーションが行われた。トラッキング座標のズレを最小限にするため、撮影時以外のパンやチルトは厳禁。最後のマーカー認識後、カメラは前方を向けながら、バックで原点まで戻っている。

詳細・ご購入はこちら