オンセットビズARシステムなどの先端テクノロジーとフィルムレコーディングという伝統あるアナログ技法を組み合わせることによって、 VTuberの実在感にこだわりぬいた渾身のMV。その制作舞台裏を追った。

イントロダクション

VTuberというデジタルな存在を、アナログ手法を取り入れて実在させる

XRやリアルタイムCG関連の技術進化により、バーチャルキャラクターを実写合成したコンテンツを目にする機会が増えている。ここに紹介する白上フブキ『閃光のように』MVも同様のアプローチが採られているが、ショットワークが完了した映像をフィルムレコーディング（Fレコ）することで、バーチャルキャラクターが実写の世界に“いる”ことを実現させている。

本作にてCG制作のプロデュースとディレクション、そしてVFX SVとTAという多くの役回りを担った山田佳樹氏（nanogram）は次のようにふり返る。

「平牧和彦監督は当初から最終フッテージをFレコして映像に統一感を与えることを決めていました。実写撮影では手ぶれ感やズームを多用した自由なカメラワークを基本として、ビジュアルではサビのパートにストロボライトを使うことで曲タイトルにある『閃光』を映像として表現することなども決まっていました。CG・VFXチームにとって、大きなチャレンジとなりました」。

CG・VFXのクリエイティブ面をリードしたのが、VFXディレクターを務めたmino氏（NANON CREATIVE）である。山田氏とmino氏はこれまでも様々な作品でコラボレーションしており、山田氏は「VFXものをやるなら、minoさんに頼むしかないと思っています。一蓮托生です」と厚い信頼を寄せている。

「演出プランを聞いて、真っ先に面白そうだなと。VTuberというデジタルな存在をいかにして実写映像という現実世界に存在させるのかということに、こだわりながら制作を進めました」（mino氏）。

実写撮影では、スタジオブロスが開発したオンセットビズARシステムを利用することで、白上フブキが実際にロケ現場にいる感覚で一連の撮影を進めることができた。

「AR合成を用いた実写撮影に可能性を感じました。また今回は、アドオンを自作するなど、ワークフローを工夫したことでパフォーマンスを底上げすることもできました。少数精鋭で制作するためのノウハウが貯まってきているので、さらなるチャレンジを続けていきます」（山田氏）。

• 

• 

• 

• 

• 

＜1＞企画＆キャラクターモデルの最適化

実写合成への最適化を目指し、PBRマテリアルで再構成する

平牧監督の演出プランの中心となったのは次の6要素だった。

1．リミナルスペースのようなロケ地
2．自由なカメラワーク（手ぶれ感とズームを多用）
3．ハイスピード撮影を取り入れ、刹那の時を演出
4．バンドマンをただの黒子にするのではなく、世界観に沿ったキャラクター（バンドメンバー）として描く
5．閃光＆高速を拡大解釈したSci-Fiグラフィック
6．最終フッテージをFレコ（フィルムレコーディング）する

——これらの方針をCG・VFX制作の観点で捉えると、制作の都合は後回しでクリエイティブのクオリティを追求すると言っても過言ではない。実際に、山田氏とmino氏を中心とするCG・VFXチームは、mino氏が率いるNANON CREATIVEメンバーに加え、キャラクターアニメーションを担当したkemo氏、マッチムーブを担当した牛乳瓶氏といった、過去プロジェクトを通じて信頼関係を築いてきたクリエイターと共に、阿吽の呼吸で連携できる少数精鋭チームで臨むことで、手持ちで動き回って撮影された実写プレートという暴れ馬と正面から向き合った（詳しくは後述）。

プリプロ工程では、カバーから支給された白上フブキ3Dモデルのルックデヴをはじめ、実写合成に向けた最適化が行われた。

「スケジュールとの兼ね合いから、モデルの形状には手を入れずボーンとジョイント、そしてウェイトの調整に止めました。ルックデヴについては、本作のビジュアルコンセプトに沿うようにminoさんにマテリアルの調整などをしていただきました」（山田氏）。

「基本方針は、靴や下半身はフォトリアルに寄せつつ、顔周りは元のトゥーン調の印象を残しながらPBRマテリアルへの最適化を行いました。これまではトゥーンシェーダとエミッション（放射）シェーダを組み合わせていましたが、それだと目などが光りすぎる問題がありました。そこで今回は全てPBRマテリアルだけにデザインし直しています。ほかに工夫したところでは、SSSのシミュレーション設定をデフォルトのランダムウォークではなく、Christensen-Burleyを使いました。ランダムウォークはSSSを正確に表現できますが、トゥーン調のモデルに見られるメッシュが重なっていたり開いているとおかしな見え方になるので、その修正に手間を取られてしまいます。Christensen-Burleyだと、メッシュに不具合があっても良い結果が得られるので、困っている人は試してみることをオススメします」（mino氏）。

——そのほかにもRGBの透過率をマテリアルごとに調整したり、前髪のアルファを調整するなど、実写世界への最適化が入念に行われた。

ルック・デベロップメント

• 

• 

目のルック調整

• 

• 

髪の毛のルック調整

• 

• 

• 

• 

• 

• 

＜2＞オンセットビズARシステムの活用

先進的なテクノロジーを取り入れ、小規模制作の効率化を実現

白上フブキの歌唱パフォーマンスをモーションキャプチャした後、実写撮影が行われた。平牧監督が掲げた「リミナルスペース」に適したロケ地に選ばれたのは「ヘレナリゾートいわき」だった。

「撮影に向けて、小箱さんで収録したMOCAPデータをスタジオブロスさんへ展開して、ARシステム向けにUnreal Engineアセットへの変換を行なってもらいました。実写撮影には僕が立ち会い、minoさんにはリモートで必要に応じて撮影のプレイバックや現場で収集したリファレンスをチェックしてもらっていました」（山田氏）。

スタジオブロスは2016年頃からバーチャルエキストラのモーションキャプチャ収録、ARコンテンツ開発を手がけてきた。それらの知見を基に2年ほど前からVIVE Marsを用いたオンセットビズシステムを運用しており、スモークやストロボを用いた過酷な撮影にも対応できることから今回の依頼が舞い込んだという。

「VTuber案件でオンセットビズARを提供したことがなかったので良い機会と考え、お引き受けしました。今回はロケ現場でオンセットビズARとカメラトラッキングを同時に行うため、Unreal Engineシステムを予備機も含めて3式用意しています。撮影前には技術ロケハンに参加して、想定される撮影場所で効率の良いベースステーションの配置を検討した上で本番に臨みました。現場では、事前準備などのおかげでトラッキングデータが途切れたときの機材調整作業だけで済ませられたんです。完成したMVを観てフィルムルックの懐かしいMV感と、今までにない新しいルックを楽しむことができました。この作品に参加する選択は正しかったと改めて考えています」（スタジオブロス代表・金子元隆氏）。

実写プレートのマッチムーブは、mino氏と牛乳瓶氏で分担。「GoProやドローンで撮った難度の高いトラッキングについてはminoさん自身で担当してもらい、牛乳瓶さんにはスタジオブロスさんから支給されたカメラアニメーションの事後調整や、手付けトラッキング作業をお願いしました。今回カット総数が200もあって、CG・VFXが介在するカットも123ありました。限られた期間でデータ待ちなどの無駄が生じないようにAlembic形式のアニメーションデータをBlenderへ読み込む作業を効率化するツールを開発しました。MayaやAfter Effects（以下、AE）のスクリプトなど、ChatGPTを利用して20以上のツールを開発することで、単純作業を効率化してヒューマンエラーをなくすことも心がけました。R&Dの敷居が下がり、案件の性質に応じたツール群をスピーディに実装できるようになったことが小回りの利くチーム感と噛み合ったと思います」（山田氏）。

オンセットARを用いた実写撮影

モーションキャプチャ＆オフライン編集データのコンフォーム

キャラクターアニメーション

カメラトラッキング

＜3＞ショットワーク＆フィルムレコーディング

mino氏の画づくりを最大限に引き出すための奇策

本作はフルHD完パケだが、デジタルズームによる最終調整に対応するため、ショットワークはWQHD（2,560×1,440）サイズで一連の作業が行われた。mino氏のクリエイティビティを最大限に発揮するための手法として、ライティング作業の際は、全カットのカメラデータを1つのBlenderシーンファイルに集約するという大胆なアプローチが採られた。

「トラッキングは各カットごとに作業した上で、ライティングからレンダリングまでの作業を行う前に、1つのタイムラインに全カットのカメラデータを並べて、まとめて作業しました。こうすることで各カットの余尺（のりしろ）はつくれませんが、カットバイで演出が大きく変わらない場合は、同じ処理を何度もくり返す手間が減るので効率的に作業が行えます。このかたちで作業を進めるために、複数のカメラのデータを1つのカメラに一括でベイクするためのスクリプトを書きました」（mino氏）。少数精鋭スタイルならではのアイデアである。 　

もうひとつの英断が、実写撮影のストロボを同期させる方法である。「サビパートの実写プレートにはストロボが入り続けていました。手作業でライティングを付けていくのは非現実的だったので、実写プレートをテクスチャ素材にして背景セットのメッシュに投影したものを光源としてライティングしています。かなり強引なやり方ですが、実写との馴染みがとても良くなりました。間奏に登場するビニールシートで覆われた空間のカットは、この手法だけでライティングを済ませることができました。あとは、サビに登場するストロボありのカットでは、実写プレートには当然フブキさんに当たるライトは含まれていないのでCG側でライトを追加しています。見え方としては床面への落ち影ですが、ライティングで表現した方が馴染みが良かったので、この手法を選びました」（mino氏）。

また本作では、VFX作業が完了した後、Fレコが施されるため、ライティングとコンポジットについては実写とCGの馴染みを良くすることを最優先に一連の作業が行われた。そのためコンポジット作業は、フィルタの追加などミニマルに済ませているとのこと。

Fレコは、IMAGICAエンタテインメントメディアサービスが担当した。「デジタルデータをFレコするにあたってまずはプレグレーディングをしました。今回は16mmフィルムでの納品をご希望でしたが、デジタルデータをストレートで16mmネガへ焼き付けることができないため、35mmネガへ焼き付けてから16mmに縮小したローコンポジをつくり、それを4Kでフィルムスキャンして納品するというフローをご提案し、採用していただきました」（カラリスト 石川洋一氏）。

ライティング＆コンポジット

フィルムレコーディング

オンライン編集