今、AR界隈が盛り上がりを見せている。2020年からiPhone ProやiPad ProにLiDARが搭載され、各社からはスマートグラスやARグラスのリリースが相次ぐ。コンテンツは現状、各社AR開発環境に依存しているが、3DCGが充実してきていることは確かだ。

今回は、国内のAR開発スタートアップ、OnePlanetが手がけたビジュアルコミュニケーションアプリ「Snapchat」のハチ公誕生100周年を記念したARレンズ「Lv100 Hachikoを紹介する。CGデザインとエンジニアリングの掛け合わせによって生まれた未来志向のARコンテンツ、その制作の裏側を見ていこう。

記事の目次

    SnapchatのARで「未来のハチ公」を見せる

    ▲ハチ公LV100紹介映像

    CGWORLD編集部(以下、CGW):まずは自己紹介をお願いします。

    Ivan Stephanus(以下、Ivan):CEOの村上と一緒に株式会社OnePlanetを起ち上げて4年、XRエンジニアをしています。本作ではARに関する部分やLens Studio(Snap社のAR開発環境)の開発全体に関わっています。

    Ivan Stephanus

    XR Engineer
    Twitter @van_eng622

    ダストマン:TVやWebのCMのモーショングラフィックスが中心のVFXアーティストです。2年前にIvanさんに誘われて、OnePlanetにジョインして、ARコンテンツの企画からビジュアルデザイン、3DCG制作などをやっています。

    ダストマン(DUSTMAN)

    Visual Effects Artist
    Twitter @dustman_tips
    YouTube ダストマンTips

    CGW:OnePlanetはARに特化した制作をしているんですか?

    Ivan:はい、ARしかやっていないという国内では希有な会社です。CEOの村上と、ふたりでワクワクできて世界が変わるようなフィールドにベットしようと模索する中でARに出会って、ここで勝負しようと。これからやって来るARグラスの普及には、スマホ登場以来の大きなポテンシャルを感じています。

    当社ではARのエンジニアやクリエイターが1つのチームとして、企画から開発までワンストップで行なっています。また、PLANETAR(プラネター)という、ノーコードでWebARを制作できるサービスも開発、提供しています。そのほか、ARグラスを活用したR&D等の技術支援を行うコンサルティング事業も行なっています。

    ▲ノーコードで誰でも簡単にARが作成できるツール。3Dモデル、写真&動画、イラストやグラフィックをアップロードすることで、AR化が可能に。詳細はこちら

    CGW:ダストマンさんといえばAfter Effectsですが、今ARに取り組まれているんですね。

    ダストマン:実は10年前に地方の映像制作会社に所属していて、ARにも取り組んでいたんです。ただ、当時1MBという容量の壁があったり、アプリ化が必須だったりと、エンジニアリング上のハードルが高くて、いったん止めたんです。そんな中、2年前に縁あってOnePlanetと合流することになりました。ARに取り組んでいた当時から8年経ったし、Magic Leapも出たし、やってみたいなと。

    CGW:「未来のハチ公」開発背景について教えてください。

    IvanSnap社は、SnapchatのレンズのARや、特定の場所にかざすと出現するARなどの様々なAR関連の技術を提供しています。このレンズは同社が提供している開発ツールのLens Studioで誰でも開発してアップロードできるのですが、国内ではまだあまり事例がなかったので、何か日本でもできないかということで当社に相談をいただいたんです。

    ▲Lens StudioのUI。シーンのオブジェクトリスト(左上)、マテリアルやスクリプトなどのリソースリスト(左下)、インスペクタと実機プレビュー(右)がまとまった、いわゆるゲームエンジンらしいもの

    Ivan:お話をいただいてから、誰もが見慣れていて体験しやすく、ARで楽しくなる「場所」はどこだろうと考えた結果、「ハチ公」にたどり着きました。

    ダストマン:ちょうど「忠犬ハチ公の日」(毎年4月8日)と「ハチ公生誕100周年」プロジェクトがあったので、早速企画を進めました。そして、海外から見たハチ公のイメージとして、渋谷よりも広く東京と捉え、ハチ公の中に東京っぽさを詰め込めたらいいなと考えました。それで雷門や俵屋宗達の屏風画で知られる風神雷神に行き着いて、簡単なビジュアルをつくり始めました。

    CGW:風神雷神! デザインのコンセプトは何ですか?

    ダストマン:日本のゲーム文化を下敷きにしたゲームキャラっぽいものです。100周年で「ハチ公Lv.100 ver.東京」みたいな。

    キャラクターとしては、風神は防御、雷神は攻撃と、お互いに攻守の性格をもたせました。風神は手前にシールドが出ていて東京の人たちを守り、雷神は来た人を迎撃する感じです。個人的に気に入っているのは、ハチ公の愛らしさを表現するために、雷神の太鼓のデザインに肉球のモチーフを入れたところです。

    完成した風神のAR。風切り音とともに、半透明のバリアと風のエフェクトが出現。ハチ公の頭上のパーツもプカプカと揺れる
    ▲こちらは雷神の完成AR。太鼓が叩かれると派手な稲妻がビリビリというSEとともに出現する。稲妻のアニメーションはシンプルながらデフォルメが効いていて小気味良い

    CGW:制作スケジュールはどのくらいですか?

    Ivan:企画と開発、検証をグルグルと回して、2-3ヶ月かかっています。ARが難しいのは、企画をキッチリ立てても、やってみないとわからないことです。
    実際現地で試してみたら「イメージと全然ちがう」ということもあるので、計画を立てきれないんですよ。コンセプトと方向性はある程度決めておきますが、企画を完璧につくっておいても、あまり意味がないという。

    ダストマン:本作で言うと、当初、風神と雷神の切り替えに、格闘ゲームの必殺技の演出みたいなカットインを入れていたんです。でも現地でテストして冷静に見てみたら、演出上はリッチに見えるけど確かにいらないなと気づいて、丸ごと取りやめにしました。

    ▲ボツとなった風神のカットイン演出。男性の太い声とともにハチ公が横から顔を出す
    ボツとなった雷神のカットイン演出。風神とは逆の方向からハチ公が顔を出すようにしてある

    CGW:まるごとですか。厳しいですね。

    ダストマン:いえいえ。ARではそのコンテンツを必死に見ようと思って見ている人は実はそんなにいなくて、それが映像やゲームとかとの大きなちがいだなと感じています。

    つくり手はストーリーとかディテールとか、こういうところを見てほしいという思いを込めてつくりがちですが、受け取り手はそこまでしっかりとは見てくれません。僕は何度もそこで苦しみましたが、その経験から、演出は絞ってストレートに、余計なものは削ぎ落とすということを学びました。

    Ivan:ARは新しいコンテンツのかたちで、当然ユーザーは見慣れていません。ハチ公にかざして何かが出てくる体験にたどり着くまでに、すでにハードルがあります。ですから、風神雷神が出てくる以外の技術的なあれこれを詰め込んでも、ユーザーとしては情報量が多すぎてリアクションが追いつかなくなります。

    ダストマン:現地でのテストが大事という意味ではもう1点、風神も雷神も現地では引きで見るので、思ったよりもこぢんまりとした画になってしまいました。そこで、かなり画面からはみ出すようにスケールを調整しました。PCの画面の中だと良い感じだったんですが、現地では全然印象が変わります。

    ▲初期の雷神。このように現地で見ると、思ったよりこぢんまりした印象になってしまった。そのため、太鼓などが画面からはみ出すようにスケールすることにした

    Ivan:人が多い場所なので、どうしても埋もれがちになってしまうんですよね。

    ダストマン:ARは場所の制約というか、場所の環境にコンテンツが左右されます。「思ってたのとちがった」は絶対に起こるので、それを加味したスケジューリングが必要ですね。

    AR用の3DCG制作ツールはBlenderがオススメ

    CGW:ここからは少し技術的なお話を伺います。Snapchatのレンズということで、ファイルサイズに制限はあるのですか?

    ダストマン:はい、容量制限は8MBです。正直、映像制作では容量制限なんて考えませんよね。むしろリッチにするために大きければ大きいほど良いみたいな(笑)。だから今回、8MBの中で表現するというのが難しくて、全然別の筋肉を使いました。

    ポリゴン数は極限まで落とさないといけませんし、アニメーションの秒数も増えれば増えるほど容量がかさみます。短いループアニメーションでいかにリッチに見せるかを考えて、1フレーム単位で取捨選択をしました。テクスチャも、スマホの画面で破綻が見えない限界まで圧縮しています。

    今回、8MBの容量のうち、風神と雷神のモデルには合計6MBちょっとを使いました。容量は均等ではなくて、風神の方がちょっと重くて5MB。逆に雷神は、派手に見えるんですが実は直線メインなので1.3MBで済んでいます。

    ▲作成したFBXファイルのサイズ。風神(左)は曲面パーツを多用してあるため5MB程度と多く、雷神(右)は直線中心のため1.3MBとコンパクトに仕上がっている

    CGW:意外ですね(笑) ちなみに3DCG制作にはどのツールを使ったのですか?

    ダストマン主にモデリングはBlenderで、2Dアニメーションの素材はAfter Effectsで制作したりしましたが、データによってツールを使い分けました一部のファイルはCINEMA 4D(以下、C4D)にもってきてリトポロジーをかけたり、板ポリにアニメーションを貼ったりしてC4DからFBXで書き出したものをLens Studioにもっていくながれで制作しています。

    ▲モデルをC4Dに読み込んだところ。風神(左)と雷神(右)

    CGW:なるほど。モデリングにC4DではなくBlenderを使ったのはどうしてですか?

    ダストマン:今回は特に深い理由はなくて、風神の首のオーナメントが曲面でできているので、それをつくるのにBlenderのスカルプトでやりたかったから、ということです。

    ▲Blenderのスカルプト機能で制作した風神の首のオーナメント

    ダストマン:ただARにおける3DCG制作は、Blenderと相性が良いことが多いとは感じています。マテリアル、リグ、中間ファイルの安定性が高くて、バグが少ないからです。例えばC4Dでプロシージャルなアニメーションとか、デフォーマで変形したアニメーションをつくっても、いま主流になっているARの開発ツールにはもっていけないことが多いですから。ただし、それも開発するARの種類によっては全然ちがってくるので、そこもARの難しさですね。

    CGW:そうなのですね。マテリアルにも制限がありますか?

    ダストマン今回のARにおいては、もっていけるのはカラーリフレクションなどデータが限られので、持っていけない表現はLens Studio側でマテリアルを組むなどケースバイケースで工夫するかたちになります。もっていけない一部のデータではARエンジニアと連携しながら、Lens Studio内部のマテリアルを割り当ててもらうかたちで制作しました。

    Ivan:マテリアルだけでなく、エフェクトなどもLens Studioの中で設定します。このあたりはARツールによって全部バラバラなので、毎回できることとできないことを検証しながら開発をしています。


    Lens Studio内のマテリアルを使って、風神の半透明バリアとエフェクトを開発。実際のARでも半透明になっていることがわかる

    CGW:Lens Studioではどのようにコンテンツをつくるのですか?

    Ivan:どういう種類のARをつくるかによっても全く変わってきますが、本作の場合、まずハチ公像の3Dスキャンを行いました。iPhone ProのLiDARでグルグルと回って3Dスキャンしたデータと、ダストマンが制作した3DCG素材やアニメーションをLens Studioで配置して、見た目を調整します。

    CGW:なるほど。対応端末などはどのように決めているのでしょうか。

    Ivan:一般論として、広告寄りのプロジェクトは対応端末を幅広く見積もって、最低でも8割以上の人が体験できる水準を目指して制作します。対応端末を広くとると、そのぶん容量と機能がシビアになりますから、企画ごとにトレードオフで設定していきます。
    本作では、SnapchatのAR機能を啓蒙する意味も大きかったので、「Lens Studioでできる最大限のこと」を重視して、対応端末はある程度絞りました。

    実はこのあたり、ARの開発環境は現状かなりカオスな状況です。ブラウザで動くものもあれば、今回のようにSNSの特定のアプリ上で動くものもあり、アプリをインストールして体験してもらうもの、ARグラスもあります。
    ややこしいのが、各社独自の開発ツールを提供していることです。各ツールで対応端末もちがいますし、できることできないこともちがいますから、個々のツールを勉強して、プロジェクトごとにゼロから検証しなくてはいけません。

    ARの普及に伴い3DCGの需要は爆発的に増える

    CGW:ARコンテンツはこれからどんどん増えていきそうですね。

    ダストマンデバイスの普及状況に左右されると思いますが、アプリを必要としないWebARの普及も後押しして、確実に増えていくでしょう。現状、スマホのARだと既存の枠組みを大きく超えるのは難しいですが、ARグラスなどが進歩するに伴って、ゲームと映像の中間的な表現が増えてくるようになるはずです。

    それと、広告では従来の映像表現にARが追加されるようになるでしょう。6秒のバンパー広告、15秒のTVCM、30秒のWeb広告をつくって、ついでにAR広告もつくるといった感じです。ほかにも、ARで壁に自分の好きなループ映像を飾るといったインテリアや、NFTとしてのAR映像にも可能性が開かれていると思いますね。

    CGW:そうすると、3DCGアーティストがARで果たす役割も増えてきそうです。

    Ivan:3DCGアーティストの役割は重要になってくると思います。ARグラスがベースになれば、ほとんどのコンテンツが3DCGになりますし、3DCGアーティストがいないとコンテンツがつくれないという世界になって、需要は急拡大しそうです。

    ダストマン:これまで以上に「リアルにないもの」の需要が増えるかなと思っています。現実に存在するものは3Dスキャンなどで用意できますが、世の中にないものはクリエイターがつくらなくてはならない。
    もちろんGenerative AIの動向もウォッチしていますが、全てがAIに置き換わるのではなく、AIに生成できないようなクリエイティブを3DCGアーティストが担って共存していくような世界になるのではないでしょうか。ここは見極めが難しいですが、僕たちはチャレンジしていきたいと思っています。

    CGW:今後、ネットワーク事情も変われば、コンテンツの容量制限もなくなりそうですね。

    ダストマン:その通りです。ARグラスの中に通信の機構が内蔵されて、クラウドでレンダリングしたデータをグラスが受け取って表示できるようになるとか。そうすれば、本作のような8MBの容量の壁などは簡単に超えられると思います。

    Ivan:5Gが普及してしまえばそこはもう一気に進むでしょう。

    ダストマン:あとはStarlinkですね。衛星通信がしっかり普及して、全員がWi-Fiに繋がっているという状況。これは確実にやってくる未来ですからね。

    CGW:技術の進歩が待ち遠しいですね。

    ダストマン個人的にはAppleのARグラスに期待しています。リリースが待ち遠しいです(笑)

    Ivan:最後に、当社にはダストマンをはじめ、3DCGアーティストが何名か在籍しています。ですが、僕たちはARの領域で日本から世界を目指すようなチャレンジをしたいと思っているので、そのためには、まだまだ様々な人材が必要だと考えています。ARに興味がある3DCGアーティストの方、CG関連技術者の方はぜひ弊社への参画をご検討ください!

    CGW:ありがとうございました。

    TEXT _kagaya(ハリんち
    PHOTO _弘田 充