>   >  ヴァーチャルアイドルとコール&レスポンス!? Unityを活用したリアルタイムLIVE「PROJECT MariA」
ヴァーチャルアイドルとコール&レスポンス!? Unityを活用したリアルタイムLIVE「PROJECT MariA」

ヴァーチャルアイドルとコール&レスポンス!? Unityを活用したリアルタイムLIVE「PROJECT MariA」

モーションキャプチャ技術とUnityの活用によって、キャラクターとリアルタイムにコミュニケーションできる夢のような世界が実現した。CEDEC 2017で話題を呼んだ本プロジェクトを支えた技術について、現地でのライブの様子を交えながら詳しく紹介していきたい。

※本記事は月刊「CGWORLD + digital video」vol. 231(2017年11月号)からの転載となります

TEXT_長谷川雄介
EDIT_藤井紀明 / Noriaki Fujii(CGWORLD)、山田桃子 / Momoko Yamada
PHOTO_弘田 充 / Mitsuru Hirota
©2017 Happy Elements Holdings Limited.

ヴァーチャルアイドル新時代の幕開け

2017年8月末日、CEDEC 2017に突如として現れたヴァーチャルアイドル「MariA(マリア)」。これは、株式会社Happy Elements Asia Pacific(以下、HEAP社)が手がける「PROJECT MariA」の記念すべき初ライブでのことだ。「MariAは、3DCGとモーションキャプチャの技術を駆使し、HEAP社が生み出したオリジナルIPで、キャラクターとファンとのリアルタイムのコミュニケーションを可能にする未来を目指し、まだ誰も感じたことがないコンテンツの新たな価値を創出するエンターテインメントプロジェクトです」とプロジェクトの仕掛人でもあるHEAP社シニアマネージャーの林 範和氏は語る。

  • 左から、コンポジター・柏木健太郎氏(アスラフィルム)、インターン・木村謙太郎氏(東京工科大)、テクニカルアーティスト・松本孝芳氏(娯匠)、インターン・稲葉麻友氏(東京工科大)、エンジニア・北脇学氏(フリーランス)、エンジニア・佐藤昌樹氏(Happy Elements Asia Pacific)、テクニカルアドバイザー・野澤徹也氏(GUNCY'S)、テクニカルスーパーバイザー・モー ミィンテ氏(Happy Elements Asia Pacific)、キャラクタースーパーバイザー・岩崎琢也氏(フリーランス)、ラインプロデューサー・武田希土花氏、エンジニア・唐 鋒氏、シニアマネージャー・林 範和氏、リードアーティスト・周 健巍氏(以上、Happy Elements Asia Pacific)

Happy Elementsグループは、中国と日本に拠点を置く大手モバイルインターネット企業で、HEAP社はデジタルエンターテインメントの領域で日本と中国がもつ強みを掛け合わせ、アニメ、マンガ、音楽といった自社オリジナルIPを次々と創出。技術やデザイン面だけでなくストーリーの根幹部分の開発にも力を入れ、コンテンツとしての本質的な面白さを追求している。

CEDEC 2017でのライブの様子

ライブでのMariAの動きは、リアルタイムモーションキャプチャによってその場に実在しているかのような臨場感を放っていた。観客に向かって手を振り、アニメさながらのかわいらしい声で呼びかけるMariAに恥ずかしがりながらも応じてサイリウムを振る観客の姿からは、ヴァーチャルアイドルの新時代の幕開けを感じずにはいられない。これを可能にしたのが、ゲーム開発だけにとどまらず映像やインタラクティブコンテンツの分野でも広く使われているUnityだ。HEAP社のテクニカルスーパーバイザーのモー・ミィンテ氏は、「リアルタイムエンジンを使うからこそできるインタラクティブなコンテンツと、近年国内外で非常に人気の高いセル調のCGを題材に、まったく新しいIPを多数生み出していきたい」と語る。

この後は、「PROJECT MariA」ライブの舞台裏やそれを支えた最先端技術開発にフォーカスし紹介していきたい。

Topic 1 かわいらしいキャラクターができるまで

Unityのリアルタイムシェーダで人気のセル調表現を実現

本作のメインキャラクター「MariA」のデザインは、TVアニメ化もされた人気コミック『魔法少女リリカルなのはViVid』の原作作画として有名な藤真拓哉氏が担当した。「二次元の原画がもつ可憐でかわいらしいイメージを壊さず三次元のキャラクターとして表現するために、3Dモデラーと藤真氏の間で細かなニュアンスの調整を施しました」と本作のキャラクタースーパーバイズを担当した岩崎琢也氏は語る。MariAのモデルにはMayaによってリギングが設定され、Unityに渡される。Unityの内部では、さらに物理シミュレーションを行うための設定が施されており、キャラクターの移動に追従するかたちで、衣服や髪の毛が滑らかに動く。これらは事前計算ではなく、リアルタイムで計算されている。今回は、Unity標準の物理シミュレーションシステムを使ったそうだが、今後クオリティの改善に向けて様々な方法を試していくつもりだという。

キャラクター制作フロー


「MariA」のキャラクターデザインは、藤真拓哉氏が担当



  • 標準的なリギングまでをMayaで施したらUnityへ



  • 選択されている範囲は物理シミュレーションの適用範囲となっている

ライブの舞台となるステージは、大自然の中の湖面の上に浮かぶ島になっており、支柱にはLEDパネルが多数埋め込まれている。ショーの盛り上がりに合わせて、床の上にはピンクの花柄模様が輝き出すなどの細かい演出が施されていたのだが、これらの演出は、時間軸に合わせて事前に組み込まれたものではなく、舞台照明を担当する照明技師が照明卓によって制御している。演者の動きや会場の様子を見ながら自由に操作が可能なため、観客の興奮をさらに盛り上げる演出の大きな助けとなっていた。

MV風の演出に活用されたTimeline EditorとCinemachine

ライブショーの演出の目玉は、なんといってもMariAの歌唱シーンだ。HEAP社が製作し、昨年TOKYO MX系列で放送したアニメ『アイドルメモリーズ』の中の楽曲が2曲披露された。曲に合わせてカメラワークが絶妙に動くだけでなく、被写界深度やブルームといったポストエフェクトがかかり、往年の歌番組を彷彿とさせるような演出となっていた。これらの演出は、Unity 2017で大幅に機能強化されたCinemachineとTimeline Editorなどの機能を使って制作されているという。カメラワークを自然にするために実写のカメラマンからのディレクションを受けて細かな動きを付けるなど、細部にわたりこだわってつくられているそうだ。これらの歌唱タイムラインは事前に作成してUnity内に組み込んでおき、ライブでは演者のみリアルタイムでダンスを踊るかたちになっており、現場で見てもまったく違和感のないカット割りとなっていた。曲の後半では、派手な花火が打ち上がるなどのエフェクトが表現されているが、これらはUnity標準のエフェクトツールであるShurikenを使って作成されたという。

Unityを活用したシーン構築



  • 美しい湖面に浮かぶ光るステージがショーの舞台。周囲に並ぶのは可動式の照明器具となっており、照明制御卓からの信号で動作する



  • 床面に広がるピンクの花柄模様も照明制御卓で自在にコントロール可能


歌唱シーンでは、実写のプロのカメラマンの監修を受けながらUnityのCinemachineで制御し、Timeline Editorを使用して様々な要素が時間軸に沿って組み上げられている



  • UnityのPost Processをかける前は物足りなかった画も



  • Post Processをかけると見違えるように華やかになった

次ページ:
Topic 2 光学式モーションキャプチャの活用

特集