モーションキャプチャ技術とUnityの活用によって、キャラクターとリアルタイムにコミュニケーションできる夢のような世界が実現した。CEDEC 2017で話題を呼んだ本プロジェクトを支えた技術について、現地でのライブの様子を交えながら詳しく紹介していきたい。
※本記事は月刊「CGWORLD + digital video」vol. 231（2017年11月号）からの転載となります
TEXT＿長谷川雄介
EDIT＿藤井紀明 / Noriaki Fujii（CGWORLD）、山田桃子 / Momoko Yamada
PHOTO＿弘田 充 / Mitsuru Hirota
©2017 Happy Elements Holdings Limited.
ヴァーチャルアイドル新時代の幕開け
2017年8月末日、CEDEC 2017に突如として現れたヴァーチャルアイドル「MariA（マリア）」。これは、株式会社Happy Elements Asia Pacific（以下、HEAP社）が手がける「PROJECT MariA」の記念すべき初ライブでのことだ。「MariAは、3DCGとモーションキャプチャの技術を駆使し、HEAP社が生み出したオリジナルIPで、キャラクターとファンとのリアルタイムのコミュニケーションを可能にする未来を目指し、まだ誰も感じたことがないコンテンツの新たな価値を創出するエンターテインメントプロジェクトです」とプロジェクトの仕掛人でもあるHEAP社シニアマネージャーの林 範和氏は語る。
-
- 左から、コンポジター・柏木健太郎氏（アスラフィルム）、インターン・木村謙太郎氏（東京工科大）、テクニカルアーティスト・松本孝芳氏（娯匠）、インターン・稲葉麻友氏（東京工科大）、エンジニア・北脇学氏（フリーランス）、エンジニア・佐藤昌樹氏（Happy Elements Asia Pacific）、テクニカルアドバイザー・野澤徹也氏（GUNCY'S）、テクニカルスーパーバイザー・モー ミィンテ氏（Happy Elements Asia Pacific）、キャラクタースーパーバイザー・岩崎琢也氏（フリーランス）、ラインプロデューサー・武田希土花氏、エンジニア・唐 鋒氏、シニアマネージャー・林 範和氏、リードアーティスト・周 健巍氏（以上、Happy Elements Asia Pacific）
Happy Elementsグループは、中国と日本に拠点を置く大手モバイルインターネット企業で、HEAP社はデジタルエンターテインメントの領域で日本と中国がもつ強みを掛け合わせ、アニメ、マンガ、音楽といった自社オリジナルIPを次々と創出。技術やデザイン面だけでなくストーリーの根幹部分の開発にも力を入れ、コンテンツとしての本質的な面白さを追求している。
CEDEC 2017でのライブの様子
ライブでのMariAの動きは、リアルタイムモーションキャプチャによってその場に実在しているかのような臨場感を放っていた。観客に向かって手を振り、アニメさながらのかわいらしい声で呼びかけるMariAに恥ずかしがりながらも応じてサイリウムを振る観客の姿からは、ヴァーチャルアイドルの新時代の幕開けを感じずにはいられない。これを可能にしたのが、ゲーム開発だけにとどまらず映像やインタラクティブコンテンツの分野でも広く使われているUnityだ。HEAP社のテクニカルスーパーバイザーのモー・ミィンテ氏は、「リアルタイムエンジンを使うからこそできるインタラクティブなコンテンツと、近年国内外で非常に人気の高いセル調のCGを題材に、まったく新しいIPを多数生み出していきたい」と語る。
この後は、「PROJECT MariA」ライブの舞台裏やそれを支えた最先端技術開発にフォーカスし紹介していきたい。
-
-
「PROJECT MariA」
@MariA_worldchat
www.happyelements.jp/cedec2017
Topic 1 かわいらしいキャラクターができるまで
Unityのリアルタイムシェーダで人気のセル調表現を実現
本作のメインキャラクター「MariA」のデザインは、TVアニメ化もされた人気コミック『魔法少女リリカルなのはViVid』の原作作画として有名な藤真拓哉氏が担当した。「二次元の原画がもつ可憐でかわいらしいイメージを壊さず三次元のキャラクターとして表現するために、3Dモデラーと藤真氏の間で細かなニュアンスの調整を施しました」と本作のキャラクタースーパーバイズを担当した岩崎琢也氏は語る。MariAのモデルにはMayaによってリギングが設定され、Unityに渡される。Unityの内部では、さらに物理シミュレーションを行うための設定が施されており、キャラクターの移動に追従するかたちで、衣服や髪の毛が滑らかに動く。これらは事前計算ではなく、リアルタイムで計算されている。今回は、Unity標準の物理シミュレーションシステムを使ったそうだが、今後クオリティの改善に向けて様々な方法を試していくつもりだという。
キャラクター制作フロー
「MariA」のキャラクターデザインは、藤真拓哉氏が担当
-
標準的なリギングまでをMayaで施したらUnityへ
-
選択されている範囲は物理シミュレーションの適用範囲となっている
ライブの舞台となるステージは、大自然の中の湖面の上に浮かぶ島になっており、支柱にはLEDパネルが多数埋め込まれている。ショーの盛り上がりに合わせて、床の上にはピンクの花柄模様が輝き出すなどの細かい演出が施されていたのだが、これらの演出は、時間軸に合わせて事前に組み込まれたものではなく、舞台照明を担当する照明技師が照明卓によって制御している。演者の動きや会場の様子を見ながら自由に操作が可能なため、観客の興奮をさらに盛り上げる演出の大きな助けとなっていた。
MV風の演出に活用されたTimeline EditorとCinemachine
ライブショーの演出の目玉は、なんといってもMariAの歌唱シーンだ。HEAP社が製作し、昨年TOKYO MX系列で放送したアニメ『アイドルメモリーズ』の中の楽曲が2曲披露された。曲に合わせてカメラワークが絶妙に動くだけでなく、被写界深度やブルームといったポストエフェクトがかかり、往年の歌番組を彷彿とさせるような演出となっていた。これらの演出は、Unity 2017で大幅に機能強化されたCinemachineとTimeline Editorなどの機能を使って制作されているという。カメラワークを自然にするために実写のカメラマンからのディレクションを受けて細かな動きを付けるなど、細部にわたりこだわってつくられているそうだ。これらの歌唱タイムラインは事前に作成してUnity内に組み込んでおき、ライブでは演者のみリアルタイムでダンスを踊るかたちになっており、現場で見てもまったく違和感のないカット割りとなっていた。曲の後半では、派手な花火が打ち上がるなどのエフェクトが表現されているが、これらはUnity標準のエフェクトツールであるShurikenを使って作成されたという。
Unityを活用したシーン構築
-
美しい湖面に浮かぶ光るステージがショーの舞台。周囲に並ぶのは可動式の照明器具となっており、照明制御卓からの信号で動作する
-
床面に広がるピンクの花柄模様も照明制御卓で自在にコントロール可能
歌唱シーンでは、実写のプロのカメラマンの監修を受けながらUnityのCinemachineで制御し、Timeline Editorを使用して様々な要素が時間軸に沿って組み上げられている
-
UnityのPost Processをかける前は物足りなかった画も
-
Post Processをかけると見違えるように華やかになった
次ページ：
Topic 2 光学式モーションキャプチャの活用
Topic 2 光学式モーションキャプチャの活用
自社モーションキャプチャ設備をふんだんに活用する
HEAP社では、この「PROJECT MariA」のために、モーションキャプチャスタジオを赤坂に新設し、社内で必要に応じてモーションキャプチャを自由に撮影できる環境を手に入れた。「モーションキャプチャ編集ソフトウェアの習得やカメラ等のセットアップが容易で、なおかつキャプチャの精度についても求めている水準を得られたので、光学式モーションキャプチャのOptiTrack Primeシリーズを採用しました」とHEAP社の林氏は語った。CEDEC 2017では、会場の広さの関係から会場に置けるカメラの台数に制限があったため16台に限定し、狭いエリアであっても品質が最大限に高まるように工夫されたカメラレイアウトとなっている。このモーションキャプチャシステムでは同時に5名程度までは問題なく撮影ができるとのことで、今後の制作においてもおおいに活躍することだろう。
OptiTrackで取得された点群データは、編集されることなくUnityの中にストリーミングされ、キャラクターのリグへと流し込まれる。Unityの中で質感設定まで施されたMariAがアクターの動きと寸分たがわぬ動きを見せるところは、テクノロジーの進化を強烈に感じさせる。「OptiTrackには、Unityへストリーミングをするための標準プラグインがありますが、これはリグへの流し込みには対応していなかったため、使用すると足滑りが発生してしまいました。そこで足滑りを解消するためにプラグインを自社開発し、リグへ直接モーションデータを流し込めるように対応しました」とモー氏は話した。
モーションデータパイプライン
モーションキャプチャシステムに採用されたのはOptiTrackで、編集には付属のMotiveを使用する
Motiveから流されたアニメーションは、そのままUnity内にストリーミングされる
-
本作のために自社開発されたGitベースのアセット管理パイプラインツール
-
作業中のファイルは、衝突を回避するために一時的にテンポラリの領域に保存される
その後、承認待ち（Waiting for Approval）のリストに並び、しかるべき担当者のレビューを通ったものだけが本流にマージされる
会社紹介PVもUnityでつくる
CEDECのライブショーの中では、HEAP社の特徴を紹介したPVも披露されたが、このPVも全てUnityを使って非常に短い期間でつくられたという。時代のニーズに合った良質のコンテンツを作成するために、HEAP社の大きな特徴でもある、「原作」チームと「映像」チームが同一社内で働ける環境を構築し、彼ら自らが「制作」したコンテンツを直接エンドユーザーへと届けることができる点が最大の強みと言える。PVの中でMariAが「新しいことやワクワクしちゃうことが大好きな社風のため研究開発には超積極的です！」と話す場面があるが、ユーザーからの反応をダイレクトに受けてスピーディにコンテンツへと反映させられるところは、エンジニアにとってもクリエイターにとっても大きな魅力と言えるだろう。
Topic 3 MariAに生命を吹き込む技術開発
表情解析と音声認識、そして指アニメーション
ライブショーの中で、MariAは、非常に多くの豊かな表情を見せ、観客へと呼びかけていたが、このMariAのコントロールの裏側を見せてもらうことができた。最も大事なMariAの表情アニメーションについては、制御するオペレーションスタッフの表情を解析し、「喜怒哀楽」それぞれの状態をパーセンテージによって抽出できる自社開発システムによってコントロールされている。これで、ベースとなる表情は常にスタッフの表情とダイナミックに連動するようになり、さらに声優マイクから取り込まれる音声データの波長を解析しリップシンクをさせるシステムが連動することで、声優さんのしゃべりと同調して唇の形が変化する。さらに、キャラクター特有の決め顔が事前に多数用意してあり、それらがキーボードのボタンを押している間だけ割り込まれるようになっている。このように、魅力あふれるキャラクターの表情がつくり上げられていたということだ。
指のアニメーションについても、キーボードアサインを今回は選択したが、「指については様々なソリューションが候補に挙がり検証を進めてきましたが、ライブでの演出の妨げになる破綻や障害を極力抑えるため、今回は一番無難なチョイスをしました」と林氏は語った。左右12個ずつ用意された指の決めポーズをオペレーターがアクターの動きに合わせて押すことで、実際に演技しているような錯覚を与えていた。
豊かな表情のリアルタイム生成
キャラクターの命ともいうべき表情は特に力を入れて制作されており、多数の表情集の中から豊かな表情が生み出されている
-
ここぞという場面で見せる決め顔に場内からは歓声が上がる
-
MariAを操るオペレーターの表情を読みとり喜怒哀楽や決め顔に変化し、魅力的なキャラクターへと成長する
-
バックヤードでは、モーションキャプチャや音響、コメントなど意外にも多勢で制御されていた
-
業務用音響制御卓では、全ての機器に対してサウンドデータを遅延処理しつつ送信している
舞台演出を彩る照明連動
ライブでは、CEDECのために開発された様々なシステムをコミカルにMariAが紹介するパートがあった。前述したモーションキャプチャや音声解析などのほかに観客の注目を集めていたのが、ライブ照明連動だ。観客席後方には、本物のライブでも使用されているプロ用の照明卓が置かれており、照明技師の操作によって会場の照明が制御されているが、驚くべきことにMariAが立つヴァーチャルステージの中に配置された照明も同様 に連動させることができる。照明業界の国際規格である、DMX512をUnityで読みとるプラグインを自社開発し、イーサネットケーブルで信号を送信するためのArt-Netプロトコルで連動させている。これによって、ヴァーチャルキャラクターライブと会場との照明のギャップを減らし、ライブへの没入感がより強調されるようになっている。
照明コントロールシステム
会場に配置された4つの照明を制御している業務用照明卓では、Unity内のヴァーチャル空間の照明をもコントロール可能
-
照明を白くしたり
-
赤くしたり
-
緑色にしたり
-
青くしたりすることで客席とステージの間のギャップをなくし、より深い没入感を与えている
次ページ：
Topic 4 多くの観客を魅了したライブの舞台裏
Topic 4 多くの観客を魅了したライブの舞台裏
弾幕コメントも送信可能なテキスト配信ツール
ライブの盛り上げに欠かせないのが、スクリーンに映し出されるコメントの表現。今回のライブでも技術紹介パートにおいて、MariAの所作を後押しするコメントが配信された。ニコニコ動画などでお馴染みの、いわゆる弾幕コメントと呼ばれるテキスト群や、食いしん坊キャラ設定のMariAを挑発するような料理の写真などが流れ、会場の笑いを誘っていた。この機能を開発した背景には、今後HEAP社が展開する新しいコンテンツを華やかに盛り上げる補助機能として欠かすことができないと考えられているからだろう。「将来的には、観客やユーザーがコメントしたメッセージをダイレクトに配信できるように技術開発し、ファンとアイドルとの間の円滑なコミュニケーションにつなげていきたいですね」と林氏は語る。
テキスト配信ツール
テキストだけでなく画像も転送できるコメントツールは、専用のPCからWeb Socketを通じて送信される。観客との間の双方向コミュニケーションにも活用できるシステムと言える
コメントを送信するため専用のツールからテキストの色や動き方などの各種パラメータを変更し、Previewを押す
するとPreview用のGUI上で再生して確認できる
また、ライブのサプライズ演出として、別室にセットアップされたHTC Viveとシームレスに連動していることがMariAの口から伝えられる一幕があった。アバターとなって突如ステージに上げられてしまうVR客は、観客に向かって手を振るように促される。ヴァーチャルアイドルのライブをステージの間近でVRで見ることができるのも、今後非常に注目されるソリューションと言えるだろう。
VR視聴への同時対応
ライブは、別室に用意されたHTC Viveとも接続されており、MariAを至近距離で鑑賞できる
VR内の描画を90fpsで維持させるために、物理シミュレーションの簡素化や映り込みの軽減などが行われているが、照明やキャラクターのアニメーションはステージとまったく同じ状態になっている
Topic 5 大型プロジェクト始動
今後の展開に備えて各種設備を充実
今回の発表のための技術開発では、ソースコードやデータのバージョン管理システムにはGitが用いられた。Gitは大規模な開発を他拠点で分散して進めるため非常に有益なシステムだが、運用していくためのルールや作法をしっかりと決めておかないとコードの先祖返りが起こってしまったり、同じ部分を同時に更新してしまった際に起こる衝突も避けられない。実際に今回の開発では、そのような問題が多数起こったが開発メンバーが一丸となって問題を乗り越えていったとHEAP社エンジニアの佐藤昌樹氏は話した。
Gitによる制作管理
今回の開発を影で支えたバージョン管理システムのGitのツリー構造。多数のエンジニアが同時並行で開発を進めていくため、分散管理型のGitでなければ実現が難しかったという
今後の制作を支えるインハウスツールも鋭意開発中で、日々アーティストからの要望を受けて効率化を高めるために奮闘している
HEAP社では、CEDEC 2017で発表した「PROJECT MariA」だけにとどまらず、今後様々なかたちで新規IPコンテンツを制作、展開していくという。今後の展開に備えるために、東京・赤坂に大がかりな撮影が可能な本格的なモーションキャプチャスタジオを設置しただけでなく、声優のレコーディングが可能な音声収録スタジオも新設。自社の設備で好きなときに好きなだけ撮影収録が行えるのは、クリエイターにとっては非常に魅力的と言えるだろう。HEAP社から毎日魅力的な新作が発表される日が訪れるのも、そう遠くない未来かもしれない。今回登場したMariAのTwitterアカウント（@MariA_worldchat）も稼働しているので、今後の展開などにもぜひ注目していきたい。
設備面のほかにも、より効率的な制作パイプラインをフルスクラッチで開発しているそうで、プロジェクトの規模に合わせて柔軟にスケール可能な次世代パイプラインの構築を行なっているところだという。コンテンツを制作するために、人海戦術で多数の労力をかけることもときには必要だが、再利用可能なデジタルアセットを効率良く組み合わせてHEAP社独自のアセットライブラリを構築していくことで、短期間に良質なコンテンツを量産できるしくみづくりをしていくとのこと。また現在HEAP社では、アーティストやエンジニアを積極的に採用しており、特設サイトも用意されているそうなので、興味をもった読者はぜひ訪れてみてほしい。
モーションキャプチャスタジオ設備
港区赤坂に構えたモーションキャプチャスタジオは、24台の光学式カメラを備え、大規模な撮影にも対応できる設備となっている。床には、エアロビクスなどにも使われるクッション性と消音性の高いフロアを敷き、激しいダンスにも耐えられる
410万画素の高精細で撮影可能なOptiTrack Prime41などのカメラで、素早い動きでも光学マーカーを見失わない
スタジオ内には執務スペースもあり、ただいま新規コンテンツの制作の真っただ中となっている
-
-
月刊CGWORLD + digital video vol.231（2017年11月号）
第1特集UnityとUE4、ノンゲームにおける活用動向
第2特集TVアニメ『宝石の国』
定価：1,512円（税込）
判型：A4ワイド
総ページ数：128
発売日：2017年10月10日
ASIN：B075N573CF
