女子高生CG『Saya』に生命の息吹をふきこむ〜パフォーマンスキャプチャ〜

クリエイティブユニットTELYUKAを中心として進行中の「バーチャルヒューマンプロジェクト『Saya』」。彼女を動かすにあたり、一連のモーションならびにフェイシャルキャプチャを手がけているのが東映のツークン研究所である。近頃、様々な案件で彼らの名前を目にする機会が増えているように感じるのだが、Sayaの事例を通して、その秘密にせまった。

※本記事は月刊「CGWORLD + digital video」vol. 221（2017年1月号）からの転載となります

TEXT ＿黒岩光絵（二代目三四郎商店）
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamada

徹底した現場主義の下、新たなテクノロジーを積極的に採り入れていく

東映デジタルセンターの一翼を担うツークン研究所は、キャプチャ事業を中心にCG・VFX制作に取り組んでいるが、現場ニーズに即したR&Dにも意欲的なことで知られている。先日もMotionBuilderからのデータを、Unreal Engineへのリアルタイムストリームを可能にするプラグイン「Unreal Stage」を発表した。「キャプチャ事業については、ツークン研究所は東映の東京撮影所内に所在しているので、案件に応じて映画ステージでの収録や外部への出張にも対応できる体制を整えています」とは、高橋沙和実プロデューサー。2015年春からフェイシャルキャプチャ（以下、FCAP）のサービスを開始したことでスタジオ自体も改良した。眼前カメラの映像の精度を上げるために壁の色を白く塗り直したり、スタジオ環境も常に最適化が考えられている。

左から、三鬼健也モーションキャプチャスペシャリスト、木下紘フェイシャルキャプチャスペシャリスト、高橋沙和実プロデューサー以上、ツークン研究所（東映）
www.zukun-lab.com

PHOTO＿弘田充 / Mitsuru Hirota

今後、カメラや深度センサーの進化や小型化がどんどん進むだろうと語るのは、テクニカルディレクター兼モーションキャプチャ（以下、MOCAP）スペシャリストの三鬼健也氏。「マーカーレスのセンサー式など、手軽に使えるキャプチャデバイスは今後も新製品が登場するのではないでしょうか。ですが、生産性やハイエンドを求めるのであれば、光学式の優位性はゆるぎないものと考えています」。そして、FCAPスペシャリストの木下紘氏は、「ツークン研究所が追求しているのはハイエンドとハイクオリティです。常に最新技術と需要をリサーチして活用の幅を模索し、より良く、手早く行うためのノウハウを求め続けていく。そして各プロジェクトに応じてフェイシャルにまつわるあらゆることをトータルデザインできる体制こそがツークン研究所の大きな特徴だと思っています」と続ける。そうした企業風土をもつツークン研究所がSayaと出会ったのは、1年前の「CGWORLD2015 クリエイティブカンファレンス」であった。講演後の懇親会にて、三鬼氏がアニメーション制作への協力をTELYUKAに申し出たところ、ツークン研究所でも以前からデジタルヒューマンのR&Dに取り組んでいたこともあり、意気投合したのだとか。「Sayaには、TELYUKAさんの娘さんをお預かりする気分で臨んでいます」（木下氏）。

＜1＞ワークフロー

2015年12月中旬にTELYUKAがツークン研究所を見学に訪れた。「そのときはパフォーマンスキャプチャのデモンストレーションをお2人にご覧いただきつつ、Sayaプロジェクトの展開案などを伺いました。その後、しばらくは月に一度くらい近況報告を聞きながら、自分たちなりに準備を進めていました」（高橋氏）。ツークン研究所側で本格的に動き始めたのは2016年5月頃のこと。一連のセットアップはTELYUKAが行なっているが、キャプチャやその後のアニメーション制作への配慮など、必要に応じてツークン研究所も提案を行なったという。10月上旬に開催されるCEATEC向けの収録に加えて、先々のR&D向けのキャプチャも併せて行うことが決まった。6月に入り、TELYUKAが8K映像デモ『la robebleue』の絵コンテとプリビズをアップ。それを基に具体的な収録方法などが詰められていった。なお、CEATECで公開された『larobe bleue』は、一部のパートを先行公開したものであり、実際に収録したテイクはもっと長尺であることが確認できた。また上述のとおり、今後の研究開発を目的としたフェイシャルやデジタルサイネージ用のモーションも収録されている。トータルでOKテイクだけで30以上を収録したそうだが、1日で一連の収録を終えたそうだ。「様々なシチュエーションで収録しました。『la robe bleue』用の収録に際してはロゴスコープの亀村さんがヴァーチャルカメラを持参されて、自らカメラワークも担当されました（ページ最上部のキービジュアルを参照）。データの整備は後日で問題ないので『こんな動きもほしいよね？』と、話し合いながら即興でキャプチャしたものもありましたね」（三鬼氏）。キャプチャ以外にも、アクターを務めた吉良愛実氏（ツークン研究所）の自然光環境下のHDRI素材の撮影も行われたほか、ヘッドマウントカメラ（以下、HMC）を装着したアクターとSayaとの比較用として、HMCに取り付けたLED照明自体のライトリファレンスや、眼球（瞳孔）の微細な動きのリファレンスなど、様々な研究用素材も収録された（彼らのR&Dに対するこだわりの強さを実感させられる）。

ツークン研究所の常設スタジオ

Vicon「T160」光学式カメラを24台配置。常設スタジオの収録エリアサイズは「10m×7m×高さ2.5m」だが、案件に応じて変更可能である。ツークン研究所が所在する東映東京撮影所内の映画ステージを利用することで、最大27m×17mまでの収録実績があるとのこと
www.zukun-lab.com/motion_capture

『Saya』のパフォーマンスキャプチャ収録

収録の様子。吉良氏のアクター起用について、「プロのアクターではなく、若い女性特有の動きを自然体で演じられる人を」というTELYUKAの意向を汲み、ツークン研究所側から吉良氏を提案したのだとか。「確かに吉良は演技の経験はありませんが、通常はキャプチャ業務やアニメーション制作を手がけているのでその意味での勘どころが良く、効率的に収録することができました」（三鬼氏）。その采配は見事に的中し、今ではSayaのアクター（アクトレス）は吉良氏のほかに考えられない（TELYUKA談）という

次ページ：
＜2＞フェイシャルアニメーション

[[SplitPage]]

＜2＞フェイシャルアニメーション

ツークン研究所ではDynamixyzのPerformer2 SVをメインツールで使用していることについて「実はFCAPサービスを開始する以前からDynamixyz社と共同研究を行なっており、そのながれから開発者とのやり通りも多く最も扱いに慣れていた、という経緯がありました。これらの研究と並行し、様々なFCAPのソフトウェアを比較検証した結果、Performerが弊社の志向にあっていると判断して現在使用しています」（木下氏）。Performerの利点はトラッキング、リターゲティング作業を行うためのツールのアニメーターライクな仕様とのこと、アニメーターが任意に選んだ表情を記録し、ライブラリに蓄積していくことで解析の精度が高くなる。この特性を活かして非常に多くの表情ライブラリを登録し、豊かな表情を生み出したそうだ。「収録はもちろんパフォーマンスキャプチャで行なっています。収録後にカメラをFIXさせるため、一度未調整のbodyとfaceのデータを先に納品させていただいた後にポリッシュしたアニメーションを最終的に納品させていただいてます」（木下氏）。「まだ完全に調整してないデータを最初にTELYUKAにお渡ししてレンダリングしてもらったのですが、そのときの衝撃は大きく期待が膨らみました」（三鬼氏）。フェイシャルリグについてはジョイントスキンベース（本誌P30参照）で制作されている。FCAPを収録するということでTELYUKAにアドバイスをすることもあったそうだ。現時点では未公開だが、フェイシャルチェック用にレンダリングしたWIP動画を拝見させていただいたところ、顔のシワや首の筋などかなりリアルに表現されていることが確認できた。特に女性キャラはシワが入るとかわいさがなくなるのだが、造形のリアルさも相まってとても良いバランスとなっている。非常にクオリティの高いものとなっていることからデジタルヒューマンの可能性を大きく感じることができた。

前述のとおりヴァーチャルカメラを併用した収録も行われた。「ちょうど収録の際ロゴスコープ／亀村氏が持参したカメラがあり、スタビライズも付いていたので現場でマーカーを付けて収録したのです」（三鬼氏）。カメラデータは最終的には調整を加えたが、収録時のプリビズ時に効果を発揮したそうだ。ボディアニメーションはMotionBuilderで全て完結させており、複雑なことは行なっておらずシンプルなフローだったそうだ。

Dynamixyz「Performer」によるフェイシャル解析

TELYUKAから提供されたフェイシャルリグ。コントローラはFACSベースに分けられており、それぞれにさらに細かい制御が行えるようになっている

リグと合わせて提供された仕様に関する解説動画。Dynamixyzの解析ツール「Performer」UI

約600枚におよぶアクターの微細な表情のちがいをサンプリング
サンプリングした表情群が正確にアニメーションするようポーズの調整をくり返す。アニメーターフレンドリーな仕様になっているのが、ツークン研究所の「ハイエンド＆ハイクオリティ」という志向にマッチしているそうだ

アクターとSayaの表情比較

アクター吉良氏の表情とSayaのフェイシャルアニメーションを比較したもの。若い日本の女性らしい所作が見事に反映されている。

ニュートラル表情
小さな驚き

人体構造に倣い、口角下制筋から頚部への影響も表現されている
ほうれい線やえくぼ

イメージベースト方式のフェイシャルキャプチャでは正確な解析が難しい下唇突き出し
笑顔。歯の見え方など、ここからさらなるブラッシュアップを現在も継続中とのこと

次ページ：
＜3＞フェイシャルアニメーション

[[SplitPage]]

＜3＞ツークン研究所が誇る自作ツール

HMCをはじめ、ツークン研究所では収録機材の自作にも積極的だ。「HMCの開発は私が長年温めていたものを凝縮させています。役者さんがかぶるということ、そしてかぶったときに邪魔にならないようにすることに関しては、ひときわ気を配っています。現行機はver2.2モデル（約230g）になるのですが、まだまだ改良の余地がありますよ」（三鬼氏）。構成は非常にシンプルでカメラとレコーダの2つとなっており、レコーダを体に貼り付けるかたちだ。したがって、動きに合わせてレコーダの場所の調整も容易となっている。また録画や再生等の制御は、無線で即時に行える。なお、一般的なキャプチャ方式では、タイムコードのシンクを合わせるためのレコーダをアクターの腰あたりに巻き付けているが、それでは役者の演技を拘束してしまうことから、ツークン研究所では収録後にTCを敷くという独自のワークフローを導入している。「ツークン研究所の"研究所"という名に恥じぬようR&Dをしていきたいと思っていますが、制作現場ではテクノロジーだけでなく、フットワークの良さも大切です」（三鬼氏）。実際に材料はいずれも壊れた際のメンテナンスのしやすさを重視しており、全て市販で買えるもので構成されている。特に軽さを重視していることから、ネジ1本の重量まで気にかけているそうだ。「安全性、耐久性を保持しつつも、徹底的に『肉抜き』を行うことがポイント。0.25gの重さのネジでも4本使っていたら1gになるので、安全性を保ちながら軽量化を追求しています」。ハードウェアのこだわりは軽さだけではなくフレームにも工夫が考えられている。従来のHMCではフレームがまっすぐになっているため、外側からリファレンス動画を収録した際に口元が映らないという問題が生じていた。これに対してフレームに角度をつけることによって、口元がはっきりと映るようになっている。「そのほかにもHMCのブレを減らしてノイズを軽減するといったハードウェアの開発から、収録時のスタジオワーク、膨大な映像素材の管理、大量のMayaシーンを扱うためのバッチ群。あらゆる面で、Performerのパフォーマンスを高める努力を行なっています」（木下氏）。本取材を通してツークン研究所のこだわりと日々の研究の積み重ねが確かな成果につながっているということ、そしてハイエンド＆ハイクオリティへのあくなき追求という姿勢が存分に伝わってきた。

現場ならではの機転を利かせた自作ツール群

ツークン研究所が自社開発したHMC機材一式（上段）と、実際に装着した例（下段左）。最高画質はフルHD（1,920×1,080、60fps）でありながらも、レコーダとバッテリ込みで重量は約230gと非常に軽量化されている。安全性・耐久性を保持しながら徹底的に肉抜きを施したり、タイムコードは収録後に入れるワークフローを採ることでTC用の機材を省くといった創意工夫を凝らし、アクターへの負荷を最小限にとどめている。携帯性にも優れ、他社スタジオ、サウンドブースやオフィスなどへの出張収録も行なっているそうだ
www.zukun-lab.com/facial_capture
（下段右）ワイヤレスによる収録は、通常時で5台（5人）同時収録が行える。HMC映像はリアルタイムでプレビュー可能

リアルな動きに、さらなる磨きを施す