ツークン研究所が追い求める、"バーチャルプロダクション"とは？

2018年6月18日（月）、東映ツークン研究所は「デジタルヒューマン」専門の研究チームの発足を発表した。この新たな取り組みの根底にあるのが、「バーチャルプロダクション」という概念だという。キーマンたちに意図を聞いた。

※本記事は月刊「CGWORLD + digital video」vol. 251（2019年7月号）からの転載となります。

＜関連する記事＞
デジタルヒューマンチームの発足から現在までの足跡（東映ツークン研究所）

TEXT＿大河原浩一（ビットプランクス）
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）
PHOTO＿弘田充 / Mitsuru Hirota

＜1＞常設キャプチャスタジオのリニューアルが転機となる

東映ツークン研究所（以下、ツークン）が推し進める「バーチャルプロダクション」構想。具体的に動き出したのは5～6年前のことだという。2014年、ツークンのモーションキャプチャ常設スタジオが現在の場所に移設され、強化・拡張された。それと並行してリアルタイム合成システム「Previzion」を導入したのを機に、バーチャルプロダクションの一翼を担う「バーチャルスタジオ」に関する研究開発がスタート。そして昨年には、根幹となるしくみをパートナー企業であるQoncept （コンセプト）と共同開発したマーカーレスのリアルタイムカメラトラッキング＆合成システム「LiveZ studio」の運用が開始された。

一方、実在する人間をフォトリアルな3DCGキャラクター化する「デジタルヒューマン」については昨年6月に専門チームの発足、そして米国USC（南カリフォルニア大学）のICT（Institute for Creative Technologies）が開発した、最新版のLight Stageを導入することを発表したのは周知のとおりだ。

東映デジタルセンター内にツークンが発足したのが、2010年。今年は活動10年目となる節目の年でもある。発足当初のメンバーは、現・ツークン研究所所長の葛西歩氏をはじめとする4名だったが、ほどなくして美濃一彦氏（現・主席ディレクター）がツークン案件に参加するようになった。そして、2014年には現在バーチャルプロダクションチームを率いる三鬼健也氏、デジタルヒューマンチームを率いる木下紘氏、プロデューサーの高橋沙和実氏という中核スタッフが立て続けに集い、現体制のベースが整ったという。

「ツークン発足当初から明確なビジョンが打ち出されていたわけではなく、混沌とした状態が続いてました。転機となったのは、10年ほど前にクレッセントの小谷創氏（代表取締役社長）やゼロシーセブンの塩野晃央氏（代表取締役社長）と知り合った頃ですね。『ロード・オブ・ザ・リング』三部作（2001～2003）や『アバター』（2009）の世界的なヒットにより、パフォーマンスキャプチャやバーチャルスタジオが広く知られるようになった一方で、日本では導入が遅れている状況が続いていたわけですが、映画製作会社であり、撮影所も有する東映グループのツークンこそが取り組むべきテーマではないかと考えました」と、葛西氏はふり返る。

そして、美濃氏は当時はまだフリーランスのVFXスーパーバイザーとして活動していたが、葛西氏からその考えを聞き「夢のある話だと思いましたね。ちょうどフリーランスという立場の限界や、バーチャルプロダクションのような大きなビジョンを実現するにはチームとして活動していく必要性も感じていたときだったので、ごく自然に参加を決めました」と語る。

「当時はまだ他社に在籍していました。海外ではパフォーマンスキャプチャの導入事例がどんどん増えているのに対して、日本ではほとんど見つからない状況に危機感を抱いていました。そんなときにツークンのキャプチャスタジオのリニューアルを手伝う機会にめぐまれたのですが、ここでなら自分の知見を活かしながら、日本のキャプチャ技術を発展させられるのではないかと思いました」と、三鬼氏も続ける。

マーカーレスのリアルタイムカメラトラッキング＆合成システム「LiveZ studio」

＜A＞
＜B＞

＜A＞　LiveZ studioデモの様子。本システムでは、カメラの位置・回転、さらにレンズデータをリアルタイムで検出する。それらのデータをゲームエンジン（現在はUE4を利用）にストリームすることで、リアルタイムでCGを書き出して撮影した映像に合成することが可能だ。カメラのリアルタイム位置検出には、Visual SLAM（Simultaneous Localization and Mapping）を利用している（Qonceptが技術協力）。SLAMとは、カメラで撮影した映像から環境の3次元情報とカメラの位置姿勢を同時に推定する技術であり、専用マーカーを用意することなく、リアルタイムでトラッキングが行える／＜B＞　ファインダーの上にリアルタイム合成した映像を確認するための小型ディスプレイが配置されている。なお、撮影用カメラは現在、Sony PXW-FS7を使用しているが、LiveZ studioシステム自体は独立したギアのため、他のカメラにも取り付け可能である

＜2＞本来の"研究開発"に取り組むことで、制作現場への還元を拡張させる

本稿の主題である、ツークンが進めるバーチャルプロダクション構想について紹介しよう。ツークン研究所発足当初に手がけた作品の中で、デジタル処理による俳優の肌レタッチ作業といったビューティワークに関して本格的なリサーチを進める際、その発展形として生身の俳優の3DCG化、つまりデジタルヒューマンに関する研究開発にも取り組んできたいという思いが強くなったそうだ。そこで、様々な大学の研究機関と交流を重ねていくなかで映像制作の現場ニーズにも合致しており、なおかつ産学連携の研究テーマとしても成立するものとして、「デジタルヒューマン」と「バーチャルスタジオ」の2つにねらいを定めたのだという。

バーチャルプロダクションは、この「デジタルヒューマン」と「バーチャルスタジオ」に「バーチャルセット」を加えた3つの要素を柱に、モーションキャプチャやフェイシャルキャプチャ、リアルタイム合成システムのLiveZ studioといった具体的な制作技法を有機的にリンクさせ、VFXやVR／ARといった映像表現に応用するためのプロダクションシステムというわけだ。

あらゆる構成要素を仮想空間に展開させる「バーチャルプロダクション」

2017年頃からツークン研究所が掲げる「バーチャルプロダクション」。VRやAR等の最新技術を伝統ある撮影のスタイルと融合させ、映像制作のプロダクションワークフローを刷新することを目指している。映画等の実写映像コンテンツにおける撮影といえば、実在するものを映像に捉えることであるが、「バーチャルプロダクション」では、場面を構成する人物や動き、環境そのものを3DCG化して、バーチャル空間に展開。これにより、実在のものとバーチャルのものを混在させて撮影する環境を構築しようとしているわけだ。その柱となるが、LiveZ studioを用いた"バーチャルスタジオ"、リアリティキャプチャを用いた"デジタルセット"、そして今年から稼働するLight Stageを用いた"バーチャルキャラクター（デジタルヒューマン）"である

今年から本格稼働となるLight Stageもそのひとつ。Light StageはUSCのICTが開発する人間の頭部の形状と質感をスキャンするシステムであり、立体形状のデジタイズをはじめ、被スキャン対象物が有する各種テクスチャ情報も同時にスキャンすることができる。世界に数台しか導入されておらず、日本ではツークンが初導入となる。ツークンでは、まずICTに対して本格的に交渉を行うのに先立ち、すでにLight Stageを稼働させていた台湾のNext Mediaへ出向き、Light Stageから得られるデータの検証を行なった。「Light Stageは優れたシステムですが、そこから得られたデータを正しく活用するには様々な専門知識が求められます。一連の検証を通じて、Light Stageを運用するには内部に専門スタッフを置く必要があると判断し、デジタルヒューマンチームを発足させることが決まりました」（美濃氏）。

Light Stage導入に向けて2017年からICTとの交渉を開始、無事に契約を交わすことができたのが昨夏である。ICTとの交渉では、ツークンがデジタルヒューマンに関する研究に取り組みたいという情熱を真摯にねばり強く訴えたそうだ。また、Light Stage導入によって「ツークン研究所」が本当の意味で研究機関になるきっかけにもなるという。「Light Stageの運用スタッフだけでなく、デジタルヒューマンに関する研究に取り組むエンジニアたちがツークンに集まりつつあるのです。実制作と並行して本格的な研究開発に取り組んでいける体制が整いつつあります。デジタルヒューマンの制作実績と研究ではデジタル・ドメインの取り組みが有名ですが、ツークンでも少しずつでもそうした活動を実践していきたいと思っています」（美濃氏）。Light Stageは幅広い分野に応用することが期待できるとして、エンターテインメントに携わりたい研究者などが集まってきているそうだ。ツークンの原点はあくまでも映画制作に貢献することだというが、Light Stageの導入によって、どのようなブレイクスルーがもたらされるのか楽しみにしたい。

Light Stage専用スタジオ「BLACK STUDIO」