本連載では、CG映像制作において不可欠な存在であるテクニカル系スタッフの仕事の現状と課題を、パイプライン開発の専門家である痴山紘史氏（日本CGサービス（JCGS） 代表）が探っていく。

第2回では、スパイスで専務取締役を務める林 丈二氏へのインタビューをお届けする。前編では同社のモーションキャプチャ事業部の仕事と、ほかの事業部との連携について語ってもらった。後編では、スパイスが見据える3DCGキャラクターの今後の展開について話を聞いていく。

＜前編＞
スパイス モーションキャプチャ事業部の仕事

モーションキャプチャ事業の多様性

当社はモーションキャプチャシステム「OptiTrack」の販売代理店をしているので、本当に様々なところからモーションキャプチャ関連の問い合わせをいただきます。前編ではVTuberの話をしましたし、CGWORLDの読者から見ると「3DCGやモーションキャプチャといえばエンタメ」という認識が強いかもしれません。しかしエンタメ用途の3DCG制作は本当に一部で、特にモーションキャプチャは用途の幅がものすごく広いです。

学術・産業向けの事例は、機密性が高いため表に出せるものが少ないのですが、一部は当社のWebサイトやYouTubeチャンネルで見ていただけます。公開しているものだけでも、工事のVRシミュレータや、人の動きを基にしたスポーツにおける怪我の研究など、多様な活用例があります。

私たちにとっては、VTuber事業も、学術・産業向けの研究開発も、モーションキャプチャ技術を用いているので地続きではあるのです。多様な切り口があるため、社外の方から「どんな使われ方をされているのですか？」と聞かれることも多いのですが、お話できないことが大部分なのが悩ましいところですね。

ご連絡いただいた案件に対しては、その都度上司が各スタッフの希望を聞きながら話し合って、担当する営業スタッフを決めているようです。テクニカルスタッフも同様ですね。営業・テクニカル共にスタッフ間で経験の差があるものの、全てのスタッフが、エンタメ・学術・産業などの分野を問わず活躍できるようになることが理想です。

各スタッフの動きに関しては一任していますが、定期的に情報共有することで案件内容や進捗を把握しています。

ながれに先行する対応を考え、先に進み続ける

当社の仕事は非常にバリエーションに富んでいるので、全社員が全体像を把握して動けているわけではないし、それぞれに得意不得意もあります。全体を見渡して業界や仕事のながれを読み取り、そのながれに先行する対応を考えることはとても大切ですが、できるようになるまでには多くの経験が必要です。

スタッフは大型の展示会や各種学会での展示などで、お客さんと直接お話したり、デモなどで機材の利点を直接説明したりしています。「スパイスが今得意なのはこれです」とお客さんにアピールしつつ、お客さんのニーズを聞くことが、次に自分たちがやるべき対応を見つける手がかりにもなっていることを願っています。

将来的には、全体を俯瞰して次に進むための筋道を立ててくれる人を増やしていきたいです。特に海外に行って新しい技術や商材を見つけられる人は貴重なので、ぜひ仲間にほしいですね。

ここ数年はコロナ禍のせいでなかなか動けなかったのですが、今年は久しぶりにSIGGRAPH 2023にも行きます。世間も動き出しているようで、ほかの代理店の人からも「今年は行きますか？」とよく聞かれます。
（※本インタビューはSIGGRAPH 2023の開催前に実施された）

海外の展示会を見て回っても、実際に面白いものが見つかるのは、数年に1個ぐらいです。しかし、そのひとつの出会いがとても大事なので、現地の視察は欠かせません。

前編で紹介した当社のフェイシャルキャプチャシステム「BUNSHIN HMC」の制作を決めたきっかけは、ロサンゼルスでフェイシャルキャプチャシステムの解析エンジンをつくっている会社さんとの出会いでした。その解析エンジンを当社で販売することになったので、「よし、これでVTuber用のフェイシャルのシステムをつくろう！」と決めて、実際にいくつか納品させていただきました。

ただ、ほどなくしてその解析エンジンが別の会社に買収されてしまい、せっかくシステムをつくり始めたのに、肝心の解析エンジンが使えなくなったというオチがつきました。新しい技術を取り入れようとすると、こういうことも間々ありますね。

フォトリアルな3DCGキャラクターへの挑戦

当社は多くのモーションキャプチャ関連機材を取り扱っているため、組み合わせのバリエーションが豊富で、モーションキャプチャとCG制作のチームが連携して動く経験値も高いという特徴があります。これらを活かした、体・顔・指のモーションを同期させながら収録するパフォーマンスキャプチャや、リアルタイムCGへの対応が、当社のモーションキャプチャシステムの強みです。最近は3DCGキャラクター関連の案件も増えて、その内容も多様になってきました。

しかし、今まではVTuber用のセルアニメ調キャラクターをつくってきたので、突然広告用のフォトリアルなキャラクターを表現することは、リアルタイムCGかプリレンダーかに関わらずハードルが高いです。ひとつ間違えば、不気味の谷と呼ばれる嫌悪感を生む世界に突入する危険性があるので、それを避けつつ少しずつキャッチアップしていく準備を進めています。

VTuber制作の経験があるので、機材や運用ツールは、かなりしっかりしたものを用意できています。今までの経験を活かして、ハイエンドなフォトリアルの世界でもリアルタイムCGをやっていこうと決めて、去年から少しずつ試し始めているところです。

3Dフェイシャルスキャンの実演

そのながれを受けて始めたのが、Lumio 3DのH3 3D Face Scannerの販売と3Dフェイシャルスキャンサービスです。

顔をスキャンするしくみの基礎は、Light Stageを開発したポール・デベヴェック／Paul Debevec氏がつくりました。製品化のために雇われたエンジニアを含め、多くの人が開発に携わっています。その中でかなりコアな部分の開発を担当していたのが、H3 3D Face Scannerの開発者です。

H3 3D Face Scannerは高さ73cm、幅73cm、奥行き50cm、重さ約10kgなので、車で運んで撮影スタジオなどに持ち込み、撮影のながれを止めることなくスムーズにスキャンできます。

搭載された16台のカメラが1台につき10枚の画像を連続撮影するだけなので、スキャンには1秒もかかりません。スキャン後のメッシュ化やテクスチャ生成は、一番低品質なデータであれば数分程度で処理できます。低品質といっても、一般的な用途であれば十分なクオリティです。さらにハイクオリティなデータを生成する場合は1時間程度かかりますが、毛穴のディテールのメッシュまで生成できます。

データの高・中・低の品質のちがいは後処理によるものなので、差が生じるのはデータの処理時間だけで、スキャン自体の手順や時間は共通です。スキャンの際はその場で低品質なデータで確認をして、後から時間をかけて高品質なデータを生成することもできます。それでも、ほとんどの事例は低品質なデータで十分でした。

Light Stageはより多くの素材を出力できますが、代わりにデータ出力と手作業でのレタッチに長い時間を要します。これに対して本システムでは、現場の使い勝手を優先してスキャンを簡略化し、別の方法で処理できるものはそちらに任せる、という割り切りをしました。実際、ハイメッシュからZBrushを使用してノーマルマップを生成するなど、後工程でデータを調整できた方が、簡単に必要十分な精度の画をつくれる場合が多いです。

本システムを使った3Dフェイシャルスキャンサービスはお手頃価格なので、スキャンに来てくださるお客さんは多いです。1回の利用時間は基本2時間で、スキャン費用は撮り放題で18万円、データの持ち帰りが1点当たり2万円です。つまり、データを1点持ち帰る場合のスキャン費用は20万円となります。他社のサービスと比べると、かなり時間とコストのパフォーマンスが良いです。（※料金は全て税別）

3DCGキャラクターの今後の展開

リアルタイムに動くフォトリアルな3DCGキャラクターに対して、海外ではかなりの投資をして研究開発を進めています。それに比べて日本は後れを取っていると感じているので、海外の研究開発者と常に情報交換をしながら、市場調査をやっています。

最近の3DCGキャラクターやデジタルヒューマンの映像制作では、生成AIを使う事例も出てきました。AIによって1枚の絵から3DCGキャラクターが生成され、自動で動いたり喋ったりするような事例や、1台のカメラで撮影した映像から人の動きを読み取って、モーションキャプチャを行う事例も複数出てきていますね。多人数で1日に50〜100ショットを撮るような現場とは、またちがった使い方なのかなと思っています。モーションキャプチャの補正をするAIはすでに実装されているので、AIによって仕事が奪われるのではなく、AIによってより便利になると良いですよね。

現在当社では、フォトリアルな3DCGキャラクターをリアルタイムで動かすことを、実際にビジネスとして進めていこうと考えています。3Dフェイシャルスキャンサービスを始めたのも、その一環です。

この考えにいたった大きな要因のひとつが、ゲームエンジンの進歩です。満足できるクオリティの画を、短時間で出力できるようになったことは、私たちに大きなインパクトを与えてくれました。ゲームエンジンのパフォーマンスに、フェイシャルスキャンを組み合わせることで、フォトリアルな3DCGキャラクターを短期間で制作し、それを新たな武器にして今後のビジネスを展開していくつもりです。

実際にビジネスが軌道に乗ったときに、新しくチームに入った人がスムーズに対応できるよう、前編でもお話したナレッジベースも整備しています。少数の高いスキルの職人が、職人芸でフォトリアルな3DCGキャラクターをつくるような体制では、一度に数十名の顔をスキャンしてデータをつくることになったときに対応できないですからね。

現時点では、フォトリアルな3DCGキャラクターの市場が存在するかどうかはわかりません。ただ近い将来に、そういう市場が生まれるタイミングがきっと来るだろうと予想しています。2017年にVTuberを始めたときも、まだ有名なVTuberはキズナアイさんぐらいしかおらず、市場の有無を誰もわかっていませんでした。そういうムーブメントが来たときに、「当社ならこんなことができますよ」と実演できるよう、今から先手を打っています。

最近は、リアルタイムに動くフォトリアル3DCGキャラクターのデモを展示会で披露する機会や、問い合わせをいただく機会が増えています。個々の事例に限っていえば、すでに多くの需要が存在しているんです。

先程語ったように、3Dフェイシャルスキャンサービスは、お手頃な価格と手軽なスキャン方法のおかげで、徐々に稼働実績を上げています。パフォーマンスキャプチャも、やっと日本のゲーム市場で活用の動きが出てきました。当社はモバイルゲームでのパフォーマンスキャプチャの実績が何件もあり、ハイエンドのゲームにも対応できることから、様々なお問い合わせをいただいています。

キャラクターの外見がセルアニメ調からフォトリアルに変わっても、われわれがやっていることの根っこは同じです。モーションキャプチャ事業部が一貫して行なっているのは、体・顔・指などのモーションキャプチャ技術を、様々な分野に展開し、対応できるようにすることです。

筆者まとめ

林氏にお話を伺いたいと思ったきっかけは、モーションキャプチャサービスと代理店業務を行う傍らで、必要なハードウェアを自作しているという話を聞き、面白そうだなと興味をもったことでした。実際にインタビューしてみると、DIYのレベルではなく、立派な製品をつくっていることに驚きました。

2017年初頭にVTuber向けサービスを始めようと思い立って行動に移し、大きく実を結んでいるエピソードはとても興味深い一方、もし自分の上司がそんなことを言い出したら「何を言ってるんだこの人は……」と呆れただろうな、とも思います。

しかしその後、ビジネスをきちんと軌道に乗せ、それに先行する対応として、VTuberとは一見繋がりのなさそうなハイエンドのリアルタイムCG映像制作を視野に入れているというながれは、最初は理解が難しかったのですが、背景を伺っていくほどに「なるほどなぁ」と理解できました。スパイスさんの今後の展開も、とても面白そうです。