2023年3月31日（金）、ソニー・ミュージックエンタテインメント（SME）からローンチムービーとともにデビューが発表されたデジタルヒューマンアーティスト「ANNA」。現在、SMEが運営する小説投稿サイト 「monogatary.com」上で彼女の“人生”となる物語を募集中だ。

本記事では、ANNAが生まれるまでの経緯やこれからの活動について紹介した前編に続き、ANNAとローンチムービーの制作の裏側について、デジタル・フロンティアの制作チームに聞いた。

関連記事

・デジタルヒューマンアーティスト「ANNA」（1）リアルな人生を生き、心を込めて歌うデジタルヒューマンはどのように生まれたか？ 

Profile

Information

現在、ANNAの人生となる物語を募集中！

1人の人間の人生を創るプロジェクト。デジタルヒューマンアーティスト「ANNA」の人生を募集します。
monogatary.com/notification/notice/397324

▶お題 「世界の広さ・美しさを知る」
※本人の名前は「杏那」としてください。
応募URL ： monogatary.com/theme/395812

▶文字数制限 指定ございません。
▶募集期間 2023年6月9日（金）12:00 ～2023年7月16日（日）23:59
▶結果発表 2023年8月中旬

デジタル・フロンティアの長年のR&Dが結実した「ANNA」

若い女性のデジタルヒューマンをつくる難しさ

『座頭市 0』、映画『いぬやしき』の制作後、DFではデジタルヒューマン開発の第3フェーズとして若い女性の制作に乗り出した。「当時、デジタルヒューマン界隈が活気づいていたこともあり、DFでも若い女の子をぜひつくってみようと。技術的にも女性の制作にチャレンジしたいという思いもありました」と小樋山氏。

2019年4月、実際に演技をする女優として育てるのを目標に、「窓子」と名付けられた女性デジタルヒューマンの開発がスタート。顔のイメージやペルソナの設定が固まってきた段階で、イメージに近い実在の人物をスキャンし、ベースモデルとした。2020年9月には「窓子」としておおよそ完成。10月頃には静止画の作成からショットワークテストを行い、2021年に入ってからは合成の量産を進めた。

「ANNA」は、こうして生まれた「窓子」をベースとしてつくられたものだ。

Interviewee

• 

• 

「パーソナリティの設定やデザインにあたっては、『ゴールをどこにするか』『何をもって完成とするのか』を明確にするように留意しました。フィードバックが延々と続いてしまうので、ディレクションをしっかりする必要があったんです」とデジタル・フロンティア企画室の小樋山 青蓮氏。

実際の顔の制作段階では、企画側で既存の顔の写真を合成したラフイメージを作成。これをコンセプトアーティストが整え、キャラクターアーティストの福田亘太郎氏がスキャンモデルを調整するかたちで窓子としての顔を作り上げていった。

特に難しかったのは肌の質感の表現だった。若い女性をつくる場合、肌の情報量をシワやシミに頼ることができないからだ。「綺麗にしすぎると違和感が強くなるため、質感の落としどころを探るのに苦労しました。遠近のラフネスの印象のちがいなど、情報量にばらつきをもたせてリアルさを出すのに特に時間を使いましたね」（福田氏）。

また、髪の表現も今回挑戦したもののひとつだという。「今までは短髪やごわごわした髪をつくってきましたが、今回は女性の髪のしなやかさ、繊細な美しさの表現が求められました。そこで、比較的新しいHairシミュレーションのアルゴリズムを採用しているOrnatrixを導入しました」と、R&Dの後藤浩之氏。まつ毛、眉毛、産毛にOrnatrixを使い、頭髪はYetiで表現した。

このような制作の裏では、ルックデヴのクオリティを上げるために、LightStage環境の開発を行なっていたという。「ルックデヴを行う上で、LightStageの光源環境は肌のSSSの透過量を合わせるための良いサンプルになると考えて、リファレンスとして使用するために光源環境をCG上に再現するという挑戦をしました」と、DFのデジタルヒューマン開発に初期から携わる後藤氏。

ただこれは、デバイス上の問題やPLフィルタなどの関係で技術的に難しい部分もあり、完全な実用化までには至っていないのが現状だという。

“実在しそうな顔”を目指したANNAの造形

「ANNA」の完成モデル。「綺麗な若い女の子は既に多くの人につくられていたので、それらに埋もれないように意識しました。綺麗に見せるにはある程度セオリーがあるので比較的簡単なんですが、そうすると特徴がなくなってしまいます。整いすぎず、特徴が出るように、実在しそうな顔を意識しました」（福田氏）。女優として活躍させるという目標があったため、印象に残るような顔にしたかったという。

• 

• 

• 

• 

目と口のつくり込み

• 

• 

• 

• 

肌の質感表現

• 

• 

• 

• 

OrnatrixとYetiの併用で表現した髪

• 

• 

エモーショナルな演技を目指すフェイシャル

感情を表現するのに重要なフェイシャルにおいては、エモーショナルな演技を目標に、『いぬやしき』作成時に蓄積した技術をアップデート。スキャンターゲットを54から70パターンに、表情を約100パターンまで増やすことで表現の幅を広げることができたという。

• 

• 

ANNAローンチムービー制作の裏側

目を開く繊細な動きを 長尺ワンカットで見せる

ここからは「ANNA」のローンチムービーのメイキングを見ていこう。「コンセプトは『起動』です。記憶がなくなった人が目覚めたような不安感、新しい世界を見た感じを表現したかったのです」（正田氏）。

例えばロボットなら起動時に決意をもった表情をさせることができるが、ANNAはロボットではなくリアルな人間であるため、今回のような表現になったという。「日本人なので大きく表情が変わらなくても伝わるように、無垢な女の子の表情を意識しました。実在感のクオリティは既にあったので記号的な表現や大きな装飾はしていません」と語るのは、CGディレクターの大塚康弘氏だ。

実在感を演出するために、衣装にもこだわった。「アーティストとしてのデビューなのでゴージャスすぎず、親近感がわくようなものを探していたところ、HAENGNAE（ヘンネ）というブランドの黒のデニムドレスがイメージにぴったりでした」（小樋山氏）。そこでこの衣装を活かすべく、ムービーはフルCGではなく、あえて首から上の実写合成でいくことに決まったという。

撮影では、DF内の実写合成部門の助力を仰いでチームを編成。オーディションを経てANNAに顔立ちと雰囲気が合うキャストを選び、撮影に臨んだ。

アニメーション作成においては、フェイシャルキャプチャのデータをベースに、ノイズを綺麗にしすぎず、微妙なピクつきを残すように調整。別途撮影した表情リファレンスも活用した。「今回のように目を開くわずかなアクションだけでも、皮膚の微妙な動きなどミニマムな動作の積み重ねを再現することでエモーショナルさを表現しています」と、フェイシャルアーティストの虫上昌宏氏。

「ANNA」自身が緊張している感じを出すために、不安気にカメラに目を向けた後に目線のブレやまぶたの痙攣を加えるなど、最後までこだわったそうだ。「長い時間をワンカットで見せていくというのは大変な挑戦でした。リアルにつくっているつもりでも、動いた途端に偽物に見えてしまうんです」と、大塚氏。動きの少ない長尺のワンカットは髪などのシミュレーションにも精度が求められ、苦労したという。

撮影の様子

撮影風景。ビンテージ感が出るシネマレンズを使用し、実在感を出すことにこだわったという。

フルCGとは異なり実写では後からの修正が難しいため、顔に手や髪がかぶらないようにする、ライトを動かさない、カメラワークをCG上で再現できるようにするなどのレギュレーションを設けつつ、テイクをいくつも撮り、その中から意図に近いテイクを選定した。

髪のシミュレーション

髪の表現には前述のとおりYetiを使用。ガイドカーブを揺らしてアニメーションする手法を用いたため、シミュレーション後の編集性も担保できたという。

• 

• 

合成のための2種類のボディリグ

首回りでは、トラッキング用リグとデフォーム用リグの2種類を用意。

「トラッキング用リグは、トラッキング作業に加えての実写キャストの首の太さや長さを合わせるためのリグで、デフォーム用リグは、筋肉の動きを首の解剖学に基づいて再現するものです。これによってポーズに合わせて形状を再現できるようにしています」（リギング・シミュレーションアーティスト 小山  遼氏）。

• 

• 

繊細なアニメーション

ANNAの口の動きは、キャプチャのノイズを残し、呼吸する際の細かな口の開き具合や一瞬入る口角の震えを足している。見ている人の意識を唇だけに向けたくないという理由から、僅かな動きに留めたという。

また、瞼の動きは、キャプチャデータで再現できなかった微細な動きをリファレンス動画を参考に付け直すことでリアルさを出している。

コンポジットの過程

今回の制作をふり返って

最後に、各々に今回の制作を振り返ってもらった。

「最終的に出来上がったものはしっかりと情報量もちゃんと載っていて、ローンチムービーとして上手く成立しました。今度は女優として長めの演技をさせたいですね」（大塚氏）。

「今回、自分で作ったモデルがリアルに動いているのを確認できたのは達成感がありました。メイクを変えたり、耳を出した髪型にしたりと、違ったパターンを作ってみたいです」（福田氏）。

「今回のように、実写に寄せた首の形状にしてしまうと本当に『ANNA』の首なのか？と思うこともあるので、CGとしての首を出せる取り回しの良いアセットにして、首までちゃんとCGにしていきたいです」（小山氏）。

「今回は動きの少ない演技だったので、今後はエモーショナルな演技ができる表情に挑戦したいですね」（虫上氏）。

「当たり前のことを正確にやっていかないと工数的にもよくないし、クオリティも下がってしまうというのを改めて認識しました。キャラクターの特性やかわいさを伝えられるような表現の幅とクオリティも担保できるような質。今後はよりその両面での開発が必要になってくることを感じています」（後藤氏）。

「企画から携わっていたのもありますが、実際に動くことで、想像上の存在だったものが生きていると感じられて感動しました。今後は彼女が歌っているところを早く見てみたいと思っています」（小樋山氏）。

とことん実在感にこだわり、DFのこれまでの技術の粋を集めて制作された「ANNA」。アーティストとしてもデジタルヒューマンとしても「ANNA」の今後に期待していきたい。