豊富なリファンレスと最新のAIテクノロジーを活用したデジタルヒューマン、NHKスペシャル『AIでよみがえる美空ひばり』

記事の目次

最新のAIテクノロジーによって生成されたデータと詳細かつ豊富なリファンレスを駆使して美空ひばりを現代に復活させる。

※本記事は月刊「CGWORLD + digital video」vol. 256（2019年12月号）からの転載となります。

TEXT＿福井隆弘
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamada

『第70回紅白歌合戦』への出場決定！
NHKスペシャル『ＡＩでよみがえる美空ひばり』
（初回放送）9月29日（日）［総合］午後9:00〜、（拡大版）11月23日（土・祝）［BS4K］午後8:00〜、（通常版）12月7日（土）［BSプレミアム］午後8:00〜
www6.NHK.or.jp/special/detail/index.html?aid=20190929

©NHK

デジタルヒューマンによるライブパフォーマンスへの挑戦

NHKスペシャル『ＡＩでよみがえる美空ひばり』。戦後まもなく、12歳でデビューし、長きにわたり歌謡界のトップを走り続けた絶世のエンターテイナー・美空ひばり。没後30年を迎える今年、NHKやレコード会社に残る膨大な音源、映像を基に、最新のAI技術によって復活、生前最後の曲『川の流れのように』（1989）を手がけた秋元康氏が作詞・プロデュースを手がけた新曲『あれから』を歌唱。さらに、その姿もデジタルヒューマンとして現代によみがえらせるという一大プロジェクトだ。

美空ひばりのデジタルヒューマン制作を手がけたのは、ヴァーチャルモデル「imma」でも知られるCafeグループ（ModelingCafe / AnimationCafe）。企画の経緯について、NHKの井上雄支ディレクターは次のようにふり返る。「2017年から『人工知能　天使か悪魔か』というAIを題材にしたNHKスペシャルを制作してきました。このシリーズに取り組むなかで、2019年が美空ひばりさんの没後30年という節目であることを知り、AIで再現できないだろうかと考えはじめたことがきっかけです。ひばりさんを知っている世代だけでなく、若い人たちにもこうした素晴らしい歌手がいたことを伝えたいと、まずはご子息である加藤和也さんを訪ねました。ひばりさんは、1988年4月11日に『不死鳥コンサート in 東京ドーム』をオープン間もない東京ドームで行うなど、新しいことに積極的にチャレンジされていたそうで、この企画を聞いたら『ぜひやろう！』と言ったはずだと、加藤さんが背中を押してくださり、プロジェクトが正式にスタートしました」。

〈前列〉左から、武田郷平CGプロデューサー、三木康平CGプロデューサー、松本龍一モデリングSV、岡田博幸テクニカルSV／〈後列〉左から、今村理人VFXプロデューサー（stu）、髙橋由佳アニメーター、廣茂義人ゼネラリスト、井上雄支ディレクター（NHK）、森内大輔チーフプロデューサー（NHK）
cafegroup.net

続いて井上氏は、『AKIRA』の世界観をフォトリアルなCGで描いたことで話題をあつめたNHKスペシャル『東京リボーン』シリーズを手がけた森内大輔プロデューサーに相談。「ひばりさんの姿をどのようなかたちでよみがえらせるのか非常に悩みましたが、最新の4K・3Dホログラムシステムを用いることで、ひばりさんのライブパフォーマンスを再現することにチャレンジしました」（森内氏）。こうして『東京リボーン』にも参加していた、stuの今村理人VFXプロデューサー、Cafeグループが美空ひばりのデジタルヒューマン制作を担当することが決まったという。

左から、ワランユーウォン・チュティナートアニメーター、トビアス・シュラーゲアニメーター、大竹秀和CGプロデューサー。以上、AnimationCafe

＜1＞頭部モデルの制作

AIから生成されたベースモデルを最後までブラッシュアップし続ける

今村氏とCafeグループの参加は2018年1月には決まっていたそうだが、実際に制作がスタートするまでしばらく間が空いた。AI（ディープニューラルネットワーク）を用いた美空ひばりの歌声、語りの再現、新曲『あれから』の制作を先行させる必要があったからだ。「デジタルヒューマン制作については、今年2月から頭部モデルをつくることからはじめました」と、Cafeグループの武田郷平CGプロデューサーはふり返る。まずはNHKにて、『不死鳥コンサート』のマルチカメラで撮影されたアーカイブ映像を教師データとして機械学習を行い、そこから顔まわりのモデルデータを生成。さらに"アイウエオ"の口の動き方、連動の仕方を新曲に合わせた形で自動的にアニメーション（モーフィング）させるシステムを開発し、約50種類のブレンドシェイプも作成。これらを素材として、ModelingCafeの松本龍一モデリングSVとAnimationCafeの岡田博幸テクニカルSVが中心となり、アセットのブラッシュアップが行われた。
モデルデータについては、AIのソフトウェアがベースで使用しているモデルが、彫りの深い西洋人の形状だったため、まずはその修正から開始。ただし、3Dデータのためイチから作成するよりも手早く対応できたとのこと。テクスチャは、NHKや加藤氏から提供された映像や写真などをリファレンスとして作成されていた。

当初は『不死鳥コンサート』を行なった50歳頃の映像や写真を参考に頭部モデルの制作が進められていたが、美空ひばり後援会の方々の意見を受けて、元気で脂がのっている40代頃を再現することへと軌道修正したという。
「制作後半での変更だったため、できるだけテクスチャの再調整で対応するようにしました。ただし、どうしても納得がいかない部分については、アニメーション制作と並行してフレーム単位でスカルプトし直したりもしています」（松本氏）。

なお、番組の初回放送は9月29日（日）であるが、AIによる復活コンサートの収録は9月3日（火）であった。そのため、まずは3Dホログラムに投影する全身ショットを完成させ、ヨリの映像についてはコンサート実施後、さらにつくり込んでいくという作戦がとられた。一連のモデル制作は松本氏がリードしたが、クランチタイムには3人体制でテクスチャ、髪の毛、アクセサリのディテールアップに取り組んでいたそうだ。

AIによる解析から生成されたベースモデル。新曲の歌詞に連動して顔の50ヶ所が自動的に動くシステムが開発され、モデルデータとブレンドシェイプ一式がCafeグループに提供された

ModelingCafeにて、ベースモデルをリファインした頭部モデル

主なテクスチャ素材

顔のディフューズマップ
顔のディスプレイスメントマップ

顔のラフネスマップ
ドレスのバンプマップ。ドレスはフルシミュレーションでシワを付けているが、ニュアンスとしてのクセじわについてはあらかじめバンプマップで表現された

ドレスのスカート部分のディフューズマップ。わずかに色のバリエーションを出している
ドレスのスカート部分のトランスミッションマップ。色と同じく透明度にもバリエーションを出すことでリアリティを高めている

次ページ：
＜2＞リグ＆シミュレーション

[[SplitPage]]

＜2＞リグ＆シミュレーション

あらゆる意味で"特別仕様"

番組内でも紹介されたとおり、衣装は晩年の衣装を全て担当したファッションデザイナー・森英恵氏が新たにデザイン。ヘアメイクも25年にわたって担当した美容師・白石文江氏が新曲のイメージに合わせた髪型を、背格好が近いモデルに施した。
「制作途中のフィッティングやヘアメイクの現場を見学させていただきました。衣装はMarvelous Designer、髪の毛はXGenで作成しています」（松本氏）。

髪の毛の本数は、5万本。シミュレーションを必要としなかったため、見た目優先で10パーツほどに分けてつくり込んだという。衣装のデザインを森氏に依頼したのが今年4月だったこともあり、衣装が完成したのは7月22日だったという。
「そこで実際の衣装制作と平行してモデル制作を進めていました。随時デザインが改良されていくため、難しい部分もありましたが、最終的には上手く再現できたと思います。クロスシミュレーションについてもできるだけハイクオリティに仕上げようと、今回はMarvelous Designer（以下、MD）でフルシミュレーションしました。MayaからAlembic形式でボディデータを読み込みシミュレーションを行なったのですが、MDにバグがあるみたいで、1,000フレーム以上のキャッシュを保存することができませんでした。新曲は約5分で、ホログラム用の総尺は8,000フレーム以上に達したため、1,000単位で分割したり、あえてキャッシュをとらないことで対応しました」（岡田氏）。

そうした苦労の甲斐もあり、完成した映像は良質に仕上がっている。また、アップショットのシミュレーションでは近接点が近いと不自然なシワが入ってしまうという問題にも直面したため、こちらも表情と同じく必要に応じてMesh3DやMayaによるショットスカルプトを行なっているとのこと。

リグ＆セットアップについて。身体自体は大きくは見えない衣装デザインのため、ボディは通常のセットアップで対応。逆にフェイシャルは細密にリギングされている。
「NHKさんからいただいたブレンドシェイプは約50パターンでしたが、基本的には口元の動きだけなので、目や鼻なども動かし、意図した表情がつくれるようにしていきました。最終的に158ターゲットに達しました」（岡田氏）。

さらに約100ものボーンを追加しているとのこと。また、フォトリアルな表現ではFACS（Facial Action Coding System）に基づくリギングが一般的だが、美空ひばり特有の表情や歌唱法を上手く表現できなかったという。そうした意味でも"特注のリグ"が組まれており、アニメーターフレンドリーとして定評あるMayaプラグイン「MG-Picker Studio」も併用したシステムが構築された。

XGen Interactive Groomでアップカット用にディテールを追加している様子。主にclump、noise、cutという3種類のモディファイアを組み合わせてベースを作成し、その後sculptモディファイアで毛1本単位での微調整が行われた

ヘアスタイルのリファンレス例。実際に三つ編みが編み込まれていく様子を撮影し、CGで再現された

MDによる衣装の作成例。実際のドレスの型紙は存在しなかったため、リファレンス用の写真を参考に再現された。スカート部分の花びらの枚数は、本物の衣装には約300枚用いられていたそうだが、シミュレーションを行うには処理負荷が重すぎたため、3分の1程度にまで減らして対応。また、スカートの花びらは、めり込みを回避するために下から順に縫い付けている

衣装のリファンレス例。森英恵氏の事務所を訪問してドレスの調整を行なっている様子を見学、その際に撮影した写真や動画が活用された

MDによるクロスシミュレーション例

上半身

下半身（スカート）

フェイシャルリグ＆セットアップ

メインリグ
補助リグ

ブレンドシェイプのターゲット。細かな表情のニュアンスを再現する上では、最終的に158種類が作成された

ルックデヴ作業の例

制作後期におけるショットスカルプトの例。リグで作成したベースの表情に対して、フレーム単位で表情を造形している

次ページ：
＜3＞ショットワーク

[[SplitPage]]

＜3＞ショットワーク

3Dホログラムと4Kへの対応最後までトライ＆エラー重ねる

新曲『あれから』の振付を手がけたのは、天童よしみ氏。番組内でも紹介されたとおり、天童氏自身がPerception Neuronのキャプチャスーツを装着し、そのモーションキャプチャ収録も行われた。そして、最終的なアニメーション制作を進めるにあたっては、より高精度のキャプチャデータが求められたため、ダイナモピクチャーズにてVICONによるキャプチャが改めて実施された。

一連のアニメーション作業は高橋由佳氏によるディレクションの下、社内のアニメーターが担当した。
「綺麗なデータを提供していただけたので、ボディモーションについてはスムーズに進めることができました。フェイシャルは、手付けで作成しています。『復活コンサート』のアーカイブ映像を参考に表情を付けていったのですが、病魔と闘われた時期ということもあって、笑顔のリファレンスとしては厳しいものがありました。笑顔の表現が一番難しかったですね。アップショットでは、岡田さんにリグを改良していただき、唇の粘着感（Lipsticky）や首筋の筋肉の動きも加えてリアリティを高めていきました」（髙橋氏）。

レンダラは松本氏が使い慣れていることもあり、Arnoldを採用。デジタルヒューマン制作の確かなノウハウの下、肌や髪の毛の質感がリアルに仕上げられた。ライティングからコンポジットまでの仕上げを担当した廣茂義人氏は次のようにふり返る。
「ロングとアップを合わせた総尺は9,000フレーム以上に達したため、プレイブラストを出すだけでも苦労しました（苦笑）。3Dホログラム用の全身ショットは2Kサイズの正方形という特殊な画角で作成。アップショットは4Kフォーマットで作成する必要があったため、アップショット用にテクスチャや髪のディテールを上げたものや、産毛を追加したモデルをモデラーさんに作成してもらいました。その一方ではレンダリングのサンプル数は可能な限り下げて、NUKEによるコンポジット作業時にデノイズ処理を施すことで何とか納品に間に合わせることができました」。

最終データの納品は、初回放送の3日前（9月26日）。プレイブラストの段階では問題なく見えても、ライティングを施しレンダリングしてみると違和感が出てしまう。また、アップショットでは美空ひばりの印象により近づけるべく、肌の細かいシミの強度やアイメイクの幅、口を開けた時の歯の見え方など資料映像と見比べながら最後までトライ＆エラーをくり返していたそうだ。
「今回は、元データとの兼ね合いもあり、非常に複雑で重いリグになってしまったので、もし復活コンサート再演の機会があるなら、改善したいですね。そして、ひばりさんの笑顔をさらに追求して、よりクオリティの高い表現に仕上げられたらと思います」（岡田氏）。