>   >  VFXアナトミー:豊富なリファンレスと最新のAIテクノロジーを活用したデジタルヒューマン、NHKスペシャル『AIでよみがえる美空ひばり』
豊富なリファンレスと最新のAIテクノロジーを活用したデジタルヒューマン、NHKスペシャル『AIでよみがえる美空ひばり』

豊富なリファンレスと最新のAIテクノロジーを活用したデジタルヒューマン、NHKスペシャル『AIでよみがえる美空ひばり』

最新のAIテクノロジーによって生成されたデータと詳細かつ豊富なリファンレスを駆使して美空ひばりを現代に復活させる。

※本記事は月刊「CGWORLD + digital video」vol. 256(2019年12月号)からの転載となります。

TEXT_福井隆弘
EDIT_沼倉有人 / Arihito Numakura(CGWORLD)、山田桃子 / Momoko Yamada

『第70回紅白歌合戦』への出場決定!
NHKスペシャル『AIでよみがえる美空ひばり』
(初回放送)9月29日(日)[総合]午後9:00〜、(拡大版)11月23日(土・祝)[BS4K]午後8:00〜、(通常版)12月7日(土)[BSプレミアム]午後8:00〜
www6.NHK.or.jp/special/detail/index.html?aid=20190929

©NHK

デジタルヒューマンによるライブパフォーマンスへの挑戦

NHKスペシャル『AIでよみがえる美空ひばり』。戦後まもなく、12歳でデビューし、長きにわたり歌謡界のトップを走り続けた絶世のエンターテイナー・美空ひばり。没後30年を迎える今年、NHKやレコード会社に残る膨大な音源、映像を基に、最新のAI技術によって復活、生前最後の曲『川の流れのように』(1989)を手がけた秋元 康氏が作詞・プロデュースを手がけた新曲『あれから』を歌唱。さらに、その姿もデジタルヒューマンとして現代によみがえらせるという一大プロジェクトだ。

美空ひばりのデジタルヒューマン制作を手がけたのは、ヴァーチャルモデル「imma」でも知られるCafeグループ(ModelingCafe / AnimationCafe)。企画の経緯について、NHKの井上雄支ディレクターは次のようにふり返る。「2017年から『人工知能 天使か悪魔か』というAIを題材にしたNHKスペシャルを制作してきました。このシリーズに取り組むなかで、2019年が美空ひばりさんの没後30年という節目であることを知り、AIで再現できないだろうかと考えはじめたことがきっかけです。ひばりさんを知っている世代だけでなく、若い人たちにもこうした素晴らしい歌手がいたことを伝えたいと、まずはご子息である加藤和也さんを訪ねました。ひばりさんは、1988年4月11日に『不死鳥コンサート in 東京ドーム』をオープン間もない東京ドームで行うなど、新しいことに積極的にチャレンジされていたそうで、この企画を聞いたら『ぜひやろう!』と言ったはずだと、加藤さんが背中を押してくださり、プロジェクトが正式にスタートしました」。

〈前列〉左から、武田郷平CGプロデューサー、三木康平CGプロデューサー、松本龍一モデリングSV、岡田博幸テクニカルSV/〈後列〉左から、今村理人VFXプロデューサー(stu)、髙橋由佳アニメーター、廣茂義人ゼネラリスト、井上雄支ディレクター(NHK)、森内大輔チーフプロデューサー(NHK)
cafegroup.net

続いて井上氏は、『AKIRA』の世界観をフォトリアルなCGで描いたことで話題をあつめたNHKスペシャル『東京リボーン』シリーズを手がけた森内大輔プロデューサーに相談。「ひばりさんの姿をどのようなかたちでよみがえらせるのか非常に悩みましたが、最新の4K・3Dホログラムシステムを用いることで、ひばりさんのライブパフォーマンスを再現することにチャレンジしました」(森内氏)。こうして『東京リボーン』にも参加していた、stuの今村理人VFXプロデューサー、Cafeグループが美空ひばりのデジタルヒューマン制作を担当することが決まったという。

左から、ワランユーウォン・チュティナート アニメーター、トビアス・シュラーゲ アニメーター、大竹秀和CGプロデューサー。以上、AnimationCafe



<1>頭部モデルの制作

AIから生成されたベースモデルを最後までブラッシュアップし続ける

今村氏とCafeグループの参加は2018年1月には決まっていたそうだが、実際に制作がスタートするまでしばらく間が空いた。AI(ディープニューラルネットワーク)を用いた美空ひばりの歌声、語りの再現、新曲『あれから』の制作を先行させる必要があったからだ。「デジタルヒューマン制作については、今年2月から頭部モデルをつくることからはじめました」と、Cafeグループの武田郷平CGプロデューサーはふり返る。まずはNHKにて、『不死鳥コンサート』のマルチカメラで撮影されたアーカイブ映像を教師データとして機械学習を行い、そこから顔まわりのモデルデータを生成。さらに"アイウエオ"の口の動き方、連動の仕方を新曲に合わせた形で自動的にアニメーション(モーフィング)させるシステムを開発し、約50種類のブレンドシェイプも作成。これらを素材として、ModelingCafeの松本龍一モデリングSVとAnimationCafeの岡田博幸テクニカルSVが中心となり、アセットのブラッシュアップが行われた。
モデルデータについては、AIのソフトウェアがベースで使用しているモデルが、彫りの深い西洋人の形状だったため、まずはその修正から開始。ただし、3Dデータのためイチから作成するよりも手早く対応できたとのこと。テクスチャは、NHKや加藤氏から提供された映像や写真などをリファレンスとして作成されていた。

当初は『不死鳥コンサート』を行なった50歳頃の映像や写真を参考に頭部モデルの制作が進められていたが、美空ひばり後援会の方々の意見を受けて、元気で脂がのっている40代頃を再現することへと軌道修正したという。
「制作後半での変更だったため、できるだけテクスチャの再調整で対応するようにしました。ただし、どうしても納得がいかない部分については、アニメーション制作と並行してフレーム単位でスカルプトし直したりもしています」(松本氏)。

なお、番組の初回放送は9月29日(日)であるが、AIによる復活コンサートの収録は9月3日(火)であった。そのため、まずは3Dホログラムに投影する全身ショットを完成させ、ヨリの映像についてはコンサート実施後、さらにつくり込んでいくという作戦がとられた。一連のモデル制作は松本氏がリードしたが、クランチタイムには3人体制でテクスチャ、髪の毛、アクセサリのディテールアップに取り組んでいたそうだ。

AIによる解析から生成されたベースモデル。新曲の歌詞に連動して顔の50ヶ所が自動的に動くシステムが開発され、モデルデータとブレンドシェイプ一式がCafeグループに提供された


ModelingCafeにて、ベースモデルをリファインした頭部モデル


主なテクスチャ素材



  • 顔のディフューズマップ



  • 顔のディスプレイスメントマップ



  • 顔のラフネスマップ



  • ドレスのバンプマップ。ドレスはフルシミュレーションでシワを付けているが、ニュアンスとしてのクセじわについてはあらかじめバンプマップで表現された



  • ドレスのスカート部分のディフューズマップ。わずかに色のバリエーションを出している



  • ドレスのスカート部分のトランスミッションマップ。色と同じく透明度にもバリエーションを出すことでリアリティを高めている

次ページ:
<2>リグ&シミュレーション

その他の連載