Kakela Studios講演「How to Make Digital Humans」レポート【AMD】

[PR]

CGWORLD vol.264でも表紙を飾るなど、いま大きな注目を集めているデジタルヒューマン。2020年11月7～8日にオンラインで開催されたCGアーティストのためのイベント「CGWORLD 2020 クリエイティブカンファレンス」では、その表紙制作を担当したKakela Studios ディレクター / 代表取締役の一丸敦生氏が「デジタルヒューマンの作り方」と題したセッションを実施した。

TEXT＿神山大輝 / Daiki Kamiyama　EDIT＿池田大樹（CGWORLD）

講演者プロフィール

株式会社 Kakela Studios
ディレクター / 代表取締役
一丸敦生氏

サンフランシスコにあるAcademy of Art Universityを卒業後、数社で勤務。その後フリーランスとして活動した後、Kakela Studiosを共同設立。
現在、デジタルヒューマンRinの企画と制作を行っている。

Information

AMD（Advanced Micro Devices）
50年以上の歴史を持つアメリカの半導体製造会社。「Athlon」や「Ryzen」シリーズなどを展開するCPUとともに、「Radeon」シリーズによるGPUの両方を開発する。さらに、CPUとGPUを1つに統合したAPUなども手掛けている。
https://www.amd.com/ja

▲デジタルアーティストの創作活動を支援するAMDのPV。一丸氏にデジタルヒューマンを作る上で重要視していること、愛機であるAMD製CPU搭載マシンについて、経営者とアーティストという2つの視点からその魅力を語っていただきました。

Kakela Studiosが生み出したデジタルヒューマン「Rin」のような、現実に限りなく近いリアルさを追求した顔を制作するにあたって、一丸氏がまずポイントとして挙げたのは「人の顔を構成する要素」である。この要素には「頭蓋骨」「軟骨」「筋肉」「脂肪」「皮膚」の5つがあり、それぞれ人種・性別・年齢によって状態が変わってくる。例えば、アフリカ系の人種は他の人種と比べて唇が厚めで鼻の幅もやや広くなる傾向にあるほか、年齢を重ねればしわが深くなってほうれい線や首のしわなどが顕著になり、赤ちゃんや子どもの場合は頭蓋骨の構造から顔のパーツのほとんどが下半分に集まっているため、上半分はおでこの占める割合が大きくなる。また、性別や年齢などで見た目は大きく変わるわけだが、「形にもっとも大きく影響するのは頭蓋骨で、成長に伴って変化していく」（一丸氏）。

頭蓋骨についてさらに詳しく見ていくと、形状においてポイントとなるのは「Proportion」「Highest Point」「Bony Landmark」の3つ。Proportionでは頭蓋骨の大まかな形状を意識し、例えば「頭蓋骨の横幅は、後頭部から顔の正面に向かって徐々に狭くなっている」（一丸氏）といった点を見ることになる。さらに、Highest Pointでは頭部の頂点、Bony Landmarkでは顔の外観に出てくる特徴的な骨格のポイントを見極め、実際に形作っていくことになる。

「人の顔を構成する要素」は人種や年齢などによって異なる
頭蓋骨の形状においる3つのポイント「Proportion」「Highest Point」「Bony Landmark」

なお、軟骨は「鼻や耳にある」とし、筋肉については「身体の筋肉と違って皮膚にもついており、それによって顔の表情が作られる」といったことを説明。これらの詳細については、ボーンデジタル出版の「スカルプターのための美術解剖学」「スカルプターのための美術解剖学 2 表情編」を参考書として紹介した。

最後の皮膚については、「毛穴の形」や「皺の流れ」が年齢や表情によって変わることを指摘。実際の制作では、「ZBrushなどで毛穴や皺を追加する」「実際の皮膚をスキャンしたテクスチャから作成する」「TexturingXYZなどのテクスチャ販売サイトで購入して作成する」などの方法で対応するという。Rinの場合は、「スキャンしたテクスチャから作成し、その後にZBrushなどで手直しを加える」（一丸氏）という合わせ技を採用しているそうだ。また、Rinは「27歳の日本人」という設定から、毛穴や皺が目に見えてわかるような感じにはなっていないが、ZBrushの制作画面を拡大すると、目の下や唇には細かな皺がリアルに入っているほか、「毛穴などはレイヤーを分けることで、深さの微調整に対応している」（一丸氏）。

ZBrushの制作画面。赤線で示したのように、顔の皺がリアルに作り込まれている

一方、技術的な側面では、Meshのトポロジーは表情を前提とした細かく割っている。実際に動画として動かすような場合、例えば首の部分は表情によって筋が出てくるため、細かくしないと表現できないという。また、ディスプレイスメントマップなどで形を補完するようなテクスチャを描く場合、テクスチャの切り替えなどで煩雑な操作が必要になることから、「出来る限りMeshで形を表現できる状態にした方が良い」とアドバイス。参考資料としては、ネットに上がっているUnreal Engine 4のサンプルシーン「Meet Mike」や、映画『ワイルド・スピード SKY MISSION』においてCGで蘇ったポール・ウォーカーのメイキング動画を挙げた。

なお、質感ではSSS（Subsurface Scattering）を、レンダリングにはArnoldを使用。皮膚には毛穴や皺以外にMicrostructureと呼ばれる細かい皺があるのだが、それを表現することで「よりリアルにレンダリングできる」とともに「皮膚のハイライトが拡散されるため、大きな違いになる」（一丸氏）そうだ。そのほか、皮膚の色については物体の色を取り出すカラーセンサー「Nix Pro 2」を利用し、スマホから実際の色を確認している。これによって、その色を基準に他の部分の調整ができるため、一丸氏は「全体の色調整がやりやすくなる」と補足した。

「Rin」でのMeshのトポロジーは、とても細かく割ってある
カラーセンサー「Nix Pro 2」（右）とスマホアプリの画面（左）

2つ目のポイントとして挙げたのは「資料から構造を理解・観察する」である。一丸氏は「これはCGのモデリングに限らず、アニメーションや模型などにも通じる」と、その重要性を強調する。

構造と観察について「歯の構造」を例に見てみると、歯そのものは表面のエナメル質と内部の象牙質で構成されており、それぞれのカラーはエナメル質が青色、象牙質が黄色になる。さらに、エナメル質が厚くなるほど青みが強くなるため、「エナメル質の厚い歯の先端ほど青っぽくなり、エナメル質が薄い根元に近づくほど、内部の象牙質の黄色が透けてくる」と説明する。そして、実際の制作では3Dペイントツール「Substance Painter」を使用し、色に関するテクスチャは「Albedo」、歯の透明な質感は「Transmission」、先端の青みはSSSの半径をコントロールする「SSS Radius」で表現し、その3つを合わせることでリアルな歯を表現した。一丸氏は「構造の理解と観察はもっとも重要で、これを抜きにして制作することはあり得ない」と断言するとともに、「普通のことを地道に続けていくしかないが、それを意識するだけでも結果は変わる」と説いた。

3Dペイントツール「Substance Painter」におけるテクスチャ「Albedo」「Transmission」「SSS Radius」のイメージ
3Dペイントツール「Substance Painter」の行程を踏まえることで、Rinの歯はとてもリアルな完成形となる

次に一丸氏は、CGWORLD vol.264の表紙に関するメイキングの裏側を紹介した。まず構図については、表紙ということで雑誌名やタイトルなどのさまざまな文字が入るため、テスト段階で「多くのパターンを試した」という。さらに、採用には至らなかったが「個人的に気に入った別の構図もあった」そうだ。また、注意すべきポイントとなるのがレンダリング後の"明るさ"。「視線を顔に誘導したくても、別の場所が明る過ぎるとそちらが目立ってしまう」（一丸氏）からだ。

CGWORLD vol.264の表紙（右）と、別パターンの構図（左、中央）

衣装については、デジタルファッションということで「Marvelous Designer」と「Maya」を使用した。一丸氏によれば、Marvelous Designerは大きな皺をリアルに表現できる一方で、細かくなると「画面の表示が遅くなったり、複雑な操作が必要になったりする」とのこと。そこで、Marvelous Designerで大きな皺を表現したらMayaに移行し、パターンの繋ぎ目などの細かい表現に対応した。またリグには、「mGear」を使用したとのこと。今回が初めての利用だったことからあまり効果的ではなかったが、「mGear自体は柔軟にリグ制作ができるので、今後も使っていきたい」と評価した。

次に一丸氏が解説したのは、RinのInstagram用合成写真の作り方について。手順としては、まず女性モデルが写っている実際の撮影画像を用意し、その画像の顔の部分をRinの顔に入れ替え、それをPhotoshopで合成するというのが大まかな流れとなる。具体的には、入れ替えるRinの顔画像に対して、まずはMayaでライティングを撮影画像の環境に合わせる作業を実施。「ハイライトの光がどこから当たっているのかなど、その光源をMayaで再現しており、なるべく3Dで表現してからレンダリングしている」（一丸氏）。

レンダリング後はPhotoshopに移行し、元のモデルの顔の位置にRinの顔を配置。元の画像で不要な部分（髪の毛など）がある場合は消していくほか、輪郭などにズレがあった場合は、ペイントなどを使って修正する。その状態から、まずは元の画像と入れ替えた画像の明暗を合わせ、その後に撮影したモデルの顔の色と、レンダリングしたRinの顔の色を調整。カラーバランスやカーブなどの調整レイヤーを使用し、RGBそれぞれのカラーを合わせていくイメージだ。そして最後に、影やノイズの入り方などを調整して完成となる。

RinのInstagram用合成写真の作業工程のイメージ

なお、デジタルヒューマンの制作において、表情は何度もレンダリングして確認をする必要がある。そのため、一丸氏はレンダリングの処理スピードを左右するPCのスペックにはこだわり持っており、CPUは起業当初からAMDの「Ryzen 7 3700X」を使用している。このCPUを選んだ理由は「コストパフォーマンス」にあり、その圧倒的な優秀さから一丸氏は「AMDのCPU以外の使用はほぼ考えられない」と太鼓判を押す。

また一丸氏は、CGWORLD vol.268でAMDのハイエンドCPU「Ryzen Threadripper 3970X」と「Ryzen 9 3900X」の検証特集に参加。それぞれのCPUでRinのレンダリング時間を検証したが、Ryzen 7 3700Xを上回るレンダリングの速さを実感し、どちらのCPUでも「デジタルヒューマンの制作時はかなり効率的に作業できる」と評価した。さらに、Ryzen 9 3900Xであれば「個人でも手の届きやすい価格になっている」と付け加えた。

最後は、「表情とアニメーション」について解説した。一丸氏は最近の仕事でFacialアニメーションを手掛けており、FACSベースのBlendshapesを生成するサービス「Polywink」を利用したそうだ。ただ、ここで作ったBlendshapesはそのまま使うことができず、「表情を出すために編集作業が必要となる」（一丸氏）そうだ。また、アニメーションで目が閉じる動作の場合、実際のまぶたは上から下に閉じるわけではなく、目頭に引き込まれるように変形するなど、「顔の表情にはさまざまなルールがある。さらにMicrostructureと同様に、Microexpressionと呼ばれる顔の細かい表情の追加も必要になる」と紹介した。

セッションの締めくくりにあたり、一丸氏は改めて「デジタルヒューマンの制作に特殊な技術や魔法はない」と語った。基本的に「構造の理解と観察から制作につなげていくことがCG制作の近道」と指摘し、「それをしっかりやっていくことが重要」とアドバイスした。