RESEARCH 1：肌の微細構造の手続き型モデリング
・初期段階での研究目的
本研究室では、肌の毛穴・キメといった微細構造の特徴を実写画像から読みとり、それと同等の状態をもつ肌を手続き型モデリングにより再現する、という研究に取り組んでいます。本研究は化粧品企業との共同研究であり、当初の目的は専門家による肌の印象分析を支援するというものでした。
具体的なアプローチは以下の通り［1］です。まずマイクロスコープカメラという接触型の専用撮影機を用いて肌の拡大写真を撮影し、それを白黒二値化した画像から毛穴・皮溝領域を切り取り、その形状からいくつかの特徴量を抽出します。続いてその特徴量に従って、手続き型モデリング手法によって肌を構成する毛穴やキメのパターンを生成します。そして、そのパターンに沿って肌の微細形状をポリゴンモデルとして生成します。様々な肌状態の顔を高精細な静止画像として生成して専門家に提示することで、肌の印象分析を支援します。初期段階での本研究はひとりの顔を表現するために1,000万近い三角形を生成し、レンダリングにも相当な時間をかけていました。計算機ディスプレイよりも解像度の高い1枚の静止画像を生成することを目的としていたため、このようなアプローチをとっていました。
肌拡大画像からの皮溝の検出
▲マイクロスコープカメラによる肌拡大画像【左】から、毛穴と皮溝を検出した例【右】。水色が毛穴・ピンク色が皮溝の検出部分に相当します
・主な先行研究との差異
本研究を開始した時点で、肌をリアルに表現する研究は多数ありました。特にシワを中心とするミリ単位の特徴を忠実に表現する手法は多数発表されてきました［2］。一方で、毛穴・キメといったミリ未満の微細な特徴を再現する手法は、近年になってから活発に議論されているように思います。代表的な最近の手法として、複数の角度から撮影した高精細画像を基にして肌の微細形状を忠実に再現する手法［3］や、表情変化のための微細形状の変形をシミュレートする手法［4］などが知られています。
単にリアリティの高い肌を表現するのであればこれらのアプローチは大変有力でしょう。映画やアニメーションなどのエンターテインメント映像制作だけを視野に入れれば、プロダクションに高精細な顔撮影環境を1セット用意すれば運用できる技術であろうかと思います。
一方で本研究は以下の点において目標設定や前提条件が大きく異なります。まず本研究は肌診断に関わるいかなる人でも所有可能な低コスト撮影環境を前提としています。そのため本研究では、マイクロメートル単位の微細形状を顔全体にわたって精密に再現できるような高精細画像を期待していません。続いて本研究は、肌状態をパラメータ化して自在に調節する用途を想定しているため、単一の人物の肌状態を再現することだけで満足するものではありません。以上の前提条件の下において、本研究のような手続き型モデリングによる肌の表現は有望であろうと考えます。
手続き型モデリングによる肌のシミュレート
▲手続き型モデリングによって肌の微細形状をシミュレートした例。【左】健康な肌／【中】加齢により毛穴が開いた肌／【右】乾燥した肌
▲【左】前述の「健康な肌」の拡大画像／【右】前述の「加齢により毛穴が開いた肌」の拡大画像
-
- ◀前述の「乾燥した肌」の拡大画像
・最近の方針変更
前述のように本研究はもともと、高精細な1枚の静止画像として肌の微細構造を表現する手法を開発するものでした。最近では少し方針を変更して、視点や光源を自在に操作できるような対話性をもったアプリケーションとして実装を進めています。そこで大規模なポリゴンモデルとして肌の微細形状を表現するのではなく、変位マップを生成してシェーダプログラミングにより高速描画する方向に実装を改めています［5］。この実装変更によって、微細形状のデータ量削減と描画速度向上を目指すだけでなく、肌の質感に大きく貢献する光反射モデル（例えば表面下散乱）による効果の検証も同時に進めています。
▲汎用CGソフトであるHoudiniのSkin Shaderにより、肌の表面下散乱を表現した例
・今後の展望
本研究の利用者層を広げるためのポイントは2点あります。まずマイクロスコープカメラのような専用撮影機ではなく、一般消費者用のデジタルカメラでの撮影からでも肌状態を推定できるようにする必要があります。もうひとつはCG制作の汎用ソフトウェアパッケージに頼るのではなく、単独のレンダリングアプリケーションとして開発を進めることです。これにより例えば、一般消費者のための肌診断を想定すると、スマートフォンで撮影した顔画像から微細形状を再現した顔画像を表示し、肌状態が変化した顔画像を合成して見せる、といったアプリケーションを構築できると考えられます。また肌診断に限らず、日常生活での顔撮影に関係ある多様なアプリケーションへの応用が考えられます。
先にも述べた通り、エンターテインメント産業に限らず多彩な産業にCG技術を展開することが、CG産業の繁栄のための極めて重要な一方向性であると私は考えています。本研究がそのひとつの事例となるように今後も研究を進めたいと考えます。
・参考文献
［1］F. Banba, T. Itoh, M. Inomata, M. Kurokawa, N. Toyoda, H. Otaka, H. Sasamoto, Micro-Geometric Skin Simulation for Face Impression Analysis, 芸術科学会論文誌, Vol. 13, No. 1, pp. 11-20, 2014.
［2］Y. Wu, P. Kalra, L. Moccozet, N.-M. Thalmann, Simulating Wrinkles and Skin Aging, The Visual Computer, Vol. 15, No. 4, pp. 183--198, 1999.
［3］A. Ghosh, G. Fyffe, B. Tunwattanapong, J. Busch, X. Yu, P. Debevec, Multiview Face Capture using Polarized Spherical Gradient Illumination, ACM Transactions on Graphics （Proceedings of SIGGRAPH ASIA）, Vol. 30, No. 6, p. 129, 2011.
［4］K. Nagano, G. Fyffe, O. Alexander, J. Barbic, H. Li, A. Ghosh, P. Debevec, Skin Microstructure Deformation with Displacement Map Convolution, ACM Transactions on Graphics, Vol. 34, No.4, pp.109, 2015.
［5］安江, 伊藤, 豊田, 肌微細構造のCG表現の高速化, 映像表現・芸術科学フォーラム2018, 54, 2018.
