ACADEMIC meets INDUSTRY:No.002：お茶の水女子大学理学部伊藤研究室 | 連載

RESEARCH 2：パーツ単位のモーフィングによるイラスト顔生成

・本研究における似顔絵生成

イラスト顔を生成するWeb上のサービスが近年いくつか流行しており［1］［2］、SNSのアイコンなどに活用されています。これらのサービスの多くは、髪型・輪郭・目・口などのパーツイラストをユーザーが選んだ上で、それを福笑いのように重ねることでイラスト顔を提供します。このようなサービスが流行する一理由として、日本はインターネット上での実名や顔画像の公開率が特に低いという点があります。これらのサービスが生成する「あまり写実的ではないけど知人には判別してもらえる程度に特徴をとらえていて、しかもかわいいイラスト顔」は、日本でのSNSのアイコンやスタンプに重宝されています。

しかし一方で、これらのサービスによる表現力は、あらかじめ用意されたパーツイラストの品揃えに大きく左右されます。言い換えれば、あらかじめ用意されているパーツイラストのいずれを選んでも本人の特徴を表現できない、という結果は容易に起こりえます。そこで本研究では、被写体人物のパーツ（目・鼻・口など）の特徴量を写真から算出し、その特徴量に応じてパーツイラストを変形（モーフィング）することで、本人の特徴に近いパーツイラストから構成されるイラスト顔を生成します［3］。

・関連研究

本研究の開始以前に発表されていたイラスト顔生成手法を大きく分類すると、基準イラストと顔写真との対応関係をあらかじめルール化する手法［4］、顔写真にNPR処理を施す手法［5］、サンプルイラストを合成する手法［6］などがありました。本研究はサンプルイラストを合成する手法の欠点として挙げられる「表現力がサンプルイラストの品揃えに左右される」という点を解決するものとして位置づけられます。

なお2015年ごろを境に、イラスト顔生成においても機械学習を用いた手法が多数発表されていますが、本稿ではその紹介を割愛します。

・処理手順

本研究の処理手順は以下の通りです。まず顔写真から眉・目・鼻・口・輪郭の代表点を抽出し、これらのパーツの形状的特徴を数値化します。続いてその特徴に基づいて、あらかじめ用意されたサンプルパーツイラストにモーフィングを適用し、被写体人物の特徴に近い形状のパーツイラストを合成します。それと同時に、顔写真から髪領域を抽出してそれに最も近いサンプル髪型イラストを選出します。そして輪郭の上にパーツイラストと髪型イラストを合成することで、イラスト顔を生成します。

サンプルパーツイラストにモーフィングを適用

▲イラスト顔生成結果を調節するためのユーザーインターフェイス

▲イラスト顔生成のためにあらかじめ用意するサンプルパーツイラストの例

▲イラスト顔の例。この例では2種類のサンプルパーツイラストを使い分けて2枚ずつ生成しています

・実用分野

本研究で生成されるイラスト顔はSNSのアイコンやスタンプ、コミュニケーションツールのアバターなど、リアリティより親しみやすさを優先したい用途に幅広く適用可能です。現在はロボットに埋め込まれたディスプレイに表示するアバター顔としての実用が試行されています。

私は本研究を「女子大学にふさわしい研究」と考えています。なぜなら、SNSのアイコンなどに実写画像ではなくイラスト顔を使う人は男性より女性に多いからです。女子学生にとってどのようなイラスト顔生成結果が共感してもらえるかを追求することが、本研究を実用に近づけるヒントになるかもしれないと考えています。

・今後の課題

本研究は学術的な目標設定を立てるのが難しい研究であると実感しています。本ページの冒頭で、本研究の目標を「あまり写実的ではないけど知人には判別してもらえる程度に特徴をとらえていて、しかもかわいいイラスト顔を生成する」と定義しました。この目標の達成度を客観的に計ることは容易ではありません。「写実的に似ている」ことを目標としていないのにそれが同意されず「似てないからダメ」というネガティブな評価をされてしまうことで、これまでにも議論が平行線になってしまう経験がありました。さらに、SNSのアイコンやスタンプなどに使うイラスト顔の流行性に共感できない人には、本研究が生成するイラスト顔の存在自体にも共感してもらえないのではないか......という実感もあります。本研究が生成するイラスト顔をどのように客観的に評価するか、という点は学術研究として重要であり、今後も議論を深めたいです。

イラスト顔生成という研究課題全般の課題としては、機械学習を駆使した手法と、本研究のような従来型の手法を、どのように使い分けるか、という点が挙げられます。

・参考文献

［1］アメーバピグ
［2］ちゃんりおメーカー
［3］小松, 伊藤, パーツ単位のモーフィングによる似顔絵生成, 芸術科学会論文誌, Vol. 14, No. 5, pp. 180-187, 2015.
［4］P.-Y. Chiang, W. Hung, T.-Y. Li, Automatic caricature generation by analyzing facial features, Proceedings of 2004 Asia Conference on Computer Vision （ACCV2004）, 2004.
［5］J. Xie, A. Hertzmann, W. Li, H. Winnemller, PortraitSketch: face sketching assistance for novices, Proceedings of the 27th annual ACM symposium on User interface software and technology, pp. 407-417, 2014.
［6］Y. Wei, K. Takjima, J. Xu, M. Toyoura, X. Mao, Example-Based Automatic Caricature Generation, Cyberworlds International Conference, pp. 237-244, 2014.