No.002：お茶の水女子大学理学部伊藤研究室

記事の目次

本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第2回では、お茶の水女子大学の伊藤貴之教授に自身の研究室について語っていただいた。

※本記事は月刊『CGWORLD + digital video』vol. 241（2018年9月号）掲載の「ACADEMIC meets INDUSTRY お茶の水女子大学理学部伊藤研究室」を再編集したものです。

TEXT＿伊藤貴之 / Takayuki Itoh（お茶の水女子大学）
EDIT＿尾形美幸 / Miyuki Ogata（CGWORLD）
取材協力＿芸術科学会

企業勤務で応用研究の面白さを実感

お茶の水女子大学の伊藤貴之です。1992年から13年ほど企業研究所に勤務し、2005年からお茶の水女子大学で教員を務めています。私は産学両方に10年以上勤務しているため、本誌のこのような企画への寄稿の機会をいただけることを心から嬉しく思います。

伊藤貴之
お茶の水女子大学理学部情報科学科教授
博士（工学）
専門分野：CG（主に形状モデリング）、情報可視化、音楽情報処理、インタラクション
itolab.is.ocha.ac.jp

私は学部卒業研究にてCGの研究に従事しましたが、その翌年の1990年（当時大学院修士1年）に進路選択の転機が訪れました。まず夏に1ヶ月間の語学研修に参加したことから、外資系企業に勤務して国際的な仕事に就きたいと思うようになった点です。続いてSIGGRAPHの学会誌の表紙を日本人の外資系企業研究者（宮田一乘氏：現、北陸先端科学技術大学院大学教授）（※）の論文画像が飾るという快挙があった点です。これを機に私も同じ企業への就職を志し、ありがたくも採用していただけました。

※ 宮田研究室のWebサイトはこちら。

就職当初はCGの部門に所属しましたが、その部門で従事したプロジェクトはエンターテインメント事業のCGではなく、例えば自動車の設計解析支援や、Webのアクセス分析のための情報可視化など、専門業務目的の研究が中心でした。さらに後半3年間では、分散処理システム・セキュリティ・文書データベース処理といったまったく別の技術分野の研究開発に就き、業務の中で必要に応じてデータを可視化していました。以上の企業勤務経験から私は「ひとつの研究技術を多様な産業に応用できる」「ひとつの研究課題で成果をあげた経験を多様な研究分野に転用できる」と確信しました。そして、現在の大学での研究も同様に、自分の知見・経験を多様な産業に展開しようとしています。

女子大学の情報科学科に赴任して

現在の勤務先はお茶の水女子大学理学部情報科学科です。日本には数多くの女子大学がありますが、理系学部の情報系学科を有する女子大学は多くありません。女子高生と面談するとわかるのですが、最初から女子大学前提で理系進学を目指す生徒はそれなりに多く、そういう生徒は女子大学に情報系学科がなければ情報処理の専門家として社会に出ることはありません。その意味で本学は、情報処理産業に女性専門家を増やすための重要な役割を担っていると言えます。

余談ですがお茶の水女子大学の最寄り駅は御茶ノ水駅ではありません。丸ノ内線の茗荷谷駅です。前身の東京女子師範学校は御茶ノ水駅近く（現在の東京医科歯科大学および附属病院の地）にあったのですが、1923年の関東大震災を機に移転しています。つまり本学は90年以上にもわたって、過去の地名をそのまま大学名に用いているわけです。

さて、本学理学部は基礎科学教育を重視する学部で、そこに属する本学情報科学科も数学や基礎理論の教育が充実しています。昨今の技術の高度化に伴いCGソフトウェアの開発にも数学や物理の高度な知識が求められていますが、本学はまさにそのような高度な基礎学力を積み上げることに長けた大学と言えます。

そんな教育を経た学生の中でも、自分で研究テーマを選んで自分の夢を目指すタイプの学生が、本研究室に多数配属されます。配属学生が希望する研究テーマは非常に多岐にわたっており、CGのほかにも、情報可視化、画像処理、音楽情報処理、インタラクションなどの研究テーマを選ぶ学生がいます。他大学であれば複数の研究室が担当するような広範囲な研究分野を一気に網羅するのが本研究室の特徴のひとつです。

国際的な研究体制・多彩な参加学会

本研究室の2018年度の構成員は学部生4名、修士学生9名、博士学生8名です。大学院に進学する女子学生は少ないと勘違いされがちですが、本研究室の14年間の大学院進学率は97%（73名中71名）です。また毎年のように博士後期課程に進学する学生がいるのも本研究室の特徴ですが、その多くは企業に勤務する社会人学生です。「研究者を目指すわけではないが好きな研究を続けることで専門性を高めたい」という向上心の高い学生を多数抱える研究室とも言えます。

本研究室のもうひとつの特徴は短期研究留学者が多いことです。2012年以降、修士学生の約8割の学生が2～3ヶ月ほど海外の研究室に滞在して国際研究交流を体験しています。この体験を通して研究へのモチベーションを高めたことで専門性の高い進路を志望した学生もいます。

本研究室の2017年度の学会活動は、論文誌4本（うち英文誌3本）、国際会議発表14本、国内発表38本、学会表彰9件でした。海外の共著者を有する論文が急増しているのが最近の本研究室の特徴です。投稿先はCG、情報可視化、画像処理、インタラクション、音楽情報処理、データ工学など幅広い分野にまたがっており、可能な範囲で学生自身に投稿先学会を選んでもらうスタイルをとっています。表彰はNICOGRAPHをはじめとするいくつかの国内研究会でのベストペーパー賞やベストポスター賞、海外では情報可視化に関係あるPacificVis（Pacific Visualization Symposium）やIV（International Conference Information Visualisation）などの国際会議でベストペーパー賞やベストポスター賞を何度かいただいています。

私自身は論文発表とは別に、有名国際会議の実行委員長、国内学会の事務局代表、単著書籍発刊、国内国外の各種招待講演や解説記事執筆などの用務を担当しています。

大学院生の大半は短期研究留学を体験

▲本研究室は国際交流が豊かな研究室でもあり、大学院生の大半は2～3ヶ月の研究留学を経験してきます。【上】カリフォルニア大学デービス校／【左下】シドニー大学／【右下】シュトゥットガルト大学。これらの大学での研究交流を通して、学生たちは研究へのモチベーションを高めます

次ページ：
産学連携への貪欲な挑戦

[[SplitPage]]

産学連携への貪欲な挑戦

様々なデータの分析と理解を目的とした「情報可視化」というビジュアル技術を主軸とする本研究室では、データ分析の目的で多彩な産学連携を実施してきました。主なところではクレジットカード不正検出、水害対策、オフィスビル電力管理、歩行者経路分析、購買データ分析などで企業との共同研究を実施しました。他にはCGに直接関係あるところで化粧品企業と肌のビジュアルシミュレーションに取り組んでいます。さらに別の例として、製薬企業とは蛋白質形状分析、音楽配信企業とは音楽リスナー分析の研究に取り組んでいます。これらの縁のおかげで研究室発足以来、各企業からお預かりした共同研究費が研究室運営費の約半分を占める状況が続いています。

産学連携の動機はいろいろありました。知人研究者からの紹介、私や学生の講演を聞いて（あるいは私のWebページを読んで）の企業側からの連絡、懇親会などでの意気投合、といった動機が代表的な例です。私の研究者としての強みは産業界のニーズから研究課題を見つける点にあると思っています。今後も多彩な産学連携を通して研究課題を広く実社会に結び付けたいと考えています。

私は企業出身の大学教員ということもあって、産学連携に関してこれまでにも記事執筆や議論の機会を多数いただいています。産学連携の理想的なスタイルやそのための大学教育のありかたについて意見を述べた記事［1］や、産業界での活躍を目指す人にも博士課程に進学して専門性を高めることが有効であることを主張した記事［2］を書いています。またインターンシップによる実務経験についてのパネル議論［3］にも参加しました。ご興味がありましたら参考にしていただければ幸いです。

［1］伊藤, イノベーションのための産学連携と基礎教育に関する一考察, 人工知能学会誌, Vol. 30, No. 3, pp. 337-343, 2015.
［2］伊藤, アカデミア研究者を目指さなくても博士号を目指すという選択, 情報処理学会誌, Vol. 58, No. 5, pp. 406-407, 2017.
［3］伊藤, インターンシップ・学生が望むもの・教員が望むもの, 情報処理学会第80回全国大会, 2018.

情報可視化を主軸とする、多岐にわたる研究

▲本研究室ではCG以外にも多彩な研究に取り組んでいます。【上左】ポータブル音楽プレイヤーに収録されたプレイリストの一覧をカラフルに表現する可視化アプリ／【上右】カメラの前での人物の動きをペンライトアート風に表示するインタラクション／【下】VR空間に再現された東京ディズニーランドにソーシャルメディアでの発言を重ねることで、来場者の発言を読みながら仮想遊覧ができるシステム

今後の展望

研究室運営に関する今後の展望はいろいろあるのですが、ここではCG技術・CG産業に関係する点を2点挙げたいと思います。

1点めはCGに関係する産学連携の幅を広げたいという点です。本研究室では化粧品企業とのCGの研究に取り組んでいますが、化粧品に限らず、CGのモデリングやレンダリングなどの技術が貢献できる産業はほかにもたくさんあるはずです。そのような多彩な産業への貢献を模索するCG研究者が増えることが、CG業界の将来への大きな貢献になると私は信じています。逆に、CG以外の研究分野での私の成果をCG業界に提供する可能性も模索してみたいです。

例えば情報可視化をとっても、キャラクターデータベースを俯瞰する可視化、サーバに一括処理させるレンダリングの進捗状況の可視化など、CG制作の現場に貢献できる可能性はいろいろあると考えられます。また音楽情報処理とCGの連携に関する研究も近年急速に進んでいます。このようなかたちで私ならではの産学連携の機会がCG業界の中で生まれればと思う次第です。

2点めは本学学生のCG業界への進出の可能性です。本学はとても堅実な校風で、学生の就職先も情報通信産業やメーカーの老舗大企業が圧倒的に多い状況が続いていました。他大学では非常に多くの学生が就職するゲーム産業でさえ、本学では大学全体で3年に1名くらいという状況が続いています。本研究室で長い間にわたってデータ分析のための情報可視化の研究が活況だったのも、その堅実な就職状況と関係がありました。

それが最近では一転して、正統的なCGの研究を志願する学生が増えました。研究テーマに限らず、ここ数年で急速にCG技術が本学学生にとって親しみ深いものになっているのを感じます。私の推論にすぎませんが、モバイルゲーム機・スマートフォンアプリ・ソーシャルゲームなどの普及、あるいはボーカロイドの流行に代表される近年のネットカルチャーの変遷が、学生の嗜好に影響を与えていると考えます。将来的には本学からCG業界への就職を志す学生も増えるかもしれない兆候も感じており、教員としてもいっそうの業界理解が必要と考える次第です。

次ページ：
肌の微細構造の手続き型モデリング

[[SplitPage]]

RESEARCH 1：肌の微細構造の手続き型モデリング

・初期段階での研究目的

本研究室では、肌の毛穴・キメといった微細構造の特徴を実写画像から読みとり、それと同等の状態をもつ肌を手続き型モデリングにより再現する、という研究に取り組んでいます。本研究は化粧品企業との共同研究であり、当初の目的は専門家による肌の印象分析を支援するというものでした。

具体的なアプローチは以下の通り［1］です。まずマイクロスコープカメラという接触型の専用撮影機を用いて肌の拡大写真を撮影し、それを白黒二値化した画像から毛穴・皮溝領域を切り取り、その形状からいくつかの特徴量を抽出します。続いてその特徴量に従って、手続き型モデリング手法によって肌を構成する毛穴やキメのパターンを生成します。そして、そのパターンに沿って肌の微細形状をポリゴンモデルとして生成します。様々な肌状態の顔を高精細な静止画像として生成して専門家に提示することで、肌の印象分析を支援します。初期段階での本研究はひとりの顔を表現するために1,000万近い三角形を生成し、レンダリングにも相当な時間をかけていました。計算機ディスプレイよりも解像度の高い1枚の静止画像を生成することを目的としていたため、このようなアプローチをとっていました。

肌拡大画像からの皮溝の検出

▲マイクロスコープカメラによる肌拡大画像【左】から、毛穴と皮溝を検出した例【右】。水色が毛穴・ピンク色が皮溝の検出部分に相当します

・主な先行研究との差異

本研究を開始した時点で、肌をリアルに表現する研究は多数ありました。特にシワを中心とするミリ単位の特徴を忠実に表現する手法は多数発表されてきました［2］。一方で、毛穴・キメといったミリ未満の微細な特徴を再現する手法は、近年になってから活発に議論されているように思います。代表的な最近の手法として、複数の角度から撮影した高精細画像を基にして肌の微細形状を忠実に再現する手法［3］や、表情変化のための微細形状の変形をシミュレートする手法［4］などが知られています。

単にリアリティの高い肌を表現するのであればこれらのアプローチは大変有力でしょう。映画やアニメーションなどのエンターテインメント映像制作だけを視野に入れれば、プロダクションに高精細な顔撮影環境を1セット用意すれば運用できる技術であろうかと思います。

一方で本研究は以下の点において目標設定や前提条件が大きく異なります。まず本研究は肌診断に関わるいかなる人でも所有可能な低コスト撮影環境を前提としています。そのため本研究では、マイクロメートル単位の微細形状を顔全体にわたって精密に再現できるような高精細画像を期待していません。続いて本研究は、肌状態をパラメータ化して自在に調節する用途を想定しているため、単一の人物の肌状態を再現することだけで満足するものではありません。以上の前提条件の下において、本研究のような手続き型モデリングによる肌の表現は有望であろうと考えます。

手続き型モデリングによる肌のシミュレート

▲手続き型モデリングによって肌の微細形状をシミュレートした例。【左】健康な肌／【中】加齢により毛穴が開いた肌／【右】乾燥した肌

▲【左】前述の「健康な肌」の拡大画像／【右】前述の「加齢により毛穴が開いた肌」の拡大画像

◀前述の「乾燥した肌」の拡大画像

・最近の方針変更

前述のように本研究はもともと、高精細な1枚の静止画像として肌の微細構造を表現する手法を開発するものでした。最近では少し方針を変更して、視点や光源を自在に操作できるような対話性をもったアプリケーションとして実装を進めています。そこで大規模なポリゴンモデルとして肌の微細形状を表現するのではなく、変位マップを生成してシェーダプログラミングにより高速描画する方向に実装を改めています［5］。この実装変更によって、微細形状のデータ量削減と描画速度向上を目指すだけでなく、肌の質感に大きく貢献する光反射モデル（例えば表面下散乱）による効果の検証も同時に進めています。

▲汎用CGソフトであるHoudiniのSkin Shaderにより、肌の表面下散乱を表現した例

・今後の展望

本研究の利用者層を広げるためのポイントは2点あります。まずマイクロスコープカメラのような専用撮影機ではなく、一般消費者用のデジタルカメラでの撮影からでも肌状態を推定できるようにする必要があります。もうひとつはCG制作の汎用ソフトウェアパッケージに頼るのではなく、単独のレンダリングアプリケーションとして開発を進めることです。これにより例えば、一般消費者のための肌診断を想定すると、スマートフォンで撮影した顔画像から微細形状を再現した顔画像を表示し、肌状態が変化した顔画像を合成して見せる、といったアプリケーションを構築できると考えられます。また肌診断に限らず、日常生活での顔撮影に関係ある多様なアプリケーションへの応用が考えられます。

先にも述べた通り、エンターテインメント産業に限らず多彩な産業にCG技術を展開することが、CG産業の繁栄のための極めて重要な一方向性であると私は考えています。本研究がそのひとつの事例となるように今後も研究を進めたいと考えます。

・参考文献

［1］F. Banba, T. Itoh, M. Inomata, M. Kurokawa, N. Toyoda, H. Otaka, H. Sasamoto, Micro-Geometric Skin Simulation for Face Impression Analysis, 芸術科学会論文誌, Vol. 13, No. 1, pp. 11-20, 2014.
［2］Y. Wu, P. Kalra, L. Moccozet, N.-M. Thalmann, Simulating Wrinkles and Skin Aging, The Visual Computer, Vol. 15, No. 4, pp. 183--198, 1999.
［3］A. Ghosh, G. Fyffe, B. Tunwattanapong, J. Busch, X. Yu, P. Debevec, Multiview Face Capture using Polarized Spherical Gradient Illumination, ACM Transactions on Graphics （Proceedings of SIGGRAPH ASIA）, Vol. 30, No. 6, p. 129, 2011.
［4］K. Nagano, G. Fyffe, O. Alexander, J. Barbic, H. Li, A. Ghosh, P. Debevec, Skin Microstructure Deformation with Displacement Map Convolution, ACM Transactions on Graphics, Vol. 34, No.4, pp.109, 2015.
［5］安江, 伊藤, 豊田, 肌微細構造のCG表現の高速化, 映像表現・芸術科学フォーラム2018, 54, 2018.

次ページ：
パーツ単位のモーフィングによるイラスト顔生成

[[SplitPage]]

RESEARCH 2：パーツ単位のモーフィングによるイラスト顔生成

・本研究における似顔絵生成

イラスト顔を生成するWeb上のサービスが近年いくつか流行しており［1］［2］、SNSのアイコンなどに活用されています。これらのサービスの多くは、髪型・輪郭・目・口などのパーツイラストをユーザーが選んだ上で、それを福笑いのように重ねることでイラスト顔を提供します。このようなサービスが流行する一理由として、日本はインターネット上での実名や顔画像の公開率が特に低いという点があります。これらのサービスが生成する「あまり写実的ではないけど知人には判別してもらえる程度に特徴をとらえていて、しかもかわいいイラスト顔」は、日本でのSNSのアイコンやスタンプに重宝されています。

しかし一方で、これらのサービスによる表現力は、あらかじめ用意されたパーツイラストの品揃えに大きく左右されます。言い換えれば、あらかじめ用意されているパーツイラストのいずれを選んでも本人の特徴を表現できない、という結果は容易に起こりえます。そこで本研究では、被写体人物のパーツ（目・鼻・口など）の特徴量を写真から算出し、その特徴量に応じてパーツイラストを変形（モーフィング）することで、本人の特徴に近いパーツイラストから構成されるイラスト顔を生成します［3］。

・関連研究

本研究の開始以前に発表されていたイラスト顔生成手法を大きく分類すると、基準イラストと顔写真との対応関係をあらかじめルール化する手法［4］、顔写真にNPR処理を施す手法［5］、サンプルイラストを合成する手法［6］などがありました。本研究はサンプルイラストを合成する手法の欠点として挙げられる「表現力がサンプルイラストの品揃えに左右される」という点を解決するものとして位置づけられます。

なお2015年ごろを境に、イラスト顔生成においても機械学習を用いた手法が多数発表されていますが、本稿ではその紹介を割愛します。

・処理手順

本研究の処理手順は以下の通りです。まず顔写真から眉・目・鼻・口・輪郭の代表点を抽出し、これらのパーツの形状的特徴を数値化します。続いてその特徴に基づいて、あらかじめ用意されたサンプルパーツイラストにモーフィングを適用し、被写体人物の特徴に近い形状のパーツイラストを合成します。それと同時に、顔写真から髪領域を抽出してそれに最も近いサンプル髪型イラストを選出します。そして輪郭の上にパーツイラストと髪型イラストを合成することで、イラスト顔を生成します。

サンプルパーツイラストにモーフィングを適用

▲イラスト顔生成結果を調節するためのユーザーインターフェイス

▲イラスト顔生成のためにあらかじめ用意するサンプルパーツイラストの例

▲イラスト顔の例。この例では2種類のサンプルパーツイラストを使い分けて2枚ずつ生成しています

・実用分野

本研究で生成されるイラスト顔はSNSのアイコンやスタンプ、コミュニケーションツールのアバターなど、リアリティより親しみやすさを優先したい用途に幅広く適用可能です。現在はロボットに埋め込まれたディスプレイに表示するアバター顔としての実用が試行されています。

私は本研究を「女子大学にふさわしい研究」と考えています。なぜなら、SNSのアイコンなどに実写画像ではなくイラスト顔を使う人は男性より女性に多いからです。女子学生にとってどのようなイラスト顔生成結果が共感してもらえるかを追求することが、本研究を実用に近づけるヒントになるかもしれないと考えています。

・今後の課題

本研究は学術的な目標設定を立てるのが難しい研究であると実感しています。本ページの冒頭で、本研究の目標を「あまり写実的ではないけど知人には判別してもらえる程度に特徴をとらえていて、しかもかわいいイラスト顔を生成する」と定義しました。この目標の達成度を客観的に計ることは容易ではありません。「写実的に似ている」ことを目標としていないのにそれが同意されず「似てないからダメ」というネガティブな評価をされてしまうことで、これまでにも議論が平行線になってしまう経験がありました。さらに、SNSのアイコンやスタンプなどに使うイラスト顔の流行性に共感できない人には、本研究が生成するイラスト顔の存在自体にも共感してもらえないのではないか......という実感もあります。本研究が生成するイラスト顔をどのように客観的に評価するか、という点は学術研究として重要であり、今後も議論を深めたいです。

イラスト顔生成という研究課題全般の課題としては、機械学習を駆使した手法と、本研究のような従来型の手法を、どのように使い分けるか、という点が挙げられます。

・参考文献

［1］アメーバピグ
［2］ちゃんりおメーカー
［3］小松, 伊藤, パーツ単位のモーフィングによる似顔絵生成, 芸術科学会論文誌, Vol. 14, No. 5, pp. 180-187, 2015.
［4］P.-Y. Chiang, W. Hung, T.-Y. Li, Automatic caricature generation by analyzing facial features, Proceedings of 2004 Asia Conference on Computer Vision （ACCV2004）, 2004.
［5］J. Xie, A. Hertzmann, W. Li, H. Winnemller, PortraitSketch: face sketching assistance for novices, Proceedings of the 27th annual ACM symposium on User interface software and technology, pp. 407-417, 2014.
［6］Y. Wei, K. Takjima, J. Xu, M. Toyoura, X. Mao, Example-Based Automatic Caricature Generation, Cyberworlds International Conference, pp. 237-244, 2014.