>   >  ACADEMIC meets INDUSTRY:No.016:早稲田大学 先進理工学部 森島研究室
No.016:早稲田大学 先進理工学部 森島研究室

No.016:早稲田大学 先進理工学部 森島研究室

本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第16回では、CV(コンピュータビジョン)やCGをメインテーマとし、近年は着衣人物写真の高精度な3DCG化などに取り組んでいる早稲田大学の森島繁生教授に自身の研究室について語っていただいた。

※本記事は月刊『CGWORLD + digital video』vol. 256(2019年12月号)掲載の「ACADEMIC meets INDUSTRY 早稲田大学 先進理工学部 応用物理学科 森島研究室」を再編集したものです。



TEXT_森島繁生 / Shigeo Morishima(早稲田大学)
EDIT_尾形美幸 / Miyuki Ogata(CGWORLD)
取材協力_芸術科学会

生涯、井の中の蛙

早稲田大学の森島繁生です。東京大学で博士課程を修了し、その直後の1987年から成蹊大学で研究室を運営した後、2004年に現職に就きました。通算すれば大学教員生活は32年になります。大学から一歩も外に出ておらず、このまま定年まで社会の荒波に揉まれることのない井の中の蛙として生涯を終えそうです。

  • 森島繁生
    早稲田大学 先進理工学部 応用物理学科 教授
    工学博士
    専門分野:知的インターフェイス、CG、コンピュータビジョン、画像処理、音声信号処理
    www.mlab.phys.waseda.ac.jp


博士論文のテーマはAIアプローチでの音声認識でしたが、卒業後に知的画像通信の研究に従事し、狭帯域の通信路で人物の表情や動作を伝送して自然な会話を可能にすることに興味をもち、分析と合成を組み合わせたアバターの顔を介して対話するシステムを実現しました。その後、光ファイバーの普及で伝送帯域は拡がり、送信側の画像認識と受信側の画像合成が、CV(コンピュータビジョン)およびCGというかたちで独立し、森島研究室[1]のメインテーマになっていったという経緯があります。もともと音は専門なので、音声や音響信号処理の研究は標準で付いて来るという感じです。

[1]Webナショジオ 研究室に行ってみた。natgeo.nikkeibp.co.jp/atcl/web/18/080100014


2005年の愛・地球博では、顔CG合成の研究成果を応用するかたちで三井・東芝館の『Future Cast』の開発に本研究室の学生と共に携わり、164万人の来場者に感動体験をお届けし、人物の表情合成技術がエンターテインメントに及ぼす影響に関して多くの知見を得ることができました。これはその後ハウステンボスの『Future Cast Theater』に引き継がれ、2017年の閉館までに6万5千回以上の上映を行うという記録の樹立につながったことは記憶に新しいところです。

▲顔CG合成の研究成果を応用した『Future Cast』


SIGGRAPHデビュー時のインパクト

私のSIGGRAPHデビューはバブル景気の余韻が残る1994年(オーランド)です。当時は多い年には5万人近い参加者があり、日本からも多くの企業がExhibitionに参加していました。私はその規模に圧倒され、ここが自分のいるべき場所だと実感しました。最初の大きな貢献は、1995年に採択された『Better Face Communication』でした。これは本人そっくりのアバターを介して、遠隔地にいる人同士が音声のみの伝送で疑似TV電話をリアルタイムに体験できるというもので、音声のみからFake Videoを自動的に実時間で生成することに取り組んでいました。今のDeepfakeを使えばいとも簡単な話ですが、当時の計算機パワーでは考えられないことで、会期中はSIGGRAPHから無償で貸し出されたSGI Onyxを使用しました。また、NHKの特別番組の取材を受けたりもしました。

以来、SIGGRAPHには、Poster、Talk(Sketch)、E-Tech、Course、Technical Briefなどで毎年欠かさず貢献してきました。そして2015年にSIGGRAPH Asiaが神戸で開催されたとき、Workshop / Co-located Event Chairを仰せつかりました。また、その頃から本研究室のOBや現役学生の論文がTechnical Paperで採択されるようになり、やっと一人前の研究室になったのかなと実感しています。2018年の夏頃からはSIGGRAPHCHICVPRPGICCVなどのトップカンファレンスにフルペーパーが立て続けに採択され、1年の間に世界の最高峰を軒並み制覇するかのごとく業績を積み上げています。CVPRでBest Paper Award Finalistsにノミネートされた学生もおり、彼らの活躍は止まるところを知らず加速を続けている状態です。

2018年以降の代表的な研究成果

▲1枚の画像から顔の3次元形状、アルベド、スペキュラ、ディスプレイスメントを推定し、新たな照明環境下で再合成した結果。極端に横向きの画像でオクルージョンが発生していても、穴埋めしてそれらしくテクスチャが復元されます。カメラアングル、照明環境、表情などに左右されない確固とした推定が可能です[2]

[2]Shugo Yamaguchi, Shunsuke Saito, Koki Nagano, Yajie Zhao, Weikai Chen, Shigeo Morishima, Hao Li, "High-Fidelity Facial Reflectance and Geometry Inference from an Unconstrained Image", ACM Transactions on Graphics(Proc. SIGGRAPH 2018), Vol. 37, Issue 4, No. 162, 2018


▲音楽と歌唱の波形データから、歌手の個性ある歌い回しを自動合成します。首の回転、瞬き、表情、リップシンクを曲に合わせて自動的に制御可能。すでに故人となった歌手の個性を過去の楽曲ビデオデータから学習し、CG合成した本人のキャラクターに個性豊かに新曲を歌わせることができます[3]

[3]歌声と楽曲構造を入力とした歌唱時の表情アニメーション自動生成手法, 加藤卓哉, 深山 覚, 中野倫靖, 後藤真孝, 森島繁生, 画像電子学誌 第48巻 第2号(通巻248号), pp. 303-314, 2019


次ページ:
多くの博士を抱える、研究室体制