No.004：愛知工業大学情報科学部水野研究室

記事の目次

本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第4回では、愛知工業大学の水野慎士教授に自身の研究室について語っていただいた。

※本記事は月刊『CGWORLD + digital video』vol. 243（2018年11月号）掲載の「ACADEMIC meets INDUSTRY 愛知工業大学情報科学部水野研究室」を再編集したものです。

TEXT＿水野慎士 / Shinji Mizuno（愛知工業大学）
EDIT＿尾形美幸 / Miyuki Ogata（CGWORLD）
取材協力＿芸術科学会

▲水野研究室が2015年に発表した「マジックシャドウ」の紹介映像。人や物に光を当てることで生じる影を通じて、CGとのインタラクションを楽しむコンテンツで、龍生派130周年記念展「RYUSEI IKEBANA JAPAN」や「スヌーピー・ファンタレーション」などのアート・エンターテインメント分野の展示で活用されている。本研究の詳細は、本記事の4ページ目で紹介している

画像関連の研究室に配属され、CSGの研究を開始

愛知工業大学の水野慎士と申します。私は生まれも育ちも名古屋で、名古屋大学で学部・大学院博士前期課程・後期課程を過ごし、博士（工学）を取得してから豊橋技術科学大学に勤務した後、2009年に愛知工業大学に移って現在にいたります。このように私の生活・研究拠点は今のところ愛知県から出たことがありません。

水野慎士
愛知工業大学情報科学部情報科学科教授
博士（工学）
専門分野：CG、インタラクション、メディアアート
aitech.ac.jp/cgmedia/index.html

私のCGに関する研究は学部時代の研究室配属から始まります。もともとCGには興味があったのですが、学部の授業の中にはCGに関するものがほとんどありませんでした。そして学部4年生で所属する研究室を選択するときに、画像関連の研究を取り扱っていた鳥脇純一郎教授の研究室を希望して配属が決まりました。鳥脇研究室は医用画像処理グループと、CGグループに分かれており、私はCGグループに入りました。

卒業研究のテーマは、CSG（Constructive Solid Geometry）でモデリングした形状に対するレイトレーシング手法の改良でした。このテーマは指導教員に与えられたものでしたが、初めて自分でレイトレーシングプログラムを実装してCGが生成されたときはとても感動しました。大学院博士前期課程に進学してからも、指導教員からは卒業研究テーマのさらなる改良を提案されました。

ただし、私自身は卒業研究時に実験用のCSGモデルを苦労してつくった経験から、もっと簡単にCSGモデルをつくる手法を生み出せないかということに自然と興味が湧きました。そこで自分で研究テーマを変えてしまったのですが、研究をイチから始めることは、卒業研究のときとはまったく異なる初めての経験で、研究の進め方が思いつかず、どうしたらいいかを考えてばかりいた気がします。しかしなぜかクルマを運転しているときにふと、単純な初期形状を彫刻のように削りながら複雑なCSGモデリングを行うことと、その変形をリアルタイムで行うためのデータ構造を思いつきました。それが学位研究の主要テーマである仮想彫刻につながり、これをきっかけにして後期課程にも進む決断をしました。

仮想彫刻によるモデリング形状は木彫刻によく似ていたため、自然なながれでCGによる木版画画像の生成、すなわち仮想版画に発展していきました。そして画像から版木を自動生成することで、写真を版画風に変換する手法も開発しました。ちょうど世界的にNPR（Non-Photorealistic Rendering）の研究が広まっていた時期と重なったこともあり、私の研究は思っていた以上に評価され、学位取得につながりました。

▲【左】仮想彫刻による木彫り熊／【右】仮想版画による多色木版画

豊橋技科大学時代は情報処理センターに所属していた関係で、ワークショップで仮想彫刻や仮想版画を子供に体験してもらう機会が何度もありました。そこで仮想彫刻や仮想版画のインタラクション性を強化したり、より使いやすいインターフェイスを追求したりするようになりました。この経験が現在の研究室において学生の研究テーマを決める指針のひとつになっています。

エンジニア志向とクリエイター志向の学生が混在する研究室

現在勤務する愛知工業大学は愛知県豊田市にあり、名古屋市の藤が丘駅からはリニアモーターカー（リニモ）に乗って約20分の距離ですが、夏には近くの川で蛍が見られたり、たまにイノシシに遭遇したりと自然がいっぱいです。大学は工学部、経営学部、情報科学部から構成されています。私が所属する情報科学部は、ソフトウェアエンジニア養成を目的とするコンピュータシステム専攻とクリエイター養成を目的とするメディア情報専攻に分かれており、合わせて1学年あたり約200名の学生がいます。

2018年度の学部の教員は20名おり、学生は3年生になるといずれかの教員の研究室に配属されます。私自身はメディア情報専攻の授業だけを担当しており、研究室に配属される学生の多くもメディア情報専攻に所属していますが、コンピュータシステム専攻所属の学生の中にもCGやゲームなどのメディア系の研究に興味をもつ者が少なからずいるため、少数ではありますがコンピュータシステム専攻所属の学生も研究室で受け入れています。

本研究室の2018年度の構成は、学部3年生が10名、4年生が12名、大学院生（修士）が5名、合わせて27名です。大学全体での大学院への進学率はあまり高くありませんが、本研究室ではここ数年は少なくとも1名の大学院生がおり、現在は過去最高の人数となっています。また情報科学部自体の女子学生比率は1割程度ですが、映像を扱う研究テーマの影響からか、ほかの研究室に比べて女子学生比率は高めの傾向にあり、現在は6名の女子学生が配属されています。

研究・制作テーマは、皆でワイワイ議論しながら決めることも

本研究室で扱うテーマは、主にCG・VR・インタラクションなどに関するものです。ハードウェアは、PC・スマートフォン・HMD・Kinect・プロジェクタなどをよく使います。ただし、これらは研究だけでなく、作品制作の中でも取り扱います。なぜならメディア情報専攻の学生は必ずしも卒業研究を行う必要はなく、代わりに卒業制作を行うこともできるからです。この2、3年は半分近くの学生が卒業制作を選択しています。

各学生の研究・制作テーマは、まずは学生自身が提案することが多いです。ただし「子供向けコンテンツを開発したい」「VRを使ってみたい」「Webアプリをつくってみたい」といった抽象的な提案になりがちです。そこで、そのような提案をベースに研究室でワイワイガヤガヤ議論したり、学生と個人的に話をしたりします。その中で、具体的なテーマが浮かび上がってきます。ときには思いがけないアイデアが飛び出し、お絵描きをベースにしたCGやサウンドの生成とインタラクション［1］［2］、運動視差立体視CG［3］など、本研究室を代表するテーマが生まれてきました。

［1］S. Mizuno, M. Isoda, R. Ito, M. Okamoto, S. Sugiura, M. Kondo, Y. Nakatani, M. Hirose, "Sketch Dance Stage", SIGGRAPH 2015, Posters, 2015.
［2］加藤里美, 水野慎士, "お絵かきサウンドシステム「らくがっきー」におけるオブジェクト解析手法の改良", 情報処理学会論文誌・デジタルコンテンツ, Vol.5, No.2, pp. 11-19, 2017.
［3］Y. Uehara, S. Mizuno, "A Virtual 3D Photocopy System", SIGGRAPH 2014 Posters, 2014.

お絵描きをベースにしたCGの生成

◀▼「お絵描きダンスステージ」はユーザーの描いたキャラクターが、Kinectによって収録したユーザーのモーションでダンスをするシステム。ダンスは運動視差立体視CGで表示されるため、ユーザーの視点移動に応じて更新されます

お絵描きをベースにしたサウンドの生成

▲「らくがっきー」はユーザーがスクリーンに描いたオブジェクトの内容や位置に基づき音源を自動的に配置し、サウンドを生成するシステム。お絵かきを進めるとサウンドが逐次変化するため、ユーザーはサウンドを伴うお絵かきを対話的に楽しめます

運動視差立体視CGによる物体のコピー

▲「擬似的3次元コピー」は、3次元物体をコピーして複製を制作することを擬似的に体験すると共に、そのコピー物体とのインタラクションが行えるシステムです。本システムでも、運動視差立体視CGの技術を用いています

次ページ：
進路に関わらず広い視野をもってほしい

[[SplitPage]]

進路に関わらず広い視野をもってほしい

学部で卒業する学生が多いため各学生の研究期間は短い傾向にありますが、進路に関わらず広い視野をもってほしいという観点から、学生には積極的に学会発表を行うことを勧めています。発表の場は、情報処理学会のDCC研究会やDICOMO、芸術科学会のNICOGRAPHなどが多いです。

また、特に成果が認められる学生には国際会議の発表も勧めます。学外での発表は学生にとって研究の大きなモチベーションになり、私自身も学会発表には一定水準以上の成果を求めることから、学会発表をきっかけに研究のクオリティが大きく向上することも少なくありません。例えば、2013年以降にSIGGRAPH、SIGGRAPH Asiaで発表した学生は5名おり、情報処理学会山下記念研究賞を受賞した学部生や、在学中に3本の論文が採録された修士学生もいます。

本研究室の特徴のひとつとして、様々な分野の人や団体との交流と、それをきっかけにした新しい研究や作品制作が挙げられます。交流のある人の中には『トリック』や『SPEC』シリーズなどで知られる映画監督の堤幸彦氏もいます。堤監督は愛知工業大学の客員教授でもあり、私の授業でも年に数回講義をしてくれます。そして、交流を通じて共同研究や制作もいくつか実施しています。例えば堤監督が提案して研究室で開発した「GAYAIT」は、多数のビデオ映像を同時再生しながら、そのうちのひとつを対話的に選択して強調再生できるインタラクティブ映像システムです［4］。このシステムは戸田恵子氏の舞台で実際に使用されたり、名古屋市科学館の常設展示物に採用されたのに加え、情報処理学会で優秀デモンストレーション賞を受賞したり、芸術科学会論文誌に採録されるなど、研究としても高く評価されています。堤監督が行う地域振興イベントに研究室の学生が参加したり、堤監督の演劇舞台の映像制作を手伝ったりすることもあります。

［4］S. Mizuno, R. Hirano, Y. Tsutsumi, "GAYAIT: An Interactive Video and Sound Art System handling a Large Number of Video Clips and its Applications", 芸術科学会論文誌, Vol.11, No.4, pp. 149-156, 2012.

▲同時再生しているビデオ映像の中からユーザーがひとつの映像を選択すると、その映像が拡大表示され、音声も強調再生されます。ユーザーの動作はWebカメラを使って撮影・検出しています

2017年からは東京ゲームショウにも出展

2017年からは、新たに東京ゲームショウへの出展を始めました。私も学生も東京ゲームショウへの参加経験は皆無だったため、展示用のゲーム制作からブースの飾り付けまで全てが手探りの状態でした。会場では周囲の豪華なブースに圧倒されましたが、中身のゲームは負けていないはずだと気持ちを切り替えました。展示したゲームは、掃除用コロコロを使って部屋を掃除しながらバイ菌を退治する「コロコロダストバスター」と、ピロピロ笛を使ってカメレオンになりきって虫を捕食する「ピロピロカメレオン」の2つです。どちらのゲームも、体験した方々はとても楽しんでくださり非常に好評でした。東京ゲームショウへの出展は私にとっても学生にとっても大きな刺激となりました。そして、2017年の経験と反省を糧にして、続く2018年、2019年も、規模を拡大して東京ゲームショウに出展しました。

▲東京ゲームショウ2017では2つのゲームを展示しました。【画像左】「コロコロダストバスター」は、部屋掃除に用いる粘着カーペットクリーナー（通称、コロコロ）を用いた専用デバイスを使い、床に投影されたゴミ映像を取り除くことで点数を獲得します。ゲームをクリアすれば、部屋もクリアになっていることが期待できます／【画像右】【映像】「ピロピロカメレオン」は、おもちゃのピロピロ笛の動きをKinectで認識させ、スクリーンに映る虫を補食するゲームです

次ページ：
不思議なスケッチブック

[[SplitPage]]

RESEARCH 1：不思議なスケッチブック

・研究概要と関連研究

日常の中にある道具や物をいつも通りに使いながら、デジタル空間とのインタラクションを実現する手法を開発することは、本研究室の大きな研究テーマのひとつです。紙とペンによるお絵描きに着目した本研究も、このテーマに即しています。お絵描きは小さな子供から年配者まで誰でも気軽に楽しめる、最も身近な芸術のひとつです。そこでCG制作をより多くの人が楽しめるようにすることを目的として、紙にペンでお絵描きするだけで3DCGの生成とインタラクションを実現する「不思議なスケッチブック」の開発を行なってきました［1］。

関連する研究としては、五十嵐健夫氏らによるTeddyがあります［2］。この研究では2次元のスケッチを描くだけで3DCGをリアルタイムに生成することを実現しており、当時としては画期的な手法でした。TeddyがPCやタブレットなどの画面に絵を描くのに対して、不思議なスケッチブックでは普通の紙とペンでお絵描きしながら、3DCGをリアルタイムに生成できます。さらにスケッチブックを揺らしたり触ったりすることによって、生成した3DCGとのインタラクションも可能となっています。紙とペンを使った3DCG生成は、チームラボによるお絵描き水族館などもよく知られています［3］。ただしお絵描き水族館が基本的には塗り絵であるのに対して、不思議なスケッチブックでは自由にお絵描きをしながら3DCGを生成することが可能です。

・処理手順の概要

お絵描き中のスケッチブックをビデオカメラで撮影しながら画像処理技術を用いて絵を分析することで、絵に応じた3DCGをリアルタイムに生成したり、インタラクションしたりするというのが不思議なスケッチブックの基本的な原理です。絵の分析においては、当初は色に基づく領域分割、各領域の大きさや形状の分析、スケッチブックの動きの取得などを行なっていました。分析後は、色によって分割された領域ごとに、色ごとに決められた形状規則に基づき、3DCG物体を生成していきます。このとき絵の領域形状は、3DCG物体の形状に関するパラメータとして用います。

生成された3DCG物体はスケッチブックの動きの方向や大きさに基づいてバネのように変形します。また、手で絵に触れると色による領域分割結果が変化するため、3DCG物体も変形します。一連の処理の結果、スケッチブックを揺すったり絵に触れたりすることによる、3DCGとのインタラクションが可能となります。

▲【左上】お絵描き中のスケッチブックをビデオカメラで撮影／【右上】【左下】色ごとに決められた形状規則に基づき、3DCG物体をリアルタイムに生成／【右下】手で絵に触れると色による領域分割結果が変化するため、3DCG物体も変形します

・活用事例

不思議なスケッチブックは子供たちから非常に好評で、ワークショップコレクション10（2014年）、小田急百貨店イベント（2015年）、東海テレビこどもまつり（2016年）、鯖江市文化の館イベント（2017年）など、各地の子供向けワークショップやイベントに出展してきました。そして、そこでの子供たちの意見を反映し、輪郭線に基づく領域分割を行い3DCG化する機能を追加した、拡張版不思議なスケッチブックも開発しました［4］。

▲【左】輪郭線を描いた絵／【右】拡張版不思議なスケッチブックでは、輪郭線に基づく領域分割を行い3DCG化する機能を追加しました

▲拡張版不思議なスケッチブックの紹介映像

2018年には、スヌーピーとサイエンスがコラボレーションした「スヌーピー・ファンタレーション」というアート展に拡張版不思議なスケッチブックが展示されることになりました。本展では来場者が台紙に自由にお絵描きをして、出来上がった絵をカメラの前に置くと、その場で3DCGに変換されると共に、ほかの人の作品と並べてスクリーンに投影されるという展示方法を用いました。東京・大阪・広島・名古屋での開催で、合わせて25,000人以上の人がお絵描きによる3DCG制作を楽しみました。

▲「スヌーピー・ファンタレーション」では来場者の描いた絵【左】をリアルタイムに3DCG化【右】

▲スクリーンに表示された3DCGを撮影する来場者

▲名古屋で開催された「スヌーピー・ファンタレーション」の展示風景

・今後の展望

現在のシステムでは絵の分析に古典的な方法を採用していますが、リアルタイム性やインタラクション性を確保しつつ機械学習などのより高度な方法も取り入れ、子供たちを含むより多くの人々に楽しんでいただけるよう、不思議なスケッチブックのさらなる拡張を目指していきます。

・参考文献

［1］N.Kondo, S.Goto, S.Mizuno, "Amazing Sketchbook: extended drawing on a sketchbook using 3DCG", SIGGRAPH 2013 Posters, 2013.
［2］T. Igarashi, S.Matsuoka, H.Tanaka, "Teddy: A Sketching Interface for 3D Freeform Design" SIGGRAPH'99, pp.409-416, 1999.
［3］チームラボ, "お絵描き水族館", www.teamlab.art/jp/w/aquarium
［4］S.Mizuno, K.Funahashi, "Amazing Sketchbook Advance", SIGGRAPH 2017 Posters, 2017.

次ページ：
マジックシャドウ

[[SplitPage]]

RESEARCH 2：マジックシャドウ

・研究概要と関連研究

「マジックシャドウ」も不思議なスケッチブックと同様、日常の中にある道具や物をいつも通りに使いながらデジタル空間とのインタラクションを実現することを目指しており、よりアート要素が強いものになっています。マジックシャドウはその名の通り、人や物に光を当てることで生じる影を通じてCGとのインタラクションを楽しむコンテンツです［1］。

影を用いたインタラクションはこれまでにもいくつか提案されていますが、手先だけを対象としたり［2］、Kinectなどで人の動きを収録して影絵風に表示したり［3］するものが大部分でした。それに対して、マジックシャドウは人や物に光を当てることで生じる実際の影を使い、様々なインタラクションを行うことが可能です。このとき、何から生じる影かによって、インタラクションの種類が変化します。

・処理手順の概要

マジックシャドウでは人や物にプロジェクタで光を当てて壁面に影をつくっており、この影の位置の取得のために3次元情報に基づく影のシミュレーションを行います。プロジェクタの直上にはKinectを設置しており、影をつくる人や物の3次元情報を取得します。そしてプロジェクタの位置、壁面の位置、人や物の3次元情報を基に、CG空間内に実空間と同じシーンを再現し、壁面上に生じる影をリアルタイムシミュレーションします。さらにCG空間内にCG物体も配置し、人や物の3次元情報との接触判定に基づいて動かすことで影絵風CG映像を生成します。それを別のプロジェクタから投影することで、実際の影がCGの影とインタラクションしているような表現が可能となります。このとき人や物の3次元情報はKinectで得られる骨格情報や色情報を用いて識別できるため、影の種類によってインタラクションを変化させることもできます。

影の位置と種類を基に、超短焦点プロジェクタなどを用いて特定の影の内部に映像を投影することも可能です［4］。これにより、人の影に目や口が現れるといった普通ならあり得ない影をつくり出すこともできます。

▲空間の3次元スキャンに基づく影生成シミュレーションで影の位置を認識しながら、2つのプロジェクタで影絵風の映像や影内部への映像を投影します

▲【左上】実際の影（人物や鳥かご）と、CGの影（蝶）とのインタラクション／【右上】【下】人や物の影に目や口が現れるといった、普通ならあり得ない影をつくり出すこともできます

▲マジックシャドウの紹介映像

・活用事例

影絵などに代表されるように、影はアート作品としてもしばしば用いられます。マジックシャドウについても新しいアート作品の創出を試みました。ここでは2つの試みを紹介します。ひとつは、いけばな龍生派と共にいけばなとマジックシャドウを組み合わせた「いけばな影絵」を制作した試みです［5］。この作品では、大きないけばなにプロジェクタで光を当てて、いけばなの背後に影を映しました。このとき、実際にはいるはずのない小鳥の影も一緒に映し、いけばなの影の枝から枝へ飛び回る表現を加えました。そこに人の影が立ち入ると小鳥の影が驚いて枝から飛び立ったり、逆に人の影に止まったりします。いけばな影絵は2016年4月に東京で開催された龍生派130周年記念展「RYUSEI IKEBANA JAPAN」で披露し、いけばなとその影絵を楽しむ新しいいけばなであるとして、龍生派家元をはじめとする多くの人に高く評価されました。

▲「RYUSEI IKEBANA JAPAN」での展示風景

©龍生派

もうひとつは、不思議なスケッチブックと同じく「スヌーピー・ファンタレーション」で展示した試みです。ここでは壁に自分の影を映すと、ウッドストックの影絵が自分の影に寄ってきて止まり、ハートマークがたくさん現れます。このハートマークは自身の影でインタラクションすることができます。また、スヌーピーのぬいぐるみの影に自分の手の影で触ると、やはり大きなハートマークが現れます。このコンテンツも来場者、特に若い女性に非常に人気があり、影絵になった自分自身を写真やビデオに撮影してSNSなどに投稿する様子が数多く見られました。

▲「スヌーピー・ファンタレーション」での展示風景。いずれの来場者も、自身の影を用いたCGとのインタラクションを楽しんでくださいました

・今後の展望

現在のマジックシャドウはアートやエンターテインメント分野に活用されていますが、今後はデジタルサイネージなど、より実用的な分野への展開も考えています。

・参考文献

［1］林崎妃呂子, 伊藤玲, 近藤桃子, 杉浦沙弥, 大葉有香, 水野慎士, "実物の影による仮想の影とのインタラクション手法の提案", EC2015, pp. 40-45, 2015.
［2］H.Xu, I.Kanaya, S.Hiura., K.Sato, "User interface by Real and Artificial shadow", SIGGRAPH 2006, posters, 2006.
［3］Sweets by NAKED, youtu.be/FUI_Omon1Cc
［4］H. Iwasaki, M. Kondo, R. Ito, S. Sugiura, Y. Oba, S. Mizuno, "Interaction with Virtual Shadow through Real Shadow using Two Projectors", SIGGRAPH 2016 Posters, 2016.
［5］岩崎妃呂子, 水野慎士, 秋葉陽児, "いけばなとCGによるインタラクティブデジタルコンテンツ"デジタル枯山水"と"いけばな影絵"", 情報処理学会論文誌・デジタルコンテンツ, Vol.5, No.1, pp.1-7, 2017.