RESEARCH 1：不思議なスケッチブック
・研究概要と関連研究
日常の中にある道具や物をいつも通りに使いながら、デジタル空間とのインタラクションを実現する手法を開発することは、本研究室の大きな研究テーマのひとつです。紙とペンによるお絵描きに着目した本研究も、このテーマに即しています。お絵描きは小さな子供から年配者まで誰でも気軽に楽しめる、最も身近な芸術のひとつです。そこでCG制作をより多くの人が楽しめるようにすることを目的として、紙にペンでお絵描きするだけで3DCGの生成とインタラクションを実現する「不思議なスケッチブック」の開発を行なってきました［1］。
関連する研究としては、五十嵐 健夫氏らによるTeddyがあります［2］。この研究では2次元のスケッチを描くだけで3DCGをリアルタイムに生成することを実現しており、当時としては画期的な手法でした。TeddyがPCやタブレットなどの画面に絵を描くのに対して、不思議なスケッチブックでは普通の紙とペンでお絵描きしながら、3DCGをリアルタイムに生成できます。さらにスケッチブックを揺らしたり触ったりすることによって、生成した3DCGとのインタラクションも可能となっています。紙とペンを使った3DCG生成は、チームラボによるお絵描き水族館などもよく知られています［3］。ただしお絵描き水族館が基本的には塗り絵であるのに対して、不思議なスケッチブックでは自由にお絵描きをしながら3DCGを生成することが可能です。
・処理手順の概要
お絵描き中のスケッチブックをビデオカメラで撮影しながら画像処理技術を用いて絵を分析することで、絵に応じた3DCGをリアルタイムに生成したり、インタラクションしたりするというのが不思議なスケッチブックの基本的な原理です。絵の分析においては、当初は色に基づく領域分割、各領域の大きさや形状の分析、スケッチブックの動きの取得などを行なっていました。分析後は、色によって分割された領域ごとに、色ごとに決められた形状規則に基づき、3DCG物体を生成していきます。このとき絵の領域形状は、3DCG物体の形状に関するパラメータとして用います。
生成された3DCG物体はスケッチブックの動きの方向や大きさに基づいてバネのように変形します。また、手で絵に触れると色による領域分割結果が変化するため、3DCG物体も変形します。一連の処理の結果、スケッチブックを揺すったり絵に触れたりすることによる、3DCGとのインタラクションが可能となります。
▲【左上】お絵描き中のスケッチブックをビデオカメラで撮影／【右上】【左下】色ごとに決められた形状規則に基づき、3DCG物体をリアルタイムに生成／【右下】手で絵に触れると色による領域分割結果が変化するため、3DCG物体も変形します
・活用事例
不思議なスケッチブックは子供たちから非常に好評で、ワークショップコレクション10（2014年）、小田急百貨店イベント（2015年）、東海テレビこどもまつり（2016年）、鯖江市文化の館イベント（2017年）など、各地の子供向けワークショップやイベントに出展してきました。そして、そこでの子供たちの意見を反映し、輪郭線に基づく領域分割を行い3DCG化する機能を追加した、拡張版不思議なスケッチブックも開発しました［4］。
▲【左】輪郭線を描いた絵／【右】拡張版不思議なスケッチブックでは、輪郭線に基づく領域分割を行い3DCG化する機能を追加しました
▲拡張版不思議なスケッチブックの紹介映像
2018年には、スヌーピーとサイエンスがコラボレーションした「スヌーピー・ファンタレーション」というアート展に拡張版不思議なスケッチブックが展示されることになりました。本展では来場者が台紙に自由にお絵描きをして、出来上がった絵をカメラの前に置くと、その場で3DCGに変換されると共に、ほかの人の作品と並べてスクリーンに投影されるという展示方法を用いました。東京・大阪・広島・名古屋での開催で、合わせて25,000人以上の人がお絵描きによる3DCG制作を楽しみました。
▲「スヌーピー・ファンタレーション」では来場者の描いた絵【左】をリアルタイムに3DCG化【右】
▲スクリーンに表示された3DCGを撮影する来場者
▲名古屋で開催された「スヌーピー・ファンタレーション」の展示風景
© 2019 Peanuts Worldwide LLC www.snoopy.co.jp
・今後の展望
現在のシステムでは絵の分析に古典的な方法を採用していますが、リアルタイム性やインタラクション性を確保しつつ機械学習などのより高度な方法も取り入れ、子供たちを含むより多くの人々に楽しんでいただけるよう、不思議なスケッチブックのさらなる拡張を目指していきます。
・参考文献
［1］N.Kondo, S.Goto, S.Mizuno, "Amazing Sketchbook: extended drawing on a sketchbook using 3DCG", SIGGRAPH 2013 Posters, 2013.
［2］T. Igarashi, S.Matsuoka, H.Tanaka, "Teddy: A Sketching Interface for 3D Freeform Design" SIGGRAPH'99, pp.409-416, 1999.
［3］チームラボ, "お絵描き水族館", www.teamlab.art/jp/w/aquarium
［4］S.Mizuno, K.Funahashi, "Amazing Sketchbook Advance", SIGGRAPH 2017 Posters, 2017.
