ACADEMIC meets INDUSTRY:No.004：愛知工業大学情報科学部水野研究室 | 連載

RESEARCH 2：マジックシャドウ

・研究概要と関連研究

「マジックシャドウ」も不思議なスケッチブックと同様、日常の中にある道具や物をいつも通りに使いながらデジタル空間とのインタラクションを実現することを目指しており、よりアート要素が強いものになっています。マジックシャドウはその名の通り、人や物に光を当てることで生じる影を通じてCGとのインタラクションを楽しむコンテンツです［1］。

影を用いたインタラクションはこれまでにもいくつか提案されていますが、手先だけを対象としたり［2］、Kinectなどで人の動きを収録して影絵風に表示したり［3］するものが大部分でした。それに対して、マジックシャドウは人や物に光を当てることで生じる実際の影を使い、様々なインタラクションを行うことが可能です。このとき、何から生じる影かによって、インタラクションの種類が変化します。

・処理手順の概要

マジックシャドウでは人や物にプロジェクタで光を当てて壁面に影をつくっており、この影の位置の取得のために3次元情報に基づく影のシミュレーションを行います。プロジェクタの直上にはKinectを設置しており、影をつくる人や物の3次元情報を取得します。そしてプロジェクタの位置、壁面の位置、人や物の3次元情報を基に、CG空間内に実空間と同じシーンを再現し、壁面上に生じる影をリアルタイムシミュレーションします。さらにCG空間内にCG物体も配置し、人や物の3次元情報との接触判定に基づいて動かすことで影絵風CG映像を生成します。それを別のプロジェクタから投影することで、実際の影がCGの影とインタラクションしているような表現が可能となります。このとき人や物の3次元情報はKinectで得られる骨格情報や色情報を用いて識別できるため、影の種類によってインタラクションを変化させることもできます。

影の位置と種類を基に、超短焦点プロジェクタなどを用いて特定の影の内部に映像を投影することも可能です［4］。これにより、人の影に目や口が現れるといった普通ならあり得ない影をつくり出すこともできます。

▲空間の3次元スキャンに基づく影生成シミュレーションで影の位置を認識しながら、2つのプロジェクタで影絵風の映像や影内部への映像を投影します

▲【左上】実際の影（人物や鳥かご）と、CGの影（蝶）とのインタラクション／【右上】【下】人や物の影に目や口が現れるといった、普通ならあり得ない影をつくり出すこともできます

▲マジックシャドウの紹介映像

・活用事例

影絵などに代表されるように、影はアート作品としてもしばしば用いられます。マジックシャドウについても新しいアート作品の創出を試みました。ここでは2つの試みを紹介します。ひとつは、いけばな龍生派と共にいけばなとマジックシャドウを組み合わせた「いけばな影絵」を制作した試みです［5］。この作品では、大きないけばなにプロジェクタで光を当てて、いけばなの背後に影を映しました。このとき、実際にはいるはずのない小鳥の影も一緒に映し、いけばなの影の枝から枝へ飛び回る表現を加えました。そこに人の影が立ち入ると小鳥の影が驚いて枝から飛び立ったり、逆に人の影に止まったりします。いけばな影絵は2016年4月に東京で開催された龍生派130周年記念展「RYUSEI IKEBANA JAPAN」で披露し、いけばなとその影絵を楽しむ新しいいけばなであるとして、龍生派家元をはじめとする多くの人に高く評価されました。

▲「RYUSEI IKEBANA JAPAN」での展示風景

©龍生派

もうひとつは、不思議なスケッチブックと同じく「スヌーピー・ファンタレーション」で展示した試みです。ここでは壁に自分の影を映すと、ウッドストックの影絵が自分の影に寄ってきて止まり、ハートマークがたくさん現れます。このハートマークは自身の影でインタラクションすることができます。また、スヌーピーのぬいぐるみの影に自分の手の影で触ると、やはり大きなハートマークが現れます。このコンテンツも来場者、特に若い女性に非常に人気があり、影絵になった自分自身を写真やビデオに撮影してSNSなどに投稿する様子が数多く見られました。

▲「スヌーピー・ファンタレーション」での展示風景。いずれの来場者も、自身の影を用いたCGとのインタラクションを楽しんでくださいました

・今後の展望

現在のマジックシャドウはアートやエンターテインメント分野に活用されていますが、今後はデジタルサイネージなど、より実用的な分野への展開も考えています。

・参考文献

［1］林崎妃呂子, 伊藤玲, 近藤桃子, 杉浦沙弥, 大葉有香, 水野慎士, "実物の影による仮想の影とのインタラクション手法の提案", EC2015, pp. 40-45, 2015.
［2］H.Xu, I.Kanaya, S.Hiura., K.Sato, "User interface by Real and Artificial shadow", SIGGRAPH 2006, posters, 2006.
［3］Sweets by NAKED, youtu.be/FUI_Omon1Cc
［4］H. Iwasaki, M. Kondo, R. Ito, S. Sugiura, Y. Oba, S. Mizuno, "Interaction with Virtual Shadow through Real Shadow using Two Projectors", SIGGRAPH 2016 Posters, 2016.
［5］岩崎妃呂子, 水野慎士, 秋葉陽児, "いけばなとCGによるインタラクティブデジタルコンテンツ"デジタル枯山水"と"いけばな影絵"", 情報処理学会論文誌・デジタルコンテンツ, Vol.5, No.1, pp.1-7, 2017.