記事の目次

    本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第6回では、「メディアの力で未来を楽しく」をモットーに、デジタルメディアの研究を行う北陸先端科学技術大学院大学の宮田一乘教授に自身の研究室について語っていただいた。

    ※本記事は月刊『CGWORLD + digital video』vol. 245（2019年1月号）掲載の「ACADEMIC meets INDUSTRY 北陸先端科学技術大学院大学 先端科学技術研究科 宮田研究室」を再編集したものです。

    TEXT＿宮田一乘 / Kazunori Miyata（北陸先端科学技術大学院大学）
    EDIT＿尾形美幸 / Miyuki Ogata（CGWORLD）
    取材協力＿芸術科学会

    フラクタルに興味を覚え、東京工業大学の門を叩く

    北陸先端科学技術大学院大学の宮田一乘です。本連載の2回目に掲載された伊藤先生と同じ外資系企業の研究所に1986年から勤務し、1998年から4年間の芸術系大学勤務を経て、2002年からは現所属にて教員をしております。本学は霊峰白山麓のふもとの自然豊かな場所に位置しており、金沢駅から電車を乗り継いで1時間弱、小松空港からはバスで50分程度で到着します。

    • 宮田一乘
       北陸先端科学技術大学院大学 先端科学技術研究科 教授
      博士（工学）
      専門分野：ＣＧ、メディアアート、デジタル映像、マルチメディアアプリケーション
      www.jaist.ac.jp/~miyata/LabHP/


    私の実家は、かつて駅前の商店街で商売を営んでいて、斜め向かいが映画館でした。近所のよしみで、毎シーズン特撮映画をタダで観せてもらいました。私の幼少期は、TV番組も特撮最盛期であり、すっかり特撮映像の虜になりました。高校生になると、インベーダーゲームがブームになりました。それと同時期にワンボードマイコンが発売され、3年次に友人に誘われてTK-80でプログラミングの勉強をしたことが、ふり返ってみるとCGの世界に入り込んだきっかけのように思います。

    大学入学と同時にApple IIを買い、プログラムで図形をTVに表示する（専用モニタは非常に高価だったので、RFモジュレータを介してTVに接続する）ことに、非常に興奮したのを思い出します。それまでは単に放送される映像を見るだけだったTVに、自分が命令した図形を出力できるようになったことで、一種の特殊能力を身に付けたような感触を得ました。

    大学4年次には、応用物理学科に在籍する身でありながら、図学の研究室に入りました。 そこで「数学と美術の接点」とかいう外国人の講演を聞き、フラクタルに興味を覚えました。より深くCGの研究がしたくなり、CGの著名な先生（安居院 猛先生、中嶋正之先生）がいらっしゃる東京工業大学の門を叩き、修士課程に入学しました。ちょうどCGの研究が注目を浴び始めた時代でしたが、現在のようなライブラリや開発ツールは存在せず、自前でブレゼンハムのアルゴリズムや、三角形のラスタライザなどを実装するところから手がけました。

    大学院では、興味のあったフラクタルを研究し、初めて山の形状をCGで作成できたときには、Apple IIで味わった以上の感動を覚えました。これらの強烈な経験が、その後の私の人生に多大な影響を与えています。

    CG技術を核としつつ、周辺分野の知見も取り入れる

    本学は、日本最初の「学部をもたない大学院大学」として1990年に開学しました。2016年には、全学融合体制によるイノベーション人材育成のために、これまでの3研究科を1つに統合し、先端科学技術研究科を新設しました。本学は日本各地から多様な学生を受け入れているのに加え、外国人留学生が4割程度を占めるため、国際色も極めて豊かです。研究科には9つの研究領域があります。

    私は、ヒューマンライフデザイン領域に属しており、優しく魅力的で調和した「生き方」や「社会」を創生することを目標に研究を進めています。文系・理系の区別なく、多種多様な学生が協働しながら学ぶことができるのが、本学および本研究室の特徴のひとつです。

    本研究室の2018年度の構成員は、博士前期課程20名（内3名は社会人）、博士後期課程4名（内2名は社会人）、研究生1名です。VRブームの影響からか、この2年間は本研究室を志望する学生が急増しています。

    本研究室では、「メディアの力で未来を楽しく」をモットーとし、Visual ComputingとFun Computing（筆者による造語です）の2つを柱に、 CG技術を核としつつ、周辺分野の知見も積極的に取り入れたデジタルメディアの研究を行なっています。Visual Computingは、主にCGや視覚情報処理の研究を、Fun Computingはデジタルメディアによる楽しみの創出の研究をしています。また、博士前期課程1年では、Fun Computingの研究としてIVRC（国際学生対抗ヴァーチャルリアリティコンテスト）への出展を目指したグループワークも行なっています。

    ▲宮田研究室で推進している、Visual Computingに関する研究事例の紹介映像


    主な対外発表の場は、国内では情報処理学会の各研究会、芸術科学会、映像情報メディア学会、日本VR学会、画像電子学会、国外ではSIGGRAPH、Eurographics、The Visual Computer、Computer Graphics Forumです。IVRCの出展作品は、国内ばかりでなく、国外で展示する機会も数回ありました。また、学生CGコンテストで受賞した作品もあります。

    学術的なデモ展示以外に、知の還元を目的とした社会貢献の一環として、自治体などのイベントにも積極的に参加しています。2018年3月と2019年1月には、一般社団法人サルーテと一緒に、オペラの舞台をプロジェクションマッピングを用いて演出しました。また2018年からは、金沢市役所主催のDigital Art Night Kanazawaにて、インタラクティブな映像作品数点を金沢21世紀美術館で展示しています。特にオペラの方は、普段あまり足を運ばない子供たちがたくさん観に来て、とても喜んでくれたようです。

    本研究室では、論文発表だけで満足せず、社会実装を常に見据えた研究テーマを、学生との話し合いの中で見つけるようにしています。学生の就職先は製造業やビデオゲーム制作会社、インターネットサービス産業など多岐にわたっており、大学の教員になっている卒業生も3名います。以降では、Visual ComputingとFun Computingに関する研究の具体的な事例を紹介します。


    次ページ：
    「メディアの力で未来を楽しく」をモットーとする
    デジタルメディアの研究

    [[SplitPage]]

    Visual Computing 〜CGや視覚情報処理の研究〜

    Visual Computingでは、プロシージャルモデリング、質感表現、アニメーション、画像処理などの研究を進めています。また、コンテンツ制作支援技術や視覚感性情報処理などにも取り組んでいます。

    プロシージャルモデリングに関しては、手作業での制作に多大な時間を要する大量の幾何形状をプロシージャルに生成することで、制作支援を目指す研究を行なっています。本稿で紹介する研究事例では、ユーザーがほしい形状や模様の概略を手動で指定すると、細部が自動生成される手法を提案しています。

    ▲手作業での制作に多大な時間を要する大量の幾何形状をプロシージャルに生成することで、制作支援を目指した研究事例です。【左】任意の構成要素を指定した形状に凝集させたモデル／【右】3D歯車集合体モデル。歯車をひとつ回転させると、全ての歯車が互いにかみ合い回転する状態にあります


    ▲【左】大規模工場の景観シミュレーション／【右】加賀友禅のデザイン支援


    質感表現に関しては、漆工芸品のビジュアルシミュレーションの研究などを行なっています。アニメーションに関しては、複雑な軌跡を描くミサイルの表現や、自由落下現象のリアルタイム生成の研究などを行なっています。

    ▲漆工芸に用いられる金箔、および漆の波長ごとの反射率の計測データを用いた素材表現の例。金箔は表面の微細なシワによって質感が大きく左右されるため、レーザー変位測定器で実際の金箔を測定した結果を基に、金箔のシワの凹凸を表現しています


    視覚感性情報処理に関しては、カラーパレットの評価モデルを機械学習させ、与えられたパレットの色調に合う追加色を提案する配色支援の研究や、フォント特徴量を対話型遺伝的アルゴリズムと類似検索に適用することで、効率的なフォント検索を支援する研究などを行なっています。

    ▲本研究では、大規模なカラーパレットの評価データセットを用いて、カラーパレットの評価モデルを機械学習させ、未知のパレットに対しても美的評価が可能な予測モデルを構築しています。さらに与えられたパレットの色調に合う追加色を提案することで、配色支援を目指しています


    以上のように本研究室では、映像制作の支援技術や、産業界での実利用に直結するテーマを中心に研究を進めています。

    Fun Computing 〜デジタルメディアによる楽しみの創出の研究〜

    Fun Computingとは、人を楽しませるためのメディア技術の応用法を意味する造語です。Fun Computingは、エンターテインメント分野のみならず、身体トレーニングやリハビリテーションなど、活動への動機付けが必要とされるほかの分野も研究対象に含んでいます。例えば本稿で紹介する「Spider Hero」「風景バーテンダー」「積み木キャッスル」などの研究事例は、様々な分野での活用を視野に入れています。

    ▲CGで構築した都市空間を、スパイダーマンのようにクモの糸を使って自由に飛び回ることができるVRアプリケーションです。本アプリケーションでは、張力提示システムを用いて、クモの糸で引っ張られる感覚を体験者に与え、スパイダーマンがもつ超人的な能力を使用する楽しさを提供しています。これにより、幅広い年齢層の人が楽しみながら身体を動かすことを可能にしました


    ▲カクテルのアナロジーを用いて、岩や樹木、水などの風景の要素を材料とし、それらをシェーカーで振り混ぜることで風景のCGを制作します。風景CGはシェーカーを振ることでリアルタイムに変化するため、体験者は風景画像を制作している感覚を味わうことができます

    人が生み出してきた価値を活かし、新たな価値を生み出す

    CG技術はすでに生活の中に深く浸透している基幹技術でもあるため、遍在する表現技術、インターフェイス技術としてさらに発展していくことでしょう。今後は、ごく当たり前のものとして使われている技術を、どのような場面に応用し、人々の生活にどのように貢献していくかを考え抜くことが重要であると捉えています。

    本研究室では、技術偏重の教育ではなく、「人」の役に立つにはどうすればいいのか、どのような問題があり、どのように解決するのか、といった知識創造を重視した教育を目指しています。技術そのものを学ぶこと以上に、人が生み出してきた価値を活かし、新たな価値を生み出すための学びの場の提供に注力していきたいです。


    次ページ：
    人間の視覚特性を情報ハイディングに応用した
    Magic Sheets

    [[SplitPage]]

    RESEARCH 1：Magic Sheets

    ・研究目的

    本研究では、人間の視覚特性を情報ハイディング（ある情報の中に、それとは異なる情報を埋め込む技術）に応用し、視覚復号型暗号（秘密分散法）のためのパターン生成手法を提案しました［1］。情報ハイディングというセキュリティ技術にSense of Wonderのようなエンターテインメント性を付加することで、一般の人々にも親しみやすい技術を提供することを目的としています。


    ・関連研究

    CG分野においては、人間の視覚特性を利用した画像生成手法（Hybrid images）［2］などが提案されていますが、エンターテインメント性や芸術性を指向しているものが多く、情報ハイディングへの応用を示唆したものはThe magic lens［3］などごくわずかです。一方、視覚復号型秘密分散法としてはVisual cryptography［4］が有名ですが、これはノイズのように見える絵（シェア）を重ね合わせることで意味のある絵が表示される方法で、符号化したシェアは意味があるものには見えません。

    2値画像に対する視覚復号型秘密分散法では、符号化のパターンは2×2の画素のうち、2点を黒にする6パターンの組み合わせがあります（簡略化のため下の概略図ではその一部を示しています）。既存手法では、6パターンをランダムに選択するため、ノイズのように見えるシェアになります。

    ▲説明のためハートマークを描いていますが、実際のシェア1とシェア2は、いずれもノイズ（砂嵐）のような絵にしか見えません。しかし白く復号される部分と黒く復号される部分で画素の割り当てがちがうため、シェア1とシェア2を重ね合わせると秘密画像（意味のある絵）が復号されます


    ・本手法の概要

    本研究の提案手法の特長は、以下の5点です。

    【1】ノイズのようなパターンだけでなく、意味のあるパターンのシェアに分割できる
    【2】重ね合わせるシェアが変わると、復号される秘密画像も変わる「共通のシェア」を制作できる
    【3】2つのシェアを実際に透明シートに印刷し、物理的に重ね合わせて復号できる
    【4】2値画像だけでなく、グレースケール画像やカラー画像にも適用できる
    【5】シェアの画質（美的品質）の最適化を行なっている

    いくつかの特徴をもつ手法は既存研究の中にもありますが、全ての特徴を有するのは本研究のみです。本研究では、シェアの数に応じて可能な符号化パターンの組み合わせを全て事前計算しておきます。この計算にかかる時間は、ノートPCを使った場合であってもミリ秒程度です。次に、入力されたシェアとなる画像の各画素に対して、事前計算した組み合わせの中から制約を満たすパターンをランダムに選び、出力されるシェアに割り当てます。

    さらにシェアの画質を向上させるため、ランダムに選んだパターンの代わりに、画質を向上させつつも復号結果を変えない符号化パターンを割り当てることで最適化を行います。生成パターンは、構造項とコヒーレンス項をそれぞれ計算し、その重み付け和を最小化することで最適化します。構造項は、トーンおよび構造の類似度で求めます。コヒーレンス項は、テクスチャのない領域でのノイズ平滑化を行います。

    Ostromoukhovの誤差拡散法などを用いて画像をハーフトーン化することで、本研究の提案手法をグレースケール画像やカラー画像にも適用できます。下図では3つのカラー画像のシェアから2つの秘密画像を復号した結果を示していますが、本研究の提案手法は3つ以上のシェアにも対応しています。そのため、4つのシェアと1つの共通のシェアから、4つの秘密画像を復号するといった拡張も可能です。また、生成されたシェアを一般的なプリンタで透明シートに印刷し、単に重ね合わせるだけで秘密画像を復号できます。

    ▲本手法をカラー画像に適用し、生成されたシェアと秘密画像。上段の【A】〜【C】がシェアにあたり、中央の【B】が共通のシェアとなっています。【A】と【B】を重ね合わせることで【D】の秘密画像、【B】と【C】を重ね合わせることで【E】の秘密画像が復号されます。すなわち、共通のシェアが複数の秘密画像を復号するための「鍵」の役割を果たしています


    ▲【A】と【B】は、本手法を用いて生成されたシェアをプリンタで透明シートに印刷し、それを写真撮影したものです。【C】は、【A】と【B】を重ね合わせて復号された秘密画像を写真撮影したものです。この事例では、アンリ・マティスの作品2枚を重ね合わせると、秘密画像であるマティスの署名が復号されます。このように、本手法はクイズに応用することも可能です


    ・今後の展望

    現状では、生成した画像のコントラストが低いため、これを高くする必要があると考えています。また、パターンの最適化には単純なアルゴリズムを用いているため、計算コストがかかっています。さらに、本手法は情報ハイディングへのエンターテインメント性の付加が主たる目的だったため、セキュリティ面に重点を置いていません。将来はセキュリティ面についても定量的に分析することが重要であると考えています。


    ・参考文献

    ［1］N. Kita, K. Miyata， "Magic sheets: Visual cryptography with common shares"， Computational Visual Media, 4, 2, pp.185-195, 2018.
    ［2］A.Oliva, A. B. Torralba, and P. G. Schyns, "Hybrid images", ACM Transactions on Graphics., 25, 3, pp.527-532, 2006.
    ［3］Papas, M., Houit, T., Nowrouzezahrai, D., Gross, M., and Jarosz, W., "The magic lens: Refractive steganography", ACM Trans. Graph. （Proc. SIGGRAPH Asia）31, 6, 186:1-186:10., 2012.
    ［4］M. Noar, and A. Shamir, "Visual cryptography", Advance in Cryptology-Eurocrypt' 94, LNCS950, pp.1-12, Springer-Verlag, 1994.


    次ページ：
    単純な積み木が複雑なCGへと変化する
    積み木キャッスル

    [[SplitPage]]

    RESEARCH 2：積み木キャッスル

    ・研究目的

    本研究では、子供の創造力や認知力の向上に有効であるとされている積み木を題材としたインタラクティブなおもちゃを提案しました［１］。本研究の体験者は、現実世界で積み上げた積み木が、CGで演出された世界で、装飾を施した城へとダイナミックに変化する様子を楽しむことができます。単純な積み木が複雑なCGへと変化する様子は、遊びに対するモチベーションを高めることにつながると考えました。


    ・関連研究

    遊びの体験を拡張する研究は、これまでにも報告されています。AR技術をコマ遊びに適用したEnhanced interaction with physical toysでは、ビデオゲームの要素を加えることで豊かなインタラクティブ体験を提供でき、コマの動きの観察が、物理現象の理解の支援にもつながるとされています［2］。またRope Plusでは、小型のフォースフィードバック機構に操作用ロープを接続したタンジブルインターフェイスを介し、縄跳びや凧揚げなどのロープを用いた身体運動を伴う遊びを遠隔地間で楽しめます［3］。


    ・本システムの概要

    本システムには、内部を5×5の縦長の升目に分割した透明アクリル製のケースが設置されており、体験者は4種類の異なる形状の積み木ブロックをケース内に自由に落とし入れ、任意の形状へと積み上げていきます。ケース内に積み木ブロックが落ちると、ケース底面に設置した照明システムが積み木ブロックを照らし出し、CGの仮想世界にも、現実世界と同じ形状、同じ配置の積み木ブロックが出現します。さらに仮想世界の積み木ブロックは、リアルタイムにCGの城を構成するパーツへと変換されます。

    ▲本システムは、インターフェイスモジュール、センシングモジュール、シーン生成モジュールで構成されています。インターフェイスモジュールは体験者が積み木ブロックを積み上げる部分で、透明アクリル製のケース（図内【a】）と2台のプロジェクタを設置したテーブルで構成されています。ケース内は5×5の縦長の升目に分割してあり、各升目の中に積み木ブロックを積み上げていきます。また、積み木ブロックを落とし入れるたびに、プロジェクタと鏡を使った照明システムがケース底面から動的に積み木ブロックを照らし出します。なお、積み木ブロックは種類によって重さが異なります。センシングモジュールは、レーザーアレイ（図内b）とデジタルスケール（図内c）で構成されています。前者は積み木ブロックが積まれた位置を検出し、現実世界と仮想世界の位置情報を合致させます。後者は積み木ブロックの重さを測ることで、積み木ブロックの種類を検出します。シーン生成モジュールは、Unityを用いてCGの城と周りの風景をリアルタイムに生成します


    以上の過程を経て、体験者は、単純な形状の積み木ブロックを積み上げるという現実世界の遊びを、仮想世界でCGの城を構築する遊びへと拡張することができます。ただし、一度落とし入れた積み木ブロックは体験終了まで取り出せないため、自分の望む城を創造するには、積み木ブロックをどう配置すれば良いか注意深く考える必要があります。無作為に積み木ブロックを配置すると、城の基盤となるパーツが屋根の上に出現したりして、奇妙な城が生成されることになります。

    城をつくり終えたら、あらかじめ用意された風景パターンの中から任意の風景を選び、好きな角度から自分が制作した作品を鑑賞できます。また、積み上げたお城を崩す爆破機能もあり、創造する楽しみと、破壊の爽快感の両方を味わえます。

    本研究における体験をデザインする上では、体験者が違和感なく直感的に楽しめることを一番重視しました。そのために、現実世界の積み木ブロックが、CGの城へと変換されるタイミングに留意しています。本研究のシステムでは、ケースを仮想世界の入り口とみなし、体験者がケース内に積み木ブロックを落とし入れるタイミングで、CGの城が出現するようにしました。

    ▲【左】インターフェイスモジュール。ケースの外寸は250mm角×高さ350mmで、間仕切りの間隔は35mm角です／【右】積み木ブロックを落とし入れるタイミングで、CGの城が出現します


    ▲【左】フランスで開催されたLaval Virtual 2013にて、本システムを体験する来場者の様子。アンケートに回答してくれた70名全員が、「本システムは楽しかったか」という質問に対し「楽しかった」と答えました。一方で「イメージ通りの城ができたか」という質問に対しては、約6割が「いいえ」と答えました。イメージ通りにできないことが、再挑戦の動機になっているように見受けられました／【右】本システムによって生成されたCGの城と周りの風景。センシングモジュールから送られた文字列のシリアルデータをUnityで読みとり、ケースのセルに対応する5×5の配列に格納し、CGの城を構成するパーツへと変換します


    ▲積み木キャッスルの紹介映像


    ・今後の展望

    体験者が実際に遊ぶ様子を観察したところ、未就学児は、ケースに積み木ブロックを落とし入れること自体に夢中になり、でたらめに積み木ブロックを積み上げて楽しんでいる事例が多く見られました。それとは対照的に、小学生以上の子供は、自分の望む城を創造するため、積み木ブロックをケース内にどう落とし入れるかを吟味し、表示されるCGの城を常に確認している事例が多く見られました。

    本システムではケース内の間仕切りによる物理的な制約から、どのように積み木ブロックを積んでもバランスが崩れて崩壊することはありません。この点は、現実空間での積み木遊びとの決定的なちがいであり、楽しみながらも物理現象を自然に学べるという設計にはいたっていません。一方で、一度積み上げたブロックを再配置できないという欠点は、パズル的な要素を含んでおり、構造物を計画的につくり上げるプロセスを楽しむことができます。

    今後は、子供の創造力をさらにかきたてるため、例えば下方に空間がある橋のようなパーツの積み上げも可能にするなど、遊びのバリエーションを増やしていきたいと考えています。

    ・参考文献

    ［1］J. Nagai, T. Numano, T. Higashi, M. Tessier, K. Miyata, "TSUMIKI CASTLE: Interactive VR System Using Toy Blocks"， Proc. of VRIC2013, #26, pp.1-7, 2013.
    ［2］Yasushi, M., Toshiki, S., and Hideki, K.， "Enhanced interaction with physical toys"， Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces, pp.57-60, 2011.
    ［3］Yao, L., Dasgupta, S., Cheng, N., Spingarn, J., Rudakevych, P., Ishii, H., "Rope Plus -bridging distances with social and kinesthetic rope games", CHI 2011 Extended Abstracts, pp.223-232, 2011.



    info.

    • 月刊CGWORLD + digital video vol.245（2019年1月号）
      第1特集：このアニメ、新感覚！
      第2特集：デジタルアートで世界を描く

      定価：1,540円（税込）
      判型：A4ワイド
      総ページ数：144
      発売日：2018年12月10日
      cgworld.jp/magazine/cgw245.html