本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第9回では、CG・VRアプリケーション、Webシステムなどのプログラミングを専門とし、幅広いメディア応用研究を展開する中京大学の宮崎慎也教授に自身の研究室について語っていただいた。
※本記事は月刊『CGWORLD + digital video』vol. 249（2019年5月号）掲載の「ACADEMIC meets INDUSTRY 中京大学 工学部 メディア工学科 宮崎研究室」を再編集したものです。
TEXT＿宮崎慎也 / Shinya Miyazaki（中京大学）
EDIT＿尾形美幸 / Miyuki Ogata（CGWORLD）
取材協力＿芸術科学会
情報技術の黎明期を駆け抜けた世代
中京大学の宮崎慎也です。1994年に名古屋大学大学院の工学研究科 情報工学専攻を単位取得満期退学しつつ、その1年前の1993年から現在にいたるまで、ずっと中京大学の教員として勤務してきました。海外留学の経験もなく学者としては一見つまらない人生のようですが、自分ではそれなりに積極的に生きてきたつもりです。
また、私は現在つきあいのある学者の間でも変わり者だと思われているようですが、おおむね当たっています。理数系はそれなりに自信はあるのですが、暗記科目は極めて不得意。英会話も30歳から始めてまだビギナーレベル。年齢的にすでに柔軟性のなくなった英語耳を趣味の洋楽で養いつつ、海外の学者とも動物的勘で会話を成り立たせています。このように万能ではない人間ですが、その分興味のあることに対しては半端ない根気を発揮できます。
-
-
宮崎慎也
中京大学 工学部 メディア工学科 教授
博士（工学）
専門分野：CG・VRのアプリケーションプログラミング、Webシステムプログラミング、多層ニューラルネットを用いた情報集約
om.sist.chukyo-u.ac.jp
私の学生時代はちょうど世の中に個人向けのコンピュータが出回り始めた頃で、自分も興味をもち、自分で買えなくても大学に入れば使わせてもらえるだろうという、いささか不謹慎な理由で当時まだ少なかった情報系の学科に進みました。ちなみに名古屋大学の情報工学科は私が受験した年に新設されました。
われわれ世代の学者人生は、ひと言で表現すれば「情報技術の黎明期を駆け抜けた」と言える気がします。いろいろと挑戦してきましたが、次々と起こる技術革新によって、過去の努力や成果が同じ数くらい無意味なものになっていきました。
学生当時はPC（パソコン）といえばNEC一択だったのですが、そのうちEPSONから互換機が売り出され、少しでも安くとEPSONを購入しました。それでも（今ではレアな）ドットインパクトプリンタと合わせて40万円くらいだったと記憶しています。「貧乏学生がそんな高額な出費をしてけしからん」と今なら怒られそうですが、われわれ世代（いわゆるアラフォー）はどうもそういう時代を生きてきたようで、最初に手にした携帯電話も、通話しかできない物品に10万円近くを現金一括で支払ったのを憶えています。
そのうち、AppleのMacintoshが日本にも入ってきました。当時の研究室は、研究の内容よりもMacintoshのドロー系ソフトを使っていかに格好良い原稿やOHPシートをつくるかでヒートアップしていました。最初は大学ではMacintosh、自宅ではPCを使い、併用を試みたのですが、インフラ（OS）やアプリケーションがまったくちがうため無理がありました。学生が大枚をはたいたPCは瞬く間に無用の長物に成り果てたのでした。
インフラ（OS）やプログラミング言語が激しく移り変わった時代
学部時代は、肺のX線投影画像から病変部を抽出する画像処理を研究テーマにしていました。この頃は大型計算機センターにある高速な計算機を各研究室に置かれた端末から操作していましたが、今の人は想像できないほど不便な環境でした。操作するといっても、プログラムを組んで実行し（ジョブをながし）、紙に印字出力された処理結果をセンターまで取りに行く必要があったのです。「この計算機は●●FLOPSの性能をもち......」と、とにかく無茶苦茶高速なのだと力説されたのを憶えていますが、プログラムを修正するたびにセンターまで取りに行くのが無茶苦茶面倒でした。
大学院に入ると、画像処理の研究に行き詰まっていた私に、当時同じ研究室の博士課程に在籍されていた米倉達広先輩（現、茨城大学教授。前、同大学副学長。元、同大学工学部長）が「ニューラルネットの研究をやってみませんか？」と、声をかけてくださいました。その頃、現在のLinuxの前身であるUNIXのワークステーション（現在のPCが当たり前のようにもっているマルチユーザーログインや、マルチウインドウの機能を有する、当時のPCよりも高性能な計算機）が導入され、大型計算機の足かせが外れるということもあって一気にのめり込みました。
このあたりの時期まではインフラが激しく移り変わったものの、若かったから対応できたのではないかと思います。プログラミング言語も、大型計算機ではFORTRAN、インターンシップ先ではCOBOL、PCではBASICとPASCAL、ワークステーションではC言語と、多言語を学びました。PASCAL以降は言語の改良と言えますが、それ以前は本当につくり直しという感じで、勉強のやり直しでした。
インフラデノミに耐え、新しい目的に向かって挑み続ける
情報技術、とりわけソフトウェア技術はインフラ依存の技術なので、新しいインフラが登場して、それがデファクトスタンダードになってしまうと、研究の前提自体がガラリと変わってしまいます。これは研究者にとっては大変なことです。今までのインフラベースで蓄積してきた研究成果や研究資源が使えなくなって、その分野で仮にトップを走っていたとしても、全員仲良く再スタート、インフラデノミとも言える状況に追い込まれます。だからといって、明らかによりよいインフラが登場したにもかかわらず乗り移っていけないと、私が学生時代に買ったPCのようになってしまうのです。
例えば前述したように、私の学部時代の医用画像処理の対象はX線投影画像でした。しかし実際のX線投影画像は、医師でも経験者でなければ見落としそうなうっすらとした陰影しかなく、「病変以外の陰影もいっぱいあるし、病変が第一肋骨に重なったらアウトじゃん」と素人目にも感じました。体内の3次元情報が2次元に写像されてしまうX線投影画像自体に無理があったのです。そしてCTの登場により、X線投影画像を前提に研究者が努力するよりも、誰もが手軽にCTで診断してもらえるように、CTを安価に量産することの方が重要になってしまったわけです。
このように情報分野の研究者は、自分が生み出した成果がインフラデノミで無意味になっていくことに耐えていかなければなりません。実際には過去の努力が全て無になるわけではなく、経験値のようなものが蓄えられ、過去に培われた方法論や試みは新しいインフラにおいても必ず役に立ちます。新しい目的に向かって挑み、探求し、実践を続ける姿勢が大切だと思います。
伝統玩具、伝統工芸のモデリング
▲これらは本研究室の研究テーマのひとつです。【上】折り紙、【左下】あやとりなどの伝統玩具や、【右下】編み物などの伝統工芸がもつ複雑な構造をモデリングすることは、知能情報処理、高次情報処理と呼ばれる分野に含まれ、グラフ理論や人工知能の応用研究となります。例えば折り紙のモデリングでは、マウスで紙の頂点を選択・移動する操作に応じて、折り紙の頂点・辺・面の情報を格納するモデルデータをリアルタイムに更新します。紙は一度折られるたびに面や辺が2分割されるので、二分木リストというデータ構造を用いています。分割される辺や面では、分割前の状態を表す親ノードが枝分かれして、分割後を表す2つの子ノードが生成されます。折り方や面同士の重なり具合のタイプに合わせて、変更前のデータから変更後のデータを生成するアルゴリズムを適用します
次ページ：
異なる分野の専門家が協調し、幅広いメディア応用研究を展開
異なる分野の専門家が協調し、幅広いメディア応用研究を展開
中京大学は、西暦2000年に当時の情報科学部にメディア科学科を新設しました。「メディア」と名の付く学部や学科は今では当たり前となっていますが、当時はまだ数が少なく、「情報の媒体」という意味で使っていることを理解してもらうのに難儀する時代でした。学生のご父兄に「就職先はマスコミですか？」と尋ねられて、「可能性はないわけではないですけど......」と返答に困ったこともありました。なお本学部、および学科は、その後、工学部 メディア工学科として再編され、現在にいたります。
CG・VRのアプリケーションプログラミングを専門分野のひとつとする私も、この新学科への配属を命じられました。けれども幅広い応用が要求される学科の性質上「研究者にありがちな、専門分野以外はからっきしの人間が単独でやっていけば困難の連続だろう」という漠然とした予感が芽生えていました。そこで同僚の山田雅之教授と一緒に研究室を運営することを思いつきました。
私がCGから折り紙を対象とした研究テーマに行きついたのとは対照的に、山田先生は人工知能（AI）からあやとりを対象とした研究テーマに行きついており、最終的に同じ日本の伝統玩具に行きついたことに奇遇さを感じていました。また、異なる分野の専門家が協調することによって生まれる新たな可能性に期待していました。現在は当時学生だった中 貴俊先生を講師に迎え、新たにモバイルプログラミングもテリトリーに加えた幅広いメディア応用研究が展開できています。
情報技術の黎明期にはインフラ技術を開拓することに重点が置かれていましたが、今は新しいインフラが登場しても、勉強のやり直しのような事態に追い込まれることは少なくなり、インフラの導入も容易になってきました。こうなると技術自体には昔ほど価値が見出せなくなってきます。もちろん技術をイチから知り尽くしている人も必要ですが、そういう人は以前よりも少数でよく、技術の詳細はほかの専門家に任せ、その技術をいかに上手く利用できるかを考える専門家の需要が自然と高まってきています。
また、メディアという単語は、従来のインダストリアル分野に踏みとどまっていた研究者や技術者が脱皮し、クリエイティブな要素を兼ね備えるための進化を促す触媒として（ここでは）使われていたのではないでしょうか。芸術工学系の学部や学科、芸術科学会のような学会が起ち上げられたのも、そういった世の中の変化を反映した、トライアルの一面だったように思います。
学者人生とは「学生たちと共に生きる」こと
メディア技術を容易に利用できるようになると、学術研究のポイントにも変化が出てきます。万人から見て世の中の役に立ちそうなオーソドックスなテーマは試しつくされ、オリジナリティを出すのが難しくなってきます。そうなると新しい発想やアイデアが重要になってくるのですが、私たちのようなすでにある程度年をとってしまった人間には難しいため、学生の力が重要になってきます。奇抜なアイデアは、実現の可能性を考えてしまうと出てこないものですが、学生は突拍子もないことを言ってくれるので、それが研究の新規性につながるのです。本記事の4ページ目で紹介する『流鏑馬VR「馬の名は。」』はその好例です。
本研究室の大学院修了生の鈴木貴文さんは、在学当時、複数の食材が味に与える影響を構造化することを提案してきました。こういうアイデアは、それに興味をもつ人間からしか出てこないと思います。現在本研究室には教員3名が所属し、学部2年次〜4年次と大学院にわたって、60名程度の学生が所属しているため、本当にアイデアの宝庫だと思います。学者人生とは「学生たちと共に生きる」ことでもあるように感じます。
▲芸術科学会 初代会長の中島正之教授が在籍する、スウェーデンのウプサラ大学 キャンパスゴットランドで開催された国際会議への遠征時の様子。当時大学院生だった鈴木さんは、不慣れな英語を克服すべく出発前は緊張した面持ちでネイティブ相手に発表練習をしていましたが、異国の地で舞い上がっていたのか本番のプレゼンは元気がありすぎて会場の笑いを誘っていました。研究発表の準備は大変でしたが、同僚の教員や学生らとの旅は、その疲れを存分に癒してくれました
本研究室では、芸術科学会が主催するNICOGRAPHをはじめ、電子情報通信学会や情報処理学会などの情報系の国内学会にて、年数回の発表を行なっています。さらに、毎年1回程度のペースで、英語での国際会議にも投稿しています。学生には学会発表を強制していませんが、一度でも経験すると、専門性が向上しますし、自分に自信ももてるようになり、人間として大きく成長します。学生時代は、学業以外にもクラブやアルバイトなどで多忙でしょうが、学会発表もぜひ視野に入れていただきたいです。
[[SplitPage]]RESEARCH 1：自動車設計、スポーツ分野での応用研究
・自動車設計への応用
以降では、私が共同研究者や学生らと共に行なってきた自動車設計、およびスポーツ分野での応用研究をご紹介します。
近年、特にエンターテインメント分野におけるVRブームは凄まじいものがありますが、私が大学院生だった2000年頃にも第一次VRブームがありました。当時のVRデバイスは、現在のものと比較して、価格は10倍以上、性能は難ありの代物で、利用できる研究機関は限られていたと思います。
そんな状況下で、われわれは地元の自動車メーカーとの産学協同研究として、VRの自動車設計への応用［1］を試みました。両眼視差を用いたステレオ視では、表示物体の計算上の奥行き距離と、観測者が実際に知覚する奥行き距離との間にズレが生じることが知られています。このズレが大きいと、自動車設計などの際に立体視映像と実際の製品との間に印象の不一致が生じ、設計者の意図が製品に反映されないという問題が生じます。また、入力デバイスで表示物体を操作する場合の操作性にも影響します。
本研究では、観測者が知覚する奥行き距離の計測結果に基づき、ステレオ画像生成時の視野に関する3つの補正パラメータの最適値を求め、ズレを高精度で補正する機能の実現を目指しました。本研究を通して、当時のVRデバイスをひと通り扱えるノウハウが得られたことに加え、後述するVRアプリケーションプログラミングの研究の土台ができたことは、大きな収穫だったと感じています。
▲大型スクリーンに立体視投影された自動車の設計データ
▲奥行き知覚実験の概略図。立体表示される仮想物体の頂点を、実物体の指示棒で指し、その位置を計測します
・スポーツ動作分析への応用
本学は国内有数のスポーツ大学として周知されています。その上、本学科所属の長谷川純一教授、瀧 剛志教授の研究室は、スポーツ科学部と強いつながりがあるため、様々なスポーツ応用の共同研究の機会を与えていただきました。スポーツ動作分析の支援を目的とした人体センシング情報の可視化提示法［2］を研究した際には、その成果を活用し、スポーツ科学部の北川 薫教授（現、梅村学園学事顧問、全日本ボウリング協会会長）のグループと共に、科学番組の制作にも参加しました。
本研究では、ボウリング投球動作やゴルフスイング動作をする被験者の腕の各部に筋電圧計を取り付け、その動作と計測値を人体の3Dモデルへリアルタイムに適用することで、動作フォームの変化にともなう各筋の負荷状態の変化を視覚的かつ直感的に理解できるアニメーションの制作を試みました。その結果、例えばボウリング投球動作では、ボールをリリースする瞬間、プロボーラーは上腕の筋に力が入るのに対し、アマチュアは前腕の筋に力が入ることを、わかりやすいアニメーションで示すことができました。このデータを計測するため、同僚の山田先生、および学生2名と共に東京へ行き、昼間に取ったデータを、夜にホテルで分析したことは懐かしい思い出です。
▲ボウリング投球動作における、ボールをリリースする瞬間の腕の筋電圧の状態。力が入っている部分を赤色で示しており、プロボーラー（図内上）は上腕の筋、アマチュア（図内下）は前腕の筋に力が入っていることがわかります
▲【左】人体とボールの動きを時系列に可視化したもの／【右】6個の筋電圧計の計測値を時系列に表示したもの
研究が実を結ぶまでには、ある程度の期間持続して研究を続ける必要があります。研究と並行して教育も行わなければならない大学教員がそれを実践するためには、大学院生の存在が必要不可欠と言っても過言ではありません。当時長谷川・瀧研究室に所属していた稲葉 洋さん（現、松江工業高等専門学校 情報工学科 准教授）は、本研究のキーパーソンでした。
稲葉さんは、前述の人体センシング情報の可視化の研究に携わったのに加え、人体の柔軟組織の変形をともなう動作生成シミュレーション［3］の研究でも尽力してくれました。本研究では、骨、骨格筋、脂肪の3組織で構成された人体モデルを生成した後、骨格筋の収縮に基づく動作を生成する手法を提案し、そのプロトタイプシステムとして、下肢の筋の能動的な伸縮に基づく足の変形シミュレーションを実現しました。なお、本研究はスポーツだけでなく、医療やリハビリテーション分野での動作解析や評価への応用も視野に入れています。
▲骨、骨格筋、脂肪で構成された人体下肢モデル。筋の能動的な伸縮に基づき、膝が屈伸する動作を生成しています
・シミュレータ開発への応用
本学は各スポーツ界とも密接に関係しているため、ボブスレーの専門家との共同研究も行いました。スキーやボブスレーなどのウインタースポーツは、競技場の数、気候や天候などの影響により、実践的なトレーニングを十分に積むことができないという問題があります。そこでわれわれのグループは、イメージトレーニングのための新しい手段として、VR機器を利用したボブスレー滑走体感シミュレータ［4］を開発しました。本研究では、4面に設置した大型スクリーンと電動6自由度の動揺装置の併用によって、滑走時に選手にかかる大きな加速度を再現することを目指しました。
▲ボブスレーの機体にかかる力と滑走経路を物理シミュレーションで計算し、計算結果に基づいた動揺装置の動きを、その動作可能範囲内で誇張して生成しています
・参考文献
［1］吉田俊介, 宮崎慎也, 星野俊仁, 大関徹, 長谷川純一, 安田孝美, 横井茂樹：ステレオ視表示における高精度な奥行き距離補正の一手法, 日本バーチャルリアリティ学会論文誌, 5, 3, pp.1019-1026, 2000
［2］稲葉洋, 瀧剛志, 宮崎慎也, 長谷川純一, 肥田満裕, 山本英弘, 北川薫：スポーツ動作分析の支援を目的とした人体センシング情報の可視化提示法, 芸術科学会論文誌, Vol.2, No.3, pp.94-100, 2003, 芸術科学会論文賞受賞
［3］稲葉洋, 瀧剛志, 宮崎慎也, 長谷川純一, 鳥脇純一郎：弾性骨格筋モデルに基づく組織変形と人体動作生成シミュレーション：日本バーチャルリアリティ学会論文誌, 10, 4, pp.619-626, 2005
［4］荻野雅敏， 瀧剛志, 大塚勝也, 北島章雄, 宮崎慎也, 長谷川純一：ボブスレー競技のための体感型トレーニングシミュレータの構築, 日本バーチャルリアリティ学会論文誌, Vol.11, No.4, pp.469-478, 2006
RESEARCH 2：学生の奇抜なアイデアから生まれた「流鏑馬VR」
・研究はサーベイが一番大事
以降では、本学の学生たちの奇抜なアイデアから生まれた『流鏑馬VR「馬の名は。」』［1］というコンテンツの開発についてご紹介します。なお、本研究は6名の学生が共同で考え、学内の学生向けプロジェクトに応募し、自分たちで資金を獲得して成し遂げました。
私が学生の頃は「研究はサーベイ（調査）が一番大事なんだ」と先人からよく聞かされました。どんな研究をやるにせよ、まずは先行研究を調査し、未開拓の領域、新規性を打ち出せる領域を見出すことが不可欠というわけです。ごもっともな意見ではありますが、当時は「世界のどこかでやられていたとしても、マイナーな文献にしか載っていなかったら、調べようがないじゃないか」と内心で思っていました。
しかしインターネットが普及した今では、知りたくなくても簡単にわかってしまいます。例えば、流鏑馬（やぶさめ）を体感できるVRシミュレータの先行研究を調べたければ、検索サイトに「流鏑馬」「VR」というキーワードを入力するだけで簡単に目的の情報へたどり着けます。こういった情報を得てしまうと、私は「先行研究よりもすごいもの、もっと注目されるものをつくらなきゃ」と気負ってしまう傾向にありますが、学生たちはおかまいなしのようです。
・ジョーバとHTC Viveを併用
流鏑馬のVRシミュレータの先行研究には、奈良先端科学技術大学院大学の井村氏らのグループが開発したバーチャル流鏑馬［2］があります。バーチャル流鏑馬では、馬の代わりにロッキングチェアが使われていました。一方で、ハシラスが開発した『Hashilus Race』という乗馬レースを体感できるVRアトラクションでは、馬の代わりにパナソニックの健康器具の『ジョーバ』を利用しています。
いずれの事例も、視覚情報と体感ハードウェアを組み合わせることで、プレイヤーに高い没入感を与えることに成功しています。学生たちはこれら2つの事例にインスパイアされ、ジョーバとHTC Viveを併用した流鏑馬のVRシミュレータを制作することを思いつきました。
・ジョーバの制御方法
本研究では、ジョーバの制御回路とArduinoという基板を接続することで、PCからジョーバのON/OFFを制御しています。また、リレーシールドを使うことで、高電圧・高電流器具の扱いを可能にしました。HTC Viveに表示する映像はUnityで生成しており、UNIDUINOを使うことで、Unity上のスクリプトからのArduinoの制御を容易にしています。
▲【左】プラグインのUNIDUINOを使い、UnityからArduinoを制御。またリレーシールドを介し、Arduinoからジョーバの開始・終了・速度の変更信号のON/OFFを制御しています／【右】写真内の上がリレーシールド、下がArduino
弓はVRTK（VRデベロッパーのためのフリーオープンソースツール）に付属しているものを使用し、HTC Viveのコントローラのバイブレーション機能で弓を射る感覚を再現しました。
流鏑馬VRを開始すると、流鏑馬のフィールドシーンが移動しはじめ、ジョーバも動き出します。進行方向左側には、流鏑馬の的と、現在のスコアが表示され、両手に持ったコントローラで弓で矢を射る操作を実行できます。矢が的に上手く命中するとスコアが加算され、的中音がスピーカーから出力されます。
前述の通り、ジョーバはUnityで生成される馬の動きに同期するように制御しているのに加え、左右の足元に設置した手づくりの枕型のデバイスを両足で蹴る動作をすると、圧力センサがそれを感知し、ジョーバのスピードが一段上がるようにもなっています。デバイスの外側にはクッションがついており、プレイヤーが足で蹴ったときのジョーバ、およびプレイヤーへの衝撃を和らげる役割を果たしています。また安全上、デバイスを蹴らずに時間が経つと、自動的に一段階ずつ減速していくようにしてあります。
▲【左】VR空間内に表示された、流鏑馬のフィールドと弓矢／【右】流鏑馬VRを体験中のプレイヤー。両手にHTC Viveのコントローラを持ち、ジョーバに乗っています。弓で矢を射る操作はコントローラで行います。また、両足の内側には枕型のデバイスが設置してあり、これを両足で蹴る動作をすると、ジョーバの速度が一段上がります
・今後の展望
流鏑馬VRの完成後、オープンキャンパスにて体験会を行い、プレイヤーへのアンケートを実施しました。当初の想定通り、全てのプレイヤーが「乗馬映像（視覚情報）だけの体験より、ジョーバ（体感ハードウェア）を組み合わせた体験の方が、高い没入感を得られる」と回答してくれた一方で、「矢の挙動にリアリティがほしいと思った」「的が動くと、よりおもしろくなる」「ゲーム性を意識した改善を行うといいのでは」といった意見も聞かれました。
今後は、さらに没入感を高めるためのフィードバックの追加、プレイヤーと体感ハードウェアとのインタラクションの強化、流鏑馬以外のVRシミュレータの開発などにも挑戦したいと考えています。
・参考文献
［1］加藤達也， 鈴木崇， 中貴俊， 山田雅之， 宮崎慎也：HTC Viveを利用したインタラクティブコンテンツ-流鏑馬VRの開発-, 第9回社会情報学会中部支部, 第4回芸術科学会中部支部合同研究会, SSICJ2018-1, pp.25-29, 2018
［2］井村誠孝, 小塚淳, 南広一, 田畑慶人, 守随辰也, 千原國宏：バーチャル流鏑馬:騎馬弐武者弐, 日本バーチャルリアリティ学会論文誌, 7, 4, pp.481-486, 2002
info.
-
-
月刊CGWORLD + digital video vol.249（2019年5月号）
第1特集：進化するゲームグラフィックス
第2特集：VRミステリーアドベンチャーゲーム『東京クロノス』
定価：1,540円（税込）
判型：A4ワイド
総ページ数：128
発売日：2019年4月10日
cgworld.jp/magazine/cgw249.html
