No.014：山梨大学工学部茅・豊浦研究室

記事の目次

本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第14回では、可視化、拡張現実感（AR）などを研究する山梨大学の茅暁陽教授、豊浦正広准教授に自身の研究室について語っていただいた。

※本記事は月刊『CGWORLD + digital video』vol. 254（2019年10月号）掲載の「ACADEMIC meets INDUSTRY 山梨大学工学部コンピュータ理工学科茅・豊浦研究室」を再編集したものです。

TEXT＿茅暁陽 / Xiaoyang Mao、豊浦正広 / Masahiro Toyoura（山梨大学）
EDIT＿尾形美幸 / Miyuki Ogata（CGWORLD）
取材協力＿芸術科学会

CG研究の黎明期に中国から来日し可視化研究を始める

山梨大学の茅暁陽と豊浦正広です。私たちは本学の工学部コンピュータ理工学科にて、ひとつの研究室を共同運営しています。そのため本記事も、共同執筆にてお届けします。

茅暁陽
山梨大学工学部コンピュータ理工学科教授
理学博士
専門分野：CG、画像・映像処理、デジタルファブリケーション、拡張現実感
www.vc.media.yamanashi.ac.jp

豊浦正広
山梨大学工学部コンピュータ理工学科准教授
博士（情報学）
専門分野：CG、画像・映像処理、デジタルファブリケーション、拡張現実感
www.vc.media.yamanashi.ac.jp

茅は中国の復旦大学を卒業後、中国政府派遣の留学生として東京大学大学院の修士・博士課程に進学しました。大学院時代には、CG研究の黎明期を代表する研究者である國井利泰先生（東京大学名誉教授、会津大学初代学長）の指導の下で、当時先駆的だった医療データのボリュームレンダリングを手がけていました。1980年代の当時は、ディスプレイモニタですら非常に高価で、メインフレームのコンピュータにグラフィックス端末をシリアルポートで繋げて結果画像を表示するような時代でしたが、多値オクトリーによる適応的なデータ表現により、実用に供するレベルのデータ管理と描画にたどりつきました［1］。

［1］Tosiyasu L. Kunii, Issei Fujishiro, Xiaoyang Mao: "G-Quadtree: A hierarchical representation of gray-scale digital images", The Visual Computer, Vol. 2, No. 4, pp. 219-226, 1986

◀茅が、國井先生、藤代一成先生（本連載の第7回を執筆）と共に、1986年に発表した研究の関連画像。G-quadtreeというアルゴリズムを用いて、医療データを、階層的なグレースケールデジタル画像として表現する方法を提案しました

博士号取得後は、建設重機で有名なクボタの情報部門であるクボタコンピュータに、エンジニアとして在籍しました。同社は当時、米国のグラフィックワークステーションのベンチャーに出資し、山梨県白根町（現、南アルプス市）に工場を設置して生産を始めていました。風になびく旗の動きを3次元空間でシミュレーションして、リアルタイムにレンダリングする技術を見て、圧倒されたことをよく覚えています。在職中に、可視化ソフトウェアのAVSに出会ったことが、現在まで続く可視化研究の始まりでした。可視化は昨今のビッグデータ解析の需要の高まりを受けて、再び脚光を浴びている技術です。

山梨大学で研究室を主宰し、認知科学や画像処理技術も導入

その後、山梨大学工学部の助教授（現、准教授）として研究室を主宰するようになり、豊浦が加わり、現在の体制へとつながっています。本学では今宮淳美先生（山梨大学名誉教授）の影響を強く受け、HCI（Human-Computer Interface）や、認知科学を研究の主要な要素として採り入れるようになりました。今宮先生も日本のCG界の草分け的存在であり、CG研究のバイブルとも言われた『Fundamentals of interactive computer graphics』（J.D.Foley、A.van Dam著）の翻訳者として、『コンピュータ・グラフィックス』（日本コンピュータ協会、1984）を世に送り出したことが特に知られています。視線追跡装置や生体計測装置は、人の興味や関心、心の動きを捉えるのに役立つため、その計測結果に沿ったCG画像の生成に利用しています。

可視化研究の中で出会ったLIC（Line Integral Convolution）と呼ばれる流れ場を可視化する描画手法は、その後の鉛筆画生成［2］や、マーブリング模様生成［3］の手法を発想する源泉となり、絵画調画像生成の研究にもつながっていきました。

［2］Shigefumi Yamamoto, Xiaoyang Mao, Atsumi Imamiya: "Colored Pencil Filter with Custom Colors", Proceedings of Pacific Graphics, pp. 329-338, 2004
［3］３ Xiaogang Jin, Chen Shaochun, Xiaoyang Mao: "Computer-Generated Marbling Textures: A GPU-based Design System", IEEE Computer Graphics and Applications, Vol. 27, No. 2, pp. 78-84, 2007

▲本研究室が2004年に発表した、鉛筆画生成に関する研究の関連画像。画像を入力すると、対応する鉛筆画が生成されます

◀本研究室が2007年に発表した、マーブリング模様生成に関する研究の関連画像。GPUベースのデザインシステムで、各種パラメータを調整すると、マーブリング模様を対話的に生成できます

さらに、山梨県産業技術センターの五十嵐哲也主任研究員らと共に、織物画像生成の研究にも着手しました。本研究では、入力画像の周波数解析や、最適な糸色を選択するために、画像処理や画像解析に立脚した技術を導入しています。また、生産時に導電性繊維を織り込むことで、従来の織物にはない、電気的機能をもった新たな織物の実現も目指しています。画像解析の技術は、映像の状況解析などにも応用されており、山梨大学大学教育センターにおける授業映像解析の研究［4］も手がけています。

［4］Masahiro Toyoura, Mayato Sakaguchi, Xiaoyang Mao, Masanori Hanawa, Masayuki Murakami: "Visualizing the Lesson Process in Active Learning Classes", IEEE Frontiers in Education Conference（FIE）, 2016

▲本研究室が2017年に発表した、授業映像の状況解析の研究。【上】アクティブラーニング型授業のための特別教室と、その収録環境／【下】授業映像の状況解析結果の可視化と、それに基づく授業映像閲覧システム

次ページ：
誰かに切実に必要とされる眼科疾患補償のためのAR研究

[[SplitPage]]

誰かに切実に必要とされる眼科疾患補償のためのAR研究

豊浦は京都大学の学部と修士・博士課程で学生時代を過ごした後、恩師の紹介で助教として本研究室に参加しました。学生時代の研究テーマは多視点画像からの3次元形状獲得で、獲得した3次元形状の活用手段のひとつとして、拡張現実感（AR）の研究に着手しました。

本学に着任した後、眼科の柏木賢治准教授と出会い、眼科疾患補償のための拡張現実感の研究が始まりました。それ以前の研究では、開発した技術に対する切実な需要を感じていませんでしたが、本研究のおかげで、誰かに切実に必要とされるテーマにようやく出会えた気がしました。本研究に着手した当時はGoogle Glassの話題が出始めた頃で、ARウェアラブルデバイスの実用化に対する世間の期待が高まっていました。Google Glassと共に開発された技術も、一気に普及する可能性を感じていましたが、プライバシー侵害の問題を解決できないなどの理由から、いったんは開発が中止されています。しかしその後も、Oculus、FOVE、Microsoft HoloLens、Magic Leapなどの製品が登場しており、ARウェアラブルデバイスの実用化と普及に向けた準備は着々と進行しています。今はまだ、一般的な眼鏡と比べれば、どの製品もサイズが大きいですが、検査などの特定の用途に絞れば、眼科領域での実用化に踏み込んでいける感触を得ています。

誰にどんな価値を提供できるかを示すのは、責務であり特権でもある

本研究室では、前述の研究以外にも、標本鑑賞のための拡張現実感技術、法科学データ分析、製品検査の画像処理、農作業支援の画像解析と情報提示、手術映像解析など、多岐にわたる研究が進行しています。

これらの研究の共通点は、以下の3点だと考えています。

・人の「処理」を理解したい
・人を支援したい
・誰かに切実に必要とされる研究をしたい

ディープラーニング（深層学習）全盛の現在においても、人が自身の五感を通して得た情報をどのように処理しているのか、ほとんど解明されていないように思います。自分では当然その処理ができているにも関わらず、です。本研究室では、人の処理を理解し、模倣することでコンピュータに人と同等の処理をさせる、あるいは、人とコラボレーションすることで人の処理を支援させることを目指しています。

一方で、CGの技術は十分実用の域に達しており、それをどう使うかを考える時代が来ているとも思います。そんな時代の中で、誰にどんな価値を提供できるかを示すのは、CG研究者の責務であり、特権でもあると考えています。だからこそ、私たちは誰かに切実に必要とされる研究をしたいと思っています。

例えば、前述の織物画像生成の研究では、平安時代から続く山梨県郡内地方の織物産業を支えるべく、技術開発を進めています。日本の織物産業は、着物をはじめとする、世界に誇れる製品を生み出してきました。しかし最近は、安価な海外製品による市場圧迫、職人の高齢化、後継者不足などにより、技術損失の危機に直面しています。私たちが提案する織物デジタルファブリケーションは、これまでにない織物パターンのデザインを実現し、世界で戦う新製品を生み出せる可能性をもっています。織物職人の技能をコンピュータに取り込むことができれば、失われつつある織物技術を、コンピュータの中に永劫に残すことが可能です。

医学領域では、特に製薬や画像診断において、画期的な成果が生まれているものの、日々の診察や診療ではまだまだ課題が残っています。その課題を解決するため、前述の眼科疾患補償のための拡張現実感の研究では、視線追跡装置、ヘッドマウントディスプレイ（HMD）、タブレットスクリーンなどを使った技術の開発を進めています。具体的には、片眼失明者に立体感のある画像を見せる研究を皮切りに、最近では、色覚異常や視野狭窄の補償、視界の歪みの定量化などの研究も行なっています。いずれも生死に直接関わる疾患ではありませんが、本人にとっては大問題であり、また、長生きすれば全ての人に起こり得る問題です。平均寿命が100歳を超える日も近いと言われる現代において、これらの技術は、生活の質（Quality of Life, QOL）を向上させる上で欠かせないものになっていくはずです。

以上の2つの研究については、後ほど、さらに詳しく紹介します。

▲本研究室が2019年に発表した、視界の歪みを定量的に測定する研究の関連画像。【左】入力画像／【右】測定結果を踏まえた視界の歪みのシミュレーション結果。逆方向に補正することで歪みを打ち消し、視機能を向上させることも検討しています

学部や修士課程でもCG系の授業が充実

本学は国内の他大学に先駆けて情報系学科が設立された大学で、特にCG、マルチメディア、インターフェイス、感性情報に関わる研究室が多く設置されてきました。そのため、近い領域の研究室に所属する教員や学生が、議論を通して互いの知識を補完し、切磋琢磨しながら学位論文を完成させる土壌があります。学部や修士課程でも、CG系の授業が充実している点も、本学ならではの特徴と言えます。また、CGとも深い関わりのあるソフトウェア工学を、実学形式で学べる点も、本学のカリキュラムの特徴です。

加えて、本学と中国の杭州電子科技大学との間では、修士ダブルディグリープログラムを進めています。これは、両大学の教員の研究指導を受けることで、修了時に2つの学位を取得できるプログラムです。このプログラムに参加した本学の教員や学生は、発展目覚ましい中国の熱量を日々感じながら、研究に邁進しています。

現在の本研究室には、博士4名・修士7名・学部4年7名からなる、合計18名の学生が所属しています。その内9名は中国とタイからの留学生で、活発な雰囲気を吹き込んでくれています。また、本研究室の修了生で、山梨大学医学部所属の杉浦篤志助教には、拡張現実感の研究で指導の補助をしていただいています。

次ページ：
織物デジタルファブリケーションの研究

[[SplitPage]]

RESEARCH 1：織物デジタルファブリケーションの研究

・研究目的

織物パターンは、各格子点で経糸（たていと）と緯糸（よこいと）のどちらを上にするかを示す二値画像として表現できます。適切な二値画像データを、ジャカード織機と呼ばれる高機能な織機に入力すると、二値画像で表現された織物パターンを反映した織物を織ることができます。二値画像が織物パターンとして成立するためには、それぞれの糸が一定間隔内で1回以上交差している必要があります。また、格子点が直線を保つためには、交差回数に空間的な粗密がないようにしなければなりません。加えて、使用する糸色の数を増やすと、再現される解像度が下がることも考慮する必要があります。

任意画像を織物パターンに変換する処理は、画像の色、境界、周波数、方向性などをできるだけ保ちながら、前述の制約を満たすよう、データを最適化することに帰着します。一方で、織物パターンの設計は、入力画像をモチーフにしたデザイン作業であるとみなすこともできるので、対話的デザインシステムの設計も重要な課題だと考えています。

・任意画像を入力し、織物が完成するまでのながれ

◀任意画像の入力

▲パターンの自動解析と特徴が一致する織物パターンの割り当て

▲デザイナーによる、対話的パターン修正

▲【左】ジャカード織機による製織／【右】織物の完成

・織物パターンの入力の自動化

私たちは、任意画像を織物パターンの二値画像に変換できる、織物デジタルファブリケーションの実現を目指しています［1］［2］［3］。前述の制約を満たしつつ、滑らかな陰影と明確な境界をもつ織物を織るためには、従来の画像処理にはない、新たな技法の提案が必要でした。そこで、私たちは織物パターンの対話的デザインシステムを開発し、画像内の各領域に、個別のパターン化規則を適用できるようにしました。提案手法の一部技術は連携企業に移転され、滑らかな陰影をもつ傘が製作・販売されました。滑らかな陰影は、コンピュータによる支援なしには作成できないものでした。

▲提案手法によって製作・販売された滑らかな陰影をもつ傘

当初は全ての織物パターンを手動で入力させていましたが、その後、自動化を試みました。本手法では、画像内の各領域に対してGaborフィルタを適用し、反応を求めます。同様に、利用可能な全ての織物パターンの反応も求めておきます。各領域の反応に、最も一致する反応をもつ織物パターンが、当該領域を再現するのに最適であることが確かめられました。

また、本システムを通して織物パターンをデザインすれば、入力画像に対してパターン化規則を適用したときのログが取得できるため、特徴抽出が可能となります。本システムを利用するには、織物に関する最低限の知識を必要としますが、そのおかげで、利用者が織物に関する説明を受け、地域の織物産業に興味をもってもらえる効果も得られました。

・カラー画像を基にした多色織パターンの二値画像の生成

織物の経糸は織機にかけられており容易に変更できませんが、緯糸は1本ごとの変更が可能です。ただし、前述したように糸色の数を増やすほど、再現される解像度が下がるため、最小限の糸色で表現することが望まれます。従来の手法では、グレースケール画像のみを対象にしたり、カラーチャンネルごとに独立した処理を施したりしていたため、入力画像の色調や陰影を十分に保つことができませんでした。

私たちは、2つの手順を経ることで、前述の課題を解決しました［4］。最初に、カラー画像内の任意の画素値に対する、経糸色と緯糸色の近さを実数値で表せるように定式化し、多色織パターンの二値画像を生成しました。続いて、データベースに登録された保有する糸色の集合から、前述の二値画像を再現するのに最適な緯糸の色を上位から順番に選択できるようにしました。2色目以降の糸色については、すでに選択されている糸色で再現できない場合のみ、新しい糸色を選択できるようにしています。

▲カラー画像を再現するのに最適な糸色の選択

・導電性繊維を用いた加圧位置を検出する織物

新たな展開として、電極や導電性繊維を織り込むことで、電気的機能をもたせた織物の実現も目指しています。最近のスポーツウェア開発においては、心拍数や筋肉の状態を把握できる製品が発表されています。また、救急救命の領域では、心電計の機能をもつ、電極が縫い込まれた帯が発表されています。

私たちは、織物の立体構造を位置によって変えることで、電気的な特性も変えることができると考え、加圧位置を検出する織物を提案しました［5］。導電性繊維の経糸と緯糸が交差する点では、静電容量が発生するため、織り方を変えることで静電容量を変化させることができます。これにより、加圧位置の検出が可能となります。

▲加圧位置を検出する織物の構造

・参考文献

［1］豊浦正広，五十嵐哲也，庄司麻由，茅暁陽: "ジャカード織物作製のための制約付き画像二値化", 芸術科学会論文誌， Vol. 13， No. 3， pp. 124-133， 2014
［2］Tetsuya Igarashi, Masahiro Toyoura, Xiaoyang Mao: "Dithering method for reproducing smoothly changing tones and fine details of natural images on woven fabric", Textile Research Journal, Vol. 88, No. 24, pp. 2782-2799, Article. 0040517517732087, 2018
［3］Masahiro Toyoura, Tetsuya Igarashi, Xiaoyang Mao: "Generating Jacquard Fabric Pattern with Visual Impressions", IEEE Transactions on Industrial Informatics, 2018
［4］豊浦正広，五十嵐哲也, 齋藤豪，寺田貴雅，茅暁陽: "写真からの多色織パターン生成", 情報処理学会グラフィクスとCAD研究会， Arcticle 1， 2016（情報処理学会山下記念研究賞（優秀研究発表賞））
［5］Takamasa Terada, Masahiro Toyoura, Takahide Sato, Xiaoyang Mao: "Functional Fabric Pattern -Examining the Case of Pressure Detection and Localization-", IEEE Transactions on Industrial Electronics, Vol. 66, No. 10, pp. 8224-8234, 2019

次ページ：
眼科疾患補償のための拡張現実感の研究

[[SplitPage]]

RESEARCH 2：眼科疾患補償のための拡張現実感の研究

・研究目的

最新の拡張現実技術を駆使して、視覚障がい者の社会生活の質を劇的に改善するアプローチとして、コンピュテーショナル・オプサルモロジー（計算眼科学）と称する技術を開発しています。各種センシングデバイスを組み合わせ、実環境シーンを解析したり、利用者の意図を推定したりして、疾患特有の視覚特性を補整する刺激を光学的シースルー／ビデオシースルー型HMDを介して提示することを目指しています。この技術の実現によって、従来の光学的器具や単純な画像変換の利用では困難だった、個人に適応した視力増強の効果が期待できます。

・片眼失明者の距離感獲得支援

疾患や外傷などによって片眼の視機能が消失、もしくは著しく低下した患者は、両眼視機能が失われるため、対象物の距離感獲得に困難が生じます。これが対象物の把持などの近方作業を困難にし、見え方の質（Quality of Vision, QOV）の低下をもたらします。

私たちは、両眼視機能を一部代行する片眼鏡を試作しました［1］。この片眼鏡は、近方作業や片眼失明直後の生活支援を想定して設計しています。片眼鏡は2台のカメラとHMDで構成されており、利用者の目線の先を撮影する2台のカメラで得た画像から、被写体までの距離を計算し、距離に応じて焦点ぼけを強調した画像を生成します。利用者には、1枚の画像内の焦点ぼけの有無を通して、強調された距離情報が提示されます。

▲HMDによる、距離情報の強調

実験の結果、観測画像をそのまま提示するよりも、距離に応じて焦点ぼけを強調した画像を提示する方が、距離感をより獲得できる被験者が多くいることを確認しました。ただし製品化を実現するには、HMDの視野角が狭い、画像の生成精度が高くないなどの課題を解決する必要があります。そのためにも、ハードウェアの発展が待ち望まれます。

・色覚障がい補償

人間の網膜には3種類の錐体細胞（L錐体、M錐体、S錐体）が存在し、それぞれ赤、緑、青に対応する波長の光にもっとも敏感に反応します。それぞれの細胞の反応の強さにより、様々な色を認識できます。しかし、遺伝子異変によって錐体細胞に異常が生じると、色を正しく認識できなくなります。これを色覚障がいと呼びます。

色覚障がいによるコントラストロスを補償するためには、コントラストを強調した支援画像の提示が有効です。同時に、色覚障がい者が本来見えている世界から大きく色を変えることなく、自然な画像に変換することが望まれます。コントラスト強調と自然さ保持の両方を同時に考慮したアプローチは、これまでにもいくつか提案されてきました。しかし、ひとつの錐体の機能が完全に失われた2色覚者を想定した方法であるため、色覚障がい者の大多数を占める異常3色覚者（ひとつの錐体の機能が低下している人）には、必ずしも有効ではありませんでした。

私たちは、色覚障がい補償のための新しい色変換アルゴリズムを提案しました［2］。提案手法では、異常3色覚の度合いに適応した、コントラスト強調と自然さ保持の両方を実現しています。提案手法に対し、シミュレーションに基づく定量評価と、被験者による主観評価を行い、既存手法よりも、異常3色覚者の支援技術として有効であることを示しました。

▲【左上】元画像／【右上】2色覚者がを見た場合をシミュレーションした画像／【左下】色変換アルゴリズムを適用した画像／【右下】2色覚者がを見た場合をシミュレーションした画像。赤色の花と緑色の葉のコントラストが強調され、両者の境界が区別できるようになっています

また、提案手法による支援を受ける方法としては、光学的シースルーHMDを用いて、見えている世界の色を変化させることが考えられますが、通常のHMDでは光の加算しかできないため、液晶ディスプレイ（Liquid Crystal Display, LCD）を追加することで、光の減算を可能にするHMDの設計にも取り組んでいます［3］。

・変視の定量的な検査装置

近年、高齢化による加齢黄斑変性（Age-related Macular Degeneration, AMD）の患者数が増加しています。AMDは、目の網膜の中心部に位置する黄斑に疾患が生じるため、変視（歪視）、視力低下、中心暗点、色覚異常などの視覚異常を引き起こす病気です。特に、視界が歪んで見える変視は、QOVを大きく低下させることが知られています。AMDによる変視の症状は硝子体手術によってある程度改善しますが、患者の期待するほどQOVが向上しないことがあり、問題となっています。医師の認識と患者の感じ方を一致させるために、患者の自覚する変視を定量的に評価することが大きな課題となっています。

私たちは、仮想的な1本の線を変形することで、変視をより詳細に検査する方法を提案しました［4］。本検査では、変視患者は直線を曲線（歪んだ線）と知覚することを利用しており、患者が「直線である」と知覚するまで線変形をくり返すことで、歪みの様子を調べる方法だと言えます。反復操作の導入により、高齢者にも利用可能な変視検査になっていることが、実験で確かめられています。

▲変視の検査装置のシステム概要

・参考文献

［1］豊浦正広，柏木賢治，茅暁陽: "片眼失明者に距離情報を強調提示する片眼鏡の開発", 日本バーチャルリアリティ学会論文誌， Vol. 18， No. 4， pp. 475-486， 2013
［2］Zhenyang Zhu, Masahiro Toyoura, Kentaro Go, Issei Fujishiro, Kenji Kashiwagi, Xiaoyang Mao: "Naturalness- and Information-Preserving Image Recoloring for Red-Green Dichromats", Signal Processing: Image Communication, Vol. 76, pp. 68-80, 2019
［3］Ying Tang, Zhenyang Zhu, Masahiro Toyoura, Kentaro Go, Kenji Kashiwagi, Issei Fujishiro, Xiaoyang Mao: "Arriving Light Control for Color Vision Deficiency Compensation Using Optical See-Through Head-Mounted Display", ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry （VRCAI）, Article 6, 2018
［4］Hiromichi Ichige, Masahiro Toyoura, Kentaro Go, Kenji Kashiwagi, Issei Fujishiro, Xiaoyang Mao: "Visual Assessment of Distorted View for Metamorphopsia Patient by Interactive Line Manipulation", Proc. Cyberworlds, 2019

info.

月刊CGWORLD + digital video vol.254（2019年10月号）
第1特集：映画『天気の子』
第2特集：デザインビジュアライゼーションの今

定価：1,540円（税込）
判型：A4ワイド
総ページ数：144
発売日：2019年9月10日
cgworld.jp/magazine/cgw254.html