RESEARCH 1：手話学習を助ける、手話CG Wikiの開発
・研究背景
手話は、目・頰・口・顎・首などの頭部と、手や腕の動作を使う視覚言語で、日本語の五十音やアルファベットを表す指文字と、「犬」「走る」「美しい」といった名詞、動詞、形容詞などを表す単語によるコミュニケーションが基本となっています。例えば「犬」という名詞の場合は、両手のひらを前方に向け、親指以外の指を前に倒します。
こういった手話の学習手段としては、前述のような動作をイラストや文字で説明してある書籍や、話者の頭部や手の動作を撮影した映像教材の使用が一般的です。YouTubeなどの映像共有サービスでは、有志の協力によって制作された手話の映像教材が公開されています。このような映像を提供する場合には、話者の肖像権の確保や、撮影用の機材と場所の用意が必要になります。そのため、膨大な量の手話の単語を、正確な動作で、全て撮影することは難しいのが実情です。そこで本研究では、Webページ上でマウスとキーボードを操作するだけで映像を生成できる、手話CG Wikiの開発に取り組んでいます［1］。
・主な先行研究
CGキャラクターによる手話映像を生成する研究は、モーションキャプチャを用いる手法［2］や、XML表記に基づくタグ入力を用いる手法［3］などが提案されています。しかし、手話教材をつくりたい一般ユーザーが、モーションキャプチャの特殊な設備を用意することは困難ですし、XML表記でタグ入力することも、馴染みのない手法であり、困難だろうと予想されます。また、ひとつの団体が、辞書に相当する数の手話単語の映像を生成しようとするなら、多大なヒューマンリソースが必要となります。そのため本研究では、複数のユーザーが共同して、CGキャラクターによる手話映像の辞書、すなわち手話CG Wikiを生成できる環境の構築を目指しています。
・手話CG Wikiの概要
前述した通り、手話CG Wikiでは実際の人物の代替としてCGキャラクターを用います。CGキャラクターによる手話は、Webページ上で誰でも登録・閲覧・編集ができ、それぞれ専用画面が設けられています。登録画面では、単語の意味、表情、手と腕の動作、手型（指の折り曲げ）の動作、移動動作などを入力します。
▲手話CG Wikiの【上】登録画面と、【下】閲覧画面。上図では「犬」という単語の登録と、閲覧を行なっています。これらのほかに、登録した単語を編集できる編集画面もあります
表情は、現時点では「笑顔」「怒り」「悲しみ」「指定なし」の4種類を用意しています。手と腕の動作は、手のひらの始点と終点の2ヶ所をマウスで指定することで生成します。このとき、手のひらの向きも指定できるようになっています。
▲現時点で用意している入力用の表情は、【左上】笑顔、【右上】怒り、【左下】悲しみ、【右下】指定なしの4種類です
▲手と腕の動作は、手のひらの始点と終点の2ヶ所をマウスで指定することで入力します。今後は、手の移動速度も調整できるようにする予定です
手型は、5本の指の全ての関節の動作をひとつひとつ入力していると、かなりの手間と時間を費やすため、使用頻度の高いものはあらかじめ用意してあります。木村ら監修の手話の単語辞書［4］に収録されている2,586単語を調査した結果、全36種類ある手型のうち、10種類が全体の74％を占めていることがわかりました。例えば最も使用頻度の高い「パー」の手型は全体の21％、2番目に使用頻度の高い指文字の「て」は全体の14％を占めています。これらの手型は、入力を補助するボタンが提示されるようになっており、短時間での入力が可能です。また、ボタンを押した後、さらに各指の関節の動作を指定することで、入力補助のない、別の手型の入力にも活用できるようになっています。
複数の被験者の協力を得て、前述の「犬」の単語登録を入力補助なしで行う実験をしたところ、入力回数は30回で、入力時間は約7分を要しました。しかし、同じ実験を入力補助のある状態で行なったところ、入力回数は14回で、入力時間は平均37秒まで削減できました。
・今後の展望
手話では、眉の動きや、手の速度（厳密には加速度・躍度）の変化なども、感情を伝える大事な要素であるといわれています。ただし、これらの入力も手話CG Wikiで実現しようとすると、入力のわずらわしさも増えてしまいます。できるだけ簡単な操作で、実用的な手話映像を生成するため、今後は手型以外の共通化できる動作も分析し、モーションキャプチャで収録された人の動きなども活用しながら、入力可能な要素を増やしていく予定です。
・参考文献
［1］山口達也, 村松大輔, 澤野弘明, 石井成郎, 鈴木裕利, 酒向慎司: "手話CG Wikiにおける動作の簡略入力手法の提案", 情報処理学会全国大会講演論文集, 80th, pp. 1.405-1.406, 2018
［2］加藤直人: "日本語テキストから手話CGへの翻訳技術", NHK技研R&D, No. 134, pp. 45-52, 2012
［3］S. Ebling, J. Grauert: "Building a Swiss German Sign Language Avatar with JASigning and Evaluating It Among the Deaf Community", Universal Access in the Information Society, Vol. 15, No. 14, pp. 577-587, 2010
［4］木村 勉, 原 大介, 神田和幸, 森本一成: "日本手話・日本語辞書システムの開発と評価", 手話学研究, Vol. 17, pp. 11-27, 2008
