RESEARCH 2：計算機モデルの画像処理への応用
・概要
心理学をはじめとするほかの分野の知見を、前述の計算機モデルのような基盤技術として確立し、応用技術に還元するというのが、これまで私が進めてきた研究方針です。以降では、基本色カテゴリの計算機モデルの応用により、どのようなことが可能になるのか、2つの研究事例を通してご紹介します。
・事例1 画像の色変換
ひとつめの事例は、基本色カテゴリを用いた画像の色変換の研究です。色変換のひとつに参照型色変換という手法があります。本手法では色空間上で入力画像Aと参照画像Bの色分布を調べ、Aの色分布がBの色分布になるよう調整します。本手法を用いれば、任意の参照画像を選ぶだけでコンピュータが自動的に色変換を実行してくれるため、とても楽な手法と言えます。しかし何の制限もなくBの色分布に似せると、問題が生じる場合があります。例えば薄い水色の空が、ラピスラズリのような鮮やかな青色に変換されれば、画像の印象が大きく変わる一方で、違和感は生じない色変換となります。しかし空が茶色になってしまうと違和感が生じます。青なら青、緑なら緑の範疇で色変換が実行されれば違和感は生じませんが、そうでない場合には違和感が生じることは簡単に想像できます。そこで画像の全体的な色分布を似せるのではなく、画像領域を基本色カテゴリごとに分割し、入力画像と参照画像の同じカテゴリごとに対応づけをして、カテゴリごとに色分布を似せる作業を行うことで、違和感なく参照画像風の色合いに変換できます［1］。さらに、この手法は動画にも簡単に拡張できます［2］。
▲ 【左上】入力画像／【右上】フィンセント・ファン・ゴッホの『夜のカフェテラス』（1888）を参照画像に設定した場合の結果。参照画像で目を引く鮮やかな黄と青が上手く転写されています／【左下】カミーユ・ピサロの『エルミタージュの丘、ポントワーズ』（1867）を参照画像に設定した場合の結果。空は綺麗なエメラルドグリーンで、緑は彩度と明度がやや高めな一方、黄は無彩色に近いほど低彩度という参照画像の特徴が上手く転写されています／【右下】ポール・ゴーギャンの『豚飼いの少年 ブルターニュ』（1888）を参照画像に設定した場合の結果。全体的に黄色みがかったような色使いで、彩度が高いという参照画像の特徴が反映されています
・事例2 画像の代表色の抽出
2つめの事例は、写真画像からの色パレットの自動抽出に基本色カテゴリを導入した研究です。色パレットの抽出は、デザイン画を主な対象として盛んに研究されていますが、色数が限られているデザイン画とは異なり、写真の場合は様々な色が存在するため抽出が難しくなります。しかし画像の代表色の抽出は、画像検索や画像自動インデキシング、色味調整などにおいて、デザイン画か写真かを問わず有効活用できます。多くの従来研究では、画像の色をいくつかのグループにまとめ、まとまりの真ん中にある色をパレットの色としています。
ただし、目立つ色、印象に残る色の抽出は下図で示すようにそう簡単ではなく、従来手法による代表色の抽出［3］だと、似た色が重複して抽出される、明らかに目立つ色が抽出されないといった問題がありました。また、従来手法では画像内で大きな割合を示す色が抽出されるため、暗闇の中で光っている月、草原の中の小さい真っ赤な花などは、目立っているにも関わらず抽出できない場合が多くありました。そこで本研究では、目立つ領域を抽出する誘目度マップを組み込むことで、小さい領域でも抽出できるようにしました。また、似ている色とちがう色の判定に基本色カテゴリを導入することで、似ている色が多く抽出された際には候補色を削除し、似ていない色は統合せずに残すしくみも提案しました［4］［5］。
▲【A】入力画像／【B】従来手法による代表色の抽出結果。似た色が重複して抽出されている一方で、明らかに目立つ青が抽出されていません。赤と緑は抽出されるのに青が抽出されないのは、前述の色差が影響しているためです／【C】提案手法による代表色の抽出結果
入力画像：PublicDomainPictures/Pixabay
そして現在は、誘目度マップの見直しを図っています。従来の誘目度マップ［6］はコントラストが高い領域が高い値を示すことが多く、必ずしも色として印象深い領域が高い値をもつわけではありませんでした。デザイン分野の専門書では、コントラスト以外にも、面積が大きい領域の色、彩度が高い領域の色、特定の色相の色など、様々な要因をもつ色が目立つ色として定義されています。そこで、色彩的に目立つ領域を抽出する色誘目度マップを新たに定義し、デザイン分野で培われた知見を、計算機モデルとして確立して取り入れることで、従来の誘目度マップでは抽出できなかった色を代表色として抽出する試みを行なっています。
・今後の展望
本記事では従来の画像処理手法に基本色カテゴリの計算機モデルを導入した2つの研究事例を紹介しました。いずれも導入したことにより、従来手法より結果が改善されています。基本色カテゴリは単なる色のまとまり以上に多くのことを語ります。例えば、人間の色恒常性との関連性［7］なども指摘されており、様々な分野で有効活用できると期待しています。
さらに基本色カテゴリ以外の高次の人間の知覚的特性も導入することで、画像処理の性能をもっと高められる可能性があります。最近流行しているディープラーニングのような「大量の学習データ＋ブラックボックス学習」による処理認識ではなく、ブラックボックス状態の人間の高次視知覚について、人間の認識実験結果から逆算し、計算機モデルを樹立して画像処理に組み込むことで、人間と同様の処理が行えるかを試すという、心理学と工学の学際的な研究に今後も取り組んでいきたいと思います。
・参考文献
［1］Youngha Chang, Suguru Saito, Keiji Uchikawa, Masayuki Nakajima, "Example-Based Color Stylization of Images", ACM Transactions on Applied Perception（TAP）, Vol.2, Iss.3, pp.322-345（2005）
［2］Youngha Chang, Suguru Saito, Masayuki Nakajima, "Example-Based Color Transformation of Image and Video Using Basic Color Categories", IEEE Transactions on Image Processing, Vol.16, Iss.2, pp.329-336（2007）
［3］Huiwen Chang, Ohad Fried, Yiming Liu, Stephen DiVerdi, Adam Finkelstein, "Palette-based Photo Recoloring", ACM Transactions on Graphics, Vol.34, No.4（2015）
［4］張 英夏, 飯田智大, 向井信彦, "自然画像におけるドミナントカラー抽出法", 画像電子学会誌44（4）, 637-643（2015）
［5］竹内健太郎, 張 英夏, 向井信彦, "誘目度マップを用いた代表色抽出手法に関する研究", NICOGRAPH 2016， pp.129-130（2016）
［6］Laurent Itti, Christof Koch, Ernst Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, Iss.11, pp.1254--1259（1998）
［7］Javier Vazquez-Corral, Maria Vanrell, Ramon Baldrich, Francesc Tous, "Color Constancy by Category Correlation", IEEE Transactions on Image Processing, Vol.21, Iss.4, pp.1997-2007（2012）
info.
-
-
月刊CGWORLD + digital video vol.250（2019年6月号）
第1特集：スーパーCGアニメーターズ
第2特集：デジタル作画アドバンスト
定価：1,540円（税込）
判型：A4ワイド
総ページ数：128
発売日：2019年5月10日
cgworld.jp/magazine/cgw250.html
