2Dの透視図から立体情報を復元する手法の提案
1988年には、前述の対話型透視図作図手法で描いた透視図の視点や影の情報から、光源の位置情報を求める手法[6]を提案しました。本手法を用いることで、対象の立体情報も復元できるようになったのに加え、その情報から生成した3Dモデルに任意の画像をマッチさせ、合成することも可能となりました。この立体情報の復元手法は、1996年にPaul Debevec氏(南カリフォルニア大学)が発表したImage-Based Modeling and Renderingの手法にもつながっています。そして本手法は、次の3つの新たな研究へと発展していきました。
[6]近藤邦雄, 木村文彦, 田嶋太郎, "手描き透視図の視点推定とその応用", 情報処理学会論文誌 29(7), pp. 686-693, 1988.7.15
▲1988年に発表した、立体情報を復元する研究。【A】【B】図形と影の2Dデータを基に、【C】【D】レイトレーシング法によって3Dモデルをレンダリングした後、【E】【F】画像を合成しています
1つ目は、1992年に発表したアニメーション作成支援システムのユーザーインターフェイス[7]です。本研究では、同じ形状の3Dモデルを1つの透視図内に2つ以上描き、その間をベジェ曲線で補間することで、3Dモデルの軌跡を制御しており、アニメーション作成におけるキーフレーム作画を効率化する手法へと発展しました。「本研究は、アニメーション作成支援に初めて3DCG技術を利用したものです」と共同研究者の金子教授は述べていました。同教授は本研究の考え方を参考にして、セル画アニメのような動きをCGアニメーションで表現する手法を提案しました。さらにその後、ジオラマエンジンというシーンシミュレーションシステムの研究へと発展させました。
[7]尾白大介, 佐藤修一, 近藤邦雄, 金子 満, 佐藤 尚, 島田静雄, "アニメーション作成支援システムのユーザインタフェース", 第8回NICOGRAPH論文コンテスト論文集, pp. 18-25, 1992
2つ目は、大日本印刷との共同研究による電子カタログへの展開[8]です。本研究では、カタログ用の室内写真から撮影時の条件を推定し、新たに家具などを合成できるシステムを提案しました。前述の立体情報を復元する研究のアイデアを基に、色やテクスチャを適用する手法を新たに提案しており、電子カタログのための実用的なシステムの開発を目指して特許も取得しました。その成果はイメージシミュレーションシステムとして、1999年に販売されました。
[8]Shouji Ozawa, Minako Miyama, Kunio Kondo, "Estimation of Viewpoint and Light Source for a Montage Perspective of Electronic Catalogue", Proceedings of the 8th ICECGDG, Vol. 1, pp. 49-53,1998
3つ目は、スケッチ支援の研究と、スケッチインタプリタの研究です。前者の研究では、フリーハンドのスケッチを支援する手法、後者の研究では、スケッチを描きながら対話的に3Dモデルを生成する手法を提案しました。これらの研究の詳細は、以降で説明します。
スケッチ支援とスケッチインタプリタへの展開
スケッチ支援の研究[9]は、1986年頃から始めました。本研究は、現在広く活用されているタブレットへのペン入力による対話的なペイントシステムの根源的手法と言えます。人はフリーハンドで描いた正方形を見ると、ある程度の歪みがあっても正方形だと理解します。円と楕円の場合は、直径の長軸と短軸の割合が均等に近ければ円と認識し、その割合が不均等であれば楕円と認識します。自由曲線の場合は、始点と終点を結ぶ直線とフリーハンドで描かれた線分との差が小さければ直線と認識し、差が大きければ曲線と認識します。このような認識方法を基に、フリーハンドで描かれた線図形をコンピュータで清書するアルゴリズムを考案し、それを実装したシステムを提案しました。描画した線図形を修正したいときには、制御点を指定しなくても線分上に修正用の線分を描くことで意図した線図形を表現できるようにもしました。
[9]近藤邦雄, 田嶋太郎, 木村文彦, "曲面の形状感の表現 第3報 手描き入力による図形作画法", 精密工学会, 精密工学会誌 53(4), pp. 607-612, 1987.4.5
イラストやスケッチは1本の線分で描くだけでなく、多くの短い線分を組み合わせる場合も多々あります。その過程を時系列情報として扱い、短い線分を入力しつつ、線図形の再描画と清書をするアルゴリズム[10]も1998年に提案しました。
[10]松田浩一, 近藤邦雄, "手書き図形入力のための時系列情報を利用した逐次清書法", 情報処理学会,情報処理学会論文誌,Vol. 40, No. 2, pp. 594-601,1998
スケッチインタプリタの研究は、1994年頃から始めました。前述の立体情報を復元する研究を基に、フリーハンドで描かれたスケッチから、インタラクティブに3Dモデルを生成する手法を提案しました。本研究も「人と同じように、コンピュータも、投影図から3D形状を理解できるようになってほしい」という思いから始まりました。やがて本研究は、国内の大手家電メーカーや自動車メーカーのデザイナーとの共同研究に発展しました。スケッチの手順や、スケッチによる立体表現方法をデザイナーにヒアリングし、分析を重ね、その成果も反映させた結果、断面線の描画、陰影からの立体情報の復元、生成された3Dモデルのスケッチ入力による修正などの研究へと展開できました。2010年には、これらの研究内容を含んだサーベイ論文が国際学会誌に掲載[11]されました。
[11]Kondo Kunio, "Interactive Geometric Modeling Using Freehand Sketches", International Journal of Geometry and Graphics, International Society of Geometry and Graphics, Vol. 13, No. 2, pp. 195-207, 2010
▲スケッチインタプリタによる3Dモデルの生成。【A】入力形状/【B】入力形状[A]の修正/【C】入力形状の追加/【D】入力形状[C]の修正/【E】【F】別の視点から細部を修正/【G】【H】完成形状
デザイン画像検索システムが配色支援システムへと展開
感性情報処理の研究は、1990年頃、埼玉県繊維工業試験場からの依頼で着手したデザイン画像検索システムの研究から始まりました。本研究では、感性や印象を表す言葉によって、デザイナーが簡単な操作でデザイン画像を検索できるシステムの開発を目指しました。その成果を、感性検索とデザインのための統合システムとして、1993年にNICOGRAPHで発表しました。本研究のポイントは人の感性とデザイン画像の対応関係を計算することにあり、その実現のため、人の感性と、デザイン画像に描かれた図形の複雑さ、直線や曲線の割合、粗密などの関係式を求めました[12]。
[12]T. Inohara, K. Kondo, H. Sato, S. Shimada, "Retrieval Method of Textile Pictures Database Using a Complexity Scale", ICDAR'93, pp. 699-702, 1993
同様に、人の感性と、デザイン画像で使われている色の色相、面積、隣接する色とのコントラストなどの関係式も求めました。さらに多数の人々を対象とした感性についてのアンケート結果も踏まえ、1999年には、感性を表す形容詞を入力すると、対応する配色に変換する配色支援システムを提案しました[13]。前述のシステムを基に、2004年には、調和配色を利用した画像のカラーハーモナイゼーション手法[14]を提案しました。東京工科大学に移ってからは、一連の成果が、キャラクターデザインのための配色支援システムの研究へと展開していきました。
[13]Hideki Yamazaki, Kunio Kondo, "A Method of Changing a Color Scheme with Kansei Scales", Journal for Geometry and Graphics, Vol. 3, No. 1, pp. 77-84, 1999
[14]Hiroki Imahashi Kunio Kondo, Yoshiaki Machida ,Masahiro Takahashi, "Knowledge Based Color Coordinate System and its Application", Asia Digital Art and Design Association, International Journal of ADADA, Vol. 1, pp. 37-42, 2004.4
▲感性スケール空間を用いた配色支援システム。【A】配色支援システムのインターフェイス。感性を表す形容詞を下方の感性スケール空間を用いて入力すると、上方の画像の配色が形容詞に対応する配色へと変換されます/【B】入力画像/【C】「暖かい」という形容詞に対応した入力画像[B]の変換結果/【D】「暗い」という形容詞に対応した入力画像[B]の変換結果/【E】「地味な」「やわらかい」という形容詞に対応した入力画像[B]の変換結果
▲キャラクターデザインのための配色支援システム。本システムは、キャラクターの配色情報を集めて配色データベースに入力する「デジタルスクラップブック」と、配色データベースを参照しながら入力した線画に様々な着色を施す「配色シミュレーションシステム」からなる2つの研究成果で構成されています