RESEARCH 2：レンダリングの逆問題
・研究目的
前述の流体シミュレーションの制御と同じく、本研究も演出者の意図に沿った表現の支援を目的としており、レンダリングの逆問題に着目しています。リアルなCG画像を生成する際には、レンダリング方程式と呼ばれる複雑な積分方程式を解かなくてはなりません。この方程式は、物体の形状や材質、照明環境に依存していますが、それぞれのパラメータをどのように設定すれば目的の映像効果が表現できるかを事前に予想することは困難です。また、物理的に正しいパラメータを設定すればリアルな画像を生成できますが、それによって必ずしも目的の映像効果を表現できるとは限りません。本研究はこの問題の解決を目指したもので、CG画像のリアリズムを保ちながら、目的の映像を表現できるレンダリングパラメータを決定する手法の開発を目指しています。
・先行研究とのちがい
目的の映像を表現するため、影の位置や形状、反射の具合などをユーザーが思い通りに編集する手法は様々なものが提案されています。本研究もそれらの研究に分類されます。本研究と先行研究とのちがいは2つあります。ひとつは、これまで対象にされていなかった雲や布を扱っている点です。これらの物体は、輝度計算が複雑で、パラメータ調整によって目的の映像を表現することが困難です。もうひとつは、物理的に正しいパラメータや計算モデルに固執しない点です。物理的な正しさに固執すると、どうしても表現できる映像が限定されてしまい、目的とする効果の表現が難しくなります。そこで、物理方程式に則りながらも、物理的に正しいとは限らないパラメータの選択まで許すことによって、リアリズムと表現したい映像効果のバランスをとっています。
・研究方法
私たちは、これまでに雲のレンダリング［1］、シェーディングモデル［2］、布のレンダリング［3］に関する3つの手法を開発しています。各手法について、簡単に説明します。
雲のレンダリングの研究では、実写の雲の色合いを再現するよう、CGで作成した雲の輝度計算パラメータを自動調整する手法を開発しています。雲の輝度計算は散乱型のレンダリング方程式を解かなくてはならず、高度な問題のひとつです。計算時間もかかるため、パラメータの調整も簡単ではありません。本研究では、自分で撮影した写真やインターネット上にある雲の写真を入力すると、その色味が再現されるよう雲のレンダリングパラメータが調整される手法を提案しており、太陽の色、雲の背後の空の色、微粒子の光学パラメータなど、約20個のパラメータを自動的に決定します。本手法で決定されたパラメータは必ずしも物理的に意味のあるものとは限りませんが、輝度計算は物理方程式に則っているため、リアルな映像をつくり出すことができます。
▲雲のレンダリングの研究。左上に示す実写の雲の色合いを再現するよう、レンダリングパラメータを自動調整し、ヒストグラムの差を最小化しています
次に、シェーディングモデルの研究について説明します。シェーディングモデルは、物体の見え方を決定する基礎的かつ重要な要素です。しかし、物理法則に従ったシェーディングモデルから、必ずしも目的のシェーディング結果が得られるとは限りません。そこで、輝度計算に使われる物理量を特徴量と捉え、ユーザーが指定した輝度と特徴量の関係を表すシェーディング関数を陰的に構築するしくみを開発しました。特徴量としては、法線ベクトル、光源方向、視点方向、アンビエントオクルージョンなどを用います。ユーザーが物体上で任意に指定した輝度と、特徴量の関係をRadial Basis Functionと呼ばれる関数を使って滑らかに補間します。本手法によって、物理的には正しくはなくとも、ユーザーの目的に沿ったそれらしいレンダリング結果を得ることができます。
▲シェーディングモデルの研究。左側の事例では、左下に示すユーザーの指定した制御点位置の色を再現するよう、シェーディングモデルが陰的に構築されています。左側の事例は、先の手法を用いて実写とCGモデルを合成した例。右上の画像は、陰影の編集前を示しています
布のレンダリングの研究では、ユーザーによって与えられた画像が提示される布の織パターンを逆算する手法を開発しました。ユーザーによって指定された目標画像が反射光として表示されるよう、織パターンを算出します。この問題は、与えられた目標画像の輝度と織パターンを対応させるマッピング関数を求める問題となります。これをグラフの最短経路問題として表現し、ダイナミックプログラミングを用いて解く手法を開発しました。ただし、本手法で求められる織パターンは物理的な制約を満たしておらず、実物を生成することはできません。あくまで、CG画像として、布らしい表現をしつつ、目的の表現も実現できる織パターンを求めています。
▲布のレンダリングの研究。左下に示す与えられた模様を表現するよう、織パターンを逆算し、織パターンのちがいによる反射関数の変化を最適化しています
・実用の可能性と今後の課題
前述の流体シミュレーションの制御と同様、本研究も映像制作現場での利用価値は高いと考えています。リアルなCG画像の表現技術は、最近の映像作品では欠かすことのできない重要な要素技術です。しかし、物理的な制約を満たしたまま、目的の映像を表現することは困難です。本研究では、物理法則を意識しながら、ユーザーが満足できる、それらしい映像を表現する手法を提案しています。しかし、どのくらい物理法則から逸脱すると画像のリアリズム、あるいは自然さが失われるのかは明らかではありません。これは視覚心理や脳科学にもつながる難しい課題ですが、それらの分野と連携して解決していきたいと思っています。
・参考文献
［1］Y. Dobashi, W. Iwasaki, A. Ono, T. Yamamoto, Y. Yue, T. Nishita, "An Inverse Problem Approach for Automatically Adjusting the Parameters for Rendering Clouds Using Photographs," ACM Trans. on Graphics, Vol. 31, No. 6（Proc. SIGGRAPH Asia 2012）, Article 145, 2012-12
［2］岩崎 航, 土橋宜典, 山本 強, "Radial Basis Functionを用いた雲のボリュームレンダリングの編集システム," 電子情報通信学会 論文誌D Vol. J95-D No. 2 pp. 297-304, 2012
［3］Y. Dobashi, K. Iwasaki, M. Okabe, et al, "Inverse appearance modeling of interwoven cloth," Vis Comput 35, 175-190, 2019
info.
-
-
月刊CGWORLD + digital video vol.259（2020年3月号）
第1特集：漫画制作に活かす3DCG
第2特集：エンバイロンメント・ハック
定価：1,540円（税込）
判型：A4ワイド
総ページ数：128
発売日：2020年2月10日
cgworld.jp/magazine/cgw259.html
