＜2＞多方面にわたる今年の注目論文（順不同）
01●Interactive Video Stylization Using Few-shot Patch-based Training
ondrejtexler.github.io/patch-based_training
チェコ工科大学と世界的にヒットしたチャットアプリ「Snapchat」のSnap社の共同研究。ある画風の雰囲気を画像や動画に反映するスタイル変換技術。もとのコンテンツは生かし、そのスタイル、雰囲気だけを入れ替えることができる。従来からこのようなスタイル変換は人気だが、本研究ではインタラクティブに行える点が特徴。1枚または複数枚の手書き画像から動画の各フレーム全体のスタイル変換が可能であり、長時間の事前学習や、大規模なデータセットでの学習を必要としないところも実用性が高い点だ
02●DeepFaceDrawing：Deep Generation of Face Images From Sketchesg
www.geometrylearning.com/DeepFaceDrawing
ラフな手書きスケッチや不完全なスケッチの似顔絵からリアルな顔写真をリアルタイムに合成する技術。スケッチが得意な人や、アーティストでなくとも一般の誰でも使えることが研究調査で確認されている。単なる似顔絵であれば、顔の特徴を強調して描く傾向があるため、そのままリアルな画像化しても実在しない変な顔になってしまうところをスケッチと対比する顔画像パーツの拘束条件を緩やかにすることで自然な顔画像を生成しているそう。顔の各パーツを右目、左目、鼻、口、その他の要素に分けて扱い、それぞれスケッチとの類似度をパラメーター調整することができる。また顔のパーツや顔の輪郭をコピーペーストする機能も実現している
03●RoboCut：Hot-wire Cutting With Robot-controlled Flexible Rods
people.inf.ethz.ch/poranner/papers/hotwirecutter/hotwirecutter.pdf
発砲スチロールをホットワイヤーで切断したことはないだろうか？ 本研究はホットワイヤーをもたせた細かな動作コントロール可能な工業用ロボットに人間には不可能な複雑な形状をカットさせるしくみだ。切断の順序を考えた上で立方体形状の発砲スチロールからCG研究では定番のうさぎ「スタンフォードバニー」などさまざまな形状が切り出される様子は圧巻。人が扱うホットワイヤーの場合、直線のものが多いが、工業用ロボットの2つの腕を用いて曲線に構えたホットワイヤーをコントロールできるのもポイントだ
04●Tactile Rendering Based on Skin Stress Optimization
www.mverschoor.nl/wp/publications/tactile-rendering-based-on-skin-stress-optimization
CG/VR空間における触覚を、実際の指先で感じられるようにする、触覚レンダリング技術。指先にかかる力の分布を計算し、触ったという感覚だけでなく、角を触った感覚や摩擦も表現することができる。高速化の工夫がなされており、リアルタイムで再現することが可能だ。BioTacという市販の指型触覚センサーを活用し、そのセンサーが「同じものを触った」と感じられるよう機械学習させていく。指先に触れる小さな円柱状のディスクの向きや接触具合をコントロールすることで「◯◯を触った」を感じさせている
05●One Shot 3D Photography
facebookresearch.github.io/one_shot_3d_photography
1枚の画像から写っているオブジェクトや奥行きを推定し、カメラが動いているかのように視点移動できる効果を得る方法として3D Ken Burnsが知られている。本研究は同様の3Dエフェクトをより高精度でダイナミックに変化させられる手法だ。最近のニーズを考え、スマートフォンでの利用に最適化されており、処理速度が早くメモリ使用量が少なくて済む手法となっている。本研究の成果としてソースコードが公開されている（https://github.com/facebookresearch/one_shot_3d_photography）。Facebookのリサーチチームによる研究
06●The Eyes Have It：An Integrated Eye and Face Model for Photorealistic Facial Animation
research.fb.com/publications/the-eyes-have-it-an-integrated-eye-and-face-model-for-photorealistic-facial-animation
Facebookリサーチチームによる、VRアバターの眼をリアルに表現しようというアプローチ。通常のビデオ会議でも起こる目線が合う合わないといった課題を解決する方法としても期待されている。従来の研究では不気味な歪みやボケが生じたり、頻度の低い細かな眼の動きが再現できなかったりするという課題があり、これらを解決しようというのが本研究。実際に存在する人物の眼を再現したものなので、実際のVRチャットのCGキャラクターなどに応用するにはまだ技術的課題があると考えられる。Explicit Eyeball Model (EEM) と命名された眼球モデルを使っている
07●N-Dimensional Rigid Body Dynamics
marctenbosch.com/ndphysics
別名4D Toysと名付けられた本研究は三次元を超えた高次元オブジェクトを表現する研究。四次元形状が衝突したり跳ねたり変化する様子が三次元空間で確認することができる。「4D Toys」はiPhoneのアプリやVRアプリとして販売されている。この考えを応用した四次元パズルアプリ「Miegakure」など、多方面に展開している
08●Robust Motion In-betweening
montreal.ubisoft.com/en/automatic-in-betweening-for-faster-animation-authoring
あるキーフレームとキーフレームの間の動きを滑らかに補完する技術。フランスのゲーム会社Ubisoftによる研究。2016年頃にUbisoftが発表したMotion Matching研究の発展と思われる。もともとオープンワールドでの戦闘系ゲームでは、登場キャラクターの移動が大変多い。この移動の際、手づけのアニメーションもしくはパターン化されたアニメーションの組み合わせで実現するとどうしても少ないパターンで表現せざるを得ず、説得力のあるリアルな動きの表現が難しい。本研究の素材としてはモーションキャプチャのデータを利用し、キーフレーム間の遷移を滑らかに表現している
09●Generating Digital Painting Lighting Effects via RGB-space Geometry
lllyasviel.github.io/PaintingLight
PaintingLightと命名された本プロジェクトは手書きのイラスト画像に照明効果を追加する手法。手書き画像に光と陰の表現が書き加えられ、照明の当たり具合を調整することもできる。もともと光や陰の部分は、手書きの線を描くストロークが多いという観点から考えられたアルゴリズムで、アーティストはざっと光と陰を描いておくと、後でエフェクトを容易に追加できるという便利さがあるツールだ。PaintingLightはソースコードが公開されている（github.com/lllyasviel/PaintingLight）
10●Code Replicability in Computer Graphics
replicability.graphics
2014年以降のSIGGRAPHの論文のうち、2014・2016・2018・2019年の半数程度の論文をチェックし、その発表内容のソースコードが公開されているか？ 入手して再現可能か？ を試したサーベイ論文。先進性が求められるSIGGRAPHでこのタイプの論文が採択されるのは珍しい。それだけこの量を調査したことの価値と、SIGGRAPH論文で机上の空論を述べるのではなく、実際に動くものを示すことの重要性がアピールされた形になる。この調査では436論文中181論文のソースコードが公開されており、そのうち139論文が再現可能であったとのこと
＜3＞SIGGRAPHアワード受賞者発表、そして次回の開催は......
SIGGRAPHでは毎年CG研究の貢献者、新進気鋭の若手を表彰するアワードが行われます。今年の功績賞は、物理ベースレンダリングの研究で知られるKavita Bala氏が受賞しました。Bala氏は現在、米国コーネル大学のコンピュータサイエンス学科長を務め『Advanced Global Illumination』の共著者でもあります。最近ではディープラーニングを活用した画像認識にも手を広げ、その分野の新進企業GrokStyle社の共同創業者でもあります。
Achievement Award：Kavita Bala
もう一人、若手の研究者で成果を上げつつ将来に期待を寄せる人物を表彰するThe Significant New Researcher Award（重要若手研究者賞）には、形状の変形やジオメトリ処理の研究分野で活躍する、トロント大学のAlec Jacobson氏が受賞しました。Jacobson氏の研究として知られるのは「bounded biharmonic weights」という自動的に重み付けされたスキニングアニメーションの技術です。この技術は高速で高品質な形状変形には欠かせない手法で、Adobeのアニメーションツール「Adobe Character Animator」にも搭載されている機能です。またとても軽量なジオメトリ処理ライブラリ「libigl」の開発者の1人でもあります。
Significant New Researcher Award：Alec Jacobson
CGアート分野の功労賞には、VR黎明期からその作品を認められていた、VR界の重鎮Jeffrey Shaw氏が受賞しました。Jeffrey Shaw氏はVRを活用したインタラクティブアート、没入型メディアアートのパイオニアで、1960年代からさまざまな作品を発表しており、現代のVRにも大きな影響を与えています。Jeffrey Shaw氏の作品は日本でも新宿初台にあるNTT ICCに何度か展示されたことがあり、自転車を漕ぐとVR映像がダイナミックに変化する「Legible City」という作品を覚えている方もいらっしゃるかもしれません。
Distinguished Artist Award：Jeffrey Shaw
次回、日本の冬季期間中開催されるSIGGRAPH ASIA 2020は韓国のデグ市で開催される予定でしたが、今年は全てオンラインでの開催が決まりました。12月4日～13日の9日間開催されます。また、来年のSIGGRAPH 2021は、米国ロサンゼルスで8月1日～5日の5日間開催される予定ですが、今後どうなるのかは未定です。CG/VFX業界も新型コロナウイルスの影響を受け大変厳しい状況ではありますが、映像制作の際の現地ロケがCG/VFX合成で置き換えられたり、デジタルワークフローツールを最大限に活用してリモートワークで映像制作を進めたりと、様々な試行錯誤をしつつ、乗り越えようとしている段階です。
