コンピュータグラフィックスとインタラクティブ技術に関するトップカンファレンスであるSIGGRAPH 2021のカンファレンスが、2021年8月9日から13日まで開催された。コロナ禍の影響により昨年に引き続きオンラインで開催された同カンファレンスでは、48のセッションにおいて合計176本の技術論文が発表された。本稿では、こうした発表のなかからXRとAIに関連した注目論文を9本、紹介する。
TEXT＿吉本幸記 / Kouki Yoshimoto
EDIT＿山田桃子 / Momoko Yamada
SIGGRAPH 2021 関連リンク集
●発表された技術論文に関する全プログラム（公式ページ）
s2021.siggraph.org/full-program/?filter1=sstype123
●カンファレンスを概観する動画
●技術論文に関する動画やサンプルコードのリンク集（非公式）
kesen.realtimerendering.com/sig2021.html
1.Mid-air Drawing of Curves on 3D Surfaces in Virtual Reality
本論文は、3D仮想空間内のオブジェクトの表面に描画する際の没入感を向上させる研究を論じている。従来の仮想空間内では、オブジェクトの表面に線を書き込む際、表面の形状に沿って線を描画する処理に不自然さがあった。この問題を解決する有望な技術であるspraycanとmimicryに関して、テストユーザに試行と評価を実施してもらった。その結果、従来技術よりもユーザに評価された。今後の課題としては、インタラクティブの向上が挙げられる。VRコントローラがオブジェクトから一定距離以上離れた場合に何らかのシグナルを発する、というようなリアクションを実験してみたが、状況によってユーザの気を散らす結果となったので改善が求められる。さらには、ARオブジェクトの表面に対する描画も今後の研究対象となるという。
2. TryOnGAN: Body-aware Try-on via Layered Interpolation
tryongan.github.io/tryongan/static_files/resources/tryongan_paper.pdf
任意の衣服を着用した人物画像から他の人物が同じ衣服を着用する画像を生成するGAN（Generative adversarial networks：敵対的生成ネットワーク）はすでに存在する。しかし、従来のGANでは生成する人物画像の体型や肌の色は考慮されていなかった。本論文は体型や肌の色が異なっていても、自然な衣服着用画像を生成できるGAN「TryOnGAN」を論じている。このGANを使えば、例えば細身の白人の衣服着用画像から大柄な黒人のそれを生成できる。なお、同GANを試着用アプリなどに応用する場合は、生成結果が公平になるような注意が不可欠となる。例えば婦人服着用画像の生成に関しては、若年層の女性に関する生成結果と熟年層のそれでは年齢層に応じた体型を生成するのが望ましい。
3. Neural Complex Luminaires: Representation and Rendering
sites.cs.ucsb.edu/~lingqi/publications/paper_complum.pdf
sites.cs.ucsb.edu/~lingqi/publications/video_complum.mp4
本論文は、複雑な形状の光源のレンダリングに関する改善技術を論じている。シャンデリアのような複雑な形状をした照明器具をレンダリングする場合、光の反射経路の計算が複雑になるため計算コストが高くなる。本論文では、複雑な反射経路に関する計算を機械学習モデルで実施した。というのも、多数のパラメータ間の複雑な関係を演算する方法として、機械学習が適しているからである。機械学習を複雑な照明のレンダリングに応用した結果、計算コストを削減しながら高品質な出力が得られた。今後の課題として、出力結果の高解像度化、様々なシーンにおける照明のレンダリングに対応できるようにすること、レンダリング処理におけるパラメータを編集可能となることなどが挙げられる。
4. Discovering Diverse Athletic Jumping Strategies
www.cs.sfu.ca/~kkyin/papers/Jump.pdf
www.cs.sfu.ca/~kkyin/papers/HighJumps.mp4
本論文はAIエージェントを使って、走り高跳びに関する新しい飛び方の発見を論じている。新跳躍法の探索にあたっては走り高跳びのシミュレーション環境を用意したうえで、できるだけ高く飛べるようにAIエージェントを強化学習した。強化学習では現実の人間でも実行可能な跳び方をする、可能な限り知られていない新規の跳び方をする、という方針が採用された。その結果、いくつかの新跳躍法を発見できた。なお、現実の男子走り高跳びの世界記録は身長193cmの選手が記録した245cmであるのに対して、本論文のシミュレーションでは170cmの選手が記録した200cmであった。こうした差異は、シミュレーション環境が現実の競技環境と比較して単純化されていることに起因する。シミュレーション環境をより現実に近づければ、記録が伸びる一方で学習における計算コストが高くなると予想される。
5. Learning a Family of Motor Skills From a Single Motion Clip
mrl.snu.ac.kr/research/ProjectParameterizedMotion/ParameterizedMotion.pdf
本論文は、ひとつのモーションキャプチャデータから様々な動作のデータを生成するアルゴリズムを論じている。このアルゴリズムを使えば、ジャンプのモーションキャプチャから、重力を変えたりスピードを変えたりしたジャンプ動作を生成できる。同アルゴリズムではモーションキャプチャデータから動作を制御するパラメータを抽出したうえで、強化学習を用いてパラメータを変化させることによって多様な動作を生成する。なお、同アルゴリズムは任意の動作を速く、重く、強くすることが容易な一方で、遅く、軽く、弱くすることが困難な場合がある。こうした同アルゴリズムに制限事項が生じる原因は不明であり、今後の研究課題となる。
6. Real-time Deep Dynamic Characters
https://people.mpi-inf.mpg.de/~mhaberma/projects/2021-ddc/data/paper.pdf
本論文は、フレームだけで構成されたスケルトンモデルからテクスチャ付きの3Dキャラクターを生成するディープラーニングモデルを論じている。こうした生成が可能なのは、同モデルが任意のスケルトンモデルを入力、スケルトンモデルにもとづいて生成できる3Dキャラクターの形状とテクスチャを出力として、そうした入出力の関係を事前に学習しているからである。同モデルは、例えばスケルトンモデルを編集すると、リアルタイムでテクスチャ付きの3Dキャラクターが生成されるアプリケーションの開発に応用できる。なお、同モデルは衣服の着脱のような急激なテクスチャの変化や顔や手の細かな表情は生成できない。こうした制限事項があるものも、同モデルは3Dキャラクターのモデルリングに効率性と新たな可能性をもたらすと考えられる。
7. Learning Skeletal Articulations With Neural Blend Shapes
本論文は、3Dキャラクター制作におけるリギングとスキニングを自動的に実行するニューラルネットワークモデルを論じている。こうした自動化は、（二足歩行や四足歩行などの）特定の骨格構造をもつ3Dキャラクターに関するリギングとスキニングを同モデルが事前に学習することによって実現した。ただし、特異な骨格構造をもつ3Dキャラクターに関しては高品質な結果が望めない。この場合には、特異な骨格構造に関する追加学習を実行することで望ましい出力が得られる。本モデルは標準的なスケルトンアニメーションモデルに準拠しているため，標準的なアニメーションソフトウェアやゲームエンジンに直接接続して使用できるので、拡張機能として実装されることが期待される。
8. Total Relighting: Learning to Relight Portraits for Background Replacement
augmentedperception.github.io/total_relighting/total_relighting_paper.pdf
Googleの研究チームが発表した本論文は、任意の画像の背景の差し替えと再照明が可能なディープラーニングモデルを論じている。同モデルを活用すれば、例えば屋外で撮影したポートレート画像の背景を室内に変えたうえで、屋内照明を使った画像に変換できる。同モデルは、球状に照明を配置したドーム型撮影システム「LightStage」を活用したOLAT（One-Light-at-A-Time）画像データセットを学習したことにより、様々な照明条件の画像を生成できるようになった。同モデルを活用すれば、任意のポートレート画像における照明条件を他のポートレート画像に移し換えられる。また、任意の画像を背景画像として設定できる。さらには動画の照明条件も変えられるので、様々な応用が期待される。
9. Dynamic Upsampling of Smoke through Dictionary-based Learning
本論文は、煙の乱流シミュレーションを従来より少ない計算コストで処理するニューラルネットワークモデルを論じている。一般に煙の乱流シミュレーションは、計算コストの高い処理として知られている。本論文で論じるモデルは、計算コストが低い粗い解像度の乱流シミュレーションを精細な解像度のそれに変換する。同モデルは、粗い乱流シミュレーションと精細なそれの対応関係を学習した辞書を開発することで実現した。こうした処理原理により、同モデルの変換性能は学習データの質と量に依存する。現時点では大量かつ高品質の学習データが必要だが、今後の課題としてより少ない学習データによる実現が考えられる。
数年前から顕著に見られるようになったCG技術に対するAIの応用は、GANに代表されるような静止画の編集や生成に関連するものが注目された。しかし現在では、以上に紹介したように静止画だけではなくレンダリングやモデリング、さらにはシミュレーションにおける応用が進んでいる。近い将来、CG制作のあらゆるタスクでAI技術が応用されるようになり、AIの活用が意識されないほどに制作現場に浸透するのかも知れない。
