第7回：Visual Computing / グラフィクスとCAD 合同シンポジウム2017「協創で築く豊かな画像文化−Enriched Imaging Culture by Co-innovation」レポート

記事の目次

2017年6月23日・24日の二日間にわたり、一橋大学一橋講堂（東京都千代田区）にて、「Visual Computing / グラフィクスとCAD 合同シンポジウム 2017」が開催された。3つの学会（画像電子学会 Visual Computing研究会、情報処理学会コンピュータグラフィックスとビジュアル情報学研究会、映像情報メディア学会映像表現＆コンピュターグラフィックス研究委員会）により主催される同シンポジウム（特別後援にCG-ARTSがある）は、日本最高レベルのCGおよび画像処理の研究者による学術発表の場であり、SIGGRAPHなどの国際カンファレンスへの登竜門として位置づけられている。本稿は、2日間に渡るシンポジウムのレポートである。

ロビーでの企業展示（FOVE）
www.getfove.com
ポスターセッションの様子

シンポジウムの開催場所には500座席を数える大講堂がある。シンポジウムの1日目はこの大講堂で開催された。大講堂のロビーではアイトラッキングVRヘッドセットのFOVEや、ゲームエンジン・ミドルウェアの開発、販売を行なっているシリコンスタジオ、顔写真1枚から3Dアバターを作成し、臨場感に富んだコミュニケーションを実現するVRアプリ「EmbodyMe」など数々のグラフィックス関連企業の展示が行われていた。また同ロビーには、研究発表を掲示して発表するポスターセッションの場が設けられており、各自が自分の研究内容を発表しながら、多くの人とコミュニケーションが取れるようになっていた。さらに、インターンシップコーナーも設置されており、優秀な学生を採用すべく多くの企業が参加していた。

大講堂での主となる発表は、プログラム委員会によって採択された論文の口頭発表である。口頭発表は、テーマごとに3つの論文が一括りとなった7つのセッション（3Dモデル生成・検索、画像特徴解析、コンテンツ関連技術、形状処理・反射計測、映像生成・評価、データドリブン映像生成、形状モデリング技術）に分かれており、2日間で合計21もの発表が行われた。

モデリング作業の簡易化に関する研究

口頭発表およびポスターセッションでは、CGや映像制作の現場でも実際に課題となるテーマに対し、コスト削減・クオリティ向上に繋がる応用研究が多くみられた。芝浦工業大学工学部ならびに立命館大学情報理工学部の井尻敬氏らによる、「X線CTと写真を用いたテクスチャ付き三次元モデルの生成法」は、虫や花などの自然物のテクスチャつき3Dモデル構築を実現する研究だ。CTスキャンしたテクスチャ無しの3Dモデルに対し、デジタルカメラで複数視点から撮影した画像をDiffuseMapとして3Dモデルにマッピングしていく。このマッピングは、対象物の輪郭情報を利用したカメラ位置推定を用いることによって実現されており、これにより高精細なテクスチャつき3Dモデルを自動的に生成することができる。

テクスチャつき3Dモデルの出力結果
出典：「X線CTと写真を用いたテクスチャ付き三次元モデルの生成法 Visual Computing / グラフィクスと CAD合同シンポジウム 2017講演論文集」（井尻敬、藤堂英樹、小檜山賢二、平林晃、土橋宜典）より

同じくモデリング手法の研究である筑波大学大学院システム情報工学研究科田中慎一氏らによるポスター発表「簡略化モデルによる折紙形状構築手法」は、折紙CGの外観のみを、容易に本物らしくつくり上げる研究である。この研究は折紙の内部構造（折り方）を無視し、外観を素早く構築することに主眼を置いている。実物の折紙の写真を参照しながらアプリケーションでXY平面のメッシュをつくり、折り方のアノテーションを指定するだけで外観が整った折紙の3Dモデルができ上がる。このようにソリューション、アプリケーションとしてすでに実用可能な研究が多くみられた。次に、その中でも、映像制作の編集機能として期待できる研究を紹介しよう。

折紙CGの作成アプリケーションのインタフェース
出典：「簡略化モデルによる折紙形状構築手法 Visual Computing / グラフィクスと CAD合同シンポジウム 2017 ポスター発表論文集」（田中慎一、遠藤結城、金森由博、三谷純）より

一人称視点映像に必須なシームレスなシーン遷移手法

映像技法のひとつにカメラをある程度の時間回し続ける"長回し"という技法がある。分単位にもなる印象的なショットは緊迫感・臨場感を視聴者に与え、多くの映像作品で取り入れられている。アクションゲーム『GRAVITY DAZE 2』のプロモーションPV #重力猫『GRAVITY CAT / 重力的眩暈子猫編』（2017）のVFXを織り交ぜた3分を超える一人称視点の長回しは記憶に新しい。一方、長回しは制作難易度の高さから、その制作手法もトピックとなっており、例えば映画『トゥモローワールド』（2006）では登場人物のフレームアウトのタイミングで2つのショットを接続し、VFXで接続箇所をバレ消しすることで継ぎ目をシームレスに接続している。このようにポストエフェクトでの長回し制作も盛んに行われているが、監督・プロダクション独自の工夫とハイレベルなポスプロで成り立っているのが現実だ。そのためエンドユーザーが編集ソフトのエフェクト感覚で長回しをつくることは難しい。

#重力猫『GRAVITY CAT / 重力的眩暈子猫編』
メイキング記事はこちら

駒澤大学グローバル・メディア・スタディーズ学部の研究者平井辰典氏による「シーン間の接続コストに基づくシームレスな動画シーンの遷移手法」は、ポスプロでの長回し制作が飛躍的に容易になることを予感させる研究だ。この研究は2つの異なるショットをまるでひと続きのショットのようにシームレスに繋ぎ合わせることができる。これは接続したいフレーム中の境界面のエネルギーの最小を解く「グラフカット法」を応用することで実現している。接続したい2つのショットの中で最も自然に接続できるフレームを探索し、その2つのフレームを接続する。接続の見た目は、モーフィングなど画像を歪ませたりはせずに、2つの微妙に異なるフレームが一枚絵になるように、最適な領域でそれぞれトリミングされ、合体している形だ。これが数フレームでトランジションしていく。

2つのショットの接続方法の概念図
出典：「シーン間の接続コストに基づくシームレスな動画シーンの遷移手法 Visual Computing / グラフィクスと CAD合同シンポジウム 2017講演論文集」（平井辰典）より

下の画像は2つのショットが接続され一枚絵になっているフレームである。カメラワークが多少異なっていても同じ場所から撮った映像ならば、自然な見た目に見える。もちろん、最終出力の完成度には、接続したい2ショットの撮り方・選定が最重要ではあるが、自動的に2ショットの最適な接続オフセット・接続領域面が算出されることが魅力的である。後は接続領域面に対しディストーション系のポストエフェクトをかければ自然なワンカットに見えるだろう。長回しが多用される360°映像のポスプロ支援など、応用先もこれからさらに広がっていくだろう。

2つのショットが接続されたフレーム
出典：「シーン間の接続コストに基づくシームレスな動画シーンの遷移手法 Visual Computing / グラフィクスと CAD合同シンポジウム 2017講演論文集」（平井辰典）より

次ページ：ゲームプロダクションによる特別セッション

[[SplitPage]]

ゲームプロダクションによる特別セッション

同シンポジウムの招待講演枠では、ゲームプロダクションのエンジニアによる特別セッションも設けられた。ポリフォニー・デジタルの内村創氏による「ゲームは上手にウソをつく - 色彩工学のゲームへの応用を例に」では、色彩工学を軸としたフォトリアリスティックなCGIをレンダリングするための実践的な手法が解説された。つぎにカプコンの清水昭尋氏が、全世界出荷300万本を突破した『バイオハザード7』のレンダリング技術について解説した。その中で、ゲーム機本体のGPU制限の中で、1080p・60fpsを達成しながら、高リアリティなリアルタイムレンダリングをおこなうための実践的な手法について詳説された。清水氏はレンダリングやその周辺技術に関して「アーティストの制作工程で、良質なイテレーションをもたらすこと」という明確な目標を置いていた。清水氏らが開発した技術は、創ったものを見て感じて修正することを繰り返し、ものづくりをおこなうアーティストの才能が遺憾なく発揮できるようにするのである。

カプコンの清水氏の講演「バイオハザード7のレンダリング技術」の様子

また、記憶に新しいGame Developers Conference 2017で発表を行なったスクウェア・エニックスのSadjad Siddiq氏による「Data Driven Granular Synthesis」も大変興味深いものだった。雨音をゲームに用いるとき、録音ベースの手法では、小雨と大雨の変化を表現するのが難しい。そこで、Granular Synthesisという手法を用いて、録音した雨の音源から、自動的にノイズや細かな粒子（グレイン）に分割し、それらの合成パラメータを推定して再配置することで、新たな音を合成する手法を開発した。この手法であれば、パラメータ調整により任意の雨音を作成することができ、制作に柔軟性が生まれる。この手法は、水の音や紙のめくれる音などでとくに効果を発揮するようだ。このプロダクションセッションでは、企業技術の発表であるため、写真・録音などが禁止されている発表もあったが、セッション後のQ&Aではポスターセッションや口頭発表者の若手研究者が積極的にエンジニアに質問をしていた。

SIGGRAPH 2017採択論文の研究者による発表

もうひとつの招待講演では、SIGGRAPH 2017に採択された論文の執筆者らによる発表が行われた。国際カンファレンスへの登竜門として位置づけられている同シンポジウムに参加した若手研究者にとっては、国際的に活躍する研究者の発表を直接聞ける貴重なセッションである。このセッションは2時間で6つの論文の発表が行われた。

エジンバラ大学の研究者である幸村琢氏およびDaniel Holden氏と、Method Studiosの研究者齊藤淳氏による「歩容の位相で関数化された神経回路網を用いた仮想的な人物の制御」は、テクノロジーメディアのTechCrunchでも取り上げられた注目のキャラクターアニメーション技術である。幸村氏による同シンポジウムでの研究発表では、この手法では、歩く、走る、跳ぶなどの歩容動作の位相を入力としたニューラルネットワークを用いて、3D空間のキャラクターアニメーションをリアルタイム制御する。仮想空間の地形データとその空間での大量の動作をこの手法で事前に学習させることで、キャラクターは環境の地形データや事前の姿勢、ユーザーの制御の入力に対する最適な動作をリアルタイムで計算できる。この手法を用いれば、バーチャル空間上でインタラクティブにキャラクター制御が求められるアプリケーションの実現可能性が大いに高まるだろう。Daniel Holden氏のWebサイトには、さらに詳細な情報がある。

デモ映像「Phase-Functioned Neural Networks for Character Control」
theorangeduck.com/page/phase-functioned-neural-networks-character-control

特別講演と総括

同シンポジウムの招待講演の一環で、女子高生CG Saya（関連記事はこちら）をつくりだし、今もなお彼女を成長させている3DCGアーティストTELYUKA夫妻（以下、TELYUKA）と、映画『この世界の片隅に』の片渕須直監督（以下、片渕監督）が特別講演を行なった。

TELYUKAの講演では、はじめにSayaのこれまでの制作過程の解説がなされた。フォトグラメトリ技術などは用いずに、ドローイングやスカルプティングというトラディショナルな技法でSayaの造形が創られていた。講演では、これらの制作をデジタル上で行うためのツール（道具）が如何に重要であるかを強調していた。画家や版画家などのトラディショナルなアーティストが、筆や絵の具にこだわるのと同様に、CGアーティストもまるで物質を意識するかのように、デジタルツール（道具）を扱うのだ。現実に、TELYUKAが使うCGツールは、最先端の技術であるだけでなく、ユーザーエクスペリエンスを考慮したツール（道具）となっている。品質にこだわる作業、機能、美を求めるトップアーティストが使うCG技術・ツールを造り上げるには、CGエンジニアもトップアーティストと同様のクラフツマンシップを持って、造り上げる必要があるのだろう。また、バーチャルな存在であるSayaに魅了された人々が、「Sayaにはこれから幸せな体験をして欲しい」、「人間の老いなどの体験がないのがかわいそう」など、Sayaというバーチャルな存在に共感し、思いを巡らすエピソードが紹介された。これはSayaという良質のコンテンツを見た鑑賞者が、彼女の住む世界まで想像した結果である。実際、TELYUKAは、鑑賞者に想像させることがコンテンツの良し悪しに大きく影響すると述べていた。

最後に研究者から「同じCG技術・ツールを使っているのにTELYUKAにだけがSayaのような実在感のあるCGを生み出せる理由は何か」と言った質問が上がった。「その理由は根気強さや執念深さである」との回答に対して、それは良い研究をするためと同じである、といったやり取りが質問者とTELYUKAとの間でなされた。筆者の周りには、TELYUKAのように技量と情熱を持つCGアーティストが沢山いる。彼らのほとんどがCGプロダクションというスタジオに所属して制作している。しかし、TELUYUKA夫妻は外界と隔った自身の工房に閉じこもり、自らのペースでの主体的なCG制作をすすめる。こうした制作態度における自律性がTELUYUKAの作品を見る人に、クラフツマンシップだけでなく、芸術性（アート）を感じさせて、多くの人を魅了する理由のひとつとなっているのではないだろうか。

TELYUKAの特別講演の様子

片渕監督の講演は、映画『この世界の片隅に』の舞台となる戦時下の広島県呉市の調査の模様から始まった。片渕監督は、当時の写真、地図、日記などを収集し、必要ならば聞き取り調査を行い、膨大な情報を、監督自身のためのデータベースとしてまとめあげた。そうして手に入れた知識を携えた上で物語の登場人物たちがそこで生活していたはずの現地に立ち、自らの目と足でそれらを知識から「肉体的な体験」に変えるのだった。このように「体験」を重視するのには、全てが手描きのアニメーションの世界が、我々の所属する現実世界とつながっていて欲しいという監督の思いからによる。こうして描き出された世界の構築は、鑑賞者に映画のスクリーンに直接映し出されたもの以上に、さらに外側への広がりを感じ取ってもらいたい、という監督の意図を実現している。

そうした映画の世界のスクリーン外への拡張の一環として、ストーリー上のある一日について、例えばその日空襲があったとするならば、その分単位での経過をTwitter上で（72年後の）同日同時刻に伝えることを繰り返したことを紹介した。この一連のツィートに接した人は、それまで漠然とした知識の上のものでしかなかった「空襲」の詳細を、実時間の経過を伴った「肉体的な体験」として受容できていたようだった。このように、ストーリーへの感情移入と、実際の土地での経験、時間経過感の経験により、映画をスクリーンの外側へ拡張した上で、ある種のバーチャルリアリティ化することができたように思う、と語られた。

人々を魅了してやまないTELYUKAと片渕監督の作品は、綿密で膨大な調査と手作業によって裏付けれられている。両者の講演の後、コンピュータグラフィクスの研究者から活発な質疑がなされたが、ある若手研究者はこの二組のトップアーティストの特別講演を聞いている間、現在のコンピュータグラフィクスや機械学習の技術で、果たして、アーティストの表現したいことが実現できるのか、思考を巡らせながらせながら聴講していたそうだ。インタラクティブ且つ体験的である新たな映像表現は、アーティストと研究者の密なコラボレーションによってこそ、開拓されるにちがいない。同シンポジウムは、その副題である「協創で築く豊かな画像文化」が示すように、CG技術を中心にしつつも、それによる経済から文化までを広く扱った大変有意義なシンポジウムであった。

TEXT＿亀村文彦（ロゴスコープ） / Fumihiko Kamemura（Logoscope）
高島瑛彦 / Akihiko Takashima

ロゴスコープ／Logoscope
株式会社ロゴスコープは、Digital Cinema映像制作における撮影・編集・VFX・上映に関するワークフロー構築およびコンサルティングを行なっている。とりわけACES規格に準拠したシーンリニアワークフロー、高リアリティを可能にする BT.2020 規格を土台とした認知に基づくワークフロー構築を進めている。最近は、360 度映像とVFXによる"Virtual Reality Cinema"のワークフローに力を入れている。また設立以来、博物館における収蔵品のデジタル化・デジタル情報の可視化にも取り組んでいる。

ロゴスコープ公式サイト
 Facebookページ