フォトグラメトリがCG制作を変える！　AVATTA、アタリが語るフォトグラメトリの現状と未来　～「CGWORLD 2017 クリエイティブカンファレンス」（1）〜

11月5日に開催された「CGWORLD 2017 クリエイティブカンファレンス」において、都内でフォトグラメトリ技術をベースに活動するAVATTAと、デジタルコンテンツの開発・マーケティングなどを手がけるアタリが合同で「as real as it gets」と題したセッションを行なった。スピーカーはAVATTA代表で元カメラマンの桐島ローランド氏、そしてアタリで3DCGアーティストとして活躍するショーン仲山氏。両氏はフォトグラメトリを活用した制止画やVRコンテンツなどのワークフローと、その可能性について解説した。

TEXT＿小野憲史 / Kenji Ono
EDIT＿山田桃子 / Momoko Yamada
PHOTO＿弘田充 / Mitsuru Hirota

＜1＞フォトグラメトリで最高クオリティの写真集をつくる

フォトグラメトリとは3次元の物体を複数の観測点から撮影して得た2次元画像から、視差情報を解析して寸法・形状を求める写真測量のことだ。航空写真から地図の等高線を作成するために発達した手法で、最近ではデジタルカメラで撮影した複数の画像データをPC上で処理し、物体の3次元座標値が得られるまでに小型化・軽量化している。エンタテインメント分野においても、家庭用ゲーム『バイオハザード7 レジエントイービル』で使用されたのをはじめ、近年急速に採用事例が増加している。
参考・一部引用元：Weblio辞書, www.weblio.jp/content/フォトグラメトリ

もともとカメラマンだった桐島氏がこの技術について知ったのは、3年前に視察で訪れたシリコンバレーでのこと。その可能性を確信した桐島氏は、帰国後すぐに研究開発を進め、フォトグラメトリの撮影サービスなどを手がけるAVATTAを起業した。現在では国内有数のフォトグラメトリスタジオとして、業界内で確かな地位を占めるまでにいたっている。なお、AVATTAは現在、同セッションで共同講演を手がけたアタリと経営統合しており、さらなる飛躍をめざして挑戦を続けている。

AVATTAのフォトグラメトリスタジオ。ニコン製デジタル一眼レフのエントリーモデルが120台以上設置され、ライティングとも同期し、一度に360度からの写真が撮影できるようになっている

フォトグラメトリ用のツールにはRealityCapture（CapturingReality社）が使用されている。桐島氏曰く「サーフェスが苦手だが、速度が速く、クオリティも高い。レーザースキャナでキャプチャしたデータと自動で統合させることもできる」とのこと。データは大きくスマホコンテンツ用・家庭用ゲーム/動画用・静止画用で解像度を分けている。「1度に3種類のデータを自動で作成できるようなツールが欲しいが、まだニッチすぎて、どこも開発してくれない」とのことだ

セッションは二部構成となり、前半では2016年6月に出版されたグラビア写真集『月刊ドロンジョ dronjo by 御伽ねこむ』の制作ワークフローを紹介。後半では北九州市門司区にある観光スポット「門司港レトロ」の一角から、旧門司税関のVRコンテンツ開発における、フォトグラメトリを活用した計測事例について解説が行われた。講演はフォトグラメトリ部分を桐島氏、3DCG制作を仲山氏が担当し、軽妙なトークで展開。聴講側からも活発な質疑応答が行なわれるなど、業界内での関心度の高さが感じられた。

「メイキングオブ月刊ドロンジョ」
アニメキャラクターの3DCG写真集『月刊アニメシリーズ』第二段として出版された『月刊ドロンジョ』。コスプレイヤー・御伽ねこむのコスプレ写真をベースに制作された「御伽ねこむ3Dドロンジョ」が描き下ろしイラストとともに合成されている

『月刊ドロンジョ』はアニメ『ヤッターマン』に登場する悪女・ドロンジョをテーマにしたコスプレ写真集だ。もっとも、通常の写真集と異なる点に、モデルの御伽ねこむをフォトグラメトリで3Dキャプチャし、別途作成した衣装の3DCGデータとマージさせて、3DCGキャラクターを作成。これにポーズをつけてレンダリング出力した上で、別途撮影しておいた背景写真と合成し、静止画3DCGに仕上げている点がある。これだけをみると、通常の写真集撮影と比べて、大変な手間のように感じられる。

講演内では「あえてフォトグラメトリを使用するメリット」について明確に述べられることはなかったが、後日メールで問い合わせたところ、次のようなコメントが得られた。「コスプレ写真集に限らず、3DCGの技術が追いつきてきたことで、タレント・モデルの拘束時間を減らしつつ、自由な衣装・ライティング・ロケーションを活用した、思い通りのアウトプットが可能になってきました。それだけにクオリティに対して言い訳ができない状況になってきています。現在はまだ従来の撮影フローの方がコスト面で勝っていますが、3DCGの自動化などが進み、コストが低下していくと、『ビジュアル制作』の世界にイノベーションがおきると考えられます」（桐島氏）。

実際にハリウッド映画では『ブレードランナー 2049』をはじめ、すでにフォトグラメトリが多用されている。国内でもテレビCM、映画、ゲームなどで活用が進んでおり、AVATTAでも人手不足で嬉しい悲鳴を上げているという。ちなみに衣装の3DCG制作ではMarvelous designerが使用されており、ファッションデザイナーの素養があるアーティストが加わることで、さらにクオリティの高い3DCGが制作できるようになる......桐島氏はそのように見通しを語った。

①スタジオで撮影

写真集撮影はフォトグラメトリスタジオでモデルを3Dキャプチャするところからスタートする。撮影機材となるデジカメにはニコンの普及型デジタル一眼レフカメラが使用されている。桐島氏はフォトグラメトリの長所として「モデルデータだけでなく、テクスチャも同時に撮影できる点」をあげた。もっともエナメル製品など反射率の高い素材は、現状ではキャプチャできない点が課題で、AVATTAでも研究開発を行なっている最中だという。

「理論的には全てのカメラのレンズとライトにPL（偏光）フィルタを設置し、オンオフをシャッターと完全に同期させれば、反射率の高い素材でも撮影できます。フォトグラメトリスタジオではイギリスのINFINITE-REALITIESが世界最高水準を誇っており、彼らはその技術をもっています。弊社も世界で三本の指に入ると自負しており、鋭意努力中です」（桐島氏）。

モデルを取り囲むように360度から同時に撮影された写真群。当時は84台のカメラを使用していたが、現在は126台まで追加された。3DCGによるライティングで影響がでないように、撮影時はライティングをフラットにするのがポイントだ

撮影した写真をもとに、RealityCapture上で点群データからポリゴンモデル作成、ノイズ除去、テクスチャの貼り付けまで行なっていく。点群と共にテクスチャまで撮影できる点がフォトグラメトリの強みだ。後ほど3DCG上でコスプレ衣装を「着用させる」ため、モデルも裸体に近い状態で撮影されている

作成されたポリゴンモデルとテクスチャの貼り付けが終了した状況。頭部がコスプレ衣装で隠れるため、髪の毛はヘアーネットでまとめられている。「髪をゆらすには別に3DCGでつくっておいて、マージさせるしかありません。相当コストがかかる部分です」（桐島氏）。なお、当時のデータは全身で180万ポリゴンだったが、現在は860万ポリゴンまで精度が高められている

②衣装の作成

すでに述べたように、衣装はMarvelous designerで型紙から作成し、オブジェクト化したものに対して、ディティールをZBrushでつけていく。ブーツや小物類など型紙から作成できないものは、別途ZBrushでスカルプトし、オブジェクト化していく。これらを3DCG化したモデルとMaya上でマージさせ、仕上げを施していく。サイドヘアーについてもCGで作成したものを、Maya上で追加。後ほどポージングさせる必要があるため、リギングなどもすませておく。

衣装はMarvelous designerで型紙から作成し、オブジェクト化したものに対して、ディテールをZbrushでつけていく。こうした手順を踏むことで、リアルなクロスシミュレーションが再現できるようになる

ブーツなど布ではないアイテムや、小物類などはZBrushで作成し、オブジェクト化してMaya上でマージする

一連の修正作業が終了した衣装の3Dデータ。写真集用途なので、ハイポリで作成されている

フォトグラメトリで3Dモデル化した人体の3DCGモデルとMaya上でマージさせる。その後、シェーダやアルファ値などを追加するなどして、最終モデルに仕上げていく。ポーズづけができるようにリギングも実施。サイドヘアーも別途、3DCGで追加されている

③背景をHDRIで撮影して合成

キャラクター作成と並行して写真集の背景素材も撮影していく。単に背景写真を撮影し、Photoshopで合成するだけでは、色味がなじまないなどの問題が発生するため、HDRIによるパノラマ写真を別途撮影しておき、レンダリング時にキャラクターの環境光として使用する点がポイントだ。また、写真集の背景を撮影する場合は、同時にモデルをポージングさせた写真も撮影しておき、リファレンスとして活用している。

なお、HDRI写真を撮影するには、1アングルにつき5～10段階で露出を変えながら撮影する必要がある。桐島氏は昨今、ブラケット機能（1度のシャッターで露出を変えた複数の写真を撮影する機能のこと）に長けた、オリンパスのデジタル一眼レフカメラ「OM-D」シリーズを使用しているという。また、撮影はモデルの顔の高さで行うのもポイントだと補足した。

背景画像が用意できたら、Maya上でキャラクターをポージングさせ、V-Rayでレンダリングして静止画を作成。最後に両者をPhotoshopで合成し、細かいレタッチをほどこして完成となる。桐島氏は「近年ではモデルさんもPhotoshopで修正できることを良くご存じなので、細かい指示が増える傾向にあります。それだけにクオリティについても妥協できない時代になっていますね」とコメントした。

写真集の背景となる場所をHDRIで撮影し、360度のパノラマ写真に合成する。機材はデジタル一眼レフカメラに魚眼レンズを装着し、パノラマ撮影専用の雲台を三脚に装着して使用している。1アングルにつきアンダーからオーバーまで10段階程度撮影し、ツール上でHDRIファイルを作成後、パノラマ写真に合成して使用する。HDRI画像を作成するのは、3DCGのキャラクターと背景のライティングを適切になじませるためのデータとして活用するため

パノラマ写真とは別に、写真集で使用するための背景画像を撮影する。完成画像のリファレンス用にモデルを立たせたカットと、モデルなしで背景のみのカットを撮影する。その後、Maya上で配置したキャラクターの3DCGデータにポーズをつけ、服の皺などのディティールをZBrushで調整する

HDRIによる環境光のデータをもとに、V-Rayで3DCGキャラクターをレンダリング。Photoshopで背景画像と合成し、レタッチして完成する

レファレンスから完成画像までの一連のながれ。こうした手順を踏むことで、人間をベースにした3Dデータに、3DCGで作成したコスプレ衣装を着用させた、これまでにない写真集が作成できた

次ページ：
＜2＞歴史的建造物を3DCG化してVRコンテンツを作成

[[SplitPage]]

＜2＞歴史的建造物を3DCG化してVRコンテンツを作成

前述のようにAVATTAではフォトグラメトリスタジオでの作業に加えて、様々なコンテンツ制作分野に乗り出している。中でも引き合いが増えているのが、屋外の建造物の3DCG化だ。北九州市の観光スポット「門司港レトロ」にある旧門司税関の3DCG化と、そのデータを元に制作されたVRコンテンツもそのひとつ。3Dキャプチャに関しては、ドローンを飛ばして空撮を行い、その写真データをもとにフォトグラメトリを実施。これ以外にレーザースキャナも活用したという。

桐島氏は3Dスキャン技術には大きく「深度センサー」、「フォトグラメトリ」、「レーザースキャナ」の3種類があり、深度センサーは精度が粗いがリアルタイム計測に向くと指摘。フォトグラメトリは写真を撮影するだけなので手軽に計測でき、テクスチャも同時に撮影できるが、細部のデータが取りにくく、巨大な建造物では限界もあるとコメント。これに対してレーザースキャナは最も精度が高いが、計測が1方向のみに限られ、データ量が膨大になるなど、共に一長一短があると語った。

建造物のフォトグラメトリ

旧門司税関（北九州市）の外装と内装が丸ごと3Dスキャンされた例。ドローンによる空撮をベースとしたフォトグラメトリと、レーザースキャナの併用で作成された

建物の内側も3Dスキャンされ、UNREAL ENGINE 4を使用して、VRコンテンツに仕上げられている。コンテンツ内で、かくれんぼ的な簡単なインタラクションもできる

実写と見間違うようなフォトリアルな映像。ただし、スタジオ撮影と異なり、撮影時に環境光からの影響が避けられない。また、撮影時間も大きく制限される。そのため「昼間の状況と割り切る」、「窓ガラスに新聞紙を貼り付けるなどして、外光からの影響を最小限に抑える」など、状況に応じた選択が必要になるという

フェイシャルキャプチャの例

他に同社ではモーションキャプチャやフェイシャルキャプチャのサービスも行なっている。桐島氏はフォトグラメトリとこれらを組み合わせることで、フォトリアルなキャラクターを低コストで作成できるようになると指摘。すでにゲーム内で使用するモブキャラ程度なら、1日で作成できるまでになっていると語った。また仲山氏も、「今後、これらがVR技術と結びつくことで、SNS内でリアルなアバターを用いてチャットをするなど、様々な可能性が広がっていく」と見通しを語った。

AVATTAではスタジオや空撮によるフォトグラメトリ以外に、モーションキャプチャやフェイシャルキャプチャなどの業務も行なっている。顔にマーカーをつけ、60台のカメラを使用してスキャンを行い、リアルな3DCG映像に仕上げることができる

アタリ代表・飯塚岳人氏の頭部データを元に作成されたデモ映像。生首が転がりながら、頭頂と首から泡が吹き出すというシュールな映像だ

AVATTAを起業した当初は、ゲーム業界のクライアントが中心になると予測していた桐島氏。しかし、実際には国内ではモバイルゲームが中心で、引き合いがほとんどなく、広告業界からの依頼が中心だという。ただし、モバイルゲームもスマートフォンのスペック向上に伴い、どんどん3DCGのクオリティが求められるようになると指摘。またテレビCMにおいても、ハリウッド映画と同様にフォトリアルな3DCGキャラクターの活用事例が増加していくと分析した。

同講演で述べられたように、フォトグラメトリ技術は日進月歩で進化しており、3DCG制作に大きな影響を与えている。「実際にiPhone一台あれば簡単なフォトグラメトリができますし、パンフォーカス（近景から遠景までピントが全て合っている状態のこと）で撮影できる分だけ、デジタル一眼レフカメラより優れているとも言えます」（桐島氏）。今後もこの分野に注目が集まりそうだ。

「CGWORLD 2017 クリエイティブカンファレンス」
参加費：無料　※事前登録制
開催日：2017年11月5日（日）
場所：文京学院大学本郷キャンパス（東京都文京区向丘1-19-1）
主催：ボーンデジタル、文京学院大学コンテンツ多言語知財化センター
機材協力：マウスコンピューター、TSUKUMO（ツクモ）
cgworld.jp/special/cgwcc2017