昨年10月に株式会社キュー・テックと株式会社ポニーキャニオンエンタープライズの合併により発足した株式会社クープが、3Dスキャンによる点群データとフォトグラメトリを組み合わせ、UE5でシーン構築を行うデジタルツイン制作サービスをスタート。江戸東京たてもの園の一部エリアを丸々再現したデモを制作し、Inter BEE 2023に出展した。そのサービスのねらいと制作の具体的なポイントについて、金苗貴宏氏と松本一成氏に聞いた。

3Dスキャンとフォトグラメトリを組み合わせてつくるデジタルツインとは

CGWORLD編集部（以下、CGW）：まずは、クープが始めたという「点群データと写真素材を使用したデジタルツインサービス」がどういったものなのか、改めて教えてください。

金苗貴宏氏（以下、金苗）：これまでにもフォトグラメトリのみ、あるいは3Dスキャンのみを使ったデジタルツインサービスは存在したのですが、当社の手法は3Dスキャンによる点群データとフォトグラメトリの2つを組み合わせてデジタルツインを作成するということが大きな特徴となっています。

CGW：そもそも、なぜデジタルツインサービスを起ち上げることになったのでしょうか、その経緯をお聞かせください。

金苗：当社では、昨年からUnreal Engine（以下、UE）を使ったプロジェクトを新規に起ち上げようと考えて、何ができるかを模索していました。その中で松本から、フォトグラメトリを使ってみてはどうだろうという提案があったんです。もともと彼は前職のアニメ制作会社でフォトグラメトリを使えないか検証していた経験があったので、それをそのまま実写へとスライドさせてみました。

また昨今、バーチャルプロダクションやデジタルツインというキーワードも盛り上がってきていることが感じられたので、市場にもニーズはあるだろうという読みがありました。

CGW：クープはデジタルツインサービスを自社のコンテンツ制作に留めておくだけでなく、他社に向けても提供する予定だそうですね。その意図はどういったところにあるのでしょう？

金苗：確かにデジタルツインの制作を社内に留めて、それを自社コンテンツとして育てていこうという企業さんもあります。しかしわれわれはそれをオープンにして、受託というかたちで社外に提供していくことによって、新しいニーズを発掘していきたいと考えました。

松本一成氏（以下、松本）：映像系の企業で、デジタルツインの受託制作に入っていくところがあまりないというのもポイントでした。

例えば建築業界だと、社内にCGクリエイターを抱えてデジタルツインをつくっている企業さんもありますが、それらは自社内サービスで留まっていることが多く、また建築系の方はアートとしての表現ノウハウをおもちのところが少ないようで、そういった会社さんがつくったデジタルツインがそのままインカメラVFXで使えるかというと厳しいところがある、というような話も聞いていました。

そういう状況を踏まえ、われわれが受託でデジタルツインを制作していけばニーズもあるだろうという判断になったんです。

CGW：3Dスキャンとフォトグラメトリを組み合わせるまでには、どのような技術的検討があったのでしょうか。

金苗：最初はフィギュアや公園のベンチなど身近なものを、スマホを使ったフォトグラメトリで作成してみるところから始めました。

そこからいろいろと調べながらハンディスキャナを使ってみたり、FAROのような3Dスキャナを使ってみたりと様々な手法を試していく中で、3Dスキャンとフォトグラメトリを組み合わせるのが一番いいんじゃないか、という結論にいたりました。

ソフトウェアについてもいろいろと検討して、3DF Zephyr、Autodesk ReCap Proなど、フォトグラメトリが使えるソフトはひと通り試しました。ただ結局、最終的にUEにもっていくにはRealityCaptureが一番使い勝手が良かったので、そこに落ち着きました。

CGW：デジタルツイン事業にあたって、クモノスコーポレーションと協業されていると伺いました。両社の役割の分担や協業にいたった経緯についてお聞かせください。

松本：クモノスさんにはスキャン周りの撮影とデータの書き出しをお任せしていて、状況によってはスキャナで撮った写真も出していただいています。

われわれは当初スキャンデータをどう扱えばいいかの知識がなく、そういったところをクモノスさんに頼ることにしました。クモノスさんもただの測量を超えて3D関連に参入したいと考えておられたようなので、一緒に研究開発をやっているような関係性ですね。

「江戸東京たてもの園」のデジタルツインデモはこうしてつくられた

CGW：3Dスキャンによる点群データとフォトグラメトリ手法を併用した具体的事例として、「江戸東京たてもの園」のデジタルツイン制作工程について詳しく教えてください。

金苗：全体のながれとしては、まず現地での3Dスキャンおよび写真撮影から始めました。

3Dスキャナによる測量、地上からの写真撮影やロッド、ドローンを使っての上空からの写真撮影などをして、そこからアライメントの合成という工程に入ります。点群データのアライメントと写真データのアライメントを合成するのですが、この工程に一番時間がかかりました。

そこが完了したら、次はモデリング工程に入り、メッシュのリトポロジーなど3Dモデルの調整をします。それが終わり次第、Substance 3D Painterでテクスチャを作成し、アセットの質感付けをしていきます。そして最後にUE5でライティング設定などをして、シーン構築を完了させました。

CGW：各工程に使用した機材やツールについて教えてください。

金苗：まず撮影には、35mmフルサイズのミラーレスカメラを3台、高所撮影用のロッドBi Rod 7.5mを1台、そのロッドに連結して使用する小型カメラRX0 Ⅱを3台、点群データ生成用のレーザースキャナとしてFARO Focus Laser Scannerを1台、ドローンはDJI MAVIC2 PROとDJI AIR2 Sの2機体を使用しました。

アライメントの合成にはRealityCaptureを使いました。モデリング工程では、作業者によってBlenderやMudboxを使い分けていました。テクスチャ作成は基本的にほとんどSubstance 3D Painterで行なっていましたが、一部の作業者はBlenderを使っていました。最終的なアウトプットが揃ってさえいれば、ツールは作業者に任せていましたね。

CGW：今回はどれくらいの範囲を対象にされたのでしょうか？

金苗：江戸東京たてもの園の東ゾーンと呼ばれる部分をほぼ丸々撮影しました。建物が全部で14棟あったので、かなりの広さでしたね。本来なら測量も2名体制でやる予定だったのですが、今回1名しか参加できなかったので、かなり大変でした。

撮影の様子

• 

• 

• 

• 

CGW：実際に撮影をしてみて難しかったところはありますか？

松本：古い建物で柱の梁などがあると、その裏を撮るために時間をかけないといけませんでした。金物屋さんのように細かいものが中にたくさん吊るしてあるような場所も時間がかかりましたね。逆に街区の撮影の場合は、その建物の外観さえあれば、あとはフォトグラメトリで補完するからということで、そんなに時間をかけずにすみました。

点群データは角がくっきり出ますが、逆にフォトグラメトリはそこが曖昧になってしまうんです。だから色や質感を出したい場合はフォトグラメトリの方が優れているんですが、建物の形状をしっかり出そうと思うなら点群データの方がいいわけです。

今回はその2つを融合させていいとこ取りをするということだったので、建物の外観などは4〜5分くらいの短時間でスキャンしていました。

ただ、あとから点群データとドローンで撮影したデータを融合させるのには苦労しました。スキャナは固定させて動かないんですが、ドローンはGPSデータを拾ってはいるものの、移動しながらの撮影なのでどうしても1～2mの誤差が出てしまうんです。なので、その2つのデータを融合させるのは大変でした。

それに、今回は事前に準備してドローンを使用できましたが、ドローンが使えない場合に高い建物を撮影するときは、どうしてもBi Rodの使用が重要になってくると感じました。ただBi Rodでの撮影もオーバーラップを考えて撮っておかないと、あとから大量にコントロールポイントを打つはめになってしまいますね。

今回色々と苦労した点はありましたが、色んな意味で機材の検証もできましたし、建物の形状も様々だったので、かなり勉強になったと思います。

アライメント合成

• 

• 

• 

• 

CGW：撮影後、出来上がった3DCGモデルはどの程度調整されましたか？

金苗：当初の予定では一人称視点で作ろうと考えていたので、建物の正面はできるだけメッシュを綺麗に整えました。穴が空いているところは、RealityCapture上で埋めました。DCCツールで埋めると、RealityCaptureにもってきたときに上手くテクスチャを貼れないらしいので。

またガラスなどは3Dスキャナが測定できないので、その部分もあとからCGで修正していきましたね。木の葉っぱや草などは、点群データだと綺麗に形が出るんですが、フォトグラメトリだと塊になってしまうので、そのあたりもCGで置き直しをしています。

モデル調整の例

• 

• 

• 

• 

• 

• 

• 

• 

様々な業界にデジタルツインを提供していきたい

CGW：今回の制作を通じて見えてきた課題についてお聞かせください。

松本：課題として感じたのは、レンズの問題がその後の制作に大きく影響するということですね。35㎜や28㎜で固定して撮影するより、もっと寄った方がいいんじゃないかとか、対象や状況に応じて適切なレンズを選択する必要を感じました。

それから天候にも大きく左右されます。夏は日が照ったときのシャドウがはっきりしすぎるので、フォトグラメトリには向きません。あるいは昭和の建物は暗いものが多いので、ワイドのレンズを使って開けていった方がいいのかとか……その時々に応じてどのようなレンズを使うべきかのノウハウを蓄積していくべきだと感じました。

CGW：先日開催されたInter BEEで、このデジタルツインサービスのデモ展示をされたとのことですが、手応えはいかがでしたか？

金苗：思った以上に反響が大きかったですね。当日までは、当社の目指すデジタルツインがどこまで受け容れてもらえるのかかなり心配していたんですが、初日からかなり多くの人に観ていただけました。様々な業界からの反応も良かったです。

InterBEEでの展示の様子

• 

• 

CGW：例えばどのような業界の方が興味を示されていたんでしょうか？

金苗：特にテレビ局の方が興味を示してくださいました。デジタルセットという考え方と相性が良かったようです。それから360度カメラのMatterportを使ってらっしゃるメーカーさんなどが、当社のようなフォトグラメトリと点群データの組み合わせ方式でデジタルツインの制作ができるということを面白く感じていただけたようです。

また、バーチャルスタジオをお持ちの企業さんや、美術館関係の方からもからも興味を示していただけました。想像していた以上に幅広い業界から反応をいただけましたね。

CGW：最後に、今後のサービス展開予定や、展望などについて教えてください。

金苗：先ほどの話にも少し出ましたが、テレビ業界や美術関係、インカメラVFXの背景など、そういった分野にサービス展開をしていければと思っています。ただデジタルツインというものに対して業界やメーカーさんごとに捉え方が違うようなので、そこはお客様の反応を見つつ、われわれのほうで技術をカスタマイズして提供していければと考えています。

テレビをはじめとした映像業界の方々はデジタルセットなどを求められていますし、美術関係の方々は美術品をデジタルツインでアーカイブしてみたいと考えられているようです。

また、デジタルツインを取っかかりとして、これからUEを含めた映像表現をどうしていくかということについても考えていかなければならないと思っています。

CGW：やはり今後もUEを主軸として考えられているのでしょうか。

松本：NeRFなども、映像用のVコンテなどにちょっと使ってみたりしていますし、UEだけでなくUnityが使えるスタッフも在籍しているので、Unityでどう事業を展開できるかということも検討はしています。ただ、やはり現状、映像業界としてはUEを用いたインカメラVFXが主流となりつつあるので、どうしてもそこを中心に考えていくことにはなりますね。

ただ技術部門から言えば、もっといろんなことを試したいし、もっとできることはあるんじゃないかとも思っています。この業界は進歩が早くてすぐに置いて行かれそうになりますし、UEはできることが多すぎて、何のために使うのかを考えていかないと焦点を失ってしまうという怖さもあるんですよ。

まだまだ学ぶことも多いですし、われわれは後発なので、いろいろなことを検証しながらやっていきたいと思います。

CGW：ありがとうございました。

問い合わせ

digital_twin@qooop.co.jp