1分以内にガンプラをデジタルデータにするための秘策
意気揚々として、ガンプラをデジタルデータ化するための技術リサーチを開始した髙子氏だったが、イベントで使用するスキャンシステムに寄せられた要望の難易度が非常に高く、当初は頭を抱えたという。
今回のイベントでは、より多くのガンプラユーザーにスキャン体験を提供するため、1分程度でガンプラの撮影とデジタルデータへの変換を完了させ、即座にCG背景と合成してオリジナルムービーを生成。さらにその場で、すぐにユーザーのスマートフォン向けにダウンロード可能な状態にすることが必須条件となった。もちろんダウンロード後はユーザーが自由にSNS等へムービーをアップすることも可能にする。1人当たりの対応時間も、3～5分程度に収めたいというのだ。非常に厳しい条件だったが、これも多くのガンプラユーザーに楽しんでもらうためには必要なことだった。やるしかない。これにより本プロジェクトは「ガンプラのデジタルデータ化」「会場での高速なオペレーション」「ネットへのスムーズな動画共有」という3つの要素を同時に兼ね備えたシステムを実現する、とてもチャレンジングな内容になった。
システムのプロトタイプ開発に着手して、まず大きな問題になったのは、最新のデジタル3Dスキャン技術を使用しても、思ったようにガンプラのディテールが再現できなかったことだ。イベントでは、一般来場者が持参した全てのガンプラに対応することを原則として、1/144サイズを基本とした。高さにして約13cm程度の代物だ。その一方でガンプラはどれも、頭部のアンテナやビームライフルなど、細く小さいパーツが多く、複雑な形状をしている。3Dスキャンが最も苦手とする分野のひとつだ。芸術作品と言って良いぐらい、細部まで精巧に作られているため、ミリ単位でもディテールが欠損すると、そのデザインや印象が大きく崩れることになる。
最初に試されたのが、フォトグラメトリ技術を使ったスキャンだ。撮影スピードでは非常に優れていたが、撮影データからポリゴンメッシュのリトポロジを行う上で、ディテールの再現度が甘く、アンテナがないガンダムが度々生まれることになった。ポリゴンの変換スピードも1～2分で完了できるものではなかった。
続いて製造業向けの高性能3Dスキャナを使ったスキャン方法が試された。こちらは細部のディテール再現度は高いものの、撮影とポリゴンメッシュへのリトポロジで手作業によるオペレーションが必要になり、時間もかかるため、イベントで使用するのは現実的でなかった。他にAIを使った画像認識技術の活用も並行して検討されたが、実用レベルまでには時間がかかりそうな状況で、選択肢から外れることになった。いずれの方法でも、スキャンモデルのクオリティを保つためには、何らかのかたちで手作業による修正が必要で、今回のイベント向けに活用するには無理があった。誰もが待ち望んでいる未来がまだ実現できていないのには、それなりの理由があったのだ。
まさに八方ふさがりの状況だったが、イベント本番まで時間が迫りつつあった。ボトルネックになっていたのは、キャプチャした生データを3Dモデルデータに変換する手法だった。そこで閃いたのがムービーで取り込む方式だ。ターンテーブル上に配置したガンプラを回転させながら、PCと接続したカメラで360°撮影してムービーキャプチャする。こうして生成したムービー素材を、リアルタイムで背景部分のマスキング処理を行いながらUnityエディタ上に取り込み、板ポリゴンにムービーテクスチャとして配置する。このようにすれば、再生をコントロールすることで、様々なアングルでガンプラを表示可能だ。
ムービーキャプチャした素材を基にポストエフェクトなどを加えて制作された発進ムービー
背景のカタパルトデッキや宇宙空間は3DCGで制作され、ムービー素材と組み合わせたとき、完全にマッチするようにカメラ制御される。その上でポストエフェクトも加えて、最終的なルックの調整をしているという。高解像度カメラでガンプラを撮影し、それをデジタル素材として取り込んでいるので、細かいディテールまで再現度は抜群だ。髙子氏は「今回のイベント向けでは、プレイヤーが自由にガンプラを操作できるようにはなっていません。しかし技術的には、ある程度リアルタイムな操作体験ができるような表現も可能です」と語った。固定ポーズのみでの撮影となっている点についても、発艦シーンに限定することで、シチュエーション的に上手くマッチしている。また、それによって撮影時間も1分程度に収めることに成功した。
別途3DCGで制作された背景素材とムービー素材と組み合わせ、完全にマッチするようにカメラ制御されている
取材中、高子氏は「結果的に今回は3Dポリゴンモデルへの変換は見送ることになってしまったのですが......」と語る一方で、市販の3Dスキャンシステムとは違った、独自の撮影システム開発につながったと述べた。その中には、特許出願中の技術も盛り込まれているとのことだ。最新のハイエンドな技術を用いたからといって、必ずしも人を楽しませるコンテンツができるわけではない。そのことはゲーム開発者であれば、誰でも知っていることだ。むしろシンプルな技術だからこそ、安価かつ安定して使用できるメリットもある。こうして開発されたプロトタイプは、BANDAI SPIRITSの担当者を含めた開発チーム内で公開され、注目を集めた。何といっても1分間での撮影と、高解像度のガンプラのデジタル化を両立させた点が評価されたのだ。これに伴い要求されたシステムの実現も見えてきた。
ちなみに、そこでバトルやゲーム要素を盛り込むことが可能かもしれないという意見も出たという。確かに、そういった要素を体験してみたいと思うファンも多くいるだろう。ただ、本イベントのコンセプトは「ガンプラユーザー同士のコミュニケーションの活性化」のはずだ。これに対してゲームやバトルという要素は、複雑な操作やプレイスキルによって優劣が決まってしまうため、自由なコミュニケーションの障害になる可能性がある。ゲームにしてしまうことで、イベント運営上で問題が発生するおそれもあった。できるだけ多くの来場者に体験してもらうには、来場者の回転数を上げる必要がある。しかし、いざゲームにしてしまうと、ある程度のプレイ時間が必要になり、回転数が下がる恐れがあったのだ。そのため、ゲームやバトルといった要素は、見送られることになった。
このように髙子氏は、「企画と技術の両面から様々な可能性を検討しながらプロトタイピングを進めていき、スキャンシステムの仕様を固めていった」と述べた。そして、いよいよイベント本番向けのシステム開発に着手する段階へと進んでいくことになった。
プロトタイプから実サービスへの飛翔
プロトタイプでの検証からイベント向けの本開発に移行するにあたり、機材開発に協力してもらえる協力者の存在がどうしても必要になった。40日間のイベント期間中、フルで休みなくスキャン機材を安定稼働させるためには、その道のプロフェッショナルの力を借りる必要があったからだ。また、今回のシステムは非常に特殊で、「CG制作」「スキャン機材開発」「クラウドサーバ環境構築」等の要素が複合的に絡んでおり、幅広い知識と制作技術が要求される。これらの開発をまとめて依頼できる会社は、そうは多くないことが想定された。納期の締め切りも迫っており、それぞれのパートをバラバラに発注して、最後に合体させるというやり方も、時間的に厳しかった。
そこで髙子氏は、過去に参加した学会やゲームジャムイベント等で知り合った業界関係者を中心に、人物や会社をピンポイントで探し、相談していった。そこで白羽の矢が立ったのが、「株式会社フレイム」とそのグループ会社である「株式会社冬寂」だ。さっそく、フレイム取締役の北田能士氏にイベント向けの機材開発協力を相談したところ、取り組みに賛同してもらえたという。このとき、すでに2019年の4月になっており、7月20日の公開日まで、残り3ヶ月程度しか残されていなかった。このように限られたスケジュールの中、本番向け機材の開発がスタートすることになった。
「よく、割り切ったと感心しました」。
北田氏にプロトタイプを見たときの感想を尋ねると、このような答えが返ってきた。現状のレーザースキャン方式では、ガンプラのような小型で複雑な形状を短時間でデジタルスキャンすることは不可能......。ゲーム向けのCG制作やイベント運営などを通して様々な案件に携わってきた北田氏にとって、このことは常識だったからだ。これを民生用のカメラをPCに接続して動画キャプチャし代用するという発想は、北田氏にとっても新鮮だった。コンセプトがハッキリしていて、やりたいことが明確だったことも好感触だった。後は具体的なシステム設計を詰めれば良い。すぐに制作が始まった。
-
-
北田能士／Takashi Kitada
株式会社冬寂 代表取締役
株式会社フレイム 取締役 マネージャー
www.w-m.co.jp
www.flame-design.co.jp
大学でプログラミングなどを学んだ北田氏。デジタルハリウッド3DCGを学び、ソフトウェア代理店勤務やフリーランスでのデザイナー経験、3DCGプロダクションへの在籍を経て、2003年に株式会社フレイムを起ち上げる。共同経営者はデジハリ時代に同級生だった大林 謙氏。代表を務める大林氏がプリレンダームービー主体のCG映像制作、マネージャーとして会社を支える北田氏がゲーム向けのリアルタイムCGデータ制作、と業務を切り分けつつ、会社を成長させていった。その過程で映像制作だけでなく、Webサイトのコーディング、VR・ARなどのアプリ開発やライブ映像向けのシステム開発など、従来のCGプロダクションの業務に留まらない案件の相談が増加。2013年の冬寂起ち上げにつながった。現在は冬寂の代表とフレイムの取締役を兼務する日々だ。
フレイムはCG制作、冬寂は何でも屋......北田氏は両者のちがいをこのように語る。「フレイムはクライアントからの要望に対して、ハイクオリティなコンテンツを納期内できちんと制作し納めることをモットーとする、プロフェッショナルな映像制作集団です。一方で業界を巡る状況が激変する中、新しいジャンルの案件が次々に生まれてきています。こうした、ちょっとリスクが高いかもしれなけれど、面白そうな案件、ユニークな案件に挑戦していくのが冬寂です」。
今回もちこまれたガンプラ案件は、まさに好例だ。CGとハードとクラウドの合わせ技で、新たなシステムをつくることが求められたからだ。SIGGRAPH Asiaで会場にドローンを飛ばし、その座標を基にプロジェクションマッピングを行うなど、様々な案件にかかわってきた冬寂のメンバー。こうした経験から北田氏は「システムをつくることはできても、それを実際に使ってもらうことを想像できない人が多いのも事実です」と語る。フレイムにしろ冬寂にしろ、クライアントとの打ち合わせの最中、気がつけばまったくちがうアイデアを提案していることも少なくないという。本案件でいえば、会場で運営中にツールがフリーズしたときにどうするか......そういったことまで視野に入れる必要があった。
そこで北田氏が考えたのが、シンプルかつ堅牢なシステム設計だ。背景透過処理がしやすいように単色で塗られた台座の上に、ガンプラを設置。これをLEDパネルライトとカメラを設置したアルミのフレームで囲う。LEDパネルライトは手動で色味と調光が調整可能なものを選び、現場で状況にあわせて調整できるようにする。一方でフレームはプログラマブルモーターを用いて回転可能にし、ガンプラを360度撮影できるようにする。WebカメラとモーターはUSBでPCに接続され、PC側から撮影・回転が可能だ。これを左右に2セット作成して、同時に2体ずつスキャン可能にする。
スキャンしたデータはイベント会場に設置されたローカルサーバと、クラウドサーバの双方でレンダリングされ、最終的に20秒程度のCGムービーに結実される。同時にダウンロード先のURLが発行され、プリンタから2次元コードで印刷可能にする。また、レンダリングされたムービーはランダムで抽出され、再生用のPCを介して来場者向けに、大型モニタ上で連続再生させる。一連の操作はアルバイトのスタッフでも可能なように、タブレットで操作できるようにする。また、不測の事態に備えてバックアップ環境も用意しておく......などだ。
このシステムを来場者目線で見てみよう。会場に着くと、順番を待つ間に大型モニタで過去の発進シークエンスのムービーが視聴でき、モチベーションが上がる。自分の順番が来ると、ガンプラに発進ポーズをつけて、台座に載せる。するとアルミのフレームが目の前で回転し、スキャンが行われる。大半の来場者にとって、初めてみる光景だ。撮影後は即座に2次元コードがプリントされ、スタッフから手渡される。その後スマートフォンなどで2次元コードを読み込むと、専用のURLから動画のダウンロードが始まり、視聴できるというわけだ。
会場は連日親子連れなどでにぎわい、特に大きなトラブルもなく終了した
制作にあたり北田氏がこだわった点がいくつかある。はじめにカメラでキャプチャを行う際、解像度とフレームレートを事前に調整可能にしたことだ。その結果、キャプチャは1080pで行うが、レンダリングは720pで行うことに落ち着いた。またレンダリングを行う際、フレーム単位でエラーが発生する事態が避けられない。通常はエラーが出たフレームだけを抽出し、レンダリングし直すところだ。しかし、今回はエラーが出たらまとめてレンダリングし直すことにした。生成されるのは15秒程度の映像なので、そちらの方が早いからだ。
クラウドサーバに外資系の大手クラウドベンダーが提供するサービスではなく、国産のシンプルなサービス（さくらのクラウド）を選定したのも北田氏だ。シンプルな構成で高速にレンダリングしたいという要望に、最も即していたからだ。イベント会期中に細かいアップデートや修正を行う上でも、シンプルなサービスの方が適していた。ポストエフェクトにAfter Effectsを使用する案もあったが、シンプルな構成にするため、Unityのみでレンダリングする構成に留めたのも北田氏だ。以上の構成はJenkinsで自動化が図られており、最小限のオペレーションで済むように工夫されている。
2次元コードを渡して退出させるようにしたのも慧眼だろう。スキャン後に来場者を会場内に留めておくのでは、回転率が低下してしまう。一方で何かアイテムをもらうと、来場者としても納得感を得て会場を後にできる。その結果、1日50組程度のファンが連日訪れる人気イベントになった。会期全体でいえば、約2,000人が楽しんだ計算だ。ダウンロードした動画をSNSや動画共有サイトにアップロードする来場者もみられた。当初のねらいが達成できたのだ。
企業・業界を超えたコラボレーションが成功を生み出す
このように、大きな成果を収めた「RAPID SCAN DIGIRAMA THEATER SYSTEM -Take off from a catapult-」。高子氏は「多くのガンプラファンに、デジタルスキャン体験をしてもらえて嬉しかったです。まだまだ発展途上のシステムですが、漫画やアニメでお馴染みの、ガンプラユーザーが待ち望んでいる未来の片鱗を感じてもらえたのではないでしょうか」と話す。ガンプラでバトルするのではなく、デジタルムービーを制作して共有する方向に注力した点もポイントだ。これにより素組みのガンプラのままでも、デジタル化することで新しい遊びやSNSを通じたコミュニケーションを、より幅広い層に提供できることが確認できた。
それでは、今後このシステムはどのように発展していくのだろうか。高子氏は「公式には何も決まっていない」と断りつつ、次のように話す。「現在バンダイナムコグループでは、ガンダム40周年のタイミングを機に、実物大のガンダムを動かすプロジェクトなど、様々なチャレンジが進行中です。BANDAI SPIRITSからも、今回の試みに留まらずに、ガンプラの新しいチャレンジが続いていくことは間違いないでしょう。バンダイナムコ研究所としても、新しいエンターテインメントの創出のために、引き続き様々な企画提案や技術研究を進め、また機会があれば協力したいですね」。
これまで見てきたように、今回のプロジェクトでは世界中のガンプラファンに向けて、自作のガンプラを発表したり、交流したりできるような機会を広げるための挑戦という意味合いがあった。前述したとおり、現在のコミュニティはコンテスト会場や玩具店、ホビーショップなど、リアルな場所に紐付いている。一方でガンプラには海外のファンたくさん存在する。これらをつなげるのがデジタル化とインターネットの利点で、今回の試みはその片鱗にすぎないというわけだ。将来的に、ガンダム以外のIPに展開できる可能性もあるだろう。
ガンプラという大型IP商品を扱う中で、「新しい技術アイデア」と「イベント向けのシステム運用」が上手く組み合わさり、大きな成果を上げた本プロジェクト。BANDAI SPIRITSが主導した「ガンダム夏祭り2019」というイベントが企画され、そこにバンダイナムコ研究所の髙子氏による「スキャンシステムのアイデア」が加わり、その「システム運用」には北田氏をはじめとした冬寂／フレイムのメンバーの協力が加わった。どれかひとつが欠けても、実現はおぼつかなかっただろう。本件に限らず、業種・業態が異なる複数の企業が協業することで、得られるものは大きい。3DCGの可能性が拡大する中、クリエイターにとって視野を広げることがますます求められそうだ。
