アカツキロジカルクリエイティブ<br />Logic05 XRの未来を見据えた技術とデザインの資産構築

「心が動くワクワク体験を届ける」モバイルゲームの開発・運営を手がけるアカツキのロジカルなゲーム開発手法をお送りする本連載。第5回は将来的により多くの人に体験を届けるためのXR分野のR＆D（研究開発）について、技術面、デザイン面双方の中核スタッフに話を聞いた。

なお、アカツキクリエイティブチームでは共に働く仲間を募集中だ。詳しくは下記バナーより参照してもらいたい。

アカツキの理念に合致した「体験を届ける」XRの研究開発

今回は「XRの未来を見据えた技術とデザインの資産構築」と題し、R&D室エンジニア・リサーチャー谷口大樹氏、CDO 村上一帆氏、UIUXクリエイティブディレクターカサハラトモアツ氏に話を聞いた。谷口氏は2014年に入社後ゲーム開発や新規事業の起ち上げに関わった後、現在はXR領域の研究を行うR&D室に所属。

アカツキ　R&D室エンジニア・リサーチャー
谷口大樹氏

新しい技術をキャッチアップして検証するのが趣味でもあるという谷口氏は、Oculus RiftCV1とOculus Touchを組み合わせたVRコンテンツに初めて触れた際「VRは絶対に来る」と確信、プロトタイピングや外部でのプレゼンをくり返す中で実績を積み上げ、社内にR&D室を発足させるにいたった。アカツキの掲げる「体験を届ける」という理念からみても、VRやARといったXR分野の研究開発はどこかで着手すべきものという認識は社内で共通しており、現在特に力を入れている分野だという。

「数年後には当たり前の技術になるという確信があるが、市場に流通する正確な時期はわからない。逆に言えば、今から技術資産を蓄えて未来に備えることには大きな意義がある」という考え方で基礎研究を行う谷口氏を現実的な目線でサポートするのは、実際のプロダクト開発に関わる村上氏とカサハラ氏。「技術と同時にデザインもアップデートしなければなりません。例えば、iPodはすでにMP3プレイヤーが数多く市場にある中で、なぜ爆発的に普及したのか？　その理由はハード・ソフトともにデザイン性が高かったからです。技術とデザインが一緒に歩んで初めて一般に普及するプロダクトになるため、デザイナーの役割は重要です」（カサハラ氏）。技術資産を蓄積させるのと同時に、デザイナーも未来のXRデザインを考え、資産を積み重ねている。

アカツキ　UIUXクリエイティブディレクター
カサハラトモアツ氏

＜POINT1＞アカツキが考えるXRの魅力とその可能性
つくりたい未来像から逆算して研究領域を絞り込む

アカツキが大切にしているのは、人生に影響を与え得るような「カラフルな体験」を届けること。そのための手段として、デジタル領域においてはゲーム事業、リアルライフ領域ではSOTOASOBIなどのライブエクスペリエンス事業と幅広い事業展開を行なっている。XR技術は、まさにこの両者をつなぐ役割を果たすものであり、アカツキの未来にとって重要になる分野だ。

特にARは現実世界の物体がもつ情報やコンテクストとの関連づけをリアルタイムに行えることが面白く、物体を取り巻く環境や歴史、さらにはそれを見た人間の感情さえも認知し共有できるものだと村上氏は説明する。同時に、デザイナーから見るARの可能性については「デザインはユーザーとの接点として、瞬間的なコミュニケーションを求められるケースが多い。これまではユーザーが悩まなくても伝わるような、シンプルさを重要視した引き算のデザインが多かったのですが、ARによってコンテクストの説明が容易にできるようになればデザインの多様性もますます広がるはずです」（村上氏）とし、これまでは敬遠されがちであった「説明しなければわからないデザイン」の選択も可能になってくるだろうと語った。歴史に囚われないアート分野の新たな潮流も生まれるはずだ。

アカツキ　CDO
村上一帆氏

そんなAR分野は、コンピュータが外部の情報を取得するコンピュータビジョン、描画に関連するコンピュータグラフィックス、そしてマシンラーニングなども含めたまさに総合格闘技のような研究分野であり、また現実環境と仮想環境の整合性をとる上での分類として「幾何学的整合性」「光学的整合性」「時間的整合性」の3つのテーマが存在する。例えば現実環境の机の上に3DCGのリンゴを表示する場合、リンゴが机にめり込まず、机の上に正しく乗っているかどうか、他の物体との位置関係が正しく表示されているかを表すのが「幾何学的整合性」、リンゴと机の質感や陰影に違和感がなく馴染んでいるかをみるのが「光学的整合性」、ユーザーがリンゴを手に取るような動きをした際にタイムラグがなく反映されるかというのが「時間的整合性」だ。谷口氏はこの中から光学的整合性にフォーカスを当て研究を進めているが、この理由を「そもそも物体が正しい位置に配置できなければARは成り立たないため、大企業やハードウェアの開発会社は幾何学的整合性を重点的に研究しています。また、例えば地図をAR上に表示するようなツール類は機能性が最重要であり、見え方に対する比重を下げているケースが多いです。一方、アカツキは現実を拡張して心を動かす体験を届けたいという立場なので、まだ先行事例の少ない光学的整合性に関する研究に重点を置いています」と谷口氏は説明する。次項ではARにおける光学的整合性の研究とその成果について紹介していく。

アカツキの両輪をつなぐXR

▲アカツキが大切にしている"体験"は、決してゲームという媒体に限ったものではなく、現実世界の領域においてもアウトドアレジャー予約サービス「SOTOASOBI」として実現されている。XRはまさにその「モバイルゲーム事業＝バーチャルな体験」と「ライブエクスペリエンス事業＝リアルな体験」という両輪をつなぐ役割を担うものだという。モバイルゲームやSOTOASOBIだけではリーチできない性別・世代のユーザーに新たな体験を届ける手段としても期待しているとのこと

XRを取り巻く環境

▲アカツキには市販の多くのVR／ARデバイスが使用可能な状態で置かれている。VR元年と言われた2016年から近年にかけて数多くのハードウェアが誕生したが、同時にソフトウェア面においてもSDKの充実やAppleのARKitやGoogleのARCoreなどの登場で開発環境が整ってきている現状にある。こうした普及状況から、エンジニアだけでなくアーティストが新たなXR作品を生み出したり、あるいは「AR上のフィクション」を現実で再現するような研究が加速度的に進むだろうという意見もある。「VRは現実から離れて仮想世界に没入するものですが、ARは現実世界を拡張するもの。当たり前に使われる頃にはVRもARもセットで普及していると思いますが、まず一般に広まりやすいのはARだと考えています」（谷口氏）

ARにおける3つの整合性とテーマ選定

▲ARにおいて重要な3つの整合性として「幾何学的整合性」、「光学的整合性」、「時間的整合性」がある。そもそも現実空間の情報を取得し正しい配置を行わなければARは成り立たないため、「幾何学的整合性」は多くの企業が研究に参画している。また「時間的整合性」も、リアルタイムコンテンツをつくろうとしている時点で必須な項目であるため除外し、アカツキは描画の馴染み度合いを高めていく「光学的整合性」にフォーカスを当てた研究を行なっている

＜POINT2＞研究テーマ①「ARにおける光学的整合性」
写実的な表現ではなくNPRで演出する"リアル感"

3DCGを現実空間に違和感なく統合することを目的とする光学的整合性の研究におけるアプローチは、写実性をどれだけ高めるかという「フォトリアリスティックレンダリング」と特定の描画のスタイルに変えることによって全てを馴染ませる「ノンフォトリアリスティックレンダリング（以下、NPR）」の2通りがある。フォトリアリスティックレンダリングは現在レイトレーシングのリアルタイム化などを含めて様々な手法が実用化されつつあるが、現実問題として計算資源が非常に多く必要であり、現行のARデバイスにはスペック的に適さない。そのため、谷口氏はNPRを用いて現実世界のスタイルをも変えることで全体のテイストを混ぜ、違和感をなくす手法に着目した。

こうした着想で生まれたのが、SIGGRAPH 2018のVR/AR/MR部門「Immersive Pavilion Village」の展示プロジェクトとして選出された『THE INVISIBLE』だ。
同作品は現実空間に投影されたモンスターを探し出し銃で戦うARシューティングゲームだが、特徴的なのはモンスターが半透明であるということ。3DCGモデルをそのまま表示するだけでは質感が浮いてしまうため、半透明で現実環境に溶け込ませるように描画することで現実感を出している。しかし、なぜ現実には存在しない透明なモンスターに現実感を覚えるのだろうか？　これについて、谷口氏は「ユーザーの過去の体験を活用しています。例えばホログラム技術は現実にはまだ実現されていませんが、みんな『スター・ウォーズ』を観て知っているはずです。『プレデター』や『攻殻機動隊』に登場する光学迷彩、『ターミネーター』のような液体金属など、フィクションの世界で見たことのある映像表現を採り入れることで、"自分はこれを知っている＝リアルに感じる"という感覚の想起をねらっています」と説明する。

また、アカツキはこれまでもモバイルゲーム開発で"いかにユーザーに没入してもらうか"を重要視してきた。ARにおいて写実性の向上が重要であることはまちがいないが、より独自の世界観の構築にこだわるアカツキにとってはそれだけが対象ではない。谷口氏は、多様な画づくりを可能とするNPRはストーリーテリングと相性の良い手法であるとし、R&Dの対象として今も研究を続けている。

光学的整合性に対する2つのアプローチ

▲光学的整合性の研究におけるアプローチとして挙げられた「フォトリアリスティックレンダリング」と「ノンフォトリアリスティックレンダリング（NPR）」。写実的な画づくりを目指すフォトリアリスティックレンダリングは処理負荷が高く、現行のARデバイスでは完全に背景に馴染むレベルでの描画を行うことは難しい。対するNPRは手描き風やセルシェーディングといったスタイライズされた画づくりを中心とする描画技術だが、こちらは手法によってはある程度レンダリング負荷を軽減できるため、工夫次第でARに適合させることができる

画像引用元
［1］P. Debevec, A Tutorial on Image-Based Lighting. IEEE Computer Graphics and Applications, Jan/Feb 2002. ／［2］A.Hertzmann, Painterly rendering with curved brush strokes of multiple sizes, Proceedings of the 25th annual conference on Computer graphics and interactive techniques, p.453-460, July 1998

ARに最適化された「リアルなNPR」とは

▲ARにおけるレンダリングアプローチとしてNPRに着目した経緯は先述した通りだが、現実を拡張するものであるARに最適化されたNPRとはいったいどういうものだろうか？　画像はその「リアルなNPR」の試作として、谷口氏が制作したものの一部だ。＜上＞ARKitを用いて実現したホログラム。＜下＞映画等で目にする液体金属。ARにおける反射表現は周辺環境との整合性をとる必要がある。いずれも現実にはないフィクションとしてのテクノロジーであるにもかかわらず多くの人に知られている。こうした共通認識を利用し、リアルなものとして感じさせる工夫を行なっている

半透明の敵と戦うARゲームでSIGGRAPH 2018に出展

▲SIGGRAPH 2018で発表された『THE INVISIBLE』は、現実空間に現れる半透明の敵を倒していくARシューティングゲーム。スマートフォンのカメラを通じて見る現実世界と、半透明の敵との融和感が特徴。光学的整合性に着目した研究は少ないため、独自性を高く評価された

＜POINT3＞研究テーマ②「AR×マシンラーニング」
マシンラーニングを活用した新しい画づくり

アカツキのR&Dチームが現在取り組んでいるもうひとつのキーワードが「マシンラーニング」だ。マシンラーニングは、ARにおいては「幾何学的整合性」、つまり周囲の環境の情報を取得する空間認識の分野を加速度的に進化させた技術であり、わかりやすく言えばカメラに写った対象が犬なのか猫なのかという判断や、3Dオブジェクトに対して現実のオブジェクトが手前にあるか奥にあるかについての判断精度を高める役割を担ってきた。このマシンラーニングが光学的整合性にとっても相性が良いものなのではないか？　というのが谷口氏の見解だ。「光学的整合性は3DCGと周辺環境を馴染ませることなので、環境を学習してその結果を意味のあるアウトプットにつなげられる可能性は高いです。見え方の自動化、効率化、高品質化という文脈で、例えばポストプロセス系のシェーダを代替しうるものが自動生成できるのではないかと考えています」（谷口氏）。

また、画づくりについてもマシンラーニングは有用であり、Leon A. Gatysらが2016年に提唱した「Style Transfer」という手法ではマシンラーニングによってゴッホやムンクといった絵画のスタイルを学習させ、任意の画像に適用することを可能にしている。谷口氏はこれを応用し、絵画のスタイルを動画に適用する、また動画からスタイルを抽出して動画に適用する、さらにARアプリケーションにスタイルを適用し、現実環境と3Dオブジェクトの描画スタイルを一気に変えることで独特な世界観を演出するなどの手法を段階的に試みている。現時点ではリアルタイムの処理は難しいが、今後は学習したスタイルを動画に適用させる工程の高速化とノイズの除去を行い、「ARグラスをかければ不思議な世界が広がっている」という状況の実現を目指す。

一方、谷口氏は企業で研究する以上、技術ドリブンだけでいくことは避けるべきと語っている。「技術的に面白いという理由だけで始めると、何につながるかわからない、何をしているかわからないと周りから判断されてしまいます。なぜアカツキでARの研究をし、これがアカツキの未来とどう紐づくのか。技術力、好奇心はもちろんのこと、柔軟性をもった人材が求められると思います」（谷口氏）。いつかアカツキが見せてくれるであろう新しい未来におおいに期待したい。

Style Transferとは

▲Leon A. Gatysらが提唱するマシンラーニングを用いた画風変換の手法。ゴッホやムンクなどの絵画からスタイルを抽出し、写真に適用することで独特な色味をもつ画像を生成できる。スタイルの抽出元となる画像を「Style Image」、適用先の写真を「Content Image」と呼ぶ。画像は左上の写真に対して、著名な絵画のスタイルを適用した例。それぞれの左下に小さく載せられているのがStyle Imageとした絵画作品

画像引用元
［3］ L. A. Gatys, A. S. Ecker, and M. Bethge, Image style transfer using convolutional neural networks. CVPR, 2016.

Style Transferを動画に適用

▲動画に適用することで、日常の動画をまったく異なる絵画調の世界に変換。左上：スタイル適用前の動画、左下：適用したStyle Image、右：スタイル適用後の動画。画像ではわからないが、ある程度の速度で画面を通り過ぎるクルマなどにも綺麗にスタイルが適用されて描画されており、画としての整合性は非常に高い

画像引用元
［4］Videezy.com ／［5］Wassily Kandinsky, White Zig Zags

ARアプリケーションにStyle Imageを適用する試み

▲ARアプリケーションのスタイルを変換する試みでは、非常にユニークな出力結果が得られている。画像はあらかじめ撮影したARアプリケーションの動画（左）に、ポストプロセスとしてとあるアニメ作品のスタイルを抽出して適用したもの（右）だが、適用前は3Dモデルが浮いているように感じられるのに対し、結合後は空間全体が歪み、背景と上手く馴染んでいるように見える。今後はリアルタイムでの描画を目指しているとのこと

TEXT＿神山大輝（NINE GATES STUDIO）

求人情報

アカツキではともに働く仲間を募集中です。

求人職種

アートディレクター
3Dデザイナー
UI／UXデザイナー
アニメーションデザイナー
エンジニア

待遇

各種社内勉強会、書籍購入（負担）制度、社外勉強会参加支援制度、社員旅行&合宿、ヒーリングカウンセリング、産休/育休制度、ランチケータリング、バリスタ駐在、インフルエンザ予防接種、PC貸与、従業員持株会、住宅補助(対象エリアにお住まいの方)、関東ITソフトウェア健康保険組合

>＞＞＞＞詳しくはこちらから