>   >  『らくがきAR』が解消を目指したコロナ禍の課題〜第24回文化庁メディア芸術祭優秀賞受賞記念インタビュー
『らくがきAR』が解消を目指したコロナ禍の課題〜第24回文化庁メディア芸術祭優秀賞受賞記念インタビュー

『らくがきAR』が解消を目指したコロナ禍の課題〜第24回文化庁メディア芸術祭優秀賞受賞記念インタビュー

2021年3月に発表された第24回文化庁メディア芸術祭。エンターテインメント部門で優秀賞を受賞したのが『らくがきAR』だ。紙に描いたらくがきをスマートデバイスで撮影すると、画面上でキャラクターが誕生し、現実世界の上を動き出す手軽さが受け、SNS上で多くの動画が投稿された。受賞を機会に開発を手がけたWhateverのメンバーに、開発の経緯について聞いた。


INTERVIEW_小野憲史 / Kenji Ono
EDIT_三村ゆにこ / Uniko Mimura(@UNIKO_LITTLE




10年かけて磨き続けた技術がブレイク

CGWORLD(以下、CGW):メディア芸術祭エンターテインメント部門の優秀賞受賞、おめでとうございます。率直な感想をお聞かせください。

宗 佳広氏(以下、宗):正直、嬉しかったです。もともと2006年に岡山でココノヱという会社を起ち上げ、そこで制作した『撃墜王ゲーム』(2011)と『ピーポーパニック!』(2018)という作品が審査委員会推薦作品に選出されたことがありました。推薦いただいたのは嬉しいことですが、優秀賞をいただいたのは今回が初めてで、心の中でガッツポーズをしました。

岡田隆志氏(以下、岡田):『らくがきAR』(2020)は想像以上にたくさんの方に遊んでいただくことができ、リリースした直後は日々SNSにアップされる動画を感慨深く眺めていました。審査委員会の「平面の様々なものに命を吹き込み脈動させる同作品は、生命を生み出す神のような視点を自由に手軽に楽しく体験させてくれる」という講評が象徴していると思うのですが、アプリ自体というより、結果として生まれた作品に魅力があるというか。そうしたものをつくり出すことに対して、お役に立てたのかなと思っています。

  • 宗 佳広/Yoshihiro So
    Whatever Inc. デザイナー、クリエイティブディレクター

  • 岡田 隆志/Takashi Okada
    Whatever Inc. エンジニア

CGW:本作は、ココノヱ時代から開発されていたプロダクトなんですね。

:ココノヱはもともとWeb制作会社でしたが、次第にFlashでデジタルインスタレーションやゲーム制作を手がけるようになりました。その頃に、カメラでスキャンしたイラストを立体的に動かす技術を自社開発して、それを基に2010年に開発した作品が『撃墜王ゲーム』です。カードに描いたらくがきが画面の中で戦い始めるという内容です。

:その後、セガ様に目を留めていただき、アーケードゲーム『らくがきカードバトル 撃墜王』(2016)として世に出させていただくことになりました。この技術は『らくがきAR』でも使用されています。

CGW:10年以上前のタイトルがきっかけなんですね。

:同じように、ココノヱ時代に開発したコンテンツでは、プロジェクションマッピングとセンシングを活用し、あたかも宇宙レースに参加したような体験ができる新感覚のトランポリンアクション『スペースホッパーズ』(2017)があります。ナムコ(現バンダイナムコエンターテインメント)様と共同開発させていただき、都市型アスレチック施設『TONDEMI(トンデミ)』に設置されました。

CGW:ゲームやエンタメ分野で様々な製品を手がけられていますね。

岡田:自社コンテンツとして、オリジナルのデジタルインスタレーションを開発していくうちに、自然とゲームセンターに置かれているゲーム機に近くなっていきました。何かと何かを戦わせたり、2~3分ほど遊ばせてランキングを表示したり。

CGW:ゲーセン世代ですね。

:まさにそうですね。僕も岡田もゲームが好きで、自分自身、新卒でゲーム会社を受けたんですけど全て落ちてしまって。どこかでゲームを開発したいという欲求があったんだと思います。ココノヱも最初はWeb制作会社でスタートしたはずなんですけどね。どんどんつくっていったら、いつの間にか勝手に「そっちの方」に行ってしまったというか。

CGW:わかります。

:その後、ココノヱが東京のシェアオフィスにも拠点を構えまして、そこで以前から仕事を一緒にしていたdot by dotというデジタル制作会社と合流して、2019年にWhateverという組織になりました。もともとdot by dot代表の富永勇亮(現Whatever代表)とは10年以上の付き合いがありました。

▲Whatever公式サイトより

CGW:様々なプロダクトやサービスを手がけられていますが、Whateverは一言で表すとどういった会社になるのでしょうか?

:一言では難しいですね(笑)。よく社内では「Make whatever. Rules, whatever.」と言っています。訳すと「何でもつくり、手法は問わない」ですね。映像、CM、インスタレーション、プロダクト、ゲーム、アプリなど、いろいろなもののアイデアから企画・制作までを手がける会社です。自分は、プログラミング以外の仕事、具体的にはクリエイティブディレクターとデザイナーとサウンドを担当しています。

CGW:ゲームデザインというか、体験デザインのようなこともされるんですか?

:それがクリエイティブディレクターの役割になりますね。クリエイティブ全体の取りまとめというか、体験や面白さを総合的に見るポジションです。

岡田:自分がココノヱに入社したのは2011年で、当初はFlashクリエイターとして演出やプログラミングなどを学びました。Flashが下火になるに従ってUnityのエンジニアに移行していき、今ではほぼ100%Unityですね。Whateverに移ったのは宗と同じタイミングなんですが、自分は岡山からリモートワークをしています。最近ではデジタルインスタレーションや、スマートフォンのアプリ制作などを主に担当しています。

CGW:1作あたり何名くらいのチームで開発されているんですか?

:1つのプロジェクトにつき5~6名ですね。エンジニア、デザイナー、サウンド、プロデューサー、クリエイティブディレクターといった感じです。こじんまりとしているのでやりやすいですね。その上で、実際にリリースする際はPRの方など、社内外のいろいろな方の力を借りることになります。



FlashベースのライブラリをUnity向けに移植

CGW:『らくがきAR』に話を戻すと、らきがきにスマートフォンをかざすと画面上で立体化され、ニョキニョキと動き回るのが楽しいですね。自分もやってみました。何かコツがいるようでいらないような、よくわからなくて。このあたりの「もどかしさ」も魅力につながっているのかな、という感じもしました。

:本当だ、タコが動いていますね。

岡田:割と何でもスキャンできるというのが強みなので、いろいろと試してみてほしいです。

CGW:一方で近年では、5Gならではの体験ということで、スマートグラスによるAR体験が期待されています。コンテンツの魅力もさることながら、そうした時代性とも合致した作品になっているように感じました。

:開発している側としては、あまりそういった気持ちはないんですけどね。そもそも『らくがきAR』は2017年頃にプロトタイプが出来上がっていました。もともと『撃墜王ゲーム』に使われていた「Honeborn(ホネボーン)」というライブラリがあり、当初はFlashベースだったものをUnityベースに移植していました。その後、iOS向けにARKitがリリースされた2017年に試験的につくってみて、営業ツールに使うようになったのがきっかけです。ARをやりたいというより、「ARKitで何か試してみた」のが大きかったです。

CGW:ということは、当初はiOS向けのネイティブアプリだったのでしょうか?

岡田:実はそうとも言えなくて、『らくがきAR』の製品版をリリースする直前に、別のアプリ開発を受託していました。そちらはiOSに加えてAndroid版のリリースがあるかも知れないという話だったので、AR Foundationベースでの開発に移行していたんです。

CGW:Unity上で、iOSとAndroid向けにARアプリを開発するための開発環境ですね。

岡田:そうです。『らくがきAR』はもともとiOSのみでリリースしていたのですが、多くの人に遊んでいただく中で、Android版の要望をSNSで見かけるようになりました。Android版をリリースするにあたり、はっきりとした工数が見えていませんでしたが、AR部分をARFoundationベースにしていたので割と早く実機で動かすことができたんです。もっとも、その後が大変だったんですけどね。

CGW:素人目からすると、iOS向けのアプリをUnityでビルドする方が大変なように感じてしまいます。自分も挑戦したことがありますが、まずMacが必要ですし、開発者向けライセンスが有料で年次更新だし、手順も複雑だし、ストアに出そうとするとさらに複雑だし。一度挑戦しただけで諦めてしまいました。これに対して、Android向けのビルドとストア出展は非常に楽なので、すっかりAndroid派になってしまいました。

岡田:UnityでiOS向けのアプリを開発するには、一度Xcodeのプロジェクトを吐き出してからXcodeを起ち上げて再ビルドする必要があるので、確かに大変ですよね。ただ、端末の種類が少なめで比較的スペックが高いので、最適化対応が楽なんですよ。Apple側もOSの端末対応を比較的早く終了しますしね。

また、『らくがきAR』はシンプルに見えてかなりスペックを要求するアプリなんです。ARを使う上で端末のジャイロ的な機能が常に求められますし、ラクガキを常に検知するために、リアルタイムで画像認識を続けています。読み取ったラクガキのキャラクターを画面上で動かす必要もあります。その上、キャプチャ映像を必要に応じて録画しなければいけません。そのため、iOSではすんなりといくことでもAndroidではチェックが大変で、ARCoreに対応する100種類以上の端末から、動作する端末を増やしていくために、最適化が大変でした。

CGW:言われてみればそうですね。

岡田:Android向けに移植したのは別のスタッフですが、かなり苦労していました。カメラ映像からの画像処理や、録画処理が特に重くて、いかに最適化するかがポイントでした。その上、先ほどお話ししたように対応機種の多さもありました。Androidのハイスペック端末だけに絞って開発できれば良いのでしょうが、より多くの人に楽しんでもらうという趣旨から外れてしまいますよね。

CGW:なるほど。

岡田:AR Foundationならではの苦労もありました。AR Foundationにはリモートデバッグする機能がないので、iOS、Androidに関係なく、毎回ビルドして実機上で確認する必要があったんですよ。個人でiOS向けに同等の機能をつくられている方もいますが、まだ公式では対応していません。

CGW:なんと、そうなんですね。まだAR Foundationを触ったことがなかったので驚きました。それは激しく面倒くさいですね......。

岡田:それもあって、ますますAndroid側のチェックが大変で。

CGW:本作の肝となる部分が、「スキャンした画像を切り抜いて動かしてしまう」という部分ですよね。ざっくりと言うと、画像認識をかけて画像を切り抜き、3DCGにした上で特徴点を抽出し、それを基に自動的にボーンを入れてリギングを行い、アニメーションを付けるといったながれでしょうか? 

岡田:だいたいそんな感じです。ただ、画像処理自体はOpenCVを使用していますが、3DCGをモデル化したりボーンを実装したりといった処理が、独自の実装になっているんです。らくがき一体ごとに、画像データとJSONファイルを1つにまとめている感じで、既存の3DCGフォーマットじゃないんですよ。だからこそ、いろいろとカスタマイズが効くところもあるのですが、既存のDCCツールにエクスポートするなどはできないんです。

CGW:なんと! そうだったんですね。

岡田:なにしろ、もともとFlashベースのライブラリでしたからね。そのため、Unityから別の開発環境に移行しようと思ったら、最初からつくり直す必要があるんですよ。



次ページ:
巣ごもり家族に向けて手軽に楽しめるものを提供

Profileプロフィール

宗 佳広/Yoshihiro So

宗 佳広/Yoshihiro So

Whatever Inc. デザイナー、クリエイティブディレクター

岡田 隆志/Takashi Okada

岡田 隆志/Takashi Okada

Whatever Inc. エンジニア

スペシャルインタビュー