2021年3月に発表された第24回文化庁メディア芸術祭。エンターテインメント部門で優秀賞を受賞したのが『らくがきAR』だ。紙に描いたらくがきをスマートデバイスで撮影すると、画面上でキャラクターが誕生し、現実世界の上を動き出す手軽さが受け、SNS上で多くの動画が投稿された。受賞を機会に開発を手がけたWhateverのメンバーに、開発の経緯について聞いた。


INTERVIEW＿小野憲史 / Kenji Ono
EDIT＿三村ゆにこ / Uniko Mimura（@UNIKO_LITTLE）




10年かけて磨き続けた技術がブレイク

CGWORLD（以下、CGW）：メディア芸術祭エンターテインメント部門の優秀賞受賞、おめでとうございます。率直な感想をお聞かせください。

宗 佳広氏（以下、宗）：正直、嬉しかったです。もともと2006年に岡山でココノヱという会社を起ち上げ、そこで制作した『撃墜王ゲーム』（2011）と『ピーポーパニック！』（201８）という作品が審査委員会推薦作品に選出されたことがありました。推薦いただいたのは嬉しいことですが、優秀賞をいただいたのは今回が初めてで、心の中でガッツポーズをしました。

岡田隆志氏（以下、岡田）：『らくがきAR』（2020）は想像以上にたくさんの方に遊んでいただくことができ、リリースした直後は日々SNSにアップされる動画を感慨深く眺めていました。審査委員会の「平面の様々なものに命を吹き込み脈動させる同作品は、生命を生み出す神のような視点を自由に手軽に楽しく体験させてくれる」という講評が象徴していると思うのですが、アプリ自体というより、結果として生まれた作品に魅力があるというか。そうしたものをつくり出すことに対して、お役に立てたのかなと思っています。

  • 宗 佳広／Yoshihiro So
    Whatever Inc. デザイナー、クリエイティブディレクター

  • 岡田 隆志／Takashi Okada
    Whatever Inc. エンジニア

CGW：本作は、ココノヱ時代から開発されていたプロダクトなんですね。

宗：ココノヱはもともとWeb制作会社でしたが、次第にFlashでデジタルインスタレーションやゲーム制作を手がけるようになりました。その頃に、カメラでスキャンしたイラストを立体的に動かす技術を自社開発して、それを基に2010年に開発した作品が『撃墜王ゲーム』です。カードに描いたらくがきが画面の中で戦い始めるという内容です。

宗：その後、セガ様に目を留めていただき、アーケードゲーム『らくがきカードバトル 撃墜王』（2016）として世に出させていただくことになりました。この技術は『らくがきAR』でも使用されています。

CGW：10年以上前のタイトルがきっかけなんですね。

宗：同じように、ココノヱ時代に開発したコンテンツでは、プロジェクションマッピングとセンシングを活用し、あたかも宇宙レースに参加したような体験ができる新感覚のトランポリンアクション『スペースホッパーズ』（2017）があります。ナムコ（現バンダイナムコエンターテインメント）様と共同開発させていただき、都市型アスレチック施設『TONDEMI（トンデミ）』に設置されました。

CGW：ゲームやエンタメ分野で様々な製品を手がけられていますね。

岡田：自社コンテンツとして、オリジナルのデジタルインスタレーションを開発していくうちに、自然とゲームセンターに置かれているゲーム機に近くなっていきました。何かと何かを戦わせたり、2～3分ほど遊ばせてランキングを表示したり。

CGW：ゲーセン世代ですね。

宗：まさにそうですね。僕も岡田もゲームが好きで、自分自身、新卒でゲーム会社を受けたんですけど全て落ちてしまって。どこかでゲームを開発したいという欲求があったんだと思います。ココノヱも最初はWeb制作会社でスタートしたはずなんですけどね。どんどんつくっていったら、いつの間にか勝手に「そっちの方」に行ってしまったというか。

CGW：わかります。

宗：その後、ココノヱが東京のシェアオフィスにも拠点を構えまして、そこで以前から仕事を一緒にしていたdot by dotというデジタル制作会社と合流して、2019年にWhateverという組織になりました。もともとdot by dot代表の富永勇亮（現Whatever代表）とは10年以上の付き合いがありました。

▲Whatever公式サイトより

CGW：様々なプロダクトやサービスを手がけられていますが、Whateverは一言で表すとどういった会社になるのでしょうか？

宗：一言では難しいですね（笑）。よく社内では「Make whatever. Rules, whatever.」と言っています。訳すと「何でもつくり、手法は問わない」ですね。映像、CM、インスタレーション、プロダクト、ゲーム、アプリなど、いろいろなもののアイデアから企画・制作までを手がける会社です。自分は、プログラミング以外の仕事、具体的にはクリエイティブディレクターとデザイナーとサウンドを担当しています。

CGW：ゲームデザインというか、体験デザインのようなこともされるんですか？

宗：それがクリエイティブディレクターの役割になりますね。クリエイティブ全体の取りまとめというか、体験や面白さを総合的に見るポジションです。

岡田：自分がココノヱに入社したのは2011年で、当初はFlashクリエイターとして演出やプログラミングなどを学びました。Flashが下火になるに従ってUnityのエンジニアに移行していき、今ではほぼ100％Unityですね。Whateverに移ったのは宗と同じタイミングなんですが、自分は岡山からリモートワークをしています。最近ではデジタルインスタレーションや、スマートフォンのアプリ制作などを主に担当しています。

CGW：1作あたり何名くらいのチームで開発されているんですか？

宗：1つのプロジェクトにつき5～6名ですね。エンジニア、デザイナー、サウンド、プロデューサー、クリエイティブディレクターといった感じです。こじんまりとしているのでやりやすいですね。その上で、実際にリリースする際はPRの方など、社内外のいろいろな方の力を借りることになります。



FlashベースのライブラリをUnity向けに移植

CGW：『らくがきAR』に話を戻すと、らきがきにスマートフォンをかざすと画面上で立体化され、ニョキニョキと動き回るのが楽しいですね。自分もやってみました。何かコツがいるようでいらないような、よくわからなくて。このあたりの「もどかしさ」も魅力につながっているのかな、という感じもしました。

宗：本当だ、タコが動いていますね。

岡田：割と何でもスキャンできるというのが強みなので、いろいろと試してみてほしいです。

CGW：一方で近年では、5Gならではの体験ということで、スマートグラスによるAR体験が期待されています。コンテンツの魅力もさることながら、そうした時代性とも合致した作品になっているように感じました。

宗：開発している側としては、あまりそういった気持ちはないんですけどね。そもそも『らくがきAR』は2017年頃にプロトタイプが出来上がっていました。もともと『撃墜王ゲーム』に使われていた「Honeborn（ホネボーン）」というライブラリがあり、当初はFlashベースだったものをUnityベースに移植していました。その後、iOS向けにARKitがリリースされた2017年に試験的につくってみて、営業ツールに使うようになったのがきっかけです。ARをやりたいというより、「ARKitで何か試してみた」のが大きかったです。

CGW：ということは、当初はiOS向けのネイティブアプリだったのでしょうか？

岡田：実はそうとも言えなくて、『らくがきAR』の製品版をリリースする直前に、別のアプリ開発を受託していました。そちらはiOSに加えてAndroid版のリリースがあるかも知れないという話だったので、AR Foundationベースでの開発に移行していたんです。

CGW：Unity上で、iOSとAndroid向けにARアプリを開発するための開発環境ですね。

岡田：そうです。『らくがきAR』はもともとiOSのみでリリースしていたのですが、多くの人に遊んでいただく中で、Android版の要望をSNSで見かけるようになりました。Android版をリリースするにあたり、はっきりとした工数が見えていませんでしたが、AR部分をARFoundationベースにしていたので割と早く実機で動かすことができたんです。もっとも、その後が大変だったんですけどね。

CGW：素人目からすると、iOS向けのアプリをUnityでビルドする方が大変なように感じてしまいます。自分も挑戦したことがありますが、まずMacが必要ですし、開発者向けライセンスが有料で年次更新だし、手順も複雑だし、ストアに出そうとするとさらに複雑だし。一度挑戦しただけで諦めてしまいました。これに対して、Android向けのビルドとストア出展は非常に楽なので、すっかりAndroid派になってしまいました。

岡田：UnityでiOS向けのアプリを開発するには、一度Xcodeのプロジェクトを吐き出してからXcodeを起ち上げて再ビルドする必要があるので、確かに大変ですよね。ただ、端末の種類が少なめで比較的スペックが高いので、最適化対応が楽なんですよ。Apple側もOSの端末対応を比較的早く終了しますしね。

また、『らくがきAR』はシンプルに見えてかなりスペックを要求するアプリなんです。ARを使う上で端末のジャイロ的な機能が常に求められますし、ラクガキを常に検知するために、リアルタイムで画像認識を続けています。読み取ったラクガキのキャラクターを画面上で動かす必要もあります。その上、キャプチャ映像を必要に応じて録画しなければいけません。そのため、iOSではすんなりといくことでもAndroidではチェックが大変で、ARCoreに対応する100種類以上の端末から、動作する端末を増やしていくために、最適化が大変でした。

CGW：言われてみればそうですね。

岡田：Android向けに移植したのは別のスタッフですが、かなり苦労していました。カメラ映像からの画像処理や、録画処理が特に重くて、いかに最適化するかがポイントでした。その上、先ほどお話ししたように対応機種の多さもありました。Androidのハイスペック端末だけに絞って開発できれば良いのでしょうが、より多くの人に楽しんでもらうという趣旨から外れてしまいますよね。

CGW：なるほど。

岡田：AR Foundationならではの苦労もありました。AR Foundationにはリモートデバッグする機能がないので、iOS、Androidに関係なく、毎回ビルドして実機上で確認する必要があったんですよ。個人でiOS向けに同等の機能をつくられている方もいますが、まだ公式では対応していません。

CGW：なんと、そうなんですね。まだAR Foundationを触ったことがなかったので驚きました。それは激しく面倒くさいですね......。

岡田：それもあって、ますますAndroid側のチェックが大変で。

CGW：本作の肝となる部分が、「スキャンした画像を切り抜いて動かしてしまう」という部分ですよね。ざっくりと言うと、画像認識をかけて画像を切り抜き、3DCGにした上で特徴点を抽出し、それを基に自動的にボーンを入れてリギングを行い、アニメーションを付けるといったながれでしょうか？　

岡田：だいたいそんな感じです。ただ、画像処理自体はOpenCVを使用していますが、3DCGをモデル化したりボーンを実装したりといった処理が、独自の実装になっているんです。らくがき一体ごとに、画像データとJSONファイルを1つにまとめている感じで、既存の3DCGフォーマットじゃないんですよ。だからこそ、いろいろとカスタマイズが効くところもあるのですが、既存のDCCツールにエクスポートするなどはできないんです。

CGW：なんと！　そうだったんですね。

岡田：なにしろ、もともとFlashベースのライブラリでしたからね。そのため、Unityから別の開発環境に移行しようと思ったら、最初からつくり直す必要があるんですよ。



次ページ：
巣ごもり家族に向けて手軽に楽しめるものを提供

[[SplitPage]]

巣ごもり家族に向けて手軽に楽しめるものを提供

CGW：ゲームデザインや体験デザインで工夫された点はありますか？

宗：特にデザインというデザインはしてないんですよ。プロトタイプの段階からそんなに変わっていません。ただ、AR上で平面を検出してから、らくがきの撮影に入るまでの時間をいかに短くするかにはこだわりました。「すぐに遊べる」という点は、ココノヱ時代からこだわっているところでもあります。

CGW：まさにアーケードゲーム感覚ですね。

宗：そうですね。あと、お子さんに触ってもらうのであれば、まどろっこしいのは嫌じゃないですか。「パッと起ち上がってパッと触ってもらう」みたいな感じが理想かなと。

岡田：説明しても見られないですしね。

CGW：仮にピュアなゲーム屋さんが開発したら、もっとガチャガチャと要素を盛り込むと思うんですね。オープニングでムービーがながれたり、キャラクターが出てきてチュートリアルをしたり。録画したビデオを再生するときにエフェクトが表示されたり音がながれたり。そういった演出的な部分をざっくりと切って、「素材の鮮度で勝負する」みたいな印象を受けました。

宗：本作で言えば、もともとプロトタイプがあったことと、コロナ禍で家に籠もっているご家庭に手軽に触って楽しんでもらうことが目的だったので、スピードを優先させたところがありました。それに今までの経験則で、子供がアプリを触って、勝手に遊び方を考え出すような余白をつくっておいた方が良いなと感じていて、このかたちにしました。

CGW：余白のままで止めるというのがなかなかできないんですよ、ゲーム屋さんって。ルールをつくっちゃうんです。らくがきを操作できるようにするとか、アイテムを食べさせるとどんどん成長していくとか、チュートリアルをストーリー仕立てにするとか。そういうのをやりたがるんですよね。そうすると、どんどん遅れていくんですよ。下手すると完成時には新型コロナの流行が終わってました、みたいな。

2人：（笑）

CGW：コンセプトはそこじゃないんだよって話なんですね。コロナ禍で困っている親御さんやお子さんに、少しでも楽しんでもらうのが目的だったんですね。

宗：そうですね。

▲『らくがきAR』アプリストアでの表示。App Store（左）／Google Play（右）

CGW：『らくがきAR』の販売を売り切りモデル（120円）にした理由は何ですか？

宗：子ども向けに制作したアプリだったので、広告を入れたくなかったのが理由です。ただ、iOS版は1,000人だけ無料でダウンロードできるようにしました。App Storeだと無料と有料を自由に変えられますからね。もっとも、到達まで3日間くらいかかるかなと思っていたのに、気が付いたら半日で達成してしまい驚きました。子どもだけではなく、漫画家やイラストレーターをはじめ、たくさんの大人に楽しんでいただけて、SNSで拡散してもらえたのが良かったようです。

CGW：Twitterのハッシュタグ「#らくがきAR」で検索すると様々な動画がヒットしますね。漫画『ONE PIECE』の尾田栄一郎先生もルフィのらくがき動画を投稿されていて驚きました。SNS時代ならではのプロモーションだと思いましたが、まったくの偶然だったんですね。

岡田：こちらもビックリしました。プレスリリースを出したくらいで、バズらせるためのねらいは特にありませんでした。ただただSNSで爆発したのが大きかったです。

CGW：そこも大手のゲーム会社では難しい点だなと思いました。そもそも最初から売上の目処が立たなければ、開発に承認が出ないですからね。仮に経営者がOKを出しても上場会社であれば株主が許さない（笑）。Whateverとしては問題なかったのでしょうか？

宗：特になかったと思います。もともとプロトタイプができていたので、リリースまでの開発工数がそんなにかからないのではないか、という判断もあったと思います。

CGW：プロトタイプを製品として出そうと決められたのはいつですか？

宗：「第7回　デジタルえほんアワード」に『Doodle AR（現 らくがきAR）』を出展し、グランプリをいただいたのがきっかけでした。デジタル絵本といっても絵本だけに限定せず、様々なデジタルコンテンツを対象としたアワードだったので、ちょうど良いのかなと思って。そのときにアプリとしてブラッシュアップしました。

岡田：その後、受賞を受けて角川武蔵野ミュージアムから、試遊展示のお話をいただきました。2020年11月のグランドオープンに先駆けて、「8月にプレオープンするので、その際に置きたい」との提案があって。そこで長時間、安定して動作するようにつくり込んだのが大きいですね。その展示開始と合わせてストアにも出すことになりました。

宗：お話をいただいたのが2020年の3月下旬で、リリースしたのが2020年の8月ですね。

岡田：その間、まるまる作業をしていたわけではありませんが、展示に合わせる必要があり6月頃は忙しかったですね。展示用に過去に描いたラクガキが出てくるなど、カスタマイズもしていました。

▲「第7回デジタルえほんアワード」公式サイト



体験者の生の反応を見ながら知見を蓄積

CGW：最近は、ゲーム業界でも開発に先駆けてペルソナを設定することが多いんですが、このアプリに関してはいかがでしたか？

宗：していないですね。そもそもココノヱ時代から、ターゲットをあまり設定していないコンテンツが多いです。ハードルを下げたり間口を広げたりして、子供から大人まで楽しめるようなものをつくっています。そもそも、ラクガキってそういうものじゃないですか。国籍も性別も関係なく、親子が一緒に遊べるようなコンテンツで。それに、『らくがきAR』では絵をスキャンするだけで、実際に操作することはできません。これは『撃墜王』も同じで、描いた絵が動くのを見て応援するだけなんです。

岡田：『撃墜王』を開発した頃は、ショッピングモールの催事向けに開発したり、イベントなどでブース出展させていただいたりといった小さい仕事も多かったですね。会場でアテンドなどもさせていただきました。ペルソナを想定して開発するというより、たまたま目の前を通りかかったお客様に声をかけて、興味をもってもらって遊んでいただく......、といったことが多かったですね。そこでリアルな感想や反応を得たことが知見として蓄積していきました。

CGW：お客さんの顔を見ているわけですね。

岡田：いわばイベントの客寄せですよね。声がけをしたら「いらない、いらない」と手をふって足早に通り過ぎられたり。かと思えば「これ、お金いるの？」、「何をするゲームなの？」などと聞かれたり。どうすれば、お客さんに直接わかってもらい喜んでもらえるのか、そこで鍛えられた気がしますね。

CGW：今、すごく良い話を聞いていますね。コロナ禍でゲームセンターの運営がしんどくなっていることもありますし、ゲーム業界でもなかなかそういったことが難しくなってきているんですよ。でも、お客さんの表情や反応を見ながら開発する重要さを再確認しました。

岡田：大手のゲーム会社では、開発職でもゲームセンター研修などがあったそうですね。

CGW：ナムコ（現：バンダイナムコエンターテインメント）やセガ・エンタープライゼス（現：セガ）など、ゲームセンター発の企業はどこもそうでしたね。お客さんの反応を見るだけではなく、毎日キャッシュボックスを開けてジャラジャラと百円玉を集めさせて。「ここから給料が出ている」ということを実感させるといったねらいがあったと聞いています。

岡田：めっちゃリアルですね。

CGW：一方でコンシューマのクリエイターには、自分たちの給料がどこから入ってくるのかが実感できていない人が多いですよ。何となく給料が出ているんだろうなぁとか、なぜ会社が赤字なのに倒産しないんだろうとか。ソーシャルゲームでも日々の売上が数字でチェックできて、運営施策の結果がダイレクトにわかる反面、数字を上げることに夢中になってしまい、お客さんの存在を忘れがちなところがあります。

岡田：僕たちもWeb制作が出自で、当時はSNSなども今ほど一般的ではなかったので、Webサイトをつくっても反応が肌感で掴みにくいところがありました。デジタルインスタレーションをつくり始めてから、お客さんの反応がリアルにわかるようになり、開発に影響するようになりましたね。

CGW：さて、『らくがきAR』の今後の展開はありますか？

宗：今後も同じようなコンセプトのアプリは開発すると思いますが、『らくがきAR』としてはこれで一区切りとなります。

CGW：それでは、新しいコンテンツやサービスの開発についてはいかがでしょうか？　先ほどもふれましたが、5Gの普及に伴いどのキャリアもARやスマートグラスに関心を注いでいます。

宗：新しい挑戦はどんどんやっていきたいですね。『らくがきAR』のしくみを活用して、僕らがこれまで開発してきたコンテンツをARに移植したり、新しいコンテンツを起ち上げたり。もっとも、ARだからやりたいというのではなく、メーカーさんが新しい技術を出してきたときに、その技術をどんなふうに活用してコンテンツに落とし込んでいくかが勝負だと思っています。個人的にはエンタメが好きなので、ゲーム的なコンテンツを今後も開発していきたいですね。

CGW：iOSでいえばLiDARが注目を集めていますが、すでに検証されていますか？

岡田：関心はありますが、まだ忙しさにかまけて本格的に検証ができていません。せいぜいスキャンアプリを試すくらいですね。ただ、LiDARで何ができるかも重要なんですが、LiDARを触ってみてそこで得た感覚をエンジニア視点で会社に伝え、そこから生まれたアイデアをまた形にするという循環構造をつくることが大切だと思っています。

CGW：ゲームとも遊びともつかない、新しいタイプのエンターテインメントが注目を集めていて、まさに『らくがきAR』は好例だと思います。そうしたエンターテインメントは、なかなかネイティブなゲーム業界からはいろんな意味で出てきにくい状況にあるんですね。だからこそ御社であったり、お2人のような新しいクリエイターの力が求められているんだろうなと改めて感じました。今日はありがとうございました。