DJプレイに加え、フロア体験全体がミュージックドリブンだった
田端：AOFでのミライ小町ちゃんのDJプレイ時間は20分くらいでしたが、どういう事前準備をすると、あのようなパフォーマンスができるのでしょうか？
大久保：BanaDIVE™ AXでは、事前にアナライズを済ませた楽曲データを基にDJプレイを実行しています。さらに、キャラクターの動き、ステージ照明、VJ映像、AR映像なども、同じデータで制御しています。つまり、DJプレイはもちろん、フロア体験全体が楽曲データによって制御（ミュージックドリブン）されるわけです。今どきのDJの多くは、DJソフトを使って楽曲データを事前にアナライズしておき、それを保存したUSBメモリを持ってブースに入ります。代表的なDJソフトとしては、rekordbox（Pioneer DJ）、TRAKTOR（Native Instruments）などが挙げられます。iPhoneにも、WEDJ FOR IPHONE（Pioneer DJ）というアプリがあります。iTunesで購入した楽曲データをこのアプリに読み込むと、アナライズできるのです。
例えばWEDJ FOR IPHONEの場合は、つなぎたい2曲を再生しながらSYNCボタンを押すと、片方の楽曲のテンポにもう片方の楽曲のテンポを合わせてくれるので、タイミングを測りながらクロスフェーダーを操作すればつなげられます。経験のあるDJはSYNCボタンに頼らず、自分の耳を頼りに2曲のテンポを合わせてつなげます。技術に頼らず、両方の楽曲を耳で聞きながら調整する方がカッコ良いですから（笑）。でもAIの場合は、そういう技術を活用すればいいのです。
田端：つまり、今どきのDJと同様、BanaDIVE™ AXの場合も事前に楽曲をアナライズしており、それはDJソフトやBEATWIZなどのミドルウェアで自動化できるということですね。
大久保：はい。ただし全て自動化できるかというと、まだまだ研究の余地があると思っています。例えばクラブミュージックは構成がわかりやすいものが多いので、比較的アナライズが容易です。それに対して、アニソンやゲームミュージックはジャンルが様々で、構成もすごく複雑になりがちなので、完璧なアナライズは難しいです。実際のところ、DJソフトを使っているDJの多くが、アナライズした楽曲データだけを頼りにDJプレイをしているわけではありません。曲をつなぐ部分を事前に確認し、手動でマーカーを設定しているのです。ミライ小町がDJプレイをしたときも、楽曲のアナライズに加え、僕の方でマーカーを設定しておきました。
田端：ミライ小町ちゃんのDJプレイは、機械的な楽曲データのアナライズと、大久保さんの個性を反映したマーカーが基になっていたわけですね。ということは、子川さんがマーカーを設定したら、ちがうDJプレイになるのでしょうか？
大久保：そうなります。丁寧にマーカーを設定するほど、ミライ小町のDJプレイは美しくなります。人間がDJをする場合も同様です。上手くないDJほど、事前準備を丁寧にやった方がいいです。
田端：曲同士をつなぐAIのロジックについても教えていただけますか？
大久保：ディープラーニング（深層学習）に代表されるようなレベルのAIではなく、ステートマシンと呼ばれるゲームAIの技術を応用しています。例えば『パックマン』のゲームAIの場合は、パックマンのステート（状況）を監視し、「パックマンがある座標にいるとき」、ピンクのモンスターは「その3個先の座標を目指し、先回りするように動く」というようなif文を書くことで、モンスターの動きを制御しています。BanaDIVE™ AXの場合は、アナライズされたデータとマーカーを基に楽曲のステートを判断し、キャラクターのDJプレイ、動き、ステージ照明などを制御しているわけです。
田端：例えばオーディエンスのノリが良い場合に「当初の予定より長くかけよう」といった判断をすることは、BanaDIVE™ AXのゲームAIにも可能なのでしょうか？
大久保：AOFではやっていません。「短くつなぐ」「長くつなぐ」といった指示を人間が出すことは現段階でもできますが、オーディエンスの反応を基にAIが判断することはできません。オーディエンスの反応でもって制御したのはオンライン投票のところだけです。例えば、慶應義塾大学 湘南藤沢キャンパス（SFC）の徳井直生先生らはオーディエンスの人数や動きを基に、次にかける曲をAIが選ぶ研究（※）をしており、そこでは機械学習が用いられていますね。こういった選曲の研究ともいつか合流できたらなと考えています。合わせて「どうプレイするか」に関する研究も次の段階で取り組むことになるんだろうと思っています。
※Multi-Motion Crossfader: Human Tracking DJ Mix System by Crowd Reading（Yuga Kobayashi, Ryo Nishikado）。研究の詳細はこちらを参照。
僕たちはエンターテインメントの会社の人間ですから、現場のゲームAIのロジックを使い、キャラクターが自らの意思でDJプレイをしているかのようなステージを実現し、そこにオンライン投票などを通じてオーディエンスも参加できるようにすることで「AIに踊らされる未来」を体験していただくことを目指しました。技術者の目線で見るだけなら、技術の研究に特化すればいいのですが、技術にミライ小町というキャラクターの姿を与えることで、「楽しい」という感情がオーディエンスに伝わりますよね。BanaDIVE™ AXによるミライ小町のDJプレイは、技術によって人の感情を揺さぶり、楽しくさせる、エンターテインメント体験を創造するための実証実験でもあったと思っています。
田端：先ほど「DJプレイはもちろん、フロア体験全体がミュージックドリブン」とおっしゃいましたが、例えばミライ小町ちゃんが両腕を上げてクラップするアニメーションであれば、アナライズされた楽曲データとマーカーを基に、どこでクラップするかをAIが判断しているということでしょうか？
大久保：そうです。例えばアナライズの結果が「アップ」であれば、「アップ」のカテゴリの中にあるアニメーションの中からランダムに割り当てる仕様になっています。その上で「ここは、キメの動きがほしいよね」というところは人間が指示を出せるようになっています。DJ機材の操作アニメーションはDJプレイの制御に同期しており、フェーダーを上げ下げするときは、ミライ小町もフェーダーを手で上げ下げするアニメーションを行います。次の曲に移るときは、ちゃんと選曲ツマミを触ります。フェーダーやツマミを操作する動きは、それぞれの座標と指先の座標を合わせ、各関節の角度はIKで自動的に計算しているので、モーションキャプチャによるものではありません。一連のアニメーションのブレンドは、スマイルブームのビジュアル担当の方や、BNSのアニメーターと相談しながら調整しました。まだまだ改良の余地はありますが、人間に近い動きをしていると思います。
田端：そして、ステージ照明、VJ映像、AR映像なども、徹底的にミュージックドリブンなわけですね？
大久保：はい。スピーカーの動きや、カメラの切り替わるタイミングも、4小節、8小節といったカウントに合わせて制御しています。
田端：AOFでは曲に合わせてカットが切り替わったので、リアルなライブハウスでは見られない画を楽しめました。見慣れない画のはずなのに、不思議と引き込まれる体験でしたね。
大久保：SXSWのステージでは、正面・右側・左側にある3つの画面でちがう映像をながす予定でした。AOFではひとつの画面しか表示できなかったので、配信映像向けにカメラを切り替える仕様に変更したのです。AR映像もSXSWの段階から計画しており、正面の画面にスマホをかざすと、会場内を乱舞するエフェクトを楽しめる演出にする予定でした。VJ映像は、ResolumeというVJソフトをメインプログラムから制御しています。僕はVJもやっていまして、自分が使い慣れており、かつ一般的でもあるVJソフトをBanaDIVE™ AXでも活用している感じです。
田端：多芸すぎます（笑）。
大久保：BanaDIVE™ AXでは、DJやVJの方々が普段使っているデータや演出素材をそのまま使用できるようにしています。エンジニアが全てを担うのではなく、楽曲の編成はDJがやればいいし、映像の制作や構成はVJがやればいいと思うのです。その道のプロにやってもらった方が、絶対に良いステージになります。ですから、DJやVJの方々が普段と同じように使えるしくみの構築を目指しているのです。
田端：BanaDIVE™ AXは、ミライ小町ちゃん以外のキャラクターモデルにも適用できるのでしょうか？
大久保：現時点では、モデルによってはIKの部分などで不具合が出るかもしれませんが、将来的にはできるだけ簡単にモデルを入れ替えられるようにしたいと思っています。今はまだ発展途中なので、ASOBINOTESチームとも相談しながら仕様の検討を続けています。子川とも、会うたびに「こんなことをやりたい」「あそこは改良したい」といった構想を話し合っています。
子川：このインタビューの直前にも、そんな話をしていました。BNKENの生み出した技術でもってキャラクターによるDJプレイを盛り上げ、その熱量をオーディエンスと共有できるイベントをプロデュースすることが、僕の役割だと思っています。
大久保：期待しています。
前篇は以上です。後篇では『電音部』プロジェクトとDJイベントのオンライン化について伺っていきます。ぜひお付き合いください。
ミライ小町のDJプレイを可能にしたBanaDIVE™ AXについて、開発者の大久保氏と『電音部』の子川Pに聞いてみた（後篇）
©BANDAI NAMCO Entertainment Inc.／©BANDAI NAMCO Research Inc.
