「電音部シンサイバシエリア」ILCA Lab X teamが生み出す、ド派手なリアルタイムライブ＞＞No.2 キャラクターライブ制作

2020年に始動した電音部は、バンダイナムコエンターテインメント（以下、BNE）が展開する音楽原作キャラクタープロジェクトだ。本作の数あるエリアのひとつである、シンサイバシエリアによる、リアルタイムキャラクターライブの舞台裏を2回に分けてお届けする。

記事の目次

※本記事は月刊『CGWORLD + digital video』vol.315（2024年11月号）掲載の「ILCA Lab X teamが生み出す、ド派手なリアルタイムライブ／電音部シンサイバシエリア心斎橋演芸高校 OKINI☆PARTY'S」を再編集したものです。

・「電音部シンサイバシエリア」ILCA Lab X teamが生み出す、ド派手なリアルタイムライブ＞＞No.1 キャラクター＆ステージ制作

キャラクターライブの配信用機材やシステムを社内に完備

ILCA Labが拠点を置く東新宿スタジオにはリアルタイムキャラクターライブの配信用機材やシステムが完備されており、X teamのスタジオ担当スタッフによって管理されている。シンサイバシエリアのような社内案件だけでなく、社外のクライアントによる単発での利用などにも対応しているとのことだ。

2月3日にシンサイバシエリアのリアルタイムキャラクターライブを実施した際には、モーションキャプチャエリア内にいる3人のアーティストのMCや歌唱、ダンスに合わせて、約10人のX teamのスタッフが様々な操作を行なった。「表情と指の動きはゲームのコントローラで入力しており、キャラクター1体につき、スタッフ1人をアサインしました。リップシンク用の母音解析はOVRLipSyncとuLipSyncを併用しており、取得したデータをそのままC#で処理すると遅延が目立つので、ネイティブコードのC++で高速に処理した結果をVINUSSに受け渡し、キャラクターの口の形を変えています」と村田崇彰氏（リードエンジニア）は解説してくれた。

▲「シンサイバシエリアメインストーリー第12話『LIVE』」として実施された、リアルタイムライブ配信

なお、既存のパラメータをそのまま使うと口の動きが滑らかすぎてキャラクターのルックに合わないため、［開け］［中間］［閉じ］からなる3段階に変更することで、作画アニメのような口パクを実現している。

ちなみに、ILCAではデザインとプログラムの両面で生成AIの活用も推進しており、エンジニアの場合はGitHub Copilotなどでコードを量産し、担当者が精査した上で実装するといった使い方をしているとのことだ。

配信用機材と、カメラ制御のシステム

スタジオは防音室になっており、広さは約7.5m四方で、モーションキャプチャの収録可能エリアは約5m四方。OptiTrackを20台設置しており、内訳はPrimeX 22が4台、PrimeX 13Wが8台、PrimeX 13が8台。

X teamのスタッフの作業エリアはモーションキャプチャスタジオに隣接しており、ガラス越しに中の様子を確認できるようになっている。

VINUSSのカメラ制御用UIは、カメラ担当の新井穂高氏の意見を取り入れながら、村田氏や久保田蓮氏（エンジニア）が現在も調整を重ねている。上段では最大16台のUnity上のカメラを同時にプレビューでき、任意のカメラを選んで下段の［Spout］に登録し、その中の1台の画を配信するしくみになっている。最下段では、大量のカメラによる処理落ちを防ぐために、3段階の描画制限をかけることができる。

「VINUSSの開発着手は2022年の夏頃で、エンジニアがいなくてもアーティストだけでライブ配信の設定を組めるシステムを目指して、段階的に機能拡張を続けています。シンサイバシエリアのキャラクターだけでなく、VRMや、ほかのプロジェクトのファイル形式であっても簡単に実装でき、滞りなくMotiveのモーションデータなどをながし込めるようにする汎用性の確保に一番苦戦しました」（村田氏）。

照明・特効・ギミック制御、映像演出、コメント演出のシステム

APC40 MKIIのボタンとフェーダに、Unity上で設定した照明プリセット、特効、ステージギミックをアサインし、リアルタイムに切り替えられるしくみも構築した。2月3日のライブではMCを挟みつつ4曲を披露したため、事前によしずみ氏がMCと各楽曲の演出を設計し、久保田氏が実装を担当している。APC40 MKIIには横8個×縦5個のボタンがあるため、上段から順番に［MC］、［1曲目］、［2曲目］、［3曲目］、［4曲目］のプリセットを設定し、ライブ本番は担当スタッフがリアルタイムに演出を切り替えていった。

「DMXなどの専門知識がなくてもイメージ通りの演出ができるシステムを、久保田が構築してくれました。例えばOMATSURI SOULという楽曲では、要所で火柱の特効を出したりしています。カメラ、照明、特効のタイミングがきっちりハマったときには、最高の気分になりますね」（よしずみ氏）。

前述したカメラや照明などのビジュアルまわりの制御はUnity上で行う一方で、それ以外の処理はURANUSS（Unified Realtime Automated Node Universal Staging System）というTouchDesignerで開発したサポートシステムが担っている。「Unity上で全てを賄おうとすると処理負荷が高くなりすぎるので、楽曲解析などはURANUSS上で行い、結果だけをUnityに受け渡すようにしています」とURANUSSの開発を担う堀井諒太氏（テクニカルアーティスト）は語った。

▲開発中の映像演出システムのUI。楽曲のBPMやボリュームなどの入力情報を基に、リアルタイムにステージにマッピングを施したり、ギミックを動かしたりする機能が盛り込まれている。「最終的には、入力した楽曲を基に、照明や特効を含む全ての映像演出を自動生成するしくみを構築したいと考えています」（よしずみ氏）

▲URANUSS上で稼働する、コメント演出システムのプロトタイプのUI。YouTubeライブのチャットに投稿されるユーザーコメントを取得し、ライブ空間内にリアルタイムに表示することができる

コメント演出システムは2月3日のライブでも使われ、数多くのコメントで空間が埋め尽くされた。「独自のフィルタリング機能を搭載しており、荒らしコメントや、使用フォントに対応していない文字を弾くことも可能です。一見すると同じ文字に見えても、パソコンとスマホとではUnicodeがちがう場合もあるので、様々な視聴環境で本番ギリギリまでテストをくり返し、ユーザーの打った文字が極力反映されるように調整しました。将来的には、特定のコメントを入力すると、ステージギミックや特効が発動するようなしくみも盛り込んで、ユーザー参加型のライブを実施していきたいと構想しています」（堀井氏）。

楽曲に合わせた、千変万化のライブ演出

▲楽曲「OMATSURI SOUL」では、レーザーで和柄のような幾何学模様をつくり、祭りの雰囲気を演出している

▲同じく楽曲「OMATSURI SOUL」のサビの直前では、刀のSEに合わせて逆光演出を入れることで画を引き締めている

▲楽曲「心斎橋エイリアン」の前奏ではブルー暗転の状態を維持して、以降の演出が映えるようにしている

▲楽曲「RUN」では爽やかさを感じる照明やエフェクトを施し、大阪色の濃いほかの楽曲とは異なる歌詞やメロディを視覚でも体感できるようにしている

▲楽曲「アホちゃうもん」ではポップさを重視し、吹き出しエフェクトを乱舞させている

▲楽曲「コミュ力オバケ」では歌詞をエフェクトとして表示し、その内容を反映した陰鬱な照明を施した。配信プラットフォームのZ-aNでは「シンシンシンサイバシ」という有料番組も展開しており、その中でもキャラクターライブを披露している。「みんなの笑顔と元気の理由になれる、さらに楽しいライブを目指し、X team一丸となって開発に取り組んでいます」（西野氏）

巨大LEDパネルを設置した配信スタジオ

東新宿スタジオには、壁一面を覆い尽くす巨大LEDパネルを設置した配信スタジオも設けられており、様々な番組収録に使われている。シンサイバシエリアの番組での使用も計画しているとのことで、今後の展開が楽しみだ。

「近年のILCAは主にゲームの開発をしていますが、そこから発展するあらゆるアイデアやコンテンツを磨き上げ、世の中に提供することを目指しています。その一環で、社内のチームを再編成し、ILCA Labという新組織を設立しました。スタジオ機能と、コンテンツ制作機能の両方を有する強みを活かした、様々な実験や挑戦をしかけていきます！」（西野氏）。