LED STUDIOで撮影することで実現できたライブ演出「Kizuna AI 2nd Live "hello, world 2020"」

配信中にTwitter上ではハッシュタグ#helloworld2020がトレンド入りするなど、大盛況に終えた「Kizuna AI 2nd Live "hello, world 2020"」。Kizuna AIのインタビューに続き、本稿では本ライブの企画の経緯と目指したビジュアル表現についてディレクターとプロデューサーを務めた各氏に語ってもらった。

※本記事は月刊「CGWORLD + digital video」vol. 271（2021年3月号）からの転載となります。

TEXT＿安田俊亮
EDIT＿沼倉有人 / Arihito Numakura（CGWORLD）、山田桃子 / Momoko Yamda

Kizuna AI 2nd Live "hello, world 2020"
出演：Kizuna AI
日程：2021年1月23日（土）
チケット：FREE
ゲスト：TeddyLoid、DÉ DÉ MOUSE、花譜、バーチャル中田ヤスタカ
プラットフォーム：YouTube, bilibili, U-NEXT, TikTok, Oculus Venues
主催：Kizuna AI株式会社
制作協力：株式会社サイバーエージェント（CyberHuman Productions／6秒企画 FutureLiveGroup）
© Kizuna AI

ディレクター中川義和氏（Creative Collective FATIMA）
テクニカルディレクター髙橋正教氏（C）

FutureLiveGroup チーフプロデューサー大木拓郎氏（サイバーエージェント / 6秒企画）
FutureLiveGroupプロデューサー北野慎師氏（サイバーエージェント / 6秒企画）

取締役芦田直毅氏（CyberHuman Productions）
『hello,world 2020』プロデューサー某氏（Kizuna AI Inc.）

トラッキングシステムとLEDウォールが"融解"のキーに

「Kizuna AI 2nd Live "hello, world 2020"」は、Kizuna AIさん本人から提案された「リアルとバーチャルの融解」というコンセプトが念頭にある。『AIAIAI』MV当時はディスプレイの中にいたKizuna AIが、ディスプレイの枠を飛び出してライブパフォーマンスすれば、Kizuna AI自身のコンセプトである「みんなとつながる」をさらに発展させられるのではないか、というねらいだ。これを受けて、技術的なリサーチが2020年8月にスタートした。

ステージのコンセプトとプラン

▲中川氏が作成した本ライブのコンセプトとステージプラン

ライブのインスピレーションのひとつには、ゲーム『League of Legends』の世界大会で披露されたK/DAのパフォーマンスがある。K/DAはゲーム内のキャラクターをベースとしたバーチャルアイドルで、世界大会のステージでは3Dキャラクターによるダンスがリアルタイムで配信された。「hello, world 2020」のディレクターを務めたFATIMAの中川義和氏は、「『K/DA』のパフォーマンスを発展させれば、音楽ライブとMVが一体化したような映像がつくれるのではと感じました。非現実と現実が融合して、音楽ライブの新たな可能性を一歩でも半歩でも広げられたら良いなと思ったんです」と語る。

リアルタイムの3Dトラッキング技術をリサーチした結果、トレンドとして上がってきたのが光学式カメラトラッキングシステム「RedSpy」とリアルタイムCG合成ソフトウェア「Reality Engine」の組み合わせだ。この技術をもっていたサイバーエージェントグループのCyberHuman Productions（CHP）に企画の話が持ち込まれたことにより、ライブが実現に向けて動き出すことになる。

このトラッキングシステムに加えて、ライブでのポイントとなっているのは巨大なLEDウォール。中川氏いわく「LEDウォールはマストアイテム」で、本番時にスタジオへ持ち込むことも検討していた。「バーチャル世界とLEDウォールの映像を一致させることで、どこからどこまでがリアルかバーチャルかわからない、面白い映像ができると思ったんです」と中川氏はねらいを話す。幸いだったのは、CHPは巨大LEDウォールを常設したLED STUDIOを所有していたこと。わざわざLEDウォールを持ち込まなくても、まるごとLED STUDIOで理想の設備と技術が利用できる。「それとCHPさんのLEDウォールで良かったと思ったのが、LEDのピッチが細かかったことです。何より映像に綺麗に映りますし、あそこまで細いものはなかなかありません。これからライブをつくっていく環境としてバッチリでした」（中川氏）。さらに、特にTeddyLoidさんがゲスト参加するパートでは、Kizuna AIさんにもTeddyLoidさんにも同じエフェクトをかけている。AR技術も駆使することで、演者同士にも境目をなくしている。舞台という点でも、演者という点でも、「リアルとバーチャルの融解」が全編を通して演出されている。

LED STUDIOでのパフォーマンス

▲LED STUDIOでのパフォーマンスの様子。Zero Density社のReality Editorでリアルタイム合成をプレビューし、その後、CG素材を本番用に差し替えた上でトラッキングの精度を高めながら画づくりが進められた

またCHPとして、バーチャルアーティストを現実世界に登場させる試みは初。もっと言えば、LED STUDIOで音楽ライブを実施することも初めてだったという。初めてづくしながら、設立したばかりのLED STUDIOの技術や設備を知ってもらうにはうってつけであり、相思相愛の関係の中でライブがつくられていった。そのCHPから見て、Kizuna AIチームは「新しいものをつくろう、ゼロからイチをつくろうという気概がすごかった」という。

「ここまで新しいことに挑戦できたのは、Kizuna AIちゃんがいたからこそだし、このチームだからこそです。10年に1度あるかどうかと思うくらい、挑戦的なプロジェクトでした。大変な部分はありましたが、みんなが一丸となってくれたことで、ゼロからイチをつくれたのではないでしょうか」（中川氏）。

TeddyLoid登場パートのリアルタイムビジュアル

TeddyLoidさんがゲスト出演するパートでは、TouchDesignerでリアルタイムビジュアライザーを制作した。カメラセンサーには高橋啓治郎氏開発のRcamController（Rcam2）を使用している