常に変化する社会や人の心をとらえ、そのとき、その場で最高に面白いLIVE体験を創るLATEGRA(ラテグラ)。2016年のニコニコ超会議での初演以来、進化し続ける超歌舞伎と、北京冬季五輪に向けて開幕した「相約北京」(北京で会いましょう)国際芸術祭の開会式での洛天依(ルォ・テンイ)による「Time to Shine」のステージを事例に、その真価を紐解く。なお、本記事は「超歌舞伎編」と「洛天依「Time to Shine」篇」に分けてお届けする。

関連記事:LATEGRAが創るLIVE体験。面白きこともなき世を面白く/洛天依「Time to Shine」篇

※本記事は月刊『CGWORLD + digital video』vol.284(2022年4月号)掲載の「LATEGRAが創るLIVE体験 面白きこともなき世を面白く 超歌舞伎/洛天依「Time to Shine」」を再編集したものです。

記事の目次

    Information

    超歌舞伎『永遠花誉功』(とわのはなほまれのいさおし)

    ニコニコ超会議2022 公演
    日時:4月29日(金・祝)・30日(土)
    出演:中村獅童、初音ミク、中村蝶紫、澤村國矢、中村獅一ほか
    場所:幕張メッセ・イベントホール
    劇中曲:cosMo@暴走P『初音ミクの消失』ほか
    chokabuki.jp

    Staff

    後列左から、モーションキャプチャ/モデラー・早稲田茂高氏、キャラクターモデラー・八木治郎氏、CG演出・高橋玲香氏、チーフディレクター/キャラクターモデラー・藤谷 晃氏、テクニカルディレクター・出村憲治氏。前列左から、コンポジット/2Dワーク・市村美沙氏、プロジェクトマネージャー・加藤美代氏、コンポジット/アートワーク・野口登司氏、アニメーター・増渕雅子氏。右下、アニメーター・衛祥氏(以上、LATEGRA)
    lategra.co.jp

    お客さんに体験していただくことで初めて完成する

    ――面白きこともなき世を面白く
    ――住みなすものは心なりけり

    この歌の上の句は、幕末明治を生きた高杉晋作が詠んだとされている。「いつの世も面白いことばかりではないですが、“なんか面白いことをやってくれるよね” と言われるLIVE屋でいることがLATEGRAのミッションです」と藤谷 晃氏(チーフディレクター/キャラクターモデラー)は語る。藤谷氏をはじめ今回取材に応じてくれたスタッフの多くは、ゲーム開発を経験した後、“LIVE屋” に転向した。「現場に出向き、お客さんに体験していただくことで初めて完成する点がLIVEとゲームの大きなちがいだと思います。最近はバーチャル開催のLIVEも増えていますが、コメントを通して、現場とお客さんの温度感や息づかいは共有できるんです」と高橋玲香氏(CG演出)は語る。

    チーフディレクター/キャラクターモデラー・藤谷 晃氏

    CG演出・高橋玲香氏

    例えば、歌舞伎俳優の中村獅童とバーチャルシンガーの初音ミクによる2019年の超歌舞伎『今昔饗宴千本桜』(はなくらべせんぼんざくら)の再演では、満開の桜の木を背にして見得(みえ)をする中村獅童を、観客たちがペンライトの色をピンクにして応援する一幕があった。「辺り一面がピンクに染まり、見事な千本桜の宴が完成しました」(藤谷氏)。なお、ニコニコ生放送では桜マークが画面を埋め尽くし、バーチャル空間にも千本桜の宴が伝播した。「そういうお客さんの反応を予測しながら演出の間合いを考えるのが、LIVEの面白いところであり、難しいところでもあります。偶発的なことにも大きく左右されるので、俳優さんの呼吸に合わせ、CG演出のタイミングをずらすしくみもUnityを使って構築しました。同じ演目の同じ台詞であっても、1分で語り終えることもあれば、1分半使うこともありますから」(高橋氏)。このしくみは2016年の初演当時は構築されていなかったが、回を重ねる中で必要性を感じ、段階的に確立していったという。

    “楽な仕事じゃないけど、チャンスなんだろうな” という勘が働いた

    本記事で紹介するもう1人のバーチャルシンガーである洛天依は中国語のボーカロイドとして2012年にデビューし、中国での知名度を着々と高めてきた。2021年7月にはVOCALOID 5がリリースされ、9月には北京冬季五輪の公式テーマソング「Time to Shine」を発表。「相約北京」国際芸術祭の開会式(2022年1月)におけるステージは、CCTV(中国国営のTV局)と鳳凰衛視(香港のTV局)で放送された。「初めて洛天依のLIVEを担当したのは2015年で、場所は成都(四川省の省都)でした。洛天依を含む3人のボーカロイドの3Dモデル制作から、LIVE演出、Unityによるシステム構築、現場での透過スクリーンへの投影まで担当しました」(藤谷氏)。その直後、超歌舞伎のCG制作をドワンゴから依頼され、こちらも担当することになった。「洛天依にしても、超歌舞伎にしても、経験も時間もない状態からのスタートでしたが、“可愛らしい女の子は、私、たぶん得意だ” って思ったんです。ダンスや音楽も好きだったし、“楽な仕事じゃないけど、チャンスなんだろうな” という勘が働きました」(高橋氏)。

    超歌舞伎の初演は2016年の桜の頃で、桜を見る度に当時の記憶が蘇ると出村憲治氏(テクニカルディレクター)は語る。「今は本番の3~4ヶ月前にモーションキャプチャをしていますが、当時は誰もやり方をわかっていなかったので、本番1ヶ月前にキャプチャをしていました。生きた心地がしなかったですね」(出村氏)。それでも、リーダークラスを集めた約10人の少数精鋭チームだったため、途中で崩壊することなく本番を迎えられたという。「本番前日のゲネプロでは完成映像を上映するという慣習すら知らなかったので、あちこち未完成の状態で、その場が凍り付くようなお披露目をしてしまいました。ゲネプロ終了後、代表取締役の山形(龍司氏)から “でも信じてるから、よろしく” という短いメールをもらい、震えたことを今でも覚えています。そこから死にもの狂いで仕上げて、本番に間に合わせました」(高橋氏)。

    テクニカルディレクター・出村憲治氏

    <1>本物の歌舞伎衣裳を基に、初音ミクの着物を作成

    歌舞伎とCGを融合する前代未聞の挑戦

    最近の超歌舞伎では本番の約4ヶ月前に台本が仕上がり、それを基に唄や三味線、鳴物などの音を収録する。「台本を読み、音を割り当てながらPremiere ProでVコンテをつくります。最初の頃は歌舞伎の専門用語が理解できず、台本を読むだけで1ヶ月くらいかかりましたが、最近は数日で読み解けます」(高橋氏)。超歌舞伎は、俳優が立つ舞台、その背後の透過スクリーン、その上のスクリーンの3つで構成されている。それら3要素の内容をVコンテによって可視化することで、俳優、歌舞伎パートの製作を担う松竹、CG制作スタッフ間の意思疎通を円滑化するわけだ。「例えば、“俳優さんの立ち位置はここだから、CGはここに表示する” “ここは舞台美術で表現して、ここはCGにする” といったことを確認していきます。併行してモーションキャプチャを行い、ノイズを除去した収録データが上がってきたら3Dモデルに適用し、Vコンテにも反映させます。そんな感じで、制作の進行に合わせてVコンテの情報量を増やし、完成形を明確にしていくんです」(高橋氏)。

    なお、台本が仕上がった後も、モーションキャプチャの現場や、演目の稽古の中でブラッシュアップが続けられる。「歌舞伎ではひとつの演目を1ヶ月ほど演じ続けるので、公演を通して洗練させていくのが俳優さんたちの流儀です。一方で私たちには “完成形を披露する” という意識があったので、両者の融合は前代未聞の挑戦でした。お互いの理解を深め、歩み寄りながらやってきました」(高橋氏)。

    公演1回あたりの尺は約1時間で、その中に占めるCGの尺は約30分になる。「初年度は上のスクリーンでながす映像の尺が長かったのですが、翌年から短くして、舞台上での芝居の尺を増やしました。歌舞伎ファンと、ミクさんのファンの両方に満足していただける尺を探った結果、今のバランスに落ち着いたんです」と加藤美代氏(プロジェクトマネージャー)は語る。最近は作業のマニュアル化を進めており、社外にも依頼できるようになったため、CG制作スタッフは15人程度まで増えているという。

    プロジェクトマネージャー・加藤美代氏

    初音ミクの着物は、松竹衣裳での取材と、着物の着物絵師が描いた絵を基に演目ごとに作成している。「たまたま私の母が着物絵師だったので、伝統的な着物の型に柄を描いてもらい、それを加工してテクスチャをつくっています」(高橋氏)。俳優と初音ミクとでは身体のプロポーションも髪の色もちがうので、俳優の着物を初音ミクに着せても様にならない。そのため、実在する着物をベースにしつつ、柄の配置や配色を調整する必要があるという。「本物の歌舞伎衣裳は完璧なバランスなので、そこに手を加え、遜色ないものに仕上げるのはすごく難しいです」と市村美沙氏(コンポジット/2Dワーク)は語る。

    コンポジット/2Dワーク・市村美沙氏

    『今昔饗宴千本桜』(2019)の初音ミクの着物作成

    松竹衣裳での取材風景。保管されている着物の中から、超歌舞伎の演目に合うものを選んでいる
    • 『祇園祭礼信仰記 金閣寺』の雪姫の着物を撮影
    • マスクを作成し、柄を切り抜く。一連のテクスチャ作成は市村氏が担当
    • 職人が描いた下絵。伝統的な着物の型に手で描かれている
    • マスクを作成し、柄を切り抜く
    • 職人が描いた下絵に、着物の写真を合成することで、着物の質感を付けている
    • 着物の写真と、職人が描いた下絵から作成した柄用のパーツ
    柄用のパーツを組み合わせ、初音ミクの着物をデザインしていく。布の縫い合わせ部分の柄配置が特に難しいという。この段階で配色も調整しており、ここでは初音ミクの髪の色に合わせ、緑と青の柄を追加している。「ミクさんの髪色は特殊なので、フィットする配色が限られています。既存の衣裳と合わせるだけではチグハグな印象になるので、ミクさんの髪と同じ色や近い色を加えて調和させることが多いです」(市村氏)。なお、中村獅童をはじめとする共演者の衣裳は、初音ミクの衣裳をふまえて決められる。「ミクさんの髪色は固定なので、ミクさんファーストで全員の衣裳が決まるんです。すごい女優さんだなと思います」(高橋氏)
    完成した上半身用のテクスチャ
    着物をまとった初音ミク。2021年の『御伽草紙戀姿絵』(おとぎぞうしこいのすがたえ)でのカーテンコールの一幕

    『積思花顔競』(2018)の初音ミクの着物作成と、山車演出の提案

    • 職人が描いた下絵
    • マスクを作成する
    柄を切り抜く
    完成したテクスチャ(上半身用)
    完成したテクスチャ(下半身用)。芸者の色留袖で、袖と背の三つ紋には初音ミクの家紋があしらわれている。「家紋がほしいという高橋の要望を受けて、私がラフを描き、出村が清書しました。ミクさんといえばネギなので、ネギの花がモチーフになっています。人間味を出すため、あえてアシンメトリーのデザインにしてあります」と、野口登司氏(アートワーク)は語る

    アートワーク・野口登司氏

    帯は博多織の献上柄で、ニコニコテレビちゃんがあしらわれている。これも高橋氏と市村氏のこだわりだ

    2018年は初音ミクが山車(だし)に乗って登場したことが話題になった。この演出もLATEGRAの提案が起点となっている。「“ミクさんを常設のスクリーンから出したい”という要望をドワンゴの総合プロデューサーが言い続けていたので、歌舞伎の『新版歌祭文』という演目の舟や駕籠(かご)を使った演出をヒントに、段ボールや巻きす、突っ張り棒、iPad、鏡などを組み合わせてモックアップをつくり、関係者が集まる定例会議でプレゼンしました」(高橋氏)。

    芸者の着物をまとい、山車に乗った初音ミク。山車を実現するため、NTTの技術である両面透過型多層空中像表示装置が用いられた

    『今昔饗宴千本桜』(2019)の佐藤四郎兵衛忠信のクロスシミュレーション

    『今昔饗宴千本桜』の佐藤四郎兵衛忠信は中村獅童が演じており、スクリーン映像用の3Dキャラクターもつくられた。初音ミクや3Dキャラクターがまとう着物の自然な動きも超歌舞伎の見どころのひとつだ。「初演の制作時に様々なやり方を試し、MayaのnClothによるシミュレーション結果をジョイントにベイクするというやり方に落ち着きました。初演時のジョイント数は436個でしたが、最新モデルでは最大で6,463個まで増えており、回を重ねるごとに動きが滑らかになっています」(藤谷氏)。

    ジョイントは3Dモデルの頂点に内製のスクリプトで割り当てており、アニメーション付きのデータをUnityに一括で出力することはできないため、分割して出力するしくみになっている。Alembic形式で出力するやり方も試したが、安定性に難があり、採用を見送ったとのことだ。「特に裾の表現がやっかいで、ほかのやり方だと、めり込んだり、グチャグチャになったりしがちです。ジョイントを使う現状のやり方であれば、同時に複数体を表示して、現場でリアルタイムにレンダリングすることが可能です。カーテンコールでは、最大で7体(ピアプロキャラクターズ6人と、白狐1匹)まで出したこともあります。常に限界に挑戦しているので、“止まりませんように” と毎回ワークステーションを拝んでいますね」(出村氏)。

    スクリーンに映された佐藤四郎兵衛忠信

    <2>演目ごとに現地を取材し、古の風景を再現

    歌舞伎界の信頼を得るためには徹底した取材が不可欠

    前述の衣裳と同様、背景やキャラクター制作においても取材を重視していると野口氏は語る。「モーションキャプチャが終わり、収録データが上がってくるまでの期間を取材に充てています。2Dアートワーク担当の私と、3Dモデル担当の藤谷、スクリーン映像担当の出村の3人で取材に行くことが多いです」(野口氏)。各担当の視点でもって多角的に現地情報を吸収し、後日ほかのスタッフに共有しているとのことだ。さらに関連する書籍や漫画などにも目を通し、理解を深めていく。

    例えば2018年の超歌舞伎『積思花顔競』(つもるおもいはなのかおみせ)の舞台は平安京で、羅生門に潜む惟喬親王(これたかしんのう)の下に小野初音姫が現れる一幕があった。なお、前者は中村獅童、後者は初音ミクが演じている。この演目の制作時には2泊3日で奈良と京都を巡り、平城宮跡歴史公園、京都アスニー(縮尺1/1000の平安京復元模型がある)、惟喬親王墓などを巡った。「惟喬親王はスクリーン映像用の3Dキャラクターもつくることになっていたので、お墓参りをさせていただきました。リファレンスとして使える情報だけでなく、スケール感や空気感、雰囲気を体感することも重視しています。現地に行くのと行かないのとでは、画の説得力が全然ちがってくるんです」(出村氏)。

    惟喬親王は文徳天皇の第一皇子だったが、母が藤原氏の出でなかったこともあり、皇位につくことなく大原で隠棲した。歌舞伎の演目などでは悪人として描かれる場合が多いが、実際には大原の民から慕われていたという話を地元の観光ガイドから聞かされ、愛着が増していったという。「演目のカーテンコールではCGの惟喬親王も出して、手をふってもらいました。怖い見た目とのギャップが面白かったみたいで、ニコニコ生放送のユーザーさんはすごく盛り上がってくれましたね」(藤谷氏)。

    同様に、2017年の超歌舞伎『花街詞合鏡』(くるわことばあわせかがみ)では、現在の吉原を取材し、関連書籍と照らし合わせながら江戸時代の吉原を再現した。「歌舞伎界の信頼を得るためには、徹底した取材が不可欠だと感じています。確かな知識に基づく画づくりをすることで、こちらの本気が伝わるんです」(高橋氏)。

    『積思花顔競』(2018)のための奈良・京都取材

    平城宮跡歴史公園の全景。写真手前(北方)に第一次大極殿、写真奥(南方)に朱雀門が位置している
    取材時に野口氏らが撮影した写真。【右上】では朱雀大路、【下】では朱雀門のスケール感や空気感を確認している
    京都アスニーの平安京復元模型の写真を撮影し、それを基に再現した平安京の全景。手前(南方)に羅生門、奥(北方)に平安宮が位置しており、中央に朱雀大路が伸びている

    『積思花顔競』のオープニング映像。取材を基に平安京の俯瞰映像や、朱雀大路、羅生門を再現している。「このオープニングでは屏風絵のようなテイストで平安京のスケールを表現することを目指しており、After Effects(以下、AE)上でカメラワークを試行錯誤しました」(出村氏)

    『今昔饗宴千本桜』(2019)の桜と羅生門の表現

    『今昔饗宴千本桜』の初演は2016年で、2019年の再演時には千本桜を回転させられる仕様に一新した。「回転の速度や見せ方は、歌舞伎の廻り舞台を参考にしています」(高橋氏)。

    舞台美術の桜と馴染ませるため、千本桜の花は厚みのある板ポリゴンで表現している
    2018年の取材を基に羅生門の3Dモデルを作成し、千本桜と合成している
    2019年の再演時の一幕。スクリーンに羅生門や千本桜が映されている
    2020年の再演時のニコニコ生放送の画面。千本桜や中村獅童を埋め尽くす勢いで桜マークが表示されている

    『御伽草紙戀姿絵』(2021)の月夜の庭と紅葉の表現

    『御伽草紙戀姿絵』では月夜の庭や紅葉を表現。雲や木の枝が動いたり、夜空の色が変わったりする仕様になっており、俳優の呼吸に合わせて移り変わるスクリーン映像が芝居を盛り上げた。

    「この演目は蜘蛛と紅葉が重要なモチーフになっていたので、ミクさんの着物の柄にも蜘蛛の巣と紅葉を取り入れました。映像演出、ミクさんや俳優さんの衣裳、舞台美術などに関連性をもたせることは常に意識しています」(藤谷氏)。

    <3>デジタルとアナログを組み合わせ騎馬武者の合戦を表現

    伝統や普遍性の上に“超歌舞伎らしさ”を追加する

    超歌舞伎には、初音ミクをはじめとするピアプロキャラクターズから、惟喬親王、平将門などの歴史上の人物まで、多彩なキャラクターが登場する。「歌舞伎では女性役も男性が演じており、現実にはない “女性らしさ” が表現されています。それをふまえ、僕たちが超歌舞伎の女性キャラクターを表現するときには、強さ、凛々しさ、可憐さを大切にしています。加えて、多くの人に親近感や安心感をもっていただける “デフォルト性” も重視します」(藤谷氏)。尖った特徴をもたせてしまうと、伝統芸能である歌舞伎との共演は難しくなる。まずは伝統や普遍性に裏打ちされた地盤を築き、その上に “超歌舞伎らしさ” を追加する姿勢が肝要というわけだ。

    『御伽草紙戀姿絵』のオープニング映像には、そんな姿勢が顕著に表れている。ここでは天慶3年(940年)2月の、平将門の乱における最後の合戦が描かれた。「モデラーの早稲田(茂高氏)は居合五段で、靖国神社の奉納演武も経験しています。そんな背景もあって武具への思い入れは人一倍強いので、時代考証に裏打ちされた3Dモデルをつくってくれました。その上で、平将門息女の七綾姫を演じるミクさんの兜の前立(まえだて)は、ネギをモチーフにしています」(藤谷氏)。平将門は関東の豪族なので、都から来た討伐軍よりも旧式の武具にするというアイデアまであったが、実現は見送ったと早稲田氏は続けた。なお、時代考証に則ると武士の馬は在来種の木曽馬にするのが正しいが、初音ミクのプロポーションに合わない、カッコ良い画にならないという理由から、現代の一般的な馬に変更された。

    モーションキャプチャ/モデラー・早稲田茂高氏

    言うまでもなく騎馬武者による合戦は制作コストが高いのだが、一連のシーンはLATEGRAの提案で追加された。「騎馬武者は動かすのも大変なのでアニメーションディレクターの増渕(雅子氏)にも負担をかけましたが、ミクさんが七綾太夫になる前の出来事を前日譚として見せた方が、演目全体のスケールが広がると思ったんです」(藤谷氏)。

    アニメーター・増渕雅子氏

    過去には良かれと思った判断が裏目に出たこともあったが、面白いことを提案する姿勢は維持し続けてきたという。「初演のとき、“こっちの方がカッコ良い” と思ってミクさんの着物の襟をグッと抜いたら、“品がないですね” というご指摘を松竹さんからいただきました。それでも、“良いものをつくりたい” という想いが強いからこそ、主体性をもって提案したり、工夫したりする心をもち続けてきました。松竹さんは“ 面白いことは取り入れましょう” というおおらかな姿勢で向き合ってくださるので、それに支えられてきた側面もあります。伝統芸能でありながら旧態依然としておらず、すごいなと思っています」(高橋氏)。

    『御伽草紙戀姿絵』(2021)の平将門のモデリング

    平将門の3Dモデル。当時の甲冑は小札(こざね)と呼ばれる小さな短冊状の板を組み合わせることで構成されており、3Dモデルでもそれを再現している。「個々の小札をモデリングしたハイポリモデルからカラーマップやノーマルマップを生成し、ローポリモデルに適用しています」(藤谷氏)
    初音ミク用の兜。前立はネギをモチーフにしており、背面の小札は初音ミクの髪色になっている。ツインテールの髪を出すための穴が両側にあるのもポイントだ。「ニコニコ動画のユーザーさんはこういう遊び心が大好きなので、目ざとく見つけて喜んでくれます。その期待に応えたくて、頼まれなくても“忍ばせ”をやってしまうんです」(高橋氏)
    合戦シーン用のアセットの一部。馬だけでも色ちがいのものが5体以上つくられ、初音ミクは白馬に騎乗した

    墨汁を用いた『御伽草紙戀姿絵』(2021)の墨絵表現

    出村氏が墨汁と和紙を使って作成した素材。「初演のときから“墨絵”が超歌舞伎のテーマのひとつだったので、フルイドエフェクトを使った表現なども試してきました。この演目ではあえてアナログ表現も取り入れてみようと思い、和紙に墨汁を垂らして素材をつくり、4Kカメラで撮影したんです。市販の素材集を使うとどこかで見たような表現になるので、和紙の種類や混ぜる水の量を変えながら、ひたすら墨汁を垂らしました。高級な和紙ではなく、100円ショップで買った和紙を使った方が良い素材をつくれたのは意外でした。今回の表現をフルイドエフェクトで再現できるようになることが今後の課題です」(出村氏)
    • 先の素材を空に合成し、AE上でアニメーションさせている
    • Mayaで作成したカラー素材
    • マスク素材
    • 雨エフェクト素材
    全ての素材をAE上で合成した完成映像
    同じく、墨絵表現を適用した合戦シーン。平将門と七綾姫が描かれている
    同じく、墨絵表現を適用した合戦シーン。討伐軍の源朝臣頼光(舞台では中村獅童が演じた)が描かれている

    関連記事:LATEGRAが創るLIVE体験。面白きこともなき世を面白く/洛天依「Time to Shine」篇

    Information

    月刊『CGWORLD +digitalvideo』vol.284(2022年4月号)

    特集:実践!メタバース
    定価:1,540円(税込)
    判型:A4ワイド
    総ページ数:128
    発売日:2022年3月10日

    詳細・ご購入はこちらから

    TEXT&EDIT_尾形美幸(CGWORLD)/Miyuki Ogata
    EDIT_山田桃子/Momoko Yamada
    PHOTO_弘田 充/Mitsuru Hirota