全世界販売本数1,180万本を達成したカプコンのAAAタイトル『モンスターハンターワイルズ』。本作のグローバル展開において、英語音声の自然なリップシンクを実現するために導入されたのが、自動音声アニメーションシステム「SGX」だ。膨大なカットシーンの多言語対応という途方もない作業をどのように効率化したのか、カプコンのキーパーソン2名に話を伺った。
プロフィール
伊藤 大地氏
株式会社カプコン テクニカルアニメーター
2020年、カプコンに入社。『ストリートファイター6』や『モンスターハンターライズ：サンブレイク』の開発にテクニカルアニメーターとして参加。本作『モンスターハンターワイルズ』ではリードテクニカルアニメーターを務める。タイトル全体のパイプラインやインフラの整備、必要なリグの作成、カットシーン関連の開発サポートなどを担当した。
www.capcom.co.jp
室 奈津季氏
株式会社カプコン フェイシャルアーティスト
2018年、カプコンに入社。『モンスターハンター：ワールド』、『モンスターハンターライズ』でキャラクターの顔や髪のモデル制作を担当。本作『モンスターハンターワイルズ』では顔モデルの作成～フェイシャルリグのセットアップ、SGXの検証および英語のリップシンクアニメーションの調整作業を担当した。
www.capcom.co.jp
変化に強いリグで、SGXの導入をスムーズに
――『モンスターハンターワイルズ』の開発において、SGXがどのように使われたのか教えてください。
伊藤大地氏（以下、伊藤）：主に英語版の開発にSGXを使用してリップシンクを生成しています。本作の開発中の主言語は日本語であったため、日本語で調整されたカットシーンのフェイシャルアニメーションをできるだけ短い期間と人員で英語のフェイシャルアニメーションにつくり替える必要がありました。膨大なカットとセリフの物量に対応するため、音声をもとにリップシンクの生成を行えるSGXを使用することになりました。
――人間以外のキャラクターにもSGXを使用していますか？
伊藤：「アイルー」や「モリバー」といった獣人を含め、セリフのあるキャラクターの英語リップシンクの生成には全てSGXの解析結果を適用しています。
室 奈津季氏（以下、室）：「アイルー」も基本的には人間のリグをベースにしており、人間と同じように発音の挙動ができるようになっています。「モリバー」は少し構造がちがいますが、人間のリグを介すことでSGXの結果を反映できるようにしました。
伊藤：コントローラの構成自体を統一しているので、大きな手間は発生しませんでした。
――Speech Graphics社とのセットアップのやり取りはどのように進めましたか？
室：まずは社内で作成した基準となるリグをSpeech Graphics社にお渡しして、SGXで運用するにあたって足りない挙動を指示していただきました。こちらでその挙動をリグに追加し、再度お渡しして設定を組んでいただく、というながれです。
※Speech Graphics社側でのキャラクターセットアップに要する期間は、約2週間が目安
――初期セットアップが完了するまで、どのくらいかかりましたか？
伊藤：最初のセットアップに要した期間は、1ヶ月半から2ヶ月程度です。
室：『モンスターハンターワイルズ』では、アニメーション表現に応じてリグもアップデートしていけるよう、「変化に強いリグ」をコンセプトにフェイシャルリグを開発しました。このセットアップ期間中もアニメーションの作業を進めつつ、それらのアニメーションに影響が出ずに済むようにリグ側を工夫することで、新しい挙動を加えていきました。開発を進めながらリグを更新していく必要があったため、新しい挙動を加える際は、過去につくったアニメーションに影響が出ずに済むようにリグ側で工夫することで対応しました。
伊藤：できるだけフローが複雑化しないように、日本語での開発がある程度安定してきた開発終盤から英語リップシンクの対応をスタートさせました。セットアップや検証はそれに間に合うように逆算して行なっていました。
息づかいや笑い声もテキスト化する「SGXパイプラインツール」を開発
――SGXの運用において、台本はどのように用意されましたか？
伊藤：はい。字幕に表示されるようなセリフは元々ある台本を流用するだけで用意できるのですが、演技に入ってくる息づかいや笑い声などの音声も、感嘆詞としてテキスト化して追加する必要がありました。
室：例えば、「Thank you」というセリフの前に、吐息が入っていたとします。そのまま解析をすると、吐息部分を「"Thank"の部分だ」と認識し、意図しない口の開きが発生してしまうケースがありました。そういった場合は台詞の前に「ah」という、実際に聞こえる音に合わせたテキストを入れることで、正確なリップシンク結果が得られるようになります。
――そのようなスクリプトの準備は手作業で？
伊藤：検証段階では全て手作業で行なっていましたが、その時点でかなり作業量が多く、これは効率化が必要だという議論になりました。そこで、これらの工程を全て内包した「SGXパイプラインツール」を社内のツール開発部署と協力して独自に開発することにしました。
――一連の作業は、ツール上で全て完了するのでしょうか？
伊藤：はい。ツール上でキャラクターやカット番号を設定して実行するだけで、セリフの長さにもよりますが1カット分の音声解析からエンジンへの出力が約1分ほどで完了します。全て自動なので、解析処理を回しながら他の作業を並行で行うことができました。このツールは汎用化を目的として設計していますので、『モンスターハンターワイルズ』だけでなく他のタイトル開発でも活用することができると思います。
解析結果の約7割をそのまま採用。SGXなしでは不可能な規模の開発
――自動生成のリップシンクアニメーションは、そのまま使えるクオリティでしたか？
伊藤：作品全体でみると、SGXが生成したアニメーションの7割程度がそのまま採用できました。カットシーンの内容によりますが、モンスターと遭遇する際の激しいシーンなどであれば、約8割は解析したものをそのまま使えました。キャラクターが複数集まって会話をする会議のようなシーンの場合、修正箇所がやや増えるので、そのまま採用するデータは5〜6割ほどでした。
――ゲーム内で、特にSGXのリップシンクが上手くハマった印象的なシーンはありますか？
伊藤：序盤の「砂上船」のシーンですね。キャラクターたちが「着いたらキャンプを立てよう」と会話している場面などでは、SGXの解析結果がほとんどそのまま使われています。
――SGXの導入でどの程度工数を削減できましたか？
伊藤：もしSGXがなかったらと考えると……何人月といった単位では言い表せないですね。全て手付けでアニメーションをつくることになるので。ゲーム本編の開発期間と同じくらいの時間が、英語リップシンク対応だけでかかってしまったかもしれません。SGXがなければ、そもそも他の言語でのリップシンク対応は難しかったと思います。
室：SGXの導入ならびにパイプラインツール開発の功績としては、一定期間リップシンク対応をするアニメーターの人員を3人まで抑えられたことが挙げられます。
――今後の展望や、SGXに期待することについてお聞かせください。
伊藤：SGXは、既に多言語対応にはなくてはならない存在です。今後のアップデートにも期待しています。音声の抑揚から感情を読み取って、嬉しいシーンであれば少し微笑みを追加するような機能がさらに向上すると、より修正コストが下がってありがたいなと。
複数言語のリップシンク対応を行なっている会社はまだまだ少なく、日本は海外に比べて少し遅れ気味だと感じています。この事例を通して関心が広まって、「これならうちもやってみよう」という会社が増えると嬉しいですね。
室：そうですね。対応する会社が増えればノウハウも蓄積されますし、各社の工夫を共有し合うことで、より高品質なリップシンクアニメーションを追い求められると思います。この記事が、学生さんやクリエイターの皆さんにとってフェイシャルアニメーションへの関心を深めるきっかけとなれば嬉しいです。
SGX
自動音声アニメーションシステム。音声やテキストから、一貫性のある自然なリップシンクとフェイシャルアニメーションによる感情表現を生成する
詳細・お問い合わせはこちらSpeech Graphics Ltd.
www.speech-graphics.jp/sgx-production-audio-to-face-animation-software
TEXT__kagaya（ハリんち）
EDIT＿Mana Okubo（CGWORLD）
