RESEARCH 2：オブジェクト抽出に基づく、漫画の映像化
・研究背景
静止画像である漫画のコマやキャラクター、背景、吹き出し、擬音語などのオノマトペといったオブジェクトを動かし、効果音を付与したPVやモーションコミックが、その漫画や関連商品の宣伝に利用されています。前述のようなモーションコミックを制作するためには、漫画に描かれたオブジェクトを手動で切り出し、それらの動きやタイミングを制御する必要があります。一連の作業は手間と時間を要するのに加え、画像処理や映像制作の専門知識や技術も必要です。そこで本研究室では、初心者が、全自動もしくは半自動で手軽に漫画を映像化できる手法の研究を進めています。
・主な先行研究
漫画の映像化手法のひとつとして、松下らは任意のオノマトペと映像効果を映像制作者が指定し、漫画に付与する手法を提案しています［1］。また、PowerPointに代表されるプレゼンテーションソフトでも、静止画像に対して映像効果を付与することができます。しかしこれらの手法は、静止画像内の特定のオブジェクト、例えば漫画のコマの中に描かれたオノマトペやキャラクターだけを分離し、動かすことには向いていません。この課題を解決するため、本研究室では、画像処理でコマの中のオブジェクトを分離し、映像効果を付与する研究を進めており、これまでに、手描きオノマトペ［2］と吹き出し［3］に注目した研究を発表しています。以降では、吹き出しに注目した研究の概要をご紹介します。
・映像効果の頻度の調査
本研究では、最初に3種類の漫画（『青春×機関銃』NAOE／スクウェア・エニックス、『五時間目の戦争』優／KADOKAWA、『ドラゴンボール』鳥山 明／集英社）の単行本と、それが映像化されたモーションコミックを比較し、どんなオブジェクトに映像効果が付与されているかを調査しました。モーションコミック内で使用された合計165コマのうち、オブジェクトに映像効果が付与されたコマは65コマでした。そのうちの28コマで、吹き出しに映像効果が付与されていました。コマの中には様々なオブジェクトが描かれていますが、吹き出しに映像効果が付与される頻度は、それ以外のオブジェクト以上に高いといえます。そこで本研究では、コマの中から吹き出しを自動的に抽出し、映像効果を付与する手法を提案しました。
・提案手法の概要
本研究では、吹き出しの形状として、矩形型・丸型・ギザギザ型の3種類を想定しました。これらの吹き出しを漫画のコマから抽出するため、コマ画像を2値化し、2値画像に対して膨張・収縮処理を施してノイズを除去した上で、ラベリング処理によって面積を取得し、吹き出しの領域を検出しました。領域のバウンディングボックス（矩形で囲まれた領域）と吹き出しの面積がほぼ同じであれば矩形型、領域の形状の円形度が高い場合は丸型、いずれにも該当しない場合はギザギザ型に分類しています。
▲自動抽出する吹き出しの形状として、【左】矩形型、【中】丸型、【右】ギザギザ型の3種類を想定しています
映像効果としては、吹き出しの平行移動・振動・拡大縮小・透過のいずれか、または、それらを組み合わせたものを付与できるようにしています。
▲上図では、ひとつのコマに2つの吹き出しが存在しているため、【左上】最初に右側の吹き出し内の台詞だけを表示した後、【右上】左側の吹き出し内の台詞を表示しています。さらに、【左下】左側の吹き出しを拡⼤することで映像視聴者の視線を誘導した後、【右下】元の大きさへと縮小しています
※上図の制作にあたり、『ブラックジャックによろしく』（佐藤秀峰）を使用しています
また、ひとつのコマに複数の吹き出しが存在する場合は、映像視聴者の視線誘導のため、吹き出し内の台詞を消去し、読む順番に台詞を表示する機能も提案しています。
▲ひとつのコマに複数の吹き出しが存在する場合は、【左】最初に読む吹き出し内の台詞だけを表示し、振動などの映像効果を付与します。続いて、【右】2番目に読む吹き出し内の台詞を表示し、拡大などの映像効果を付与します。これにより、映像視聴者の視線を誘導することが可能です
・今後の展望
本研究の最終目標は、漫画のスキャン画像を入力するだけで、いくつかのパターンの映像が自動生成され、Adobe Premiere Proなどの市販のソフトウェアで編集できる形式で出力される環境を提供することです。そこにいたるまでには、まだまだ課題がありますが、読者の皆様に利用してもらえる日を目指し、改良を続けていきたいと考えています。
・参考文献
［1］松下光範, 今岡夏海: "ディジタルコミック制作のための動的な音喩表現生成システム", 人工知能学会全国大会論文集, Vol. 25, pp. 1-4, 2011
［2］橋本直樹, 佐藤貴明, 澤野弘明, 鈴木裕利, 堀田政二: "漫画のコマ画像からの手書きオノマトペの抽出とその映像効果付与手法の提案", 情報処理学会全国大会講演論文集, 80th, pp. 4.177-4.178, 2018
［3］佐藤貴明, 澤野弘明, 鈴木裕利, 堀田政二: "漫画のコマの吹き出しに着目した映像化手法の提案", 映像情報メディア学会技術報告, Vol. 42, No. 12, pp. 99-102, 2018
info.
-
-
月刊CGWORLD + digital video vol.253（2019年9月号）
第1特集：CG百景
第2特集：アニメ『モンスターストライク』～ノア 方舟の救世主～
定価：1,540円（税込）
判型：A4ワイド
総ページ数：128
発売日：2019年8月10日
cgworld.jp/magazine/cgw253.html
