貴重な文化財を後世に伝えるべく、フォトグラメトリーや3Dスキャンを用いてデジタルアーカイブを制作し、番組制作や美術館での展示、研究活動に転用していく。エンターテインメントだけでない3DCGの活用方法とその“価値”について、8K文化財プロジェクトを主導するNHKほか3社に話を聞いた。

※本記事は月刊「CGWORLD + digital video」vol. 300（2023年8月号）からの転載となります。

文化財のデジタルアーカイブが生み出す価値

「8K文化財プロジェクト」は、NHKと東京国立博物館がタッグを組み、普段は見ることの難しい貴重な文化財を最新テクノロジーで3Dモデル化する取り組みであり、これまでに「救世観音」「洛中洛外図屏風 舟木本」「能面」などのデジタルアーカイブを作成してきた。

コンセプトは、誰もが知る貴重な文化財を、まるで自ら手に取って眺め見るような新しい鑑賞体験をつくり出すこと。実存する文化財を3Dスキャナやフォトグラメトリーを用いて3Dモデル化し、通常の鑑賞方法では難しい角度や距離、あるいは内面にいたるまで8Kで精細に描いていくことで、これまで文化財に興味がなかった視聴者層に新たなアプローチで魅力を届けることがねらいとなる。

「例えば、遮光器土偶は非常に有名ですが、実物は博物館のガラスケースに鎮座しており、遠くから眺めるしかありません。しかし、至近距離で見ると彩色の跡が残っていたり、内側には指でなぞった形跡が見えたりと当時の息遣いが感じ取れる作品となっています。今までにない角度や距離から鑑賞することで、広く知られてこなかった文化財の魅力や価値をより多くの方に届けられると考えました」（NHK メディア総局第１制作センター（新領域開発）シニアリード・国見太郎氏）。

制作された文化財の3DCGは、2021年3月以降シリーズとして放送されているBS8K番組「見たことのない文化財」内で活用されるほか、東京国立博物館創立150年記念として開催された特別企画「未来の博物館」などで展示が行われた。

また、8Kディスプレイに描画する以外にもVRデバイスを用いてリアルタイムに鑑賞することも可能で、VR空間内で見ることで従来の学術的な仮説が証明されるなど、エンターテインメント文脈だけでなく研究目的としても広く活用方法が見出されている。

8Kリアルタイムコンテンツ（文化財：金春家伝来能面 小面 ）

若い女性を表す能面「小面」。「小」という字は若い・可愛らしいという意味を持ち、数ある女面の中でもっとも若い女性を表す。奈良・金春家に伝来した能面で、裏面に「天下一河内」の焼印と、鼻孔の間に丸ノミの跡が2つ見られる。3Dモデル化されたことで正面だけでなく裏側も確認でき、ゲームパッドを用いて自由に角度を変えたり、ライティング条件を変更したりして鑑賞することが可能。8Kディスプレイでは実際に肉眼で見るよりも遥かに近くで鑑賞できるため、材木の質感やノミ跡などのディテールも細かく確認できた。

• 

• 

• 

• 

3DCG技術の粋を集めた4社協同の一大プロジェクト

本プロジェクトの始まりは2020年2月。国見氏をはじめとするNHK 新領域開発部署はBS8K放送に向けた新たな番組制作を行うミッションの下、アートディレクターを務めたアフタイメージの成田修一氏と共に3DCGを用いた文化財の保存に関する技術検証を行なっていた。

翌月には法隆寺が所蔵する「百済観音」が23年振りに東京国立博物館で展示されることになり、ここで初めて1日がかりのフォトグラメトリー撮影および3Dスキャンを行うことになる。撮影後、成田氏が取得したデータから職人芸的な技巧でハイエンドな3DCGモデルを作成。モデルデータを使用した番組用のプリレンダー映像を作成するのは、フルCG映像を得意とするコロッサスの役割となった。

その一方で、“手に取るように文化財を動かし、自由な角度から眺め見る”ためにはリアルタイム3DCGの技術も不可欠。「百済観音を番組で取り扱った際は演出的なカメラワークを多分に付けていたのですが、専門家からは角度や画角についての細かなフィードバックを多くいただきました。その際、こちらが演出を考えるのではなく、文化財を専門家自身が自由な視点で扱えるということが究極的な理想だと気づいたんです」（NHK メディア総局メディアイノベーションセンター エキスパート・鈴木伸治氏）。

つまり、本プロジェクトにおいては、テレビカメラでの撮影と異なり、あえて演出意図をなくす「視点の消失」を成し遂げることが価値を生むことになる。これを実現するために、Unreal Engine 4を用いたシーン制作を行なったのがUnreal Engine専門の開発会社ヒストリアのノンゲーム部隊であるヒストリア・エンタープライズ（以下、ヒストリア）だ。こうして制作全体の座組が完成し、各社の得意分野を持ち寄るかたちでプロジェクトが進められることとなった。

VR対応と地域展開例（文化財：遮光器土偶）

縄文時代に作られた「遮光器土偶」。Varjo XR-1で土偶の内部もリアルタイムに鑑賞できる。また、岐阜県では遮光器土偶をテーマとしたワークショップが開催され、8Kディスプレイで映し出された遮光器土偶と、自分たちの街にも存在する縄文土器の破片の色や模様を比較し、類似点を探しながら歴史を紐解いていく試みが行われた。

• 

1人のクリエイターの熱意がクオリティを底上げした

発足から約3年、9作品もの文化財のデジタルアーカイブおよび番組制作を行なってきた「8K文化財プロジェクト」。コンテンツ全体としてのクオリティを底上げしたのは、ひとつとして同じつくり方はできない、オリジナルの文化財と遜色のないレベルで3Dモデルをつくり上げてきた成田氏の功績が大きい。

「文化財の実物写真と自分の作成した3Dモデルを並べて、『どちらが本物でしょう？』と画像をいつも送ってきてくれたんですよ。チェックの際、毎回これが楽しみでした」（国見氏）。しかし、それぞれの文化財と真摯に向き合いながらコンテンツ制作の中核を務めた成田氏は、惜しまれながらも2023年1月にこの世を去った。

2023年3月には、PerfumeがMCとなって文化財を鑑賞し、秘められた謎を解いていく「謎解き！ヒミツの至宝さん」が放送開始。さらに、建立から900年を迎える「中尊寺金色堂」など、単体の文化財ではなく、建物全体を3DCGとして再現する試みが進行中だ。

「建物全体、仏像群、天蓋、その全てが国宝です。これからもチーム全体で努力して、“成田クオリティ”を出し続けたいと思っています」（アフタイメージ/コロッサス プロデューサー・佐藤 桂氏）。

体験型展示イベントの実施（文化財：洛中洛外図屏風 舟木本）

「洛中洛外図屏風 舟木本」。400年前の京都のパノラマが描かれたこの屏風には、武士のみならず、庶民や商人まで2500人を超える人物が描かれ、当時の風俗を知る一級資料として注目されている。UE4のバーチャルテクスチャを用いて再現された本作品は、東京国立博物館創立150年記念として開催された特別企画「未来の博物館」内、第1会場〈時空をこえる8K〉で展示され、子どもを含む多くの方が来館した。

＜1＞3Dスキャンとフォトグラメトリーによる3DCG化

安全管理を徹底した撮影工程から現実と見紛う3Dモデルを制作する

「普段は見ることも触ることもできない貴重な文化財の計測に携わることは、とても挑戦的な仕事でした」と語るのは、本プロジェクトの撮影工程におけるテクニカルディレクションを担当したアフタイメージの高嶋一成氏。現場では3Dレーザースキャンとフォトグラメトリーを同日中に行う必要があり、徹底したタイムスケジュールで撮影が行われた。フォトグラメトリーに用いるカメラはSony ILCE-7RM5で、輝度情報を高く保つため14bit RAW形式を選択。極力影が入らないようなライティングを四方から施した上で、5度ないし10度刻みで周囲を360度撮影する。

文化財のフォトグラメトリーで特に注意すべきなのは「万が一にも事故があってはいけない」という絶対的な安全管理だ。撮影方法は全てマニュアルで管理し、カメラの落下防止、スタッフの動線固定や照明のケーブリングにいたるまで細心の注意が払われた。「撮影に際して、その時代に文化財を作った人たちの想いや背景を強く意識していました。当時の職人が一生をかけて作ったかもしれない対象を、今の時代に撮影させてもらうということには大きな責任が伴います。これらをデジタルデータ化することで、さらに時代を越えて多くの人に鑑賞してもらえるはずです」（高嶋氏）。

フォトグラメトリーデータはReality Captureを用いて3Dモデル化し、Modoでリトポロジーを行なったのちMayaで調整。モデル制作は成田氏からコロッサスのメンバーに引き継がれており、その際にテクスチャ作業がMariからSubstance 3D Painterに変更されるなど、いくつかの点でワークフローが再構築されている。

成田氏は当時、分光計による光の反射の計測に基づく質感表現を含め、ありのままを完全再現することに情熱を燃やしていた。フォトグラメトリーは透明表現に弱く、救世観音像の宝冠に見られるような緻密な網目模様の再現は難しいため、こうした細部はスキャンデータと写真を基に全て手作業で構築されている。

番組オープニング等に使用するプリレンダー映像はコロッサスの澤田友明氏が主導し、MayaおよびNukeで制作。Arnoldによる8Kレンダリングはコロッサス側だけではなく、NHKの増村美都氏をはじめNHK職員が調整を行なった上でNHK内のレンダーファームが用いられたほか、特に大規模な制作となった「法隆寺東院夢殿」ではNVIDIA A100によるGPUクラウドレンダリングも併用された。

使用機材と撮影時の工夫

フォトグラメトリーデータの3DCG化

• 

• 

法隆寺夢殿のデジタル化ワークフロー

• 

• 

• 

• 

＜2＞Unreal Engineを活用したリアルタイム化

成田クオリティをUE4で再現リアルタイム8K/60fpsへの挑戦

UE4での実装はヒストリアが担当した。作業領域は8K/60fpsを実現するための最適化と、シーンを操作するコントローラ部分の開発。また、モデルデータをそのままインポートしただけでは見た目が変化してしまうため、UE4側のルック調整も業務範囲となった。

ヒストリア側の制作を統括するプロデューサーの小林 誠氏は「リアルタイムで操作できることを前提として、VRやAR、あるいはタイムラインに沿って進む演出など様々な内容をつくる必要がありました。また、当初は8K解像度をリアルタイムで動かす事例はなく、非常に高いハードルと感じていました」と制作をふり返る。実際、コロッサスから提供されたFBXデータをUE4にインポートしただけでは10fpsも出ていない状況だったという。

最適化および見た目の調整を担当したのはCGアーティストの天見信太郎氏。注意深く目視で確認しながらポリゴンリダクションを行い、ルックに影響のない部分はテクスチャ解像度を下げる、あるいはノーマルよりも気づかれにくいラフネスのみ低解像度化を行うなど、緻密な最適化を行なっている。

「アフタイメージが制作したモデルの美しさを損ねない、というのが最も強く意識した点です。ライティングを含めたポストプロセスや番組での演出が映えるのも、オリジナルのモデルが優れているから。彼らに比肩するクオリティでつくりきることを目標にしていました」（天見氏）。

天見氏の作業後、操作部分の実装を担当したのはエンジニアの橘内正貴氏。ゲームパッドからのインプットを設定するだけでなく、収録で必要な要素を作成してショートカットに割り当てたり、テキストベースで自由に変更できる台本機能をVR空間内に配置したり、必要に応じてバーチャルカメラを開発したりと、仕様策定から実装までを番組制作サイドと二人三脚で進めてきた。

また、文化財を回転して鑑賞する際にわずかな慣性を働かせる、VR空間上で文化財を片手で振り回すことのないよう重々しく手の動きに追従するような補完処理を実装するなど、手触り感についてもこだわった実装が行われている。

バーチャルテクスチャを用いた屏風

「洛中洛外図屏風 舟木本」はベースカラーのみの8Kテクスチャが210枚、ラフネスなどその他の要素が4Kテクスチャ840枚という仕様。そのままでは描画できないため、UEの機能であるバーチャルテクスチャを活用した。カメラ外のテクスチャを描画せずにメモリ確保を行うため処理負荷は軽減されたが、素早いカメラ移動の際に表示が乱れてしまう問題も発生したとのこと。これを解決するため、描画に使用するカメラとは別のカメラを追加し、近距離のテクスチャをフレーム外で先読みすることで対応している。

• 

• 

• 

• 

色替えを実装した甲冑

かつて、戦場に赴く武将は自らの好みで甲冑の色を決めていたという。こうした背景から「甲冑 樫鳥糸肩赤威胴丸」では色変え要素を実装。8箇所のパーツ単位で任意のカラーを選択でき、リアルタイムに反映している。「色変えを行う部分と行わない部分を切り分けるために、全てのテクスチャに対してPhotoshopでマスク処理を行なっています。8K高解像度のテクスチャを数十枚つくるのはかなり大変でした」（天見氏）。

• 

• 

• 

• 

ライトを実装した能面

面を俯けるとさみしげな表情となり、上向きになると明るい表情となるように、能面は角度によって喜怒哀楽を表現する。これに加え、光の角度や強さによっても表情が変わるため、リアルタイムにライティングの条件を変更する機能が実装された。数パターンのテンプレートが用意されており、キーボードショートカットで即時的に反映させることが可能となっている。

• 

• 

カメラ制御システムを組み込んだ百済観音