画像提供:笠岡市立カブトガニ博物館
笠岡市立カブトガニ博物館(岡山県笠岡市)で7月20日(土)から9月29(日)まで特別展示「真・カブトガニ」が開催されている。その一部にカブトガニの内部をViewtifyというソフトウェアでCT画像から再構成し、3DCGで解説している展示がある。
サイアメントが開発したViewtify®(ビューティファイ)という医用画像ビューワーは、裸眼立体視ディスプレイであるSONYの空間再現ディスプレイELF-SR1とELF-SR2またはAcerのSpatialLabsView Proを活用して、CT画像やMRI画像をリアルタイムで3Dに変換し、体内の血管や心臓、骨などを高精細で再現性の高いリアルタイム3DCG画像として映し出す。
本記事ではサイアメントの代表取締役社長である瀬尾 拡史氏にViewtifyの特徴や今後の展開について話を伺った。
Viewtifyとは
Viewtifyの基本的な仕組みは、CT画像やMRI画像の各ピクセルの階調値と、各ピクセルの実際の長さや画像の立体空間上の位置などの情報読み込み、骨や臓器を3DCGとして再現する。
これまでにも、医用画像を3DCGに変換するソフトはあり、画像処理解析機能などは既存のソフトのほうがむしろ豊富である。Viewtifyでは、各ピクセルの値がある諧調値(閾値)よりも高いか低いかで2つの領域に分割するという最も古典的な画像処理しかできない。
しかし、Viewtifyの特徴は3DCG生成の速度と階調値に合わせた彩色、そしてUnreal Engineをベースに開発していることによる、高速且つ高品質なリアルタイムレンダリングによる3DCGの扱いやすさである。3DCG画像をさまざまな閾値条件で自由な角度や倍率でストレスなく表示できるように、裸眼立体視ディスプレイ対応版では右眼用、左眼用にそれぞれ4K解像度の画像を生成する。それにもかかわらず、従来の医用画像ビューワーに比べて100〜1000倍の描画性能を実現した。
カブトガニの標本からみえるViewtifyの特徴
CGWORLD(以下、CGW):Viewtifyを使ったカブトガニの3DCG動画が話題ですね。自己紹介をお願いします。
瀬尾 拡史氏(以下、瀬尾氏):瀬尾 拡史と言います。サイアメントという会社を立ち上げ、当初は受託でサイエンス、特に医療・医学専門の受託3DCG映像の制作を行っていました。現在はソフトウェアエンジニアとして、医用画像から瞬時に3DCGを生成できるViewtifyというソフトウェアの開発をメインにしています。
瀬尾 拡史氏
医師 / サイエンスCGクリエーター
1985年東京生まれ。東京大学医学部医学科卒。医師。
東京大学医学部附属病院にて初期臨床研修修了。
東京大学在学中、デジタルハリウッドへのダブルスクールで3DCGの基礎を習得。
2015年にSIGGRAPHのComputer Animation FestivalでのBEST VISUALIZATION OR SIMULATIONを受賞。
現在は、「サイエンスを、正しく、楽しく。」を合言葉に、サイアメントにてサイエンスCGクリエーター、サイエンスCGプロデューサーとして活動。3DCGの医療現場での活用を目指し、医療3DCG映像及び医療3DCGソフトウェアの研究・開発・制作に取り組んでいる。
X:x.com/HirofumiSeo
CGW:このたびのカブトガニの標本を使ったCT画像の動画化の経緯を教えて頂けますか? Viewtifyのどういった点を評価されてお声がかかったのでしょうか。
瀬尾氏:6月頃にカブトガニ博物館にあるカブトガニの乾燥標本のCT画像を試しにViewtifyで可視化してみるという機会を頂きました。
Viewtifyは事前処理など何もせずにCT画像をその場で3DCGとしてリアルタイムに可視化出来ることが特徴であるため、博物館の館長さんや学芸員の方がいらっしゃる場でその場で可視化したところ、ソニーの裸眼立体視ディスプレイを通じてまるで目の前に本物のカブトガニがいるような雰囲気で提示することができて、皆さんが驚きながらCGに興味を持ってくださりました。
また、Viewtifyは単に全体像を可視化するだけではなく、任意平面による断面生成も可能です。断面を作ってカブトガニの内部を示したところ、カブトガニに詳しい方がご覧になるとカブトガニの内部構造も再現されていたようで、より一層興味を持ってくださりました。
CGW:その断面生成された動画の一部がこちらのXでの投稿なのですね。
瀬尾氏:そうです。
Viewtifyが可視化するのは人体だけではないのです!
— 瀬尾 拡史 Hirofumi Seo, MD, PhD (@HirofumiSeo) August 5, 2024
ブラックペアン2では心臓を可視化していますが、今回可視化したのは…
カブトガニっ!
乾燥標本のCT画像をViewtifyで3DCGにした動画が、岡山県の笠岡市立カブトガニ博物館の夏の特別展で展示されています! https://t.co/DXqxoqeGNN
CGW:Viewtifyは描画速度と彩色機能が優れていると思いますが、今回の動画制作において強みが発揮できたと感じた点はありましたか? また、人体のCT画像を使用した場合と比較して何か違いはあったでしょうか?
瀬尾氏:やはりその場で自由に動かせることで、CGを微調整したら構造物がより見えやすくなるのかどうかを専門の方と一緒にリアルタイムに確認出来ることが最大の強みだと思います。これはカブトガニだろうと人体だろうと同じことで、それぞれの領域のプロが同席している状況で、その場で全ての微調整が可能であることが、実用化の上では非常に大切だと考えております。
カブトガニの内部は乾燥標本でもとても多くの構造物が詰まっているため、表と裏とで異なる配色をしているViewtifyの特徴も、より活かされたのではないかと思います。
CGW:なるほど。今回は博物館で展示される動画制作のためにViewtifyが用いられました。医療用以外での使用事例が他にもあれば教えてください。また医療以外でViewtifyの利用が広がると思われる領域があれば教えてください。
瀬尾氏:今のところカブトガニのみです。しかし、CT画像やMRI画像であれば何でも可能ですので、本当は手に取ってほしいが触ってほしくない化石、ミイラ、昆虫や魚のCT画像なども相性が良いと思います。特に博物館には需要があるかもしれません。参考までに、実際に博物館での事例紹介ページもあるようです。
NHKの「ギョギョッとサカナ★スター」では魚のCT画像を撮って骨を見せるシーンがあります。もちろん綺麗なCT画像を撮るところが一番難しいのですが、3DCGとして提示する部分は見た目をもっと綺麗にしたり、さらに立体視で見たりなど、工夫出来るところはまだまだあると思います。
医療現場で立体構造把握のために3DCGを見ることが当たり前な世界をつくりたい
CGW:Viewtifyに関して、今後追加・拡張される機能はありますか?
瀬尾氏:計測機能は現在は3DCG空間上での2点間の直線距離計測しかできないのですが、曲線や角度の計測をできるようにしたいと思っています。また、医療現場では同じ患者さんの複数のCT画像やMRI画像を3DCGで重ね合わせて表示することもあるので、複数画像の重ね合わせを実装する予定です。
CGW:医療分野での3DCGの活用について、今後どのように広がって行くと思いますか? また、近年のAI技術の勃興などもありますが、興味をもたれている技術があれば教えて頂けますか?
瀬尾氏:CT画像やMRI画像の撮影の第一の目的は疾患の診断です。これは3DCGで見るより元の画像を見るほうがわかりやすいことのほうが多いです。
しかし、画像診断とは別に各構造物の立体構造を理解するという目的も、外科手術やカテーテル治療では多くあります。立体構造把握が目的であれば、CT画像もMRI画像も当然3DCGで見られるべきです。しかしこれまでは、ハードウェアの限界などの理由で、この当たり前すぎることができていなかったのだと私は考えています。これからは立体構造把握のためには3DCGを見ることが当たり前という時代になっていくと思います。
その意味でも、ゲームエンジンのリアルタイム3DCGレンダリング技術が今後さらにどのように、どれだけ向上するのかにとても興味があります。目的が実現できれば手段は関係ないので、その技術でAIを使っているかどうかはあまり興味がありません。
CGW:最後に、今後の貴社の活動の展望についてお伺いしたいです。取り組みたい技術やソリューションの開発に関して、可能な範囲で教えていただけますか?
瀬尾氏:先ほどお話しした通り、血管や骨などの立体構造把握をしたい場合には3DCGで見るのが当たり前となる世界をつくっていきたいですし、それに裸眼立体視ディスプレイが加われば3DCGを奥行情報のある本当の3Dとして捉えることが出来ると思います。既にViewtifyを用いた英語の医学論文も少しずつ出てきており、「格好良いけど使えない技術」ではなく、「格好良く、さらにそれが役立つ技術」になれればと考えています。
最後に英語の医学論文を1つご紹介します。もちろん内容は専門的過ぎますが、動画もありますので医療におけるCG活用について雰囲気は掴んで頂けるのではないかと思います。
CGW:ありがとうございました。