5月7日（月）から9日（水）にかけて東京国際フォーラムで行われた、ゲームエンジン「Unity」の開発者会議Unite Tokyo 2018。3日間で65セッションが開催され、のべ人数で約6,000名の参加者を数えた。本稿ではその中から、東京大学医学部脳神経外科助教の金 太一氏による講演「Unityへの医療と教育への応用～ちょっと人を助けてみませんか？～」の内容をレポートする。非常に見応えがあったので、Unityひいては3DCGのエンタメ分野以外の活用例として紹介したい。なお、本講演は資料がWebで公開されているので適時参照してほしい。
TEXT&PHOTO＿小野憲史 / Kenji Ono
EDIT＿小村仁美 / Hitomi Komura（CGWORLD）
●Unite Tokyo 2018レポート記事一覧
Unite Tokyo 2018が東京国際フォーラムで開催--ゲーム分野にとどまらない広がりを見せるUnity、VTuberの登壇や自動車業界での事例も
「キズナアイ」「電脳少女シロ」「東雲めぐ」ーUnite 2018に登場した話題のVTuber講演まとめ～Unite Tokyo 2018レポート（1）～
Unityを通じたゲームデザインやプログラミング教育の可能性と教育現場での活用例～Unite Tokyo 2018レポート（2）～
Unityで医療支援アプリをつくる異能の脳神経外科医
脳神経外科医として17年のキャリアをもち、臨床・研究・教育・開発と八面六臂の活躍をみせる金氏。UnityやMaya、ZBrushといったツールを活用し、手術シミュレーションや医療用3DCGコンテンツを自ら開発する異色の才能のもち主だ。これらは臨床や教育に活用されるだけでなく、パブリッシャーを通して販売もされている。ゲーム会社のポケット・クエリーズと協業し、本格的な手術シミュレーションも開発中だ。片手にメス、片手にUnityの両刀遣いという、世界でも希な外科医ということになる。
金 太一氏（東京大学医学部脳神経外科 助教）
国内3.8兆円、世界規模で55兆円の市場規模があり、年率5.2％で成長中の医療機器業界。ただし、これには診査器具なども含まれており、医療シミュレーション分野に限れば全世界で1,400億円にまで縮小する。診断支援ソフトも同様だ。ただし、いずれも成長率は高く、金氏は確実なニーズがあると指摘した。というのも外科手術の場合、事前の「知識・戦略・判断」が鍵を握るからだ。その一方で患者固有の3DCGによる手術シミュレーションは存在せず、医療現場で求められているのだという。
こうした問題意識から金氏がKompathと協業で作成し、アセットストアでリリースされたのが「Simple DICOM Loader」と「High Speed CPU-based Marching cubes」だ。前者は医用画像の国際標準規格であるDICOM（Digital Imaging and Communications in Medicine）データを、読み込むだけで誰でも手軽に表示させられるアセット、後者はDICOMデータから3DCGを作成するアセットとなる。GPUを使わずに高速化も実現したことで、ノートPCなどより多くのデバイスで使用可能になった。
Simple DICOM Loader
High Speed CPU-based Marching cubes
このほかDICOM画像をスマートフォンやタブレットで閲覧するだけの無料アプリ「eMma（Easy Multi-Medical image Applying）」も近日中に公開予定だ。iTunesにフォルダとして画像を入れておくだけで、撮影日・患者・CT・MRIなどの情報を自動でふりわけてくれる。金氏は「単純なソフトだが、DICOMデータを自分でもち歩けるだけで、大きな可能性が生まれる。仮に海外旅行先で倒れたとしても、スマートフォンにこうした情報があれば、医療で役立てられる」と語った。
医用融合3次元画像の発想はこうして生まれた
医用3DCGビューアアプリ「Brain Viewer」も金氏が開発したアプリだ。医療関係者向け書籍の付録としてバンドルされており、PC上で手術シミュレーションが体験できる。また、高精細な3DCGを用いて作成された「3D解剖学アトラス：iRis」も、金氏の手によるものだ。2017年にiOS向けにリリースされており、頭部に限定されているものの、臨床に応用できるクオリティになっている。なお、ここで使用されているグラフィックアセットは、金氏を含めた数人の医師で10年近くかけて作成したものだ。
3D解剖学アトラス：iRis
このように「なければつくる」というのが金氏流だ。では、なぜ手術シミュレーションや医用3DCGが必要になるのだろうか。問題は医者が手術前に参照するべき画像データが多すぎることだ。1症例あたり数十種類、合計数千枚におよぶことも珍しくなく、担当医は手術前にこれらに目を通すことが求められる。その一方でデータが揃うのは手術の数日前ということも珍しくない。そこで、これらのデータを1つにまとめたいというニーズが生まれる。金氏はこれを「医用融合3次元画像」と呼び、研究の発端になったと話した。
実際、大量の画像データを基に患者固有の3DCGデータを作成できれば、担当医の理解が早まる。手術前の「知識・戦略・判断」に貢献できるというわけだ。ただし、患者固有の3DCGデータはまだ存在しない。大量の画像データを基に3DCGを自動作成する技術が発展途上だからだ。特に時間がかかるのが領域のセグメンテーションで、一般的なリージョングローイング法を使用すると、脳の外にある皮膚や骨まで選ばれてしまうという。しかも問題がある部位ほど画像で出にくい傾向にあり、手作業に頼ることになる。
そこで考えられたのが、セグメンテーションに機械学習を導入する手法だ。もっとも、機械学習には通常、何千・何万という画像データが素材として必要になる。しかし、そのような画像データは存在しない。疾患データとなるとなおさらだ。そこで金氏等らは、あえて正常な脳のデータ10例を基に機械学習させてみた。その結果、脳の皺などがくっきりと出力されることがわかったという。ここから、近い将来に活路が見い出せるのではないかと語った。
イノベーションは異分野の融合で生まれる
また、そもそも元になる画像データが高精細ではないという問題もある。CTスキャンを例にとると、解像度はモノクロ512×512×200程度で、1mmの血管がギリギリ抽出できる程度。一方、脳神経外科手術で最も重要な血管も1mm前後なのだという。重要な組織が医用画像にほとんど映っていないのも問題で、現状はこれらの画像を見ながら、医師が頭の中でのみ構造化している程度。「iRis」で金氏が、コツコツと手作業で臓器の3DCGデータをつくったのも、1つにはこうした背景がある。
ただし金氏は「臓器（ここでは大脳）を3DCGで忠実に再現する必要はない」と指摘した。手術のシミュレーションや、事前検討に必要な再現度があれば良いからだ。そのため、あえて本物そっくりに3DCGをつくり込んで、識別が難しい映像をつくるよりも、それぞれの臓器がわかりやすく色分けされている方が、実用性が高くなる。血液や体液の表現も同様で、どこから血管が流れてきて、どこに出ていくかわかればいい。それよりも、いち早く止血することで、出血が少なくて済むという理屈が体験できればいいというわけだ。
手術シミュレーションの精度向上は手術器具の節約にも繋がる。VRグラスとLeap Motionを組み合わせ、金氏らがUnity上で作成した手術シミュレータ「ClipSim」は好例だ。8症例で患者をシミュレーションし、6症例で予想された手術器具（クリップ）を実際に使用できた。手術に必要なクリップは約100種類あり、一度使うと廃棄する必要がある。3種類のクリップを試すと、それだけで10万円の出費だ。そのため、どのクリップを使えば良いか事前に見当がつけば、それだけ手術コストが節約できることになる。
金氏の関心分野は診断支援や教育分野にもおよぶ。金氏が作成した診断支援アプリ「Anatomical Knowledge Indicator」はその1つだ。医学部での講義にもUnity製のアプリが活用されている。ただし、気を付けているのは現場で実際に役に立つこと。AR／MRで手術支援アプリを開発したところ、奥行き情報がなく、錯覚しやすい問題があった。そのため執刀医から不要だと言われたのだ。そこで発想を逆転し、手術中に脳が見えた状態で写真を撮影し、3DCGに貼り付けて情報の記録に活用しているという。
最後に紹介されたのがポケット・クエリーズと共同開発中の自動手術シミュレーション「Hana（Homunculus Artificial-intelligent Navigating to Accuracy）」だ。手術の仕方を3DCGが教えてくれるもので、映像と異なり執刀者の能力による差分なども表現できる。ユニークなのは、手術のシナリオデータをCSVなどで出力できること。ベテラン医師と新米医師の操作データを比較したり、参考にしたりできる。金氏はこうしたシナリオデータは今後、ロボットが手術をする時代にも応用できるはずだと語る。
ポケット・クエリーズはアプリ開発で知られるゲーム会社で、医療業界は素人同然だ。しかし、シナリオデータのアイデアは、そのポケット・クエリーズ側から提案されたのだという。金氏は「あえて医療を知らない人々とコラボレーションしてみたかった」と語り、さっそく成果が出たと語った。これに限らず「非連続イノベーションをおこすには異分野間の連携が重要」だとする金氏。「ちょっと人を助けてみたい方や、医療や教育の応用に興味のある人は、気軽に連絡してほしい」と締めくくり、講演を終えた。
