スケッチでCTやMRI画像を検索できる人工知能技術による革新的な医用画像検索システムを開発

2023年12月22日
国立研究開発法人国立がん研究センター

発表のポイント

• 精密な診断やフォローアップを行うためには、膨大に蓄積された過去の症例の中から類似症例を探す必要がありますが、手間がかかり瞬時に行うことは困難でした。
• 研究チームは、CTやMRIなどの医用画像をデータベース化し、新しい人工知能技術を用いて、素早く検索できるシステムを開発しました。
• 新たに開発したシステムでは、病気の特徴を描いたスケッチを使い画像を検索することができ、目の前の患者さんの診療に直ちに役立つことが期待できます。
• 本研究成果は、医用画像解析の分野で国際的に高い評価を受けている専門誌「Medical Image Analysis」に掲載されました。

概要

国立研究開発法人国立がん研究センター（理事長：中釜 斉、東京都中央区）研究所（所長：間野博行）医療AI研究開発分野の小林和馬 研究員と浜本隆二 分野長を中心とする、同中央病院・放射線診断科の渡辺裕一 医長ら、理化学研究所革新知能統合研究センターの谷林（Lin Gu） 研究員と幡谷龍一郎 特別研究員ら、及び東京大学先端科学技術研究センターの原田達也 教授らの研究グループは、医用画像をデータベースから検索するための新しい人工知能技術を開発しました。

CTやMRIなどによる医用画像検査は高度な医療において重要です。これらの検査は、がんをはじめとする様々な病気の精密な診断やフォローアップに欠かせません。しかし、診療で撮影された医用画像のデータが病院に大量に蓄積される一方で、画像内容に基づく効率的な検索手段が存在しませんでした。実際、従来の医用画像の検索方法では、参照したい画像に類似した画像を手元に用意できていなければ検索そのものを行うことが出来ず、有用性に大きな制約がありました。

この課題を解決するため、医用画像をデータベースから検索するための新しい人工知能技術を開発しました。私達が開発した技術では、医療者が病気の特徴をスケッチで表現し、それを使って病気の画像を素早く見つけられるようになります。そのため、従来技術のように類似した例が手元になくても、効率的に画像を検索することが可能となりました。これにより、医療者が過去の症例から学びを深めることや、精密な診断やフォローアップを行う上で大きな助けとなる可能性があります。この研究成果は、医用画像解析の分野で国際的に高い評価を受けている専門誌「Medical Image Analysis」に掲載されました。

背景

CTやMRIなどの医用画像検査は、高度な医療においてますます重要な役割を担っています。医用画像検査により患者さんの体内の構造や機能を可視化することで、がんを始めとする様々な病気の診断や治療、フォローアップが可能となります。そのため、日々の診療で撮影された医用画像検査がデジタルデータとして病院に大量に蓄積されてきました。特に、医用画像における病気の「見た目」は、それぞれの病気の性質をよく反映していることが多いため、過去に蓄積されてきた膨大な医用画像検査のデータから目の前の患者さんの診療に対して参考になる症例を検索することができれば、精密な診療を行う上で大きな助けとなる可能性がありました。

このような医用画像における病気の「見た目」は言葉やキーワードでは表現しきれません。そこで、医用画像の「どこに、何が」写っているのかという画像中の内容（コンテンツ）に応じた検索技術（コンテンツベース画像検索^*1）が開発されてきました。こうした従来のコンテンツベース画像検索の主なアプローチでは、医用画像の「どこに、何が」写っているのかというコンテンツを表現する情報を、実際に検索したい参照画像と同じ特徴を有するクエリ画像^*2を予め用意し、そのクエリ画像から抽出していました（図1左側を参照）。しかしながら、医療者が検索したい参照画像に類似したクエリ画像が常に手元にあるとは限らず、その検索の自由度に大きな制約がありました。また、希少な症例のように、そもそも類似したクエリ画像を用意することが困難な医用画像データに対して、それらを検索することが難しいという原理的な課題もありました。

 

図1: 従来の医用画像検索の方法と、私達が考案したスケッチによる医用画像検索技術。

研究成果

そこで私達は、クエリ画像を必要とすることのないコンテンツベース画像検索の新しい方法として、スケッチによる医用画像検索技術を開発することに成功しました（図1右側参照）。その鍵となるのが、医用画像の「どこに、何が」写っているのかというコンテンツを表現する情報を、医用画像の特徴分解という考え方を応用することで、「どこに」という情報と、「何が」という情報の2つに分解し、それぞれを別々の方法で指定することによって表現できるのではないかというアイディアです（図2参照）。具体的には、最初に、「どこに」という場所を指定する情報を、テンプレートとなる画像シリーズから、ユーザが任意の画像をテンプレート画像として選択することで示します。続いて、「何が」という病気の特徴を指定する情報を、そのテンプレート画像の上にユーザがスケッチすることで示します。この2つの操作の組み合わせにより、医用画像の「どこに、何が」写っているのかというコンテンツを表現する情報を、クエリ画像を要することなく表現することが可能となりました。このスケッチによる医用画像検索の技術により、クエリ画像が用意できない状況での医用画像の検索や、希少な症例のように、そもそも類似したクエリ画像を用意することが困難な医用画像データを、大規模なデータベースから効率的に検索できることを実証しました。この研究成果は、医用画像解析の分野で国際的に高い評価を受けている専門誌「Medical Image Analysis」に掲載されました。

図2: スケッチによる医用画像検索技術の仕組み。
医用画像の「どこに、何が」写っているのかというコンテンツを表現する情報を、
テンプレート画像の選択と、ユーザによる病気の特徴のスケッチという2つの操作によって、
検索システムに伝えることができる。

展望

このスケッチによる医用画像検索技術によって、膨大に蓄積された過去の医用画像検査から、目の前の患者さんの診療に対して参考になる症例を効率的に検索できるようになり、精密な診断やフォローアップを行う上で大きな助けとなる可能性があります。また、開発した技術の社会実装にも取り組んでいく予定です。

発表論文

雑誌名

Medical Image Analysis

タイトル

Sketch-based semantic retrieval of medical images

著者

Kazuma Kobayashi (* Corresponding Author), Lin Gu, Ryuichiro Hataya, Takaaki Mizuno, Mototaka Miyake, Hirokazu Watanabe, Masamichi Takahashi, Yasuyuki Takamizawa, Yukihiro Yoshida, Satoshi Nakamura, Nobuji Kouno, Amina Bolatkan, Yusuke Kurose, Tatsuya Harada, Ryuji Hamamoto

DOI

10.1016/j.media.2023.103060

掲載日

2023年12月8日付 オンライン・プレ・リリース

URL

https://www.sciencedirect.com/science/article/pii/S1361841523003201（外部サイトにリンクします）

研究費

• 科学技術振興機構（JST）・戦略的創造研究推進事業（JST CREST）「人工知能を用いた統合的ながん医療システムの開発」（研究代表者名: 浜本 隆二）
• 科学技術振興機構（JST）・AIPプロジェクト（API－PRISM）「人工知能技術を活用した革新的ながん創薬システムの開発」（研究代表者名: 浜本 隆二）
• 日本学術振興会・新学術領域研究(研究領域提案型)「がんの統合的解明を目指した生体情報の階層的ネットワーク構造に対する深層学習の応用」（研究代表者名: 浜本 隆二）
• 日本学術振興会・基盤研究（C）「生成データを活用した医用画像解析」（研究代表者名: 小林 和馬）

用語説明

*1　コンテンツベース画像検索

画像の「どこに、何が」写っているのかという画像中の内容をコンテンツと呼び、そのコンテンツの類似度に応じた画像を、データベースから検索する技術のこと。

*2　クエリ画像

データベースに対する問い合わせをクエリと呼び、コンテンツベース画像検索において、画像の「どこに、何が」写っているかというクエリが持つべき内容を、実際に有する画像のこと。従来のコンテンツベース画像検索では、クエリ画像をシステムに入力することによって、クエリ画像と類似した画像を検索することができる。

お問い合わせ先

研究に関するお問合せ

国立研究開発法人国立がん研究センター
研究所　医療AI研究開発分野
小林　和馬
電話番号：03-3542-2511（代表）

広報窓口

国立がん研究センター 企画戦略局 広報企画室
TEL：03-3542-2511   FAX：03-3542-2545
E-mail: ncc-admin●ncc.go.jp