大腸ポリープを検出するAIを生成する為のデータを日常診療の内視鏡レポートから自動収集するシステム構築に成功

2022年6月24日

発表のポイント

• 高精度な大腸ポリープを検出するAI（注1）の生成には大量の高精度な大腸ポリープの画像の収集と位置情報の入力が必要です。これまでの内視鏡的画像診断のAIの生成の為には、目的とする疾患の画像を日常診療とは別に大量に手動で抽出し、各々の画像に対して診断や位置情報を含むアノテーション（注2）データとして後からデータの選別や情報を追加入力する事が必要でした。
• 実際に日常診療で用いられている内視鏡所見入力システム（注3）に、目的とする疾患情報を入力することにより、大腸ポリープが撮像されている画像と、ポリープの位置情報を自動的に抽出するシステムを構築しました。
• 自動抽出システムにより、対象期間中745例の47391画像の大腸内視鏡所見情報から、キーワードにて大腸ポリープの位置情報が付与されたキーイメージ（注4）（アノテーション画像）2102画像が抽出可能でした。データクレンジング（注5）を行い最終的に抽出した1356画像と、追加で収集した700画像の大腸の正常画像を用いてAIの構築と検証を行った所、正診率97%、感度7%、特異度97.3%と極めて精度の高い大腸ポリープ検出用のAIが生成可能であった事が示されました。

概要

国立がん研究センター東病院と富士フィルムメディカル、理化学研究所の共同研究グループは、日常診療において内視鏡所見システムに入力されている情報からアノテーションデータを自動的に抽出し、大腸ポリープを検出するAIを生成する事に成功しました。

これまでの内視鏡的画像診断のAIの生成の為には、目的とする疾患の画像を日常診療とは別に大量に手動で抽出し、各々の画像に対して診断や位置情報を含むアノテーションデータとして後からデータの選別や情報を追加入力する事が必要でした。

一般画像とは異なり、高精度な医療画像AIを生成する為のアノテーションデータの生成には高度の専門性が必要であり、AIの生成に携わる研究者や、データ収集に協力する現場の医師にとって大きな負担となっていました。　

我々は実際に日常診療で用いられている内視鏡所見入力システムに、目的とする疾患情報を入力することにより、大腸ポリープが撮像されている画像と、ポリープの位置情報を自動的に抽出するシステムを構築しました。

2018年5月から9月にかけて日常診療において、内視鏡所見入力システム（NEXUS）への所見入力時に、切除した大腸ポリープをキーイメージとして選択、ポリープに対して矢印ではなく、楕円でアノテーション情報を入力しました。自動抽出システムにより、対象期間中745例の47391画像の大腸内視鏡所見情報から、キーワードにて大腸ポリープの位置情報が付与されたキーイメージ（アノテーション画像）2102画像が抽出可能でした。データクレンジングを行い最終的に抽出した1356画像と、追加で収集した700画像の大腸の正常画像を用いてAIの構築と検証を行った所、正診率97%、感度97.7%、特異度97.3%と極めて精度の高い大腸ポリープ検出用のAIが生成可能であった事が示されました。

本研究は国立がん研究センター東病院　消化管内視鏡科の堀圭介、池松弘朗、山本陽一、新村健介、依田雄介、矢野友規科長、NEXT医療機器開発センターの松崎博貴、竹下修由、富士フィルムメディカルの記内貴吉氏、理化学研究所光量子工学研究センターの竹本智子氏、横田秀夫チームリーダー（情報統合本部副プロジェクトリーダー）らの研究グループが行ったもので、これらの成果を元にさらなるAIのデータ収集の為のシステム開発が行われれば、より高精度な、又、多くの疾患に対する内視鏡画像診断AIの構築の為のデータ収集を効率よく行う事が可能になると考えます。本研究グループは日常診療用の内視鏡所見データベースからAI用のアノテーションデータを抽出するシステムに加え、アノテーション情報を自動的に抽出し、匿名化して蓄積、更新(成長)する仕組みを構築しており、このシステムの運用により医師の負担なく、AIの診断の精度が自律的に向上できることが期待できるものと考えられます。

本研究成果は日本科学雑誌「Digestive Endoscopy」オンラインに日本時間2021年11月8日付けで掲載され、2022年7月号に本誌掲載予定となっております。

背景

大腸癌の予防の為に、前癌病変である大腸ポリープを早期に発見し、切除する事は極めて重要な事とされています。しかしながら、微小なポリープや平坦なポリープを内視鏡的に発見する事は困難であり、通常の内視鏡での見逃し率は10-30%もあると報告されています。その為、広視野角や画像強調等、内視鏡システムに対する開発とともに、近年、AIによる内視鏡的大腸ポリープの検出を行う取り組みが報告されてきました。しかしながら、高精度な大腸ポリープを検出するAIの生成には大量の高精度な大腸ポリープの画像の収集と位置情報の入力が必要です。これまでの内視鏡的画像診断のAIの生成の為には、目的とする疾患の画像を日常診療とは別に大量に手動で抽出し、各々の画像に対して診断や位置情報を含むアノテーションデータとして後からデータの選別や情報を追加入力する事が必要でした。一般画像とは異なり、高精度なAIを生成する為のアノテーションデータの生成には高度の専門性が必要であり、AIの生成に携わる研究者や、データ収集に協力する現場の医師にとって大きな負担となっていました。　

研究方法・成果／取り組み内容

我々は日本消化器内視鏡学会 (JGES) が主導するJapan Endoscopy Databaseプロジェクト(JED)（注6） の下、日常診療で用いられている内視鏡所見入力システム（NEXUS; FUJIFILM Medical Co., Tokyo, Japan) に、疾患の位置情報を入力するアノテーション描画システムから、疾患情報とその位置の情報をAI用のデータ（xmlデータ）に変換するシステムを構築しました。（図1）

図1：疾患の位置情報を描画、入力するシステム（A）とAI用のデータ（xmlデータ）へ変換するシステム（B）

• 

  図1（A）疾患の位置情報を描画、入力するシステム

• 

  図1（B）AI用のデータ（xmlデータ）へ変換するシステム

また、目的とする疾患情報を入力することにより、対象疾患が撮像されている画像と、疾患の位置情報（アノテーション画像、情報）を自動的に抽出するシステムを構築しました。（図2）

図2：対象疾患のアノテーション画像、情報抽出システム

 

システムを構築後、2018年5月から9月にかけて日常診療において、内視鏡所見入力システム（NEXUS）への所見入力時に、切除した大腸ポリープをキー画像として選択し、楕円により位置アノテーション情報を入力しました。（図3）　

図3：大腸ポリープの楕円によるアノテーション付きキー画像

 

これらの情報を自動抽出システムにより疾患の画像情報、位置情報を大腸ポリープを検出するAI用のデータとして抽出し、正常画像を加える事によりAI生成用の学習用、検証用画像データセットを取りそろえました。

これらのデータにより、最新の深層学習モデルのうちの一つであるRetina　Netにより、大腸ポリープの検出用AIを生成し、検証用画像を用いてその精度を調査しました。

ポイント1

自動抽出システムにより、対象期間中745例の47391画像の大腸内視鏡所見情報から、キーワードにて大腸ポリープの位置情報が付与されたキーイメージ（アノテーション画像）が2102画像が抽出可能でした。2102画像中、756画像の不適切なマーキングやポリープの情報を熟練した医師により選別を行い、1356画像が適切なAI用画像、位置情報として抽出されました。（図4）

図4：キーアノテーション画像、位置情報抽出とデータクレンジング

 

ポイント2

データクレンジングを行い最終的に抽出した1356画像と、追加で収集した700画像の大腸の正常画像を用いてAIの構築と検証を行いました。　

収集した大腸ポリープのアノテーション画像1056画像と正常画像400画像を用いてRetina Netで大腸ポリープを検出するAIを生成し、大腸ポリープのアノテーション画像300画像と正常画像300画像で検証を行いました。(表1）

表1　検証用の大腸ポリープ画像300画像

 

検証の結果、正診率97%、感度97.7%、特異度97.3%と極めて精度の高い大腸ポリープ検出用のAIが生成可能であった事が示されました。（表2）

表2：AIによる大腸ポリープの検出能

 

位置情報の検出能を評価する指標であるIoU（注7）を検証した所、検証された大腸ポリープの中央値は0.74（四分位点 0.58-0.82） であり、88％（265／300）の大腸ポリープは0.5以上のIoUを達成しており、既報と比較して病変の位置情報を検出するAIとして十分な精度を持っている事が示されました。

また、検証画像内には白色光のみではなく、NBI、BLI、LCIによる画像強調イメージ（注8）が含まれていましたが、それらに関しても正しく検出されていました。（図5）

図5：AIによる、各種強調画像に対する大腸ポリープの検出例
（赤矩形：AIが検出した領域、青矩形：正解領域）

 

展望

本研究により、日常診療において生成された診断情報を元に自動抽出したデータセットにより、高い診断能を持つ大腸ポリープ検出用のAIを生成する事が可能である事が示されました。

これらの成果を元にさらなるAIのデータ収集の為のシステム開発が行われれば、より高精度な、又、多くの疾患に対する内視鏡画像診断AIの構築の為のデータ収集を効率よく行う事が可能になると考えます。

本研究グループは日常診療用の内視鏡所見データベースからAI用のアノテーションデータを抽出するシステムに加え、アノテーション情報を自動的に抽出し、匿名化して蓄積、更新(成長)する仕組みを構築しており、このシステムの運用により医師の負担なく、AIの診断の精度が自律的に向上できることが期待できるものと考えられます。

発表論文

雑誌名

Digestive Endoscopy

タイトル

Detecting colon polyps in endoscopic images using artificial intelligence constructed with automated collection of annotated images from an endoscopy reporting system

著者

Keisuke Hori, Hiroaki Ikematsu, Yoichi Yamamoto, Hiroki Matsuzaki, Nobuyoshi Takeshita, Kensuke Shinmura, Yusuke Yoda, Takayoshi Kiuchi, Satoko Takemoto, Hideo Yokota, and Tomonori Yano

DOI

10.1111/den.14185.

掲載日

2021年11月8日（オンライン掲載）

2022年7月（誌上掲載）

 研究費

• 国立がん研究センター研究開発費（29－A-10　内視鏡機器開発臨床試験体制基盤確立に関する研究　研究代表者　矢野友規）
• 国立研究開発法人日本医療研究開発機構　平成30年度　臨床ICT基盤構築・人工知能実装研究事業（内視鏡統合データベースと連携する内視鏡診療領域におけるAIプロトタイプ開発と実装に向けたICT基盤整備　研究開発代表者　一般社団法人日本消化器内視鏡学会理事長　井上晴洋　研究開発担当者　一般社団法人日本消化器内視鏡学会理事長特別補佐　田中聖人）

 用語解説

注1. AI　

Artificial Intelligence (人工知能)　の略語。人工的に作られた知的な振る舞いをするシステムを指します。本研究においては、大腸内視鏡画像からポリープを発見するという知的作業をコンピュータが行うシステムがAIとなります。

注2. アノテーション

 AIの学習を行うにあたり、目的のデータ（画像データや音声データ、テキストデータ）に付け加えられる正解情報をアノテーションと呼びます。本研究の場合は、大腸内視鏡画像に付け加えられた1）大腸ポリープ、正常粘膜といった画像の種別の情報、2）大腸ポリープの位置情報（楕円で囲まれた領域のx衄、y衄の最大値、最小値）がアノテーションデータとなります。

注3．内視鏡所見入力システム

近年、消化管内視鏡検査を行うにあたり、医師は内視鏡画像を撮像し、コンピュータ上で重要な画像を選択、診断情報を入力し、診療を行っています。撮像された画像、選択された画像、画像データに対する診断情報を管理するデータベースシステムが内視鏡所見入力システムです。

注4．キーイメージ

日常診療を行う上で、内視鏡所見入力システムに内視鏡所見を入力する際に、診断に重要な画像として医師が選ぶ画像です。通常4画像から8画像程度が選択されます。

注5．データクレンジング

得られたデータの中から、不正確なデータや、無関係なデータを特定して除外する事です。

注6. JEDプロジェクト

日本消化器内視鏡学会が主催する事業であり、日本国内の各々の施設で導入されている内視鏡所見入力システム等、様々な内視鏡診療に伴う画像と診断情報を管理するシステムのデータを統合することを目的としたプロジェクトです。内視鏡診断の用語や基本項目の標準化を行い、大規模な内視鏡画像データベースを構築し、内視鏡診療の現状の把握や、大規模な臨床研究を行う事を目的としています。　日本全国の内視鏡関連手技・治療情報を登録し,精度の高いデータを集計・分析することで医療の質の向上に役立て,患者に最善の医療を提供することを目指しています。

注7．IoU（Intersection over Union）

2つの領域がどれくらい重なっているかを表す指標です。この研究の場合は、AIが診断した大腸ポリープの領域と、正解情報の大腸ポリープの領域の重なり具合がIoUとなります。2つの領域のうち、共通する部分の面積÷2つの領域を重ねて共通部分以外も加えた和の面積＝IoUとなります。

注8．画像強調イメージ

消化管内視鏡検査において、大腸ポリープや他の消化管腫瘍を早期に発見する為に開発された、画像を強調する技術です。主には血管の変化を分かりやすくする為に帯域を絞った画像や、色調を変化させた画像を用い、腫瘍の色調をより明瞭に描出します。

問い合わせ先

研究に関する問い合わせ

国立研究開発法人国立がん研究センター
部門・部署名：東病院　消化管内視鏡科
担当者名：矢野　友規
電話番号：04－7133－1111（代表）
Eメール：toyano●east.ncc.go.jp