深度卷積神經(jīng)網(wǎng)絡(luò)用于小腸膠囊內(nèi)鏡檢查診斷的研究進(jìn)展

曾于珍 蔣蔚茹 丁偉群 邱志兵 陳堅(jiān)

摘 要 無(wú)線膠囊內(nèi)鏡是診斷小腸疾病的主要手段，但存在內(nèi)鏡圖像分析耗時(shí)、耗力的問題。本文介紹人工智能深度學(xué)習(xí)、尤其是深度卷積神經(jīng)網(wǎng)絡(luò)在小腸膠囊內(nèi)鏡檢查自動(dòng)輔助診斷方面的應(yīng)用進(jìn)展，包括對(duì)小腸潰瘍及糜爛、血管擴(kuò)張、消化道出血、小腸寄生蟲病等多種疾病的診斷價(jià)值。

關(guān)鍵詞 無(wú)線膠囊內(nèi)鏡 深度卷積神經(jīng)網(wǎng)絡(luò) 小腸疾病

中圖分類號(hào)：TP391.5； R574.5 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-1533（2020）23-0003-03

Application of deep convolution neural networks in the diagnosis of small bowel diseases with wireless capsule endoscopy*

TSENG Yujen， JIANG Weiru， DING Weiqun， QIU Zhibing， CHEN Jian**

（Department of Gastroenterology， Huashan Hospital， Fudan University， Shanghai 200040， China）

ABSTRACT Wireless capsule endoscopy （WCE） is the main method for diagnosing small bowel diseases， however， there are problems of time- and labor-consuming in endoscopic image analysis. This article introduces the application progress of artificial intelligence deep learning， especially deep convolutional neural networks in the automatic auxiliary diagnosis by small bowel capsule endoscopy， including the diagnostic value of such diseases as small intestinal ulcers and erosions， intestinal hemangiectasis， gastrointestinal bleeding and small intestinal parasites.

KEy WORDS wireless capsule endoscopy； deep convolutional neural networks； small bowel diseases

成年人小腸的平均長(zhǎng)度為5 ～ 7 m，由空腸、回腸組成，是食物消化、吸收的重要場(chǎng)所，也是消化道免疫和內(nèi)分泌相關(guān)的器官。小腸因遠(yuǎn)離口腔和肛門，常規(guī)胃鏡、腸鏡無(wú)法到達(dá)，故小腸疾病診治是臨床上的一大難題。傳統(tǒng)的小腸疾病檢查手段包括小腸低張?jiān)煊?、小腸CT造影和小腸磁共振造影等，這些檢查手段雖普及程度較高，但診斷的準(zhǔn)確度差強(qiáng)人意[1-2]。

近年來(lái)，隨著醫(yī)學(xué)發(fā)展及其技術(shù)進(jìn)步，膠囊內(nèi)鏡、小腸鏡等相繼問世，打破了以往消化內(nèi)鏡無(wú)法涉足小腸這一“盲區(qū)”的困境[3-4]。小腸鏡可于直視下完成全小腸的檢查，包括進(jìn)行活組織檢查、病灶標(biāo)記以及息肉切除等內(nèi)鏡下治療[3]，但小腸鏡檢查是侵入性檢查，需全身麻醉，耗時(shí)、耗力，且技術(shù)要求高，一次完成全小腸檢查的比例不高。一項(xiàng)共納入14項(xiàng)觀察性研究的薈萃分析比較了膠囊內(nèi)鏡檢查與其他小腸檢查手段對(duì)疑似小腸出血的診斷效率，結(jié)果顯示膠囊內(nèi)鏡檢查的診斷率為63%，顯著高于推進(jìn)式小腸鏡檢查的26%和小腸鋇餐檢查的8%[5]。

無(wú)線膠囊內(nèi)鏡（wireless capsule endoscopy， WCE）是一種由微型照相機(jī)、數(shù)字處理系統(tǒng)和無(wú)線收發(fā)系統(tǒng)等組成的膠囊樣微型診斷工具，可將受檢者的消化道圖像無(wú)線傳送至外部接收器。與傳統(tǒng)的插入式消化內(nèi)鏡相比，WCE檢查具有無(wú)痛、無(wú)創(chuàng)、安全、便捷等優(yōu)勢(shì)，可用于檢查胃、結(jié)腸、直腸和小腸，尤其是在小腸檢查方面具有獨(dú)到之處。美國(guó)FDA于2001年8月批準(zhǔn)了WCE（PillCam SB）的臨床應(yīng)用[6-7]，現(xiàn)該產(chǎn)品已發(fā)展到第三代（PillCam SB3），后者的圖像分辨率得到進(jìn)一步提高，且?guī)倏勺詣?dòng)調(diào)節(jié)。如在十二指腸檢查中，當(dāng)WCE移動(dòng)速率較快時(shí)，幀速可增至6幀/s；而在WCE移動(dòng)緩慢或靜止時(shí)，幀速會(huì)自動(dòng)降低到2幀/s。

WCE檢查的臨床應(yīng)用指征也在不斷更新，目前主要用于成人（包括患有缺鐵性貧血的成人）疑似小腸出血的檢查，也常協(xié)助診斷疑似克羅恩病和小腸腫瘤等疾病。WCE對(duì)不明原因的消化道出血的診斷率約為61%，顯著提高了小腸疾病的診斷效率[8]。從受試者吞咽WCE開始，WCE就會(huì)以2 ～ 6幀/s的速率自動(dòng)拍攝，在消化道蠕動(dòng)波的推動(dòng)下逐步完成對(duì)整個(gè)消化道的檢查，整個(gè)過程持續(xù)8 ～ 10 h，可產(chǎn)生5 ～ 8萬(wàn)幅圖像。若完全依靠消化內(nèi)鏡醫(yī)師對(duì)數(shù)量龐大的WCE圖像進(jìn)行人工讀片，則一般需6 ～ 7 h才能完成1例受試者的診斷，工作量巨大，易導(dǎo)致視覺疲勞，也易產(chǎn)生漏診、誤診。因此，必須開發(fā)一種能輔助內(nèi)鏡醫(yī)師讀片診斷的軟件以提高WCE檢查的診斷效率。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，人工智能在諸多領(lǐng)域都已得到實(shí)際應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks， CNN）是一種不需過多預(yù)處理的深度學(xué)習(xí)模型，適合進(jìn)行圖像分析及處理[9-10]。基于CNN的深度學(xué)習(xí)是目前醫(yī)學(xué)影像分析中最常用的機(jī)器學(xué)習(xí)算法，其優(yōu)點(diǎn)在于可保留圖像的空間關(guān)系特征，而此特征對(duì)醫(yī)學(xué)影像分析非常重要。目前，人工智能輔助診斷技術(shù)已開始在醫(yī)學(xué)領(lǐng)域得到成功的應(yīng)用[11]，如在放射影像學(xué)診斷上輔助放射科醫(yī)師發(fā)現(xiàn)或識(shí)別CT、MRI等圖像中的易漏診、誤診的病灶，提高放射科醫(yī)師的讀片速率和診斷準(zhǔn)確度。智能輔助診斷不僅能完成自動(dòng)化的圖像識(shí)別和圖像后期加工、包括三維影像重建任務(wù)，還可用作可靠、直觀的診斷依據(jù)[12-13]。

機(jī)器人內(nèi)鏡系統(tǒng)是體內(nèi)復(fù)雜結(jié)構(gòu)檢查的一種微創(chuàng)選擇，可滿足人們對(duì)精準(zhǔn)醫(yī)療的日益增長(zhǎng)的需求，臨床應(yīng)用正在迅速擴(kuò)大。該系統(tǒng)能進(jìn)行相關(guān)測(cè)量工作，如測(cè)量WCE走過的距離，從而確定胃腸道病變的位置；測(cè)量病灶大小等。Iakovidis等[14]研究了使用基于深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks， DCCN）的計(jì)算機(jī)視覺方法進(jìn)行非接觸測(cè)量的可行性。他們將深度卷積圖像配準(zhǔn)方法和多層前饋神經(jīng)網(wǎng)絡(luò)集成到一新的系統(tǒng)中，使系統(tǒng)具有了如下主要優(yōu)點(diǎn)：①因不受特定模型的約束，故通用性更好；②對(duì)非剛性變形更有優(yōu)勢(shì)；③適用于大多數(shù)內(nèi)鏡系統(tǒng)及環(huán)境，同時(shí)測(cè)量準(zhǔn)確性更高。該系統(tǒng)已在體外經(jīng)使用一種幽靈實(shí)驗(yàn)?zāi)Ｐ秃鸵粋€(gè)機(jī)器人輔助試驗(yàn)臺(tái)進(jìn)行性能評(píng)價(jià)。研究獲得的初步成果喜人，有望在內(nèi)鏡領(lǐng)域得到廣泛應(yīng)用。

CNN在執(zhí)行不同的計(jì)算機(jī)視覺任務(wù)中都表現(xiàn)出有令人印象深刻的優(yōu)異性能。Fan等[15]提出了一種基于深度學(xué)習(xí)模式的計(jì)算機(jī)輔助檢測(cè)方法，用于WCE圖像中小腸潰瘍和糜爛的檢測(cè)。與傳統(tǒng)的學(xué)習(xí)模式相比，深度學(xué)習(xí)模式可直接從海量的數(shù)據(jù)中提取圖像特征，從而提高識(shí)別的準(zhǔn)確度和效率。他們開發(fā)的檢測(cè)方法包括圖像裁剪和圖像壓縮，使用含有數(shù)萬(wàn)幅WCE圖像的數(shù)據(jù)集訓(xùn)練AlexNet分類CNN，以使之能夠區(qū)分病變組織和正常組織。研究顯示，利用CNN自動(dòng)檢測(cè)WCE圖像中小腸潰瘍和糜爛灶的準(zhǔn)確度分別為95.16%和95.34%，敏感度分別為96.80%和93.67%，特異性分別為94.79%和95.98%，受試者工作特征曲線下面積（area under receiver operator characteristic curve， AUROCC）均>0.98。Wang等[16]也通過DCCN提取WCE圖像中小腸潰瘍的識(shí)別特征，開發(fā)了一種以ResNet-34分類CNN為基礎(chǔ)網(wǎng)絡(luò)，融合圖像的淺、深層特性，以最終用于診斷的決策系統(tǒng)。利用該系統(tǒng)，他們?cè)u(píng)估了1 416例患者WCE圖像中的小腸潰瘍特征，目的在于探討DCCN用于小腸潰瘍識(shí)別的可行性，優(yōu)化基于CNN的WCE圖像的小腸潰瘍識(shí)別體系。結(jié)果顯示，該系統(tǒng)的準(zhǔn)確度為92.05%，敏感度和特異性分別為91.64%和92.42%，表現(xiàn)優(yōu)異。

小腸血管畸形（如毛細(xì)血管擴(kuò)張癥）是隱匿性下消化道出血的最常見病因。Tsuboi等[17]開發(fā)并驗(yàn)證了一種基于CNN的新系統(tǒng)來(lái)自動(dòng)檢測(cè)WCE圖像中的小腸毛細(xì)血管擴(kuò)張。他們使用2 237例小腸毛細(xì)血管擴(kuò)張患者的WCE圖像（包括10 488幅小腸圖像和488幅小腸毛細(xì)血管擴(kuò)張的獨(dú)立圖像）訓(xùn)練一種基于單鏡頭多盒檢測(cè)器的CNN系統(tǒng)，并通過計(jì)算AUROCC來(lái)評(píng)估其診斷準(zhǔn)確度。結(jié)果顯示，該系統(tǒng)檢測(cè)小腸毛細(xì)血管擴(kuò)張的AUROCC為0.998，敏感度、特異性、陽(yáng)性和陰性預(yù)測(cè)值分別為98.8%、98.4%、75.4%和99.9%，概率分值的截?cái)嘀禐?.36。

2016年7月—2018年7月，我國(guó)武漢同濟(jì)醫(yī)院消化科的研究者收集了來(lái)自國(guó)內(nèi)77家醫(yī)療中心的6 970例接受WCE檢查患者的113 426 569幅圖像。他們訓(xùn)練了一種基于CNN的輔助讀片模型[18]，共標(biāo)注了1 970例患者的158 235幅小腸WCE圖像來(lái)供機(jī)器深度學(xué)習(xí)，圖像分為正常、炎癥、潰瘍、息肉、淋巴管擴(kuò)張、出血、血管疾病和隆起等。此后，以另外5 000例患者的WCE圖像對(duì)該模型的性能進(jìn)行驗(yàn)證。共有20名資深消化科專家對(duì)患者的WCE圖像進(jìn)行了人工讀片和基于CNN的輔助讀片。如果人工讀片與CNN輔助讀片在圖像分類結(jié)果上一致，則不進(jìn)行進(jìn)一步的圖像分析；如果結(jié)果不一致，專家將重新讀片。在3 280例患者中共確認(rèn)有4 206處病灶。基于CNN的輔助讀片模型在對(duì)逐個(gè)患者分析模式中識(shí)別病灶的敏感度為99.88%，在對(duì)逐個(gè)病灶分析模式中識(shí)別病灶的敏感度為99.90%。與之相比，消化科專家在對(duì)逐個(gè)患者人工讀片中識(shí)別病灶的敏感度為74.57%，在對(duì)逐個(gè)病灶人工讀片中識(shí)別病灶的敏感度為76.89%。人工讀片和基于CNN的輔助讀片模型對(duì)每個(gè)患者WCE圖像的平均讀片時(shí)間分別為（96.6±22.53）和（5.9±2.23）min，差異顯著。

隱匿性消化道出血是WCE檢查的一個(gè)強(qiáng)指征。Jia等[19]提出了一種結(jié)合手工和CNN圖像特征的WCE下檢測(cè)消化道出血的新方法。他們僅構(gòu)建了一種小CNN模型來(lái)降低成本。結(jié)果發(fā)現(xiàn)，在數(shù)據(jù)訓(xùn)練有限的情況下，該模型仍有較強(qiáng)的適應(yīng)性，可取得較好的效果。

鉤蟲是人體內(nèi)最常見的寄生蟲之一，其感染患者可有貧血、營(yíng)養(yǎng)不良和胃腸功能失調(diào)等臨床表現(xiàn)。近年來(lái)，隨著CNN在各種圖像和視頻分析任務(wù)中表現(xiàn)出具有令人驚艷的性能，其也開始被研究用于WCE下鉤蟲等腸道寄生蟲的自動(dòng)檢測(cè)這一任務(wù)。He等[20]提出了一種新的針對(duì)WCE圖像中的深度鉤蟲檢測(cè)框架，同時(shí)對(duì)鉤蟲的視覺外觀和管狀形態(tài)進(jìn)行建模。該框架將兩個(gè)CNN（邊緣提取網(wǎng)絡(luò)和鉤蟲分類網(wǎng)絡(luò)）無(wú)縫集成，既避免了邊緣特征緩存，又加快了分類速度。引入兩個(gè)邊緣池化層，將邊緣提取網(wǎng)絡(luò)得到的管狀區(qū)域和鉤蟲分類網(wǎng)絡(luò)得到的特征圖進(jìn)行整合，從而得到強(qiáng)調(diào)管狀區(qū)域的增強(qiáng)特征圖。使用世界上最大的WCE圖像數(shù)據(jù)集進(jìn)行驗(yàn)證，表明該檢測(cè)方法的敏感度和準(zhǔn)確度均顯著高于傳統(tǒng)方法，具有較好的臨床應(yīng)用價(jià)值。

已有的研究表明，通過DCNN識(shí)別WCE圖像中的各種異常是可行的，且初步研究結(jié)果喜人，前景可期。人工智能中的圖像識(shí)別和機(jī)器學(xué)習(xí)技術(shù)可有效減少消化科醫(yī)師的內(nèi)鏡圖像讀片工作，減輕讀片醫(yī)師的工作負(fù)擔(dān)，快速識(shí)別各種疑似病灶，提高WCE檢查的診斷效率。今后若能結(jié)合最終的病理學(xué)確診結(jié)果，擴(kuò)大學(xué)習(xí)庫(kù)，對(duì)多層CNN結(jié)構(gòu)及參數(shù)進(jìn)行不斷的改進(jìn)，集成對(duì)多種病灶的輔助診斷能力，不斷提高檢測(cè)的敏感度和特異性，最終必能開發(fā)出可用于臨床實(shí)踐的成熟的WCE檢查智能輔助診斷系統(tǒng)，方便醫(yī)師、造?；颊?。

參考文獻(xiàn)

[1] Costamagna G， Shah SK， Riccioni ME， et al. A prospective trial comparing small bowel radiographs and video capsule endoscopy for suspected small bowel disease [J]. Gastroenterology， 2002， 123（4）： 999-1005.

[2] G？lder SK， Schreyer AG， Endlicher E， et al. Comparison of capsule endoscopy and magnetic resonance （MR） enteroclysis in suspected small bowel disease [J]. Int J Colorectal Dis， 2006， 21（2）： 97-104.

[3] Heine GD， Hadithi M， Groenen MJ， et al. Double-balloon enteroscopy： indications， diagnostic yield， and complications in a series of 275 patients with suspected small-bowel disease[J]. Endoscopy， 2006， 38（1）： 42-48.

[4] Pennazio M， Spada C， Eliakim R， et al. Small-bowel capsule endoscopy and device-assisted enteroscopy for diagnosis and treatment of small-bowel disorders： European Society of Gastrointestinal Endoscopy （ESGE） clinical guideline [J]. Endoscopy， 2015， 47（4）： 352-376.

[5] Triester SL， Leighton JA， Leontiadis GI， et al. A metaanalysis of the yield of capsule endoscopy compared to other diagnostic modalities in patients with obscure gastrointestinal bleeding [J]. Am J Gastroenterol， 2005， 100（11）： 2407-2418.

[6] Iddan G， Meron G， Glukhovsky A， et al. Wireless capsule endoscopy [J]. Nature， 2000， 405（6785）： 417.

[7] Gong F， Swain P， Mills T. Wireless endoscopy [J]. Gastrointest Endosc， 2000， 51（6）： 725-729.

[8] Liao Z， Gao R， Xu C， et al. Indications and detection， completion， and retention rates of small-bowel capsule endoscopy： a systematic review [J]. Gastrointest Endosc， 2010， 71（2）： 280-286.

[9] Yu KH， Beam AL， Kohane IS. Artificial intelligence in healthcare [J]. Nat Biomed Eng， 2018， 2（10）： 719-731.

[10] Shin HC， Roth HR， Gao M， et al. Deep convolutional neural networks for computer-aided detection： CNN architectures， dataset characteristics and transfer learning [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1285-1298.

[11] Waljee AK， Higgins PDR. Machine learning in medicine： a primer for physicians [J]. Am J Gastroenterol， 2010， 105（6）： 1224-1226.

[12] Kermany DS， Goldbaum M， Cai W， et al. Identifying medical diagnoses and treatable diseases by image-based deep learning [J]. Cell， 2018， 172（5）： 1122-1131.

[13] Obermeyer Z， Emanuel EJ. Predicting the future - big data， machine learning， and clinical medicine [J]. New Engl J Med， 2016， 375（13）： 1216-1219.

[14] Iakovidis DK， Dimas G， Karargyris A， et al. Deep endoscopic visual measurements [J]. IEEE J Biomed Health Inform， 2019， 23（6）： 2211-2219.

[15] Fan S， Xu L， Fan Y， et al. Computer-aided detection of small intestinal ulcer and erosion in wireless capsule endoscopy images [J]. Phys Med Biol， 2018， 63（16）： 165001.

[16] Wang S， Xing Y， Zhang L， et al. Deep convolutional neural network for ulcer recognition in wireless capsule endoscopy： experimental feasibility and optimization [J/OL]. Comput Math Methods Med， 2019， 2019： 7546215 [2020-03-23]. doi：10.1155/2019/7546215.

[17] Tsuboi A， Oka S， Aoyama K， et al. Artificial intelligence using a convolutional neural network for automatic detection of small-bowel angioectasia in capsule endoscopy images [J]. Dig Endosc， 2020， 32（3）： 382-390.

[18] Ding Z， Shi H， Zhang H， et al. Gastroenterologist-level identification of small-bowel diseases and normal variants by capsule endoscopy using a deep-learning model [J]. Gastroenterology， 2019， 157（4）： 1044-1054.e5.

[19] Jia X， Meng MQ. Gastrointestinal bleeding detection in wireless capsule endoscopy images using handcrafted and CNN features [J]. Conf Proc IEEE Eng Med Biol Soc， 2017， 2017： 3154-3157.

[20] He JY， Wu X， Jiang YG， et al. Hookworm detection in wireless capsule endoscopy images with deep learning [J]. IEEE Trans Image Process， 2018， 27（5）： 2379-2392.

*基金項(xiàng)目：復(fù)旦大學(xué)附屬華山醫(yī)院院級(jí)啟動(dòng)基金資助項(xiàng)目（2020QD008）

**通信作者：陳堅(jiān)，副主任醫(yī)師。研究方向：消化道腫瘤的基礎(chǔ)研究與臨床診治。E-mail： chen5120@126. com