醫學圖像分析深度學習方法研究與挑戰

田娟秀　劉國才　谷珊珊　鞠忠建　劉勁光　顧冬冬

生物醫學影像已成為疾病診斷和治療中不可或缺的組成部分,且日益重要.核磁共振成像(Magnetic resonance image,MRI)、正電子發射斷層掃描(Positron emission tomography,PET)、計算機斷層掃描(Computer tomography,CT)、錐形束CT、3D超聲成像等醫學影像技術目前已廣泛應用于臨床檢查、診斷、治療與決策.如何充分利用人工智能深度學習方法分析處理這些超大規模的醫學圖像大數據,為臨床醫學中各種重大疾病的篩查、診斷、治療計劃、治療圖像引導、療效評估和隨訪提供科學方法和先進技術,是當前醫學圖像分析領域急需解決的重大科學問題和前沿醫學影像關鍵技術[1].

醫學圖像分析最初主要采用邊緣檢測、紋理特征、形態學濾波以及構建形狀模型和模板匹配等方法.這類分析方法通常針對特定任務而設計,被稱為手工定制式設計方法.機器學習以數據驅動方式分析任務,能自動地從特定問題的大規模數據集中學習相關模型特征和數據特性.與針對特定問題而顯式地手工設計模型不同,機器學習方法可直接從數據樣本中隱式地自動學習醫學圖像特征,其學習過程本質上是一個優化問題的求解過程.通過學習,模型從訓練數據中選擇正確的特征,使分類器在測試新數據時做出正確決策.因此,機器學習在醫學圖像分析中起著至關重要的作用,已經成為最有前途的研究領域[2].

深度學習(Deep learning,DL)是一種機器學習方法,源于人工神經網絡的研究,其動機在于建立模擬人腦分析理解數據的神經網絡.1959年,霍普金斯大學Hubel等通過觀察貓的腦部視覺中樞對視網膜感知圖像的處理方式發現,視神經元對信息處理的方式是分工分層的,不同神經元關注的對象特征不同,每一層神經元抽象出對象的部分特征進行處理,所有信息經過逐層激發,在中樞最高層激發出整個對象認知.這一發現給從事神經網絡研究的計算機專家提供了重要的建模思路[3].20世紀80年代,神經網絡技術進一步發展,通過在只有輸入層和輸出層的網絡結構中添加中間隱層,使神經網絡可以解決更加復雜的分類問題[4].但層數的增加為各層的神經節點之間的連接權重選取帶來困難,反向傳播算法(Back propagation,BP)的出現在一定程度上解決了權重選取問題[5].LeCun等在1989年將BP算法應用到前饋多層神經網絡學習過程,用以識別手寫的郵政編碼[6].隨著層次的加深,多層網絡會出現梯度消失問題,導致BP算法無法有效調整神經元連接之間的權重,學習時間過長.同時,由于計算能力這一根本性限制,神經網絡研究一直未能在應用領域取得實質性突破.直到2006年前后,Hinton團隊在深度前饋網絡中采取無標注的數據集進行網絡預訓練,解決了BP算法梯度消失問題.他們先采用非監督貪心逐層訓練方法,有效降低了觀察對象的維度,然后用監督訓練微調所有網絡參數.這一算法為解決深層結構相關優化難題帶來了希望,在圖像目標識別等分類預測方面取得了突破性進展[7?8].LeCun等提出的卷積神經網絡(Convolutional neural networks,CNNs)利用空間相對關系減少參數數目以提高訓練性能,是第一個真正多層結構學習算法[9].Graves等提出的長短時記憶神經網絡(Long short-term memory,LSTM)也在圖像手寫字識別和語音識別方面取得了突破性進展[10?12].

自2006年以來,深度學習在多個領域取得了重要突破.在語音識別方面,微軟研究人員通過與Hinton等合作,首先將受限玻爾茲曼機(Restricted boltzmann machine,RBM)和深度信念網絡(Deep belief network,DBN)引入到語音識別模型訓練中,在大詞匯量語音識別系統中獲得了巨大成功,使語音識別錯誤率相對之前降低30%.2012年11月,微軟展示了一個全自動的同聲傳譯系統,其支撐的關鍵技術就是深度學習[13].在圖像分類方面,微軟亞洲研究院He等[14]提出了殘差學習框架,其最重要的突破在于重構了學習過程,重定向了深層神經網絡信息流,從而很好地解決了此前深層神經網絡層數與準確度之間的矛盾.在人臉識別領域,香港中文大學Sun及其研究團隊研發的DeepID在使用測試基準LFW數據庫上獲得99.15%的人臉識別率[15].2015年,DeepMind團隊在《Nature》雜志上公布了自己的研究成果,通過深度神經網絡與強化學習等方法的結合,計算機能夠通過自學成為游戲高手,在一系列復雜任務中的性能表現與人類相當[16].2016年3月,DeepMind開發的AlphaGo程序以4∶1擊敗韓國圍棋冠軍李世石,成為近年來人工智能領域新的里程碑.2017年5月,AlphaGo在中國以3∶0擊敗世界圍棋冠軍柯潔,再次證明了其強大的學習、分析、決策能力.DeepMind團隊自2016年起關注醫療領域,試圖將人工智能技術應用于醫療行業.DeepMind Health開發了名為Streams的軟件,幫助臨床醫生更快地查看醫療結果,只需幾秒鐘時間就能查看急性腎臟損傷風險病人的驗血結果,優化病人的治療方案[17].

近年來,深度學習不斷取得重大進展,主要得益于不斷提高的計算能力和持續增長的可用數據量,以及深度學習模型及其算法的不斷改進.其實質是通過構建多隱層的機器學習模型,利用海量的樣本數據訓練,學習更精準的特征,最終提高分類或預測的準確性[18].深度學習這種從數據中學習層次特征的特點,使得它非常適合發現高維數據中的復雜結構[19],已經應用到語音識別[13]、自然語言處理[20]、人臉識別[15,21]、目標檢測[22]等領域和各種挑戰賽中[23?25],取得了破紀錄的好成績.有關深度學習的更詳細發展歷程和非醫學圖像分析領域的應用進展,讀者可參閱2015年由LeCun等聯名撰寫的綜述[19]、Schmidhuber撰寫的綜述[26]、Goodfellow 等撰寫的專著[27]以及最近發表的中文綜述[28?30].

深度學習在計算機視覺領域的巨大成功,激發了國內外許多學者將其應用于醫療圖像分析.哈佛大學醫學院Wells教授在其綜述中指出應用深度學習解決醫學圖像分析任務是本領域的發展趨勢[31].2016年來,已有多位專家對深度學習在醫學圖像分析中的研究現狀及問題進行了總結、評述和討論[32?36].最近,Medical Image Analysis上發表的綜述對深度學習在醫學圖像分類、檢測和分割、配準和檢索等方面的研究進行了較全面的歸納總結[37].

本文根據我們課題組近3年來收集、整理的文獻資料和國家自然科學基金項目研究工作,聚焦于綜述深度學習在醫學圖像分析應用領域的研究現狀和挑戰.首先,簡述醫學圖像分析特點.其次,論述深度學習方法自動提取多層次特征的基本原理;然后,重點論述計算機視覺和醫學圖像分析中深度CNN分類、分割框架;系統梳理深度學習在醫學圖像分析各個應用領域的國內外研究現狀;最后,總結深度學習方法應用于醫學圖像分析時面臨的挑戰與應對策略,而且對開放的醫學圖像分析深度學習研究方向進行展望.

1　醫學圖像分析特點

醫學圖像分析已廣泛應用于良惡性腫瘤、腦功能與精神障礙、心腦血管疾病等重大疾病的臨床輔助篩查、診斷、分級、治療決策與引導、療效評估等方面.醫學圖像分類與識別、定位與檢測、組織器官與病灶分割是當前醫學圖像分析深度學習方法研究主要應用領域.不同成像原理的醫學圖像分析和計算機視覺領域中的自然圖像分析存在較大的差別.至今為止,國內外學者主要針對MRI、CT、X射線、超聲、PET、病理光學顯微鏡等不同成像原理的醫學圖像分析任務開展了一系列的深度學習研究工作,因此,本節主要概述這幾種醫學圖像及其主要分析任務.

1.1　常用醫學圖像特點

1)X射線圖像:自德國物理學家倫琴于1895年發現X射線以來,X射線圖像用于臨床診斷已有100多年的歷史.醫學X射線圖像是人體不同組織器官和病灶的電子密度度量影像.基于X射線的成像包括2D的計算機放射成像、數字化X射線攝影術、數字減影血管造影術和乳房X線攝影術,以及3D的螺旋計算機斷層掃描術等,已廣泛地應用于骨科[38?39]、肺部、乳腺和心血管[40]等臨床疾病檢測和輔助診斷,但2Dx射線圖像不能提供人體組織器官和病灶的三維立體信息,2Dx射線圖像中各組織器官和病灶信息重疊,自動識別比較困難.

2)CT圖像:計算機斷層掃描(CT)利用精確準直的X射線束對人體某部位一定厚度的斷面進行照射掃描,并由與射線線束一起旋轉的探測器接收透射穿過該斷面的X射線,最后,計算機根據探測器接收到的X射線信號數據重建相應人體斷面的3D圖像.CT圖像具有亞毫米級的空間分辨率,能夠提供清晰的人體骨性組織解剖結構和病灶影像,已廣泛應用于多種臨床疾病檢查和輔助診斷.CT圖像還能提供腫瘤放療計劃劑量計算所必需的組織和病灶電子密度信息,能夠為腫瘤放療提供更準確的靶區和危及器官定位和邊界信息,是腫瘤臨床放療的基本圖像[41].但CT圖像不能提供清晰的軟組織和病灶影像,因此,高精度的軟組織器官和腫瘤CT圖像分類識別、檢測、定位和分割非常困難.

3)MRI圖像:核磁共振圖像(MRI)是人體組織器官和病灶中的氫原子核在外部強磁場作用下產生的磁共振信號大小的度量,并通過計算機對體外核磁共振信號探測器接收到的信息數據進行3D圖像重建.MRI具有亞毫米級的空間分辨率,能夠提供非常清晰的人體軟組織解剖結構和病灶影像.功能核磁共振圖像(Functional MRI,fMRI)和各種增強劑顯像MRI可提供組織生理、病理和生物化學信息.動態對比度增強(Dynamic contrast-enhanced,DCE)MRI具有非侵入方式評價整個腫瘤區域的能力,已應用于腫瘤學相關領域[42].特別是將DCE MRI與核磁共振彌散加權成像(Diffusion-weighted MRI,DW MRI)相結合,能夠區分復雜的頭頸部內不同區域的腫瘤[43].T1W、T2W、DCE、fMRI、DWI、磁共振血管成像、磁共振波譜成像等多種MRI影像增強技術使MRI比CT能更好地可視化、更精確地定位和區分腫瘤和正常軟組織器官.但MRI一般不能提供骨性組織解剖結構影像,組織器官之間的空隙容易導致偽影,且難以避免和校正.外部磁場的變化也會產生難以校正的偽影.各種不同的成像序列使MRI圖像的自動分析更加復雜和困難.

4)PET圖像:正電子發射斷層掃描(PET)利用F18等放射性元素標記的示蹤劑(如F18脫氧葡萄糖)衰變時發射的正電子信息成像,因此,PET圖像是相應示蹤劑放射性活度的度量,能提供腫瘤生物學特性(如葡萄糖代謝、乏氧、增殖等)信息,其標準攝入值大小可用于臨床輔助判別腫瘤良、惡性[44].PET能提供比CT、MRI更直觀、更精確的可視化生物學與放射(抗輻射)生物學特性信息,目前已廣泛用于惡性腫瘤臨床診斷與轉移檢查、放療靶區定位與勾畫和腫瘤生物調強放療計劃設計評估.PET圖像還常用于心、腦功能與疾病的輔助診斷與評估.然而,PET圖像通常缺乏組織器官的解剖結構影像,而且目前臨床PET系統的空間分辨率遠低于CT和MRI系統,一般只有3～5毫米,部分容器效應大、噪聲強,因此,PET圖像自動分析更具挑戰性.

5)超聲成像:利用超聲束掃描人體,通過對反射信號的接收、處理,以獲得體內器官的圖像.近年來,超聲成像技術不斷發展,出現了3D彩超、超聲全息攝影、體腔內超聲成像、彩色多普勒成像及超聲生物顯微鏡等新的超聲成像技術.目前超聲成像應用非常廣泛,已成為臨床婦產科、眼科及心血管等部位多種疾病診斷的首選方法,常用來鑒別胎兒發育是否正常,判斷內臟器官的形態是否有異常,確定病灶的范圍和物理性質[45?46].

6)病理圖像:是指切取一定大小的病變組織,采用蘇木精和曙紅(H＆E)等染色方法將切片組織做成病理玻片,然后用顯微鏡成像技術對微觀的細胞和腺體成像.通過對病理圖像進行分析,可探討病變產生的原因、發病機理、病變的發生發展過程,從而做出病理診斷.最近出現的數字全掃描儀能夠獲得細胞核方向,紋理,形狀,結構等腫瘤空間信息,允許對切片組織形態進行量化分析.而識別這些量化特征的先決條件是需要檢測和分割細胞核和腺體等組織學基元[32].

目前,臨床醫學圖像分析深度學習研究對象并不限于前述6類醫學圖像,還包括裂隙燈成像[47]、視網膜圖像[48]以及皮膚鏡圖像[49]等.

1.2　主要醫學圖像分析任務

1)醫學圖像分類與識別

臨床醫生常需要借助醫學圖像來輔助診斷人體內是否有病灶,并對病灶的輕重程度進行量化分級,因此自動識別圖像中的病灶區域和正常組織器官是醫學圖像分析的基本任務.

2)醫學圖像定位與檢測

人體組織器官解剖結構和病灶區域的定位是臨床治療計劃和干預流程中非常重要的預處理步驟,定位的精度直接影響治療的效果[37].圖像目標定位任務不僅需要識別圖像中的特定目標,而且需要確定其具體的物理位置.圖像目標檢測任務則需要把圖像中所有目標識別出來,且確定它們的物理位置和類別.

3)醫學圖像分割任務

圖像分割是識別圖像中感興趣的目標區域(如腫瘤)內部體素及其外輪廓,它是臨床手術圖像導航和圖像引導腫瘤放療的關鍵任務.

復雜的醫學圖像分析任務常常需要綜合進行分類、檢測與分割,如在文獻[50]中,為了進行診斷乳房X射線圖像中病灶的良/惡性,先后進行了病灶檢測、病灶分割、病灶分類.由病理學圖像分析判斷癌癥嚴重程度時,需要首先檢測、分割細胞核,然后基于分割結果進行特征和統計分析,最后分類得到分級結果.

2　深度學習模型

本節論述常用的深度學習模型,包括棧式自編碼器(SAE)、深度信念網絡(DBN)、深度玻爾茲曼機(DBM)、卷積神經網絡(CNNs)和循環神經網絡(RNN).重點論述如何通過各種模型從訓練樣本數據中學習多層次的圖像特征.

2.1　無監督特征學習模型與網絡微調

2.1.1　SAE

自動編碼機(Autoencoder,AE)是特殊的兩層神經網絡[51],如圖1(a)所示,若AE的輸入x=[x1,x2,···,xn]T,隱層h=[h1,h2,···,hm]T,輸出,編碼過程是從x到h的映射,一般采用非線性激活函數計算潛在特征表示:

解碼過程是從隱層h到輸出x′的映射:

其中,σ(x)=1/(1+exp(?x)),為sigmoid函數.Wx,h是輸入 xx 與隱層h的連接權值矩陣,而 bx,h為該連接的偏置量.Wh,x′是隱層h與輸出x′的連接權值矩陣,而bh,x′為此連接的偏置量.權值矩陣Wx,h,Wh,x′以及偏置量 bx,h,bh,x′通過求解最小化均方誤差函數J得到最優值:

Wh,x′通常為AE通過最小化網絡的輸入和輸出值之間的重建誤差學習輸入數據的潛在特征或壓縮表示.典型地,m＜n,這樣,數據被投影到代表輸入主要潛在結構的低維子空間中,達到維數約簡的效果.

圖1　自動編碼機及棧式自編碼神經網絡Fig.1　Autoencoder and stacked autoencoder

單層AE是簡單的淺層結構,其表示能力非常有限.SAE是由多層AE組成的神經網絡,前一層AE的輸出作為其后一層AE的輸入,層與層之間采用全連接形式,如圖1(b)所示.SAE通過自動編碼–解碼網絡從像素級數據中抽取輸入圖像特征,從而提高模型的表示能力,已廣泛應用于維數約簡和特征學習.數據樣本不僅是SAE的輸入,同時還作為SAE的輸出目標,因而可檢測SAE中間層學到的特征是否符合要求.若對SAE中的各層加以稀疏性約束,可構成棧式稀疏自編碼器(Stacked sparsely autoencoder,SSAE),使模型具有一定的抗噪能力,且模型泛化性更好[52?53].當輸入向量用SSAE表示時,不同網絡層表示不同層次的特征,即網絡的較低層表示簡單的模式,網絡的較高層表示輸入向量中更復雜抽象的本質模式.

2.1.2　基于RBM的深度模型

RBM是具有一個可視層和一個隱層的無向圖模型[54].它假設可視層和隱層之間是對稱連接的,但層內結點之間不存在任何連接.給定輸入向量,可以得到潛在特征表示,反之亦然.因此,RBM是一個生成模型,可以從訓練數據分布中采樣生成新數據.圖2(a)是一個RBM模型,可視層包含了m個可視結點v=[v1,v2,···,vm]T,隱層包含n個隱藏結點h=[h1,h2,···,hn]T. 模型參數θ=(W,b,c),其中,W是一個m×n的矩陣,表示可視結點與隱層結點之間的連接權值;b=[b1,b2,···,bm]T,是可視層對應的偏置值;c=[c1,c2,···,cn]T,是隱層對應的偏置值.

圖2　受限玻爾茲曼機RBM及基于RBM的深度網絡Fig.2Restricted Boltzmann machine(RBM)and deep networks based RBM

若可視層和隱層結點服從伯努利分布,狀態(v,h)的能量函數可定義為

可視結點與隱層結點的聯合分布p(v,h)可由能量函數E(v,h)給出:

模型的條件概率為

由于連接的對稱性,可從隱層表示生成輸入觀察,因此,RBM本質上是一個AE.模型參數通過最大化觀察與輸入的相似性進行優化,通常采用對比散度算法(Contrastive divergence,CD)訓練[56].RBM有嚴謹數學框架,可以輸出概率,用于解決分類問題.

將RBM 視作搭建深度網絡的基本模塊,可以構建出兩種常用深度特征學習網絡:DBN和DBM.

1)DBN由Hinton等在2006年提出,該模型將多個RBM堆疊起來,構建出深度框架,從而產生單個概率模型[7?8].DBN包含一個可視層v和一系列隱層h1,···,hL,靠近可視層的部分隱層使用貝葉斯置信網絡,形成有向生成模型,這些層的概率分布計算不依賴于高層,如h1層僅依賴于可視層v而不需考慮h2層,從而加快了計算速度.而最上面兩層仍保持RBM無向生成模型的形式,如圖2(b)[55].

2)DBM也是以層次方式堆疊多個RBM的深度網絡,與上述DBN不同的是,DBM中所有層保持無向生成模型的形式.如圖2(c),DBM包含輸入層和L個隱層[55],且只有相鄰層結點之間才有連接.DBM中間隱層的條件概率分布計算同時利用了其相鄰兩層信息,如DBM 第l隱層(除第1隱層)的條件概率依據第l+1隱層和第l?1隱層的聯合信息來計算,即p(hl|hl+1,hl?1),使DBM對有噪輸入具有更加健壯的表示能力.

2.1.3　無監督學習與網絡微調

從訓練角度來看,前述SAE、DBN和DBM三種深度模型中,SAE通過重構誤差來進行訓練,較后兩者更容易學習,因而常用來代替RBM構建深度結構.三者形式上有所不同,但存在相通之處.首先,由于RBM連接的對稱性,可從隱層特征生成輸入觀察,因而,RBM本質上是一個自動編碼器.其次,這三種深度模型都是以基本模塊(RBM或AE)逐層堆疊構成,通常采用Hinton提出的貪婪逐層訓練方法[7?8,55].貪婪層次學習的關鍵思想是每次只預訓練一層網絡,即首先用訓練樣本數據輸入訓練第1隱層的參數,然后用第1隱層的輸出作為第2隱層的輸入,訓練第2隱層的參數,以此類推,第l層的輸出作為第l+1層的輸入以訓練第l+1層參數.這種預訓練技術以無監督的方式學習,可利用未標記的樣本作為訓練數據集.最后,它們都是生成模型,當它們從數據中學習特征表示時,并未涉及到與分類任務對應的離散標簽值或連續實數目標值,因而學習到的特征不保證具有區分性的.為了解決這個問題,通常在非監督特征學習之后進行微調處理(Fine-tuning).

對特定的分類或回歸任務而言,將SAE、DBN或DBM的最高隱藏層的輸出(即最高層特征)作為分類器的輸入,預測輸入的目標值,構建特征學習深層神經網絡預測模型[33].為了微調深度神經網絡的參數,首先將預訓練得到的各隱層參數作為有監督學習網絡的初始值,隨機初始化最高隱層和輸出層的連接權值,然后利用標簽數據,以監督方式通過梯度下降和BP算法聯合訓練所有參數,對網絡參數進行調整.經驗證明,通過預訓練初始化參數有助于監督優化,減少陷入局部最優的風險[7,57].

這三種深度模型可以學習潛在的本質特征,從大量無標簽的信息數據中學習高層次的特征表達,結合標簽數據對模型參數進行微調,從而進一步達到期望的分類結果.同時,這種自底而上的生成結構能夠自頂向下地反饋誤差,可減少網絡前饋傳遞造成的誤差,更魯棒地處理輸入數據.但是,它們要求網絡的輸入通常為向量形式,而對于醫學圖像,像素或體素的鄰域結構信息是一個重要的信息源,向量化必然會破壞圖像中的鄰域結構關系.

2.2　監督學習模型

2.2.1　CNN

為更好利用空間結構信息,1989年LeCun提出了CNN[6].CNN可接受2D或3D圖像塊作為輸入,適于捕獲視覺的局部信息.CNN通常由多個交替出現的卷積層和池化(Pooling)層,以及末端的全連接層構成多層次人工神經網絡,如圖3所示.其中,卷積層具有固定的輸入大小,感受局部區域上下文信息,具有權值共享和下采樣的特點,同時具有一定程度的位移、尺度和形變不變性,大大減少了模型的自由度[6,9].

圖3　卷積神經網絡框架[9]Fig.3Architecture of convolutional neural network[9]

與傳統固定卷積算子不同的是,卷積層的卷積核通過學習得到.卷積層通常采用多個卷積核,用于提取多個特征映射.設學習核表示第l?1層的特征映射i與第l層特征映射j之間的連接權值,卷積層的作用是利用核在輸入不同位置檢測局部特征.

其中,?表示卷積操作,是偏置值,f(·)是非線性激活函數.具體來說,卷積層l中第j個特征映射依據其鄰接較低l?1層的特征映射來計算,Ml?1表示第l?1層的特征映射數目.

池化層在卷積層之后,對卷積層的特征映射進行子采樣.具體來說,池化層特征映射中的每個結點特征值是基于對應卷積特征映射的局部感受野計算,在感受野結點范圍內找到一個代表值,如最大值或平均值.通常,池化層中感受野的步長與子采樣感受野的大小相等,這樣有助于CNN保持平移不變性[33].

在卷積網絡的末端,通常是可作為分類的全連接層.與SAE和DBN的逐層訓練相反,CNN通常以完全監督的方式端到端地訓練.CNN在本質上是一種輸入到輸出的映射,通過學習使網絡具有輸入到輸出的映射能力.通常,CNN網絡參數的訓練算法與傳統BP算法相似,通過前向傳播計算輸出值,然后將輸出值與理想標簽值的誤差,通過梯度下降法對最小化誤差問題尋優,再利用反向傳播梯度調整CNN的參數.

2.2.2　RNN

RNN是一種具有反饋連接的循環神經網絡,其本質屬性是網絡的狀態會隨時間演化,適用于提取數據的時序特征[18].RNN在給定序列x1,x2,···,xT的情況下學習時序特征.在某時間t隱層神經元狀態ht由輸入xt和前一狀態ht?1確定:

W表示隱層神經元與輸入結點的連接權值矩陣,而R表示隱層神經元之間的連接權值矩陣,θ=(W,R,b).對于分類任務,通常在其后加全連接層和softmax分類層,將序列映射到特定類別標簽[37].

因為梯度需要從輸出通過時間反向傳播及RNN自身的深度特性,因而會有學習中存在梯度消失或爆炸的問題[58].1997年由Hochreiter等提出的長短時記憶神經網絡LSTM可解決這一問題[59].LSTM模塊由門控函數組成,每個門受輸入權值矩陣和前一個隱藏狀態權值矩陣的控制.模塊的核心是一個存儲單元c,可存儲模塊的輸出并作為下一時刻的狀態.

3　基于深度學習的醫學圖像分析

近幾年,深度學習方法不僅僅在以自然圖像為分析處理對象的計算機視覺任務中展示了卓越的性能,同時,也在醫學圖像領域取得了突破性進展.目前,本領域學者大多利用深度CNN做分類研究,主要用于醫學圖像病灶識別、檢測和分割等醫學圖像分析任務.在2016年IEEE Trans on Medical Imaging深度學習專刊出版的18篇論文中,有14篇是深度CNN及其改進方法[34].本節首先歸納計算機視覺和醫學圖像分析中深度CNN分類、分割框架,然后,總結深度學習在醫學圖像分類、檢測、分割等應用領域的國內外研究現狀.

3.1　 計算機視覺中的深度CNN

1998年,LeCun提出LeNet,并成功應用于手寫數字識別[9].隨著ReLU和Dropout的提出,以及GPU和大數據帶來的歷史機遇,CNN在2012年迎來了歷史突破,AlexNet網絡結構獲得了當年的ImageNet圖像分類競賽冠軍[60].Farabet等率先引入多尺度(Multi-scale)和多處理流(Multi-stream)思想,利用多個卷積神經網絡流程分別處理輸入圖像金字塔的不同尺度信息,提取多層次特征,使模型具有強大捕獲紋理、形狀和上下文信息的能力[61].2014年提出的VGG框架與AlexNet相似,但采用小卷積核實現更深的網絡,利用多尺度融合進一步提升準確率[62].針對CNN經典結構要求固定尺寸的輸入圖像而可能導致損失信息的問題,He等利用空間金字塔池化(Spatial pyramid pooling,SPP)深度網絡模型,SPP接受任意大小的輸入圖像,輸出等長的特征表示,同時,SPP結構增強了形變的魯棒性[63].2013年底,Lin等提出Network in network(NIN)結構,采用微神經網絡MLP代替卷積層中的線性濾波器,在分類層使用全局均值池化取代全連接層減少過擬合風險[64].在NIN的基礎上,Google提出了Inception結構,將不同大小的卷積核輸出與3×3的池化層輸出級聯起來,增加了網絡的寬度和尺度的適應性,同時,應用1×1的卷積來減少特征映射的維度.Google將多個Inception結構串聯起來,搭建了一個22層的深度網絡,即GoogLeNet,獲ImageNet ILSVRC-2014分類和檢測任務的冠軍[65].2015年,Inception結構變得更深,原有的5×5卷積核拆成兩層3×3的卷積核,并加入1×n和n×1的卷積核.同時,He等發現,單純增加深度會導致網絡退化,為此提出殘差網絡ResNet,允許模型中存在跳轉連接(Shortcut),成功訓練了深達152層的網絡,是2015年ImageNet ILSVRC不依賴外部數據的圖像檢測與圖像分類競賽的雙料冠軍.

近兩年,深度卷積網絡朝著更深、更準確方向發展的同時,也有不少工作朝著網絡更簡化、更靈活、更有效地訓練方面努力.Google進一步地將Inception結構與Residual net結合,提出了Inceptionresidual net結構.實驗表明,采用Inception V4結構的性能與ResNet相當,但訓練時間減半,收斂更快[66?67].Long等提出全卷積網絡(Fully convolutional network,FCN)進行像素級分類,避免了圖像塊之間的重疊而導致重復卷積計算的問題[68].Zagoruyko等提出了寬度殘差網絡(Wide residual networks,WRNs),通過增加寬度來提高性能,且在參數數量相當的情況下,WRNs比深度ResNet好訓練.實驗表明16層WRNs網絡在精度和效率上達到、甚至優于上千層的ResNet網絡[69].Huang等提出了密集連接卷積神經網絡DenseNet,在該網絡中,任何兩層之間都有直接的連接.DenseNet有效地緩解梯度消失問題,強化了特征傳播,支持特征重用,并大幅度降低網絡參數數量,可以更有效地訓練[70].Chen等提出了一種結合ResNet和DenseNet優勢的新型卷積網絡結構DPN(Dual path networks),該網絡通過殘差旁支通路再利用特征和密集連接通路探索新特征[71].而Iandola等則致力于簡化網絡結構和減少網絡參數,提出了全新的網絡結構SqueezeNet,該網絡僅需1/50的AlexNet參數量即可達到了AlexNet相同的精度[72].

上述網絡框架中卷積核的幾何形狀是固定的,對模型幾何變換的模擬能力受限.Dai等提出了形變卷積網絡DCNN,利用形變卷積(Deformable convolution)和形變感興趣區池化(Deformable ROI pooling)來增強網絡對于幾何變換的建模能力.該方法用帶偏移的采樣代替原來的固定位置采樣,且偏移量是可以通過學習得到,并不需要額外的監督[73].

2017年ILSVRC圖像分類任務冠軍團隊WWW 提出的SENet(Squeeze-and-excitation networks)模型,錯誤率已經低至2.251%,遠遠低于5.1%的人眼辨識錯誤率[74].

近兩年,中國團隊在計算機視挑戰賽中表現出色.商湯科技和香港中文團隊、公安部三所、海康威視分別獲得2016年ILSVRC物體檢測、物體定位、場景分類冠軍[75].而南京信息工程大學和帝國理工學院組成的BDAT團隊、新加坡國立大學與奇虎360合作團隊(DET)分別拿下2017年ILSVRC2017物體檢測(識別)、物體定位冠軍[76].這些團隊大都采用了多種網絡整合的復合性網絡,如(DET)提出采用基于DPN和基本聚合的深度學習模型,在兩類分類定位任務中表現出色,均取得了最低的定位錯誤率,分別為0.062263和0.061941,刷新了世界紀錄.復旦大學Li Heng-Duo(Henry)使用具有軟非最大抑制功能的可形變區域FCN和ImageNet預訓練的ResNet?50,獲得了2017年第2屆Nexar挑戰賽冠軍[77?78].

表1列出了計算機視覺分類任務的CNN經典框架.從表1可看出,基于CNN的深度學習模型展示了非常卓越的性能.從CNN框架的演化過程來看,CNN朝著更深、更準確方向發展的同時,也有不少工作朝著網絡更簡化、更靈活、更有效地訓練方面努力,目標是得到更好的特征表示、減少計算復雜度和內存消耗.這些高效網絡拓撲結構不斷融合新思想:一方面,卷積核趨于小尺度,網絡層次加深,保證足夠的感受野;另一方面,為了突破其固定感受野的局限性,引入多尺度和多處理流思想,采用多尺度卷積核形成Inception結構,跳轉連接提供了多尺度信息的融合,而形變卷積可以增強網絡對于幾何變換的建模能力.

表1　基于CNN的計算機視覺分類任務經典框架Table 1　Classical CNN frameworks for computer vision classi fi cation tasks

3.2　醫學圖像分析中的深度CNN

醫學圖像分類、定位與檢測和分割是醫學圖像分析的三大基本任務.CNN在醫學圖像分析中的基本應用是基于圖像塊(Patch)的滑窗圖像分類[9,79].而全卷積網絡(Fully convolutional network,FCN)[68]為實現圖像語義分割提供了非常好的解決方案.

Sermanet等采用對包圍盒進行預測的方式工作,實現了一個基于CNN的分類,定位和檢測綜合框架[80].該研究表明,目標定位與檢測任務可以在圖像分類的基礎上實現.醫學圖像分割問題是為圖像中的像素或體素指定具有生物學意義的標記,如解剖結構、組織類別或病灶,因而,可將分割問題轉化為分類問題,即對圖像中的像素或體素進行特征提取,然后基于特征將各個像(體)素分類.因此,定位、檢測和分割任務都可以在圖像分類的基礎上實現.

1)基于圖像塊的滑窗分類框架

CNN可直接應用于分類圖像中的每個像素或體素.典型的像素級分類處理是以滑窗方式處理,即以某個像素點為中心取一個圖像塊(或立方體塊)作為樣本訓練深度學習模型,使深度學習模型能夠提取到深層特征,然后基于特征訓練分類器.在測試階段,同樣地,以測試圖片的每個像素點為中心采樣一個圖像塊作為輸入,通過模型進行預測,輸出結果作為該像素點的分類值.基于深度學習的像素級分類方法早期主要采用這種方式.如Ciresan等采用深度CNN網絡作為像素分類器成功地在電子顯微鏡像中分割出生物神經膜[79]和在乳腺癌病理組織圖像中檢測有絲核分裂細胞[81].然而,這種逐像素取圖像塊進行分類的方法非常耗時,且相鄰圖像塊之間存在重疊、運算重復、效率低下,另外一個不足是受圖像塊大小固定的限制,無法建模較大的上下文信息,從而影響分類性能.為了對更多的上下文信息進行建模,一類方法是加深網絡層次,另一類方法是引入多尺度和多處理流的思想.He等提出的SPP與跳轉連接為構建多尺度和多通道處理流程的信息融合提供了可行方案[14].這種基于多尺度和多處理流的CNN框架,可以處理不同大小的感受野,有效地結合了局部和全局信息,從而有效地提高分類準確率[82?85].

2)FCN語義分割框架

針對滑窗式分類中因相鄰輸入圖像塊之間的重疊而導致重復卷積計算的問題,Long等提出了FCN進行像素級分類,高效解決語義級別的圖像分割問題[68].

與經典CNN提取固定長度的特征向量進行分類不同,FCN利用卷積和點積都是線性算子且可互換表示的特點,將全連接層轉換成卷積運算,可以接受任意尺寸的輸入圖像.圖4是FCN的網絡結構示意圖.

具體來講,FCN模型的訓練過程如下:首先,輸入圖像通過網絡模型從左至右地利用卷積層、池化層和相應激活函數進行前饋計算,逐層提取特征表示;使用1×1卷積層代替全連接層,并采用反卷積層對最后一個卷積層的特征圖進行上采樣,使它恢復到輸入圖像相同的尺寸,從而可以對每個像素都產生一個預測;然后,利用分割金標準,以監督方式通過反向傳播誤差,訓練調整網絡參數.FCN不需逐圖像塊計算過程,保留了原始輸入圖像中的空間信息,能夠在上采樣的特征圖上進行逐像素分類,即能夠進行像素到像素的語義分割.僅由最后特征圖直接上采樣得到的預測圖邊緣可能不光滑,需要將淺層特征和高層抽象特征相融合,然后再通過上采樣得到輸出.這種方式兼顧局部和全局信息,取得了非常好的分割效果.

圖4　全卷積網絡框架[68]Fig.4　Architecture of fully convolutional network[68]

最近提出的一些分割方法是在FCN的基礎上實現的.Ronneberger等在FCN思想基礎上,提出了U-net分割框架,U-net采用對等的上采樣和下采樣層,而且,對應卷積和反卷積層之間存在著跳轉連接,可以結合不同層的特征.與基于塊的CNN相比,U-net框架的優勢在于可以考慮整個圖像的上下文[86].另一個相似方法將U-net擴展到3D,使其更適合3D醫學圖像體素處理[87].Dou等提出了面向醫學圖像3D體數據分割框架DSN,該框架采用FCN進行密集性預測,并利用逆卷積層將各層特征上采樣到與輸入相同大小,有效地融合由粗而精的多尺度信息,同時,通過構建直接引導上下層訓練的目標函數,可進行端到端地3D深度監督學習,最后用條件隨機場方法(Conditional random fi eld,CRF)精化分割結果[88].Milletari等提出了一個專為3D醫學圖像分割而設計的改進型U-net,稱之為V-net,該模型采用3D卷積和基于分割衡量指標DICE系數作為目標函數,使之更適用于醫學圖像分割[89].

3.3　醫學圖像分類

3.3.1　圖像篩查

圖像篩查是深度學習在醫學圖像分析領域中的最早應用之一,是指將一個或多個檢查圖像作為輸入,通過訓練好的模型對其預測,輸出一個表示是否患某種疾病或嚴重程度分級的診斷變量[37].

圖像篩查屬于圖像級分類,用來解決此任務的深度學習模型最初關注于SAE、DBN及DBM網絡和非監督預訓練方法.研究主要集中在神經影像的分析上,如通過神經影像診斷是否患有老年癡呆癥(Alzheimer′s disease,AD)或輕度認識功能障礙(Mild cognitive impairment,MCI)[90?92]. 這些算法通常利用多模態圖像作為輸入,提取MRI、PET及CSF等模態中的互補特征信息.Suk等分別采用DBM和SAE從3D神經影像圖像塊中發現其潛在層次特征表達,構造AD/MCI診斷模型[90?91].這兩個方法都在ADNI數據集[93]上進行驗證,結果表明使用SAE比DBM的模型分類性能更好.在其他方面也有少量基于非監督模型的圖像分類研究,如Rahhal等采用SSAE以弱監督方式學習特征,對心電圖信號進行分類[94];Abdel-Zaher等先使用DBN無監督學習,再利用反饋式監督學習調整網絡,對Wisconsin乳腺癌數據集分類[95].

目前,CNN正逐漸成為圖像檢查分類中的標準技術,其應用非常廣泛.如Arevalo等提出了乳腺癌診斷的特征學習框架,采用CNN自動學習區分性特征,對乳房X線照片病變分類[96].Kooi等比較了傳統CAD中手動設計和自動CNN特征提取方法,兩者都在約4.5萬乳房X線圖像的大數據集上訓練,結果顯示CNN在低靈敏度下優于傳統CAD系統方法,且在高靈敏度下兩者相當[97].Spampinato等應用深度CNN自動評估骨骼骨齡[38].北京航天大學Xu等研究了在很少的人工標注情況下,利用深度CNN自動提取特征,結合多實例學習方法,對組織病理學圖像分類結腸癌[98].Gao等探討了影響CT腦圖像分類任務的深度學習技術應用的重要性,特別是利用CNN,旨在為AD早期診斷提供補充信息[99].Payan等[100]和Hosseiniasl等[101]則采用3D CNN對神經影像進行AD的診斷.另外,Abdi等應用CNN對超聲波心動圖心尖四腔切面對心動回波質量進行自動分級[102].Gao等通過融合兩個2D CNN提取超聲波心動圖的時域和空域信息特征,對超聲波心動圖進行視點分類,從而輔助診斷心臟病[103].

另外,還有一些工作將CNN與RNN結合起來,如Gao等利用CNN提取裂隙燈圖像中的低層局部特征信息,結合RNN進一步提取高層特征,對核性白內障進行分級[47].

3.3.2　目標或病灶分類

目標或病灶的檢測與分類可以輔助醫生對疾病進行診斷,如對乳腺病灶進行良惡性分類.其處理過程通常首先通過預處理方法識別或標記出的特定區域,然后再對特定區域進行目標或病灶分類.精確的分類不僅需要病灶外表的局部信息,而且還需結合其位置的全局上下文信息.

CNN框架在病灶分類中應用廣泛.Anthimopoulos等利用CNN設計了一個區分毛玻璃狀病變、蜂窩病變、鈣化和肺小結節等間質性肺病模式的多分類框架,準確率約85.5%[104].Kawahara等采用多處理流CNN對皮膚病灶分類,其中每個流程處理不同分辨率的圖像[105].Jiao等利用CNN提取不同層次的深度特征,提高了乳腺癌的分類準確率[106].Tajbakhsh等就CT圖像中檢測肺結節且區分良性和惡性肺結節的任務,比較了大規模訓練人工神經網絡(Massive-training arti fi cial neural networks,MTANNs)與CNN這兩種端到端訓練的人工神經網絡的性能,其實驗結果表明,只有使用較少訓練數據時,MTANN的性能明顯高于CNN[107].

另一方面,一些學者把CNN與其他基本模型結合起來實現分類.如Kallenberg結合CNN與SAE的特點,采用非監督預訓練卷積稀疏自動編碼機(Convolutional sparsely autocoder,CSAE)模型,實現乳腺密度分割和乳腺的風險評估[108].而Van等結合CNN的區分性與RBM的生成性特點,利用CRBM(Convolutional restricted boltzmann machines)對肺部CT進行分析[109].上海大學Zhang等構建點門限玻爾茲曼機和RBM的深度結構對剪切波彈性圖像提取特征,實現了更好的腫瘤良惡性分類性能,準確率達到93.4%[110].而Shi等利用新的深度多項式網絡對小樣本超聲數據集的腫瘤分類,在胸部和前列腺數據集的分類準確度分別為92.4%和90.28%,優于基于DBN和SAE的方法[45].

3.4　目標或病灶定位與檢測

準確地在醫學圖像中定位特定生物標記或解剖結構在臨床治療中具有非常重要的意義,直接關系到治療效果的好壞.醫學圖像定位常需要分析3D體素信息.為了使用經典深度學習算法進行3D數據處理,一些方法將3D空間看成2D正交面的組合,這樣可將定位任務轉換成為分類任務,利用通用深度學習框架進行處理.如Yang等結合三個正交方向CNN的信息識別股骨末端的標記,標記的3D位置定義為三個2D圖塊的交點[111].香港中文大學Chen等將FCN擴展到3D FCN,提出的基于3D FCN的定位和分割方法,在2015脊椎盤定位和分割挑戰賽中取得了非常好的成績[112].Vos等通過將3D CT體積解析成2D形式,識別目標3D矩形包圍盒,進而定位到感興趣的心臟、主動脈弧和下降主動脈等解剖區域[113].另外,LSTM 也用于處理包含在醫學視頻中的時間信息,如Kong等結合LSTM-RNN和CNN檢測心臟MRI視頻中的舒張末和收縮末[114].而Cai等采用深度CRBM以無監督方式提取和融合不同模態圖像特征,識別MR/CT圖像中脊椎[115?116].

圖像的感興趣目標區域(Region of interest,ROI)或病灶檢測是診斷的關鍵部分,在計算機輔助檢測系統中已有較長的研究歷史.通常設計成自動檢測病灶,用以提高檢測準確率或減少專家的讀片時間[37].實現過程分兩個步驟:在全圖像空間中進行定位ROI;在感興趣區進一步識別出小病灶區.

早在1995年,Lo等就提出了第一個利用RNN的目標檢測系統,該系統使用4層的CNN在X光圖像中檢測結節[117].Ciresan等采用深度CNN網絡作為像素分類器成功地在乳腺癌病理組織圖像中檢測有絲核分裂細胞[81].Sirinukunwattana等利用空間約束的CNN,結合鄰域集成預測器,有效地提高了在結腸癌病理圖像中檢測和分類細胞核的準確率[118].Li等提出了基于深層CNN分類的青光眼檢測方法[119].Roth等利用深度卷積神經網絡學習方法,提高了CT圖像目標檢測的準確性.他們的主要思想是用現有其他方法提取侯選ROI,然后基于深度卷積神經網絡學習目標隱含的高層次特征,并根據這些特征進行目標對象檢測和分割.他們分別在腹部CT圖像自動淋巴結檢測[120]、硬化轉移和結腸息肉檢測[121?122]等應用領域明顯提高了目標檢測精度.Wang等利用12層CNN網絡在乳房X光圖像中檢測乳房動脈鈣化,鈣質量定量分析結果表明,由此檢測結果推斷鈣質量接近于金標準,準確度達到了96.24%[123].Quellec等利用圖像級標簽監督訓練基于CNN的病變檢測器,使用靈敏度分析檢測在圖像級預測中起作用的像素,獲得圖像大小的熱點圖,通過在訓練ConvNets的同時增強熱點圖的稀疏性,避免熱點圖受到偽影的影響.該方案在Kaggle彩色眼底圖像檢測糖尿病性視網膜病變挑戰賽數據集上獲得了很好的成績[124].

圖像的感興趣目標或病灶檢測的關鍵是對每個像素進行分類.目前大多數基于深度學習目標檢測系統采用CNN執行像(體)素分類任務,之后采用某種形式的后處理方式得到目標.CNN框架和方法類似于第3.2節中討論的像(體)素級分類方法,需要結合被分類像(體)素的鄰域上下文或3D信息提高分類準確率,如使用多處理流CNN整合不同視角剖面信息[84]或多模態圖像數據[125].Albarqouni等采用多尺度CNN方案在乳腺癌病理圖像中檢測有絲分裂[126].香港中文大學Chen等利用多個2D深層特征近似表達3D醫學圖像的特征,結合SVM 分類器,實現敏感性加權圖像(Susceptibility weighted imaging,SWI)自動檢測腦微出血(Cerebral microbleeds,CMBs)[127].Dou等在文獻[127]基礎上改進,采用級聯3D CNN框架,充分利用MR中的空間上下文信息,提取更能代表CMBs的高級特征,該方法在具有320個MR圖像的大數據集上進行了廣泛的實驗驗證,實現了93.16%高靈敏度[128].該研究小組還用類似多級3D CNN框架在CT序列中檢測肺結節,在ISBI 2016舉辦的LUNA16挑戰賽中得到驗證,該算法在減少假陽性指標上取得了2016年的最高成績[129].van Grinsven等利用CNN提取特征,并采用正負樣本均衡策略,有效地實現了在眼底圖像中檢測出血[130].

有少量工作采用其他深度學習方法來實現感興趣目標或病灶檢測,如Shin等將SAE深度學習方法應用于MRI圖像上檢測腹部器官,先以非監督方式學習空間特征,然后基于“興趣點”進行多器官檢測[52].南京信息工程大學Xu等利用SSAE網絡學習深度特征,識別組織病理學圖像乳腺癌的細胞核,確定乳腺癌的分期[131].Masood等針對標記訓練數據不足的情況,提出基于結合DBN和SVM的半監督學習算法,對皮膚鏡黑色素瘤自動識別[132].與傳統CNN方法將原圖像作為輸入不同,Li采用Sobel邊緣輪廓特征和Gabor紋理特征作為輸入,利用CNN進行特征融合和深度特征提取,提高了C-armx射線圖像自動檢測腰椎準確率[39].

最近有研究還將基于CNN的方法應用到檢測和定位手術視頻中的工具.如Girshick等和Sarikaya等利用基于候選包圍盒檢測模型Faster R-CNN從機器人輔助手術視頻中定位和檢測自動化工具[133?134].Twinanda等設計了一個新CNN框架EndoNET自動地從膽囊切除視頻中學習視覺特征,同時實現手術階段(Phase)識別和術中多工具檢測任務[135].而Chen等提出了一個結合CNN和LSTM的方法,自動檢測超聲影像中多個標準平面,為實質性生物測量和診斷提供幫助[136].

3.5　醫學圖像分割

3.5.1　器官與組織分割

醫學圖像中器官及其子結構的分割可用于定量分析體積和形狀有關的臨床參數,如心臟的心室體積和收縮射出率.另一方面,在采用智能調強放療技術對腫瘤進行治療時,危及器官勾畫是制定放療計劃中非常重要的步驟之一.深度學習在此任務中應用非常廣泛,主要應用于:

1)組織病理學圖像和顯微鏡圖像分割

通過計算機提取來自手術和活檢組織標本的圖像特征可以幫助預測疾病侵襲性的程度,從而進行疾病診斷和分級.這些預測器的關鍵組成部分就是從組織病理圖像挖掘的圖像特征[32].

最近,深度學習方法已在組織病理學圖像分割中應用.目前大多數組織病理學圖像和顯微鏡圖像分割方法都是基于CNN的.許多學者利用圖塊訓練網絡取得了非常優秀的分割結果.Ciresan等率先將深度CNN應用于醫學圖像分割,他們以滑窗方式在電子顯微鏡圖像中分割出生物神經膜[79].Kumar等利用基于塊的CNN對H&E染色的病理學圖像進行細胞核分割[137].Xu等則采用遷移學習方法,利用ImageNet訓練深度CNN作為特征提取,在MICCAI 2014腦腫瘤數字病理挑戰賽中取得了97.5%的分類準確度和84%的分割準確度[138].Qaiser等利用CNN提取圖像塊特征,構建基于拓撲特征的持續同調分布,用于H&E染色的組織學圖像的自動腫瘤分割[139].

結合多分辨率和多處理流方法可以更好地結合上下文信息,提高分割準確性,如Song等采用自粗而精的多尺度CNN方法在宮頸癌病理圖像中分割細胞核[84,140].Fakhry提出的殘差反卷積網絡由兩個通路組成,捕獲全分辨率特征上下文信息,用于電子顯微圖像EM的分割,該方法采用端到端地訓練,提出的模型包括足夠的上下文信息,能夠實現像素級預測,是EM圖像中分割3D神經突觸開放挑戰賽的最好方法之一[141].香港中文大學的Chen等基于FCN的多級特征表示,提出了一個高效深度輪廓感知網絡DCAN,在MICCAI′2015舉行的結腸組織學圖像腺體分割挑戰賽中取得了冠軍[142].Xu等綜合FCN前景分割、DCAN邊緣檢測和基于包圍盒的目標檢測三個深度通道信息,在H&E病理圖像中進行腺體分割,且該框架可擴展應用到其他分割任務中[143].在MICCAI′2015結腸組織學圖像腺體分割挑戰賽中表現出色的方法大多是基于CNN或FCN.更多關于病理圖像細胞核及腺體分割的文獻,可參考綜述[32,144].

另外,Xie等使用空間RNN去分割H&E組織病理學圖像的肌束膜,該網絡考慮了當前圖像塊的行和列先驗.為結合左上角和右下角鄰域的雙向信息,RNN在不同方向應用4次,然后聯合輸入到全連接層,為單個圖塊產生最終輸出[145].

為了得到好的分割結果,有些工作將CNN分類的結果作為分割初始值,利用水平集等形變模型或稀疏形狀模型等精化細胞核分割結果[140,146].

2)腦組織和結構分割

若中樞神經系統發生病變,神經細胞的代謝紊亂,將使腦脊液(Cerebrospinal fl uid,CSF)的性狀和成分發生改變,因此,腦脊液的檢測成為重要的中樞神經系統受損輔助診斷手段之一.白質(White matter,WM)異常的相關疾病很多,包括多發性硬化癥、精神分裂癥、阿茲海默癥等,因此對中樞神經系統進行有效地分割出灰質(Grey matter,GM),WM和CSF是研究熱點之一.Zhang等將T1、T2和FA(Fractional anisotropy)三種模態圖像作為輸入,采用深度CNN網絡解決嬰兒GM、WM和CSF分割這一挑戰性任務,從而對嬰兒腦發育優劣程度作評估[147].Stollenga等為了利用GPU并列處理,將傳統的多維度MD-LSTM 重新排列成金字塔的方式,即PyraMid-LSTM,該模型在MRBrainS13數據集上的像素級腦部圖像分割成GM、WM 和CSF,取得了2015年比賽的最好效果[148].

在采用智能調強放療技術對腦腫瘤進行治療時,需要保護周圍重要腦組織和結構,因而正確地分割腦組織和結構有著重要的臨床意義.上海交通大學Cui等提出了一種基于圖像塊的方法使用CNN自動分割腦MRI,該方法從公共MRI數據集中抽取一部分圖像塊樣本訓練CNN,訓練好的CNN用于腦MRI的白質、丘腦,側腦室的分割,分割準確率達到了90%[149].還有一些學者采用多尺度方法,借助多CNN處理流程提高分割的準確率.如Choi等采用兩個CNN處理流程:全局CNN確定紋狀體的大致位置,局部CNN預測所有體素的標簽.該方法應用于腦結構的紋狀體分割,實驗表明其分割結果的平均DICE系數達到了0.893[83].Moeskops等采用多尺度CNN方法進行腦組織分割,該方法在8個組織分類上取得了好結果,在5個不同年齡段數據集(從嬰兒到中老年)上進行驗證,分割結果的DICE相似系數分別為0.87,0.82,0.84,0.86和0.91[150].

還有一些采用其他深度學習框架的分割方法,如Dolz等提出了基于SSAE深度學習方法在罹患腦癌情況下從MRI圖像中分割腦干[151].Mansoor等利用SAE從腦MRI序列中提取有助于區分對比度差區域的深度特征,如視束和病理部分,并提出了基于局部形狀和稀疏外觀的前視覺通路自動分割方法,該方法的魯棒性與手動分割相當[152].

最近的相關文獻采用FCN方法減少基于滑窗分類的冗余計算,如Shakeri等將FCN應用于腦皮層結構分割[153];Moeskops等訓練單個FCN分割腦MRI、分割胸MR中胸部肌肉,及在心臟CT血管造影圖像中分割冠狀動脈[154].

3)血管分割

深度學習還應用到非常有挑戰性的血管分割任務中.Nasr-Esfahani等采用基于圖像塊的CNN算法從X光血管造影圖像中提取血管[40].Wu提出識別血管結構的通用方法,使用CNN學習目標的外觀特征,然后,利用基于主成分分析的最近鄰搜索估計局部結構分布,進一步結合廣義概率跟蹤框架提取整個眼底血管連接樹[155].Liskowski提出一種基于監督的眼底血管分割技術,使用深層CNN神經網絡,采用預處理好的大樣本(高達400 000)訓練,ROC達到0.99,準確率達到0.97,網絡性能大大超過了先前的算法[156].山東大學Wang提出了一個綜合CNN和隨機森林的監督方法來解決視網膜血管病變分割的問題[157].在這些方法中,大多數是采用監督深度學習方法提取特征,再結合其他已有技術和分類器保證分割的準確性.與前述通過分類實現分割的研究不同的是,Li等將視網膜血管分割問題轉換為從視網膜圖像到血管映射圖的跨模態數據變換問題,采用深度AE學習視網膜圖像與血管映射圖之間的關系[158].

4)心臟心室分割

從心臟MRI數據中分割出左心室是計算心室體積和收縮射出率等臨床指標的重要步驟之一.Carneiro等采用基于DBN學習特征對左心室外觀建模,利用監督學習模型在心臟超聲波圖像中自動分割出左心室[46],而Avendi等采用SAE學習深度特征初步推斷左心室的形狀,再結合形變模型提高左心室分割的準確性和魯棒性[159].Ngo等結合DBN深度學習和水平集方法,從心臟MRI圖像自動分割出心臟左心室[160].Dou等提出的基于FCN的DSN框架及CRF精化方法在心臟及主動脈的分割性能達到了領先水平[88].Tan等通過CNN回歸方法得到左心室中心,利用兩尺度CNN網絡結合外輪廓之間的徑向距離等形狀先驗參數來分割左心室[161].Zhen等利用多尺度的CRBM進行無監督學習,然后利用標簽數據監督訓練回歸森林預測器,從MR圖像中可直接估計出雙心室體積[162].

深度學習還應用到其他方面,如Roth等利用深度卷積神經網絡學習方法,實現了腹部CT圖像胰腺全自動分割[163?164].Zilly等提出基于集合學習的CNN架構方法從視網膜圖像分割視盤[48].Guo等聯合SSAE模型深度特征學習和稀疏塊匹配的前列腺分割方法[165].Korez等使用3D FCN產生脊柱體相似度映射圖,驅動形變模型在MR圖像中分割脊柱體[166].Yang等利用CNN學習胸部X光照片的梯度與相應的骨骼圖像之間的映射,利用級聯CNN逐漸細化預測的骨骼梯度,最后將不同尺度的預測骨骼梯度融合到最大后驗框架中,以產生骨骼圖像的最終估計.該方法通過從原始X光照片中減去骨骼圖像的估計,從而起到抑制骨性結構影響的作用[85].

從深度學習應用框架來看,目前大多數圖像分割方法都是基于CNN的.許多學者利用基于圖像塊方式訓練網絡取得了很好的分割結果,相關應用實例可參見文獻[40,48,79,138?139,147,149,163?164].結合多分辨率和多處理流方法可以更好地結合上下文信息,提高分割準確性,相關應用實例可參見文獻[83,141,150].最近的文獻有很多使用FCN方法減少基于滑窗分類的冗余計算,且已擴展成3D FCN模型并應用到多目標分割中,相關的例子可見文獻[88,142,153?154,166].由FCN衍生出的U-net[86?87]以及針對3D圖像分割設計DSN[88]和V-net[89]在最近的圖像分割任務中表現出色.

有少量工作采用其他深度學習方法來實現,如采用SAE的方法有文獻[151,159,165],采用DBN的實例有文獻[46,160].另外,RNN在分割任務中越來越流行.例如,Xie等使用空間RNN考慮當前圖像塊的行和列先驗去分割H&E組織病理學圖像的肌束膜[145].多維遞歸神經網絡(MD-RNN),特別是采用LSTM的RNN,可以通過幾次掃掠所有像素接收空–頻信息,Stollenga等利用PyraMid-LSTM將腦部圖像分割成GM、WM和CSF,取得了2015年最好效果[148].Poudel等結合2D U-net框架和GRU-RNN,提出了遞歸全卷積網絡,從MRI圖像中分割心臟及左心室[167].

基于體素分割方法挑戰之一是存在假陽性,不能確保分割的結果在空間上是連通的,有可能存在孔洞或毛刺.為了解決這個問題,將深度學習方法與圖割[84]、MRF、CRF[168?169]和水平集方法[160]相結合可精化分割結果.在大多數情況下,圖模型作為標記的正規化子應用在CNN或FCN產生的相似性映射圖上,用以生成連貫的精化區域.Gao等提出了基于分割的標簽傳播方法,利用深度CNN進行分類,然后再結合CRF獲得了高精度結果[170].

3.5.2　病灶與腫瘤的分割

在對病灶或腫瘤進行任何治療之前,關鍵是準確地分割出病灶或腫瘤,確保在治療期間殺死腫瘤細胞的同時保護正常組織器官[151].為了得到準確分割,病灶與腫瘤分割通常需要結合多模態圖像信息以及全局與局部上下文信息,因此采用多模態圖像信息作為網絡模型輸入、不同尺度的多處理流網絡[82]、3D CNN[88]和非均勻采樣圖塊的策略[82,171].

為方便比較,我們梳理了近三年來采用腦腫瘤分割基準(Brain tumor image segmentation benchmark,BRATS)公共數據集[172]驗證的幾個具有代表性的優秀算法,如表2所示.這些算法都是基于CNN的方法,值得注意的是,Kamnitsas等采用全深度3D CNN網絡,利用多處理流網絡結合全局和局部上下文信息,在非常具有挑戰性的包括從多模態數據分割創傷性腦損傷、腦腫瘤和中風等病變分割任務中展現了出色的性能,特別是在腦腫瘤整體分割水平上已超過了專家的勾畫水平[168].

Yu等結合殘差網絡和全卷積網的特點,構造了深度殘差全卷積網絡(Fully convolutional residual network,FCRN),在皮膚鏡圖像中自動分割黑色素瘤,在ISBI2016挑戰賽中取得了第2名的成績[49].

在病灶分割中,也看到了U-net的應用及利用全局和局部的相似框架.如Wang等采用類似于U-net的結構,由相同的下采樣和上采樣通路,但沒有使用跳轉連接[173].另一個類似U-net的框架應用于分割多發性硬化病灶,但是使用了3D卷積,且第一個卷積層和最后一個反卷積層之間存在單個跳轉連接[171].

值得注意的是,圖像中大多數像(體)素是屬于正常組織,病灶分割的一大挑戰是類分布的非均衡性.有關類分布非均衡性的應對策略將在第4.2節討論.

4　挑戰與對策

深度學習是以數據驅動方式學習各級抽象特征,這些特征在很多應用領域表現了非常強大的特征表示能力和魯棒性.盡管深度學習在以自然圖像為分析處理對象的計算機視覺任務中展示了卓越的性能,但將深度學習方法成功應用到醫學圖像分析領域仍具有很大挑戰性,主要表現在以下幾個方面:

表2　腦瘤分割方法比較(使用BRATS數據集驗證)Table 2　Comparison of methods for brain tumor segmentation(validation on BRATS database)

1)自然光學圖像不僅空間分辨率、對比度比大多數醫學圖像高,而且還具有亮度、顏色、紋理等易于識別的許多自然視覺特征.而大多醫學圖像只有某種特殊信號的強度值,而且通常信噪比很低,因此,大多數醫學圖像中各組織器官解剖結構、病灶區域之間的分界線并不清晰,紋理差異也不大,同時還會因個體差異和成像原理不同而顯著不同,因此,醫學圖像分析比自然圖像分析更困難.

2)醫學圖像各種成像方法存在局限性,不同模態的醫學圖像數據僅能反映人體內部的特定解剖、功能信息,各有優缺點,且不同成像設備和圖像重建方法存在較大差異,臨床上通常需要同時使用多種不同成像原理和成像方法的醫學圖像進行輔助分析診斷,導致醫學圖像自動分析處理比自然圖像更復雜、更困難.

3)目前計算機視覺中的很多分類任務是圖像級的,而醫學圖像不僅僅用于圖像級的疾病篩查,而且用于像素、體素級的治療計劃制定.如腫瘤調強放射治療計劃要求對腫瘤和危及的正常組織器官進行精確檢測、識別、定位,并從CT、MRI、PET等醫學圖像中高精度地分割出腫瘤放療靶區及其周圍正常組織器官.而且異常病灶區域(腫瘤)非常復雜,其出現的位置、大小、形狀個體差異很大,因而異常病灶區檢測、識別和分割比正常組織器官更具挑戰性,醫學圖像分析比自然圖像分析計算復雜度更大,許多計算機視覺中的深度學習算法不能直接用于醫學圖像分析.

4)自然圖像分類任務中,業界已經建立了帶有人工標注的超大規模的學習訓練樣本數據集,如MNIST、CIFAR、ImageNet,而應用深度學習進行醫學影像分析時,獲取大規模的學習訓練樣本數據集非常困難,特別對病灶樣本數據集,因為其變化很大,且需要臨床專家標注,因此,可用的標注數據規模相對很小[31,35,47].但是,異常的病灶檢測、識別和分割具有重要的臨床應用價值,比如自動篩查、自動診斷以及自動制定治療計劃.

5)獲得大規模醫學數據分析標注樣本數據困難.a)它很難獲得資金資助用于建設數據集;b)需要稀缺和昂貴的醫療專家對高質量的醫學圖像數據進行標注;c)醫學圖像大多位于醫院封閉私有的數據庫中,隱私保護條例可能會阻礙這些數據的訪問,使得共享醫療數據比共享自然圖像更難[34];d)醫學圖像分析的應用很廣,需要收集許多不同的數據集.

為了提高特征表示能力和分類準確率,需要足夠多的醫學圖像訓練樣本數據.當樣本數據量不足時該怎么處理？如何使用小規模的訓練樣本數據最有效？如何利用各模態互補信息和圖像空間上下文信息提高醫學圖像分類準確率？如何獲取大規模的醫學數據分析標注樣本數據?目前,主要的應對策略如下:

4.1　遷移學習與弱監督學習

CNN的主要潛力在于能夠在多層抽象中提取一系列區分性的特征.如前所述,深度CNN模型是監督學習模型,從零開始訓練CNN是一大挑戰.

1)CNN要求大量標記訓練樣本數據,醫學領域專家標注非常昂貴,有些病例(比如腫瘤)稀少;

2)要求大量的內存和計算資源,否則訓練過程將異常費時;

3)訓練深度CNN常會因過擬合和收斂問題而變得非常復雜,常需要重復調整框架或者網絡中的學習參數[34].

針對這一挑戰,采用遷移學習方法,借助自然圖像或來自不同醫學領域的數據集以監督方式預訓練CNN網絡.遷移學習有兩種典型使用策略:

1)使用預訓練網絡作為特征提取器.研究發現,盡管醫學圖像與自然圖像在成像原理和圖像外觀上有非常大的差異,用ImageNet訓練好的CNN模型仍可用于醫學圖像識別應用[177].如Bar等將預訓練網絡用作胸部病理學識別特征生成器[178?179].Ginneken等將CNN特征與手工特征結合起來,提高了結節檢測系統性能[180].

2)使用目標醫療數據微調預訓練網絡.將預訓練CNN作為監督學習網絡初始值,利用任務相關的有限標注數據集以監督方式對網絡參數進行微調,調整網絡中的幾個或全部層[181?182].Ciompi等采用自然圖像集ImageNET預先訓練的卷積神經網絡,用少量有標記CT數據序列進行有監督地學習精調網絡,可自動檢測肺裂周圍結節[183].Tajbakhsh等分析表明深度微調比淺層精調性能有所提高,且訓練集規模減少時使用精調網絡的重要性提高了[184].

兩種策略都已得到廣泛應用,前者的好處是不需要訓練所有深度網絡,方便將提取的特征替換插入到現有的醫學圖像分析流程中,但哪種策略效果最好目前尚未定論[37].

除了采用遷移學習,另一種策略是弱監督學習,有效結合無監督預訓練和監督學習的優點.雖然醫學圖像可用標注數據較少,但其本身的規模可能很大.可以充分利用未標注數據,采取預訓練技術,以非監督的方式來提取該類圖像的一般特征.然后將提取到的特征作為有監督學習的網絡初始值,利用標注數據訓練分類器.如Kallenberg等采用卷積稀疏自動編碼機(Convolutional sparsely autocoder,CSAE)進行乳腺密度分割和乳腺風險評估,CSAE和經典CNN的主要區別在于CSAE卷積層以SAE的非監督方式逐層預訓練[108].在獲得目標標注數據非常昂貴的情況下,利用多實例學習(Multiple instance learning,MIL)和深度學習相結合的方式也是一個可行替代方案,如Xu等研究了使用結合監督和非監督特征學習的MIL框架,結果表明基于MIL框架的性能優于手工特征,與完全監督方法性能接近[98].另外,有研究得到了一些有意思的結論,即采用非專業醫生完成標注工作,其效果不比醫學專家標注的差[185].Albarqouni等提出由非專業的眾包服務平臺來完成標注工作,或許是另一個可行解決方案[126].

4.2　正則化與均衡化

CNN訓練是多批次迭代優化網絡參數的過程,在每批次迭代中,從訓練數據隨機選擇樣本子集,輸入到網絡,并通過反向傳播更新其參數,以最小化目標函數.使用醫學圖像數據需要考慮以下兩個挑戰:

1)醫學成像設備和圖像重建方法差異.由于醫學圖像成像設備及圖像重建方法存在差異,可能會引起灰度不均勻和偏移場不一致的問題[186].雖然監督學習技術在使用標準化成像協議的有限實驗中表現出很大的潛力,但是可能在稍微不同的條件下獲取的新圖像上性能快速惡化.

針對以上問題,可考慮進行以下處理來削弱其不良影響:

a)批規范化:對訓練樣本中每個小批量樣本進行規范化,通過將其均值標準化為0,方差歸一化,避免梯度消失和梯度溢出,同時可以加速收斂,可作為一種正則化技術來提高網絡的泛化能力[187].

b)正則化:正則化是降低過擬合的有效策略,通過在模型代價函數中加入正則化項L1和L2,降低模型的復雜度,從而減少過擬合[82].

c)Dropout:在每次訓練迭代中,隨機將比例為p的部分神經元輸出設置為0(即解除部分結點的連接),Dropout是避免網絡過擬合的隨機正則化策略,同時也可看作隱式的模型集成[188].

2)樣本分布不均衡.醫學領域的分類任務通常需辨別正常組織器官與病灶區域.每個病例中各種組織類別的數據分布是非均衡的,而且正常組織器官類會被過度表示,且大多數正常組織器官訓練樣本是高度相關的,只有一部分正常組織器官樣本的信息量大.例如,腦腫瘤分割是一個高度數據不均衡問題,其中健康組織體素約占總體素的98%,剩余約2%的病理體素中,包括0.18%屬于骨疽,1.1%的水腫,0.12%的非強化腫瘤,0.38%的強化腫瘤[82].在學習過程中均等地對待這些數據會導致許多訓練迭代浪費在非信息樣本上,使得CNN訓練過程耗費不必要的時間,同時,這種以健康組織樣本主導的訓練,會導致訓練出的CNN模型存在問題.針對這個問題,van Grinsven等通過識別信息量大的正常樣本以及在訓練過程中動態選擇誤分類的負樣本,提高CNN的學習效率并減少了訓練時間[130].Havaei等提出采用兩次訓練策略,即初始時挑選所有類別等概率的圖像塊數據集進行訓練,然后,保持其他各層的核固定,僅在輸出層使用更能代表真實分布樣本進行重新訓練[82].通過這種方式,可以平衡應對所有類的多樣性,同時,輸出概率通過利用數據標簽的真實分布再訓練被校正.Brosch等調整了損耗函數,用加權敏感度和特異性的結合來定義,特異性的權值越大,使它對數據非均勻性越不敏感[171].還有一些方法通過在正樣本上進行數據增強處理來平衡數據[168,176].

4.3　融合多模態互補圖像信息和圖像空間上下文信息

由于醫學圖像成像的局限性,不同模態(成像原理)的醫學圖像數據僅能反映人體特定的信息,各有優缺點.如CT與MRI在骨組織與軟組織成像上互補,CT、MRI與PET在解剖成像與功能成像上互補.即使同一類成像,利用不同對比度增強方法得到的圖像也各有千秋.如不同的MRI模態產生不同類型的組織對比圖像,從而提供有價值的結構信息,使腫瘤及其亞臨床區域的診斷和分割成為可能.通常,T1圖像用于區分健康組織,而T2圖像對水腫區域敏感,在圖像上相應區域產生亮信號.在T1-Gd圖像中,腫瘤邊界可以容易地通過在活性細胞區域中積累的造影劑(釓離子)的信號亮度來區分腫瘤組織.在FLAIR圖像,水分子的信號被抑制,這有助于區分水腫區域腦脊髓液[189].聯合多模態醫學影像,利用不同影像的互補信息,可以提供清晰的功能和解剖結構信息,從而提高分析的準確性,因此大多分割算法是采用多模態醫學圖像作為輸入[147?149,174?175].

為了實現像素級的醫學圖像分類/分割,僅有被分類像素點本身的信息是遠遠不夠的,還需要結合鄰域像素,提供更好的上下文信息.大多數醫學圖像是3D信息,為了更好地考慮被分割體素上下文信息,除了加深CNN網絡層次、采用多尺度和多處理流CNN方法外,還需要考慮如何對3D信息建模的問題.目前有以下兩種不同的處理方式對3D信息建模:

1)將3D體信息近似轉換成2D圖像塊信息.以被分類體素為中心,取多個視角的2D剖面近似表達其3D鄰域上下文信息,借助2D卷積簡化計算,提高計算效率[120,175].將每個剖面視為一個信息源,借助多通道或多處理流方式整合所有剖面信息,提高分類準確率.如Roth等采用三個正交剖面輸入到CNN三通道中,檢測結腸息肉或可疑淋巴結[120].Setio等使用一個多處理流CNN框架對胸部CT感興趣點是否為結節分類,通過對感興趣點提取了多達9個不同方向的剖面圖像塊作為多處理流CNN的輸入,最后在全連接層合并這些特征,以獲得最終分類結果[190].

2)利用3D CNN來處理.以被分類體素為中心,提取其3D立方體塊,借助3D卷積提取特征.這種方法全面考慮3D鄰域信息,有助于提取更具區分性的特征,一般來說,分類準確率更高.缺點是參與運算的3D體素多,計算效率偏低[168].隨著計算速度的提高,3D CNN在近兩年得到了廣泛采用.如Nie等利用3D本身信息訓練3D CNN,用以評估重度膠質瘤病人生存率[191].

另外,通過與其他算法相結合,可以進一步提高分類/分割的準確性和精化分割區域邊界.如先采用超像素分割方法生成侯選區域ROI,再利用深度學習提取深度特征,可以減少搜索空間以提高計算效率,提高分類/分割準確性[84,120?121];結合深度學習和水平集方法,從心臟磁共振(MR)數據中自動準確地分割出的心臟左心室[160].

4.4　大規模的醫學數據分析標注樣本數據

一方面,醫學圖像領域的挑戰賽及大型公開數據集的出現對醫學圖像分析的發展有著極大的幫助.自2007年以來,MICCAI、ISBI和SPIE等醫學成像研討會組織挑戰賽數據集已經成為慣例,開放了大量用于基準研究的醫學數據集[34],收錄在網站http://www.grand-challenge.org/.使用這些公開基準數據集的明顯優勢在于其提供了任務和評估度量指標的精確定義,便于公平、標準化地比較各種算法的性能.在Kaggle近兩年組織的彩色眼底圖像糖尿病性視網膜病變檢測及分期[192]和MRI圖像分析測量心臟體積并導出射血量[193]的兩次競賽中,頂級競爭者都使用了CNN網絡.同時,國內也開始舉辦大型醫學圖像分析挑戰賽,如天池醫療AI大賽正在進行中,該大賽旨在用深度學習等AI方法在肺部CT中檢測肺小結節[194].預計使用更大的數據集進行挑戰的趨勢將會繼續,而深度學習將會在最佳解決方案中占主導地位.

另一方面,臨床醫學數據的收集為深度學習提供了另一個解決方案.在大多數西方醫院臨床中PACS(Picture archiving and communication systems)系統使用至少有十年,其中有上百萬的醫學圖像,且可數字化有效存取.而我國人口基數大,且縣級以上的大多醫院都陸續采用PACS系統,潛在可用的醫學圖像規模非常大.目前,多地陸續成立了醫療大數據中心及研究院.2016年,我國已經啟動國家重點研發計劃“精準醫學研究”專項項目,如中南大學信息安全與大數據研究院承擔的醫學大數據安全與隱私保護課題,可望在解決醫學圖像隱私問題的同時,為深度學習研究提供可用的醫療大數據.目前,我們項目組承擔的國家自然科學基金項目“腫瘤PET/CT/MRI紋理譜深度學習分析建模與智能放療應用”進展順利,通過與北京301醫院和湖南省腫瘤醫院合作,以臨床醫生勾畫的腫瘤放療靶區和危及器官信息作為參考金標準學習訓練樣本集,搭建了結合多尺度信息的3D CNN靶區分割框架,以39個鼻咽瘤病例PET/CT圖像數據進行訓練,用8例病例進行測試,初步實驗的DICE準確率為0.68.而以PET/MRI圖像數據進行訓練模型的準確率要比PET/CT好很多,以12個鼻咽瘤病例PET/MRI圖像數據進行訓練,用2例病例進行測試,實驗的DICE準確率達到了0.925,目前正廣泛收集更多病例進行驗證,有望獲得更有說服力的結果.

5　開放的研究方向

綜上所述,深度學習具有自動地從數據中學習深層次、更具鑒別性特征的能力,已應用于醫學圖像分析的多個研究領域,并取得了突破性進展.我們注意到,在大多數文獻中,使用深度學習相關方法展示了其領先水平的性能,這已由醫學圖像分析的若干計算挑戰賽結果證明;其次,云計算和多GPU高性能并行計算技術的發展,使得深度學習從海量的醫學圖像大數據中學習深層特征成為可能;最后,可公開訪問的相關醫學圖像數據庫的出現,如腦瘤MRI圖像BRATS[[173]數據集、老年癡呆癥神經圖像ADNI數據集[93]、缺血性中風ISLES數據集[195]及多個醫學圖像分割挑戰賽數據集,使得基于深度學習的分割算法能夠得到有效驗證[33,36].

從現有文獻梳理中可看出,目前代表領先水平的深度學習方法大多是使用監督學習的方式,特別是基于CNN的框架.前期的研究側重于預訓練CNN和將CNN用作特征提取器,可通過簡單下載這些預訓練網絡并將其直接方便地使用到任何醫學圖像分析中.而近兩年端到端訓練CNN成為醫學圖像分析的優先方法.然而,獲得用于監督學習的標注數據是深度學習方法應用于醫學數據分析的一大挑戰[31,35].在目前已標記訓練數據有限情況下,充分利用醫學圖像中的非標注圖像,結合非監督和監督學習的優點,進行弱監督和無監督學習將成為醫學圖像分析的一個重要發展方向.

另外,電子病歷和醫生專家的文本報告中包含了豐富的以自然語言描述的臨床診療信息,這些信息可作為圖像標記數據的補充.計算機視覺領域中的自然圖像字幕生成方法,結合RNN和CNN的文本和圖像分析,相信很快會應用于醫學圖像分析領域.

上述挑戰為醫學圖像分析領域的研究人員提供了巨大的機會,我們相信,通過深度學習算法的不斷改進,借助高性能并行計算技術的發展和日益改善的醫學圖像質量與不斷增長的醫學圖像標記樣本集,基于深度學習的醫學圖像分析將大有所為.

1 Bibault J E,Giraud P,Burgun A.Big data and machine learning in radiation oncology:state of the art and future prospects.Cancer Letters,2016,382(1):110?117

2 Suzuki K,Zhou L P,Wang Q.Machine learning in medical imaging.Pattern Recognition,2017,63:465?467

3 Hubel Dh,Wieselt N.Receptive fi elds of single neurones in the cat′s striate cortex.The Journal of Physiology,1959,148(3):574?591

4 Fukushima K,Miyake S,Itot.Neocognitron:a neural network model for a mechanism of visual pattern recognition.IEEE Transactions on Systems,Man,and Cybernetics,1983,SMC-13(5):826?834

5 Rumelhart D E,Hinton G E,Williams R J.Learning representations by back-propagating errors.Nature,1986,323(6088):533?536

6 LeCun Y,Boser B,Denker J S,Henderson D,Howard R E,Hubbard W,Jackel L D.Backpropagation applied to handwritten zip code recognition.Neural Computation,1989,1(4):541?551

7 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527?1554

8 Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks.Science,2006,313(5786):504?507

9 Lecun Y,Bottou L,Bengio Y,Haffner P.Gradient-based learning applied to document recognition.Proceedings of the IEEE,1998,86(11):2278?2324

10 Graves A,Schmidhuber J.Offline handwriting recognition with multidimensional recurrent neural networks.In:Proceedings of the 21st International Conference on Neural Information Processing Systems.British Columbia,Canada:Curran Associates Inc.,2012.545?552

11 Cire?san D C,Meier U,Gambardella L M,Schmidhuber J.Deep,Big,Simple neural nets for handwritten digit recognition.Neural Computation,2010,22(12):3207?3220

12 Graves A,Jaitly N.Towards end-to-end speech recognition with recurrent neural networks.In:Proceedings of the 31st International Conference on Machine Learning.Beijing,China:PMLR,2014.1764?1772

13 Hinton G,Deng L,Yu D,Dahl G E,Mohamed A R,Jaitly N,Senior A,Vanhoucke V,Nguyen P,Sainatht N,Kingsbury B.Deep neural networks for acoustic modeling in speech recognition:the shared views of four research groups.IEEE Signal Processing Magazine,2012,29(6):82?97

14 He K M,Zhangx Y,Ren S Q,Sun J.Deep residual learning for image recognition.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas,NV,USA:IEEE,2016.770?778

15 Sun Y,Wangx G,Tangx O.Deep learning face representation from predicting 10,000 classes.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.1891?1898

16 Mnih V,Kavukcuoglu K,Silver D,Rusu A A,Veness J,Bellemare M G,Graves A,Riedmiller M,Fidjeland A K,Ostrovski G,Petersen S,Beattie C,Sadik A,Antonoglou I,Kingh,Kumaran D,Wierstra D,Legg S,Hassabis D.Human-level control through deep reinforcement learning.Nature,2015,518(7540):529?533

17 Helping clinicians get patients from test to treatment,faster[Online],available:http://www.deepmind.com/health,March 14,2017.

18 Zhang Lei,Zhang Yi.Big data analysis by in fi nite deep neural networks.Journal of Computer Research and Development,2016,53(1):68?79(張蕾,章毅.大數據分析的無限深度神經網絡方法.計算機研究與發展,2016,53(1):68?79)

19 LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015,521(7553):436?444

20 Collobert R,Weston J.A uni fi ed architecture for natural language processing:deep neural networks with multitask learning.In:Proceedings of the 25th International Conference on Machine Learning(ICML).Helsinki,Finland:ACM,2008.160?167

21 Taigman Y,Yang M,Ranzato M,Wolf L.Deepface:closing the gap to human-level performance in face veri fi cation.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.1701?1708

22 Szegedy C,Toshev A,Erhan D.Deep neural networks for object detection.In:Proceedings of the 2013 Neural Information Processing Systems(NIPS).Lake Tahoe Nevada,USA:NIPS,2013.2553?2561

23 Russakovsky O,Deng J,Suh,Krause J,Satheesh S,Ma S,Huang Zh,Karpathy A,Khosla A,Bernstein M,Berg A C,Fei-Fei L.ImageNet large scale visual recognition challenge.International Journal of Computer Vision,2015,115(3):211?252

24 VOC 2012[Online],available:https://coursys.sfu.ca/2016sp-cmpt-733-g2/pages/voc2012,March 14,2017.

25 Mitos-atypi-14[Online],available:http://mitos-atypia-14.grand-challenge.org/,March 14,2017.

26 Schmidhuber J.Deep Learning in neural networks:an overview.Neural Networks,2015,61:85?117

27 Goodfellow I,Bengio Y,Courville A.Deep Learning.Massachusetts:MIT Press,2016.

28 Duan Yan-Jie,Lv Yi-Sheng,Zhang Jie,Zhao Xue-Liang,Wang Fei-Yue.Deep learning for control:the state of the art and prospects.Acta Automatica Sinica,2016,42(5):643?654(段艷杰,呂宜生,張杰,趙學亮,王飛躍.深度學習在控制領域的研究現狀與展望.自動化學報,2016,42(5):643?654)

29 Guan Hao,Xue Xiang-Yang,An Zhi-Yong.Advances on application of deep learning for video object tracking.Acta Automatica Sinica,2016,42(6):834?847(管皓,薛向陽,安志勇.深度學習在視頻目標跟蹤中的應用進展與展望.自動化學報,2016,42(6):834?847)

30 Luo Jian-Hao,Wu Jian-Xin.A Survey on fi ne-grained image categorization using deep convolutional features.Acta Automatica Sinica,2017,43(8):1306?1318(羅建豪,吳建鑫.基于深度卷積特征的細粒度圖像分類研究綜述.自動化學報,2017,43(8):1306?1318)

31 Wells III W M.Medical image analysis-past,present,and future.Medical Image Analysis,2016,33:4?6

32 Madabhushi A,Lee G.Image analysis and machine learning in digital pathology:challenges and opportunities.Medical Image Analysis,2016,33:170?175

33 Shen D G,Wu G R,Sukh I.Deep learning in medical image analysis.Annual Review of Biomedical Engineering,2017,19:221?248

34 Greenspanh,van Ginneken B,Summers R M.Deep learning in medical imaging:overview and future promise of an exciting new technique.IEEE Transactions on Medical Imaging,2016,35(5):1153?1159

35 Weese J,Lorenz C.Four challenges in medical image analysis from an industrial perspective.Medical Image Analysis,2016,33:44?49

36 Rueckert D,Glocker B,Kainz B.Learning clinically useful information from images:past,present and future.Medical Image Analysis,2016,33:13?18

37 Litjens G,Kooit,Bejnordi B E,Setio A A A,Ciompi F,Ghafoorian M,van der Laak J A W M,van Ginneken B,S′anchez C.A survey on deep learning in medical image analysis.Medical Image Analysis,2017,42(9):60?88

38 Spampinato C,Palazzo S,Giordano D,Aldinucci M,Leonardi R.Deep learning for automated skeletal bone age assessment inx-ray images.Medical Image Analysis,2016,36:41?51.

39 Li Y,Liang W,Zhang Y L,Anh B,Tan J D.Automatic lumbar vertebrae detection based on feature fusion deep learning for partial occluded C-armx-ray images.In:Proceedings of the 38th Annual International Conference of the Engineering in Medicine and Biology Society(EMBC).Orlando,FL,USA:IEEE,2016.647?650.

40 Nasr-Esfahani E,Samavi S,Karimi N,Soroushmehr S M R,Ward K,Jafari Mh,Felfeliyan B,Nallamothu B,Najarian K.Vessel extraction inx-ray angiograms using deep learning.In:Proceedings of the 38th International Conference of the Engineering in Medicine and Biology Society(EMBC).Orlando,FL,USA:IEEE,2016.643?646.

41 Dobbsh J,Parker R P.The respective roles of the simulator and computed tomography in radiotherapy planning:a review.Clinical Radiology,1984,35(6):433?439

42 Niessen W J.MR brain image analysis in dementia:from quantitative imaging biomarkers to ageing brain models and imaging genetics.Medical Image Analysis,2016,33:107?113

43 Powell C,Schmidt M,Borri M,Koh D M,Partridge M,Riddell A,Cookd G,Bhide S A,Nutting C M,Harrington K J,Newbold K L.Changes in functional imaging parameters following induction chemotherapy have important implications for individualised patient-based treatment regimens for advanced head and neck cancer.Radiotherapy and Oncology,2013,106(1):112?117

44 Bagci U,Udupa J K,Mendhiratta N,Foster B,Xu Z Y,Yao Jh,Chenx J,Mollura D J.Joint segmentation of anatomical and functional images:applications in quanti fi cation of lesions from PET,PET-CT,MRI-PET,and MRI-PET-CT images.Medical Image Analysis,2013,17(8):929?945

45 Shi J,Zhou S C,Liux,Zhang Q,Lu Mh,Wangt F.Stacked deep polynomial network based representation learning for tumor classi fi cation with small ultrasound image dataset.Neurocomputing,2016,194:87?94

46 Carneiro G,Nascimento J C,Freitas A.The segmentation of the left ventricle of the heart from ultrasound data using deep learning architectures and derivative-based search methods.IEEE Transactions on Image Processing,2012,21(3):968?982

47 Gaoxt,Lin S,Wongt Y.Automatic feature learning to grade nuclear cataracts based on deep learning.IEEE Transactions on Biomedical Engineering,2015,62(11):2693-2701

48 Zilly J,Buhmann J M,Mahapatra D.Glaucoma detection using entropy sampling and ensemble learning for automatic optic cup and disc segmentation.Computerized Medical Imaging and Graphics,2017,55:28?41

49 Yu L Q,Chenh,Dou Q,Qin J,Heng P A.Automated melanoma recognition in dermoscopy images via very deep residual networks.IEEE Transactions on Medical Imaging,2017,36(4):994?1004

50 Dhungel N,Carneiro G,Bradley A P.A deep learning approach for the analysis of masses in mammograms with minimal user intervention.Medical Image Analysis,2017,37:114?128

51 Bourlardh,Kamp Y.Auto-association by multilayer perceptrons and singular value decomposition.Biological Cybernetics,1988,59(4?5):291?294

52 Shinh C,Orton M R,Collins D J,Doran S J,Leach M O.Stacked autoencoders for unsupervised feature learning and multiple organ detection in a pilot study using 4D patient data.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1930?1943

53 Vincent P,Larochelleh,Lajoie I,Bengio Y,Manzagol P A.Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion.The Journal of Machine Learning Research,2010,11(12):3371?3408

54 Smolensky P.Information Processing in Dynamical Systems:Foundations of Harmony Theory.Massachusetts:MIT Press,1986.194?281

55 Salakhutdinov R,Hinton G.Deep Boltzmann machines.JournalofMachineLearningResearch,2009,5(2):1967?2006

56 Carreira-Perpinan M A,Hinton G E.On contrastive divergence learning.In:Proceedings of the 2005 Arti fi cial Intelligence and Statistics.Bridgetown,Barbados:AISTATS,2005.

57 Larochelleh,Bengio Y,Louradour J,Lamblin P.Exploring strategies for training deep neural networks.The Journal of Machine Learning Research,2009,10:1?40

58 Bengio Y,Simard P,Frasconi P.Learning long-term dependencies with gradient descent is difficult.IEEE Transactions on Neural Networks,1994,5(2):157?166

59 Hochreiter S,Schmidhuber J.Long short-term memory.Neural Computation,1997,9(8):1735?1780

60 Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks.In:Proceedings of the 2012 International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada,USA:Curran Associates Inc.,2012.1097?1105

61 Farabet C,Couprie C,Najman L,LeCun Y.Learning hierarchical features for scene labeling.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1915?1929

62 Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition.arXiv:1409.1556,2014.

63 He K M,Zhangx Y,Ren S Q,Sun J.Spatial pyramid pooling in deep convolutional networks for visual recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904?1916

64 Lin M,Chen Q,Yan S C.Network in network.arXiv:1312.4400,2014.

65 Szegedy C,Liu W,Jia Y Q,Sermanet P,Reed S,Anguelov D,Erhan D,Vanhoucke V,Rabinovich A.Going deeper with convolutions.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA:IEEE,2015.1?9

66 Szegedy C,Vanhoucke V,Ioffe S,Shlens J,Wojna Z.Rethinking the Inception architecture for computer vision.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:IEEE,2016.2818?2826

67 Szegedy C,Ioffe S,Vanhoucke V,Alemi A A.Inception-v4,Inception-ResNet and the impact of residual connections on learning.arXiv:1602.07261,2016.

68 Long J,Shelhamer E,Darrellt.Fully convolutional networks for semantic segmentation.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,Massachusetts,USA:IEEE,2015.3431?3440

69 Zagoruyko S,Komodakis N.Wide residual networks.In:Proceedings of the 2016 British Machine Vision Conference.York,UK:BMVC,2016.87.1?87.12

70 Huang G,Liu Z,van der Maaten L,Weinberger K Q.Densely connected convolutional networks.In:Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition.Hawaii,USA:IEEE,2017.2261?2269

71 Chen Y P,Li J A,Xiaohx,Jinx J,Yan S C,Feng J S.Dual path network.arXiv:1707.01629,2017.

72 Iandola F N,Han S,Moskewicz M W,Ashraf K,Dally W J,Keutzer K.SqueezeNet:AlexNet-level accuracy with 50x fewer parameters and＜0.5MB model size.arXiv:1602.07360,2016.

73 Dai J F,Qih Z,Xiong Y W,Li Y,Zhang G D,Huh,Wei Y C.Deformable convolutional networks.arXiv:1703.06211,2017.

74 Hu J,Shen L,Sun G.Squeeze-and-excitation networks.arXiv:1709.01507,2017.

75 ILSVRC2016[Online],available:http://image-net.org/challenges/LSVRC/2016/results,October 30,2017.

76 LSVRC2017[Online],available:http://image-net.org/challenges/LSVRC/2017/results,October 30,2017.

77 Dai J F,Li Y,He K M,Sun J.R-FCN:object detection via region-based fully convolutional networks.arXiv:1605.06409.2016.

78 Nexar challenge II[Online],available:https://www.getnexar.com/challenge-2/,October 30,2017.

79 Cire?san D C,Giusti A,Gambardella L M,Schmidhuber J.Deep neural networks segment neuronal membranes in electron microscopy images.In:Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada:Curran Associates Inc.,2012.2843?2851

80 Sermanet P,Eigen D,Zhangx,Mathieu M,Fergus R,Lecun Y.Overfeat:integrated recognition,localization and detection using convolutional networks.arXiv:1312.6229,2014.

81 Cire?san D C,Giusti A,Gambardella L M,Schmidhuber J.Mitosis detection in breast cancer histology images with deep neural networks.Medical Image Computing and Computer-Assisted Intervention.Nagoya,Japan:Springer,2013.411?418

82 Havaei M,Davy A,Warde-Farley D,Biard A,Courville A,Bengio Y,Pal C,Jodoin P M,Larochelleh.Brain tumor segmentation with deep neural networks.Medical Image Analysis,2017,35:18?31

83 Choih,Jin Kh.Fast and robust segmentation of the striatum using deep convolutional neural networks.Journal of Neuroscience Methods,2016,274:146?153

84 Song Y Y,Zhang L,Chen S P,Ni D,Lei B Y,Wangt F.Accurate segmentation of cervical cytoplasm and nuclei based on multiscale convolutional network and graph partitioning.IEEE Transactions on Biomedical Engineering,2015,62(10):2421?2433

85 Yang W,Chen Y Y,Liu Y B,Zhong L M,Qin G G,Lu Zt,Feng Q J,Chen W F.Cascade of multi-scale convolutional neural networks for bone suppression of chest radiographs in gradient domain.Medical Image Analysis,2017,35,421?433

86 Ronneberger O,Fischer P,Broxt.U-net:convolutional networks for biomedical image segmentation.Medical Image Computing and Computer-Assisted Intervention.Munich,Germany:Springer,2015,9351:234?241

87 C?i?cek¨O,Abdulkadir A,Lienkamp S S,Broxt,Ronneberger O.3D U-Net:learning dense volumetric segmentation from sparse annotation.Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:424?432

88 Dou Q,Yu L Q,Chenh,Jin Y M,Yangx,Qin J,Heng P A.3D deeply supervised network for automated segmentation of volumetric medical images.Medical Image Analysis,2017,41:40?45

89 Milletari F,Navab N,Ahmadi S A.V-Net:fully convolutional neural networks for volumetric medical image segmentation.In:Proceedings of the 4th International Conference on 3D Vision.Stanford,CA,USA:IEEE,2016.565?571

90 Sukh I,Lee S W,Shen D G.The Alzheimer′s Disease Neuroimaging Initiative.Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis.NeuroImage,2014,101:569?582

91 Sukh I,Lee S W,Shen D G,The Alzheimer′s Disease Neuroimaging Initiative.Latent feature representation with stacked auto-encoder for AD/MCI diagnosis.Brain Structure and Function,2015,220(2):841?859

92 Liu S Q,Liu S D,Cai W D,Cheh Y,Pujol S,Kikinis R,Feng D G,Fulham M J.Multimodal neuroimaging feature learning for multiclass diagnosis of Alzheimer′s disease.IEEE Transactions on Biomedical Engineering,2015,62(4):1132?1140

93 ANDI.Sharing Alzheimer′s research data with the world[Online],available:http://adni.loni.usc.edu/,March 14,2017.

94 Al Rahhal M M,Bazi Y,AlHichrih,Alajlan N,Melgani F,Yager R R.Deep learning approach for active classi fication of electrocardiogram signals.Information Sciences,2016,345:340?354

95 Abdel-Zaher A M,Eldeib A M.Breast cancer classi fi cation using deep belief networks.Expert Systems with Applications,2016,46:139?144

96 Arevalo J,Gonz′alez F A,Ramos-Poll′an R,Oliveira J L,Lopez M A G.Representation learning for mammography mass lesion classi fi cation with convolutional neural networks.Computer Methods and Programs in Biomedicine,2016,127:248?257

97 Kooit,Litjens G,van Ginneken B,Gubern-M′erida A,S′anchez C I,Mann R,den Heeten A,Karssemeijer N.Large scale deep learning for computer aided detection of mammographic lesions.Medical Image Analysis,2017,35:303?312

98 Xu Y,Mot,Feng Q W,Zhong P L,Lai M D,Chang E I C.Deep learning of feature representation with multiple instance learning for medical image analysis.In:Proceedings of the 2014 IEEE International Conference on Acoustics,Speech and Signal Processing.Florence,Italy:IEEE,2014.1626?1630

99 Gaox W,Hui R,Tian Z M.Classi fi cation of CT brain images based on deep learning networks.Computer Methods and Programs in Biomedicine,2017,138:49?56

100 Payan A,Montana G.Predicting Alzheimer′s disease:a neuroimaging study with 3D convolutional neural networks.arXiv:1502.02506,2015.

101 Hosseini-Asl E,Gimel′farb G,El-Baz A.Alzheimer′s disease diagnostics by a deeply supervised adaptable 3D convolutional network.arXiv:1607.00556,2016.

102 Abdi Ah,Luong C,Tsangt,Allan G,Nouranian S,Jue J,Hawley D,Fleming S,Gin K,Swift J,Rohling R,Abolmaesumi P.Automatic quality assessment of echocardiograms using convolutional neural networks:feasibility on the apical four-chamber view.IEEE Transactions on Medical Imaging,2017,36(6):1221?1230

103 Gao Xh,Li W,Loomes M,Wang L Y.A fused deep learning architecture for viewpoint classi fi cation of echocardiography.Information Fusion,2017,36:103?113

104 Anthimopoulos M,Christodoulidis S,Ebner L,Christe A,Mougiakakou S.Lung pattern classi fi cation for interstitial lung diseases using a deep convolutional neural network.IEEE Transactions on Medical Imaging,2016,35(5):1207?1216

105 Kawahara J,Hamarneh G.Multi-resolution-tract CNN with hybrid pretrained and skin-lesion trained layers.International Workshop on Machine Learning in Medical Imaging.Athens,Greece:Springer,2016.164?171

106 Jiao Z C,Gaox B,Wang Y,Li J.A deep feature based framework for breast masses classi fi cation.Neurocomputing,2016,197:221?231

107 Tajbakhsh N,Suzuki K.Comparing two classes of end-toend machine-learning models in lung nodule detection and classi fi cation:MTANNs vs.CNNs.Pattern Recognition,2016,63:476?486

108 Kallenberg M,Petersen K,Nielsen M,Ng A Y,Diao P F,Igel C,VachonC M,Holland K,Winkel R R,Karssemeijer N,Lillholm M.Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring.IEEE Transactions on Medical Imaging,2016,35(5):1322?1331

109 van Tulder G,de Bruijne M.Combining generative and discriminative representation learning for lung CT analysis with convolutional restricted Boltzmann machines.IEEE Transactions on Medical Imaging,2016,35(5):1262?1272

110 Zhang Q,Xiao Y,Dai W,Suo J F,Wang C Z,Shi J,Zhengh R.Deep learning based classi fi cation of breast tumors with shear-wave elastography.Ultrasonics,2016,72:150?157

111 Yang D,Zhang St,Yan Z N,Tan C W,Li K,Metaxas D.Automated anatomical landmark detection ondistal femur surface using convolutional neural network.In:Proceedings of the 12th International Symposium on Biomedical Imaging.New York,NY,USA:IEEE,2015.17?21

112 Chenh,Dou Q,Wangx,Qin J,Cheng J C Y,Heng P A.3D fully convolutional networks for intervertebral disc localization and segmentation.Medical Imaging and Augmented Reality.Cham:Springer,2016,9805:375?382

113 de Vos B D,Wolterink J M,de Jong P A,Viergever M A,Iˇsgum I.2D image classi fi cation for 3D anatomy localization:employing deep convolutional neural networks.In:Proceedings of the 9784,Medical Imaging 2016:Image Processing.San Diego,California,US:SPIE,2016,9784:Article No.97841Y

114 Kong B,Zhan Y Q,Shin M,Dennyt,Zhang St.Recognizing end-diastole and end-systole frames via deep temporal regression network.In:Medical Image Computing and Computer-Assisted Intervention-MICCAI.Athens,Greece:Springer,2016.264?272

115 Cai Y L,Landis M,Laidley Dt,Kornecki A,Lum A,Li S.Multi-modal vertebrae recognition using Transformed Deep Convolution Network.Computerized Medical Imaging and Graphics,2016,51:11?19

116 Lei J,Li Gh,Tu D,Guo Q.Convolutional restricted Boltzmann machines learning for robust visual tracking.Neural Computing and Applications,2014,25(6):1383-1391

117 Lo S C B,Lou S L A,Lin J S,Freedman Mt,Chien M V,Mun S K.Arti fi cial convolution neural network techniques and applications for lung nodule detection.IEEE Transactions on Medical Imaging,1995,14(4):711?718

118 Sirinukunwattana K,Raza S E A,Tsang Y W,Snead D R J,Cree I A,Rajpoot N M.Locality sensitive deep learning for detection and classi fi cation of nuclei in routine colon cancer histology images.IEEE Transactions on Medical Imaging,2016,35(5):1196?1206

119 Li A N,Cheng J,Wong D W K,Liu J.Integrating holistic and local deep features for glaucoma classi fi cation.In:Proceedings of the 38th Annual International Conference of the Engineering in Medicine and Biology Society.Orlando,FL,USA:IEEE,2016.1328?1331

120 Rothh R,Lu L,Seff A,Cherry K M,Hoffman J,Wang S J,Liu J M,Turkbey E,Summers R M.A new 2.5D representation for lymph node detection using random sets of deep convolutional neural network observations.In:Proceedings of the 17th International Conference International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham,Germany:Springer,2013,8673:520?527

121 Rothh R,Lu L,Liu J M,Yao Jh,SeffA,Cherry K,Kim L,Summers R M.Improving computer-aided detection using convolutional neural networks and random view aggregation.IEEE Transactions on Medical Imaging,2016,35(5):1170?1181

122 Rothh R,Yao Jh,Lu L,Stieger J,Burns J E,Summers R M.Detection of sclerotic spine metastases via random aggregation of deep convolutional neural network classi fications.Recent Advances in Computational Methods and Clinical Applications for Spine Imaging.Cham:Springer,2015.3?12

123 Wang J,Dingh J,Bidgoli F A,Zhou B,Iribarren C,Molloi S,Baldi P.Detecting cardiovascular disease from mammograms with deep learning.IEEE Transactions on Medical Imaging,2017,36(5):1172?1181

124 Quellec G,Charri`ere K,Boudi Y,Cochener B,Lamard M.Deep image mining for diabetic retinopathy screening.Medical Image Analysis,2017,39:178?193

125 Teramoto A,Fujitah,Yamamuro O,Tamakit.Automated detection of pulmonary nodules in PET/CT images:ensemble false-positive reduction using a convolutional neural network technique.Medical Physics,2016,43:2821?2827

126 Albarqouni S,Baur C,Achilles F,Belagiannis V,Demirci,Navab N.AggNet:deep learning from crowds for mitosis detection in breast cancer histology images.IEEE Transactions on Medical Imaging,2016,35(5):1313?1321

127 Chenh,Yu L Q,Dou Q,Shi L,Mok V Ct,Heng P A.Automatic detection of cerebral microbleeds via deep learning based 3D feature representation.In:Proceedings of the 12th International Symposium on Biomedical Imaging(ISBI).New York,NY,USA:IEEE,2015.764?767

128 Dou Q,Chenh,Yu L Q,Zhao L,Qin J,Wang D F,Mok V Ct,Shi L,Heng P A.Automatic detection of cerebral microbleeds from MR images via 3D convolutional neural networks.IEEE Transactions on Medical Imaging,2016,35(5):1182?1195

129 Dou Q,Chenh,Yu L Q,Qin J,Heng P A.Multilevel contextual 3-D CNNs for false positive reduction in pulmonary nodule detection.IEEE Transactions on Biomedical Engineering,2017,64(7):1558?1567

130 van Grinsven M J J P,van Ginneken B,Hoyng C B,Theelent,Sanchez C I.Fast convolutional neural network training using selective data sampling:application to hemorrhage detection in color fundus images.IEEE Transactions on Medical Imaging,2016,35(5):1273?1284

131 Xu J,Xiang L,Liu Q S,Gilmoreh,Wu J Z,Tang Jh,Madabhushi A.Stacked sparse autoencoder(SSAE)for nuclei detection on breast cancer histopathology images.IEEE Transactions on Medical Imaging,2016,35(1):119?130

132 Masood A,Al-Jumaily A,Anam K.Self-supervised learning model for skin cancer diagnosis.In:Proceedings of the 7th International IEEE/EMBS Conference on Neural Engineering.Montpellier,USA:IEEE,2015.1012?1015

133 Girshick R.Fast R-CNN.In:Proceedings of the 2015 IEEE International Conference on Computer Vision.Santiago,Chile:IEEE,2015.1440?1448

134 Sarikaya D,Corso J J,Guru K A.Detection and localization of robotic tools in robot-assisted surgery videos using deep neural networks for region proposal and detection.IEEE Transactions on Medical Imaging,2017,36(7):1542?1549

135 Twinanda A P,Shehata S,Mutter D,Marescaux J,Mathelin M D,Padoy N.EndoNet:a deep architecture for recognition tasks on laparoscopic videos.IEEE Transactions on Medical Imaging,2016,36(1):86?97

136 Chenh,Wu L Y,Dou Q,Qin J,Li S,Cheng J Z,et al.Ultrasound standard plane detection using a composite neural network Framework.IEEE Transactions on Cybernetics,2017,47(6):1576?1586

137 Kumar N,Verma R,Sharma S,Bhargava S,Vahadane A,Sethi A.A dataset and a technique for generalized nuclear segmentation for computational pathology.IEEE Transactions on Medical Imaging,2017,36(7):1550?1560

138 Xu Y,Jia Z P,Ai Y Q,Zhang F,Lai M D,Chang E I C.Deep convolutional activation features for large scale brain tumor histopathology image classi fi cation and segmentation.In:Proceedings of the 2015 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).South Brisbane,QLD,Australia:IEEE,2015.947?951

139 Qaisert,Sirinukunwattana K,Nakane K,Tsang Y W,Epstein D,Rajpoot N.Persistent homology for fast tumor segmentation in whole slide histology images.Procedia Computer Science,2016,90:119?124

140 Song Y Y,Tan E L,Jiangx D,Cheng J Z,Ni D,Chen S P,Lei B Y,Wangt F.Accurate cervical cell segmentation from overlapping clumps in pap smear images.IEEE Transactions on Medical Imaging,2017,36(1):288?300

141 Fakhry A,Zengt,Ji S W.Residual deconvolutional networks for brain electron microscopy image segmentation.IEEE Transactions on Medical Imaging,2017,36(2):447?456

142 Chenh,Qix J,Yu L Q,Heng P A.DCAN:deep contouraware networks for accurate gland segmentation.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas,NV,USA:IEEE,2016.2487?2496

143 Xu Y,Li Y,Wang Y P,Liu M Y,Fan Y B,Lai M D,Chang E I C.Gland instance segmentation using deep multichannel neural networks.IEEE Transactions on Biomedical Engineering,2017,64(12):2901?2912

144 Sirinukunwattana K,Pluim J P W,Chenh,Qix J,Heng P A,Guo Y B,Wang L Y,Matuszewski B J,Bruni E,Sanchez U,B¨ohm A,Ronneberger O,Cheikh B B,Racoceanu D,Kainz P,Pfeiffer M,Urschler M,Snead D R J,Snead N M.Gland segmentation in colon histology images:the glas challenge contest.Medical Image Analysis,2016,35:489?502

145 Xie Y P,Zhang Z Z,Sapkota M,Yang L.Spatial clockwork recurrent neural network for muscle perimysium segmentation.International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:185?193

146 Xing F Y,Xie Y P,Yang L.An automatic learning-based framework for robust nucleus segmentation.IEEE Transactions on Medical Imaging,2016,35(2):550-566

147 Zhang W L,Li R J,Denght,Wang L,Lin W L,Ji S W,Shen D G.Deep convolutional neural networks for multi-modality isointense infant brain image segmentation.NeuroImage,2015,108:214?224

148 Stollenga M F,Byeon W,Liwicki M,Schmidhuber J.Parallel multi-dimensional LSTM,with application to fast biomedical volumetric image segmentation.arXiv:1506.07452,2015.

149 Cui Z P,Yang J,Qiao Y.Brain MRI segmentation with patch-based CNN approach.In:Proceedings of the 35th Chinese Control Conference.Chengdu,China:IEEE,2016.7026?7031

150 Moeskops P,Viergever M A,Mendrik A M,de Vries L S,Benders M J N L,Iˇsgum I.Automatic segmentation of MR brain images with a convolutional neural network.IEEE Transactions on Medical Imaging,2016,35(5):1252?1262

151 Dolz J,Betrouni N,Quidet M,Kharroubi D,Leroyh A,Reyns N,Massoptier L,Vermandel M.Stacking denoising auto-encoders in a deep network to segment the brainstem on MRI in brain cancer patients:a clinical study.Computerized Medical Imaging and Graphics,2016,52:8?18

152 Mansoor A,Cerrolaza J J,Idrees R,Biggs E,Alsharid M A,Avery R A,Linguraru M G.Deep learning guided partitioned shape model for anterior visual pathway segmentation.IEEE Transactions on Medical Imaging,2016,35(8):1856?1865

153 Shakeri M,Tsogkas S,Ferrante E,Lippe S,Kadoury S,Paragios N,Kokkinos I.Sub-cortical brain structure segmentation using F-CNN′s.In:Proceedings of the 13th International Symposium on Biomedical Imaging(ISBI).Prague,Czech:IEEE,2016.269-272

154 Moeskops P,Wolterink J M,van der Velden Bh M,Gilhuijs K G A,Leinert,Viergever M A,Iˇsgum I.Deep learning for multi-task medical image segmentation in multiple modalities.Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:478?486

155 Wu A,Xu Z Y,Gao M C,Buty M,Mollura D J.Deep vessel tracking:a generalized probabilistic approach via deep learning.In:Proceedings of the 13th International Symposium on Biomedical Imaging(ISBI).Prague,Czech:IEEE,2016.1363?1367

156 Liskowski P,Krawiec K.Segmenting retinal blood vessels with deep neural networks.IEEE Transactions on Medical Imaging,2016,35(11):2369?2380

157 Wang S L,Yin Y L,Cao G B,Wei B Z,Zheng Y J,Yang G P.Hierarchical retinal blood vessel segmentation based on feature and ensemble learning.Neurocomputing,2015,149:708?717

158 Li Q L,Feng B W,Xie L P,Liang P,Zhangh S,Wangt F.A cross-modality learning approach for vessel segmentation in retinal images.IEEE Transactions on Medical Imaging,2016,35(1):109?118

159 Avendi M R,Kheradvar A,Jafarkhanih.A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac MRI.Medical Image Analysis,2016,30:108?119

160 Ngot A,Lu Z,Carneiro G.Combining deep learning and level set for the automated segmentation of the left ventricle of the heart from cardiac cine magnetic Resonance.Medical Image Analysis,2017,35:159?171

161 Tan L K,Liew Y M,Lim E,McLaughlin R A.Convolutional neural network regression for short-axis left ventricle segmentation in cardiac cine MR sequences.Medical Image Analysis,2017,39:78?86

162 Zhenx,Wang Z,Islam A,Bhaduri M,Chan I,Li S.Multi-scale deep networks and regression forests for direct bi-ventricular volume estimation.Medical Image Analysis,2015,30:120?129

163 Rothh R,Farag A,Lu L,Turkbey E B,Ronald M.Deep convolutional networks for pancreas segmentation in CT imaging.In:Proceedings of 9413,Medical Imaging 2015:Image Processing.Orlando,Florida,USA:SPIE,2015,9413:Article No.94131G

164 Rothh R,Lu L,Farag A,Shinh C,Liu J M,Turkbey E B,Summers R M.DeepOrgan:multi-level deep convolutional networks for automated pancreas segmentation.In:Proceedings of the 18th International Conference Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015.Munich,Germany:Springer,2015.556?564

165 Guo Y R,Gao Y Z,Shen D G.Deformable MR prostate segmentation via deep feature learning and sparse patch matching.IEEE Transactions on Medical Imaging,2016,35(4):1077?1089

166 Korez R,Likar B,Pernuˇs F,Vrtovect.Model-based segmentation of vertebral bodies from MR images with 3D CNNs.Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016.433?441

167 Poudel R P K,Lamata P,Montana G.Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation.Reconstruction,Segmentation,and Analysis of Medical Images.Cham:Springer,2016.83?94

168 Kamnitsas K,Ledig C,Newcombe V F J,Simpson J P,Kane A D,Menon D K,Rueckert D,Glocker B.Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation.Medical Image Analysis,2017,36:61?78

169 Chen L C,Papandreou G,Kokkinos I,Murphy K,Yuille.Semantic image segmentation with deep convolutional nets and fully connected CRFs.arXiv:1412.7062,2014.

170 Gao M,Xu Z Y,Lu L,Wu A,Nogues I,Summers R M,Mollura D J.Segmentation label propagation using deep convolutional neural networks and dense conditional random fi eld.In:Proceedings of the 13th International Symposium on Biomedical Imaging.Prague,Czech Republic:IEEE,2016.1265?1268

171 Broscht,Tang L Y W,Yoo Y,Li D K B,Traboulsee A,Tam R.Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation.IEEE Transactions on Medical Imaging,2016,35(5):1229?1239

172 BRATS2015[Online],available:https://www.smir.ch/BRATS/Start2015,March 14,2017.

173 Wang Ch,Yanx C,Smith M,Kochhar K,Rubin M,Warren S M,Wrobel J,Leeh.A uni fi ed framework for automatic wound segmentation and analysis with deep convolutional neural networks.In:Proceedings of the 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Milan,Italy:IEEE,2015.2415?2418

174 Urban G,Bendszus M,Hamprecht F A,Kleesiek J.Multimodal brain tumor segmentation using deep convolutional neural networks.In:Proceedings of the 2014 MICCAI Workshop on Multimodal Brain Tumor Segmentation Challenge.Boston,Massachusetts,USA:Springer,2014.31?35

175 Zikic D,Ioannou Y,Brown M,Criminisi A.Segmentation of brain tumor tissues with convolutional neural networks.In:Proceedings of the 2014 MICCAI Workshop on Multimodal Brain Tumor Segmentation Challenge.Boston,Massachusetts,USA:Springer,2014.36?39

176 Pereira S,Pinto A,Alves V,Silva C A.Brain tumor segmentation using convolutional neural networks in MRI images.IEEE Transactions on Medical Imaging,2016,35(5):1240?1251

177 Carneiro G,Nascimento J,Bradley A P.Unregistered multiview mammogram analysis with pre-trained deep learning models.Medical Image Computing and Computer-Assisted Intervention.Munich,Germany:Springer,2015.652?660

178 Bar Y,Diamant I,Wolf L,Greenspanh.Deep learning with non-medical training used for chest pathology identi fi cation.In:Proceedings of 9414,Medical Imaging 2015:Computer-Aided Diagnosis.Orlando,Florida,USA:SPIE,2015,9414:Article No.94140V

179 Bar Y,Diamant I,Wolf L,Lieberman S,Konen E,Greenspanh.Chest pathology detection using deep learning with non-medical training.In:Proceedings of the 12th International Symposium on Biomedical Imaging.New York,NY,USA:IEEE,2015.294?297

180 Ginneken B V,Setio A A A,Jacobs C,Ciompi F.Off-theshelf convolutional neural network features for pulmonary nodule detection in computed tomography scans.In:Proceedings of the 12th International Symposium on Biomedical Imaging.New York,NY,USA:IEEE,2015.286?289

181 Shinh C,Rothh R,Gao M C,Lu L,Xu Z Y,Nogues I,Yao Jh,Mollura D,Summers R M.Deep convolutional neural networks for computer-aided detection:CNN architectures,dataset characteristics and transfer learning.IEEE Transactions on Medical Imaging,2016,35(5):1285?1298

182 Chat fi eld K,Simonyan K,Vedaldi A,Zisserman A.Return of the devil in the details:delving deep into convolutional nets.In:Proceedings of the 2014 British Machine Vision Conference.Nottingham,UK:University of Nottingham,2014.

183 Ciompi F,de Hoop B,van Riel S J,Chung K,Scholten Et,Oudkerk M,de Jong P A,Prokop M,van Ginneken B.Automatic classi fi cation of pulmonary peri- fi ssural nodules in computed tomography using an ensemble of 2D views and a convolutional neural network out-of-the-box.Medical Image Analysis,2015,26(1):195?202

184 Tajbakhsh N,Shin J Y,Gurudu S R,Hurst Rt,Kendall C B,Gotway M B,Liang J M.Convolutional neural networks for medical image analysis:full training or fi ne tuning?IEEE Transactions on Medical Imaging,2016,35(5):1299?1312

185 Aroyo L,Welty C.Truth is a lie:crowd truth and the seven myths of human annotation.AI Magazine,2015,36(1):15?24

186 Zhang St,Metaxas D.Large-scale medical image analytics:recent methodologies,applications and future directions.Medical Image Analysis,2016,33:98?101

187 Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift.In:Proceedings of the 32nd International Conference on Machine Learning.Lille,France:JMLR,2015,37:448?456

188 Hinton G E,Srivastava N,Krizhevsky A,Sutskever I,Salakhutdinov R R.Improving neural networks by preventing co-adaptation of feature detectors.Computer Science,arXiv:1207.0580,2012.

189 I?s?n A,Direkoˇglu C,S?ah M.Review of MRI-based brain tumor image segmentation using deep learning methods.Procedia Computer Science,2016,102:317?324

190 Setio A A A,Ciompi F,Litjens G,Gerke P,Jacobs C,Riel V,Wille M M W,Naqibullah M,S′anchez C I,van Ginneken B.Pulmonary nodule detection in CT images:false positive reduction using multi-view convolutional networks.IEEE Transactions on Medical Imaging,2016,35(5):1160?1169

191 Nie D,Zhangh,Adeli E,Liu L Y,Shen D G.3D deep learning for multi-modal imaging-guided survival time prediction of brain tumor patients.In:Proceedings of the 19th International Conference Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:212?220

192 Diabetic retinopathy detection[Online],available:https://www.kaggle.com/c/diabetic-retinopathy-detection,July 2,2017.

193 Second annual data science bowl[Online],available:https://www.kaggle.com/c/second-annual-data-sciencebowl,July 2,2017.

194 Tianchi AI competition[Online],available:https://tianchi.aliyun.com/mini/medical2017.htm_spm=5176.100065.3333.1.FCejdd,July 2,2017.

195 Maier O,Menze Bh,Gablentz J V D,Hani L,Heinrich M P,Liebrand M,Winzeck S,Basit A,Bentley P,Chen L,Christiaens D,Dutil F,Egger K,Feng C,Glocker B,G′’otz M,Haeckt,Halmeh L,Havaei M,Iftekharuddin K M,Jodoin P M,Kamnitsas K,Kellner E,Korvenoja A,Larochelleh,Ledig C,Lee Jh,Maes F,Mahmood Q,Maier-Hein Kh,McKinley R,Muschelli J,Pal C,Pei L,Rangarajan J R,Reza S M,Robben D,Rueckert D,Salli E,Suetens P,Wang C W,Wilms M,Kirschke J S,Kr Amer U M,Müntet F,Schramm P,Wiest R,Handelsh,Reyes M.ISLES 2015-A public evaluation benchmark for ischemic stroke lesion segmentation from multispectral MRI.Medical Image Analysis,2017,35:250?269