深度學習在醫學圖像分析中的應用

喬琛 吳嬌 陳堅

摘 要 隨著深度學習在計算機視覺任務中取得巨大成功，此技術也被應用到醫學圖像分析領域。本文總結與醫學圖像分析相關的深度學習模型，并概述了這些模型在醫學圖像分類、檢測、分割和配準方面的應用成果，具體涉及到神經、視網膜、肺、數字病理學、乳腺、肌骨骼等方面的圖像分析任務。本文最后還總結了目前與醫學圖像分析相關的深度學習研究現狀，并對未來研究面臨的挑戰和應努力的方向進行了討論。

關鍵詞 醫學圖像 深度學習 臨床應用

中圖分類號：TP391.5； R445 文獻標志碼：A 文章編號：1006-1533（2020）23-0014-06

Application of deep learning in medical image analysis*

QIAO Chen1， WU Jiao1， CHEN Jian2**（1. School of Mathematics & Statistics， Xian Jiaotong University， Xian 710049， China； 2. Department of Gastroenterology， Huashan Hospital， Fudan University， Shanghai 200040， China）

ABSTRACT With the great success of deep learning algorithms in computer vision tasks， these algorithms have been also applied to medical image analysis. This article summarizes the deep learning models related to medical image analysis and introduces their application results in medical image classification， detection， segmentation and registration， specifically involving the image analysis tasks in nerve， retina， lung， digital pathology， breast， musculoskeletal and other aspects. Finally， we summarize the current status of research and discuss the challenges and directions for future research.

KEy WORDS medical image； deep learning； clinical application

作為機器學習領域中新的學習范式，深度學習能通過逐層訓練的方法學習數據深層次的非線性表達，從而深刻揭示海量數據中所蘊含的復雜抽象信息。與機器學習中常用的淺層模型相比，深層模型具有優異的特征學習能力，可從數據的復雜結構中學習到能對數據進行本質刻畫的特征，有利于數據的特征提取、分類與識別、場景描述與理解等任務執行。由于具有上述優異的學習能力，深度學習已被成功應用于計算機視覺、自然語言處理和信號處理等多個領域。

目前，基于深度學習等機器學習算法的人工智能技術已深入融合到醫療領域的各個方面，從新藥研制到輔助臨床診斷、治療，醫學大數據分析正逐漸成為影響醫療行業發展的重要因素。特別是，將人工智能和醫學影像學等技術相結合的人工智能醫療的研究，得到了各級政府相關部門的大力支持。我國人工智能醫療的市場規模2017年為136.5億元，2018年達到210億元左右，同比增長54%。預計在2017—2024年間，人工智能應用對醫療行業年復合增長率的貢獻率將達40%。截至2019年底，我國人工智能醫療企業有80多家。醫學圖像的人工智能分析是數字醫療產業的研究熱點，涉及企業40多家，包括阿里巴巴、騰訊、百度、科大訊飛等著名公司。人工智能技術已逐漸成為影響醫療行業發展、特別是醫學圖像分析研究領域的重要因素。

1 醫學圖像分析研究現狀

人工分析醫學圖像不僅用時長，且受分析者經驗的限制。培養一名合格的醫學圖像分析專業人員需耗費大量的時間和成本。因此，人工智能進入了人們的視野。1963年，美國放射學家洛德威克等提出了X線片的數字化方法。1966年，美國學者萊德利等正式提出了“計算機輔助診斷”的概念，希望通過計算機來減輕醫師的工作負擔。1972年，CT得到臨床應用，開創了數字化醫學影像學的先河。此后，磁共振成像儀、計算機X線攝影系統、數字化X線攝影系統和單光子發射型計算機X線斷層掃描儀等數字化醫療設備相繼問世，推動了醫學圖像資料的存儲和傳輸系統的發展。1982年，美國放射學會（American College of Rediology， ACR）和美國電氣制造商協會（National Electrical Manufacturers Association， NEMA）決定共同成立一個名為ACRNEMA的委員會，致力于制定醫學圖像設備間的通信交流規范。1985和1988年，ACR-NEMA各發布了一套規范（ACR-NEMA 1.0和ACR-NEMA 2.0）。1993年，ACR-NEMA發布了一套新規范，并命名為DICOM 3.0，詳細規定了醫學圖像及其相關信息的傳輸標準。

雖然醫學圖像存儲與傳輸標準有所發展，但人工智能用于醫學圖像分析仍困難重重，主要原因包括視覺系統成像模糊，人體組織、結構和功能的復雜性，以及傳統機器學習算法的局限性等。2006年，深度算法出現，使圖像識別研究獲得了突破性的進展。2012年，有研究者使用多層卷積神經網絡（convolutional neural networks， CNN）結構，將圖像識別的錯誤率從26.2%降至3%，深度機器學習算法由此進入了工業和醫療領域的應用階段。

醫學圖像分析中常用的監督類深度學習模型包括CNN、基于CNN的遷移學習和遞歸神經網絡（recursive neural networks， RNN），而非監督類深度學習模型包括自動編碼器、受限玻爾茲曼機（restricted Boltzmann machines， RBM）和對抗神經網絡（generative adversarial networks， GAN）[1]。CNN是目前醫學圖像分析中最常用的機器學習算法，其優點在于可保存圖像的空間關系特征，而此特征對醫學圖像分析非常重要。例如，在組織學檢查時，載玻片上癌細胞的DNA和細胞質的比例較正常細胞高。因此，若在CNN的前幾層中檢測到強烈的DNA特征，CNN就能預測癌細胞的存在。通過遷移學習可將已學到的模型參數通過某種方式分享給新模型，從而加快并優化模型的學習效率，不用像其他大多數網絡那樣從零開始學習。在醫學圖像分析中常常利用遷移學習將CNN在接受一個數據集訓練期間學習到的權重轉移到另一個CNN，然后再運用這些權重接受被標記過的醫學數據集的訓練。RNN常被用來分析序列數據，在醫學圖像分析中主要用于圖像的分割。RNN與CNN的主要不同在于，RNN的某一層輸出不僅會成為下一層的輸入，且會反饋到該層，也就是說RNN可學習使用過去的信息。自動編碼器主要用于數據的降維或特征提取，其不需帶標記的數據集，并能有效地降低數據的維度和模型的復雜度，非常適用于缺乏帶標記數據集的醫學圖像分析。在深度學習中，自動編碼器可對輸入的數據進行特征轉換，先將數據編碼為另一種形式，然后在此基礎上進行一系列的學習。RBM[2]最初由Ackley等于1985年提出，其是一類具有2層結構、對稱連接且無自反饋的隨機神經網絡模型，層間全連接，層內無連接。GAN[3]是一種生成式神經網絡模型，由2種模型生成模型和判別模型組成，其中生成模型不斷學習訓練集中的真實概率分布，將輸入的隨機噪聲轉換為以假亂真的圖像；判別模型則判斷一幅圖像是否是真實的圖像，目標是將生成模型產生的圖像與訓練集中的真實圖像區分開。深度學習模型近年來的發展十分迅速，除上述介紹的模型外，基于這些模型也產生了很多變體模型。

2 深度學習在醫學圖像分析中的應用

深度學習在醫學圖像分析中主要有4種應用方式，分別是圖像的分類、檢測、分割和配準。其中，分類是指根據在圖像信息中反映出的特征不同，把不同類別的目標區分開來；檢測是指在各個物體周圍確定出邊界框，這些物體可能來自不同的分類；分割是指在目標物體的邊緣確定出輪廓，并對其進行語義標記；配準則是指將一幅圖像擬合到另一幅圖像上。

實際上，在臨床醫療實踐中，準確地區分這些任務并不是十分必要。事實上，在下面介紹的一些研究中，這些任務或多或少都存在著一定的混淆或混合。最理想的機器學習系統是能將上述這些任務統一起來，如先從CT圖像中檢測肺部腫瘤，然后定位并分割出它，最后預測使用什么治療方案可獲較好療效。從大數據角度看，訓練一個穩健的深度學習模型需使用大量、高質量的醫療數據。醫學圖像分析研究常用的數據集如表1所示。

2.1 醫學圖像分類

醫學圖像分析中的圖像分類是深度學習應用的第一種方式。近年來，CNN被廣泛應用于分類任務。2015—2017年發表的基于多分類任務的醫學圖像分析研究論文共有47篇，其中36篇使用CNN模型，6篇使用RBM模型，5篇使用自動編碼器模型。這些模型包含很多應用場景，如腦部磁共振成像、視網膜成像、肺部CT檢查和數字病理學成像等。總體來看，CNN仍是目前多分類任務所用標準模型。

早在1995年，Lo等[12]就嘗試使用CNN模型在X線胸片圖像上檢測肺結節。他們使用55幅X線胸片圖像并建立了一個擁有2個隱藏層的CNN來檢測圖像區域是否存在肺結節。Rajkomar等[13]以1 850幅X線胸片圖像增強數據集，并利用一種預先訓練好的CNN——GoogLeNet將圖像分為正面圖和側面圖，結果顯示分類準確率幾近100%。雖然該研究的臨床應用價值不大，但其證實了擴充數據集和對模型進行預訓練有益。Rajpurkar等[14]使用一種改進的DenseNet[15]對來自ChestX-ray數據集[16]的112 000幅X線胸片圖像進行了14種疾病（包括肺炎）的分類。這種改進的DenseNet有121層卷積層，被稱為CheXNet。研究者將肺炎圖像視為正類、其余13種疾病的圖像視為負類來進行分類，受試者工作特征曲線下面積（area under curve of receiver operating characteristics， AUC）為0.763。研究者還利用測試集比較了CheXNet和放射科醫師診斷結果的受試者工作特征曲線，結果顯示CheXNet的AUC為0.788，優于放射科醫師的AUC，表明CheXNet在檢測肺炎這項任務上已能匹配、甚至超過放射科醫師。Shen等[17]使用CNN并結合支持向量機和隨機森林對來自LIDC-IDRI數據集的1 010幅帶標記的肺部CT圖像進行肺結節良、惡性分類。他們使用3個并行運行的CNN，每個CNN有2層卷積層，不同的CNN使用不同尺度的圖像塊來提取特征，然后將學習到的特征結合起來，構造成一個特征向量，最后利用核函數為徑向基函數的支持向量機或隨機森林作為分類器進行分類。他們模型的分類準確率達到86%，且該模型顯示有很強的魯棒性。Kallenberg等[18]將作為自動編碼器訓練的非監督卷積層與監督層相結合，對乳房X線片圖像按不同紋理和密度進行分類，進而判斷是否存在乳腺癌。他們使用來自荷蘭乳腺癌篩查項目的2 700幅乳房X線片圖像、荷蘭乳腺癌篩查數據集和葡萄牙梅奧乳腺攝影健康研究數據集，發現該卷積堆疊自編碼器模型的AUC為0.57。van Tulder等[19]利用卷積RBM對肺組織按正常、肺氣腫、纖維化、微結節和毛玻璃組織進行分類，使用的數據集由ILD數據庫中128例間質性肺部疾病患者的CT圖像組成。卷積RBM通過純判別、純生成、混合判別和生成學習目標來產生濾波器，然后使用這些濾波器提取特征，最后利用隨機森林進行分類。他們模型的分類準確率為41% ～ 68%，且發現通過混合判別產生的濾波器的效果最好。此外，Khatami等[20]使用深度信念網絡將X線片圖像按解剖區域和方向分為5類。

Li等[21]提出了一種三維CNN模型來補全多模態數據，使用磁共振成像數據來預測缺失的正電子發射型計算機X線斷層掃描數據，但模型過擬合問題未解決。Hosseini-Asl等[22]使用深度三維CNN來學習捕獲阿爾茨海默病的通用特征并適應不同的數據集域。三維CNN建立在三維卷積自動編碼器的基礎上，該編碼器經預訓練，可捕獲結構性腦磁共振成像中的解剖形狀變化，然后針對每個特定于任務的阿爾茨海默病分類微調三維CNN的完全連接的上層。Korolev等[23]提出了一種基于VGGNet的殘差神經網絡架構，這種架構可使層數達100 ～ 1 000層的神經網絡模型也得到很好的訓練。他們利用ADNI數據庫中的數據并分別使用VoxNet和ResNet來對健康者和老年癡呆癥患者的腦磁共振成像圖像進行分類，結果顯示模型的分類準確率分別為79%和80%。雖然這些數值相對較低，但他們的模型建立過程更為簡單。

Pratt等[24]訓練了一個具有10層卷積層和3個全連接層的CNN來處理90 000幅眼底圖像。他們將糖尿病視網膜病變按照嚴重程度分為5類，模型的分類準確率為75%。除此之外，Plis等[25]對亨廷頓舞蹈病和精神分裂癥患者進行功能性磁共振成像檢查，并使用深度信念網絡從功能性磁共振成像圖像中提取特征。

2.2 醫學圖像檢測

對解剖對象病變部位進行檢測和定位是醫學圖像分析中的重要一步。

2017年Kaggle“數據科學碗（Data Science Bowl）”比賽的任務包括檢測肺部CT圖像中癌變的肺結節，所用數據集共包括2 000幅CT圖像。該賽題優勝者使用的三維CNN模型受U-Net[26]架構的啟發，先用圖像的子圖像塊進行肺結節檢測，然后將這個輸出作為第二階段的輸入，而第二階段由2個全連接層構成，用于輸出患癌概率[27]。Shin等[28]使用5種著名的CNN模型來檢測CT圖像上的胸、腹部淋巴結和肺間質病變，其中淋巴結是可能患癌的標志。他們使用GoogLeNet對縱隔淋巴結進行檢測，模型的AUC高達0.95，是一個非常好的結果。此外，他們還總結了遷移學習的益處。Overfeat是2013年ImageNet定位任務比賽的冠軍項目[29]，同時也在分類和檢測任務上獲得了不錯的結果。Ciompi等[30]將Overfeat與簡單的支持向量機和隨機森林分類器相結合，使用肺部CT圖像的冠狀面、軸向面和矢狀面的二維切片圖進行訓練，用于檢測肺部間隙及其周圍是否存在肺結節。

除肺部病變檢測外，也用于其他病變檢測，如惡性皮膚細胞檢測。Esteva等[31]使用13萬幅皮膚病學圖像和皮膚鏡圖像去訓練基于Inception V3的GoogLeNet。該模型將圖像分為良性、惡性和非腫瘤性病變3類，分類準確率為72%，而2名醫師基于專業知識的人工分類準確率分別為65%和66%。除此之外，該模型在預測2種皮膚癌治療方案的療效方面也優于21名皮膚科醫師，其AUC在0.91 ～ 0.96間。

目前，組織病理學檢查圖像越來越數字化，相關研究也越來越多。一片組織病理學切片可能包含上百、甚至上千個細胞，在高倍顯微鏡下也存在丟失異常的腫瘤區域的風險。Ciresan等[32]使用11 ～ 13層卷積層的CNN識別來自MITOS數據集的50幅乳腺組織圖像中的有絲分裂圖像，獲得88%的準確率和70%的召回率。Yang等[33]使用5 ～ 7層卷積層的CNN將腎癌組織病理學檢查圖像分為腫瘤和非腫瘤2類，準確率達到97%。Sirinukunwattana等[34]使用CNN在100幅結腸腺癌的染色組織病理學檢查圖像中檢測結腸腺癌細胞核。他們的方法中使用了空間受限CNN，使用空間回歸和周圍空間環境來識別細胞核的中心。Xu等[35]則使用堆疊稀疏自編碼器來檢測乳腺癌組織切片圖像中的乳腺癌細胞核，結果顯示模型的準確率為89%，同時也證明了無監督學習可用于這方面的檢測。

2.3 醫學圖像分割

CT和磁共振成像圖像分割研究涵蓋肝臟、前列腺和膝關節軟骨等各種器官和組織，但大量研究集中在腦、包括腦腫瘤圖像的分割方面。若在手術中破壞太多腦區會致出現多種神經功能缺陷，故確定腦腫瘤的確切邊界對指導切除性手術的實施非常重要。在傳統治療過程中，這種邊界是由腦外科醫師通過CT或磁共振成像圖像逐層繪制的。Akkus等[36]總結了在腦磁共振成像圖像分割中曾使用過的各種CNN架構及其性能，并介紹了許多相關數據集。

Moeskops等[37]使用3個并行運行的CNN對22名兒童和35名成人的大腦磁共振成像圖像按不同組織進行分類，如白質、灰質和腦脊液等。每個CNN都有大小不同的二維子圖像塊的輸入，每個子圖像塊分別專注于捕獲圖像的不同特征，其中最小的子圖像塊專注于捕獲圖像的局部紋理特征，較大的子圖像塊則專注于捕獲圖像的空間特征。結果顯示，該模型的Dice系數在0.82 ～ 0.87間。Tajbakhsh等[38]使用遷移學習分析了4種不同類型的醫學圖像，包括結腸鏡檢查圖像上的息肉檢測、結腸鏡檢查圖像的幀分類、肺血管造影CT圖像上的肺栓塞檢測和超聲掃描頸動脈壁層圖像的內中膜界面分割。他們的研究還發現，與從頭開始訓練的CNN相比，遷移學習能更好地提高CNN的性能。Chen等[39]將CNN和RNN相結合，從顯微鏡圖像中分割出了神經元和真菌結構。

大多數關于醫學圖像分割的研究都是在二維圖像上進行的，但Milletari等[40]卻使用三維CNN對來自PROMISE 2012數據集的前列腺磁共振成像圖像進行分割。他們提出的V-Net具有U-Net架構[26]，模型的Dice系數為0.869。Pereira等[41]使用3×3矩陣的濾波器，設計了一個具有11層卷積層的CNN模型，并用274幅存在神經膠質瘤的腦磁共振成像圖像訓練該模型。他們的模型解決了過擬合問題，且在2013年國際醫學圖像計算和計算機輔助干預協會舉辦的“多模態腦腫瘤分割”挑戰賽中獲得了第一名。Havaei等[42]也研究了神經膠質瘤的圖像分割問題，他們的CNN模型中使用了一種級聯架構，即第一個CNN的輸出作為第二個CNN的輸入，算法的運行時間從100 min減少到3 min。Chen等[43]提出了一種DeepLab架構，在對PASCAL VOC-2012圖像分割上表現優秀。Casamitjana等[44]比較了各種三維CNN架構在圖像分割任務中的性能，發現由DeepMedic CNN[45]修改而來的模型對BRATS 2015腦瘤數據集中圖像的分割表現最好。他們提倡使用更小的感受野和多尺度架構。Stollenga等[46]則通過長短期記憶網絡對神經元的三維電子顯微鏡圖像和腦磁共振成像圖像進行分割。醫學圖像分割方法多種多樣，出于細分目的，RNN也很常用。Xie等[47]使用Clockwork RNN模型對由蘇木精-伊紅染色的組織病理學檢查圖像中的肌膜進行了分割。

2.4 醫學圖像配準

醫學圖像配準是一種常見的圖像分析任務，其通常在一種特定的（非）參數轉換類型的迭代框架中進行。目前，圖像配準主要有2種策略：第一種是使用深度學習網絡來估算2幅圖像的相似度，進而驅動迭代優化策略；第二種是使用深度回歸方法直接預測轉換參數。

El-Gamal等[48]介紹了醫學圖像配準的概念及其技術發展動態。神經外科或脊柱外科醫師使用圖像配準來定位腫瘤或脊柱骨“地標”，以便于手術切除腫瘤或植入脊柱螺釘。圖像配準涉及2幅圖像，即參考圖像和感知圖像，其中參考圖像可是術前腦磁共振成像圖像，感知圖像則可為首次切除腫瘤后的腦磁共振成像圖像。感知圖像被用來確定是否有殘余腫瘤以及是否需要進行二次切除。

Yang等[49]使用OASIS數據集中的腦磁共振成像圖像，以編碼-解碼的方式堆疊卷積層，以預測輸入像素如何變形為其最終配置。他們使用LDDMM配準模型，大大縮短了計算時間。Miao等[50]使用具有5層卷積層的CNN模型，將膝關節植入物、手部植入物和食管探頭的三維模型配準到二維X線片圖像上，以評估它們的姿態。他們的方法成功配準的用時僅為0.1 s，較傳統配準方法有顯著的進步。

3 小結和展望

深度學習是人工智能研究領域的熱點之一。在機器學習中，一個關鍵問題是數據問題，高質量的數據能有效提高算法的性能。但事實上，特別是在醫學圖像方面，高質量的帶標記的數據嚴重匱乏。因此，研究者們都希望能通過更好的模型架構來避免有限數據的限制，而本文所介紹的一些研究結果相對來說是令人滿意的。深度學習中的一些生成模型，如GAN和變分自編碼器，也可通過合成醫療數據來避免數據匱乏的問題。

本文第2節主要介紹了深度學習在醫學圖像分析中的一些傳統應用方式，即圖像分類、檢測、分割和配準。但現深度學習也有許多新的應用，如Nie等[51-52]使用GAN從原始圖像生成了分辨率更高的CT圖像。這種方法亦可用來生成高質量的磁共振成像圖像以降低醫療成本。Tsochatzidis等[53]完成了一項基于內容的圖像檢索和計算機輔助診斷相結合的工作。機器學習在醫學圖像分析方面的發展極其迅速，應用也會越來越多。

總的來說，盡管目前的人工智能應用于醫學圖像分析還有可解釋性、魯棒性等極其重要的問題需予解決，但在某些特定的圖像識別中，現有的人工智能已超過人類。相信未來人工智能系統一定能在很大程度上輔助、甚至替代醫師來讀片和診斷，而智能醫學圖像分析產品也會越來越多地進入臨床并得到實際應用。

參考文獻

[1] Litjens G， Kooi T， Bejnordi BE， et al. A survey on deep learning in medical image analysis [J]. Med Image Anal， 2017， 42： 60-88.

[2] Smolensky P. Information processing in dynamical systems： foundations of harmony theory [M]//Rumelhart DE， McClelland JL. Parallel distributed processing， Vol. 1. Cambridge， USA： MIT Press， 1986： 194-281.

[3] Goodfellow IJ， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets [EB/OL]. [2020-09-13]. https：//arxiv.org/ pdf/1406.2661.pdf.

[4] Abdel-Zaher AM， Eldeib AM. Breast cancer classification using deep belief networks [J]. Expert Syst Appl， 2016， 46： 139-144.

[5] Nie D， Zhang H， Adeli E， et al. 3D deep learning for multimodal imaging-guided survival time prediction of brain tumor patients [J]. Med Image Comput Comput Assist Interv， 2016， 9901： 212-220.

[6] Havaei M， Guizard N， Larochelle H， et al. Deep learning trends for focal brain pathology segmentation in MRI [EB/ OL]. [2020-09-13]. https：//arxiv.org/pdf/1607.05258.pdf.

[7] Yan Y， Qin X， Wu Y， et al. A restricted Boltzmann machine based two-lead electrocardiography classification [EB/OL].[2020-09-13]. https：//ieeexplore.ieee.org/document/7299399.

[8] Che Z， Purushotham S， Khemani R， et al. Distilling knowledge from deep networks with applications to healthcare domain [EB/OL]. [2020-09-13]. https：//arxiv.org/ pdf/1512.03542v1.pdf.

[9] Sun W， Tseng TB， Zhang J， et al. Enhancing deep convolutional neural network scheme for breast cancer diagnosis with unlabeled data [J]. Comput Med Imaging Graph， 2017， 57： 4-9.

[10] Andreu-Perez J， Poon CC， Merrifield RD， et al. Big data for health [J]. IEEE J Biomed Health Inform， 2015， 19（4）： 1193-1208.

[11] Futoma J， Morris J， Lucas J. A comparison of models for predicting early hospital readmissions [J]. J Biomed Inform， 2015， 56： 229-238.

[12] Lo SB， Lou SA， Lin JS， et al. Artificial convolution neural network techniques and applications for lung nodule detection[J]. IEEE Trans Med Imaging， 1995， 14（4）： 711-718.

[13] Rajkomar A， Lingam S， Taylor AG， et al. High-throughput classification of radiographs using deep convolutional neural networks [J]. Digit Imaging， 2017， 30（1）： 95-101.

[14] Rajpurkar P， Irvin J， Zhu K， et al. CheXNet： radiologist-level pneumonia detection on chest X-rays with deep learning [EB/ OL]. [2020-09-13]. https：//arxiv.org/pdf/1711.05225.pdf.

[15] Huang G， Liu Z， van der Maaten L， et al. Densely connected convolutional networks [EB/OL]. [2020-09-13]. https：//arxiv. org/pdf/1608.06993.pdf.

[16] Wang X， Peng Y， Lu L， et al. ChestX-ray8： hospital-scale chest X-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases[EB/OL]. [2020-09-13]. https：//arxiv.org/pdf/1705.02315.pdf.

[17] Shen W， Zhou M， Yang F， et al. Multi-scale convolutional neural networks for lung nodule classification [J]. Inf Process Med Imaging， 2015， 24： 588-599.

[18] Kallenberg M， Petersen K， Nielsen M， et al. Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1322-1331.

[19] van Tulder G， de Bruijne M. Combining generative and discriminative representation learning for lung CT analysis with convolutional restricted Boltzmann machines [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1262-1272.

[20] Khatami A， Khosravi A， Nguyen T， et al. Medical image analysis using wavelet transform and deep belief networks[J]. Expert Syst Appl， 2017， 86： 190-198.

[21] Li R， Zhang W， Suk HI， et al. Deep learning based imaging data completion for improved brain disease diagnosis [J]. Med Image Comput Comput Assist Interv， 2014， 17（Pt 3）： 305-312.

[22] Hosseini-Asl E， Gimelfarb G， El-Baz A. Alzheimers disease diagnostics by a deeply supervised adaptable 3D convolutional network [EB/OL]. [2020-09-13]. https：//arxiv. org/pdf/1607.00556v1.pdf.

[23] Korolev S， Safiullin A， Belyaev M， et al. Residual and plain convolutional neural networks for 3D brain MRI classification[EB/OL]. [2020-09-13]. https：//arxiv.org/pdf/1701.06643v1. pdf.

[24] Pratt H， Coenen F， Broadbent DM， et al. Convolutional neural networks for diabetic retinopathy [J]. Procedia Comput Sci， 2016， 90： 200-205.

[25] Plis SM， Hjelm DR， Salakhutdinov R， et al. Deep learning for neuroimaging： a validation study [J/OL]. Front Neurosci， 2014， 8： 229 [2020-09-13]. doi： 10.3389/fnins.2014.00229.

[26] Ronneberger O， Fischer P， Brox T. U-Net： convolutional networks for biomedical image segmentation [EB/OL].[2020-09-13]. https：//arxiv.org/pdf/1505.04597.pdf.

[27] Liao F， Liang M， Li Z， et al. Evaluate the malignancy of pulmonary nodules using the 3-D deep leaky noisy-OR network [J]. IEEE Trans Neural Netw Learn Syst， 2019， 30（11）： 3484-3495.

[28] Shin HC， Roth HR， Gao M， et al. Deep convolutional neural networks for computer-aided detection： CNN architectures， dataset characteristics and transfer learning [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1285-1298.

[29] Sermanet P， Eigen D， Zhang X， et al. Overfeat： integrated recognition， localization and detection using convolutional networks [EB/OL]. [2020-09-13]. https：//arxiv.org/ pdf/1312.6229.

[30] Ciompi F， de Hoop B， van Riel SJ， et al. Automatic classification of pulmonary peri-fissural nodules in computed tomography using an ensemble of 2D views and a convolutional neural network out-of-the-box [J]. Med Image Anal， 2015， 26（1）： 195-202.

[31] Esteva A， Kuprel B， Novoa RA， et al. Dermatologist-level classification of skin cancer with deep neural networks [J]. Nature， 2017， 542（7639）： 115-118.

[32] Cire？an DC， Giusti A， Gambardella LM， et al. Mitosis detection in breast cancer histology images with deep neural networks [J]. Med Image Comput Comput Assist Interv， 2013， 16（Pt 2）： 411-418.

[33] Yang X， Yeo SY， Hong JM， et al. A deep learning approach for tumor tissue image classification [EB/ OL]. [2020-09-13]. https：//www.researchgate.net/profile/ Xulei_Yang/publication/298929528_A_Deep_Learning_ Approach_for_Tumor_Tissue_Image_Classification/ links/56ed642108ae59dd41c5d00b/A-Deep-LearningApproach-for-Tumor-Tissue-Image-Classification.pdf.

[34] Sirinukunwattana K， Ahmed Raza SE， Tsang YW， et al. Locality sensitive deep learning for detection and classification of nuclei in routine colon cancer histology images [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1196-1206.

[35] Xu J， Xiang L， Liu Q， et al. Stacked sparse autoencoder（SSAE） for nuclei detection on breast cancer histopathology images [J]. IEEE Trans Med Imaging， 2016， 35（1）： 119-130.

[36] Akkus Z， Galimzianova A， Hoogi A， et al. Deep learning for brain MRI segmentation： state of the art and future directions[J]. J Digit Imaging， 2017， 30（4）： 449-459.

[37] Moeskops P， Viergever MA， Mendrik AM， et al. Automatic segmentation of MR brain images with a convolutional neural network [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1252-1261.

[38] Tajbakhsh N， Shin JY， Gurudu SR， et al. Convolutional neural networks for medical image analysis： full training or fine tuning？ [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1299-1312.

[39] Chen J， Yang L， Zhang Y， et al. Combining fully convolutional and recurrent neural networks for 3D biomedical image segmentation [EB/OL]. [2020-09-13]. https：//arxiv.org/ pdf/1609.01006.pdf.

[40] Milletari F， Navab N， Ahmadi SA. V-Net： fully convolutional neural networks for volumetric medical image segmentation[EB/OL]. [2020-09-13]. https：//arxiv.org/pdf/1606.04797.pdf.

[41] Pereira S， Pinto A， Alves V， et al. Brain tumor segmentation using convolutional neural networks in MRI images [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1240-1251.

[42] Havaei M， Davy A， Warde-Farley D， et al. Brain tumor segmentation with deep neural networks [J]. Med Image Anal， 2017， 35： 18-31.

[43] Chen LC， Papandreou G， Kokkinos I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs [J]. IEEE Trans Pattern Anal Mach Intell， 2018， 40（4）： 834-848.

[44] Casamitjana A， Puch S， Aduriz A， et al. 3D convolutional networks for brain tumor segmentation [EB/OL]. [2020-09-13]. https：//imatge.upc.edu/web/sites/default/files/pub/ cCasamitjana16.pdf.

[45] Kamnitsas K， Ledig C， Newcombe VFJ， et al. Efficient multiscale 3D CNN with fully connected CRF for accurate brain lesion segmentation [J]. Med Image Anal， 2017， 36： 61-78.

[46] Stollenga MF， Byeon W， Liwicki M， et al. Parallel multidimensional LSTM， with application to fast biomedical volumetric image segmentation [EB/OL]. [2020-09-13]. https：//arxiv.org/pdf/1506.07452.pdf.

[47] Xie Y， Zhang Z， Sapkota M， et al. Spatial clockwork recurrent neural network for muscle perimysium segmentation [J]. Med Image Comput Comput Assist Interv， 2016， 9901： 185-193.

[48] El-Gamal EZA， Elmogy M， Atwan A. Current trends in medical image registration and fusion [J]. Egypt Inform J， 2016， 17（1）： 99-124.

[49] Yang X， Kwitt R， Styner M， et al. Quicksilver： fast predictive image registration – a deep learning approach [J]. Neuroimage， 2017， 158： 378-396.

[50] Miao S， Wang ZJ， Liao R. A CNN regression approach for real-time 2D/3D registration [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1352-1363.

[51] Nie D， Trullo R， Lian J， et al. Medical image synthesis with context-aware generative adversarial networks [J]. Med Image Comput Comput Assist Interv， 2017， 10435： 417-425.

[52] Nie D， Cao X， Gao Y， et al. Estimating CT image from MRI data using 3D fully convolutional networks [J]. Deep Learn Data Label Med Appl， 2016， 2016： 170-178.

[53] Tsochatzidis L， Zagoris K， Arikidis N， et al. Computer-aided diagnosis of mammographic masses based on a supervised content-based image retrieval approach [J]. Pattern Recogn， 2017， 71： 106-117.

*基金項目：西安市科技創新計劃（高校重大科技創新平臺建設）資助項目（2019421315KYPT004JC006）

**通信作者：陳堅，副主任醫師。研究方向：消化道腫瘤的基礎研究與臨床診治。E-mail： chen5120@126. com