楊麗洋，文 戈

南方醫科大學南方醫院影像中心，廣東 廣州 510515

當前，醫學應用的成像技術主要包括X射線成像、CT、MRI、正電子發射斷層掃描和超聲等［1］。隨著科學技術的發展和醫學影像設備的發展，手動進行數據解釋和分析已逐漸成為一項具有挑戰性的任務［2］。醫學圖像的診斷和分析依賴于醫生的專業知識和經驗，疲勞和情緒狀態對其影響很大［3］，這可能導致同一位放射科醫生在不同時間，或檢查同一圖像的不同放射科醫生之間的結果不一致。

深度學習和機器學習作為人工智能的重要分支，在醫學影像學方面有著廣泛的應用。機器學習是將算法應用于一組數據，從該數據中學習知識并應用所學的知識可以做出預測［4］，其數據特征在機器學習中是手動提取的，而在深度學習中數據特征的提取是一個完全自動化的過程［2］。深度學習是通過多層非線性神經網絡層將數據的低級別特征進行組合并轉換成高級別、復雜的抽象特征，以完成復雜任務的學習［5］。應用深度學習方法，可以從海量醫學影像數據中自動提取抽象特征，既消除了主觀因素的影響，又能提取到更高級的抽象特征［6］，有助于協助醫生對疾病做出精確診斷。

1 模型介紹

深度學習與機器學習一樣，可分為兩種：監督學習與無監督學習。監督學習需要通過有標注的數據進行訓練得到模型，即先輸入計算機一些問題的正確答案，然后在此基礎上判斷和分析新案例［7］，監督學習在醫學影像處理中的常見模型有卷積神經網絡（CNN）和循環神經網絡（RNN）。無監督學習是處理未標注的數據，并訓練生成模型［8］，在醫學圖像應用中常見的模型有深度置信網絡（DBN）和自動編碼器（AE）。

1.1 CNN

生物學家Hubel等［9］基于對貓視覺皮層細胞的研究，首次提出了感受野的概念。Fukushima［10］根據Hubel和Wiesel的層級模型提出了神經認知機模型，它被認為是CNN的第一個實現網絡。之后，相繼出現了基于CNN的改進模型：LeNet、AlexNet、VGG、GooleNet和ResNet。CNN是經典的深度學習網絡，最大的優點是它的多層結構具有自動學習的特點［11］。

CNN基本結構包括卷積層、池化層和全連接層。卷積層提取輸入數據的不同特征，且通過權值共享減小模型的復雜度，使網絡更易于訓練；池化層通過降低輸入特征的分辨率獲得具有空間不變性的特征，起到二次提取特征的作用；全連接層或稱分類器，整合卷積層和池化層中具有類別區分性的局部信息［12］。因此，CNN通常是醫學圖像分類的首選。

1.2 RNN

RNN通常用于處理序列數據［13］。RNN的層級結構由輸入層、隱藏層和輸出層組成，其最大的特點的是隱藏層之間的神經元是有連接的，即神經元在某時刻的輸出可以作為輸入再次輸入到神經元，這種串聯的網絡結構非常適合于時間序列數據，可以保持數據中的依賴關系,因此具有記憶能力。但是此模型很難訓練，往往會出現梯度消失或梯度爆炸的問題，無法達到長期依賴的目標。為此，提出了長短期記憶網絡和門控循環單元來解決長期依賴問題［8］。

1.3 DBN

DBN由Hinton等［14］提出，它是一種生成模型，通過訓練器神經元間的權重，可以讓整個神經網絡按照最大概率來生成訓練數據。DBN既可以用于識別特征、分類數據，也可以用來生成數據。DBN的組成元件是受限玻爾茲曼機。DBN由多層神經元構成，分為顯性神經元和隱性神經元（顯元和隱元）［8］，顯元用于接收輸入，隱元用于提取特征，也稱特征檢測器，層與層之間的神經元存在連接，但層內的神經元間不存在連接。

1.4 AE

AE包括編碼層、隱藏層和解碼層，編碼層壓縮圖像數據，解碼層將其擴展，中間的隱藏層學習圖像內像素的復雜關系［15］，起到對目標特征提取和降維的作用。為了實現分類，在AE的最頂層的編碼層添加一個分類器。AE的變體包括稀疏自編碼器、降噪自編碼器。

2 深度學習在醫學影像中的應用

2.1 疾病的分類

在醫學圖像分類中，通常將一個或多個圖像作為輸入，單個診斷變量作為輸出（例如是否存在疾病），CNN是目前圖像分類領域的標準［8］。

深度學習方法在肺結節分類的應用主要是肺結節性質（實性結節、部分實性結節、磨玻璃結節）的鑒別和良惡性判斷［16］。Li等［17］構建了基于深度學習的計算機輔助診斷系統（DL-CAD）模型與由兩個放射科醫生組成的雙重診斷對CT肺結節性質的鑒別比較，結果顯示，DL-CAD對實性結節、磨玻璃結節的敏感性與特異性分別是90.3%和100%、100%和96.1%，非常接近于雙重診斷，說明DL-CAD模型對肺內的實性結節和磨玻璃結節的診斷與放射科醫生的診斷具有一致性；但是DL-CAD鑒別部分實性結節的敏感性與特異性降低到了55.5%和93%，說明DL-CAD在診斷肺內部分實性結節的性能上仍有待提高。Zhang等［18］在少于70名受試者的小數據集中測試體素級一維CNN模型的分類性能，結果表明，該模型成功地區分胸部CT影像中肺結節的良惡性，AUC、準確性、敏感性、特異性分別為0.71±0.08、0.78±0.03、0.8±0.11、0.53±0.15。

2019年末，全球爆發了新型冠狀病毒肺炎（COVID-19）。影像學方面的研究顯示，磨玻璃結節和實變是COVID-19患者肺部主要的影像學表現。Guan等［19］觀察入院的975例COVID-19患者CT圖像，86.2%顯示胸部影像有異常，其中最常見的影像學表現是磨玻璃結節（56.4%）和雙肺斑片狀陰影（51.8%）。針對COVID-19的大爆發，胸部CT檢查在疾病的篩查與患者復查中不可或缺，我們可以應用深度學習模型幫助放射科醫生早期對COVID-19做出診斷，并提高準確性。

此外，深度學習在MRI方面也有一定的應用，目前尚在研究階段。MRI由于無電離輻射且成像對比度好，因此普遍用于腦疾病的診斷，但MR圖像包含大量的數據信息，使放射科醫生分析圖像和診斷疾病的工作更復雜。由于標注的數據量有限,用于預訓練的數據集少，在訓練過程中會產生過擬合，而遷移學習可以解決這一問題，它是將在之前一個相對大的數據集學習到的知識或模型應用到數據集少但相關的領域中［20］。例如，Talo等［21］使用基于CNN的遷移學習ResNet34模型對正常和異常腦部MR圖像進行自動分類，結果表明，ResNet34對613個MR圖像的驗證集準確分類，實現了100%的分類準確性。有研究用AlexNet、VGG-16、ResNet-18、ResNet-34和ResNet-50模型將腦部MR圖像自動分類為正常、腦血管病、腫瘤、退變和炎性病變，且使用5倍交叉驗證來評估五種預訓練模型的分類性能，其中ResNet-50模型分類準確性最佳，為（95.23±0.6）%［22］，說明這些模型可以實現醫學圖像的準確自動化分類。

2.2 圖像的分割

醫學圖像分割是要從背景圖像中識別器官或病灶的像素，而對器官或病灶的精確分割有利于影像上目標物體積、形狀等臨床指標的定量分析［8］。在醫學圖像分割中，最著名的架構就是U-net［23］，其特點是等量的上采樣層與下采樣層的結合。U-net的基礎是全卷積神經網絡，但又不同于全卷積神經網絡。其中，U-net較淺的高分辨率層用來解決像素定位的問題，較深層用來解決像素分類的問題，將淺層特征圖與深層特征圖結合，用于圖像分割及邊緣檢測［11］。但是U-net往往會忽略不同比例特征圖的影響，之后提出的特征金字塔網絡用于檢測不同比例物體［24］。

為了定量評估模型的分割性能，相關的測量指標有戴斯分數、平均絕對距離、豪斯多夫距離等［25］。例如，左心室的分割是定量測量一些臨床數據（如面積、體積和射血分數）的關鍵，Moradi等［26］構建了多特征金字塔U-net（MFP-Unet）模型分割超聲心動圖中的左心室結構，與U-net、dilated U-net、U-net++、ACNN、SHG 和Deeplabv3架構比較，結果表明，MFP-Unet在各項測量指標中均取得最佳的結果，與手動計算的體積、面積、長度和射血分數之間的高度一致性。

此外，有研究使用U-net的變形架構自動分割腰部MR圖像中的椎旁肌肉［27］，該模型包含兩個主要模塊：殘差模塊和特征金字塔注意力模塊，并納入120例患者，與其他多種模型比較，來評估該模型的分割性能。結果顯示，在分割多裂肌的測試集中，該模型的戴斯相似系數、靈敏性、特異性、豪斯多夫距離分別為0.949±0.034、0.951±0.046、0.950±0.035、4.62±2.81；在分割豎脊肌的測試集中，該模型的戴斯相似系數、靈敏性、特異性、豪斯多夫距離分別為0.913±0.082、0.920±0.100、0.919±0.073、7.89±5.61。結果表明，該模型可以對腰部MR圖像中的椎旁肌肉精準的分割，以實現腰椎疾病（如慢性腰痛、腰椎間盤突出、椎管狹窄等）的自動化分析。

Budak等［28］提出使用級聯深度卷積編碼器-解碼器神經網絡進行肝臟及肝腫瘤的分割，結果顯示，該方法對肝臟分割的DICE分數是95.22%，與手動分割肝臟具有很好的一致性；對肝臟腫瘤分割的DICE分數是63.4%，此值雖然很低，但仍比其他方法的性能水平平均高3.3%。可見，在醫學圖像分割中，多種基于深度學習的架構在對器官或病灶的自動分割上與手動分割具有高度的一致性。

2.3 病灶的檢測

在醫學圖像中檢測異常（包括腫瘤和其它可疑物的生長）是放射科醫生日常工作中常見的部分。但是，病灶區域相對于整幅圖像往往很小，人工標記病灶費時且具有主觀性，基于深度學習的自動檢測方法可提高病灶檢測的效率和可靠性，目前多應用于肺結節、乳腺癌的檢測。

Ye等［29］使用AlexNet、GoogLeNet和ResNet50模型檢測肺結節。結果表明，AlexNet檢測肺結節的性能最佳，檢測率為95%；預訓練的ResNet50對磨玻璃結節的檢測性能較好，準確性是0.87，F值最大值0.87 805。有研究納入346位健康受試者，比較基于深度學習的計算機輔助診斷（DL-CAD）與由兩個放射科醫生組成的雙重診斷對CT肺結節的檢測性能。結果顯示，DL-CAD和雙重診斷對肺結節的檢測率分別是86.2%和79.2%（P＜0.001）［17］。這說明DL-CAD對肺結節的檢測優于雙重診斷。但也有研究發現，DL-CAD檢測肺結節的假陽性率比雙重診斷更高。

一個高性能的肺結節檢測系統必須具有高靈敏性和高精確性，因此，肺結節檢測系統包括兩個階段，一個是結節的檢出，另一個是降低檢測的假陽性率［16］。為此，有研究提出了一種降低假陽性率的方法［30］，MR-森林是肺結節檢測中降低假陽性的深度決策框架。他們在兩個數據集中比較MR-森林與Multi-view、3DDCNNs（PATech）、3DDCNNs（Ding）、LightGBM 模型降低肺結節假陽性率的CPM分數，結果顯示，MR-森林在兩個數據集中的CPM分數分別為0.865和0.910。其結果表明，MR-森林可替代自動肺結節檢測系統，既滿足了資源消耗低又滿足有效性。可見，目前使用的深度學習方法在肺結節檢測系統中的應用很成熟，檢測準確率高且假陽性率低。

還有許多研究集中在乳腺病變上，例如，Ribli等［31］構建了基于Faster R-CNN的CAD模型，用于對乳腺X線照片的病變進行檢測和良惡性分類。結果顯示，該模型在INbreast數據庫中的AUC=0.95，對乳腺良惡性病變具有很好的分類性能。同時，該模型在INbreast數據庫中檢測惡性病灶的靈敏性為0.9，可見基于Faster R-CNN的CAD模型對乳腺惡性病灶的檢測性能較CAD系統的特性好。在乳腺X線攝影中，使用CNN進行檢測和分類之間存在很多重疊，因為許多設計用于檢測的CNN最終也旨在對病變進行分類［32］。

病灶的檢測、分割和分類都是為了準確的診斷病變，Gao等［20］提出了多任務深度學習（MTL）將病灶檢測、分割和分類問題聯合解決，這是一種通過特征遷移（FT）實現的MTL模型，即FT-MTL-Net。為了評估該方法的有效性，將FT-MTL-Net與文獻中的各個模型進行了比較，這些模型均使用公開提供的全數字化乳腺X線照片數據集進行乳腺癌診斷。實驗結果表明，所提出的FT-MTL-Net在分類和檢測方面優于其他模型，并且在分割方面具有可比性。

3 總結與展望

目前，深度學習方法在醫學影像上的研究還主要集中在發病率比較高的疾病上，即可獲取的患者圖像數據量比較多的疾病研究中，而對一些罕見疾病的研究則很少。這是由于深度學習神經網絡層數多、層次復雜，需要大量的數據進行模型訓練和測試，才能準確提取疾病的圖像特征。在醫學領域中，高質量標注的影像數據很少，會導致訓練數據的類別不平衡，當各類別訓練數據不平衡時，預測結果會偏向樣本量多的類別，出現過擬合問題［33］。Dropout是防止過擬合的一大有力手段，Dropout是指在深度學習網絡的訓練過程中，對于神經網絡單元按照一定的概率將其暫時從網絡中丟棄。另外，可以通過數據擴增（縮放、翻轉、平移、旋轉、裁剪）的方法增加訓練和測試中的樣本量。

同時，全國各地醫院應當實現醫學影像數據庫共享，在工作中及時將有價值的病例加入，不斷擴增疾病的樣本量，積極配合推進深度學習在醫學影像中的研究。因此，有必要建立高質量數據庫和有效的深度學習模型，醫學影像豐富的數據模式也有利于深度學習方法研究的不斷完善。總之，深度學習方法的應用可以極大的緩解放射科醫生的工作壓力，提高疾病的診斷效率和準確率，具有廣闊的前景。相信在不久的將來，會有完善的深度學習診斷模式應用于醫學影像的臨床診療工作中。