卷積神經網絡在生物醫學圖像上的應用進展

楊培偉，周余紅，邢 崗，田智強，許夏瑜

1.西安交通大學 生命科學與技術學院 生物信息工程教育部重點實驗室，西安 710049

2.西安交通大學 仿生工程與生物力學中心，西安 710049

3.西安交通大學 軟件學院，西安 710049

生物醫學是綜合生命科學、生物學和醫學發展起來的一門前沿交叉學科，通過生物學、醫學及工程技術手段研究和解決生命科學及醫學中的問題，從而提高醫療診斷技術，改善人類健康水平。成像技術是生物醫學中的核心技術之一，其應用主要包括生物學圖像和醫學圖像兩個方面。研究者借助不同級別的圖像來分析研究從細胞到個體各個層次的問題。近年來，隨著成像技術不斷發展，一方面新的成像方式不斷出現，另一方面圖像在空間和時序上的分辨率在不斷提升，這不僅使得生物醫學圖像在數量上急劇增加，也使得圖像中的信息量爆炸式增長。然而，能夠對圖像進行分析和解讀的相關技術人員并沒有顯著增加，爆炸增長的圖像信息將相關技術人員和醫師淹沒在重復枯燥的分析圖像的工作中，無法真正從事有效的信息歸納分析工作。因此，對生物醫學圖像的自動分析就顯得越來越重要。

深度學習（Deep Learning，DL），尤其是卷積神經網絡（Convolutional Neural Networks，CNN）技術近年來迅速發展，為生物醫學圖像的自動分析提供了有力的工具。近些年，伴隨計算機硬件的發展，CNN在處理圖像的速度、精度方面都在不斷提升，其在處理生物醫學圖像方面的優勢也尤為凸顯。一方面，CNN 對原始圖像直接進行學習，避免了傳統算法復雜的特征提取和參數設置；另一方面，CNN避免了全連接神經網絡的空間信息丟失問題，又采用局部感受野及權重共享機制解決了參數過多的問題。由于其上述優勢，CNN 模型在計算機視覺領域的應用發展迅速并取得顯著成果。例如，在最近的新冠肺炎中，多款基于CNN 模型實現的新冠肺炎“CT+AI”輔助診斷系統落地，在此次抗擊疫情中發揮了有效的作用，極大地減輕了醫院和醫生的負擔。

近年來，隨著CNN 模型的發展，涌現出大量利用CNN模型進行生物醫學圖像分析的方法。之前已有相關文獻對CNN 網絡在圖像處理中的應用進行了歸納，如梁蒙蒙等[1]以CNN的發展歷史為主線講述了CNN模型的各種改進方法，并簡要提及了CNN 在醫學圖像上的應用。Shen 等[2]與Litjens 等[3]分別針對2017 年以前DL 在醫學方面的應用進行了調研與總結。然而，一方面，隨著近年來CNN網絡架構的不斷發展，其在生物學和醫學中的應用也取得了不少進展。從2017到2019年底，在Web of Science 上共檢索到31 274 篇文章利用CNN 技術對生物醫學圖像進行處理，其中11 202 篇針對細胞生物學圖像以及20 072 篇針對醫學圖像（如圖1）。另一方面，以上文章主要側重于總結CNN 在醫學圖像方面的應用，沒有對其在生物學圖像中的應用進行總結。生物學圖像在生物醫學研究中起到重要作用，也存在與醫學圖像分析相似的挑戰，例如數據量大、精度要求高等。將CNN在生物學和醫學圖像中的應用放在一起討論可對其在生物醫學領域的進展有更全面的了解。因此，對近年來該領域的研究成果進行了調查研究和梳理總結，一方面幫助生物醫學領域研究者了解CNN 模型在生物醫學圖像中可以解決的問題、能達到的效果等；另一方面幫助算法開發者了解CNN 在生物醫學領域的主要應用領域、可用的數據集，以及面臨的挑戰等。

在后面的文章中，首先簡要介紹CNN 的發展歷史和它的結構和原理，之后著重從細胞生物學圖像和醫學影像兩個方面對CNN 在生物醫學圖像中的研究成果進行梳理總結。最后，試著提出目前CNN 在生物醫學圖像研究中存在的問題，并對今后的發展方向進行展望。

1 卷積神經網絡發展簡介

本章首先回顧早期神經元模型到CNN模型的發展歷程（如圖2），然后重點分析CNN 模型架構設計、應用設計和評估方法。

1.1 CNN模型簡介

CNN 模型由早期的人工神經網絡發展而來，使用卷積操作解決了人工神經網絡計算量大和結構信息丟失的缺點。1982 年，為模擬人類視覺認知功能，Fukushima 等[4]提出神經認知機（neocognitron）的概念，這被認為是CNN的起點。1989年，LeCun等[5]構建起最初的LeNet 模型，其包含卷積層、全連接層。經過改進，1998年，LeCun 等[6]提出了經典的LeNet-5 模型，較好地解決了手寫數字識別問題。該模型已經包含了現代CNN網絡的全部基本模塊：卷積層、非線性激活層、池化層、全連接層。

卷積層是CNN 模型的核心，具有局部連接和權重共享的特性，其作用是通過卷積核對數據進行特征提取，抽象出更高層次的特征。非線性激活函數則增加了模型的非線性，極大地豐富了模型的表達能力。池化層對特征圖進行了壓縮，一方面增大了感受野，使得模型具有一定的平移、旋轉不變性；另一方面，也降低了優化難度和計算量。全連接層在CNN模型末端將提取到的特征映射到樣本標簽上，起到分類器的作用。

以LeNet-5 為基礎的CNN 模型在近些年得到了不斷改進，模型性能也得到了極大提高。

1.2 CNN模型的架構設計

圖1 2017—2019年底CNN在生物醫學圖像分析的應用統計

圖2 CNN及其在生物醫學圖像分析上的應用發展

CNN模型發展過程中，其優化方式涉及架構設計、激活函數和優化策略的改進等。CNN模型的架構設計對于CNN 模型的性能提升起了很大作用。在CNN 模型發展初期，架構設計主要集中在模型深度、寬度方面。

提升模型深度，能夠增強模型的抽象能力。一個更深的模型往往擁有更好的特征提取能力，但其優化過程也更困難，會出現梯度爆炸或梯度彌散等問題。LeNet-5 由3 個卷積層、2 個池化層、2 個全連接層組成。2012年，Krizhevsky等[7]提出的AlexNet模型則由5個卷積層、5 個池化層、3 個全連接層組成。AlexNet 模型中使用ReLU 激活函數替換Sigmoid 函數，來解決梯度彌散問題；使用Dropout 方法在訓練時隨機丟棄輸出來防止過擬合現象的發生。AlexNet 模型將ImageNet 圖像分類數據集[8]的Top-5錯誤率降低到16.42%，以極大的優勢獲得2012 年冠軍。2014 年，由牛津大學視覺組提出的VGG模型[9]深度比AlexNet模型提升了一倍。VGG模型中使用多個小卷積核來替換AlexNet 中的大卷積核，在減小計算量的同時增加了模型深度，豐富了模型非線性表達能力。VGG 模型在ImageNet 數據集上Top-5 錯誤率降低到6.8%。然而，研究表明，增加模型深度對模型性能提升是有限的。這主要由如下兩個原因導致：一是當模型寬度過窄，每層提取的特征有限，增加模型深度也難以完全表達任務特征；二是深層模型仍會因梯度消失而優化困難。在這之后的模型設計針對這兩個方面進行了針對性改進。

拓展模型寬度，能夠豐富模型提取的特征。模型的寬度，即每層特征通道數量，決定著模型每一層可以提取的特征圖的規模。常用的方法有直接調整通道數量，多分支網絡結構設計，通道特征融合。AlexNet 與VGG 模型在增加深度的同時，通過直接增加每層的通道數量來擴展模型的寬度。2014 年，由Szegedy 等[10]提出的GoogLeNet 模型使多分支網絡結構設計來拓展模型寬度。該分支結構被稱為Inception 結構，主要由1×1、3×3、5×5 卷積核和3×3 最大池化操作4 個分支組合而成。不同大小的卷積核可以從圖像中提取不同尺度的特征，豐富模型表達能力。GoogLeNet 模型使得ImageNet 分類Top-5 錯誤率降低到了6.67%，在精度和速度上均高于VGG，獲得2014 年冠軍。此后Inception結構不斷迭代發展，在Inception v2模型[11]引進了BN層來加快模型收斂速度并防止過擬合，Inception v3 模型[12]采用卷積拆分的思想，減少計算量，Inception v4模型[13]使用殘差連接來降低計算開銷。模型的寬度過寬會造成參數冗余，增加過擬合的風險。

殘差連接，降低深層模型的收斂難度。梯度消失造成深層次的網絡訓練困難。2015 年，He 等[14]提出的ResNet 模型使用殘差連接來解決梯度消失問題。殘差連接的思想是，在模型設計中引入恒等變換，使得模型訓練過程中能夠學習信號的差值，從而增強了模型的反向梯度傳播，簡化了學習過程。ResNet模型將ImageNet圖像分類Top-5錯誤率降低到了3.57%。由于使用殘差連接可以使得模型更深，更容易訓練，該方法是CNN模型設計中最常用的結構之一。2016年，DenseNet模型[15]設計的dense block進一步發展了殘差連接，將模塊內的每一層都與其他層相連，在加深模型的同時提高模型特征的利用率，相比ResNet使用的參數量和計算量更低。

增加深度和寬度是初期的CNN模型提高性能的關鍵因素，但也存在一定上限，且容易導致優化困難、過擬合、計算量大難以部署的問題。之后，新的CNN模型的架構設計主要通過探索能夠有效利用數據特征的方法以及能夠降低計算量的特殊卷積操作來解決上述問題。

提高數據特征利用的方法主要有，融合淺層和深層特征，增加感受野，使用注意力機制等。跳層連接能夠融合模型淺層和深層不同語義級別的特征信息，增強模型的特征表達能力。跳連接常被用于改善分割模型上采樣階段空間信息不足，提高分割的精度，如FCN[16]、U-Net[17]、SegNet[18]等模型。改善感受野常用的方法有多尺度和空洞卷積。多尺度模型的設計方案主要采用多尺度圖像輸入、融合多尺度特征以及融合多尺度預測結果的方法來獲得不同感受野?？斩淳矸e則通過加大卷積核各像素的間距來增加模型的感受野。豐富的感受野，可以使得模型更好地獲得上下文信息，這對于多尺度的圖像分割任務是十分重要的。如Deeplab v3[19]使用空洞卷積和多尺度特征融合方法設計了ASPP（Atrous Spatial Pyramid Pooling）模塊，有效地利用了上下文信息，提高了模型對不同尺度物體的分割精度。注意力機制能夠使模型自動選擇圖像空間中、通道間對于任務最重要的部分進行下一步處理。注意力機制主要分為空間和通道注意力兩種設計方法?？臻g注意力模型能夠定位感興趣區域，通道注意力模型能夠建模不同通道特征重要程度。2017年，SENet模型[20]利用通道注意力機制學習通道間相關性，突顯重要的特征通道，抑制不重要的特征通道，將ImageNet分類的Top-5錯誤率降低到了2.25%，獲得最后一屆的冠軍。注意力機制可以直接嵌入到不同模型中，因此是最為常用的改進方法之一。

特殊卷積操作可以在確保模型準確率的情況下降低計算量，主要方法有卷積分組和拆分。卷積的分組是將輸入通道分為不同的組，每一個輸出通道只與某一個組的輸入通道相關。而卷積拆分則通過將k×k大小的卷積操作拆分成1×k和k×1 的卷積操作，以此來降低計算量，同時由于該操作加深了模型深度，也能夠增加模型的表達能力。

1.3 CNN模型的應用設計

CNN模型能夠自動從數據中抽象特征來實現特定任務，因此模型結構具有很強的通用性，所以可用任務的數據直接訓練常用CNN模型。如分類任務中常用的VGG、ResNet、Inception系列等，檢測任務中的Faster RCNN[21]、YOLO 系列[22]，分割任務中的FCN、U-Net、Seg-Net等。

分階段任務處理通常能幫助模型取得更好得結果。通常分為預處理、CNN模型預測、后處理階段。預處理是對任務原始數據進行操作，能夠規范化數據、去除噪聲等，即可采用傳統圖像處理方法，也可以使用CNN 模型實現。如在新冠肺炎檢測中[23]，可以通過UNet進行預處理獲得肺部區域，再使用ResNet模型進行區分肺炎類別。后處理結合任務特點，使用特點規則對CNN模型輸出的進行轉化或者進一步改善。

常用的CNN模型不能直接應用到三維數據上。三維卷積和多視圖方法被提出用于處理三維數據。三維卷積核對二維卷積核進行改進，增加了表示深度的維度，實現對三維數據進行卷積操作?？梢杂糜诮鉀Q三維醫學影像，如CT、MR影像等的分類、分割等問題。三維卷積存在計算耗費量大的問題。多視圖是指利用三維數據的多個不同方向的切面作為輸入，使得模型能夠獲得數據三維上下文信息來完成任務。由于不需要整個三維數據的輸入大大降低了計算量。

多模態輸入是CNN模型在醫學圖像分析應用中常用的方法，不同的模態能夠為模型提供不同的信息，例如腦部病變在T1 加強模態和T2 加強模態的MRI 圖像中表現是不同的。

CNN模型可以通過遷移學習和數據增強技術解決數據不足的問題。遷移學習是一種知識共享技術，是將已經預訓練好的模型中的部分知識遷移到一個未經訓練的模型上，通過固定模型特定層的參數，通常為模型淺層，再通過訓練微調部分層參數，實現利用小規模數據集構建新模型的設計。預訓練好的模型的淺層通常已經具備一定的提取通用圖像特征（如邊緣、紋理、形狀等）的能力，通過直接將這些知識引入到模型中，可以有效地減少新模型訓練所需要的數據量和降低計算的復雜度。數據增強是豐富圖像訓練數據集最常用的技術，常采用的方法有旋轉變換、水平與垂直翻轉、彈性變形、比例縮放、對比度變換、噪聲擾動、顏色變換等。通過使用數據增強產生的數據可以幫助網絡模型更好地提取圖像特征，防止模型過擬合。

CNN 模型應用及設計發展迅速，針對不同任務選擇合適的設計方法可以極大的提高模型的性能。

1.4 CNN模型性能的評估方法

分類是圖像處理中最基礎的任務，其評價指標主要有準確率、精確率、召回率，F1-Score、混淆矩陣、ROC曲線與AUC 等。準確率表示所有樣本中正確分類的概率。精確率針對的是預測結果，表示真值為正的樣例在預測為正的樣本中所占的比例。召回率針對的是實際樣本，表示預測為正的樣例在真值為正的樣本所占的比例。如果想要同時關注準確率和召回率，則可以使用它們的調和平均數F1-Score。F1-Score 只有精確率和召回率都高的情況下才會很高。混淆矩陣是一種使用矩陣形式表示誤差的方法，可以用于詳細展示預測結果和真值。ROC曲線可以描繪一個模型在不同參數閾值下的表現，AUC 為ROC 曲線下面積，AUC 的值可以量化一個分類模型的性能。

除了以上評估指標外，在檢測和分割模型上常用的評價指標還有IOU和Dice。IOU定義為兩個面積的交集和并集的比值；Dice 是兩個集合的相似度量方法，常用于評價分割模型的性能。值得注意的是，盡管Dice與F1-Score的公式定義形式不同，但實際值是相等的，因此有的文章中也會使用F1-Score作為分割模型的評估指標。

為模型選擇合適的評價指標能夠有效地評估模型性能，利于模型改進與完善。

2 CNN在生物醫學圖像中的應用

本章將從細胞生物學圖像和醫學影像兩個方面對CNN的應用分別進行闡述。

2.1 在細胞生物學圖像中的應用

細胞生物學涉及細胞形態結構、細胞分裂等。隨著成像技術的進步，現代細胞生物學研究越來越依賴圖像對細胞和分子機制做出解釋。通過成像技術可以對細胞機制進行觀察分析，揭示健康和疾病細胞的發生發展和轉化規律。生物成像技術發展至今，數據量呈指數增長，如何高效地利用這些海量的圖像信息成為一個巨大挑戰。計算機輔助的圖像分析一方面可以緩解因分析人員的主觀性和易疲勞等因素導致的客觀性和可重復性的降低，另一方面可以在空間和時序上捕捉人眼無法察覺的細微圖像特征，進而更高效地獲取圖像信息。以下將從細胞及其結構檢測、細胞有絲分裂檢測等方面講述CNN在細胞生物圖像分析中的應用（如圖3），并匯總在表1中。

圖3 CNN在細胞生物學圖像分析中的應用實例

表1 卷積神經網絡在細胞生物學圖像處理中的應用

2.1.1 細胞及其結構檢測

細胞檢測是細胞生物學圖像分析中的一個基本問題，常見的細胞檢測有全血細胞檢測、病變細胞檢測等。同類細胞形態多變，不同細胞形態相似以及細胞間局部重疊等是細胞檢測中的主要挑戰。全血細胞計數通過血液中各種血細胞數量的變化來反映疾病的狀態。在這方面，Wang 等[24]通過融合多個由CNN 構建的分類器實現了單核細胞、淋巴細胞、嗜酸性粒細胞和中性粒細胞4 種白細胞的分類，該方法將多個CNN 分類器的輸出進行融合以尋找局部一致的、有代表性的模式，提高模型的通用性。該方法在410 張載玻片圖像（https：//github.com/dhruvp/wbc-classification/tree/master/Original_Images）上對四類白細胞的分類準確率達到99.90%。為實現血細胞的準確計數，需要解決細胞間重疊區域的分離問題。Tran 等[25]通過先分割細胞再檢測其分割圖的方法解決了細胞局部重疊的問題，該方法利用VGG-16預訓練的權值來初始化SegNet模型，首先實現紅細胞以及白細胞的分割，然后結合歐式距離變換、局部極大值和連通域標記等方式來分離重疊細胞并實現細胞計數。該方法在包含108 張血液樣本顯微鏡圖像的ALL-IDB1數據集上，紅細胞和白細胞計數的最終準確率分別達到了93.30%和97.38%。細胞重疊現象還會影響到病變細胞的檢測效果，細胞重疊現象也會影響到病變細胞的檢測。針對這一問題，Liu 等[26]則結合后處理技術實現重疊細胞的分離，該方法首先利用CNN網絡生成細胞候選區域并對候選區域進行評分，然后將細胞候選對象作為頂點、評分作為權值構造一個無向加權圖，將細胞檢測問題轉換為最大權重獨立集問題，從候選對象中選擇最佳檢測結果組成最終的細胞檢測結果。該方法能夠有效解決細胞重疊區域的細胞檢測問題，在24 張神經內分泌細胞圖像和16 張肺癌細胞圖像上準確率分別達到了90.03%和88.43%。

細胞結構包括細胞膜、細胞質和細胞核等，細胞質結構的重疊會模糊圖像中的細胞邊界，因此往往需要先將細胞結構分割出來再實現細胞邊界的分割。Song等[27]使用多尺度CNN從宮頸細胞圖像中分割出所有細胞核和細胞質，進而利用高斯核擬合細胞的形狀，通過優化勢能函數來最優化細胞質的標記結果，最后該方法利用后處理技術來獲得精確的細胞邊界。該方法在含有8張宮頸細胞的ISBI 2015數據集上分割細胞核與細胞質結果的Dice值分別達到了0.93和0.91。

2.1.2 細胞有絲分裂檢測

細胞有絲分裂可為癌變細胞的檢測提供重要信息，例如乳腺蘇木精和伊紅染色切片中的有絲分裂細胞數量是判定乳腺癌侵襲性的重要指標。有絲分裂自動檢測主要受到兩方面影響：一是有絲分裂細胞在不同階段的形狀和結構不同；二是其他細胞的外觀與有絲分裂細胞具有相似性。為解決有絲分裂的檢測問題，國際模式識別大會（International Conference on Pattern Recognition，ICPR）發布了ICPR2012（http：//ipal.cnrs.fr/ICPR2012/）（50 張有絲分裂全標注圖像）和ICPR2014（http：//mitosatypia-14.grand-challenge.org/）（1 696 張有絲分裂質心標注圖像）有絲分裂數據集?；谏鲜鰯祿?，Cire?an 等[28]利用全連接CNN 來檢測有絲分裂。針對圖像中的任意給定像素，該方法提取以該像素為中心的圖像塊并利用CNN網絡預測該像素接近有絲分裂質心的概率，然后結合后處理得到有絲分裂的檢測結果。該方法在ICPR2012 數據集上F1-socre 達到0.782。Chen等[29]則通過級聯兩個CNN模型對有絲分裂進行檢測，該方法首先利用一個FCN 模型輸出有絲分裂候選者的概率圖，從而快速檢索有絲分裂候選細胞，然后利用預訓練的CaffeNet檢測模型[30]對候選細胞進行進一步區分。該方法在ICPR2012數據集上平均F1-score達到0.788，在ICPR2014 數據集上平均F1-score 達到0.482。此外，研究者通過將僅標注質心的弱標注圖像轉化為強標注圖像的方式對數據量進行擴充。Li 等[31]利用強標注的ICPR2012 數據集訓練一個FCN 分割模型，再將弱標注的ICPR2014數據集輸入該模型從而得到像素級標注的細胞有絲分裂圖像。其檢測方法繼續延用網絡級聯的方式，首先使用基于Faster R-CNN 的深度檢測模型產生初級檢測結果；然后利用ResNet-50 的驗證模型去除誤檢結果。當使用該方法的全部模型進行處理時，在ICPR2014數據集上F1-score達到0.572。

目前，利用CNN 模型進行細胞生物學圖像的分析正在逐步發展，通過對自動化對細胞檢測計數以及細胞結構、行為的檢測，可以極大減少研究者在處理數據過程中的工作量，使其有更多的時間關注實驗本身的研究。生物學其他方向的圖像分析也可以此為借鑒與課題相結合，以提高研究效率，推動實驗進展。

2.2 在醫學影像中的應用

醫學影像是通過非侵入方式取得的人體內部組織影像的技術，其目的是疾病診斷、手術引導等。對醫學影像的處理包含圖像重建、病變分割、疾病診斷、多模態和時序的影像配準、三維可視化等。CNN 在基于影像的疾病分類與分期、器官及病變區域的檢測與分割等方面的應用最為廣泛，這能夠輔助醫生更準確地了解患者狀況，為疾病診斷、手術規劃及藥物劑量安排等提供有用信息。針對目前已有成果，將從腦、眼睛、乳腺、肺、骨骼、皮膚等方面介紹（如圖4），并匯總在表2 中。

圖4 CNN在醫學圖像分析中的應用實例

2.2.1 腦醫學影像

大腦是人體最重要的器官，內部的腦白質、灰質以及大腦脊液與人類健康和疾病有著重要聯系，因此實現大腦的自動分割能夠為疾病診斷提供重要信息。然而大腦結構十分復雜，這給大腦分割任務帶來重大挑戰。針對這一問題，Moeskops 等[32]利用多尺度CNN 來學習腦部MR圖像中多尺度的結構特征，對各年齡段人群的小腦、腦干、皮質灰質等8個組織類別進行了精確分割，該方法在5 個來自不同年齡段的數據集[33-35]中，Dice 值分別為0.87、0.82、0.84、0.86 和0.91。Kleesiek 等[36]發現大多數大腦分割算法在非增強的T1加權MR圖像上表現良好，但是應用于其他模式圖像時仍有困難。針對這一問題，他們設計了一種多模態輸入的CNN 網絡同時使用非增強和對比增強T1、T2 和T2-flair 這4 種模態進行訓練和預測，以增強模型在不同模態之間的魯棒性。在3個公共數據集（IBSR[37]、LPBA40[38]和OASIS[35]）上的測試結果Dice 值分別達到0.963 2、0.969 6 和0.950 2。嬰兒大腦存在等強度期，即6～8個月嬰兒大腦中的白質灰質區域存在大量重疊，并在T1和T2 MR圖像上展示出相同密度水平，這使得嬰兒腦組織的分割相當困難。Zhang等[39]利用多模態輸入的CNN模型來提高等強度期嬰兒腦組織中白質、灰質和腦脊液區域的分割準確率。考慮到核磁彌散張量成像的各向異性圖像（Fractional Anisotropy，FA）能夠提供大腦組織中主要纖維束的豐富信息，該方法將T1、T2 和FA 這3 個模態的圖像塊作為CNN 模型的輸入圖像來進行嬰兒大腦組織的分割。該模型在從10 名健康嬰兒受試者獲取的MR 圖像數據集中分割結果的Dice值達到了0.850 3。

腦腫瘤是神經外科最常見的疾病，其中腦膠質瘤由于其高致死率而備受關注。目前，腦膠質瘤在空間分布和結構上的變異性是其圖像處理任務面臨的主要問題。針對上述問題，Havaei等[40]提出一個能夠有效利用局部細節特征和全局上下文特征的雙通道CNN模型來分割不同類別的腦膠質瘤區域，該模型通過設計不同大小的卷積核實現對不同尺度信息的關注，局部路徑使用小卷積核來關注細節信息，全局路徑則使用大卷積核來關注上下文信息。作者還將此CNN模型的輸出作為另一個CNN輸入圖像的附加通道，從而形成級聯CNN結構，該方法最終在BRATS2013[41]數據集上分割完整腫瘤、核心區域、強化區域的Dice 值分別為0.84、0.71 和0.57。為了充分利用圖像的三維信息，Zhao等[42]提出了一種基于FCN和條件隨機場（Conditional Random Fields，CRFs）的集成模型來實現腫瘤區域的分割。它將FCN生成的分割概率圖以及原始圖像輸入CRFs，根據像素強度和位置信息來優化分割結果以保證外觀和空間一致性。該方法分別在軸向、冠狀面、矢狀面使用圖像塊來訓練3個分割模型，然后使用基于投票的融合策略對腦腫瘤進行分割。該方法在BRATS2013排名數據集上分割3 個區域（完整腫瘤、核心區域、和強化區域）的Dice值分別達到0.86、0.73和0.62。

2.2.2 眼醫學影像

眼底彩照獲取方式便捷，能夠為糖尿病視網膜病變、青光眼等眼底疾病提供豐富的顏色、對比度等信息，是目前臨床中常采用的眼底成像方式。糖尿病視網膜病變是糖尿病最常見的微血管并發癥之一，在眼底圖像上主要表現為微動脈瘤、滲出、出血以及血管增生。對糖尿病視網膜病變檢測的難點在于病變種類多、形態尺度變化大。Gulshan等[43]基于Inception-v3模型實現了對可發病的糖尿病視網膜病變的篩查。該方法使用在ImageNet數據集上預訓練的Inception-v3模型進行微調來實現病變圖像的篩查，在兩個測試集EyePACS-1 和Messidor-2[44]上敏感度達到90.3%和87.0%，特異度達到98.1%和98.5%。上述方法實現了對糖尿病視網膜病變的篩選和分期，但明確病變的位置和類別可以幫助醫生和患者更好地指定診療方案。在這方面，Yu等[45]實現了糖尿病視網膜病變中滲出液的分割。該方法首先使用形態學算法提取出滲出液候選點，然后利用CNN 模型對這些候選點進行分類，最終在E-Ophtha EX數據集[46]上分割滲出液的準確度、敏感度、特異度分別達到91.92%、88.85%和96.00%。Playout等[47]使用基于U-Net的多任務架構同時分割紅色病變（出血斑和微動脈瘤）和亮色病變（硬性滲出和軟性滲出）。該方法使用了一個U-Net的編碼塊和多個解碼塊并行完成分割任務，并在編碼塊中引入了殘差連接、基于空間壓縮的混合池化模塊、低尺度上使用大卷積核和密集連接機制，旨在通過聚合多個區域內的最大激活值來增強對噪聲的魯棒性。該方法在DIARETDB1[48]數據集上紅色病變的Dice值、敏感度和特異度分別為0.598 0、0.669 1 和0.998 2，亮色病變的分別為0.789 7、0.753 5和0.998 6。

表2 卷積神經網絡在醫學圖像處理中的應用

OCT 可以非侵入地實時獲得活體高分辨率橫截面圖像，在視網膜成像領域有廣泛的應用。與其他眼科圖像相比，OCT 圖像的對比度低、噪聲大，這給OCT 圖像分析任務帶來重大挑戰。一般地，OCT圖像分析主要包括組織分割（如視網膜層分割）以及病理分割（如視網膜滲出液體分割）。準確量化OCT 圖像中視網膜層的厚度不僅能夠增強對病變程度和病理進程的理解，更能夠幫助確定影響疾病進展的潛在因素。在這方面，Fang等[49]將CNN 模型和圖搜索的方法結合，該方法使用CNN 預測的概率圖取代傳統的梯度圖，再通過圖搜索方法進一步確定視網膜層之間的邊界實現視網膜層的分割。在由60 個OCT 卷組成的數據集上，其方法的平均視網膜層厚度偏差和標準差分別低至1.26 和1.24 個像素。脈絡膜由于邊界模糊、結構不均勻、厚度變化大等因素使得脈絡膜分割任務存在一定的難度。為了解決這一問題，Sui等[50]將多尺度CNN和圖搜索方法相結合。該方法首先構建脈絡膜兩個邊界的邊緣權重圖，再使用多尺度CNN 預測脈絡膜圖像的邊權值，最后利用圖形搜索算法進一步分割邊界。最終，在健康和患有黃斑水腫的圖像數據集中脈絡膜平均厚度及偏差分別為7.3和11.1個像素。滲出液是由視網膜毛細血管引起的滲漏在視網膜空間內積聚導致的中央視網膜腫脹，是引發老年黃斑變性、糖尿病性視網膜疾病等患者視力減退的主要原因。Schlegl等[51]使用多尺度CNN以逐圖像體素分類的方式實現了OCT中視網膜下液和視網膜內液的分割，在157個臨床高分辨率OCT卷驗證得到的準確率分別為89.61%、91.98%。Roy 等[52]在U-Net 的基礎上，在編碼器部分使用矩形卷積核來與OCT 圖像尺寸保證一致從而確保最后一個編碼塊的感受野可以包含整個圖像。此外，該方法還使用帶權重的多類logistic損失函數和Dice損失函數來改善類不平衡問題。最終，在Duke SD-OCT[53]數據集上分割各視網膜層的Dice值達到0.94，分割滲出液的Dice值也達到0.77。

2.2.3 乳腺醫學影像

乳腺癌是全球范圍內女性死亡的主要原因之一，乳腺癌在侵入性癌癥中占22.9%，在全球女性癌癥相關死亡中占13.7%[54]。借助數字乳房X線光片觀測乳房中是否含有特定腫塊是常用的乳腺癌診斷方法。由于乳腺與腫瘤在X線光片下均呈現白色，外觀上的相似性給腫瘤檢測任務帶來重大挑戰。針對這一問題，Akselrod-Ballin等[55]首先利用基于閾值分割的方法實現乳腺和纖維腺組織的分割，從而產生一個解剖學的先驗知識。然后將圖像分割為多個重疊的網格，利用Faster R-CNN來實現乳腺腫瘤區域的檢測和分類。該方法在850 張臨床數據上檢測的準確率達到72%，分類的準確率達到77%。Almasni 等[56]使用在ImageNet 上預訓練的YOLO[22]模型實現了數字乳房X光片中腫塊的檢測及分類。該模型首先利用多個卷積層進行特征提取，然后基于置信模型進行腫塊的檢測，最后使用全連接神經網實現乳腺腫塊良惡性的判定。該方法在DDSM[57]數據庫中腫瘤檢測的準確率為99.7%，良惡性病變分類的準確率達97%。為了能夠小數據集上獲得性能更好的模型，Sheng等[58]提出了基于RNN+CNN的注意力記憶網絡進行乳腺癌診斷。該方法中使用注意力模塊來提取圖像特征，使用記憶模塊在RNN 模型中加入注意力權重來增強特征描述。使用INbreast 數據集上的測試結果比Inceptionv2、ResNet50、VGG16模型的結果都要好，準確率達到84.1%，且運行時間更快。

在組織密度變高或發生組織重疊時，使用數字乳房X 光片難以準確診斷腫瘤類別。數字乳腺斷層合成（Digital Breast Tomosynthesis，DBT）通過使用多個乳房X線透視圖構建三維乳房影像，可以清晰顯示乳房腫塊，因此癌癥檢測靈敏度比數字乳房X 線更高。目前，DBT圖像相對稀缺，公開數據集也較少。Samala等[59]使用遷移學習來解決這一問題，該方法利用乳房X光片來對CNN 模型進行預訓練，然后使用DBT 圖像來訓練最后一層卷積層和全連接層，最終實現乳房腫塊的檢測和分類。該方法在94 張DBT-UM[60]測試數據集上檢測的最大靈敏度達到90%，分類的AUC達到0.90。

2.2.4 肺醫學影像

肺癌是全球癌癥死亡的主要原因之一，肺癌約占每年新增癌癥數量的13%，占癌癥相關死亡的19.5%[61]。肺癌非常具有侵襲性，患者的長期生存率低，因此早期發現對肺癌的治療意義重大[62]。胸部CT影像是肺癌診斷的有力工具[63]。肺結節被定義為胸部CT中肺上的斑點，大多數肺癌由小的惡性結節引起的。肺結節分割的挑戰在于它們的形狀、大小以及紋理等方面存在的異質性。為解決以上問題，Shen 等[64]提出了一種多尺度CNN模型來提取肺結節的判別特征。為了捕捉肺結節的異質性，該模型使用三個并行的CNN 分別處理不同大小的圖像塊再將它們提取的特征進行通道拼接，然后利用支持向量機和隨機森林分類器實現肺結節良惡性分類，最終在LIDC-IDRI數據集[65]中對惡性結節的分類準確率為86.84%。為了更好地提取不同尺度的結節，Shen 等[66]使用一種多次裁剪池化層替換上述模型的最大池化層，該模型將卷積特征圖裁剪成不同的區域，分別使用不同次數的最大池化操作，來提取結節不同尺度的顯著性信息。該方法在LIDC-IDRI 數據集上的分類準確率達到87.14%。

肺結節是以三維立體形式存在的，通過多視圖、多層相鄰切片的方法可以充分利用肺結節的三維上下文信息，從而能夠有效提高肺結節的分類準確率。在多視圖方面，Ciompi 等[67]首先使用ImageNet 上預訓練的OverFeat[68]模型來分別提取軸向、冠狀和矢狀視圖上的肺結節特征向量，然后為每個特定視圖訓練一個支持向量機或隨機森林分類器，最后將多個分類器的結果進行融合生成最終分類結果。該方法在從NELSON[69]中心搜集的數據集上的分類AUC 達到0.847。Setio 等[70]提出了一個多視圖CNN 模型對CT 圖像中是否存在肺結節進行診斷，該方法分別針對實性結節、亞實型性結節和大結節設計形態學方法提取肺結節候選區域，并將檢測到的肺結節候選區域分解成9個固定視圖平面（矢狀面、冠狀面、軸向面和六對角面）分別傳入到一個2D CNN 進行訓練，最后融合這9 個CNN 的輸出來實現肺結節分類。該方法很大程度上減小了結果的假陽性，在LIDC-IDRI 數據集的檢測靈敏度達到了90.1%。Xie等[71]提出了另一種融合多視圖多外觀的知識協同深度模型來分類肺結節，該方法將已知中心位置的三維結節分解成9 個固定視圖，然后針對每個視圖進行如下操作：首先使用U-Net 分割肺結節；然后微調3 個預訓練ResNet-50 子模型來分別描述結節的整體外觀、體素和形狀異質性；最后對3 個子模型的輸出結果進行加權求和。此方法對9 個視圖并行訓練，最后將它們的結果進行自適應加權融合從而產生分類結果。該方法在LIDC-IDRI 數據集[65，72-73]上對肺結節分類的準確率為91.60%，靈敏度為86.52%，AUC 為0.957。Li 等[74]提出的基于CNN的多層面二階特征融合模型提取肺結節的3個相鄰層面的切片中的特征，來避免肺結節周圍毛細血管、組織器官等干擾。該模型首先提取每一個切片的特征，然后融合3 個切片的特征用于肺結節3 種惡性程度的評估。該方法在LIDC-IDRI 數據集上精確度為91.27%，靈敏度為89.48%，AUC達到0.924。

自2019 年12 月以來，新型冠狀病毒在世界各地相繼爆發[75]?！缎滦凸跔畈《痉窝自\療方案（試行第七版）》[76]中指出新冠肺炎在胸部影像上表現為早期呈現多發小斑片影及間質改變，以肺外帶明顯；進而發展為雙肺多發磨玻璃影、浸潤影，嚴重者可出現肺實變，胸腔積液少見。為實現新冠肺炎在臨床的快速診斷，多種利用CNN 模型對新冠肺炎CT 影像進行分析的技術涌現出來（如圖5）。Xu等[77]首先利用CT圖像的亨氏值提取出肺部區域，再使用3D CNN模型分割出候選的感染區域，然后使用基于ResNet18 的3D CNN 模型結合位置注意力機制，從而將每個候選區域分為新冠肺炎、流感病毒肺炎和無關感染。該方法在30 個CT 樣本的總體準確率86.7%。Gozes等[23]開發了一套具有篩查、定量描述和跟蹤隨訪功能的新冠肺炎CT 圖像自動分析系統。該系統首先利用RADLogics 公司（http://radlogics.com/）的軟件對肺結節和局限性密度影進行檢測和定量化測量，然后利用U-Net獲得肺部區域，最后使用在ImageNet上預訓練的ResNet-50實現新冠肺炎篩查。該方法在來自中國和美國共157 名患者的測試數據集上分類的敏感度和特異度分別達到98.2%和92.2%。復旦大學上海公共衛生臨床中心Shan與聯影智能Gao等[78]的“新冠肺炎CT+AI智能輔助分析系統”使用VB-Net模型結合CT影像實現了疑似病例優先閱片，感染區域自動勾畫，對同一個病人全肺和肺葉體積和密度提供隨訪評估等功能。該方法利用殘差連接結構對V-Net[79]進行改進以適用于處理大型三維數據。同時，使用人工在環（Humanin-the-Loop，HITL）的迭代訓練策略，幫助放射科醫生完善每個病例的自動標注。該方法在300個患者的CT影像上進行測試，感染區域分割的Dice系數達到0.916，感染體積估算誤差0.3%，能在4分鐘之內完成人工需要1～5個小時標注的工作量。

2.2.5 骨骼醫學影像

骨骼成像可以輔助骨齡評估、對脊椎和膝關節等相關疾病進行檢測等。骨骼的成熟經歷了一系列不連續的發育階段，而骨骼和實際年齡之間的差異能反映一定的生長問題。在臨床上，經常通過未成年人的手骨X光片來對其骨齡進行評估。X光片的光照不均勻性、個體間骨骼形態的差異性等因素加大了手骨分割的難度。Lee 等[80]使用GoogLeNet 實現了骨齡的自動評估，并使用注意力圖實現模型的可視化。模型的注意力圖可以揭示模型關注哪些區域特征來執行骨齡評估，該方法與人類專家手動進行骨齡評估時所觀察的情況相一致，而且只需更短的時間就能獲得更準確、更高效的骨齡評估。在含有4 278 張女性和4 047 張男性的X 光片數據集上，該模型的骨齡預測結果的準確率分別為57.32%和61.40%。Spampinato等[81]結合CNN與回歸網絡設計的BoNet模型實現了對不同年齡段、種族和性別的兒童進行骨齡評估。該方法在一個1 391例兒童X光線掃描數字手部圖像集數據庫[82]上的結果顯示，在所有種族、性別和年齡范圍內的骨齡預測平均絕對誤差為0.79歲。然而，來自不同設備和采集條件的手部X光片在尺度、方向、曝光等方面會存在差異，這會導致模型的性能下降。Iglovikov 等[83]通過對手部X 光片進行嚴格的預處理來解決上述問題，提高了骨齡預測模型的魯棒性。該方法首先通過U-Net 模型來分割手部區域并去除背景；然后對圖像進行對比度歸一化，并通過檢測中指指尖、小拇指指尖和頭狀骨中心3個關鍵點從而將圖像匹配到一個共同的坐標空間中；最后從已完成匹配的圖像中裁出整個手部、腕骨頭、掌骨近端趾骨3 個特定區域來訓練VGG 族的CNN 模型進行骨齡的預測。該方法在RSNA2017兒童骨齡評估挑戰賽（http://rsnachallenges.cloudapp.net/competitions/4）中結果的平均絕對誤差為4.97個月。

基于CT 圖像的脊柱椎體分割對于引導診斷、手術計劃等方面具有重要意義。由于椎骨外觀相似、手術植入引起的異常病理曲度和圖像偽影等原因，椎體的自動定位和識別仍然具有挑戰性。Chen[84]等設計了一個能夠在三維脊柱CT 圖像上對CT 椎體進行自動定位和識別的Joint-CNN模型。該方法首先利用隨機森林方法定位椎體候選區域，然后在CNN 模型末端使用兩個并行的分類層來同時考慮單個椎體外觀以及相鄰椎體之間的依賴關系以實現椎體的識別，最后使用形狀回歸模型來對預測的椎體質心進行微調。該方法在MICCAI 2014椎骨定位與鑒定計算挑戰（302個脊椎CT卷）的識別準確率達到了84.16%。Lessmann 等[85]利用脊柱椎體的固有順序來簡化檢測問題，用迭代的方法使用3D U-Net對圖像中椎體按順序分割和識別，提升了訓練效率和分割精度。該方法首先在低分辨率圖像中利用3D U-Net 進行脊椎粗略分割獲得可利用的上下文信息；然后在原始高分辨率圖像中利用另一個結構相同的3D U-Net 重新分析，獲得精細的分割。該方法在MICCAI 2014椎骨定位與鑒定計算挑戰的數據集上將椎體分割的Dice值提升到了0.948。

2.2.6 皮膚醫學影像

皮膚癌是最常見的皮膚病，具有較高的死亡率[61]。各種皮膚病變在外觀上的相似性成為臨床上實現皮膚癌準確分類的一大挑戰。例如，皮膚癌中的黑色素瘤常被誤診為良性皮膚病變。因此，Lopez等[86]利用VGG-16結合遷移學習技術來解決皮膚病病變圖像的良惡性分類問題，可以實現皮膚癌中黑色素瘤的早期檢測。該方法在ISIC（www.isic-archive.com/）的數據集上的準確度達到了81.33%，靈敏度達到了78.66%。Esteva等[87]使用由ISIC 皮膚鏡圖像庫、愛丁堡Dermofi 庫[88]和來自斯坦福醫院的數據組成的129 450張臨床圖像數據集來訓練在ImageNet 預訓練過的Inceptionv3 模型。該方法能夠對757類皮膚疾病進行分類，并歸類為更常見的皮膚疾病類別。最后，用它檢測三類病變（惡性單一病變、良性單一病變、非腫瘤性病變）的準確率達到72.1%，檢測九類病變（惡性黑色素病變、惡性上皮病變、惡性真皮病變等）的準確率達到了55.4%。

3 總結與展望

深度學習，尤其是CNN模型的發展，給生物醫學圖像分析領域帶來諸多突破性進展。在本文中，對近年來CNN模型在細胞生物學圖像及醫學圖像中應用的最新研究成果進行了總結和梳理。

首先，CNN 模型較好的通用性使得在實現應用中往往不需要針對不同的圖像數據從零開始設計模型結構，而是借用經典CNN模型作為基礎骨架。例如，用于圖像分類任務的經典模型有LeNet-5、VGG、Inception系列、ResNet 系列等，用于目標檢測任務的經典模型有Faster R-CNN 和YOLO 系列等，用于圖像分割任務的經典模型有的FCN和U-Net等。

其次，通過對基礎骨架進行修改，可以進一步解決生物醫學圖像分析中的難點問題，包括目標與背景的相似度高、目標間的差異性小、類間不平衡、樣本量偏少等。對于前兩個問題，常見的處理方式包括多尺度卷積、多視圖卷積等，以期獲取更豐富的上下文信息，從而改進網絡性能。另一種處理方法是構建級聯網絡，使各級網絡聚焦于解決不同問題從而提高網絡的整體性能。對于類間不平衡問題，常通過改進損失函數的方法來提高網絡性能，比如使用帶權重的交叉熵損失函數、focal loss 等。針對樣本量稀缺的問題，常采用的解決方法是利用遷移學習技術來提高網絡性能。

總的來講，CNN 網絡可以直接采用原始圖像作為輸入自動學習和提取特征，避免了傳統算法的特征定義和參數設置的復雜過程，使其在各領域的表現相較于單純使用傳統算法更加優秀，有些甚至可以達到專業技術人員的水平。然而，CNN 在生物醫學領域的應用也面臨不同于以往的新問題和挑戰。這里，對這些發展所帶來的挑戰以及可能的解決手段進行了梳理。

（1）引起廣泛關注的問題是CNN的含義不夠明確，針對每一卷積層提取到的特征沒有明確的解釋。這導致的一個重要問題就是無法對結果進行有效說明，這種過程中的不可解釋性可能導致研究者和臨床醫生的接受度不高。模型結構可視化、模型參數解耦合等研究方向的發展有望逐漸改善這一問題。

（2）CNN網絡對數據的依賴較重。一般地，數據量越大，標定越統一，結果往往越理想。然而，生物醫學圖像的許多特性都限制了CNN 模型優勢的發揮。例如，公開數據量少、沒有統一的數據集制作標準，數據質量參差不齊、標注不一致等，這使得不同方法間缺少對比性和參考性。在這方面，對數據、評價指標、運行平臺、參數設定、邊界條件等的公開以及圖像標注標準制定將有助于解決這些問題。另一方面，對半監督或無監督方法以及人工在環的模型訓練策略的探索也是解決這一問題的重要方向。

（3）如何在特定問題的解決能力及算法的泛化能力之間找到平衡點非常重要。目前工程領域基于CNN模型的算法開發往往是針對特定任務的（例如特定細胞檢測、特定病變分割等），許多方法難以在實驗數據之外的任務進行推廣。另一方面，通用性的模型又往往在特定任務中表現不夠理想。例如，在利用眼底彩照的眼底疾病篩查中，實現通用性病變篩查的模型在對具體疾病的識別中表現不夠理想。在解決特定問題和通用問題間找到平衡點將極大推動CNN模型在實際場景中的應用。

（4）卷積神經網絡“端對端”的特性雖然可以避免人為特征提取和復雜參數設定，但也一定程度上阻礙了領域先驗知識對模型的貢獻。在某些任務中，是存在相對明確的規則的，例如在OCT 圖像上滲出液體的分割任務中，視網膜中液是指介于視網膜神經纖維層與外網層之間的滲出液體，而視網膜下液是指介于視網膜外節層與色素上皮層之間的滲出液體。通過在CNN模型的改進中融入這些相對明確的規則，對于特定任務的分析將非常有幫助。

隨著卷積神經網絡和深度學習理論和應用研究的推進，相信上述問題將得到很好的解決，進而促進CNN網絡及其他相關技術在生物醫學圖像的自動處理和分析中的應用，并最終實現方法和系統的落地應用。