基于密集多尺度特征和雙注意力模塊的皮膚病變分割

費 承， 羅健旭

（華東理工大學信息科學與工程學院, 上海200237）

在皮膚黑色素瘤的臨床診斷中，目前普遍采用的皮膚鏡成像技術首先獲取放大或縮小后的皮膚病變區域透鏡圖像，接著需要對病變區域進行精準分割以提高后續過程中醫生診斷治療的準確性和可靠性。但是人工分割費時費力，可重復性差，即使是經驗豐富的醫生也可能受各種因素影響出現漏分、錯分現象，因此引入計算機輔助診斷 (Computer Aided Diagnostic, CAD) 系統實現皮膚病變區域的自動分割以幫助醫生進行臨床評估、診斷具有重要意義。

早期皮膚病變分割算法大多基于閾值分割法、區域生長法和邊緣分割法。例如，Grana 等[2]定義了病變斜率和病變斜率規律，然后基于Catmull-Rom 樣條法計算病變邊界；Garnavi 等[3]基于顏色空間分析確定最佳顏色通道，然后基于聚類的直方圖閾值法進行邊界檢測。這些方法雖然取得了一定的分割效果，但是通常需要人為干預且分割效果仍有較大的提升空間。

隨著深度學習的不斷發展，卷積神經網絡(Convolutional Neural Network, CNN)憑借其出色的特征表征能力已經成為目前分割任務的主流算法。全卷積網絡(Fully Convolutional Network, FCN)[4]創新性地提出了編碼解碼架構，實現了像素級別分類，奠定了后續分割網絡的基本架構。在該架構的基礎上，UNet 使用對稱設計和跳躍連接結構在醫學圖像分割任務上取得了較好的表現，并成為了后續醫學分割領域的基本網絡結構[5]。在這之后，皮膚病變分割算法大多是FCN 或UNet 的變體。例如，文獻[6-7]在FCN 網絡的基礎上進行了改進，使得網絡的分割效果均有了一定的提升；文獻[8]采用DoubleUnet 將兩個UNet網絡組合起來，其中第2 個UNet 用于進一步細化第1 個UNet 產生的掩碼結果，同時DoubleUnet還引入了ASPP 模塊以獲得多尺度特征來緩解皮膚病變區域大小尺寸各異的問題，此外其還使用了SE 模塊來減少冗余信息、傳遞最為相關的特征；文獻[9]一方面使用Fire Block 來減少學習參數，另一方面引入注意力機制來強化與皮膚病變區域相關的特征并抑制無關特征。雖然這些網絡在皮膚病變分割任務上取得了較好的表現，但是仍存在一定的局限性：（1）ASPP 模塊倘若要獲取更多的多尺度信息就意味著需要更多的學習參數，并且該模塊如果為追求較大的感受野而采用較大的膨脹率會導致信息丟失，影響最終分割效果；（2）網絡中使用的注意力機制是從局部特征中獲取信息，而忽略了全局上下文信息；（3）網絡使用的注意力機制較為單一；（4）沒有將多尺度信息和注意力機制結合起來共同解決皮膚病變分割難題。

針對以上問題，本文提出了一種基于U 型網絡結構的DDAnet。首先，DDAnet 使用了密集連接的DenseASPP 模塊[10]，該模塊以較少的學習參數獲取到了更多的尺度信息并生成了更大的感受野；其次，DDAnet 利用雙注意力模塊來編碼全局上下文信息，指導網絡分別在通道和位置上對相關特征和無關特征分別進行強調和抑制。同時，不同于大多數方法采用的串聯方式，DDAnet 將DenseASPP 模塊和雙注意力模塊并行連接，這樣一方面能夠確保雙注意模塊不會影響、破壞多尺度特征，另一方面使得解碼器的輸入既包含了多尺度特征，又包含在通道和位置上得到重新配準的特征。除此之外，由于使用了跳躍連接結構，解碼器的輸入特征會包含局部細節信息和高級語義信息兩部分，DDAnet 在每個解碼模塊中使用通道注意力模塊(Channel Attention Module,CAM)進行通道特征選擇，促進網絡更加關注有利于分割的特征。最后，本文在傳統二值交叉熵損失函數的基礎上引入Dice 損失函數來克服皮膚病變分割任務中正負樣本不平衡的問題，最終網絡的分割性能得到提升。

1 方 法

1.1 網絡概述

DDAnet 整體采用的是編碼解碼結構，其網絡框架如圖1 所示。對于給定的皮膚透鏡圖像，首先將其通過編碼器進行特征提取，在該框架中，編碼器采用的是預訓練的ResNet34[11]。在編碼器的下采樣過程中，圖像的分辨率不斷減小，特征通道不斷增多，并依次得到包含局部細節信息的低級特征圖和包含豐富語義信息的高級特征圖。接著，高級特征圖一方面通過DenseASPP 模塊進一步得到多尺度信息；另一方面通過由CAM 和位置注意力模塊(Position Attention Module, PAM)構成的雙注意力模塊，分別在通道和位置上進行特征的重新配準[12]，配準后的2 個特征圖通過相加進行融合。在得到DenseASPP模塊和雙注意力模塊的輸出后，將兩者按通道進行拼接輸入解碼器以恢復到原始圖像的分辨率。解碼器由3 個解碼模塊和1 個上采樣模塊構成，每個解碼模塊將前一層的高級特征圖通過反卷積操作放大兩倍后，再將其與來自編碼器的低級特征圖相拼接，由于這兩部分所提供的信息不同，因此使用CAM 對它們重新分配權重以強調那些相關程度較高的通道特征。最后上采樣模塊直接將特征圖放大到原始尺寸，再經過一個1×1 卷積層得到最終分割結果。

圖1 DDAnet 網絡架構Fig.1 Network architecture of DDAnet

1.2 DenseASPP 模塊

DenseASPP 模塊通過密集連接的方式將膨脹率不同的空洞卷積連接起來，其中空洞卷積是基于標準卷積的卷積核，向其相鄰參數間填充一定數量的0，從而實現了在不引入額外參數的情況下擴大了卷積的感受野。下面以一維情況為例說明空洞卷積的算法原理，對于給定的輸入特征圖x，空洞卷積的輸出特征圖y在i位置上的值可通過下式計算得到：

其中：d表示膨脹率，w[k] 表示卷積核的第k個參數，K表示卷積核尺寸。關于密集連接，這種連接方式意味著DenseASPP模塊中某一個空洞卷積層的輸入是其之前所有空洞卷積層輸出的拼接，并且模塊最終輸出整合了所有空洞卷積層的輸出特征圖，如圖2 所示。這種特征重用策略既避免了特征的重復學習，又提取到了新的特征，進而提高了模塊整體的特征表征能力。基于式(1)，定義HK,d(x) 表示卷積核尺寸為K，膨脹率為d的空洞卷積，則第l層空洞卷積的結果可以表示為：

圖2 DenseASPP 模塊Fig.2 DenseASPP module

其中：dl和yl分別表示第l層的膨脹率和輸出，[···]表示拼接操作。

郭村有八百年歷史，是舊時寧國、徽州、池州三府交界之地，興旺的時候，村里有十座祠堂，店鋪毗連，商賈云集。

另外，密集連接方式允許特征圖通過不同膨脹率的空洞卷積層，而不同的通過方式則意味著不同的尺度，因此僅采用一定數量的空洞卷積層即可產生非常豐富的多尺度信息。例如，由膨脹率為3、6、12、18 的空洞卷積層組成的DenseASPP 模塊能夠產生15 種尺度，遠遠超過相同情況下ASPP 模塊所產生的尺度。

1.3 CAM

在特征圖中，某一通道對應著某一特定的特征，而不同特征之間又存在著一定的聯系，CAM 正是基于這種聯系來顯式地建立通道之間的相互依賴關系，進而強調那些關聯性強的特征，并突出重要特征。CAM 的結構如圖3 所示。對于輸入特征圖A∈RC×H×W，首先將其維度轉換為RC×N，其中N=H×W，接著將A與其自身的轉置做矩陣乘法，再將得到的結果經過 softmax 激活函數即可獲得通道注意力權重圖X∈RC×C：

圖3 通道注意力模塊Fig.3 Channel attention module

其中：xji表示第i個通道對第j個通道的影響程度。通道注意力權重圖在與A做矩陣乘法后再將得到的結果轉換到RC×H×W維度，最后該結果乘以一個初始值為0 的可學習參數 γ ，再與維度為RC×H×W原始輸入特征圖A按像素相加，則產生最終輸出E∈RC×H×W：該輸出特征圖E的每個通道是輸入特征圖A的所有通道的加權和，表明通道間的依賴關系得到建立，從而相關特征得到強化，并且各特征表示之間的區分度也得到了提升。

1.4 PAM

全局上下文信息在分割任務中極為重要，而該信息通常需要通過聚合空間特征來細化得到，傳統CNN 為實現此目標需要堆疊大量的卷積層，進而導致訓練十分困難，因此本文采用PAM 基于局部特征建立高效的上下文聯系，該模塊將全局信息編碼到局部特征中，從而增強了這些特征的表征能力。PAM 的結構如圖4 所示。對于只包含局部信息的輸入特征圖A∈RC×H×W，首先將其通過3 個不同的1×1卷積層分別得到特征圖B∈RC8×H×W、C∈RC8×H×W、D∈RC×H×W，其中用于生成特征圖B和C的分支進行了特征降維，而生成特征圖D的分支保持通道數不變，這是因為特征圖B和C用于計算得到注意力權重圖，而PAM 是位置維度上的注意力機制，通道壓縮后不但對位置注意力權重圖的計算影響不大，而且還能減少計算量。特征圖D的通道維度直接決定PAM 輸出的通道維度，為了保證其輸入輸出維度不變，生成特征圖D的分支不能進行特征降維。在得到了這3 個特征圖后，將它們的維度分別轉換為和RC×N，其中N=H×W。接著將C的轉置與B做矩陣乘法得到的結果輸入 softmax 激活函數計算得到位置注意力權重圖S∈RN×N：

圖4 位置注意力模塊Fig.4 Position attention module

其中：sji表示位置i對位置j的影響程度。再將特征圖D與位置注意力權重圖S的轉置做矩陣乘法，并將得到的結果的維度還原到RC×H×W，最后該結果乘以一個初始值為0 的可學習參數 η 后與輸入特征圖A按像素相加得到輸出特征圖E′∈RC×H×W：

該輸出特征圖E′在每個位置上的特征都是由輸入特征圖A上所有位置特征加權求和得到的，因此其能捕獲所有位置的交互信息，并有選擇性地聚合全局上下文信息。

1.5 損失函數

交叉熵損失函數適用于大多數語義分割場景，但是在皮膚病變分割任務中，由于病變區域通常只占整張皮膚透鏡圖像的一小部分，前景(病變區域)像素遠小于背景(非病變區域)像素，因此直接使用交叉熵損失函數訓練網絡會使得網絡模型嚴重偏向于背景，進而影響分割效果。所以本文在二值交叉熵損失函數的基礎上，結合Dice 損失函數作為總的目標損失以解決此問題：

其中：N代表圖像中的像素總數，yi∈{0,1} 表示像素i的真實標簽，pi∈[0,1] 表示像素i的預測結果。

2 實驗部分

2.1 實驗數據集及數據預處理

為了評估DDAnet 的分割性能，本文在ⅠSⅠC2018數據集[13-14]上實施了一系列實驗。該數據集包含2 594張皮膚透鏡圖像以及對應的真實標簽，隨機篩選2 000張圖像用于網絡訓練，剩下的594 張圖像用于測試。另外，由于該數據集中的圖像尺寸不一，因此將它們統一縮放到 384×512 分辨率輸入網絡。同時為了避免因訓練數據量較小而導致的過擬合問題，本文還采用了數據增強策略，包括水平翻轉、垂直翻轉、隨機旋轉以及隨機調整亮度和對比度。

2.2 評價標準

對于網絡分割性能的評估，本文采用了5 種評價指標，分別是Jaccard 相似系數(JⅠ)、Dice 系數(DC)、準確率(Acc)、敏感度(Sen)和特異性(Spec)，它們的計算公式如式(10)～(14)所示，其中JⅠ和DC是度量分割結果的主要指標。

其中：TP 和TN 分別表示被正確預測的病變和非病變區域的像素個數，而FP 和FN 分別表示被錯誤預測的病變和非病變區域的像素個數。

2.3 實驗環境及相關參數

本文中所有實驗均基于Ubuntu 18.04.5 系統下PyTorch 深度學習框架，計算機硬件配置為Ⅰntel Core i9-10980XE CPU，NVⅠDⅠA GeForce RTX 3090 24GB GPU。網絡訓練過程中使用的是Adam 優化器，其初始學習率設置為0.000 1，并且該學習率會在訓練過程中動態衰減。訓練批次設置為8，訓練總代數設置為120。在上述參數設定下，訓練完成后，網絡均能得到收斂。

2.4 實驗結果

2.4.1 損失函數對網絡的影響 為了驗證本文采用的目標損失函數對網絡的分割性能有所提升，分別用二值交叉熵損失、Dice 損失以及二者結合作為目標損失函數來訓練DDAnet，實驗結果如表1 所示。從表中可以看出，單獨使用二值交叉熵損失來訓練網絡取得的分割效果最差，這是因為該損失無法解決皮膚病變分割所面臨的正負樣本不平衡問題；而單獨使用Dice 損失時分割精度有所提升，這主要歸結于Dice 損失是區域相關的損失，其計算損失時不局限于當前像素，而是綜合考慮了整個前景區域，因此正負樣本不平衡問題才在一定程度上得到了緩解。但倘若網絡將整個前景區域分割錯誤，Dice 損失就無法學習到正確的梯度下降方向，進而導致在訓練過程中損失振蕩嚴重，且極端情況下會出現梯度飽和現象。現將二者結合起來，一方面Dice 損失從全局上進行考察，側重前景區域的挖掘；另一方面二值交叉熵損失逐像素進行引導，并在Dice 損失缺乏指導時提供指引，從而網絡在此損失下產生了最好的分割效果。

表1 不同損失函數下DDAnet 的分割結果Table 1 Segmentation results of DDAnet with different loss functions

2.4.2 各模塊對網絡的影響 為了評估各模塊對網絡分割性能的影響，本文設計了4 組對比實驗：(a) 完整的DDAnet；(b) DDAnet 去除DenseASPP 模塊；(c)DDAnet 去除CAM；(d) DDAnet 去除PAM。實驗結果如表2 所示。從結果可以看出，DDAnet 去除任一模塊后，分割結果在各評價指標上都有所下降。其中，去除掉PAM 后下降最為明顯，JⅠ和DC 分別下降了1.65%和1.28%；去除CAM 后，JⅠ和DC 分別下降了1.39%和1.06%；去除DenseASPP 模塊后，JⅠ和DC 分別下降了1.32%和0.96 %，這表明DenseASPP模塊、CAM 和PAM 都在一定程度上提升了網絡整體的分割性能。

表2 不同模塊對網絡分割性能的影響Table 2 Ⅰmpact of different modules on network segmentation performance

2.4.3 同類研究對比 為了證明DDAnet 分割皮膚病變區域的可靠性和優越性，本文將其與同類的研究方法進行了對比，實驗結果如表3 所示。從表3 中可知，DDAnet 在Acc、JⅠ和DC 指標上均優于其他分割網絡，其得分分別為96.75%、85.00%和91.36%。與醫學分割任務中常用的UNet 網絡相比，DDAnet 在這三項指標上比UNet 分別高出了2.13%、7.96%和6.94%；與分割精準度較高的ADAM 相比，DDAnet在這三項指標上比ADAM 分別高出了2.05%、0.60%和0.26%。雖然在Sen 和Spec 指標上，DDAnet 并未取得最佳結果，但是總體來看，尤其是以分割準確程度來衡量，DDAnet 相比于其他分割網絡更加優越、可靠。

表3 DDAnet 與同類研究方法的分割結果對比Table 3 Comparison between the segmentation results of DDAnet and those of other similar research methods

同時，為了更加直觀地展示DDAnet 的分割效果，本文基于上述方法中源碼公開的分割網絡進行了可視化對比分析，結果如圖5 所示。圖5 中每一列包含一張皮膚透鏡圖像和各網絡的分割結果，分割結果由網絡預測圖和真實標簽對比得到，圖中的橙色、紅色、綠色和黑色分別對應TP、FN、FP 和TN。理想的分割結果是皮膚病變區域為橙色，而非病變區域為黑色。對于病例1，由于病變區域和非病變區域之間像素差異較小，邊界十分模糊，因此大部分網絡都無法識別出病變區域的具體位置，其中UNet 和AttentionUnet 甚至都認為圖像中不存在皮膚病變，而DDAnet 仍能較為準確地劃分出兩者的邊界；對于病例2，非病變區域中有部分皮膚顏色不同于正常皮膚，且與病變區域皮膚顏色接近，除了ResUnet++和DDAnet 外，其余網絡均被干擾，而DDAnet 在JⅠ和DC 指標上更優于ResUnet++；對于病例3、4，病變區域周圍的氣泡給分割帶來了很大的干擾，雖然以MobileNet 為backbone 的DeepLabv3+和CENet 表現優于其他算法，但是和DDAnet 相比仍存在一定差距；對于病例5，病變區域內部像素存在一定差異，并且與非病變區域對比度低，這就導致大部分網絡只能識別出明顯的病變區域，而漏掉不明顯的部分，但是DDAnet 卻能夠相對全面地捕獲到所有病變區域。從以上對比分析可知，盡管皮膚病變分割任務中存在諸多挑戰，但是DDAnet 仍能提供出色的分割結果，直觀地表明了DDAnet 相比于其他分割網絡的優越性。

圖5 可視化對比分析Fig.5 Visual comparative analysis

3 總 結

本文提出了一種基于密集多尺度特征和雙注意力模塊皮膚病變分割網絡DDAnet，該網絡基于U 型網絡結構，以預訓練的ResNet34 作為編碼器對輸入圖像進行特征提取，所提取到的高級特征輸入到并行連接的DenseASPP 模塊和雙注意力模塊，其中DenseASPP 模塊通過產生豐富的多尺度信息，解決了皮膚病變區域大小尺寸各異的問題；而由CAM 和PAM 組成的雙注意力模塊通過編碼全局上下文信息，對特征進行重新配準，分別在通道和位置上

強調相關特征、抑制無關特征，從而進一步提升了分割精度。在ⅠSⅠC2018 數據集上的實驗結果表明DDAnet 具有十分出色的分割表現，優于其他的分割網絡，并且即使面臨病變區域內部像素差異大、邊界模糊、周圍存在氣泡等難題時，DDAnet 依然能夠產生準確、可靠的分割結果，說明其在臨床診斷中具備輔助醫生進行皮膚病變分割的潛力。