基于高分辨率復合網絡的皮膚病變分割

梁禮明，周瓏頌，馮 駿，盛校棋，吳 健*

（1.江西理工大學 電氣工程與自動化學院，江西 贛州 341000；2.華南理工大學 計算機科學與工程學院，廣東 廣州 510006）

1 引 言

皮膚癌是人類最常見的惡性腫瘤，其中黑色素瘤是最致命的皮膚病變之一。早期黑色素瘤可以通過簡單的外科手術進行切除，治愈率高達95%。然而，晚期黑色素瘤致死率超過85%，可見皮膚病的早期診斷和治療至關重要［1］。現在，皮膚病專家主要依靠肉眼觀察和皮膚鏡診斷來確定皮膚病變區域，但是受到毛發、血管和傷疤等外在干擾因素影響，即使是擁有豐富臨床經驗的醫生也難以準確分割出皮膚病變區域。因此，迫切需要能夠自動識別和自動分割皮膚病變區域的方法，以協助醫療人員診斷皮膚疾病［2］。

為解決皮膚病變圖像難以分割的問題，業界提出傳統和深度學習方法［3］，傳統學習主要關注皮膚病變原始信息，以活動輪廓模型圖像分割、閾值圖像分割和支持向量機為主［4-6］。深度學習需要先驗標記信息，利用人工標注圖像對分類器進行特征訓練，Ronneberger等［7］基于全卷積網絡提出U-Net概念應用于醫學圖像分割，U-Net解碼層能夠重用相應編碼層特征圖，更好地融合高低級語義特征。Sun等［8］將高分辨率網絡（High-Resolution Network，HRNet）用 于 語 義 分 割，HRNet通過并行卷積和重復進行多尺度融合來保持高分辨率表示。Radman等［9］提出一種深度殘差網絡（Deep Residual Network，DResNet），利用殘差網絡來學習圖像塊與標簽塊間的非線性映射，并平均相鄰圖像塊的重疊區域，以保證合成結果中高像素的一致性。Baghersalimi等［10］提出一種由密集模塊和跳躍連接構成的高效全卷積神經網絡，其中密集模塊可以重用前層信息，并輸出給后層，確保皮膚病變信息最大化傳遞。Wei等［11］利 用 分 割 器 和 判 別 器 組 成 密 集U型 生成對抗網絡，分割器中引入密集模塊，確保在密集尺度范圍內皮膚病變信息最大化傳遞，判別器中對抗性特征匹配損失可以穩定模型訓練，引導注意力模塊專注于多尺度病變區域。隨著卷積神經網絡的進一步發展，研究人員試圖組合多種網絡來提升皮膚病變圖像的分割精度，Sarker等［12］提出一種基于擴張殘差和金字塔池化的皮膚病變分割網絡，網絡中編碼器依賴擴張殘差網絡（Dilated Residual Networks，DRN）提取病變特征，解碼器依賴金字塔池化網絡（Pyramid Pool?ing Networks，PPN）重構皮膚圖像，結合DRN和PPN可以從皮膚病變圖像中提取更多特征，提高網絡 分割性 能。孟等［13］結合U-Net和HRNet構建一種復合網絡，保持高分辨率表征的HRNet與對稱結構的U-Net組合，使得網絡能夠充分捕捉淺層信息，提高圖像分割準確率。

雖然上述方法在分割領域取得了較好的研究成果，但在分割皮膚病變圖像時仍存在缺陷，文獻［7］和文獻［8］中網絡分割皮膚病變圖像精度較低，易發生病變區域誤分割。文獻［10］和文獻［11］中密集模塊能夠減輕梯度消失，但隨著網絡層數的遞增，特征圖維度隨之增加，帶來大量浮點運算量和參數，影響模型實際應用。文獻［12］中擴張殘差能夠增大卷積感受野，但是過大感受野容易導致網格效應，造成病變區域局部特征信息缺失。文獻［13］中U-Net和HRNet只是簡單疊加，解碼器部分的淺層信息與深層信息不能有效融合。

針對上述存在問題，本文提出一種高分辨率復合網絡（High-Resolution Composite Network，HCNet）應用于皮膚病變圖像分割，HCNet由高分辨率網絡和U型網絡復合而成。首先預處理操作細化皮膚病變圖像，增強病變皮膚與正常皮膚對比度，降低異物遮擋對病變區域的干擾。其次用改進的條件參數卷積組成多尺度稠密模塊發掘病變區域的多尺度特征，增強模型對復雜目標的識別能力，條件參數卷積以函數運算卷積核的方式完成普通卷積工作，提高模型性能的同時保持高效推理。然后用混合池化模塊級聯編解碼部分，聚合皮膚病變圖像中長距離依賴關系和短距離依賴關系，提取分布緊密的語義和帶狀結構語義，級聯方式可以減少特征缺失和增強病變像素傳遞。最后引入Focal Tversky Loss函數來抑制正負樣本不均問題，弱化因病變區域像素占整體像素較少而引起的誤分割。

2 網絡構造

2.1 網絡設計

傳統U型網絡（U-Net）中編碼器和解碼器對稱相連，編碼器部分捕獲皮膚病變圖像局域特征，獲取目標空間信息與位置信息，解碼器部分對局域像素進行預測，將目標對應到相應像素點中，重構皮膚病變圖像。但是編碼器存在逐層壓縮特征圖分辨率的情況，不能保證高分辨率圖像在網絡中全局傳遞，高分辨率網絡可將高分辨率圖像融進下層編碼器中，實現不同分辨率圖像的聚合，有利于多尺度特征的獲取，優化圖像淺層信息。U-Net對稱結構能夠提高皮膚病變像素的分類能力，HRNet可以保持皮膚病變圖像高分辨率傳遞。因此本文用HRNet替代U型網絡原編解碼結構組成復合性網絡，實現高分辨率圖像全網絡傳遞，進一步增強像素類別預測的準確性，網絡框架設計如圖1所示。

圖1 網絡框架設計圖Fig.1 Network frame design chart

2.2 條件參數卷積

深度卷積神經網絡在醫學影像分割任務中取得較好的性能，網絡性能的改進主要來自增加模型容量和數據集預處理，增加模型容量會帶來大量浮點運算和參數，導致網絡訓練時間過長和影響實際應用。通常添加卷積層或增加卷積大小來提高模型容量，文獻［14］提出條件參數卷積（Conditionally Parameterized Convolutions，Cond?Conv），以函數運算卷積核的形式來挑戰普通卷積（Convolution，Conv）工作方式，達到優化模型效果，條件參數卷積工作如圖2（a）所示，普通卷積工作如圖2（b）所示。條件參數卷積一次輸入可以組合多個卷積核參數，定義如公式（1），而普通卷積組合多個卷積核參數則需要多次輸入，定義如公式（2）。條件參數卷積獨特的運算形式使其可以在數學上等同于普通卷積層，但只需一次卷積運算。因此在條件參數卷積中添加卷積核參數，比增加卷積數量更加合理，既可以提高模型容量和性能，又可以保持高效推理。

圖2 改進的條件參數卷積Fig.2 Improved conditional parameter convolutions

其中：?代表卷積運算，σ代表激活函數，αi代表第i個梯度下降法學習的權重系數，Wi代表第i個卷積核參數，i∈n，n表示卷積核參數數量，x代表輸入數據。

輸入數據由條件參數卷積、批歸一化（Batch Normalization，BN）層和ReLU激活函數處理，但神經網絡進行小批量樣本訓練時，BN層對隨機小批量具有依賴性從而導致網絡性能退化。Singh等［15］提出一種濾波器響應歸一化（Filter Response Normalization，FRN），FRN獨立處理批次樣本的激活通道，減小樣本數量對網絡性能的負面影響，歸一化后執行仿射變換消除歸一化影響。條件參數卷積操作后產生形狀為[B，H，W，C]的四維濾波器響應P，其中B代表批量大小，H和W分別代表圖像的高度和寬度，C代表濾波器數量（或稱通道數量），向量p=Pbc∈RH×W代表第b個批處理中第c個濾波器輸出，則FRN操作如下：

其中：v2是p的均方范數，ε是常量以防止被零除，λ和β是學習參數，j∈n，n代表P中向量數量。

濾波器響應歸一化缺乏平均中心可能導致激活過程中產生偏離零的任意偏差，偏差與Re?LU激活函數結合會對學習產生負面影響，因此引用學習閾值τ來改進ReLU激活函數，定義TLU激活函數來解決偏差問題，即：

2.3 多尺度稠密模塊

本文利用改進的條件參數卷積（CondConv）設計多尺度稠密模塊（Multiscale Dense Module，MDM）以優化網絡框架，結構如圖3所示。多尺度稠密模塊以密集網絡［16］（DenseNet）為主體，密集網絡利用前饋方式將模型各層彼此相連，實現層與層間密集連接和特征重用，但隨著網絡層數的遞增，特征圖維度隨之增加。因此本文設計的密集模塊舍棄部分跳躍連接，并利用改進的條件參數卷積替代普通卷積，在提高模型容量和性能的同時降低網絡參數。

圖3 多尺度稠密模塊Fig.3 Multiscale dense module

多尺度稠密模塊由四個改進的條件參數卷積（CondConv）層、一個DropBlock層和一個條紋池化層［17］（Strip Pooling）共同組成，改進的條件參數卷積用于病變特征提取，DropBlock層通過隨機丟棄方式解決過度擬合問題。編碼器依賴最大池化層（Maxpooling）進行下采樣，最大池化層利用正方形池化核處理密集目標，提供全局上下文信息。但是當圖像中目標區域是長條形或離散分布時，正方形池化核不能很好地提取遠距離特征，條紋池化層可以利用長條狀池化核處理離散分布目標，提取遠距離特征，捕獲局部上下文信息。條紋池化層分為垂直和水平條紋池化，以像素值求平均的方式將輸入特征圖形狀由H×W轉化為H×1和1×W，然后將垂直特征圖沿著左右方向進行擴容，水平特征圖沿著上下方向進行擴容，最后Sigmoid激活函數獲取注意力系數ζ∈［0，1］，注意力系數與原特征圖相乘確定其像素權重，與目標任務關系越緊密的圖像被保留的特征越多。密集網絡使前層輸出作為本層輸入，并將本層輸出傳遞給后層，實現特征信息重用，捕獲密集目標，條紋池化層捕獲遠距離特征，使皮膚病變圖像中離散分布區域和帶狀結構區域連接成為可能，捕獲離散分布目標，密集網絡和條紋池化層的結合，實現了多尺度目標的捕捉。

2.4 混合池化模塊

皮膚病變圖像經過編碼層下采樣后直接輸入解碼層中恢復圖像信息，可能導致深層特征圖未獲得足夠感受野，難以捕獲深層語義信息。由條紋池化和金字塔池化［18］組合而成的混合池化模 塊［19］（Mixed Pooling Module，MPM），可 以 有效地融合多尺度特征并擴大特征圖感受野。其中，特征圖的局部上下文信息由垂直和水平條紋池化層捕獲，條紋池化層的長條狀池化核使皮膚病變圖像中離散分布區域和帶狀結構區域連接成為可能，聚合長距離依賴關系。特征圖的全局上下文信息由金字塔池化層捕獲，金字塔池化層的正方形池化核可以提取皮膚病變圖像中分布緊密的語義，聚合短距離依賴關系，混合池化模塊結構如圖4所示。

皮膚病變特征圖X∈RH×W×C，H、W和C分別代表特征圖的高度、寬度和通道數，為避免不相關區域信息污染，提高目標區分度，特征提取多分支單獨進行。Pool_H和Pool_W表示垂直和水平條紋池化層，對皮膚病變特征圖進行垂直和水平方向壓縮，輸出特征圖X1∈RH×1×C/4和X2∈R1×W×C/4，并 對 輸 出 特 征 圖 進 行 上 采 樣（Upsample）處理，恢復圖像尺寸捕獲長距離依賴關 系。Pool_S3和Pool_S5表 示3×3和5×5的金字塔池化，對皮膚病變特征圖進行不同比例的壓 縮 ，輸 出 特 征 圖X3∈RH/3×W/3×C/4和X4∈RH/5×W/5×C/4，輸出特征圖再進行上采樣并與原始特征圖X相加，捕獲短距離依賴關系。最后調整通道數拼接Y1和Y2得到最終輸出Y，混合池化模塊實現了特征圖全局信息和局部信息的整合，建立長短程依賴關系。

圖4 混合池化模塊Fig.4 Mixed pooling module

2.5 雙殘差模塊

深層語義信息的解碼十分重要，如果上采樣忽略深層語義信息的重建，可能導致病變區域模糊和殘缺，傳統HRNet結構較為簡單，難以訓練復雜目標和重建細節信息，同時存在梯度消失和梯度爆炸問題，解碼部分若像編碼部分一樣添加多尺度稠密模塊會使網絡結構過于臃腫。因此本文設計出雙殘差模塊（Double Residual Mod?ule，DRM）用于圖像解碼特征重建，使用3×3卷積（Conv）、濾波器響應歸一化（FRN）、TLU激活函數和DropBlock層來構建殘差學習塊，兩個殘差學習塊組合成雙殘差塊，如圖5所示。

圖5 雙殘差模塊Fig.5 Double residual module

2.6 損失函數

皮膚病變分割任務中常用Dice-coefficient Loss函數緩解類別間不平衡的影響，但該函數不能優化假陰性和假陽性權重，導致最終結果精度較 高，而 召 回 率 較 低。Tversky Loss［20］函 數 能 夠平衡假陰性和假陽性，優化精度和召回率關系，但部分皮膚病變圖像上存在難以區分的較小感興趣區域（Region Of Interest，ROI）。因此在原損失函數基礎上引入超參數γ構成Focal Tver?sky Loss函數，增強模型對病變區域和較小感興趣區域之間的辨識度，更好地適應前景（病變皮膚）與背景（正常皮膚）像素比例不平衡的分割任務，新損失函數定義為：

其中：TP表示真陽性，正確分類皮膚病變區域像素數量；TN表示真陰性，正確分類非皮膚病變區域像素數量；FP表示假陽性，錯誤分類皮膚病變區域像素數量；FN表示假陰性，錯誤分類非皮膚病變區域像素數量；參數α和β用來調整假陰性和假陽性權重，緩解類別間不平衡的影響；超參數γ用來抑制ROI干擾。

2.7 網絡結構

皮膚病變圖像具有復雜的形態結構，分割時容易丟失特征信息和誤分割病變區域，為提高分割精度，本文提出高分辨率復合網絡（HCNet）應用于皮膚病變圖像分割，網絡結構如圖6所示。HCNet由前端圖像預處理（Image Preprocessing，IP）、編碼器（Encode）、解碼器（Decode）和混合池化模塊（MPM）組成。編碼器部分用來獲取皮膚病變圖像空間與位置信息，由多尺度稠密模塊（MDM）和HRNet架構組成，對皮膚病變圖像進行通道擴張和空間收縮，將尺度為256×256×3的皮膚病變圖像變成16×16×512，多尺度稠密模塊能夠進行特征重用，HRNet能夠保證高清特征圖全局傳遞，有效地減少下采樣過程中特征信息的丟失。解碼器部分用來預測像素類別，重新構建皮膚病變信息，由雙殘差模塊（DRM）和反向HRNet架構組成，對皮膚病變圖像進行通道收縮和空間擴張，將16×16×512的皮膚病變圖像恢復為256×256×32，雙殘差模塊在上采樣時能夠發掘深層語義信息和重建細節特征，分割出邊緣輪廓更加清晰的圖像。混合池化模塊（MPM）用于傳遞編解碼部分底層信息，利用金字塔池化和條紋池化捕獲特征圖全局和局部特征，建立目標特征長短程依賴關系。網絡末端是Sigmoid激活函 數 和Focal Tversky Loss函 數，Sigmoid激 活函數對前景和背景進行分類，Focal Tversky Loss函數抑制因正負樣本不均而引起的誤分割，使分割結果更為優異。

3 實驗結果與分析

3.1 數據集和實驗環境

?

本 文 采 用ISBI2016數 據 集［21］、ISBI2017數據 集［22］、ISIC2018數 據 集［23］和PH2數 據 集［24］作為實驗樣本。ISBI2016數據集包含900張訓練圖片和379張測試圖片，ISBI2017數據集包含2 000張訓練圖片、150張驗證圖片和600張測試圖片。ISIC2018數據集包含2 594張圖片，將其劃分為1 815張訓練圖片、259張驗證圖片和520張測試圖片，PH2數據集包含200張圖片，作為ISIC2018數據集的額外測試集。

實驗仿真平臺為PyCharm，實驗環境為Ten?sorFlow2.0，實驗計算機配置為Intel Core TM i7-6700H CPU，Nvidia GeForce GTX 2070 GPU，16 G內存。模型采用Adam算法優化Fo?cal Tversky Loss函數，迭代次數設置為50，初始學習率設置為1e-5，訓練批量設置為8。Focal Tversky Loss函數中參數α設置為0.7，參數β設置為0.3，超參數γ設置為0.75。

3.2 圖像預處理

皮膚病變圖像在收集時存在毛發遮掩、顏色差異和多病變區域現象，導致收集的圖像中病變區域模糊。為提高病變區域分割準確率，本文對皮膚病變圖像進行預處理操作，圖像預處理步驟如下：

（1）形態學操作。形態學腐蝕運算使病變區域減小，收縮目標邊界以消除毛發遮掩；形態學膨脹運算使病變區域增大，恢復目標尺度以填充空洞區域；本文對存在大量毛發的皮膚病變圖像進行腐蝕和膨脹運算，弱化毛發對分割精度的影響。

（2）樣 本 擴 充。ISBI2016、ISBI2017和ISIC2018數據集中樣本數量較少，為防止模型在訓練時產生過擬合現象，因此需要對皮膚病變圖像數據集進行圖片擴充，本文采用彈性變換、網格失真、水平翻轉、垂直翻轉、灰度變換、隨機通道、旋轉、轉置、高斯模糊等方法來擴充圖片數量，增加模型訓練樣本，并將皮膚病變圖像分辨率調整為256×256。圖像預處理部分操作如圖7所示。

圖7 圖像預處理部分操作Fig.7 Image preprocessing part of the operation

3.3 評估指標

本 文 使 用 準 確 度（Accuracy，Acc）、特 異 性（Specificity，Spe）、敏感度（Sensitivity，Sen）、Jaccard指 數（Jaccard Index，J）和Dice相 似 系 數（Dice Similarity Coefficient，D）作為本文網絡性能的評價依據。準確度揭示出正確分類像素數量與總像素數量比率的關系，特異性表示檢測正常皮膚像素數量與真實正常皮膚像素數量比率的關系，敏感度表示檢測病變皮膚像素數量與真實病變皮膚像素數量比率的關系，定義如下：

骨康膠囊對SaOS-2人成骨樣細胞增殖、分化及礦化的影響 … ………………… 楊 健，等(5):517

其中：TP表示真陽性，正確分類皮膚病變區域像素數量；TN表示真陰性，正確分類非皮膚病變區域像素數量；FP表示假陽性，錯誤分類皮膚病變區域像素數量；FN表示假陰性，錯誤分類非皮膚病變區域像素數量。

3.4 不同網絡主觀性對比

為驗證高分辨率復合網絡（HCNet）對皮膚病變圖像分割的有效性，本文選取文獻［7］中U型 網 絡（U-Net）、文 獻［8］中 高 分 辨 率 網 絡（HRNet）、文 獻［25］中 密 集 編 解 碼 結 構 網 絡（DEDNet）、文獻［26］中綜合注意卷積神經網絡（CANet）與本文高分辨率復合網絡（HCNet）進行指標對比。U-Net中編碼器和解碼器對稱連接，編碼器中下采樣使特征圖大小減半卷積核數量翻倍，解碼器通過直連方式整合上采樣層和編碼器輸入特征，恢復目標尺寸。HRNet能夠將高分辨率特征圖融進下層編碼器中，使圖像保持高分辨率傳遞，優化網絡淺層信息。DED?Net以U型網絡為基礎架構，在編碼部分中添加密集網絡和空洞空間卷積池化金字塔，并用密集跳躍連接組合編碼部分和解碼部分。CANet是在U型網絡中添加聯合空間注意模塊、通道注意模塊和尺度注意模塊，分別用來提高前景區域關注度、重新校準通道特征響應和強調最顯著多尺度特征圖。普通卷積高分辨率復合網絡（CH?Net）是將改進的條件參數卷積還原成普通卷積層，其余結構與本文高分辨率復合網絡一致。在同樣實驗環境下對上述六種網絡進行測試，對比結果見表1和表2，最優指標加粗表示。

表1 ISBI2016和ISBI2017數據集上不同網絡結果Tab.1 Results of different networks on ISBI2016 and ISBI2017 datasets

表2 PH2和ISIC2018數據集上不同網絡結果Tab.2 Results of different networks on PH2 and ISIC2018 datasets

表1給出本文網絡和其他五種網絡在IS?BI2016和ISBI2017數據集上的性能指標，表2給出本文網絡和其他五種網絡在PH2和ISIC2018數據集上的性能指標，綜合對比本文高分辨率復合網絡（HCNet）性能較優。CHNet是將改進的條件參數卷積還原成普通卷積層，其余結構和HCNet一 致，在ISBI2017數據集 上，HCNet網 絡參數（Parameter）是CHNet網絡參數的70.40%，單 輪 訓 練 時 長（Time）是 其74.40%。在ISIC2018數據集上，HCNet網絡參數是CHNet網絡參數的70.40%，單輪訓練時長是其76.60%。可見改進的條件參數卷積既可以提高模型容量和性能，又可以保持高效推理。雖然HCNet在網絡參數和單輪訓練時長上不如UNet，但在準確度、特異性、敏感度、Jaccard指數和Dice相似系數等評價指標上明顯高于U-Net，能更好地平衡參數時間與分割性能關系。

在表1和表2中本文網絡HCNet準確度均為最高，四個數據集上的準確度分別為96.14%、93.72%、94.31%和95.73%，準確度揭示出正確分類像素數量與總像素數量比率的關系，說明HCNet對皮膚病變區域像素和皮膚正常區域像素分類性能最優。Dice相似系數可以衡量標簽圖像與分割圖像的相似程度，本文網絡HCNet的Dice相似系數均為最高，四個數據集上分別為93.16%、88.56%、91.59%和92.00%，說明HC?Net分割結果更加貼合真實標簽，性能指標證明HCNet分割結果相比其他網絡更優，病變區域誤分割率更低。

圖8展示出不同網絡對皮膚病變圖像分割的結果，圖片（a）~（f）來源于ISBI2016數據集，圖片（g）~（l）來源于ISBI2017數據集，從上到下依次 為 原 始 圖 像、標 簽（Ground Truth）、U-Net、HRNet、DEDNet、CANet、CHNet和HCNet分割結果。HCNet分割圖對比其他網絡更為優異，在圖片（a）和（g）中皮膚病變區域與皮膚正常區域界線分明，對比度較高，本文網絡及其他網絡均可較好地分割出病變區域。在圖片（d）中皮膚病變區域邊界輪廓曲折復雜，U-Net和HRNet作為基礎神經網絡對目標特征重構能力不足、容易丟失邊緣特征信息，HCNet在解碼部分引入雙殘差模塊，增強目標邊緣特征重構能力，使病變區域邊界輪廓準確清晰。在圖片（h）中皮膚病變區域分為深色和淺色區域，在U-Net和HRNet分割結果圖中，缺失的病變區域較多，CANet和CHNet只能分割出深色病變區域，忽略了淺色病變區域，說明上述網絡圖像特征提取能力不足，特征信息丟失情況嚴重，HCNet中多尺度稠密模塊能夠實現特征信息重用和捕獲多尺度特征，使分割結果與標簽基本一致。對比結果說明本文網絡HCNet能夠更好地提取和重構病變特征，減少特征信息缺失，使分割結果邊界輪廓準確清晰。

圖9中圖片（a）~（f）來源于PH2數據集，圖片（g）~（l）來源于ISIC2018數據集，綜合分析HCNet分割圖較其他網絡更為優異。在圖片8中皮膚病變圖像中存在大量毛發，HRNet和CANet易將真實皮膚病變區域縮小或擴大，UNet、DEDNet和CHNet受毛發影響，病變輪廓分割效果較差，本文網絡HCNet預處理操作能夠弱化干擾因素，降低毛發對病變區域的影響，分割出來的圖像與真實標簽貼合度較高，擁有更強的魯棒性。

圖8 ISBI2016和ISBI2017數據集上不同網絡分割結果Fig.8 Different network segmentation results on ISBI2016 and ISBI2017 datasets

圖9 PH2和ISIC2018數據集上不同網絡分割結果Fig.9 Different network segmentation results on PH2 and ISIC2018 datasets

圖10 不同網絡分割細節結果Fig.10 Segmentation detail results of different networks

圖11給出ISBI2016數據集上的訓練Dice相似系數、訓練Jaccard指數、訓練損失和驗證損失變化曲線，圖12給出ISIC2018數據集上的訓練Dice相似系數、訓練Jaccard指數、訓練損失和驗證損失變化曲線，評價指標曲線圖能夠更加直觀地突顯HCNet優越性能。Jaccard指數可以衡量樣本間的差異性，Jaccard指數越高證明網絡對皮膚病變區域的識別度越好，分割正常皮膚區域與病變皮膚區域準確度越高。Dice相似系數可以衡量標簽圖像與分割圖像的相似程度，Dice相似系數越高說明分割結果越貼合真實標簽。損失函數能夠衡量分割圖像與標簽圖像不一致程度，損失越小網絡擬合度越好。圖11和圖12可以看出本文網絡HCNet的Jaccard指數和Dice相似系數收斂最快且數值最高，訓練損失和驗證損失相比其他網絡更低，圖中上方曲線為驗證損失曲線，下方曲線為訓練損失曲線。

圖12 ISIC2018數據集上的指標變化曲線Fig.12 Index change curves on ISIC2018 datasets

3.5 不同網絡客觀性對比

表3給出本文網絡與其他參考文獻網絡在ISBI2016數據集上客觀對比結果，最優指標加粗表 示。EXB、CUMED、Mahudr、SFU-mial和TMUteam［27］代表ISBI2016挑戰賽中排名前五的網絡，與EXB相比本文網絡HCNet在準確度上提高0.84%，敏感度上提高2.62%，特異性上提高0.74%，Dice相似系數上提高2.16%，Jaccard指數上提高2.71%，HCNet各項指標均高于挑戰賽中第一名網絡。對比其他文獻，無論是在像素分割準確度、敏感度，還是Jaccard指數和Dice相似系數上本文網絡指標均有較大提升。次優參考文獻［28］提出一種反饋注意網絡，反饋機制能夠重用參數，豐富特征信息，降低池化操作中特征丟失，在不進行數據增強的情況下獲得高質量特征圖。其特異性比本文網絡高0.19%，但準確度、敏感度、Dice相似系數和Jaccard指數分別比本文網絡低0.05%、1.12%、0.65%和0.78%，本文網絡進行皮膚病變圖像預處理，在增強數據樣本的同時降低外在因素干擾，實驗結果分析說明數據增強具有必要性。

表4給出本文網絡與其他參考文獻網絡在ISBI2017數據集上客觀對比結果。文獻［11］利用分割器和判別器組成密集U型生成對抗網絡，分割器中引入密集模塊，以確保在密集尺度范圍內皮膚病變信息最大化傳遞，判別器中對抗性特征匹配損失可以穩定模型訓練和引導注意模塊專注于多尺度病變區域，使Jaccard指數最高80.45%，高于本文3.26%，敏感度高于本文3.80%，但本文特異性和Dice相似系數比其高5.38%和0.70%，本文網絡采用多尺度稠密模塊和Focal Tversky Loss函數，對抗性特征匹配損失函數側重于敏感度，Focal Tversky Loss函數側重于特異性，二種損失函數各有優點。文獻［34］提出一種SkinNet，將U-Net編解碼器中的普通卷積層替換為密集卷積層，并在網絡最底端加入1~32擴張率的空洞卷積去擴大感受野，捕獲非本地圖像信息特征，SkinNet敏感度達到最高93.0%，比本文網絡高9.46%，特異性比本文網絡低8.02%，空洞卷積雖然能夠擴大感受野，提取全局信息，但擴張率過大時，會使3×3卷積退化成1×1卷積，丟失空間上連續信息。

表3 ISBI2016數據集上不同網絡客觀性對比Tab.3 Objectivity comparison of different networks on ISBI2016 datasets

表4 ISBI2017數據集上不同網絡客觀性對比Tab.4 Objectivity comparison of different networks on ISBI2017 datasets

表5給出本文網絡與其他參考文獻網絡在ISIC2018數據集上客觀對比結果。本文網絡HCNet除敏感度外，其他指標均為最高，對比其他參考文獻準確度分別提升2.33%、1.15%、1.03%和0.05%。文獻［37］將空間細節嵌入到高級語義特征中并建立遠程依賴關系，原始皮膚病變圖像中的信息，逐漸補充編碼器中的語義和細節信息，使敏感度最高96.7%，比HCNet高5.03%，但HCNet的Dice相似系數和Jaccard指數比文獻［37］分別高4.3%和5.79%。綜合對比ISBI2016數 據 集、ISBI2017數 據 集 和ISIC2018數據集結果，證明本文提出的高分辨率復合網絡整體性能優于現有網絡，能夠充分提取特征信息和精確定位皮膚病變區域，對皮膚病變圖像具有較好的分割效果。

表5 ISIC2018數據集上不同網絡客觀性對比Tab.5 Objectivity comparison of different networks on ISIC2018 datasets

3.6 消融實驗

為驗證高分辨率復合網絡（HCNet）各模塊具體作用，本文在ISBI2016和ISBI2017數據集上進行消融實驗。HCNet_1是將高分辨率網絡和U型網絡結合，不添加其他模塊，HCNet_2在HCNet_1的基礎上添加多尺度稠密模塊，HC?Net_3在HCNet_1的基礎上添加混合池化模塊，HCNet_4在HCNet_1的基礎上添加雙殘差模塊，HCNet_5在HCNet_2的基礎上添加雙殘差模塊，實驗結果如表6所示。

消融研究展示了各模塊具體作用，其中HC?Net_1是直接將高分辨率網絡替代U型網絡原編解碼結構，直接復合雖然能夠使分割性能指標有所提升，但是提升數值并不顯著。HCNet_2在HCNet_1的基礎上添加多尺度稠密模塊，多尺度稠密模塊利用前饋方式將模型各層彼此相連，實現層與層間密集連接和特征重用，條紋池化層通過垂直和水平條紋池化捕獲多尺度特征，充分提取圖像信息，精確定位出皮膚病變區域，分割性能指標有顯著性提高，特異性達到最高分別為97.57%和98.73%。HCNet_3在HCNet_1的基礎上添加混合池化模塊，處于網絡底端的混合池化模塊可以擴大感受野，實現特征圖全局信息和局部信息的整合，建立特征長短程依賴關系，使解碼部分獲取更多有用信息，敏感度達到最高分別為95.50%和84.95%。HCNet_4是在HC?Net_1的基礎上添加雙殘差模塊，HCNet_5是在HCNet_2的基礎上添加雙殘差模塊，雙殘差模塊在重建編碼部分送入的信息時，能夠挖掘深層語義信息，使分割出的皮膚病變圖像邊緣輪廓清晰。相比HCNet_4中分割指標，HCNet_5中分割指標更為優異，因為多尺度稠密模塊提取出更多特征，使雙殘差模塊重建皮膚病變圖像時有更多可用信息，Dice相似系數分別為93.03%和88.12%。消融實驗結果說明本文網絡HCNet中多尺度稠密模塊用于提高特異性，混合池化模塊用于提高敏感度，雙殘差模塊用于提高Dice相似系數。

表6 各模塊消融實驗Tab.6 Ablation Experiment of each module

4 結 論

針對皮膚病變圖像分割時存在異物遮擋、特征信息缺失和病變區域誤分割等問題，本文提出一種基于高分辨率復合網絡的皮膚病變分割方法，以高分辨率網絡為對稱結構，實現高清特征圖全網絡傳遞。首先對皮膚病變圖像進行細化，減少異物對分割性能的影響，再擴充圖片數量避免過度擬合；其次利用正反向高分辨率網絡構建編碼部分和解碼部分，進行皮膚病變圖像特征的提取和重建，多尺度稠密模塊充分提取特征，雙殘差模塊挖掘深層語義信息，減少特征信息缺失情況；最后Focal Tversky Loss函數抑制正負樣本不均引起的分割誤差，從而使分割結果更為優異。在ISBI2016、ISBI2017和ISIC2018數據集上準確度分別為96.14%、93.72%和95.73%，分割性能優于現有方法，對皮膚疾病的診斷具有一定應用價值。高分辨率復合網絡通過多形式卷積核建立長短程依賴關系。未來考慮通過特征圖三維形狀重塑來建立特征長短程依賴關系，提高皮膚病變圖像分割的精度。