基于PRU-Net的皮膚癌分割方法研究

李玉蓮，田軍，陳東祥，鄧盈，曾維鑫，曾悅琪

（電子科技大學成都學院，四川 成都 611731）

0 引言

皮膚癌是一種常見的惡性腫瘤，嚴重影響到人類健康和生命。皮膚癌有黑色素瘤和非黑色素瘤皮膚癌這兩大類，其中黑色素瘤的治療效果最好，但非黑色素瘤皮膚癌的治療難度較大。隨著計算機技術的發展和深度學習的崛起，基于深度學習的皮膚癌圖像分割的研究變得更加精準和自動化，而圖像分割技術作為圖像處理的關鍵技術之一，早已應用于醫學領域。如朱長明等人[1]采用譜聚類集成的超聲圖像分割算法對低信噪比的淋巴結超聲圖像進行分割。劉辰等人[2]采用醫學圖像分割技術保留和去除關鍵的區域和組織。廖林峰等人[3]將模糊C-均值聚類算法運用于醫學圖像，針對模糊C-均值聚類算法容易受到聚類中心初始值和噪聲的影響，采用粒子群算法和遺傳算法的結合，以迭代的方式來獲取分割結果。Ronneberger 等人[4]提出了一種對稱的全卷積神經網絡UNet，通過跳躍連接，融合了淺層和深層的圖像特征信息，提升了醫學圖像分割任務的性能。近年來，已有研究對使用U-Net 模型在醫學領域進行圖像分割做了深入探索。如：腦腫瘤[5]、肝腫瘤[6]、視網膜[7]、肺[8]等典型醫學圖像上取得了很好的結果。然而，由于UNet 本質上是一種經過改造的全卷積神經網絡模型，它會出現建模局部-整體關系欠缺、持續采樣次數過多會造成精度損失、占用大量的計算資源進行訓練和推理產生過擬合現象等等問題。

綜合上述進展，本文提出了一種新的皮膚癌分割模型PRU-Net，首先采用U-Net 網絡和密集鏈接結構作為分割網絡模型，以此增強皮膚癌全局信息的傳播和重復利用；其次通過添加通道注意力機制提升邊緣圖像的分割準確率；再加入ResNet中的殘差模塊和空洞金字塔池化模塊,提高網絡模型的分割性能。

1 算法研究

1.1 語義分割網絡

在圖像處理領域，卷積神經網絡通常適用于細節敏感度較低的圖像檢測和分類，因為卷積神經網絡具有感受野較小的淺層卷積,可以局部感知到部分區域的基本特征信息，當網絡層數越多，卷積層的感受野越大，性能越好，可以關注到圖像更為抽象和豐富的整體特征信息。卷積神經網絡通過池化層和卷積層使得學習到的抽象特征具有平移不變性，因此卷積神經網絡可以有效地處理大樣本數據集。由于卷積神經網絡具有較深的網絡結構，可能會導致在提取特征時，損失圖像的紋理邊緣、目標輪廓等細節信息，所以卷積神經網絡無法有效地實現圖像的語義分割任務。

在語義分割領域中對特征信息及背景區域進行準確、高效地分類成為一大難點，而全卷積神經網絡的誕生則有效地解決了這個問題，其分割結果可精確到像素級別。Long等人在2015年聯合提出了一種無全連接層的卷積神經網絡（Fully Convolutional Networks，FCN）。FCN 對比以圖像分類為目的的傳統卷積神經網絡不同，主要用于圖像分割任務，它可以準確識別圖像中每個特征像素的類別，并可以對像素進行準確定位，實現像素級別的語義分割。FCN與經典的卷積神經網絡的不同之處在于：它可以接受任意尺寸大小的輸入圖像，FCN網絡通過反卷積（Deconvolution）對最后一個卷積層處理之后的特征圖像進行上采樣操作，使得輸出圖像維持原始尺寸大小。FCN網絡通過卷積層提取圖像的特征，在網絡進行上采樣操作時，對特征圖像進行像素級的分類，逐個計算像素分類的損失，其網絡結構如圖1所示。

圖1 FCN結構

FCN雖然在圖像分割領域得到了廣泛應用，但它也存在一些缺點和不足之處：1）網絡運算量大，導致模型運算速度變慢，訓練和測試所需時間大大增加；2）分割精度有限，FCN 各個層之間缺乏上下文信息，導致分割結果不能充分考慮整個圖像的語義信息；3）模型可解釋性差，一些像素可能被獨立分割，使得分割結果難以與初始圖像相匹配。

1.2 基于U-Net網絡分割模型

U-Net 是一種基于FCN 網絡的改進圖像語義分割算法，可以廣泛應用于不同類型的圖像分割問題。U-Net 的網絡結構如圖2 所示，由圖2 可知，U-Net 將網絡結構劃分為兩部分：編碼器和解碼器，同時編碼器部分又稱為下采樣過程，解碼器部分又稱為上采樣過程。

圖2 U-Net網絡結構

在醫學圖像分割任務中，U-Net 網絡具有優異的表現，醫學影像和普通圖像相比較為復雜，并且輪廓特征不清晰、灰度范圍偏大，但分割的目標特征在人體圖像中結構固定并呈規律分布，語義特征也簡單明確，U-Net 網絡通過結合淺層特征信息和深層語義信息可以對醫學圖像提供精確的分割定位。此外，醫學影像樣本集數量偏少，對模型結構復雜的網絡可能會產生大量的參數，從而導致模型出現過擬合現象。UNet 作為輕量級的網絡，對數據集規模較小的醫學影像有著較好的分割效果，即使在網絡訓練過程中圖像數據量不足，依舊可以通過鏡像、平移及旋轉等圖像增廣操作來擴充數據集，防止網絡過擬合。此外，UNet 網絡可以通過改進或優化網絡結構的單元模塊來增加模型的泛化能力，使網絡模型具有較好的分割性能。

1.3 算法改進

1）密集鏈接結構

卷積神經網絡通過提高網絡深度來提取高維特征。網絡越深，越容易造成梯度消失，會通過加入殘差網絡（Residual Network，ResNet）來避免梯度消失問題，加入多尺度特征采樣來提高網絡寬度。但是隨著神經網絡層數增多，輸入輸出路徑變得更長，將存在梯度反向傳播進入輸入路徑時特征信息丟失的情況，且網絡對特征向量進行恒等映射時反復學習，易導致參數冗余。為了更好地解決上述問題，Huang G[9]提出了密集鏈接卷積網絡（Densely Connected Convolutional Network，DenseNet），其由多個密集連接的卷積層組成，這使得每一層的輸出都成為后續所有層的輸入，從而提高了信息流通的效率和共享率。DenseNet能夠增強特征信息的重復利用，同時降低參數的數量，網絡結構如圖3所示。

圖3 DenseNet網絡結構

密集鏈接模塊的主要思想是在每一層的輸出上堆疊前面所有層的輸出特征圖。這種密集鏈接的方式可以將信息從前面層傳遞到后面層，避免了深度神經網絡中梯度消失的問題。DenseNet 將每個卷積層的輸出與該層之前所有卷積層的輸出拼接在一起傳遞給下一層，褶皺連接方式可以將前面層的特征直接傳遞給后面層，避免了深度神經網絡中梯度消失和梯度爆炸的問題。同時，密集鏈接可以增加網絡中特征的重用，提高網絡的參數利用。

2）金字塔型空洞卷積模塊

空洞卷積（Dilated Convolution）也被稱為空間擴張卷積或膨脹卷積，其主要目的是通過增加卷積核的感受野來提取更廣泛的上下文信息，從而提升模型的表現。空洞卷積的實現方式是在卷積核內部插入一定數量的間隔，從而使得卷積核的有效感受野得到擴大，也就是更多的上下文信息可以被獲取。如圖4所示，標準卷積是擴張率等于1的特例。卷積核大小為k，擴張率為r的空洞卷積在連續的濾波器值之間引入r-1個零，接受野K的大小為：

圖4 普通卷積和空洞卷積

與普通卷積相比，空洞卷積在不損失特征圖分辨率的情況下擴大感受野，同時也不會增加參數數量，故可以很好地應用空洞卷積獲取圖像全局信息。

皮膚癌分割任務中，池化過程通常會造成空間分辨率降低，多次池化操作會損失圖像特征信息。為擴大皮膚癌圖像特征映射的感受野，使卷積層可以接收任意尺寸的特征圖像，并融合圖像多尺度特征信息，本文模型將用空洞金字塔池化模塊(Atrous Spatial Pyramid Pooling，ASPP)替換原始網絡底部的卷積層，網絡從不同空洞率下卷積的輸出結果進行特征融合，得到多尺度的特征來輔助語義分割任務，避免了語義分割中因感受野過小而導致精度不足的問題。

ASPP采用了金字塔式的多尺度信息聚合策略,先采用不同空洞率的卷積對輸入圖片進行特征提取，再將這些特征進行上采樣和匯聚，最后得到全局上下文信息和語義信息，在分類和分割任務中發揮重要作用。如圖5空洞金字塔型池化模塊示意圖。

圖5 空洞金字塔池化模塊

空洞卷積可以通過獲得不同膨脹率的膨脹卷積進行多尺度語義融合，改進后的空洞金字塔池化模塊，既可以使用膨脹系數小的卷積層增大皮膚癌圖像病變區域的細節特征信息，又可以使用膨脹系數大的卷積層增大圖像特征映射的感受野。在本文改進的網絡模型中，將U-Net 底部的卷積層使用帶有空洞卷積的金字塔池化模塊代替，使網絡模型可以提升皮膚癌圖像特征信息分割的準確率，解決圖像特征區域與背景區域對比度低而導致的分割模糊等問題。

3）PRU-Net網絡模型設計

在U-Net 網絡分割過程中，會存在圖像邊緣模糊等問題。因此，針對皮膚癌語義分割算法的難點及U-Net 網絡在分割領域的不足之處，本文提出了一種新的分割算法PRU-Net。PRU-Net 是由密集鏈接模塊和金字塔型空洞卷積模塊組合而成，加上殘差模塊，該網絡分別從以下三方面對皮膚癌模型結構進行優化與改進：

①為了避免網絡欠擬合，通過增加ResNet網絡的層次結構，使網絡模型擬合程度更好，更加符合皮膚癌圖像的特征信息；

②采用密集連接和ResNet 殘差網絡相結合的模型結構，在ResNet 原始網絡的編碼器-解碼器結構之間添加密集鏈接結構，通過對網絡層與層之間建立短連接的方法，增加皮膚癌的特征復用，減少冗余特征的參數量；

③將傳統ResNet 底層的卷積操作改為空洞金字塔池化模塊，使其通過逐層解碼方式提取皮膚癌圖像的特征信息，保證模型既可以充分利用圖像的低維和高維特征信息，又可以提升網絡模型的訓練能力和分割效果。

PRU-Net 模型的核心由編碼器、空洞金字塔池化、殘差模塊以及解碼器四個模塊共同構成，PRUNet網絡結構如圖6所示。

圖6 PRU-Net網絡模型

2 實驗

2.1 數據集與預處理

本文所使用的數據集來自國際皮膚成像合作組織(The International Skin Imaging Collaboration，ISCI)，該數據集包括2 594張圖像和12 970張標簽圖像。其中收錄了大量高質量皮膚病變的皮膚鏡圖像，這些圖像都來自于臨床數據，實際價值較好,并且圖像是皮膚癌專家進行的注釋與標注，如圖7所示。

圖7 ISCI數據集

本文對數據集做了以下處理：

1)為確保輸入數據具有一致的大小，將圖像和標簽壓縮至256×256像素。

2）為使數據落在一個較小的范圍內，避免權重更新過程中出現梯度爆炸或梯度消失的問題，加速網絡的收斂速度，對壓縮后的數據進行了標準化。

3）醫學數據集涉及患者隱私、醫學倫理等現實問題，大量數據不易被獲取，故醫學圖像領域中高質量大規模數據集的匱乏，而提高深度學習模型的泛化能力需要依賴于大量的數據集進行模型訓練。

為解決此問題，對輸入的圖像進行了數據增強，包括幾何變換、顏色變換、增加隨機噪聲。

圖8 中（a）是原圖，（b）、（c）、（d）分別是對原圖進行逆時針旋轉90 度、水平翻轉和垂直翻轉。圖9 中（a）是原始圖像，（b）、（c）、（d）分別是對原圖的亮度、飽和度、對比度調節。圖10中是本研究中添加的兩種隨機噪聲，（a）是原圖，（b）是高斯噪聲，（c）是椒鹽噪聲。

圖8 幾何變換類

圖9 顏色變換類

圖10 隨機噪聲

2.2 評價指標

為了能夠定量地評價各個網絡模型對數據集的分割效果，本文選用醫學圖像分割中最常見的評價指標Dice 相似系數（Dice Similarity Coefficient，DSC）和交并比（Intersection over Union，IoU）進行模型評估。DSC 用于評估真實分割區域與預測分割區域之間的相似程度，其值越大表示預測值與真實值之間的相似度越高，分割的結果越好。IoU 是預測分割區域和真實分割區域之間交集與并集的比值，同樣也是指標越高，分割效果越好。DSC 和IoU 的表達式依次如下：

其中，A和B分別代表真實和預測的分割結果。

2.3 實驗設置

實驗環境搭建在Python3.6 下，使用Keras 構建網絡框架，實驗環境在Intel(R)Core(TM)i7-7700HQ CPU及顯卡GTX1050 進行，運行內存8GB，顯存4GB。網絡訓練參數設置如下：采用Adam 優化器更新參數模型，學習率為0.5e-3，網絡迭代訓練次數設置為50 個周期，卷積時填充padding 均設置為SAME 模式，訓練時批大小batch size設置為2，隨機丟棄率Dropout設置為0.5。

2.4 實驗結果分析

本文將PRU-Net 網絡模型與其他模型應用于ISCI數據集，分別展示了網絡分割模型訓練loss對比圖如圖11。

圖11 loss對比圖

根據圖11，可以看出PDU-Net相較于另外兩個模型，訓練的效果較好，隨著訓練輪次的增加，PDU-Net的loss值在不斷下降并在下降到最小值后穩定。

圖12 展示了不同網絡模型對部分測試圖片的分割效果。

圖12 網絡模型分割結果對比

圖12 (c)、圖12(f)分別是U-Net 網絡、ResNet 網絡對圖片的分割結果，可以看出分割的結果較差，并帶有毛刺。圖12(i)是PRU-Net網絡對圖片的分割結果，可以看出該結果實現了準確的分割。

本文進一步將PRU-Net 網絡與其他醫學圖像分割模型在分割準確率（Dice 系數和IoU）上進行了對比，如表1所示。

表1 不同網絡模型在ISCI數據集上的分割準確率

由表1可知，PRU-Net模型仍然表現出色，其平均Dice 系數達到了0.906，IoU 值達到了0.830。這些實驗結果進一步表明了本文所提出的PRU-Net 網絡具有更好的分割性能。

3 結論

本文通過實驗分析了幾種常用深度神經網絡模型在皮膚癌分割的效果以及它們之間的差異性。針對目前皮膚癌分割流程及相關技術，展開深入的研究，本文提出了一種新的模型結構PRU-Net，加深網絡深度的同時引入空洞金字塔模塊（ASPP）和殘差模塊，在U-Net“上采樣+下采樣”的過程中添加具有BN層及ReLU 激活函數的密集鏈接結構，并聯不同膨脹率的空洞卷積，使模型可以融合皮膚癌圖像的多尺度信息。本文所提出的網絡模型已取得較好的成果，但是仍需進一步改進。下一步將會采集更多分布均衡的數據，探索如何利用半監督和無監督算法有效地進行皮膚癌分割，同時確保輔助診斷的準確性，并且加大神經網絡的廣度與深度以增強其表達能力，使深度學習算法在各個領域得到快速發展。