基于深度可分離殘差網絡的皮膚病識別與分類

王輝 羅江 孫偉琴 王天寶 吳佳偉

（徐州醫科大學 江蘇省徐州市 221004）

1 引言

皮膚作為人體的第一道防御器官，在人體的疾病防護中發揮著舉足輕重的作用。而近年來，由于環境污染和飲食習慣的問題，皮膚病的發病率逐漸增高[7]。由于皮膚病在初期沒有比較典型的癥狀，且導致疾病的因素復雜多樣，感染性很強，很少會引起人們的重視。這導致發病后往往難以根治，嚴重的甚至會誘發癌癥。

皮膚損傷的肉眼檢查分為兩個步驟：一是臨床篩查，其次是進行皮膚鏡檢查分析。皮膚鏡圖像是通過與皮膚接觸的高分辨率放大成像設備獲得的高度標準化的圖像。皮膚鏡圖像能夠可視化出肉眼難以檢查出的的復雜病變特征,這就可以使診斷的敏感性提高。然而，人工分析皮膚鏡圖像不僅效率低，并且擁有不同經驗的醫師可能會影響診斷的結果。另一方面，臨床圖像是由標準數碼相機拍攝的，在視角、角度和照明方面表現出更多的變化。總而言之，多種原因導致了臨床上的皮膚病的檢出效率較低。相對于醫師人工診斷的高昂成本，計算機輔助診斷(Computer- Aided Diagnosis,CAD)是一種具有成本效益和數據驅動的皮膚病診斷工具，有望成為對抗皮膚癌日益增長的死亡率的必要工具。

近幾年來，卷積神經網絡的興起(Convolutional Neural Networks,CNN)，對于圖像的識別、處理、分析愈發精確，相關技術形成的醫療輔助系統可以幫助醫生大大提高對于疾病的準斷率和工作效率。目前，醫學圖像識別大多集中在CT 和MRI 上，而很少有對皮膚病圖像的識別，主要原因在于，皮膚病不同于一些癌癥、結節的生理病理切片，皮膚病在人體的發病區域廣泛，同一種疾病，不同人可能發生在身體的不同部分，這給我們的特征提取增加了很大的難度。不過隨著深度學習對于圖像特征提取的不斷發展，相關模型的建立也在不斷地優化。在2012年，Hinton 等人提了AlexNet[1]神經網絡。AlexNet 添加了更多的網絡層數，獲得了當年的ImageNet[2]分類競賽的冠軍；隨后相繼提出VGGNet[3]，GoogleNet[4]等深度卷積神經網絡，這些經典的算法模型在圖片分類領域發揮著重要作用。在2015年，由Kaiming He 等提出了ResNet[5]網絡，其在VGGNet 的基礎上增加了一種殘差跳躍連接機制，避免了梯度消失的問題,加速網絡收斂，也因此使得網絡的深度可以達到上千層。

盡管神經網絡層數的加深，在一定程度上可以顯著提升模型的性能，但同時也不可避免地增加了大量的參數量，這會導致模型的訓練難度增加。因此，有學者提出了深度可分離卷積[6]，來解決傳統卷積參數量冗余的問題。深度可分離卷積背后的基本思想是將傳統的標準卷積拆分成兩個步驟：空間要素學習步驟和通道組合步驟。具體地，深度可分離卷積首先首先使用3×3 大小的卷積核獨立地對輸入特征的每個通道進行卷積操作，然后使用1×1 的卷積核將所有通道的信息組合起來。深度可分離卷積使得更多的特征信息能夠在網絡中進行傳播，相比于傳統的卷積方法減少了模型的參數量，加快了網絡的訓練速度，使得網絡的整體質量得到了提高。

圖1：深度可分離殘差模塊

圖2：本文提出的SResNet 網絡結構

本文將深度可分離卷積與ResNet 相結合，設計了一種新穎的網絡結構-SResNet。我們將SResNet 應用到皮膚病圖像識別任務中，并對比了VGGNet與ResNet兩種深度學習主流模型。實驗結果表明，我們的方法在準確率，召回率等指標上與傳統模型相比均占有一定優勢。

2 深度卷積神經網絡架構

CNN 通常以二維或三維圖像作為卷積神經網絡的輸入，輸入圖像后，分別通過卷積層、池化層、dropout 層和全連接層，最終提取圖片特征，有效地避免了人工提取的繁瑣與局限。本文提出的SResNet 網絡結構主要由輸入層、卷積層以及池化層構成。

輸入層：本文將收集好的皮膚鏡圖像處理成RGB3 通道的張量作為卷積層的輸入。圖像在輸入模型之前進行了數據增強操作以及標準化預處理，減去訓練集數據的均值，并除以訓練集數據的標準差。除此之外，為了滿足模型輸入維度一致的需要，我們規定圖像在載入模型之前自動調整成256×256 大小。

圖3：本文三種實驗模型的混淆矩陣

卷積層：卷積層的主要作用是通過卷積核提取圖片特征，對圖像進行加權，經Relu 函數處理后，獲取圖像局部特征。卷積核數量決定了特征圖數量，選擇合適大小的卷積核控制參數量在合理范圍內。本文設計了一種深度可分離殘差模塊(res)，如圖1所示，其內部由兩次深度可分離卷積和一次殘差條跳躍連接組成，此模塊可以在減少參數量的同時有效地提取輸入圖像的特征。本文提出的SResNet 模型包含5 個卷積塊(圖2),第1 塊內有1 個卷積層并且步長設置為2 用于降低輸入特征的維度。其余4 個卷積塊作為深度可分離殘差模塊(res)。其中,res1,res2,res3,res4 內有分別有3,4,6,3 個卷積層。在每個卷積操作之后，我們都采用了ReLU 函數對特征圖進行更新。SResNet 的4 個res 模塊使用的卷積核數量具體為64、128、256、512，同時卷積核的大小均設置為3×3。另一方面,我們將卷積核的stride 參數設置為1,padding 參數設置為’same’,以此維持卷積輸入前后的特征圖維度[8]。

池化層：池化層用于特征下采樣，步長為2 的池化作用是將下一層的輸入大小減半，有效地降低網絡參數，提高網絡運算效率。最常見的池化包括平均池化以及最大池化。本文模型的每個卷積模塊后面連接一個大小為2×2 的最大池化。

此外，模型在訓練時使用的損失函數為二分類交叉熵損失函數binary_cross_entropy，學習率為 0.001，優化器為Adam 優化器，訓練epoch 為100，每次訓練的批次大小batch size 設置為16。

3 實驗與結果

3.1 數據集

本文采用的數據集是SIIM-ISIC Melanoma Classification 挑戰賽所公開的 (https://www.kaggle.com/c/siim-isic-melanoma-classification/overview)。該數據集由國際皮膚影像合作組織(ISIC)生成,圖像來源于多家醫院以及研究所,是目前包含皮膚損傷的皮膚鏡檢查圖像的最大公開收集。大賽數據集提供了獨立的訓練集(33096 幅)和測試集(10952 幅)作為皮膚鏡圖像數據集:,用于訓練模型判斷圖像中是否包含黑色素瘤。為了便于研究,我們從總數據集中隨機選取了1500 張數據集作為本實驗的研究對象,并將其以8:1:1 的比例劃分為訓練集、驗證集和測試集，首先對模型的訓練集以及驗證集進行參數對更新優化,最后在測試集上進行最終的評價。本實驗的皮膚鏡圖像在的具體分布情況見表1。

3.2 評價標準

為了評估結果，我們應用了下面給出的評估指標。表2 是表示用于二進制分類的混淆矩陣。

通過混淆矩陣，我們可以計算出一些重要的評價指標，例如：

（1）總體精度(accuracy)：表示按模型正確分類的樣本占樣本總數的百分比。公式如下所示：

（2）召回率(recall)：這表示模型相對于真實黑色素瘤樣本中正確識別出黑色素瘤的能力，公式如下所示：

（3）精確度(precision)：這衡量了模型對預測陽性類別的信任，即對黑色素瘤的預測。公式如下所示：

（4）F1 得分(f1)：這是召回率(真陽性率)和精確度的調和平均值，公式如下所示：

3.3 實驗和結果

在訓練模型之前，我們通過隨機的水平和垂直翻轉兩種方法，對所有訓練數據進行了數據增強操作，保證了模型對未知數據的泛化能力，具體做法是在高度和寬度維度上隨機平移(范圍為高度及寬度的10%),隨機仿射變換(強度為10%),隨機旋轉(±25°)，我們通過上述數據增強方法擴充了訓練集數量,豐富了訓練樣本,避免過擬合的同時提高了模型的識別性能。另一方面,對于驗證集和測試集,我們均不做增強操作。同時,我們利用模型在驗證集的表現調節相關訓練參數,并保存在驗證集上驗證效果最好的模型,最終將模型在測試集上計算相關評價指標,用于測評模型的最終效果。

為驗證本文提出的模型的有效性,我們采用了VGGNet、ResNet 兩種模型作對比實驗。為了提升模型訓練的速度,提高模型的識別準確率和魯棒性,我們在訓練時遷移了 ImageNet 數據集(包括128 萬幅不同場景下的自然圖像以及1000 個非重疊類別)上預訓練好的模型權重。

本文的所有實驗在Intel Core i7-7700HQ 2.20 GHz 16 GB 內存和NVIDIA GeForce GTX 2080 顯卡的PC 上進行的。所有的深度學習模型使用Keras 深度學習框架進行了培訓和測試。

本文模型與其他深度學習模型在兩種訓練策略上的實驗對比結果見表3。由表3 可知本文提出的方法在識別總體精度(accuracy)，召回率(recall)，精確度(precision),F1 得分(f1)，真陽性(TP)，假陽性(FP)等評價指標上均優于其他方法的對應值，表明本文方法的有效性。

對于三種模型的混淆矩陣見圖 3。其中，圖 3(a)展示了VGGNet 的混淆矩陣，圖 3(b)展示了ResNet 的混淆矩陣，圖 3(c)展示了S-ResNet 的混淆矩陣。由圖3 可知:本文提出的S-ResNet提高了黑色素瘤識別的正確率，同時降低了模型識別的假陽性結果，進一步表明本文方法的有效性。

表1：本實驗的皮膚鏡圖像分布情況

表2：用于定義敏感性、特異性和準確性的混淆矩陣

表3：不同模型的對比結果

4 結語

本文創新的將深度可分離卷積與ResNet 網絡模型結合,提出了SResNet，并將其應用到了色素性皮膚病的識別任務中，證實了所提出方法的有效性，實現了基于皮膚鏡圖像的皮膚病識別與分類。我們對比了VGGNet 和ResNet 等傳統的深度學習模型，實驗結果表明,本文提出的深度學習模型在測試集上的準確率和f1 得分更高,假陽性率更低。在一定程度上為計算機輔助臨床診斷做出了貢獻。