基于改進ResNet50的皮膚病變圖像分類

王師瑋, 陳 俊, 易才鍵

(福州大學(xué)物理與信息工程學(xué)院, 福建 福州 350108)

1 引言(Introduction)

皮膚病目前已成為重要公共衛(wèi)生問題。皮膚科醫(yī)生人工識別皮膚病的過程中,一定程度地存在效率低、勞動強度大等問題,因此借助深度學(xué)習(xí)技術(shù)輔助醫(yī)生進行診療,在臨床應(yīng)用中具有重要的實用價值。

近年來,各種卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)層出不窮。2012年,由KRIZHEVSKY等[1]提出AlexNet網(wǎng)絡(luò),在當(dāng)年的ImageNet(大規(guī)模視覺識別挑戰(zhàn)賽)上奪冠,掀起了CNN在圖像分類領(lǐng)域的應(yīng)用熱潮。在此基礎(chǔ)上,皮膚病變識別也逐漸引入深度學(xué)習(xí)的研究方法。2014年,牛津大學(xué)計算機視覺幾何組(Visual Geometry Group, VGG)提出了VGGNet[2],LI等[3]使用VGG16(16層結(jié)構(gòu)的VGGNet)解決皮膚腫瘤分類的任務(wù)。ADEGUN等[4]研究了一種基于DenseNet(密集連接卷積網(wǎng)絡(luò))的方法檢測皮膚癌,該方法由密集塊組成。張榮梅等[5]提出用Inception結(jié)構(gòu)取代殘差網(wǎng)絡(luò)中的卷積層、池化層,并將其運用于皮膚黑色素癌的分類識別中。SAELIM等[6]提出了一種基于MobileNet(輕量級卷積網(wǎng)絡(luò))的皮膚病變分類方法。SATAPATHY等[7]利用CapsNet(膠囊網(wǎng)絡(luò))對空間姿態(tài)、方向信息敏感的特點,將其作為皮膚癌的分類器。由于皮膚病變表現(xiàn)出的類內(nèi)相異性和類間相似性,以及不同病變類型之間存在嚴重的類別不平衡情況,因此在一定程度上增加了皮膚病變的識別難度。為了解決這些問題,進一步提升皮膚病變圖像的分類精度,本文提出了皮膚病變圖像分類模型DS-ResNet50。

2 皮膚病變圖像分類模型(Image classification model of skin lesions)

ResNet50[8]網(wǎng)絡(luò)由很多殘差塊構(gòu)建而成,這些殘差塊不僅易優(yōu)化,計算負擔(dān)也小,使得ResNet50在網(wǎng)絡(luò)層數(shù)加深的同時能有效解決梯度消失、梯度爆炸的現(xiàn)象。ResNet50網(wǎng)絡(luò)結(jié)構(gòu)包含49個卷積層和1個全連接層。殘差塊中的shortcut連接將輸入的信息進行跨層傳遞,與經(jīng)過卷積操作后的輸出進行疊加,使底層網(wǎng)絡(luò)能夠進行充分訓(xùn)練。隨著殘差塊的堆疊,網(wǎng)絡(luò)深度不斷增加,網(wǎng)絡(luò)的正確率也會顯著提升。

DS-ResNet50模型在ResNet50的基礎(chǔ)上進行改進,構(gòu)建了新的瓶頸模塊:設(shè)計了雙尺度空洞卷積模塊,通過級聯(lián)空洞率為1和3的深度卷積核,增加感受野,保留更多的原始信息,并對提取到的不同尺度的特征信息進行融合;引入輕量型注意力模塊SimAM,在不增加任何參數(shù)量的同時,使模型更好地聚焦主體目標(biāo)提煉關(guān)鍵特征,提升易混淆樣本的分類準(zhǔn)確率。采用Focal Loss損失函數(shù)調(diào)整難分類、易分類樣本的權(quán)重,使模型更關(guān)注難分類樣本的損失結(jié)果。模型整體結(jié)構(gòu)如表1所示。

表 1 ResNet50與DS-ResNet50結(jié)構(gòu)對比Tab.1 Structural comparison between ResNet50 and DS-ResNet50

續(xù)表

2.1 雙尺度空洞卷積模塊

增加感受野可以使神經(jīng)元接觸到原始圖像的更大范圍,從而捕捉到更全局的語義信息。傳統(tǒng)的池化、增大卷積核都能擴大感受野,但使用此方法擴寬感受野的同時,特征圖尺寸也會隨之縮短,因此采用上采樣的方法復(fù)原特征圖尺寸。特征圖尺寸縮短再放大的過程通常會造成精度上的損失,遺失有用信息,故本文通過空洞卷積擴寬感受野?？斩淳矸e是在標(biāo)準(zhǔn)的卷積中引入空洞,在擴寬感受野的同時保持特征圖的尺寸不變,相比原來的標(biāo)準(zhǔn)卷積,空洞卷積多了一個參數(shù),稱為膨脹率?？斩淳矸e可以通過調(diào)整膨脹率控制感受野的大小,膨脹率越大,則感受野越大,調(diào)整的同時不會改變特征圖的分辨率。假設(shè)空洞卷積的卷積核大小為k,膨脹率為r,則其等效卷積核大小k′通過如公式(1)計算:

k′=k+(k-1)×(r-1)

(1)

當(dāng)r=1時,就是標(biāo)準(zhǔn)卷積。

本文模型在此基礎(chǔ)上提出,將如圖1所示的雙尺度空洞卷積模塊置于原ResNet50的瓶頸結(jié)構(gòu)中。將2個擴張率為1和3的空洞卷積進行級聯(lián),擴寬感受野以獲取多尺度的特征信息,并融合這2個空洞卷積的輸出特征圖,提高特征提取能力,進而獲得更精細的特征結(jié)構(gòu)。

圖1 雙尺度空洞卷積Fig.1 Dual-scale dilated convolution

2.2 輕量型注意力SimAM模塊

注意機制是深度學(xué)習(xí)中一種常用的技術(shù),基本思想是基于輸入序列的不同部分與當(dāng)前預(yù)測或輸出的相關(guān)性加權(quán)它們的貢獻,一般通過為輸入序列的每個元素計算一組注意力得分,然后使用這些得分計算序列元素的加權(quán)和,使得模型在進行預(yù)測或生成輸出時專注于輸入序列的特定部分。通過注意力機制,模型可以關(guān)注更值得關(guān)注且更應(yīng)該關(guān)注的地方。

SimAM模塊[9]是一種無參數(shù)的輕量型注意力模塊,可以無縫地集成到模型架構(gòu)中一起進行訓(xùn)練。在DS-ResNet50模型中引入SimAM模塊,在不額外增加參數(shù)的情況下,可以捕獲更多的細節(jié)特征,使模型更加關(guān)注易混淆樣本。

SimAM根據(jù)神經(jīng)科學(xué)理論設(shè)計一種能量函數(shù)用于發(fā)現(xiàn)重要神經(jīng)元,并據(jù)此實現(xiàn)注意力權(quán)值的計算。在神經(jīng)科學(xué)中,與周圍神經(jīng)元相比,信息較豐富的神經(jīng)元通常會展現(xiàn)出不同的放電模式,并且活躍的神經(jīng)元往往會抑制周圍神經(jīng)元的活動,即所謂的空域抑制。所以,應(yīng)當(dāng)給予具有明顯空域抑制效應(yīng)的神經(jīng)元更高的優(yōu)先級,定義如公式(2)所示的能量函數(shù)找到這些重要的神經(jīng)元:

(2)

2.3 Focal Loss損失函數(shù)

多分類實驗中,數(shù)據(jù)集經(jīng)常會出現(xiàn)類別不均衡的問題,導(dǎo)致模型偏向數(shù)據(jù)量大的類,對數(shù)據(jù)量小的類的學(xué)習(xí)就不夠充分,最終使少樣本的類別分類結(jié)果較差;數(shù)據(jù)集中也會存在難分類樣本,難分類樣本與其他類別樣本差異細微,很容易造成誤分,影響模型性能。

針對上述問題,本文所提方法首先在數(shù)據(jù)集的預(yù)處理過程中,采用數(shù)據(jù)增強方法進行樣本補充,緩解數(shù)據(jù)不平衡的問題,平衡模型在訓(xùn)練過程中的偏好。其次選擇Focal Loss[10]作為損失函數(shù),通過調(diào)整難、易分類樣本對總損失結(jié)果的權(quán)重,增加難分類樣本的損失值,減小易分類樣本的損失值,使模型更關(guān)注難分類樣本,避免難分類樣本淹沒在大量易分類樣本中,讓模型對難分類樣本進行更充分的學(xué)習(xí),降低難分類樣本的誤分率,從而提升總體的分類準(zhǔn)確率。Focal Loss函數(shù)是基于交叉熵損失函數(shù)的改進,具體表達式如下:

FL(pt)=-at(1-pt)rlog2pt

(3)

其中,pt為預(yù)測概率;抑制參數(shù)r≥0,抑制參數(shù)與權(quán)重成反比,即r越大,權(quán)重越低,一般根據(jù)經(jīng)驗取r=2;各類別權(quán)重at的取值范圍為(0,1),根據(jù)樣本數(shù)據(jù)量的相對大小取值,樣本多的類別權(quán)重取值較小,樣本少的類別權(quán)重取值較大。

3 實驗與結(jié)果分析(Experiment and result analysis)

3.1 實驗環(huán)境

本文實驗在Windows 10操作系統(tǒng)下完成,基于Pytorch深度學(xué)習(xí)框架。硬件環(huán)境為16 GB內(nèi)存的IntelCore i7-9700K CPU處理器,8 GB顯存的NVIDIA GeForce RTX 2070顯卡。

3.2 數(shù)據(jù)來源與數(shù)據(jù)增強

本文實驗數(shù)據(jù)來自ISIC2017皮膚鏡圖像分類數(shù)據(jù)集,數(shù)據(jù)集由2 000張訓(xùn)練集、150張驗證集、600張測試集組成。數(shù)據(jù)集共有3種類別的皮膚病變圖像,分別為黑色素瘤(Melanoma, MEL)、脂溢性角化病(Seborrheic Keratosis, SK)、黑色素細胞痣(Melanocytic Nevus, MN)。原訓(xùn)練集中各類別圖像的具體分布情況如圖2所示。

圖2 原訓(xùn)練集的圖像分布Fig.2 Image distribution of original training set

由圖2可以看出,訓(xùn)練集中各類別圖像的數(shù)據(jù)量少且各類別間數(shù)量差異很大,所以本文通過數(shù)據(jù)增強的方法產(chǎn)生新的樣本圖像,在擴充樣本數(shù)據(jù)量解決樣本分布不平衡問題的同時,也增強了模型的泛化能力。數(shù)據(jù)增強的具體操作為逆時針旋轉(zhuǎn)90°、180°、270°、水平或垂直翻轉(zhuǎn)、隨機縮放等。經(jīng)調(diào)整后的訓(xùn)練集樣本分布如圖3所示。

圖3 數(shù)據(jù)增強后的訓(xùn)練集圖像分布Fig.3 Image distribution of training sets after data enhancement

3.3 實驗參數(shù)設(shè)置

本文實驗使用Adam作為優(yōu)化器,損失函數(shù)選擇Focal Loss函數(shù)。設(shè)置每批次訓(xùn)練8張圖像,模型的最大訓(xùn)練周期為100個,采用穩(wěn)定減小學(xué)習(xí)率、早停法防止數(shù)據(jù)過擬合。初始學(xué)習(xí)率設(shè)置為0.000 5,穩(wěn)定減小學(xué)習(xí)率方法的patience參數(shù)設(shè)置為7,當(dāng)7個訓(xùn)練周期后驗證性能沒有提高,學(xué)習(xí)率會降低為原來的一半。早停法的patience參數(shù)設(shè)置為15,當(dāng)連續(xù)15個訓(xùn)練周期的驗證性能沒有提高,就會終止訓(xùn)練。

3.4 評價標(biāo)準(zhǔn)

為了全面評估模型的分類性能,使用準(zhǔn)確率(ACC)、精確率(P)、召回率(R)及F1-score值(F1)作為評價標(biāo)準(zhǔn)。

(4)

(5)

(6)

(7)

其中,TP(真陽性)表示將正例預(yù)測為正例的數(shù)量,FP(假陽性)表示將負例預(yù)測為正例的數(shù)量,FN(假陰性)表示將負例預(yù)測為負例的數(shù)量,TN(真陰性)表示將正例預(yù)測為負例的數(shù)量。一般而言,準(zhǔn)確率、精確率、召回率和F1-score的值越高,模型的分類性能越好。

3.5 結(jié)果與分析

為了驗證本文模型的有效性,在數(shù)據(jù)增強后的皮膚病變圖像分類數(shù)據(jù)集上進行實驗,表2展示了不同類別皮膚病變圖像的分類結(jié)果。從表2中可知,本模型在3種皮膚病變類型的分類上的精確率、召回率和F1-score均表現(xiàn)良好。

表 2 3種皮膚病變類型的分類結(jié)果Tab.2 Classification results of 3 types of skin lesions

混淆矩陣是準(zhǔn)確性評估的標(biāo)準(zhǔn)格式,本文的皮膚病變分類模型輸出分為3類,因此用3×3矩陣表示,分類結(jié)果的混淆矩陣如圖4所示。

圖4 分類結(jié)果的混淆矩陣Fig.4 Confusion matrix of classification results

將本文算法與經(jīng)典模型VGG16、GoogleNet、ResNet50、MobileNetV2、ShuffleNetV2、InceptionV3進行分類準(zhǔn)確率對比,實驗結(jié)果如表3所示。

表 3 不同模型分類準(zhǔn)確率對比Tab.3 Comparative experiment of different models' performance

從表3中可以看出,本文算法在準(zhǔn)確率上的實驗結(jié)果為90.95%,分別高于VGG16、GoogleNet、ResNet50、MobileNetV2、ShuffleNetV2、InceptionV3模型4.69%、2.76%、0.88%、3.33%、5.52%、2.92%。由此可見,本文模型具有更好的分類效果,是一個高精度、高性能的皮膚病變分類網(wǎng)絡(luò)模型。

本文模型在訓(xùn)練過程中的損失如圖5所示,可以看出,在訓(xùn)練過程中采用早停法,訓(xùn)練損失和驗證損失都不斷減小,最終保存了訓(xùn)練過程中最低的損失值,模型得到了有效的訓(xùn)練。

圖5 訓(xùn)練過程中的損失Fig.5 Loss during training process

4 結(jié)論(Conclusion)

本文模型在ResNet50的基礎(chǔ)上進行改進,提出了一種皮膚病變分類模型DS-ResNet50:設(shè)計了雙尺度空洞卷積模塊,通過級聯(lián)不同空洞率的深度卷積核,在特征提取階段提取不同尺度的特征信息并進行融合;引入輕量型注意力模塊SimAM,使模型更好地聚焦主體目標(biāo)提煉關(guān)鍵特征。訓(xùn)練過程中選用Focal Loss損失函數(shù),通過調(diào)節(jié)權(quán)重參數(shù)使模型更關(guān)注難分類的樣本。在公開數(shù)據(jù)集ISIC2017上進行實驗,并與幾款經(jīng)典模型進行對比,結(jié)果表明本文提出的DS-ResNet50模型在皮膚病變分類中準(zhǔn)確率在幾種模型中最高,達到了90.95%,具有良好的分類效果,可為臨床醫(yī)學(xué)診斷提供輔助。