基于Inception深度殘差網絡的皮膚黑色素癌圖像分類算法①

張榮梅,張 琦,劉院英

(河北經貿大學 信息技術學院,石家莊 050061)

皮膚黑色素癌[1]是由一種黑素細胞引起的惡性皮膚癌.傳統的基于機器學習的皮膚黑色素癌圖像識別方法[2–4]主要包括兩部分:圖像特征提取和圖像識別.由于皮膚黑色素癌圖像的特殊性,皮膚黑色素癌與非黑色素癌之間的類內差異大,類間差異小.利用傳統的人工特征提取方法無法精確地提取出皮膚黑色素癌圖像的特征,診斷準確率偏低.近幾年,卷積神經網絡在圖像識別技術中表現良好,基于卷積神經網絡(Convolutional Neural Network,CNN)的皮膚黑色素癌圖像識別技術可以通過網絡結構自動學習提取訓練集圖像中的特征并用于分類,分類效果顯著.

2016年,Kawahara 等人[5]利用CNN 網絡識別皮膚癌圖像,并利用Dermofit 皮膚癌數據集訓練,得到的診斷準確率為78.1%.2018年,Dorj 等人[6]提出利用AlexNet 網絡提取皮膚癌圖像的特征,通過收集3753幅皮膚癌圖像訓練,得到的分類準確率為95.1%.2019年,管秋等人[7]利用深度殘差網絡識別皮膚黑色素癌,并通過ISIC2016 數據集(2016年國際皮膚影像協會ISIC皮膚癌數據集)訓練,識別準確率為86.8%.胡海根等人[8]通過掩蓋技術對ISIC2017 數據集(2017年國際皮膚影像協會ISIC 皮膚癌數據集)進行隨機掩蓋與非隨機掩蓋增強,形成兩個不同的數據集,利用深度殘差網絡分別進行訓練,同時對兩個訓練模型集成學習,得到的識別準確率為86.7%.

基于CNN 網絡的圖像識別技術需要大量的訓練數據集為基礎,但是在醫療影像識別領域,醫療數據的獲取途徑有限,無法得到大規模的醫療數據.數據量過小就容易出現過擬合的問題.遷移學習可以有效地解決數據集數量小的問題,它首先通過依靠其他圖像數據集訓練獲取網絡模型參數,再遷移應用到目標網絡模型中,從而提高目標網絡的識別準確率.因此,很多學者開始使用遷移學習技術識別皮膚黑色素癌圖像.2017年,Esteva 等人[9]收集整理了12 萬張由專業的皮膚癌醫生標注的皮膚癌圖像,利用遷移學習在InceptionV3結構中訓練,達到了91%的準確率.Bi 等人[10]將ISIC 2017 數據集作為訓練數據,使用ResNet 網絡進行遷移訓練,識別的準確率達到了91.5%.2018年,董青青等人[11]利用ISIC 2016 數據集在改進的卷積神經網絡中訓練,利用CNN 網絡做遷移訓練,準確率達到了91.92%.2019年,柏朋成[12]利用深度殘差網絡識別皮膚黑色素癌,并利用ISIC 2017 數據集遷移訓練,識別準確率為85.3%.

基于遷移學習的皮膚癌影像識別技術都是依靠其他領域的圖像數據(如ImageNet 數據集[13]) 訓練獲取特征,這種方法只能提取皮膚黑色素癌圖像的高層次卷積層的特征,即全局特征,并不能充分挖掘圖像的局部特征.而在皮膚黑色素癌影像中,局部紋理結構信息是區分黑色素瘤的重要標志.深度殘差網絡(deep Residual Network,ResNet)可以訓練學習皮膚黑色素癌圖像的局部特征和全局特征,同時解決訓練過程中過擬合的問題,在皮膚黑色素癌識別中的效果優良.

雖然ResNet 網絡解決了深層次網絡中的過擬合問題,但是該網絡仍然存在訓練參數多、訓練時間長的問題.為了提高網絡的訓練效率,提高皮膚黑色素癌的識別準確率,本文提出了IDRN 算法,通過將Inception模塊與殘差模塊結合,利用Inception 模型代替傳統ResNet 網絡中的卷積層、池化層,并利用SeLU 函數作為網絡的激活函數對皮膚黑色素癌圖像進行識別診斷.最后利用旋轉、翻轉操作對ISIC2017 皮膚癌數據集進行數據增強后,將增強后的數據集在IDRN 模型中進行訓練.實驗結果表明,本文提出的IDRN 算法在皮膚黑色素癌分類中準確率達到了94.32%,遠遠超過了其他網絡模型.

1 深度殘差網絡與Inception 結構

1.1 深度殘差網絡

在CNN 模型中,通過增加網絡層數,可以整合低、中、高不同層次的圖像特征,包含了局部圖像到全局圖像等不同的特征.因此在一定程度下,卷積神經網絡的網絡層數越大,提取的圖像特征就越豐富,識別準確率越高.但是這樣就會出現梯度消失和網絡退化的問題.盡管正則化等方法已經優化了梯度消失問題,但是當網絡層數絕對增加時,梯度消失仍然存在,模型會產生退化現象.2016年,He 等[14]提出了ResNet 網絡結構,解決了深度網絡存在的問題.

ResNet 網絡由多組殘差網絡結構組成,每個殘差網絡結構包含了若干個殘差學習模塊(又稱為殘差塊).一個殘差學習結構是通過多個卷積層以及快捷連接(shortcut connection)構成,圖1為一個殘差學習結構.

根據圖1可知,在殘差學習結構中輸入為X,輸出為H(X),H(X)主要由殘差映射函數F(X)和快捷連接X兩部分組成,即H(X)=F(X)+X.其中,F(X)是X在主路徑上的輸出.而快捷連接可以實現殘差學習,可以將某一層神經元的輸出直接跨越多層網絡直接傳送給后面的某一層網絡中.恒等映射可以解決多層網絡中出現的網絡退化的問題.具體原理是殘差網絡通過訓練殘差映射函數F(X)中的參數訓練學習,當模型判斷當前殘差塊為冗余層時,就會將F(X)的參數訓練為0,使結構的輸出為輸入X,保證經過該恒等層的輸入X和輸出H(X)完全相同,從而實現恒等映射.

圖1 殘差學習結構

在ResNet 網絡中,由于網絡模型參數量較大,通常會先利用1×1的卷積核將X降維.同時,考慮到殘差層F(X)與輸入數據X的維度是否一致,何愷明教授提出了恒等映射殘差模塊以及卷積殘差模塊(如圖2和圖3所示).當F(X)與X的維度相同時,使用恒等映射殘差模塊實現;計算公式為:

圖2 恒等映射殘差模塊

圖3 卷積殘差模塊

其中,X為殘差塊的輸入,H(X)為殘差塊的輸出,F(X)為殘差映射函數,ReLU()為激活函數.

而當F(X)與X的維度不同時,使用卷積殘差模塊,利用 φ (X)線性投影將輸入數據X進行維度變化,再與F(X)相加.計算公式為:

其中,φ (X)為線性投影.

深度殘差網絡ResNet50 由恒等映射殘差模塊以及卷積殘差模塊組成,圖4為ResNet50的網絡結構.其中Conv_block 模塊為卷積殘差模塊,idebtity_block模塊為恒等映射殘差模塊.ResNet50 網絡包含50 層網絡結構,分別為1 層卷積層、48 層殘差結構和1 層全連接層.

圖4 ResNet50 網絡結構

在ResNet50 網絡中,輸入圖像大小為224×224×3,經過7×7 卷積層以及池化層后變為56×56×64 大小的特征向量,然后經過3個block1 殘差模塊后,轉化為56×56×256 大小;再經過4個block2 殘差模塊,轉化為28×28×512 大小;其次通過6個block3 模塊,轉化為14×14×1024 大小;再通過3個block4 殘差模塊,轉化為7×7×2048 大小;最后通過平均池化以及全連接層將特征圖像拉伸為2048個神經元后利用Softmax 分類輸出.

1.2 Inception 結構

2014年,Szegedy 等[15]提出GoogLeNet 模型,第一次提出Inception 結構.由于皮膚黑色素癌數據集的數量有限,采用傳統的ResNet 網絡訓練參數過多,容易出現過擬合的情況.利用Inception 結構提取圖像特征可以在橫向增加網絡結構,實現多尺度提取輸入圖像特征向量,實現了在增加網絡神經元個數并大大地減少網絡參數數量.

傳統的Inception 模塊將1×1、3×3、以及5×5的卷積層與池化層并行連接,并將結果連接輸出.Inception 模塊主要通過1×1的卷積核來降低圖像的維度,達到減少網絡參數的效果.在后續Inception V2 模型中,為了進一步地減少網絡的參數,Google 團隊提出將5×5的卷積核用兩個3×3的卷積核代替,更小的卷積核來減少模型的參數,實現了卷積核感受野不變的情況下,降低了模型的參數數量,具體網絡如圖5所示.之后,Inception V3 模型提出了將7×7的卷積核分解為1×7和7×1的兩個一維卷積,進一步減少了模型參數量,增加了網絡的深度.

圖5 Inception V2 模塊

2 基于Inception 深度殘差網絡皮膚黑色素癌分類識別算法

2.1 基于深度殘差網絡的改進

深度殘差網絡模型解決了極深卷積神經網絡中存在的梯度消失和網絡退化的問題,但是該網絡中的參數數量過大,訓練時間長.針對以上的問題,本文提出了IDRN 算法,將Inception 結構引入到傳統的ResNet網絡中,代替原始網絡中的卷積層和池化層,從而減少算法的時間復雜度;同時改進網絡的激活函數,提高了算法對皮膚黑色素癌圖像的識別準確率.

2.1.1 引入Inception 模塊

Inception 模塊實現了卷積神經網絡橫向維度的擴展,從廣度出發,提高網絡模型的準確率,極大地減少了網絡模型的參數數量.本文利用改進后的Inception V2 模塊代替傳統ResNet50 網絡中的第1 層卷積層與第2 層池化層,通過對輸入圖像并行地執行多個卷積操作,最后將結果拼接為一個特征向量輸入到殘差模塊中.利用Inception 模型代替傳統ResNet50 網絡中的卷積池化層,可以實現通過多種不同大小的卷積核多尺度提取皮膚黑色素癌圖像的特征,豐富圖像特征信息.同時,改進后的Inception 結構也大大地減少了ResNet50 網絡的參數數量,結構如圖6所示.

圖6中第1 列包括3個3×3的卷積核,實現了7×7 卷積核卷積效果,第2 列包括2個3×3的卷積核,實現了5×5的卷積核卷積的效果,第3 列為池化層.經過Inception 結構實現了將輸入圖像分別通過不同大小的來提取不同尺度的信息,豐富了圖像的特征信息,提高圖像識別的準確率.同時,傳統的ResNet50 網絡為7×7的卷積層和池化層,在這一層中訓練參數為9408個.而本文改進后的Inception 結構將參數數量減少為1296個,提高了模型的訓練速度.

圖6 改進后的Inception 結構

2.1.2 改用SeLU 激活函數

卷積神經網絡中,卷積池化操作為線性操作,通常還需要通過一層激活函數變化來提高模型的非線性.傳統的激活函數包括Sigmod 函數、tanh 函數、ReLU函數等,而ResNet 使用ReLU 激活函數,用來解決梯度消失的問題.但是ReLU 函數處于負半軸時梯度為0,會出現神經元死亡的情況,影響之后的計算;其次,ReLU函數具有稀疏處理作用,容易丟失圖像的有效特征;并且ReLU 函數的正半軸部分的導數恒為1,當梯度極小時依然存在梯度消失.

針對ReLU 函數的缺點,IDRN 算法提出使用SeLU函數[16]作為激活函數,SeLU 函數如式(3)所示.

其中,λ>1.由式(3)可知,SeLU 激活函數的正半軸導數為λ,這樣就可以進一步減少梯度消失;同時,在函數的負半軸不為零,防止了神經元死亡情況的出現,能夠全面地學習圖像特征,改進后的殘差學習模塊如圖7所示.

圖7 改進后的殘差學習模塊

2.2 Inception 深度殘差網絡結構

本文在ResNet50 網絡的基礎上,利用Inception結構代替了ResNet50 網絡初始階段的卷積池化層,同時利用SeLU 函數作為網絡中的激活函數,并修改了輸出節點的個數.改進后的IDRN 模型主要包括改進后的Inception 結構和殘差網絡.其中,Inception 結構是由3 條卷積池化網絡并行連接而成(具體結構見圖6).殘差網絡則是IDRN 網絡的主要部分,它由4個殘差網絡結構組成,每個殘差結構均由若干個殘差塊構成.最后通過均值池化層以及Softmax 線性分類器對皮膚黑色素癌進行分類,得到輸出結果.整體網絡結構包含54 層,分別為4 層Inception 結構,以及由殘差塊組成的48 層殘差結構和平均池化層、全連接層,IDRN 模型與ResNet50 模型結構對比.

通過表1模型結構可以計算,對于一張像素為224×224 大小的RGB 皮膚黑色素癌圖像作為模型的輸入圖像,采用本文改進的Inception 深度殘差網絡結構的訓練參數為1.79×107個.若采用傳統的ResNet50網絡模型,則訓練參數高達2.55×107個.從理論上分析,本文提出的IDRN 算法相較于ResNet50 網絡減少7.6×106個訓練參數,可以解決深度殘差網絡訓練參數數量過多的問題,可以有效地降低模型的訓練時間和時間復雜度.

表1 IDRN 模型與ResNet50 模型結構對比

圖8為IDRN 算法的網絡結構圖,輸入的皮膚鏡圖像大小為224×224 像素,通道數為RGB 三通道.輸入圖像首先通過改進Inception 結構,經過不同大小的卷積核并行提取圖像特征并進行連接,轉換為56×56×64 大小的特征向量;然后經過3個ResNet_1 殘差模塊后,將圖像的特征向量轉化為56×56×256 大小;再經過4個ResNet_2 殘差模塊,將圖像特征向量變化成28×28×512 大小;其次通過6個ResNet_3 模塊,將特征向量轉化為14×14×1024 大小;再通過3個ResNet_4 殘差模塊,將特征圖像轉化為7×7×2048 大小;最后通過平均池化以及全連接層將特征圖像拉伸為2048個神經元后,通過Softmax 分類器將皮膚癌圖像分為黑色素癌、黑色素痣以及脂溢性角化病3 類.

圖8 IDRN 網絡結構

3 實驗

3.1 實驗數據及數據增強

本文實驗數據采用2017年國際皮膚影像協會提供的黑色素皮膚癌病變識別的皮膚鏡數據集[17].該數據集包括惡性黑色素癌、黑色素痣以及脂溢性角化病3 類,其中包括2000 張訓練集,600 張測試集,圖像數據為JPG 格式.為了防止網絡過擬合,通過圖像旋轉的方式對數據集進行數據增強,主要包括順時針旋轉90 度、180 度、270 度以及水平翻轉4 種操作.經過數據增強后的ISIC2017 皮膚癌訓練集有10000 張,測試集3000 張.同時,因為網絡中存在全連接層,本文將皮膚癌數據集進行了預處理,將數據統一為224×224 像素大小的圖像.

3.2 參數設置

本文實驗在Windows10 64 位平臺環境上運行,基本配置是Intel Core i5-4590 四核處理器,16 GB DDR3內存,NVIDIA GTX1050 Ti 獨立顯卡.同時使用Keras 開源框架驗證IDRN 算法對皮膚黑色素癌圖像的識別效果.

3.2.1 學習率

本文實驗學習率的調整采用固定更新策略,通過保持實驗環境、迭代次數、激活函數不變,分別運行學習率為1×10?2、1×10?3、1×10?4以及1×10?5時,IDRN 算法在皮膚癌數據集上的識別準確率,當網絡模型的迭代次數為25 次,每次迭代的Batch-size為10 時,運行結果如圖9所示.

通過圖9可以得到,學習率為1×10?4時與學習率為1×10?5時相差不大,僅高于1%.但是相比于學習率為1×10?3時,增長了18%左右的準確率.同時,由于學習率越小,模型收斂的速度越慢,運行時間越長,因此本文采用學習率為1×10?4作為本文IDRN 算法的學習率.

圖9 學習率對比實驗

3.2.2 SeLU 激活函數

本文利用SeLU 激活函數代替傳統ResNet 網絡中的ReLU 激活函數.通過實驗表明,在僅僅改變激活函數的情況下,IDRN 算法在ISIC2017 皮膚癌數據集上進行實驗,當網絡模型的迭代次數為10 次,每次迭代的Batch-size為10,學習率為1×10?4時,實驗結果如表2所示.通過表2數據可以得知,采用SeLU 激活函數的模型訓練準確率遠遠高于采用ReLU 激活函數的模型.

表2 激活函數對比實驗

3.3 實驗結果

在本文實驗中,由于內存限制,每一個batch_size只能設置為10,因此本文實驗是在學習率為1×10?4,迭代次數為25 次,batch_size為10,激活函數為SeLU 函數,輸入圖像尺寸為224×224 大小的情況下進行的.同時,為驗證本文模型的有效性,將本文提出的IDRN 算法與幾種不同深度的經典卷積神經網絡模型在同一實驗參數下進行對比實驗.通過將AlexNet[18]、VGG16[19]、GoogLeNet 以及ResNet50 模型分別在ISIC2017 皮膚黑色素癌數據集中進行實驗,實驗結果如表3所示.

從表3中可以得到,本文提出的IDRN 算法模型在皮膚黑色素癌數據集中的表現最好,識別準確率達到了90%,相比于AlexNet、VGG16、GoogLeNet 以及ResNet50,本文提出的算法模型在準確率得到了提升.同時,對于網絡的訓練參數,IDRN 算法比ResNet50、

表3 實驗對比結果

Alexnet 算法模型的訓練參數少,VGG16 模型的訓練參數最多,GoogLeNet 模型的訓練參數最少;對于模型訓練過程中平均每張圖片的訓練時間,IDRN 算法模型比ResNet50的訓練時間短,AlexNet 模型的訓練時間最小,VGG16 模型的訓練時間最長.綜合比較得知,本文提出的IDRN 算法的訓練參數以及每張圖像的平均訓練時間都比ResNet50 模型得到了減少,同時對于皮膚癌圖像的識別準確率得到了提高.

將測試集作為輸入數據在訓練好的IDRN 模型中進行預測與評估后,得到的評估結果如表4所示.

表4 IDRN 模型實驗結果

通過表4可以得知,IDRN 算法在測試集中表現良好,證明本文提出的網絡模型具有很好地泛化能力,對于皮膚黑色素癌識別診斷可以起到輔助診斷的效果.

4 結論

本文針對皮膚黑色素癌圖像識別困難,利用深度殘差網絡可以有效地解決過擬合問題,提高識別準確率.但是針對傳統的深度殘差網絡識別皮膚黑色素癌圖像存在訓練參數多、時間效率低等問題,本文提出了基于Inception 深度殘差網絡的IDRN 皮膚黑色素癌分類識別算法.通過理論分析深度殘差網絡結構,利用Inception 模型代替網絡層中的卷積層和池化層,減少模型的訓練參數數量.同時使用SeLU 函數作為網絡的激活函數,提高算法的識別準確率.通過實驗表明,本文提出的IDRN 算法比其他傳統的卷積神經網絡結構在ISIC2017 皮膚癌數據集中的表現要好,識別準確率提高為94.32%.在未來的研究中需要進一步優化網絡結構,可以考慮對任意尺寸的輸入圖像進行識別,進一步提高實驗準確率.

本文的IDRN 算法同樣適用于其他領域的圖像識別研究,對其他領域圖像識別任務具有良好的泛化性能,有一定的研究意義.