基于改進的ResNet50網絡的黑色素瘤分類方法

鄧 輝，張 潔

(南京郵電大學 計算機學院，江蘇 南京 210023)

0 引 言

皮膚癌是世界上最常見的癌癥之一。由于黑色素瘤皮膚癌致命程度較高，黑色素瘤與非黑色素瘤皮膚鏡圖像之間的識別分類引起了研究人員和醫學工作者的極大關注。僅在美國，美國癌癥協會估計2022年將新增99 780例黑色素瘤患者，約有7 650人將死于黑色素瘤[1]。培養一名合格的皮膚科醫生需要花費較長的時間和資金成本，這在一定程度上也加劇了欠發達地區的醫療資源短缺問題。為了改善這種情況，研發基于皮膚鏡檢查的計算機輔助診斷系統具有重要意義。

傳統醫學影像分析的主流方法通常由兩個典型模塊構成：人工設計的圖像特征和模式分類器。常用的特征包括局部二值模式、方向梯度直方圖以及尺度不變特征變換等，常用的模式分類器包括K最近鄰分類器、神經網絡、樸素貝葉斯分類器以及支持向量機等。雖然傳統方法在醫學圖像分析領域中取得了一定成功，但是黑色素瘤與非黑色素瘤存在類間差距小、類內差距大的問題，即便是皮膚病專家也難以憑借肉眼取得較高的識別準確率；其次，由于皮膚表面存在顏色差異、毛發、邊界模糊等干擾信息，而且隨著醫學圖像形態種類不斷增加以及分辨率的不斷提高，越來越多復雜、精細、高級的醫學圖像分析任務需求被提出，基于手工設計特征的傳統方法面臨嚴峻挑戰。近十幾年來，隨著人工智能的迅速發展，深度學習在圖像分類、目標檢測、自然語言處理、語音識別等方面取得了巨大成功。不過，面臨缺乏準確標注的皮膚鏡圖像以及樣本分布極不平衡的情況，將深度學習應用在皮膚病變分類上同時提高診斷準確率是一項意義非凡且兼具挑戰的任務。

Pomponiu等人[2]提出了一個皮膚病變分類系統，第一步是進行包含數據增強的預處理，下一步操作是使用預訓練的AlexNet卷積神經網絡進行特征提取，最后，決定性步驟是通過使用K近鄰(KNN)算法實現的。該算法在包含399張圖像的數據庫上獲得了良好的效果，其特異性為95.18%，靈敏度為92.1%，準確率為93.64%。Codella等人[3]為了提取一些特征，也使用了AlexNet卷積神經網絡。這篇論文使用了用于皮膚病變檢測的最著名的數據庫之一，即ISIC數據庫，該數據庫由2 624幅皮膚鏡圖像組成，包括黑色素瘤和非黑色素瘤圖像。同時，他們使用了來自稀疏編碼的特征、低級手工特征和深度殘差網絡對AlexNet網絡的輸出進行調整。為了對圖像進行分類，使用了支持向量機(SVM)，最終準確率為93.1%，特異性為92.8%，靈敏度為94.9%。

Yang等人[4]使用帶有CAM(Class Activation Mapping)的多任務CNN來同時診斷和定位皮膚鏡圖像中的皮膚病變。獲得的CAM突出顯示了圖像中的感興趣區域(ROI)，通常覆蓋了整個病變區域。Kwasigroch等人[5]在包含10 000張良性和惡性病變圖像的數據庫上使用VGG19獲得了最好的結果，靈敏度達到95%。他還證明利用在自然圖片上預訓練的卷積神經網絡上提取的特征所訓練的線性分類器具有較高的準確性[6]，該系統能夠成功鑒別多達十種類型的皮膚病變。

胡海根等人[7]針對黑色素瘤分類任務中存在的對比度低、毛發干擾、數據量偏少以及數據不均衡等問題，提出了一種基于掩蓋的數據增強與深度殘差網絡相結合的集成分類方法。第一步是基于掩蓋訓練圖像部分區域對數據進行增強，其次，利用ResNet50進行特征提取，最后，用提取來的特征構建兩個有一定差異的分類結構模型，并進行模型集成。實驗結果表明，該模型能在樣本較少的數據集上取得良好的分類效果，多項性能指標優于ISIC2016挑戰賽的前五名。

趙宸[8]提出了一種基于自注意力的樣式生成對抗網絡和基于SE注意力機制的ResNeXt-50相結合的皮膚癌圖像樣本生成與分類框架，用來解決以黑色素瘤為代表的皮膚癌分類任務中存在的樣本數量、權重不均衡，以及圖像質量較差引起的診斷困難等問題。該框架使用基于自注意力機制的樣式生成對抗網絡對分辨率較低的皮膚癌變圖像進行重構，從而得到高質量的皮膚癌變圖像。最后使用SE-ResNeXt-50對圖像進行分類，更好地提取圖像不同層次特征圖的信息。實驗結果表明，該框架生成的樣本圖像質量較高，分類BMA高達94.71%，且提高了皮膚病變圖像分類的準確性，從而幫助皮膚科醫生快速高效地對不同類型皮膚病變進行診斷。

基于上述分析，針對皮膚癌分類任務中深層次網絡容易過擬合、黑色素瘤分類準確率不高等問題，該文提出了一種基于遷移學習和改進的ResNet50模型[9]的黑色素瘤分類模型MC-Net。該模型對輸入主干進行改進，摒棄了傳統的7×7大卷積核，而是采用3×3的卷積核與深度可分離卷積的組合，在保持感受野不變的同時降低參數數量；減少了殘差塊中的部分BN層和激活層，使用GELU函數代替ReLU函數，并將特征相加后的激活層移到殘差塊內部，以此來加強模型的特征表達能力；添加了CA注意力機制，除了能捕獲跨通道信息，還能捕獲方向感知和位置敏感信息，有助于模型更準確地定位和識別重點信息。在上述工作的基礎上，利用遷移學習初始化網絡模型的部分參數，接著在增強后的數據集上進行訓練，通過持續的反向傳播來微調預訓練的分類模型的權重，進一步提升模型的分類性能。

1 皮膚癌分類方法

該文對ResNet50神經網絡模型的輸入主干和殘差塊重新進行了設計，并且引入了CA注意力機制，基于遷移學習方法，使用在ImageNet數據集上預訓練好的權重初始化MC-Net模型，凍結除全連接層以外的所有層，然后在皮膚病變數據集上進行訓練，微調整個網絡。具體過程如圖1所示。

圖1 皮膚癌分類方法流程

1.1 網絡結構及原理

深度網絡隨著網絡層數的不斷加深會出現退化問題以及梯度消失問題，雖然殘差網絡ResNet設計了一種殘差模塊可以訓練更深層次的網絡，但是卻面臨著信息丟失、計算量過大以及復雜度過高等問題。該文以ResNet50網絡結構為基礎模型，通過改進網絡結構以創造新的結構來解決如上問題，并增加了CA注意力機制，提高了皮膚病變分類的準確率。

ResNet50網絡主要由輸入主干、卷積部分以及輸出層組成。網絡的輸入是大小為224×224的皮膚鏡圖像，輸入主干包括一個步幅為2、通道數為64的7×7大卷積核和一個大小為3×3、步幅為2的最大池化層。卷積部分包括4個后續階段，分別是Stage1～Stage4。其中，從Stage1開始，每個階段都由一個下采樣模塊開頭，緊接著是若干普通殘差模塊，前者是主網絡路徑上和分支路徑上都有卷積層，而后者只有主網絡路徑上有卷積層，分支路徑沒有卷積層。Stage4結束后，在最后殘差塊后面連接了一個平均池化層，網絡的最后一層為全連接層。

1.2 改進的深度殘差網絡

1.2.1 輸入主干的改進

通過觀察可知，ResNet50網絡結構的輸入主干主要由一個7×7卷積核和最大池化層[10]組成，且卷積層的計算成本為卷積核寬度或者高度的平方，因此，文中模型將輸入主干中卷積核大小為7×7的標準卷積替換成一個3×3的標準卷積和深度可分離卷積[11]的組合，以降低卷積過程中的計算量，并且加深網絡的深度，深度可分離卷積和輸入主干的結構分別如圖2、圖3所示。

圖2 深度可分離卷積

圖3 輸入主干

首先，輸出通道大小為3的3×3標準卷積，經過批量歸一化層后再接上一個最大池化層，然后在池化層輸出的特征圖上應用深度卷積，在2D卷積中分別使用3個尺寸為7×7×1的卷積核，而不使用大小為7×7×3的單個卷積核，每個卷積核僅對輸入層的1個通道做卷積，最終得到大小為224×224×3的輸出圖像，與原來的深度保持不變。其次是擴大深度，使用大小為1×1×3的卷積核做逐點卷積，每個卷積核對輸入圖像做卷積后能得到一個大小為224×224×1的映射，經過64次逐點卷積，就可以得到一個大小為224×224×64的輸出圖像。深度可分離卷積不僅擁有和卷積核大小為7×7的標準卷積相同的感受野，而且改進后的輸入主干的參數量僅為原來大卷積核參數量的44.6%，在保證輸出信息和原來一致的情況下大幅降低了分類網絡的計算成本，加深了網絡的深度，提高了模型的分類準確率。

1.2.2 殘差塊的優化

該文采用三層的殘差結構，使用GELU函數[12]代替ReLU函數，防止網絡出現“dying relu”的問題。GELU函數受到dropout、ReLU等機制的影響，隨著x的降低，它被歸零的概率會升高，對于ReLU函數來說，這個界限就是0，若輸入少于零就會被歸為0，而GELU函數不僅保留了概率性，同時也保留了對輸入的依賴性，其近似計算公式如式(1)，

GELU(X) =0.5×x(1+

(1)

可以看出，當x越大的時候，就越有可能被保留，x越小就越有可能被歸置為0。這一機制為激活函數[13]引入了隨機性，有效提高了所訓練模型的魯棒性。文獻[14-15]認為過多BN層和激活層可能會對模型性能產生一些不利影響，于是去除了殘差塊中第一個卷積后面的BN層和激活層，在1×1卷積后接上3×3卷積，以提高模型的特征學習能力。最后，調整GELU函數的位置，將特征相加后使用的激活函數移入殘差塊內部最開始的位置，加強模型的表達能力。改進后的下采樣模塊(Conv Block)和普通殘差塊(Identity Block)的結構如圖4所示，MC-Net模型使用所改進的殘差塊代替原來ResNet50模型中的殘差塊，分支網絡路徑保持不變，僅對主網絡路徑進行調整。

圖4 改進后的殘差模塊

1.3 CA注意力機制

Hou等人[16]認為現有的注意力機制多是采用最大池化/平均池化來對通道進行處理，這會損失圖像的空間信息，而且由于輕量級網絡負擔不起大多數注意力機制的計算開銷，導致了注意力機制在輕量級網絡中的應用十分滯后。因此，他們提出了一種全新的CA(Coordinate Attention)注意力機制。該機制將位置信息加入到通道注意力中，使得網絡能夠在避免大量計算開銷的前提下參與較大的區域。CA注意力機制的實現方式如圖5所示，Coordinate Attention將通道注意力分解為沿著兩個不同方向聚合特征的1D特征編碼過程，首先，將輸入特征圖分別沿著寬度和高度兩個方向進行全局平均池化；接著，將得到的寬度和高度兩個方向的特征圖拼接在一起然后送入共享的卷積核為1×1的卷積模塊中，并將維度降低為原來的C/r；之后，經過批量歸一化處理和非線性激活函數得到形如C/r×1×(W+H)的特征圖F，再將特征圖分別按照原來的寬度和高度進行1×1卷積分別得到和原來通道數一致的特征圖FH和FW,經過Sigmoid激活函數后分別得到特征圖在高度和寬度上的注意力權重δh和δw；最后，在原始特征圖上通過乘法加權計算，得到在寬度和高度方向上帶有注意力權重的特征圖，如式(2)所示：

yc(i,j)=xc(i,j)×δh(i)×δw(j)

(2)

圖5 CA注意力機制模塊

本研究在主干網絡中融入CA注意力機制，將其置于每個殘差模塊中的3×3卷積層后，在不顯著增加網絡復雜度的前提下，提升模型的表征能力。MC-Net模型的完整結構見表1，輸入圖像的尺寸為3×224×224，In_channels和Out_channels為經過每個Stage的輸入和輸出通道數，Output_size為圖像經過任一Stage后輸出的圖像大小。

1.4 遷移學習

ResNet50模型參數量較大，而樣本數據量較小，如果將其直接在皮膚病數據集上進行訓練，往往不能達到最佳的分類效果。通常使用遷移學習來解決這一問題。遷移學習[17]是將學習到的關于A的知識或應用到不同但相關的B上來，從而更好地解決問題B。使用預訓練好的權重對網絡進行初始化，然后將其遷移到目標數據集上進行微調訓練，從而提高分類精度，并且節省了訓練時間。該文使用的遷移學習方式是先預訓練然后微調，使用在大型數據集ImageNet上預訓練好的權重參數代替隨機初始化參數對MC-Net模型進行初始化，相較于ResNet50模型，由于MC-Net模型部分結構發生了改變，因此只能遷移二者相同部分的模型參數，余下參數依舊采用隨機初始化。然后，凍結模型起始部分層的參數使其不參與訓練，在目標數據集上使用較小的學習率重新訓練后面的層，得到新的權重。在這個過程中，通過多次嘗試找到凍結層和重新訓練層之間的最佳搭配。相比訓練一個全新的網絡，遷移學習有助于網絡快速收斂，提升網絡的分類效果。

表1 MC-Net的完整結構

2 實驗及結果分析

2.1 數據集

原始數據來自黑色素瘤檢測的皮膚病變分析競賽的HAM10000數據集。該數據集由10 015張皮膚鏡圖像組成，分為黑色素瘤和非黑色素瘤兩類，其中包含1 113張黑色素瘤圖像和8 902張非黑色素瘤圖像。病例包括色素性病變領域所有重要診斷類別的代表性集合：光化性角化病和上皮內癌(鮑恩病)、基底細胞癌、良性角化病樣病變、皮膚纖維瘤、黑色素瘤、黑色素細胞痣和血管病變。超過50%的病變經過了組織病理學的證實，其余病例的基本情況是由隨訪檢查、專家共識確認的。

2.2 數據增強

盡管HAM10000數據集中的皮膚鏡圖像在亮度、顏色、分辨率等方面已經進行了整理和標準化，但是仍然存在毛發遮擋影響診斷結果以及樣本分布極不均勻的問題。針對皮膚鏡圖像中的毛發遮擋信息，引入文獻[18]提出的黑素瘤圖像毛發遮擋信息的非監督修復算法自動去除原始圖像中的毛發遮擋，同時對毛發遮擋部位的信息進行了修復。圖6是皮膚鏡圖像修復前后的對比。

圖6 毛發遮擋修復前后對比

由于數據集中樣本分布極不均勻，對黑色素瘤組進行數據增強，使得圖像數量與非黑色素瘤組相似。根據皮膚鏡圖像的特性，該文使用了包括隨機翻轉、旋轉、裁剪等在內的傳統數據增強方式[19]，解決了黑色素瘤組數據量不足的問題，增強了模型的泛化能力。增強后的數據集(包含10 000張圖像)變成了含有17 805張圖像的平衡數據集，其中包括8 903張黑色素瘤圖像和8 902張非黑色素瘤圖像。本實驗中，將增強后的數據集劃分為訓練集、驗證集、測試集三個獨立且互不交叉的數據集，比例為6∶2∶2。

2.3 實驗環境及評價指標

實驗在Windows10 64位平臺環境下運行，基本配置是AMD Ryzen 7 5800X，16 GB DDR4內存，NVIDIA GTX3080 Ti獨立顯卡，深度學習框架為Pytorch。

采用AC、F1-score作為模型的評估指標，其中AC代表分類的準確度，定義如下：

(3)

F1-score是分類模型查準率和查全率的一種調和平均，其定義如下：

(4)

其中，TP、TN、FP、FN分別代表真正例、真負例、假正例、假負例的樣本個數。查準率(P)和查全率(R)能對每個類別進行性能評價。F1值為綜合考慮查準率和查全率的評價。一般來說，F1值越高，單個類別分類性能越好。

2.4 消融實驗

為了驗證所提方法的有效性，同時確定改進的結構在性能改善中所起到的作用，在驗證集上進行了消融實驗，實驗結果如表2所示。

表2 不同結構對分類效果的影響

表2展示了實驗中改進的各個模塊對實驗結果的影響。由實驗數據可知，利用3×3標準卷積和深度可分離卷積的組合代替原輸入主干的7×7大卷積核時，性能獲得了較大提升(AC提升了2.78%)，實驗中對殘差結塊進行優化以及添加CA注意力模塊時，實驗結果均有一定程度提升。當未對數據集使用數據增強時，分類模型的準確率有明顯下降，足以驗證所提方法的有效性，并且驗證了對數據集進行數據增強能夠有效提升網絡模型的性能。

2.5 對比實驗

將文中方法與AlexNet[20]、VGG19[21]、MobileNet-V2[22]、DenseNet-121[23]、EfficientNet-B0[24]等五種主流深度學習網絡進行性能對比，以下模型均使用在大型數據集ImageNet上預訓練的權重參數進行初始化，結果如表3所示。

表3 不同模型性能比較

結合表2、表3的實驗結果可知，提出的皮膚癌分類算法在該數據集上的準確率和F1值顯著優于其他網絡。在準確率和F1指標上，AlexNet最低，分別是87.2%和87.4%。使用文中方法改進的ResNet在該數據集上的準確率為94.87%，而其他神經網絡中準確率最高的是EfficientNet-B0,準確率為93.5%，說明了文中方法具備優異的皮膚癌分類性能。將遷移學習與文中方法結合，準確率進一步提高至95.4%，F1值達到了95.6%。不難看出，將遷移學習與文中方法結合能夠有效提升分類模型的性能，不僅降低了訓練成本，還能顯著加快網絡的收斂速度，具有一定應用價值。

3 結束語

針對臨床上使用皮膚鏡檢查黑色素瘤費時、費力的問題，提出了一種基于遷移學習的皮膚癌分類方法：主要是對ResNet-50網絡的基本結構進行了改進，網絡中添加CBAM注意力機制來增強網絡對重要特征的關注程度,并進行遷移學習。首先，使用一個3×3的標準卷積、最大池化層和深度可分離卷積的組合代替原輸入主干中的7×7大卷積核，這樣做既可以降低卷積過程中的計算量，又可以保持和原來相同的感受野；用Hard-Swish函數代替ReLU函數，同時使用LN替換BN，可以提高網絡的表達能力；使用空洞卷積和標準卷積的組合來聚合CBAM注意力中的空間上下文信息，提高對空間特征的編碼能力，在感受野保持不變的前提下，減少了參數數量。實驗結果表明，該方法在增強后的HAM10000數據集上取得了很好的分類效果，優于其他主流分類網絡，結合遷移學習訓練后，分類準確率達到96.0%，有效提高了皮膚癌診斷的效果。