融合遷移學習和數據增強的SC-Net模型在皮膚癌識別中的應用

關鍵詞：皮膚癌診斷；DenseNet-201模型；XGBoost模型；特征融合；數據增強；注意力機制；少數類識別

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2022）08-054-2550-06

doi：10.19734/j.issn.1001-3695.2021.12.0666

Application of SC-Net model integrated with transfer learning and data augmentation in skin cancer classification

Zuo Hangxu1，Liao Bin1，Chen Xiaokun1，Tong Yang2，Li Yong3

（1.College of Statistics amp; Data Science，Xinjiang University of Finance amp; Economics，Urumqi 830012，China；2.College of Electronic information，University of Electronic Science amp; Technology of China，Chengdu 610000，China；3.College of Integration of Traditional Chinese amp; Western Medicine，Southwest Medical University，Luzhou Sichuan 646100，China）

Abstract：The performance of the current skin cancer diagnostic models cannot meet the requirements of clinical applications，and the diagnostic accuracy is not high for a few categories.To solve this problem，this paper proposed a SC-Net model based on transfer learning and data augmentation.Firstly，it used the ECA attention module to fine tune the pre-training model of DenseNet-201 on the skin cancer dataset，and extracted the implicit high-level features of the images.Then，it joined the general statistical features，and used SMOTE oversampling technology to balance a few categories of data.Finally，it putt the data into XGBoost model for training to obtain the final SC-Net classification model.The experimental results show that the accuracy，sensitivity and specificity of SC-Net model reach 99.25%，99.25% and 99.88%，which is about 0.6%～18.7% higher than the existing models.The proposed model has stronger classification ability for a few categories such as Dermato fibroma and Actinic keratoses and intraepithelial carcinoma.

Key words：diagnosis of skin cancer；DenseNet-201 model；XGBoost model；feature fusion；data augmentation；attention mechanism；minority class identification

0引言

人類每年產生16.3 ZB的數據，到2025年，這一數字可能增加10倍[1]，特別伴隨人口以及醫療需求的增加，醫療和醫療相關數據成為大數據時代不可或缺的組成部分。隨著大量醫療數據的積累，深度學習模型和機器學習算法開始廣泛應用于醫療保健[2]、疾病診斷[3，4]、疾病治療[5，6]等領域，人工智能的融入極大地促進了傳統診療技術的進步。

皮膚癌（skin cancer）是全世界最常見的十大癌癥之一，受環境污染和臭氧層破壞等因素的影響，全球皮膚癌的患病人數呈上升趨勢[7]。2014年，比利時約有1/5的人口患有皮膚癌[8]；據美國癌癥學會的統計數據顯示：截至2020年，有超過500萬的美國人患有皮膚癌[9]。皮膚癌患病人數的增加需要更新的檢測技術應用于皮膚病變診斷，其中皮膚鏡技術應運而生。通過皮膚鏡拍攝的皮膚病變圖像分辨率較高，并且可以顯示更深的皮膚結構。皮膚鏡技術的應用提高了皮膚癌的診斷準確率，并有助于降低皮膚癌患者的死亡率，同時醫療人員通過視覺分析皮膚鏡拍攝的病變圖像來診斷皮膚癌。對于皮膚癌患者來說，如果能在早期階段被診斷出來，其存活率將非常高[10]。然而，人工鏡檢效率低，診斷準確度嚴重依賴于醫生的專業水平。據文獻[11]研究發現，專業的皮膚科醫生診斷皮膚癌的準確率還不到80%，高漏診率會導致大量患者錯過最佳治療期，危害皮膚癌患者的生命安全[11]。因此，引入深度學習等計算機輔助技術降低皮膚癌的診斷難度，對于提高皮膚癌診斷效率具有非常重要的現實意義[12]。

由于深度學習模型能適應大規模超高維場景的數據建模需求，可以通過自動識別輸入數據特征、提取特征來完成分類[13]、預測[14]或識別[15]等任務，使其在圖像、視頻、聲音等領域取得了巨大的成功，逐漸成為當下最炙手可熱的人工智能技術之一。在此背景下，為了解決皮膚癌診斷過程中的復雜性，提高診斷效率，各類深度學習模型被廣泛應用于皮膚癌的診斷與檢測中。現有研究中，已有不少工作基于CNN[16～18]、AlexNet[19]、ResNet[20]、生成對抗網絡[21]、EfficientNet[1]、Dense-Net[22]、MobileNet[23]等深度學習模型對皮膚癌進行診斷，但是上述研究使用的模型在準確率（accuracy）、靈敏度（sensitivity）等指標上仍有提升空間，還未達到投入臨床應用的性能要求，并且對于皮膚癌中的少數類（如皮膚纖維瘤、光化性角化病等）不能作出較好的識別。基于以上背景，本文基于遷移學習建立了一種診斷皮膚癌的深度學習模型SC-Net，有效地提高了皮膚癌診斷的性能（包括準確率、靈敏度及特異度）。本文的工作主要集中在以下四方面：

a）采用遷移學習模式，使用模型在ImageNet數據集上訓練好的權重，繼而通過在目標數據集上微調（fine-tune）訓練提取皮膚圖像中隱含的高級特征，達到減少模型訓練時間，提高模型訓練效率的目的。

b）融合一種輕量級注意力機制（efficient channel attention net，ECA-Net）[24]，加強模型對于病灶點的關注，忽視病變圖片中的無用信息，進一步提高模型的診斷精度。

c）針對目標數據集中類別的不均衡問題，引入合成少數類過采樣技術（synthetic minority oversampling technique，SMOTE）對特征融合后的數據集進行增強，提高模型對于皮膚纖維瘤、光化性角化病等少數類的識別能力。

d）在通過遷移學習提取到的隱含高層次特征的基礎上，再融合一般性統計特征（年齡、性別等），輸入集成學習XGBoost模型進行訓練，最終模型在accuracy、sensitivity和specificity三個指標上分別達到99.25%、99.25%和99.88%，相對于已有文獻精度提升約0.6%～18.7%，均優于已有研究提出的模型。

1國內外相關研究

現有不少深度學習模型已經用于識別和分類皮膚疾病，其中大多數診斷方法首先依賴于皮膚成像技術，再通過圖像變換、均衡、增強、邊緣檢測和分割等圖像處理技術，采集用于疾病識別和分類所需要的圖像特征，并最終將其作為人工智能方法（如機器學習、深度學習、人工神經網絡、卷積神經網絡、反向傳播神經網絡）的輸入，用于訓練皮膚疾病預測模型。已有的相關研究及其性能表現匯總如表1所示。

Mahbod等人[16]提出一種基于三級集成策略的多尺度CNN融合（MSM-CNN）方法，該方法利用各種尺度裁剪的皮膚圖像進行訓練，模型準確率為86.2%。Khan等人[18]提出一種全自動的多類皮膚病變分割和分類方法，使用十層自定義卷積神經網絡，并結合KELM分類器進行分類，模型精度為90.67%。Hosny等人[19]基于AlexNet模型進行微調（fine-tune），隨機初始化模型最后三個層的權重，在HAM10000圖像集上進行訓練，分類準確率為98.7%，為已有文獻中性能表現最好的方法。Al-Masni等人[20]使用全分辨卷積神經網絡從皮膚鏡圖像中分割出皮膚損傷邊界，對數據集進行適度平衡、分割和增強，然后使用ResNet50在數據集上進行訓練，模型最高精度為88.7%。趙宸等人[21]基于Self-Attention-StyleGAN生成對抗網絡，在樣式生成對抗網絡的基礎上引入自注意力機制，生成病變圖片進行訓練，模型精度達到94.71%。Huang等人[1]基于深度學習框架開發了一種輕量級、部署性強的皮膚癌分類模型，可遠程部署在云平臺以及用于遠程臨床輔助診斷，但其模型精度僅為85.8%。Mobiny等人[22]提出一種醫生—機器混合機制：理想情況下，機器學習算法應該只用于對結果高度確定的情況下進行預測，其余情況則需要將案例提交給醫生進行混合決策。一方面，上述研究在準確率、靈敏度等指標上仍有提升空間，還未達到投入一線臨床應用的要求；另一方面，已有研究提出的基于遷移學習的模型在準確率、特異度等整體性能指標上表現較好，但對于少數類別（如皮膚纖維瘤、光化性角化病等）分類情況不夠理想。在實際的醫療診斷中，模型對于任何一類疾病的識別都應具有可靠性，此時提高這些類的診斷性能尤為重要。針對上述問題，本文提出一種基于遷移學習的SC-Net皮膚癌診斷模型，在準確率、靈敏度和特異度指標上分別達到99.25%、99.25%和99.88%，各指標均優于已有研究提出的模型，并且能夠對皮膚癌少數類別作出更準確的診斷。

2模型構建方法

2.1DenseNet-201模型

DenseNet神經網絡構架是由Huang等人[25]于2017年在CVPR會議提出，DenseNet主要借鑒于ResNet與inception，但卻具有全新的網絡構架。在傳統神經網絡中，如果網絡有L層，則具有L個連接，但是在DenseNet中，則會有L（L+1）/2層。它以前反饋的方式將每一層連接起來，對于每一層，將前面所有層的特征圖（feature map）作為輸入，其本身的特征圖作為后續層的輸入，具體公式如下：

XL=HL（[X0，X1，…，XL-1]）（1）

其中：[X0，X1，…，XL-1]為第0層至第L-1層的特征圖。這種連接模式改變了層與層之間的傳統結構，加強了特征的傳遞，更有效地利用了特征，訓練效果優異，在一定程度上也減少了梯度消失（vanishing-gradient）問題。

DenseNet-201自提出以來，由于其出色的性能，廣泛應用于圖像識別領域[26]。因此，本文選取DendeNet-201作為基礎網絡，結合XGBoost建立SC-Net模型。

2.2SC-Net模型設計

本文構建的SC-Net模型如圖1所示，主要由DenseNet-201和XGBoost模型組成。DendeNet-201主要負責隱含的高級特征的提取，將提取的隱含的高級特征融合一般性統計特征（如年齡、性別和患病位置），將其輸入到XGBoost模型訓練，得到分類結果。

如圖1所示，SC-Net模型主要分為兩部分對皮膚癌進行診斷。首先，基于遷移學習引入DenseNet-201模型提取皮膚圖像隱含的高層次特征，為了增加模型提取特征的能力，加入ECA注意力模塊并且對DenseNet-201原始全連接層進行微調，將原來1 000分類的全連接層微調為三個連續的全連接層，并且加入兩個dropout層避免模型過擬合；然后將提取的隱含高層次特征融合一般統計特征，輸入XGBoost模型進行訓練，最后得到分類結果。

2.2.1遷移學習

DenseNet-201模型參數量較大，且網絡層數較多。由于樣本數據量較小，若將其直接在皮膚病數據集HAM10000上進行訓練，往往達不到較好的分類效果。通常使用遷移學習來解決這一問題。遷移學習是指將學習到的A的知識遷移到B上來，利用A的知識更好地解決問題B。通過預先訓練好的權重，將其遷移到目標數據集上進行微調訓練，從而提高目標數據集的分類精度，并且可節省訓練時間[27]。一般將基礎模型在大型數據集ImageNet上進行預訓練，將其訓練好的權重參數作為基網絡的預訓練權重。除此之外，本文對DenseNet-201模型進行了微調處理：凍結DenseNet-201模型前兩個稠密塊，基于目標數據集訓練余下網絡，從第一個全連接層輸出提取到的64維特征作為圖像的隱含高層次特征。

2.2.2ECA-Net注意力機制

ECA-Net是一種輕量級局部跨信道交互策略和自適應選擇一維卷積核大小的改進注意力機制算法。該模塊只增加了少量參數，卻在相關數據集上獲得了明顯的性能提高。ECA模塊的示意圖如圖2所示。

不同于SE-Net，Wang等人在研究中發現降維會降低通道注意力的預測，并且在捕獲通道之間的依存關系時效率不高。ECA模塊在不降低維度的情況下進行逐通道全局平均池化，在此基礎上，考慮每個通道及k個鄰居和1D的快速卷積生成信道權重，如公式（2）（3）所示。

wi=σ（∑kj=1αjiγji）γji∈Ωji（2）

w=σ（C1Dk（Y））（3）

其中：w為通道權重；k為局部跨信道交互覆蓋率，表示有多少個相近鄰參與一個通道的注意力預測；Ωji為特征γ的k個相鄰通道的集合； C1D表示一維卷積；Y為給定的總體特征。

2.2.3SMOTE算法

在醫療診斷中，往往會存在樣本不平衡現象，即病人的數量遠小于健康個體的數量，誤診健康個體的費用與誤診病人的費用相差較大，還會給患者帶來嚴重的后果[28]。為了解決樣本不平衡問題，Chawla等人[29]提出了一種解決類間不平衡的合成少數類過采樣技術，SMOTE算法對少數類樣本進行分析并根據一定規則構建新的樣本。對于每一個少數類樣本α，從其m個近鄰中隨機選擇若干個樣本m，對于每一個隨機選出的近鄰m，按照如下的公式構建新的樣本：

Snew=α+rand（0，1）×（a⌒m-a）（4）

SMOTE算法顯著地改善了一般隨機過采樣方法造成的過擬合情況，且減少了過采樣算法在采樣過程中對不平衡數據的局限性和盲目性。在HAM10000數據集上存在類別不平衡現象，本文在特征提取階段使用DA（data augmentation）技術增強數據集，再結合SMOTE技術針對特征提取后的數據集進行樣本平衡化，可以有效減少類間不平衡，提高模型對于少數類的診斷精度。

2.2.4XGBoost模型

XGBoost模型是由華盛頓大學陳天奇等人[30]提出的基于集成樹模型的學習框架。XGBoost對損失函數進行二階泰勒展開，并且可以自動使用CPU的多線程進行并行計算。其目標函數為

Obj=∑il（x⌒i-xi）+∑jΩ（fj）（5）

其中：l為損失函數，表示預測值與真實值之間的誤差；Ω為正則化函數。信息增益函數為

gain=12=[G2LHL+λ+G2RHR+λ-（GL+GR）2H+λ]-γ（6）

其中：GL、GR分別為分裂時左右葉子一階梯度統計和；HL、HR為左右葉子節點二階梯度統計和的信息增益；γ為分裂前的信息增益。XGBoost算法采用了一種近似直方圖算法，在每次分裂構建CART樹時，選取使得gain值最大的節點進行分裂，使得分割點的選取更加高效和直接，并且在一定程度上降低了模型的過擬合。在將特征輸入到XGBoost模型之前，需要選擇一種合適的融合策略將兩種特征進行融合。一般來說，可以將兩類特征向量進行相加（add）或者串聯（concat）。若將兩類特征向量進行相加，則可能會導致信息丟失，造成特征的浪費；而若將兩類特征向量串聯，則可完全保留兩類特征的信息。因此，本文選擇將兩類特征串聯成一個組合特征向量，將其輸入到XGBoost模型進行訓練。fall為融合了兩類特征的集合，可以表示為

fall=f1+f2（7）

2.2.5基于SC-Net的皮膚癌分類流程

本文將DenseNet-201神經網絡模型和XGBoost模型結合，基于遷移學習模式，使用ImageNet數據集對DenseNet-201進行預訓練；隨后引入ECA注意力模塊，凍結訓練好的DenseNet-201模型前兩個稠密塊，對其剩余層網絡在目標數據集上進行微調訓練，提取目標數據集隱含的圖像特征；最后將提取的高層次特征融合一般性統計特征，引入SMOTE技術數據集，將其輸入到XGBoost模型進行圖像分類。具體步驟如圖3所示。

a）數據預處理。修改目標數據集每張圖片的大小，均改為128×128像素并對其進行標準化處理；再使用圖像增強（data augmentation，DA）技術，對目標圖像進行隨機旋轉90°、隨機水平和豎直偏移、隨機水平和豎直翻轉操作，提高模型的泛化能力。

b）模型預訓練和微調。調用模型在大型數據集ImageNet上預訓練好的網絡參數權重，引入ECA注意力機制，將模型在目標數據集進行訓練，凍結部分網絡，對其余網絡參數進行微調，找到模型最好表現。

c）特征融合。獲取預訓練模型在目標數據集上提取的圖片隱含的高層次特征，采用串聯方法融合一般性統計特征，得到總特征數據集。

d）分類訓練。引入SMOTE方法增強特征融合后的數據集，將數據增強后的數據集輸入XGBoost模型進行訓練，得到分類結果。

3實驗結果與分析

為驗證本文提出的SC-Net模型在皮膚癌診斷中的有效性，本文在主流數據集HAM10000上進行大量實驗驗證。

3.1數據集概況

本文實驗使用的數據集HAM10000（human against machine with 10000 training images）來自于2018國際皮膚成像合作組織（ISIC）主辦的皮膚病變分析挑戰[31]。該數據集由10 015張皮膚鏡圖像組成，這些圖像是從不同人群以及使用不同方式收集的色素性病變領域中最重要的皮膚癌類別，包括黑色素細胞癌（melanocytic nevi，NV）、黑色素瘤（melanoma，MEL）、良性角化病樣病變（benign keratosis-like lesions，BKL）、基底細胞癌（basal cell carcinoma，BCC）、光化性角化病（actinic keratoses and intraepithelial carcinoma/Bowen’s disease，AKIEC）、皮膚血管病變（vascular lesions，VASC）、皮膚纖維瘤（dermato fibroma，DF）。HAM10000數據集示例如圖4所示。

HAM10000數據集各類別分布情況如表2所示，其原始圖像大小為600×450像素。在本文中，為加快運算速度，將圖像像素大小設置為128×128像素。在進行訓練時，將目標數據集分為80%的訓練集和20%的測試集，再將訓練集的20%分為驗證集，以便在訓練時進行模型精度驗證。除此之外，本數據集還包括三個一般性統計特征：年齡（age）、性別（sex）和患病部位（localization）。其中，年齡為數值型特征，性別和患病部位為字符型特征。本文對年齡中的缺失值進行均值填充，對性別和患病部位使用獨熱編碼（one-hot）進行特征映射，將其轉換為二進制編碼，得到17維特征。

3.2實驗環境及評價指標

本文實驗Python版本為3.8.3，scikit-learn版本為0.24.2，TensorFlow版本為2.4.1，詳細實驗配置環境如表3所示。

本文使用準確率、靈敏度、特異度三個作為模型的性能評價指標，其計算方法分別如式（8）～（10）所示。

accuracy=TP+TNTP+FP+FN+TN×100%（8）

sensitivity=recall=TPTP+FN×100%（9）

specificity=TNTN+FP×100%（10）

準確率（accuracy，ACC）表示所有正確分類的正樣本和負樣本占總樣本的百分比。靈敏度（sensitivity，SEN）也可叫做召回率（recall），表示正確分類的正樣本占所有正樣本的百分比。特異度（specificity，SPC）表示正確分類的負樣本占所有負樣本的百分比。

3.3基于SC-Net的皮膚癌分類結果分析

本文采用Adam[32]作為SC-Net模型優化算法，學習率設置為0.000 1，批尺寸（batch_size）設置為32，損失函數設置為多分類交叉熵損失函數（categorical_crossentropy），預訓練權重設置為在大型數據集ImageNet上預訓練好的ImageNet權重參數。將特征融合后的新目標數據集80%劃分為訓練集，20%劃分為測試集，SC-Net模型在測試集分類結果如表4所示。表5為少數類DF、AKIEC和VASC分類指標與文獻[1，22]指標對比。圖5為SC-Net混淆矩陣，圖6為錯分示例。

由表4和5可知，本文提出的SC-Net模型取得了較好的分類結果：在accuracy指標上，七種疾病的分類準確率均在[0.995，0.999]內，均高于文獻[1，22]；在sensitivity指標上，本文模型相對于文獻[1，22]有了較大的提高，原因在于引入的SMOTE算法有效減少了數據集類間不平衡，大大增強了模型對于少數類的分類能力。在specificity指標上，本文模型的值均處于[0.997，1]內，略高于文獻[1，22]。

在皮膚類別的分類實驗中，NV（黑色素細胞癌）的分類精度略低于其余六種皮膚癌類別。由圖5的SC-Net混淆矩陣可知，將NV誤分為MEL的誤分類率最高， 主要原因為NV與少數MEL類別在顏色、形狀等特征上較為相似，在進行特征提取時不能有效將其區分，出現了錯分示例，如圖6所示。

圖6中，由于兩幅圖特征較為相似，在進行特征提取時提取到的特征相差不大，不易區分，最終將NV誤分為MEL。總的來說，本文提出的SC-Net模型在數據集HAM10000上具備優異的分類性能，能夠較好地對七種皮膚病變圖像進行區分，能夠準確地對皮膚癌中的所有類別作出精確的診斷。

3.4SC-Net消融實驗及其對比

在SC-Net模型中使用了多種技術來提高分類精度，為了驗證所使用方法的有效性，本文設計了三組消融實驗，如表6所示。

在SC-Net中，分別使用了DA和SMOTE技術對數據集進行數據增強。DA方法是對皮膚癌圖像數據集進行增強，通過將圖片隨機旋轉90°、隨機水平和豎直偏移、隨機水平和豎直翻轉操作，在特征提取階段減少模型過擬合，提升模型特征提取能力。SMOTE方法針對的是特征融合后的數據集，將圖片隱含的高層次特征和一般性統計特征進行串聯后組成一個多維特征向量；此時，引入SMOTE方法增強該特征向量，隨后將其輸入XGBoost模型進行訓練。如表6所示，若使用DA方法，SC-Net模型精度為95.31%；使用SMOTE方法，模型精度為98.47%，相對于DA方法提升約3.3%。為了進一步提高模型分類能力，本文結合兩種數據增強方法對數據集進行處理，模型精度達到99.25%， 相對于DA方法提高約4.1%，相對于SMOTE方法提高約0.8%。

在皮膚癌識別的實驗中，皮膚圖像隱含的高層次特征（advanced feature，AF）以及患者的一般性統計特征（general statistical feature，GSF）均會對實驗結果產生較大的影響。若單獨將提取的AF特征輸入XGBoost模型進行訓練，模型精度為98.68%，并未達到最佳表現，引入GSF特征后，模型精度為99.25%，性能提升約0.6%。GSF特征包括年齡、性別和患病部位。Pérez等人[33]指出，年齡、性別等因素與皮膚癌高度相關。在不同性別人群中，年齡越大，患有皮膚癌的可能性越高，且男性患病幾率高于女性。本文融合兩類特征，提高了模型分類精度，對于皮膚癌患者的診斷具有積極作用。

注意力機制可認為是一種資源分配機制，核心思想是突出某些重要的特征。在SC-Net中使用了一種輕量級注意力機制模塊ECA-Net，此時模型精度達到99.25%，相對于未加注意力模塊提升0.06%，模型精度在皮膚病數據集上略有提升。

3.5與不同模型的性能對比

將本文構建的SC-Net模型與VGG16、VGG19、MobileNet-V2等七種主流深度學習模型進行性能對比，各模型均使用在大型數據集ImageNet上的預訓練權重參數，將其作為特征提取網絡，其余參數與SC-Net模型參數一致。相關指標對比如表7和圖7所示。

由表7和圖7可以看出，本文提出的SC-Net模型在accuracy、sensitivity和specificity三個指標上分別為99.25%、99.25%和99.88%，均優于其余七種主流深度學習模型。在accuracy指標上，Inception-V3僅為75.51%，而SC-Net模型能達到99.25%；在sensitivity指標上，SC-Net相對于其余模型提升5.3%～31.4%，模型靈敏度提升較大；在specificity指標上，各模型表現均較好，都在[0.95，0.999]內。

基于以上分析，SC-Net模型在三個指標上均表現較好，優于主流深度學習模型，具備優異的皮膚癌診斷性能。可以看出：a）得益于DenseNet-201網絡獨特的網絡構架，使得SC-Net模型具備優異的特征提取能力，DenseNet-201以前反饋的方式將每一層連接起來，加強了層與層之間特征的傳遞，有效地利用了特征；b）ECA注意力機制的引入，使得模型更加關注圖像中的病灶點，忽視圖像中的無用信息，提高了模型的診斷精度；c）XGBoost模型作為集成學習的代表性模型，具備較強的分類能力，原因在于XGBoost算法在目標函數中引入正則化項，并且可以自定義損失函數，增強了模型的抗擬合和分類能力；不僅如此，XGBoost還支持并行優化，對輸入特征數據排序，存儲為block結構，在之后的預測過程中重復地使用這個結構，很大程度上減少了計算量。

3.6與已有工作的實驗結果對比

本文與文獻[1，16～19，22，23]均使用同一數據集，且所做工作最為相關，因此將本文提出的SC-Net模型與MSM-CNN[16]、AK-DL[17]、CNN[18]、AlexNet[19]、EfficientNet-B4[1]、DenseNet-169[22]和MobileNetV2-LSTM[23] 七種模型進行性能對比，對比結果如表8所示。

由表8可以看出，本文提出的SC-Net皮膚疾病診斷模型在準確率、靈敏度、特異度三個指標上分別為99.25%、99.25%和99.88%，均優于已有研究提出的模型。SC-Net與已有研究提出的模型最大的不同之處在于：a）在模型訓練階段采用兩種數據增強方法對數據集進行處理，減少了模型的過擬合，提高了模型對于少數類的識別率；b）傳統神經網絡模型通常是端到端的網絡，只能對圖片信息進行提取和分析，從而作出識別或者預測。SC-Net利用神經網絡提取圖片特征信息，再融合一般性統計特征，充分利用了多種類別的特征，提高了模型的診斷準確率。

SC-Net模型的準確率相對于已有工作提升0.6%～18.7%，靈敏度提升3.8%～37.7%，特異度提升0.6%～9.9%，且三個指標均在99%以上，具備較強的皮膚癌診斷識別能力。

4結束語

根據世界衛生組織的數據，由于臭氧層破壞以及環境的惡化，皮膚癌患病率近年來快速增長，是困擾人類的重大疾病之一。為提高皮膚癌患者的診斷準確率，簡化診斷過程，將機器學習算法應用于皮膚癌分類，這對于輔助專業醫療人員作出精確診斷具有較大的現實意義。本文提出了一種基于遷移學習的皮膚病變診斷框架SC-Net：該框架使用ECA注意力模塊，基于DenseNet-201深度學習模型對皮膚病變圖像進行特征提取，將圖片隱含高層次特征融合一般性統計特征，引入SMOTE方法增強數據集，隨后輸入XGBoost模型進行訓練，最后輸出分類結果。實驗結果表明：SC-Net皮膚癌診斷模型在accuracy、sensitivity、specificity三個指標上分別達到99.25%、99.25%和99.88%，均優于已有工作提出的模型，相對于已有文獻精度提升約0.6%～18.7%，并且可以更好地分辨數據集中的少數類樣本，有效地提高了皮膚癌診斷的性能，為模型的臨床應用打下基礎。在未來的實際臨床應用場景中，一方面，需根據真實醫療應用場景，對模型泛化能力、誤差和偏差分析等內容進行進一步優化；另一方面，本文將著眼于模型的輕量化，使其可運行在移動設備中，以便更好地為醫生和患者提供服務。

參考文獻：

［1］Huang H W，Hsu B W Y，Lee C H，et al.Development of a light-weight deep learning model for cloud applications and remote diagnosis of skin cancers[J].The Journal of Dermatology，2020，48（3）：310-316.

[2]盧淑祺，竇志成，文繼榮.手術病例中結構化數據抽取研究[J].計算機學報，2019，42（12）：2754-2768.（Lu Shuqi，Dou Zhicheng，Wen Jirong.Research on structural data extraction in surgical cases[J].Chinese Journal of Computers，2019，42（12）：2754-2768.）

[3]馬超，徐守祥，劉遠東.集成優化核極限學習機的冠心病無創性診斷[J].計算機應用研究，2017，34（6）：1671-1676.（Ma Chao，Xu Shouxiang，Liu Yuandong.Optimized kernel extreme learning machine based on ensemble method for diagnosis of heart diseases[J].Application Research of Computers，2017，34（6）：1671-1676）

[4]馬超，譚旭.基于樽海鞘算法優化的帕金森病早期診斷模型研究與并行優化[J].計算機應用研究，2021，38（9）：2726-2731.（Ma Chao，Tan Xu.Research and parallel optimization of Parkinson’s disease early diagnosis model based on improved salp swarm algorithm[J].Application Research of Computers，2021，38（9）：2726-2731.）

[5]葉中玉，吳夢麟.融合時序監督和注意力機制的脈絡膜新生血管分割[J].計算機科學，2021，48（8）：118-124.（Ye Zhongyu，Wu Menglin.Choroidal neovascularization segmentation combining temporal supervision and attention mechanism[J].Computer Science，2021，48（8）：118-124.）

[6]閆諳，王衛衛.基于條件能量對抗網絡的肝臟和肝腫瘤分割[J].計算機工程與應用，2021，57（11）：179-184.（Yan An，Wang Weiwei.Segmentation of liver and liver tumor based on conditional energy-based GAN[J].Computer Engineering and Applications，2021，57（11）：179-184.）

[7]魏國清，耿耘.近年來中醫藥治療皮膚癌的研究概況[J].中華中醫藥學刊，2014，32（2）：269-270.（Wei Guoqing，Geng Yun.Research survey of traditional Chinese medicine in the treatment of skin cancer in recent years[J].Chinese Journal of General Practice，2014，32（2）：269-270.）

[8]Pil L，Hoorens I，Vossaert K，et al.Burden of skin cancer in Belgium and cost-effectiveness of primary prevention by reducing ultraviolet exposure[J].Preventive Medicine，2016，93：177-182.

[9]Siegel R L，Miller K D，Fuchs H E，et al.Cancer statistics，2021[J].CA：A Cancer Journal for Clinicians，2021，71（1）：7-33.

[10]Havaei M，Mao Ximeng，Wang Yiping，et al.Conditional generation of medical images via disentangled adversarial inference[J].Medical Image Analysis，2021，72：102106.

[11]Marks R.Epidemiology of melanoma[J].Clinical and Experimental Dermatology，2000，75（9）：503-507.

[12]Ameri A.A Deep Learning approach to skin cancer detection in dermoscopy images[J].Journal of Biomedical Physics amp; Enginee-ring，2020，10（6）：801-806.

[13]Yu Xiang，Kang Cheng，Guttery D S，et al.ResNet-SCDA-50 for breast abnormality classification[J].IEEE Trans on Computational Biology and Bioinformatics，2021，18（1）：94-102.

[14]Olio L，Curti N，Remondini D，et al.Prediction of vascular aging based on smartphone acquired PPG signals[J].Scientific Reports，2020，10（1）：19756.

[15]Ye Sijing，Lu Shuhan，Bai Xuesong，et al.ResNet-Locust-BN network-based automatic identification of east Asian migratory locust species and instars from RGB images[J].Insects，2020，11（8）：458.

[16]Mahbod A，Schaefer G，Wang Chunliang，et al.Transfer learning using a multi-scale and multi-network ensemble for skin lesion classification[J].Computer Methods amp; Programs in Biomedicine，2020，193：105475.

[17]Wang Liyang，Chen Angxuan，Zhang Yan，et al.AK-DL：a shallow neural network model for diagnosing actinic keratosis with better performance than deep neural networks[J].Diagnostics（Basel），2020，10（4）：217.

[18]Khan M A，Sharif M，Akram T，et al.Skin lesion segmentation and multiclass classification using deep learning features and improved moth flame optimization[J].Diagnostics（Basel），2021，11（5）：811.

[19]Hosny K M，Kassem M A，Fouad M M.Classification of skin lesions into seven classes using transfer learning with AlexNet[J].Journal of Digital Imaging，2020，33（5）：1325-1334.

[20]Al-Masni M A，Kim D H，Kim T S.Multiple skin lesions diagnostics via integrated deep convolutional networks for segmentation and classification[J].Computer Methods amp; Programs in Biomedicine，2020，190：105351.

[21]趙宸，帥仁俊，馬力，等.基于Self-Attention-StyleGAN的皮膚癌圖像生成與分類[J/OL].計算機工程與應用，2021.（2021-08-17）[2021-09-03].http：//kns.cnki.net/kcms/detail/11.2127.tp.20210419.1440.067.html.（Zhao Chen，Shai Junren，Ma Li，et al.The generation and classification of skin cancer images based on Self-Attention-StyleGAN[J/OL].Computer Engineering and Applications，2021.（2021-08-17）[2021-09-03].http：//kns.cnki.net/kcms/detail/11.2127.tp.20210419.1440.067.html.）

[22]Mobiny A，Singh A，Van Nguyen H.Risk-aware machine learning classifier for skin lesion diagnosis[J].Clinical Medicine，2019，8（8）：1241.

[23]Srinivasu P N，SivaSai J G，Ijaz M F，et al.Classification of skin disease using deep learning neural networks with MobileNetV2 and LSTM[J].Sensors（Basel），2021，21（8）：2852.

[24]Wang Qilong，Wu Banggu et al.ECA-Net：efficient channel attention for deep convolutional neural networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020.

[25]Huang G，Liu Zhuang，Maten L V D，et al.Densely connected con-volutional networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：2261-2269.

[26]Alhudhaif A，Polat K，Karaman O.Determination of COVID-19 pneumonia based on generalized convolutional neural network model from chest X-ray images[J].Expert Systems with Application，2021，180：115141.

[27]鐘碧霞，周冠群，趙倩，等.基于深度學習的結直腸癌病理圖片分類[J].中國衛生統計，2021（38）：363-367.（Zhong Bixia，Zhou Guanqun，Zhao Qian，et al.Classification for pathological image of colorectal cancer through deep learning[J].Chinese Journal of Health Statistics，2021（38）：363-367.）

[28]Xu Z，Shen D，Nie T，et al.A hybrid sampling algorithm combining M-SMOTE and ENN based on random forest for medical imbalanced data[J].Journal of Biomedical Informatics，2020，107：103465.

[29]Chawla N V，Bowyer K W，Hall L O，et al.SMOTE：synthetic minority over-sampling technique[J].Journal of Artificial Intelligence Research，2002，16（1）：321-357.

[30]Chen Tianqi，Guestrin C.XGBoost：a scalable tree boosting system[C]//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2016：785-794.

[31]Tschandl P，Rosendahl C，Kittler H.The HAM10000 dataset，a large collection of multi-source dermatoscopic images of common pigmented skin lesions[J].Scientific Data，2018，5（1）：1-9.

[32]Kingma D，Ba J.Adam：a method for stochastic optimization[EB/OL].（2014-12-22）.https：//arxiv.org/abs/1412.6980.

[33]Pérez L L，Bashline B.Skin cancer：prevention[J].FP Essent，2019，481：28-31.

作者簡介：左航旭（1998-），男，碩士研究生，主要研究方向為機器學習；廖彬（1986-），男（通信作者），副教授，博導，博士，主要研究方向為深度學習、數據挖掘及大數據計算模型等（liaobin665@163.com）；陳小昆（1963-），女，教授，碩導，碩士，主要研究方向為統計機器學習；童洋（1998-），男，碩士研究生，主要研究方向為機器學習；李勇（1998-），男，碩士研究生，主要研究方向為皮膚性病學、醫學圖像處理．

摘要：為了解決皮膚癌診斷模型中性能無法滿足臨床應用要求，對于少數類別診斷精度不高的問題，提出一種基于遷移學習和數據增強的皮膚癌診斷模型SC-Net（skin cancer-net）。首先，引入ECA注意力模塊，把DenseNet-201在ImageNet數據集上的預訓練模型在皮膚癌數據集上進行微調訓練并提取圖像隱含高層次特征；然后融合一般性統計特征，并且通過SMOTE過采樣技術以增強少數類別數據；最后，將數據輸入XGBoost模型進行訓練，最終得到SC-Net分類模型。實驗結果表明，SC-Net模型在準確率、靈敏度、特異度三個指標上達到99.25%、99.25%和99.88%，診斷準確率相對于已有文獻精度提升約0.6%～18.7%，并且對于皮膚纖維瘤、光化性角化病等少數類別具備更強的分類能力。