改進ConvNeXt的肝囊型包蟲病超聲圖像五分類研究

熱娜古麗·艾合麥提尼亞孜，米吾爾依提·海拉提，王正業，茹仙古麗·艾爾西丁，嚴傳波

（1.新疆醫科大學公共衛生學院，新疆 烏魯木齊 830011；2.新疆醫科大學基礎醫學院，新疆 烏魯木齊 830011；3.新疆醫科大學醫學工程技術學院，新疆 烏魯木齊 830011）

0 引 言

肝包蟲病（Hepatic Cystic Echinococcosis, HCE）[1]是流行于牧區的由棘球蚴感染引起的致命性肝臟疾病，主要有囊型棘球蚴?。–yst Echinococcosis, CE）以及泡型包蟲病（Alveolar Echinococcosis, AE）兩種形式。其中，肝囊型包蟲病在中國的發病率占全國發病的98%以上[2]，由于每種亞型都有量身定制的治療方案[3]，準確分型對于后續治療計劃至關重要。超聲是臨床診斷肝包蟲病的主要手段。然而，由于該疾病流行區域主要是醫療資源貧乏的西北偏遠牧區，醫生主觀性判斷、操作手法及臨床經驗影響較大等原因，可能對肝包蟲發病早期的精確診斷造成阻礙。

近年來，深度學習技術在醫學圖像處理的多個領域取得了巨大的成功。部分學者[4-6]提出使用計算機輔助診斷（Computer Aided Diagnosis, CAD）的方法輔助醫生對胃癌、乳腺癌等疾病進行分型、評級和預后等。一直以來, 卷積神經網絡都被認為是計算機視覺的基礎模型。 2020 年谷歌提出ViT（vision transformer）后，Transformer 才逐漸被用于計算機視覺任務，Swin Transformer 更是因為使用多頭注意力機制提高了運算效率和分類準確率而獲得2021 年ICCV 最佳論文，很多人因此預言卷積神經網絡已經開始慢慢淡出舞臺中央。直到2022 年1 月份，文獻[7]提出了對標Swin Transformer的ConvNeXt 純卷積神經網絡，該網絡相比Swin Transformer 擁有更快的推理速度以及更高的準確率，證明了卷積神經網絡的性能不亞于視覺Transformer。

目前許多學者對基于深度學習的肝包蟲圖像分類的研究取得了一定的成績[8-10]，但仍存在一些問題：肝囊型包蟲病圖像同一類別圖像相似度高，不同類別之間相似性低，分類難度大；肝包蟲病超聲圖像的收集需要大量的醫學知識和專業技能，數據獲取難度大，能用于深度學習訓練的樣本量較少；不同類別之間數據不平衡等。

本文針對上述問題提出了一種基于ConvNeXt 肝包蟲病超聲圖像分類模型CLCFnet，用于提高五種肝囊型包蟲病分類性能。首先應用 CBAM（Convolutional Block Attention Module）模塊到病灶特征提取中，提升關鍵特征的權重，改善depthwise 因通道數較少無法有效利用特征信息的缺點；同時，本文采用Lion 優化器替換原有的AdamW 來提高模型訓練中的收斂效率；最后利用Focal Loss 損失函數緩解肝囊型包蟲病各類別超聲圖像數據不均衡帶來的分類準確率低的問題，進一步提升了模型的分類性能。消融實驗和對比實驗結果也驗證了改進后的ConvNeXt 網絡對肝囊型包蟲病分類的有效性。

1 相關研究

1.1 ConvNeXt 模型

近年來，Transformer[11]取代卷積神經網絡（CNN）在計算機視覺領域大放異彩，使得越來越多的視覺任務將骨干網絡替換為Transformer；然而，Transformer 結構存在運算效率低的缺點，且CNN 結構在處理圖像時有著固有的優勢，如參數共享。因此，對基于CNN 的基礎架構的研究仍然非常有必要。其中，ConvNeXt 分析了目前主流骨干網絡的一些特性，這些特性包含用于CNN的和Transformer，進一步從這些顯著的特性中找出對ResNet 有用的技巧，通過逐步實驗的方式推導出ConvNeXt 結構，其結構如圖1 所示。

圖1 ConvNeXt 模型結構圖

ConvNeXt 從ResNet-50/200[12]出發，首先探索了Swin Transformer[13]類型宏觀結構的影響：

1）將每次堆疊的Block 個數比例從1∶1∶2∶1 調整為Swin-T 使用的1∶1∶3∶1，最終堆疊次數由（3,4,6,3）調整至（3,3,9,3），使得ResNet 在ImageNet-1k 數據集上獲得了精度提升；

2）將原本在模型開始階段使用的下采樣模塊替換為步長等于核矩陣大小的窗口進行采樣，實現了降低FLOPs 的同時提升了分類精度。緊接著，作者借鑒了ResNeXt 中的組卷積，且設計組數等于特征的通道數，該設計是為了實現類似自注意力的加權操作，此操作進一步提升了ResNet 的精度。更進一步，ConvNeXt 借鑒了MobileNetV2[14]中的瓶頸結構，即兩頭細中間粗，此改進在較大模型上獲得了較高的提升。同時，ConvNeXt在中間計算過程中使用了更大的卷積核，即由3×3 替換為7×7，且為了降低FLOPs，改變了深度可分離卷積層的位置。ConvNeXt 聚焦于Transformer 結構中的細微改進之處，包括：將ReLU 激活函數使用GeLU 替換，使用了更少的激活函數和歸一化運算，替換BN 為LN，將ResNet使用的下采樣結構由并聯改變為串聯。最終，ConvNeXt在ImageNet-1k 數據集上較ResNet-50/200 獲得了有效的提升[7]，且與Swin Transformer 結構有一定的競爭力。

1.2 遷移學習

深度學習需要大量的高質量標注數據，預訓練模型是目前非常流行的遷移學習（Transfer Learning）模式，通過共享大型數據集已訓練好的神經網絡模型相似層的網絡參數，在其基礎上進行一定微調處理來訓練目標域任務，達到節約算力、提高模型泛化能力的目的，在圖像分類和目標檢測領域應用較為廣泛。

1.3 注意力機制

在計算機視覺領域適當加入注意力機制可以在一定程度上增強對圖像信息的處理。為了更精確地提取肝包蟲病灶特征，融合卷積注意力機制（CBAM），目的是通過給重要特征加權，使有效特征權重變大，來抑制圖像中其他一般特征或者無效特征，進而提升模型對有用特征的提取能力。CBAM 模塊[15]是2018年提出的一種輕量型的注意力模塊，包含通道注意力模塊（Channel Attention Module, CAM）和空間注意力模塊（Spatial Attention Module, SAM），這兩個模塊分別從通道維度和空間維度提取全局特征信息，將圖像的特征細化。CBAM 把輸入特征經過通道注意力模塊得到的權重系數與輸入特征相乘，得到含有更多通道維度關鍵信息的特征，再將特征與空間注意力模塊得到的空間注意力權重系數相乘作為最后的輸出特征圖。該模塊可以集成到CNN 網路中，在計算機視覺領域已得到廣泛且深入的研究。本研究將CBAM 模塊添加到了ConvNeXt 網絡特征提取下采樣部分。CBAM 模塊框架如圖2 所示。

圖2 CBAM 模塊框架

1.4 焦點損失函數（Focal Loss）

在圖像分類中，損失函數表示預測值和真實值之間的差距，通常用來衡量模型預測的好壞程度。一般為了解決類別不平衡的問題，會在損失函數中每個類別前增加權重因子αt∈[0,1]來協調類別不平衡。使用pt類似的方式定義αt，得到二分類平衡交叉熵損失函數，其定義如公式（1）所示。由于肝包蟲病數據存在各類別數據不均衡的問題，直接使用交叉熵損失函數得到的效果不好。為了解決數據類別間不平衡的問題，文獻[16]提出Focal Loss，它在平衡交叉熵損失函數的基礎上，增加一個調節因子(1 -pt)γ讓模型聚焦于困難樣本和少樣本的訓練，其表達式如式（2）所示。

式中：pt表示預測樣本分類得分，越接近于1，表示模型分類越準確，越接近0 則相反；αt和γ是超參數，需要根據經驗確定兩者的最佳值，αt是樣本數量平衡變量，表示失穩樣本數量與總數據集數量的比值，本文中αt取值0.25，γ是聚焦參數，表示模型對難易樣本的重視程度，其范圍設置為0~5，當樣本容易被分錯時，可以將γ設置為大于1 的數，調制參數就會變大，從而增加困難樣本的權重，這里γ值設置為2，用來調節不同類別樣本在損失中所占的比重；(1 -pt)γ是調制系數，當一類樣本被分類錯誤時pt很小，那么(1 -pt)就接近1，因此困難樣本損失不會受到影響；而當pt接近于1 時，(1 -pt)就接近0，易分類樣本權重就會降低，從而使模型更加關注難分類樣本的訓練。

1.5 Lion

優化器就是優化算法，在模型訓練中起著關鍵作用。近年來，研究者引入了大量的手工優化器，其中大部分是自適應優化器，Adam 和Adafactor 優化器仍然占據神經網絡的主流。最近，來自谷歌的研究者[17]提出了一種速度更快、更省顯存的優化器Lion，并在圖像分類、圖文匹配、擴散模型、語言模型等諸多任務做了充分的實驗，多數任務顯示Lion 比目前主流的AdamW 等優化器有著更好的性能。

2 材料與方法

2.1 數據集來源

數據集選用來自新疆醫科大學各附屬醫院自2008—2020 年期間采集的肝囊型包蟲超聲圖像資料。關于病灶的分型參考了世界衛生組織對于包蟲病灶的分型標準[18]，本次納入研究的肝囊型包蟲病超聲圖像分為5 種類型：單囊型（CE1）、多子囊型（CE2）、內囊塌陷型（CE3）、壞死實變型（CE4）和鈣化型（CE5）。

2.2 數據預處理

實驗數據集來自新疆醫科大學各附院3 052 位肝包蟲病患者，共計5 870 張超聲影像圖片，每張圖像的病灶類型都由該醫院擁有3 年以上工作經驗的超聲科影像醫師驗證確定。由于肝囊型包蟲病各分類間樣本容量不均衡，并且所納入的超聲圖片是由不同型號的儀器采集，在分析之前需要對圖像進行預處理操作：

1）數據擴充：通過隨機裁剪、隨機水平翻轉等操作來擴增樣本數據。

2）尺寸歸一化：將所有納入研究的圖像尺寸歸一化至224 px×224 px，便于后續分類算法的計算。

每種類型的樣本個數及患者數如表1 所示。

表1 各分型圖像及患者數量

2.3 CLCFNet

本文針對肝囊型包蟲病超聲數據集中存在的數據量少和各類別比例不均衡問題，提出了CLCFNet 模型，其是在ConvNeXt_tiny 網絡模型基礎上從超參數、損失函數和模型結構的優化三個方面進行改進：

1）采用谷歌團隊提出的Lion 優化器替換AdamW，提高模型訓練的收斂速度和預測精度；

2）在ConvNeXt 模型下采用部分加入CBAM 注意力機制，使模型更加關注易混淆樣本和少樣本；

3）將原模型交叉熵損失函數替換為Focal Loss，通過減少易分類樣本的權重，讓模型更關注難分類樣本的訓練，從而增強模型泛化能力。

3 結 果

3.1 訓練環境與評價標準

實驗和測試環境采用Windows 10（×64）系統搭配Torch 1.5.2 學習框架，采用了Python 3.9 編程語言，代碼可視化工具為PyCharm。GPU 為NVIDIA GeForce RTX 3060 Ti 8 GB。將各類肝包蟲病的數據以3∶1∶1 的比例劃分為訓練集、驗證集和測試集，具體實驗數據如表1所示。初始學習率設為0.000 1，訓練批大小統一設為32，一共訓練200 個epochs。

為了檢驗肝包蟲病分類模型的可靠性，研究選用國內外公認的模型評價方法，包括：準確率（Accuracy）、精確率（Precision）、召回率（Recall）、特異度（Specificity）和F1評分，同時繪制每個類別的ROC 曲線，計算曲線下面積AUC。為了更加直觀地看出模型特征提取能力，采用t-SNE 對所用數據進行降維和可視化處理，其中每種顏色代表不同類型標簽。為了衡量模型在實際部署中的性能，還采用了推理時間毫秒（ms）來計算模型預測單張圖片所需要的時間。

3.2 模型訓練

在肝包蟲病超聲圖像多分類實驗中，將數據集劃分為訓練集和驗證集輸入模型進行訓練，訓練集用于模型擬合，驗證集通過對模型的性能進行評價來調整超參數。模型設置了200 epochs 進行訓練，訓練集和驗證集的準確率變化如圖3a）所示。在100 epochs 左右就實現了將近91%的準確率，點A為訓練集和驗證集的基本擬合點，在后續訓練過程中差距逐漸減小，最終穩定在94.5%左右。模型訓練時損失變化情況如圖3b）所示，同樣在100 epochs 模型達到基本擬合，點B是模型訓練基本擬合點，損失值為0.23。這意味著模型在訓練集和驗證集上均有較高的準確率，不存在過擬合或欠擬合，模型穩健性良好，可以進行進一步分析。

圖3 模型準確率和損失變化情況

3.3 CLCFNet 模型與原始ConvNeXt 性能比較

ConvNeXt 的原始結構是針對ImageNet 數據集中的自然圖像所設計的，直接遷移到本文醫學圖像數據集中可能存在結構不適配等問題。為此，對ConvNeXt_tiny模型進行了部分改進，從表2 和圖4 可以看出，經過優化的CLCFNet 在精確率、召回率、F1指數和AUC 值上都有不同程度的提升。

表2 不同模型分型結果對比

圖4 原模型與CLCFNet 模型的ROC 曲線

為了直觀地驗證CLCFNet 模型可以對不同類別的肝包蟲病的組織特征做區分，將測試集分別輸入到訓練好的原模型和CLCF 模型進行測試，對測試結果進行可視化，不同方法可視化結果如圖5所示。從圖5a）虛線圈可以看出，內囊塌陷型（CE3）、壞死實變型（CE4）和鈣化型（CE5）有部分重合，可以說明原始ConvNeXt 模型不能很好地處理肝囊型包蟲病五分類問題。從圖5b）可以看出，雖然不同類別之間存在一小部分的重合，但總體來說CLCFNet 模型能將不同種類肝包蟲病進行很好的區分。

圖5 t-SNE 可視化結果

3.4 消融實驗

為了探索不同改進點對模型分類效果的影像，本研究在相同數據集及實驗條件下對模型進行消融實驗。消融實驗結果如表3 所示，基于遷移學習的建模方法分類準確率達到了90.4%，通過優化超參數準確率提高了0.8%，加入注意力機制后模型準確率提高了2.4%，替換損失函數后，模型準確率進一步提高至94.7%。消融實驗結果表明CLCFNet 模型中各組件的合理性和有效性。

表3 消融實驗結果

3.5 模型性能對比

為了進一步驗證CLCFNet 在肝包蟲病圖像分類方面的有效性，將其與其他流行分類方法進行對比，表4結果顯示改進后的模型識別準確率（94.7%）大于基于多頭注意力機制的Swin Transformer 模型（91.8%）以及其他經典的CNN 模型，已加粗顯示。 其中，EfficientNetV1 的分類準確率（89.6%）最低，ResNet34 分類準確率較VggNet16、MobileNetV1、MobileNetV2、EfficientNetV1 和EfficientNetV2 較高，且推理時間最短，模型大小也較小。MobileNetV2 在模型大小較小的情況下仍保持與其他模型精度區別不大的分類準確率。神經網絡的模型大小主要由參數量和計算量決定，它也是影響模型推理任務性能的關鍵，CLCFNet 在保持較高準確率的同時，具有較小的參數量和更快的推理速度，證明了本文構建模型在包蟲病分類中的優越性和有效性。

表4 對比實驗結果

4 結 語

本文所構建的CLCFNet 模型可以將肝囊型包蟲病超聲圖像分為五種不同類型，并且相較于基礎模型有更好的分類性能。由消融實驗和對比實驗結果可以看出，每個模塊對模型分類性能都有促進作用，對于五分類任務達到了94.7%的識別準確率，證明了所提模型能幫助臨床醫生提高肝包蟲病超聲圖像診斷的效率和準確性。

雖然本文提出的基于ConvNeXt 的改進方法有效提高了肝包蟲病自動分型的效率和準確度，但是由于硬件條件、自身能力等原因，本文依然具有一些不足之處，主要包括：

1）由于肝包蟲病超聲圖像數據較少且部分類別數據匱乏，導致模型過擬合和泛化性差的問題。

2）雖然通過改進模型實現較高的分類準確率，但考慮到實際應用場景和用戶的需求，未來還需采取模型剪枝、蒸餾等方法減少模型實際部署到移動嵌入式設備的難度。