基于ConvNeXt-Tiny的牡丹花卉分類識別研究＊

齊振嶺，劉羿漩，梁允泉，董苗苗，葛廣英

(1.聊城大學山東省光通信科學與技術重點實驗室，山東 聊城 252059；2.聊城大學物理科學與信息工程學院；3.聊城大學計算機學院)

0 引言

牡丹花卉色澤艷麗,富麗堂皇，素有“花中之王”的美譽。同時，由于牡丹花卉大而香，故又有“國色天香”之稱[1]。我國現有牡丹品種數千個，牡丹花卉具有文化價值和生態價值，還能夠產生巨大的經濟價值。牡丹花卉種類繁多，即使同品種的牡丹花卉也存在著形態、結構、習性等顯著性差異，人們對牡丹花卉的認知有許多的局限性。因此，可用深度學習模型來實現牡丹花卉的分類識別，使人們可以快速地了解到所見牡丹的品種及其特性，以作進一步觀賞或研究。

在深度學習領域，卷積神經網絡被廣泛應用于圖像分類、目標檢測以及自然語言處理等領域[2]。基于深度學習的分類任務在植物識別方面取得了巨大優勢，得益于越來越多的深度學習模型不斷涌現。自從2012年，AlexKrizhevsk等提出了AlexNet算法，在隨后的一段時間，VGG 網絡、GoogleNet 網絡、ResNet 網絡和Densenet 網絡等各種卷積神經網絡結構不斷問世；自從2017 年谷歌提出的Transformer 在自然語言處理取得突破性的進展之后，Image Transformer[3]、Vision Transformer[4]和Swin Transformer[5]等各種Transformer網絡結構不斷提出并被運用在計算機視覺領域。

目前，許多學者將深度學習應用到植物圖像分類領域當中。劉晶晶等[6]根據牡丹層數和花瓣數較多的特點，提取牡丹紋理和形狀特征，使用改進的BP 神經網絡算法進行分類的方法，可以很好地識別出牡丹及牡丹大類。左羽等[7]將VGGNet16 與全卷積網絡相結合，把其中的全連接層改為卷積層，構造一個新的VGG16模型在植物的圖像分類能達到較理想的效果。周婷等[8]針對圖像數據集類別不平衡的情況，通過修改網絡結構與損失函數提出一種改進ResNet 的藏藥植物圖像分類算法，較好地平衡了模型的參數量與識別準確率。

為進一步提升卷積神經網絡的圖像分類性能，構建適合牡丹花卉分類識別的網絡模型，將ConvNeXt-Tiny[9]算法應用于牡丹花卉分類識別，以增強對牡丹花卉不同品種特征的提取，從而實現對牡丹花卉更加精準快速的分類識別。

1 ConvNeXt-Tiny網絡結構設計

ConvNeXt-Tiny 網絡結構如圖1 所示，一共有四個階段（stage），當輸入圖片依次經過時，特征圖的尺寸不斷減少，通道數增加，特征圖中的特征感受野不斷擴大。

將圖像輸入到網絡中，經過圖像預處理（stem）模塊，其中采用大小為4 步長為4 的卷積核，主要目的是將圖片的尺寸縮放四倍，然后經過四個stage之后進行分類和回歸。每個階段由下采樣（Downsample）層和ConvNeXt Block 模塊組成。采樣層主要作用是降低圖片的分辨率，其中第一個stage 除外，圖片的特征圖經下采樣輸入到ConvNeXt Block中。

1.1 ConvNeXt-Tiny模型

ConvNeXt-Tiny 模型將ResNet50 中卷積模塊堆疊次數由(3,4,6,3)修改為(3,3,9,3)，主要目的是通過卷積核的規則重新組合之前提取到的特征,獲得更為復雜的特征。在卷積神經網絡中，圖像中的復雜特征可以使用簡單的特征通過某種方式重新組合起來，卷積操作可以把圖像單一的特征變成更復雜的圖像特征，越復雜的圖像特征越利于圖像的分類。

1.2 ConvNeXt Block模塊

ConvNeXt Block 模塊借鑒ResNeXt[10]中的分組卷積（GroupConvolution）形式，ResNeXt 相對普通的ResNet 而言，在模型復雜度和精度之間做到了更好的平衡。具體網絡結構如圖1(b)所示。

圖1 ConvNeXt-Tiny網絡架構

ConvNeXt Block 模型的核心是通過建立前面層與后面層之間的‘短路連接’，這有助于訓練過程中梯度的反向傳播，從而能訓練出更深層的網絡模型。此模塊采用MobileNet v2[11]中的Inverted bottoleneck 架構，即兩頭細、中間粗；采用深度可分離卷積和增大了輸入寬度；把深度可分離卷積層上移，卷積核的大小由3×3變成7×7。

1.2.1 層標準化

ConvNeXt-Tiny 采用更少的歸一化層，并且只在ConvNeXt Block中的深度可分離卷積層后加入，其歸一化層選擇層標準化(Layer Normalization，LN)。LN的基本思想是：用同層的隱層神經元響應值作為集合范圍，來求均值和方差，即獨立于批尺度（BatchSize）的算法樣本數的多少不會影響到LN 的計算，主要作用是減輕模型對參數初始化的依賴，并且可以加快模型的訓練提高模型的精確度。

1.2.2 激活函數

ConvNext-Tiny 采用更少的激活函數，并且只在ConvNeXtBlock 模塊中的1×1 卷積層后加入，其激化函數選擇高斯誤差線性單元(GELU)激活函數。高斯誤差線性單位，可以被認為是ReLU 的一個更平滑的變體，其公式如⑴所示。

1.2.3 下采樣層

ConvNeXt-Tiny 采用單獨的下采樣層，由LN 層和卷積核為2 步長為2 的卷積層組成。除第一個ConvNeXt Block模塊外，其余的每個模塊開始之前都加入單獨的下采樣層，主要是用來改變特征圖的尺寸，方便后續的操作提取更加復雜的特征。具體網絡結構如圖1(c)所示。

2 數據集構建

在牡丹花卉圖像分類識別數據集構建過程中，采集圖像時可能會受光照或拍攝儀器的影響，采集到的圖像存在偏亮或偏暗的問題。這些問題可能會對后面訓練模型識別牡丹花卉的準確率產生影響，所以需要對圖像進行增強處理來提高圖像的對比度，使模型能夠觀察到更多內容，從而具有更好的泛化能力。

為使數據集具有更好的效果，采用在牡丹園拍攝的圖片與中國植物圖像庫部分圖像作為數據集，共計九大色系中的22 種類1165 張。部分牡丹花卉如圖2所示。為滿足數據在多樣性方面的要求，對現有數據集進行數據預處理，擴充數據集的廣度和深度，從而增強模型的魯棒性，防止過擬合，最后將圖片輸入到網絡中訓練。

圖2 部分牡丹花卉圖片

本文選取三種措施對圖像進行預處理，對原圖像的紋理結構和幾何學特征進行隨機的變換：①進行水平鏡像翻轉，增加網絡在方向上的不變性；②添加隨機椒鹽噪聲或高斯噪聲，提高網絡對圖像失真的不變性；③隨機改變圖像的亮度或對比度，增強網絡對圖像色彩的不變性。

經過不同措施處理后牡丹花卉圖像數據集共3692 張符合網絡訓練要求。其中按照訓練集與測試集的比例為9：1 進行劃分，即訓練集3330 張，測試集362 張。每類牡丹花卉圖像數量如圖3 所示，由圖3可以看出，數據分布極不平衡，因此，該數據集對網絡處理類別不平衡的能力要求非常高。

3 實驗與結果分析

3.1 實驗環境

本實驗采用編程環境為python3.8，PyTorch1.11深度學習框架，硬件環境處理器型號為Inter（R）Core(TM)i5-11400 @2.6GHz，顯卡型號為NVIDIA GeForce RTX 3060，內存為16GB。

3.2 超參數設置

訓練過程中迭代次數（epochs）共為100，其中前10 個epochs 為熱身訓練，批尺度大小為16，使用AdamW[12]算法加快模型收斂，采用余弦退火衰減(Cosine annealing decay)算法降低學習率。具體參數如表1所示。

表1 網絡訓練具體參數

訓練過程中采用Mixup[13]和Cutmix[14]數據增強技巧，來提升模型魯棒性；采用隨機擦除（Randomerasing）數據增強方法，來提高模型泛化能力；引入標簽平滑（LabelSmoothing）正則化策略，抑制訓練過程中過擬合。

3.3 實驗結果

3.3.1 評價指標

利用以下指標對模型進行性能評估：精度、召回率和準確率。具體公式如下：

其中，TP和FP分別為模型預測為正和負的正樣本，FN和TN和分別為模型預測為正和負的負樣本。

3.3.2 不同模型實驗結果分析

為驗證模型對牡丹花卉分類識別的有效性和優越性，選取Resnet50、MobileNet v2、DenseNet121、Vision Transformer（ViT）與Swin Transformer(Swin-T)模型在相同條件下進行對比訓練并分析性能。各模型在牡丹花卉圖像分類識別數據集上的準確率和損失值隨訓練變化過程如圖4、圖5所示。

圖4 不同模型在牡丹花卉圖像分類識別數據集上準確率曲線

圖5 不同模型在牡丹花卉圖像分類識別數據集上損失值曲線

為驗證本文模型的分類優劣程度，選取模型在數據測試集上的準確率、在各類別上取得的平均精度和平均召回率以及模型的參數量以及計算量作為評價模型的指標。其中，Params 表示模型參數量，FLOPs表示模型的浮點運算數量。模型的參數量表示訓練時所需要占用的計算機內存的大小，參數量越大，對計算機硬件的要求就越高。不同模型在測試集上的結果與對比如表2所示。

表2 不同模型在牡丹花卉圖像分類識別數據集上的識別結果

由表2 可知，基于ConvNeXt-Tiny 模型在牡丹花卉圖像分類識別數據集上獲得的準確率高于其余模型1.3%至4.9%不等，極大的提高數據的利用率；在牡丹花卉各類別上的平均精度和平均召回率都高于其余模型0.1%至4.9%不等，極大的提高了模型對數據樣本分布不均勻的能力；ConvNeXt-Tiny 模型的參數量和計算量與Swin Transformer 模型相近，模型復雜度較小，可以加快處理圖像的速度。本文提出的ConvNeXt-Tiny 模型應用于牡丹的花卉分類識別任務，該模型較好地平衡了模型的復雜度和分類精度，模型可行且有效。

3.3.3 顯示界面設計

設計的界面主要由四個功能模塊組成：主界面模塊、加載圖像模塊，加載模型識別模塊，顯示圖像模塊組成。牡丹花卉分類識別系統的實現步驟：①打開牡丹花卉圖像分類識別顯示界面；②點擊輸入圖像按鈕，用戶選擇一張圖片加載進來并顯示在界面左側部分；③點擊識別按鈕，界面會加載ConvNeXt-Tiny 模型，然后對輸入的圖片進行識別，最終把識別結果顯示在界面標簽處；⑤關閉牡丹花卉圖像分類識別顯示界面。

如圖6所示，該界面準確識別出牡丹品種，各功能正常運行。

圖6 牡丹花卉圖像分類識別界面

4 結束語

本文構建了牡丹花卉圖像數據集，提出了將ConvNeXt-Tiny模型應用于牡丹花卉圖像的識別與分類，并設計了牡丹花卉分類識別顯示界面。實驗表明，ConvNeXt-Tiny 模型在牡丹花卉圖像數據集上達到了98.3%的分類準確率，相比于其他模型極大提高了數據的利用率。

未來的研究工作中，還需增加牡丹花卉種類，進一步擴充數據集，在更多類別的牡丹花卉圖像上進行驗證模型；嘗試將牡丹花卉分類識別模型部署到移動設備上進行實際應用。