基于多尺度注意力機(jī)制和知識(shí)蒸餾的茶葉嫩芽分級(jí)方法

黃海松 陳星燃 韓正功 范青松 朱云偉 胡鵬飛

(1.貴州大學(xué)現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室， 貴陽(yáng) 550025; 2.貴州裝備制造職業(yè)學(xué)院科研處， 貴陽(yáng) 551400; 3.清鎮(zhèn)紅楓山韻茶場(chǎng)有限公司， 貴陽(yáng) 551400)

0 引言

在茶葉生產(chǎn)過程中，茶葉嫩芽的分級(jí)從根本上決定了產(chǎn)品品質(zhì)，目前主要借助人工感官評(píng)審法完成，所得結(jié)果易受人為主觀性及環(huán)境因素影響[1-2]。如今，計(jì)算機(jī)視覺技術(shù)雖不斷與農(nóng)業(yè)工程學(xué)科交叉[3-4]，但針對(duì)茶葉嫩芽分級(jí)問題，國(guó)內(nèi)外學(xué)者所開展的研究仍十分有限。許高建等[5]將采用VGG-16進(jìn)行特征提取的Faster R-CNN模型在COCO數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后用于四等級(jí)茶葉嫩芽的分級(jí)問題，陳妙婷[6]考慮茶葉采摘時(shí)遮擋情況的干擾添加相應(yīng)的圖像樣本，利用YOLO算法處理改進(jìn)PSO-SVM提取的特征信息實(shí)現(xiàn)茶葉嫩芽分級(jí)，兩者雖均能在較短時(shí)間內(nèi)實(shí)現(xiàn)茶葉分級(jí)，但準(zhǔn)確率不高且所處理的數(shù)據(jù)需事先利用圖像工具進(jìn)行標(biāo)注，時(shí)間和人工成本較大。高震宇等[7]為實(shí)現(xiàn)茶葉嫩芽分級(jí)，基于多層卷積神經(jīng)網(wǎng)絡(luò)搭建識(shí)別模型，并借助局部連接的訓(xùn)練方式極大加快了收斂速度，但因較為簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)使其處理復(fù)雜特征的能力匱乏，在實(shí)際應(yīng)用中性能難以保證。毛騰躍等[8]融合SVM與特殊角點(diǎn)檢測(cè)兩種方法對(duì)四等級(jí)茶葉嫩芽進(jìn)行分級(jí)，分級(jí)準(zhǔn)確率為94.24%，但多分類器會(huì)產(chǎn)生大量計(jì)算冗余，加劇設(shè)備計(jì)算負(fù)擔(dān)。吳正敏等[9]基于茶葉動(dòng)態(tài)下落過程中所采集到的圖像數(shù)據(jù)，結(jié)合隨機(jī)森林算法和分類算法，利用前者預(yù)先選出具有強(qiáng)可分性的復(fù)雜特征，經(jīng)分類算法處理后實(shí)現(xiàn)茶葉嫩芽的準(zhǔn)確分級(jí)，但模型參數(shù)量龐大，將加劇設(shè)備的計(jì)算負(fù)擔(dān)。QIAN等[10]將預(yù)訓(xùn)練后的Inception-V3模型的權(quán)重矩陣遷移至自建茶葉嫩芽數(shù)據(jù)集之上，并利用仿射變換對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，最終對(duì)三等級(jí)茶葉的分級(jí)準(zhǔn)確率達(dá)到了98%，但模型較大，不利于投入實(shí)際應(yīng)用。XU等[11]提出了一種聯(lián)合電子鼻和計(jì)算機(jī)視覺技術(shù)的茶葉品質(zhì)鑒定方法，采用KNN、SVM等完成識(shí)別模型的建模，并通過融合策略對(duì)兩者信號(hào)進(jìn)行分析，綜合兩維度的信息實(shí)現(xiàn)精準(zhǔn)分級(jí)，但使用成本較高且環(huán)境要求較為嚴(yán)苛。在實(shí)際應(yīng)用中茶葉嫩芽圖像采集面臨著諸多困難，而上述分級(jí)方法普遍存在冗余參數(shù)多和模型規(guī)格大的缺點(diǎn)，在小規(guī)模數(shù)據(jù)集上易出現(xiàn)模型過擬合現(xiàn)象,嚴(yán)重影響分類性能，且對(duì)設(shè)備儲(chǔ)存和計(jì)算能力要求高，難以部署到生產(chǎn)現(xiàn)場(chǎng)中。

綜上，本文基于采摘自貴州紅楓山韻茶場(chǎng)的茶葉嫩芽自建圖像數(shù)據(jù)集，構(gòu)建以多尺度注意力單元為核心的分級(jí)模型，聚焦強(qiáng)分級(jí)特征并從感知野和網(wǎng)絡(luò)縱深兩個(gè)層面充分提取茶葉嫩芽圖像中的多尺度特征信息；提出一種結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的分級(jí)方法，在保證模型輕量高效的前提下，提升抵抗過擬合的能力和分級(jí)性能。

1 遷移學(xué)習(xí)和知識(shí)蒸餾

為解決現(xiàn)有方法在小規(guī)模茶葉嫩芽數(shù)據(jù)集上因模型過擬合現(xiàn)象嚴(yán)重影響分級(jí)性能，及模型所占內(nèi)存空間大難以應(yīng)用到實(shí)際生產(chǎn)中的問題，本文在構(gòu)建一種輕量型分級(jí)網(wǎng)絡(luò)的基礎(chǔ)上，提出結(jié)合雙遷移學(xué)習(xí)(Transfer learning, TL)和知識(shí)蒸餾(Knowledge distillation, KD)的分級(jí)方法，進(jìn)一步提升模型穩(wěn)健性和分級(jí)性能。本文中TL從兩個(gè)源域數(shù)據(jù)中提取知識(shí)并將該部分知識(shí)應(yīng)用于解決茶葉嫩芽分級(jí)任務(wù)之中。與多任務(wù)學(xué)習(xí)不同，TL會(huì)更加傾向于關(guān)注目標(biāo)任務(wù)，而不是同時(shí)關(guān)注源任務(wù)和目標(biāo)任務(wù)[12]。如圖1所示，TL可以在目標(biāo)任務(wù)中高質(zhì)量訓(xùn)練數(shù)據(jù)較少的情況下，避免從頭開始學(xué)習(xí)每一項(xiàng)任務(wù)，充分利用預(yù)訓(xùn)練時(shí)的源域信息，將從以往任務(wù)中習(xí)得的知識(shí)遷移至該目標(biāo)任務(wù)之中。KD則是由多倫多大學(xué)的HINTON等[13]提出的一種知識(shí)遷移技術(shù)，借助混合損失函數(shù)的反向傳播將教師模型(Teacher module)所習(xí)得的先驗(yàn)知識(shí)傳授給學(xué)生模型(Student module)，以達(dá)到壓縮教師模型和增強(qiáng)學(xué)生模型性能的目的。

圖1 學(xué)習(xí)過程示意圖Fig.1 Learning process diagrams

2 基于多尺度注意力機(jī)制和知識(shí)蒸餾的方法

2.1 卷積塊注意力模塊

卷積塊注意力模塊(Convolutional block attention module, CBAM)由WOO等[14]于2018年提出，其借助通道注意力模塊(Channel attention module, CAM)和空間注意力模塊(Spatial attention module, SAM)推理注意力特征圖并與輸入特征圖相乘，使模型提取出更具區(qū)分性的特征，并抑制無(wú)關(guān)特征，達(dá)到自適應(yīng)優(yōu)化特征和提高模型性能的目的。CBAM憑借輕量的特性，可以嵌入到任何卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)。

2.1.1通道注意力模塊

CAM主要關(guān)注特征矩陣中有價(jià)值的信息，提取分辨性較強(qiáng)的特征。通過對(duì)輸入特征進(jìn)行最大池化(MaxPool)和平均池化(AvgPool)操作壓縮空間維度上的特征信息，生成兩種不同空間上的特征圖，經(jīng)多層感知器(MLP)處理后逐元素相加，最后通過Sigmoid激活函數(shù)進(jìn)行非線性轉(zhuǎn)換，其結(jié)構(gòu)如圖2所示。

圖2 通道注意力模塊Fig.2 Convolutional block attention module

2.1.2空間注意力模塊

SAM主要關(guān)注輸入特征矩陣映射的位置信息，是對(duì)CAM的一種補(bǔ)充。輸入特征圖在經(jīng)過沿空間維度的平均池化和最大池化操作后被拼接為一個(gè)通道數(shù)為2的三維空間特征圖，后經(jīng)卷積操作及Sigmoid激活函數(shù)處理生成空間注意力特征圖，其結(jié)構(gòu)如圖3所示。

圖3 空間注意力模塊Fig.3 Spatial attention module

2.2 多尺度卷積塊注意力模塊

為使模型更加關(guān)注茶葉嫩芽圖像的感興趣區(qū)域，聚焦有利于分級(jí)的重要特征信息并抑制無(wú)關(guān)特征，本文引入注意力機(jī)制對(duì)茶葉嫩芽圖像中的強(qiáng)分級(jí)特征信息進(jìn)行提取與處理。由于茶葉嫩芽圖像采集較為困難，為在有限的數(shù)據(jù)集上盡可能地挖掘特征信息，本文提出了一種多尺度空間注意力模塊(Multiscale spatial attention module, MSAM)，并通過與CAM結(jié)合構(gòu)建了多尺度卷積塊注意力模塊(Multiscale convolutional block attention module，MCBAM)，其結(jié)構(gòu)如圖4所示。在MSAM中用卷積核尺寸為5×5和9×9所構(gòu)成的多尺度特征提取卷積層替換原普通卷積層，對(duì)經(jīng)池化操作后的特征進(jìn)行處理，并利用1×1卷積層實(shí)現(xiàn)多尺度特征信息的整合，兩種不同的感知野較原始固定大小的卷積層更有利于模型提取茶葉圖像中的多尺度特征信息[15]。對(duì)MCBAM而言，輸入特征經(jīng)CAM處理得到加權(quán)結(jié)果后再經(jīng)MSAM加權(quán)得到輸出特征圖。

圖4 MCBAM注意力模塊Fig.4 MCBAM attention module

2.3 模型網(wǎng)絡(luò)設(shè)計(jì)

ShuffleNet-V2網(wǎng)絡(luò)為MA等于2018年提出的一種輕量型網(wǎng)絡(luò)，引入了通道拆分(Channel split)、通道清洗(Channel shuffle)以及用保持通道數(shù)不變的分支拼接代替逐元素相加等操作，完全符合高效網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)應(yīng)該遵守的G1～G4準(zhǔn)則，在計(jì)算復(fù)雜度和精度上有優(yōu)異的綜合表現(xiàn)。

結(jié)合ShuffleNet-V2 0.5x基本單元、MCBAM、多尺度深度捷徑(Multiscale depth shortcut, MDS)構(gòu)建Shuffle多尺度注意力單元(Shuffle multiscale attention unit, SMAU)，如圖5所示。在ShuffleNet-V2 0.5x基本單元的3組卷積層之后以串聯(lián)的方式嵌入MCBAM，對(duì)經(jīng)卷積層處理后的特征信息進(jìn)行不同大小感知野下多尺度信息的提取及強(qiáng)分級(jí)復(fù)雜特征信息的增強(qiáng)。通過MDS(圖5中①②③)將不同網(wǎng)絡(luò)縱深下的特征信息進(jìn)行融合，避免信息流傳遞過程中有效特征信息的損失，提高分級(jí)性能。且MDS可充當(dāng)梯度反向流動(dòng)的高速通道，使梯度不受阻礙的流動(dòng)，緩解模型退化的問題，增強(qiáng)模型的穩(wěn)健性[16]，并在MCBAM、卷積層和整個(gè)SMAU之間構(gòu)造成恒等映射，實(shí)現(xiàn)MCBAM與卷積層間的自適應(yīng)組合[17]，避免因引入MCBAM而引起精度下降。最終使模型聚焦茶葉嫩芽圖像中有利于分級(jí)的特征，并從感知野大小和網(wǎng)絡(luò)縱深兩個(gè)層面提取多尺度特征信息用于分級(jí)，充分利用有限的數(shù)據(jù)，強(qiáng)化模型處理小規(guī)模數(shù)據(jù)集的能力。基于ShuffleNet-V2 0.5x的網(wǎng)絡(luò)結(jié)構(gòu)，以SMAU為核心構(gòu)建一種融合多尺度注意力機(jī)制的輕量型茶葉分級(jí)模型ShuffleNet-V2 0.5x-SMAU，結(jié)構(gòu)見表1。

圖5 多尺度注意力單元Fig.5 Shuffle multi-scale attention unit

表1 ShuffleNet-V2 0.5x-SMAU網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Structure of ShuffleNet-V2 0.5x-SMAU

2.4 結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的茶葉嫩芽分級(jí)方法

本文引入遷移學(xué)習(xí)以充分利用源域的豐富特征信息，ShuffleNet-V2 0.5x-SMAU通過在大規(guī)模數(shù)據(jù)集上的預(yù)訓(xùn)練可以增強(qiáng)其在茶葉嫩芽數(shù)據(jù)集上抵抗模型過擬合的能力，并提高分類性能。結(jié)合知識(shí)蒸餾技術(shù)，提出一種結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的茶葉嫩芽分級(jí)方法，將預(yù)訓(xùn)練后的教師模型所習(xí)得的暗知識(shí)蒸餾到網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單、參數(shù)量更少的ShuffleNet-V2 0.5x-SMAU中，以增強(qiáng)其分類性能和處理小規(guī)模數(shù)據(jù)集的能力。

在茶葉嫩芽分級(jí)領(lǐng)域，由于目前尚無(wú)公共數(shù)據(jù)集，故常將Oxford-17 flower和Oxford-102 flower數(shù)據(jù)集應(yīng)用于模型的預(yù)訓(xùn)練[10]，但綜合考慮計(jì)算量和時(shí)間成本等因素，基于Oxford-102 flower數(shù)據(jù)集中的50種花卉圖像數(shù)據(jù)建立flower-50數(shù)據(jù)集。在flower-50上通過引入Focal Loss損失函數(shù)對(duì)學(xué)生模型進(jìn)行預(yù)訓(xùn)練，可減少易分類樣本的權(quán)重，使模型更關(guān)注難分類的樣本[18]。

結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的茶葉嫩芽分級(jí)方法，訓(xùn)練出能實(shí)現(xiàn)不同等級(jí)新鮮茶葉嫩芽劃分的模型。將在ImageNet上預(yù)訓(xùn)練后的Resnet32以及在flower-50上預(yù)訓(xùn)練后的ShuffleNet-V2 0.5x-SMAU的模型參數(shù)矩陣遷移至HF-G3數(shù)據(jù)集上，以解決茶葉嫩芽分級(jí)問題，在利用該方法訓(xùn)練模型時(shí)依次以二者構(gòu)造教師模型及學(xué)生模型。利用該方法進(jìn)行訓(xùn)練的流程如圖6所示，設(shè)置溫度T為10，比例系數(shù)α為0.8。利用結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的茶葉嫩芽分級(jí)方法進(jìn)行模型訓(xùn)練的步驟為：

圖6 基于雙遷移學(xué)習(xí)和知識(shí)蒸餾的茶葉嫩芽分級(jí)方法結(jié)構(gòu)圖Fig.6 Structure diagram of tea bud grading method based on dual transfer learning and knowledge distillation

(1)以像素矩陣的形式將茶葉嫩芽圖像信息輸入到教師模型中得到對(duì)應(yīng)各等級(jí)茶葉的概率分布，并通過逐次除以溫度T進(jìn)行平滑處理，后經(jīng)softmax函數(shù)得到教師模型的軟標(biāo)簽(Soft labels)qSLi，計(jì)算公式為

(1)

式中xTi——教師模型最后一層輸出的特征圖

n——特征圖像通道數(shù)

(2)將茶葉嫩芽圖像信息輸入學(xué)生模型，并按步驟(1)中溫度進(jìn)行平滑處理，經(jīng)softmax函數(shù)得到學(xué)生模型的軟預(yù)測(cè)(Soft predictions)qSPi, 計(jì)算公式為

(2)

式中xSi——學(xué)生模型最后一層輸出的特征圖

(3) 將茶葉嫩芽圖像信息輸入學(xué)生模型，所獲概率分布直接由softmax函數(shù)處理獲取學(xué)生模型的硬預(yù)測(cè)(Hard predictions)qHPi，計(jì)算公式為

(3)

(4)由相對(duì)熵?fù)p失函數(shù)(Kullback-Leibler Divergence)對(duì)步驟(1)中獲得的軟標(biāo)簽和步驟(2)中獲得的軟預(yù)測(cè)進(jìn)行計(jì)算得到軟損失函數(shù)值LSOFT，計(jì)算公式為

(4)

式中B——批處理圖像數(shù)量

C——茶葉嫩芽等級(jí)數(shù)

qSPj——學(xué)生模型軟預(yù)測(cè)

(5)由交叉熵?fù)p失函數(shù)(Cross entropy)對(duì)步驟(3)中獲得的硬預(yù)測(cè)和真實(shí)標(biāo)簽(True lables)進(jìn)行計(jì)算得到硬損失函數(shù)LHARD，計(jì)算公式為

(5)

式中yTRUE——真實(shí)標(biāo)簽

qHPj——學(xué)生模型硬預(yù)測(cè)

(6)最后通過比例系數(shù)α調(diào)整兩損失值的比例后得到混合損失函數(shù)LKD，計(jì)算公式為

LKD=(1-α)LHARD+αT2LSOFT

(6)

其中，LKD的反向傳播是教師模型將暗知識(shí)授予學(xué)生模型并大幅提高學(xué)生模型分類性能的關(guān)鍵。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)處理與實(shí)驗(yàn)設(shè)置

本文所用茶葉嫩芽圖像采集平臺(tái)由中科微創(chuàng)ZW-C3600型工業(yè)相機(jī)、變焦鏡頭及LED環(huán)形補(bǔ)光燈等組成，如圖7所示。所拍攝茶葉均采摘于貴州省清鎮(zhèn)市紅楓山韻茶場(chǎng)，由茶場(chǎng)工人將原始茶葉嫩芽圖像樣本分為單芽、一芽一葉、一芽?jī)扇~共3個(gè)等級(jí)，如圖8所示。選用翻轉(zhuǎn)、平移、旋轉(zhuǎn)及添加隨機(jī)噪聲4種數(shù)據(jù)增強(qiáng)方式對(duì)茶葉圖像進(jìn)行擴(kuò)容處理，如圖9所示。最終獲得茶葉嫩芽圖像數(shù)據(jù)共計(jì)2 136幅，其中對(duì)應(yīng)3種不同等級(jí)的茶葉嫩芽各712幅，并按照比例3∶1將所得數(shù)據(jù)劃分為訓(xùn)練集與測(cè)試集，作為本文實(shí)驗(yàn)采用的HF-G3圖像數(shù)據(jù)集。

圖7 茶葉嫩芽圖像采集平臺(tái)Fig.7 Tea bud image collection platform1.中科微創(chuàng)ZW-C3600型工業(yè)相機(jī) 2.變焦鏡頭 3.LED環(huán)形補(bǔ)光燈

圖8 HF-G3數(shù)據(jù)集中3種不同等級(jí)茶葉的原始圖像Fig.8 Three original images of tea at different levels in HF-G3 dataset

圖9 經(jīng)數(shù)據(jù)增強(qiáng)后的茶葉圖像Fig.9 Tea image after data enhancement

本文設(shè)置了消融實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)。在消融實(shí)驗(yàn)中，以準(zhǔn)確率變化曲線、茶葉嫩芽分級(jí)混淆矩陣等指標(biāo)對(duì)多尺度注意力機(jī)制、結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的分級(jí)方法的合理性與有效性進(jìn)行驗(yàn)證。在對(duì)比實(shí)驗(yàn)中，則是面向其他現(xiàn)有技術(shù)，從模型抗過擬合能力、分級(jí)能力、分級(jí)均衡性及模型規(guī)格4個(gè)角度對(duì)本文方法在綜合性能上的優(yōu)越性進(jìn)行論證。

3.2 消融實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，依次設(shè)置采用本文茶葉分級(jí)方法的實(shí)驗(yàn)組A(ShuffleNet-V2 0.5x-SMAU+TL+KD)、基于傳統(tǒng)CBAM注意力模塊的實(shí)驗(yàn)組B(ShuffleNet-V2 0.5x-CBAM+TL+KD)、學(xué)生模型未在flower-50上進(jìn)行預(yù)訓(xùn)練的實(shí)驗(yàn)組C(ShuffleNet-V2 0.5x-SMAU+KD)以及未采用知識(shí)蒸餾的實(shí)驗(yàn)組D(ShuffleNet-V2 0.5x-SMAU+TL)。在HF-G3測(cè)試集數(shù)據(jù)上驗(yàn)證4個(gè)實(shí)驗(yàn)組的分級(jí)性能，通過Origin2019b繪制各實(shí)驗(yàn)組對(duì)應(yīng)的準(zhǔn)確率變化曲線，如圖10所示。為進(jìn)一步分析針對(duì)不同等級(jí)茶葉嫩芽進(jìn)行分級(jí)時(shí)性能的差異，繪制各實(shí)驗(yàn)組對(duì)應(yīng)的混淆矩陣，如圖11所示。各級(jí)茶葉分級(jí)準(zhǔn)確率及平均準(zhǔn)確率如表2所示。

圖10 各消融實(shí)驗(yàn)組在測(cè)試集上的準(zhǔn)確率變化曲線Fig.10 Accuracy rate change curves of each ablation experimental group on test set

圖11 各消融實(shí)驗(yàn)組在測(cè)試集上的混淆矩陣Fig.11 Confusion matrices of each ablation experiment group on test set

表2 各消融實(shí)驗(yàn)組在測(cè)試集上的分級(jí)準(zhǔn)確率Tab.2 Classification accuracy of each ablation experiment group on test set %

從圖10可知，實(shí)驗(yàn)組A與實(shí)驗(yàn)組B準(zhǔn)確率分別為95.88%、95.13%，表現(xiàn)出了近似的分類性能，但后者對(duì)應(yīng)的變化曲線震蕩嚴(yán)重，說明SMAU相較于傳統(tǒng)CBAM注意力模塊，可以向模型提供更豐富的多尺度特征，并借助MDS構(gòu)建恒等映射，有效緩解模型過擬合現(xiàn)象。對(duì)比實(shí)驗(yàn)組A、C，實(shí)驗(yàn)組A的分類性能明顯優(yōu)于實(shí)驗(yàn)組C，且實(shí)驗(yàn)組C出現(xiàn)了明顯的過擬合現(xiàn)象，說明實(shí)驗(yàn)組A中通過學(xué)生模型在flower-50上的預(yù)訓(xùn)練，能在提高模型分類性能的同時(shí)，增強(qiáng)模型抵抗過擬合的能力。對(duì)比實(shí)驗(yàn)組A、D，前者因以預(yù)訓(xùn)練后的Resnet32作為教師模型進(jìn)行知識(shí)蒸餾，較實(shí)驗(yàn)組D的最高分級(jí)準(zhǔn)確率提高了3.87個(gè)百分點(diǎn)，并借助教師模型所習(xí)得的龐大權(quán)重矩陣在一定程度上緩解了過擬合現(xiàn)象，該組對(duì)比驗(yàn)證了知識(shí)蒸餾的有效性。

由表2可知，由于一級(jí)茶葉(單芽)區(qū)分特征明顯，各實(shí)驗(yàn)組對(duì)其進(jìn)行劃分的準(zhǔn)確率都十分理想，而在對(duì)另外兩等級(jí)茶葉(一芽一葉、一芽?jī)扇~)的劃分中實(shí)驗(yàn)組A的準(zhǔn)確率最高，分別為92.70%、89.89%。對(duì)比實(shí)驗(yàn)組A、B，實(shí)驗(yàn)組A在一芽一葉及一芽?jī)扇~分級(jí)中，準(zhǔn)確率較實(shí)驗(yàn)組B分別提高了3.94、1.13個(gè)百分點(diǎn)，說明SMAU更能使模型聚焦到利于分級(jí)的多尺度特征。對(duì)比實(shí)驗(yàn)組A、C、D，在對(duì)一芽?jī)扇~的識(shí)別準(zhǔn)確率上，實(shí)驗(yàn)組A比另外兩組高10.68、9.56個(gè)百分點(diǎn)，說明基于雙遷移學(xué)習(xí)和知識(shí)蒸餾的茶葉等級(jí)分級(jí)方法能使模型處理茶葉復(fù)雜特征的能力得到顯著提升。

在此部分所設(shè)置的消融實(shí)驗(yàn)中，本文方法對(duì)教師模型與學(xué)生模型均進(jìn)行預(yù)訓(xùn)練，并將所獲取到的權(quán)重參數(shù)矩陣遷移至茶葉嫩芽分級(jí)問題上，借助梯度反向傳播將教師模型所習(xí)得暗知識(shí)向?qū)W生模型進(jìn)行傳授，結(jié)果表明該方法極大增強(qiáng)了學(xué)生模型獲取和分析茶葉復(fù)雜特征的能力，使分類性能取得大幅提升。且通過相關(guān)實(shí)驗(yàn)的設(shè)置亦證明了SMAU較傳統(tǒng)CBAM在茶葉等級(jí)劃分問題上的優(yōu)越性。

3.3 對(duì)比實(shí)驗(yàn)結(jié)果與分析

針對(duì)茶葉分級(jí)問題，為衡量本文ShuffleNet-V20.5x-SMAU+TL+KD與其他方法間性能的差異，本部分設(shè)置實(shí)驗(yàn)從抗過擬合能力、分級(jí)能力、分級(jí)均衡性、模型規(guī)格4方面依次對(duì)本文模型與FI-DenseNet[19]、Alter-Second Model[15]、ResNet18-Green tea[20]、AlexNet-Camelia[21]在HF-G3測(cè)試集上的表現(xiàn)進(jìn)行對(duì)比。利用Origin2019b繪制各對(duì)比實(shí)驗(yàn)組的準(zhǔn)確率與損失值變化曲線，如圖12所示。基于圖13所示的混淆矩陣，計(jì)算不同等級(jí)茶葉嫩芽的分級(jí)準(zhǔn)確率及平均準(zhǔn)確率，并繪制分級(jí)準(zhǔn)確率柱狀圖，如圖14所示。為從模型規(guī)格的角度深度探究對(duì)比模型間差異，以計(jì)算量、參數(shù)量、模型規(guī)格為指標(biāo)制定如圖15所示的模型比較柱狀圖。

圖12 各對(duì)比模型在測(cè)試集上的準(zhǔn)確率及損失值變化曲線Fig.12 Accuracy and loss curves of each comparison model on test set

圖13 各對(duì)比模型在測(cè)試集上的混淆矩陣Fig.13 Confusion matrices of each comparison model on test set

圖14 各對(duì)比模型在測(cè)試集上的分級(jí)準(zhǔn)確率Fig.14 Classification accuracy of each comparison model on test set

圖15 各對(duì)比模型比較Fig.15 Comparison charts of each comparison model

從茶葉嫩芽分級(jí)準(zhǔn)確率及損失值變化曲線看，本文的初始準(zhǔn)確率最高。與FI-DenseNet及ResNet18-Green tea進(jìn)行比較，兩者分別基于DenseNet169及ResNet18搭建，最高分級(jí)準(zhǔn)確率分別為91.57%、95.51%，與本文模型最高準(zhǔn)確率94.94%具有相似的分類性能，但進(jìn)一步觀察變化曲線，可看出后兩者震蕩劇烈，出現(xiàn)了所有模型中最為嚴(yán)重的過擬合現(xiàn)象，說明基于復(fù)雜網(wǎng)絡(luò)模型的方法并不適用于解決小規(guī)模茶葉等級(jí)劃分問題。與Alter-Second Model對(duì)比，本文模型中的SMAU使模型不只限于感知野下的多尺度特征，還能挖掘不同深度下的多尺度特征，同時(shí)在注意力機(jī)制作用下，對(duì)有利于分級(jí)的特征進(jìn)行增強(qiáng)，在同樣擁有極強(qiáng)抵抗過擬合能力的條件下最高準(zhǔn)確率較Alter-Second Model上升了14.34個(gè)百分點(diǎn)，收斂時(shí)損失值自0.415 1下降至0.150 7。AlexNet-Camelia采用了遷移學(xué)習(xí)的方法，表現(xiàn)出了一定的抵抗模型過擬合的能力，損失值曲線收斂迅速，震蕩微弱，但準(zhǔn)確率曲線仍存在一定幅度的震蕩，本文模型不同于AlexNet-Camelia只是簡(jiǎn)單的結(jié)合AlexNet和遷移學(xué)習(xí)技術(shù)進(jìn)行特征提取和分析，本文模型是將預(yù)訓(xùn)練后的ShuffleNet-V2 0.5x-SMAU和ResNet32模型參數(shù)遷移至茶葉分級(jí)中，并依次作為知識(shí)蒸餾中的學(xué)生和教師模型，這種方式不但使學(xué)生模型的穩(wěn)健性得到大幅提升，也通過暗知識(shí)的傳授，使分級(jí)性能得到很大程度的增強(qiáng)，使其最高準(zhǔn)確率較AlexNet-Camelia上升了2.06個(gè)百分點(diǎn)，收斂時(shí)損失值自0.626 7下降至0.150 7。

從對(duì)不同等級(jí)茶葉嫩芽的分級(jí)準(zhǔn)確率及平均準(zhǔn)確率看，本文憑借MCBAM與MDS，從不同感知野和網(wǎng)絡(luò)深度聚焦多尺度特征信息，且通過結(jié)合遷移學(xué)習(xí)與知識(shí)蒸餾，充分利用在源域中所得的權(quán)重矩陣，在避免模型過擬合的情況下兼具了優(yōu)異的茶葉分級(jí)能力，對(duì)一芽一葉的劃分準(zhǔn)確率達(dá)到了92.70%，較其他方法分別提高了6.18、34.27、5.62、6.74個(gè)百分點(diǎn)。在一芽?jī)扇~分級(jí)問題上，ResNet18-Green tea雖憑借其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)出了最高的分類準(zhǔn)確率，但本文模型的分級(jí)精度較其余對(duì)比實(shí)驗(yàn)組仍上升顯著，且在平均準(zhǔn)確率上本文模型的準(zhǔn)確率為94.19%，優(yōu)于其余模型的分級(jí)均衡性。

從模型規(guī)格看, 除Alter-Second Model以外，本文模型無(wú)論是在計(jì)算量、參數(shù)量還是模型內(nèi)存占用量上都較其余模型小一個(gè)量級(jí)，表現(xiàn)出了最高的效率和最佳的輕量性。進(jìn)一步觀察，Alter-Second Model利用深度可分離卷積在很大程度上減小了模型的規(guī)格，使其計(jì)算量和參數(shù)量在與本文模型保持在同一量級(jí)。AlexNet-Camelia雖然擁有較少的計(jì)算量，但因采用微調(diào)的遷移學(xué)習(xí)方式凍結(jié)了大量的權(quán)重，使模型仍有龐大的參數(shù)量和計(jì)算冗余。本文模型與ResNet18-Green tea比較，計(jì)算量、參數(shù)量及內(nèi)存占用量3項(xiàng)指標(biāo)僅為后者的10.17%、16.4%、16.73%，由此得知本文模型在輕量化上遠(yuǎn)優(yōu)于ResNet18-Green tea。

綜上所述，本文提出的茶葉嫩芽分級(jí)方法，能在確保模型輕量化的前提下從感知野和網(wǎng)絡(luò)深度兩個(gè)層面對(duì)茶葉圖像的多尺度特征信息進(jìn)行聚焦，并借助結(jié)合雙遷移學(xué)習(xí)和知識(shí)蒸餾的方法，使模型在處理小規(guī)模茶葉嫩芽數(shù)據(jù)集時(shí)，不僅擁有極強(qiáng)的抗過擬合能力和分類性能，還同時(shí)擁有所有對(duì)比模型中最少的計(jì)算冗余參數(shù)和最小的模型規(guī)格，對(duì)設(shè)備要求最低，更易部署到茶葉嫩芽分級(jí)實(shí)際場(chǎng)景中，展現(xiàn)出了所有對(duì)比模型中最佳的綜合能力。

4 結(jié)束語(yǔ)

本文將MCBAM嵌入ShuffleNet-V2 0.5x網(wǎng)絡(luò)的基本單元中，并通過引入MDS構(gòu)建了一種輕量型茶葉嫩芽分級(jí)模型ShuffleNet-V2 0.5x-SMAU。在利用本文方法進(jìn)行茶葉嫩芽分級(jí)時(shí)，將在兩個(gè)大型數(shù)據(jù)集上預(yù)訓(xùn)練后的ResNet32、ShuffleNet-V2 0.5x-SMAU依次作為教師模型與學(xué)生模型。在自建茶葉嫩芽圖像數(shù)據(jù)集HF-G3上設(shè)置了2組實(shí)驗(yàn)：在消融實(shí)驗(yàn)中，依次對(duì)SMAU、本文方法的合理性及優(yōu)越性進(jìn)行了充分論證；在與FI-DenseNet、Alter-Second Model、ResNet18-Green tea、AlexNet-Camelia對(duì)比實(shí)驗(yàn)中，本文方法對(duì)單芽、一芽一葉、一芽?jī)扇~的分級(jí)準(zhǔn)確率為100%、92.70%、89.89%，平均準(zhǔn)確率為94.19%，計(jì)算量為2.219 6×109，參數(shù)量為1.826 9×106，模型內(nèi)存占用量為7.13 MB，在抗過擬合能力、分級(jí)能力、分級(jí)均衡性、模型規(guī)格上表現(xiàn)出了最優(yōu)異的綜合性能。