基于GAF-DenseNet的旋耕作業(yè)質(zhì)量等級識別模型

李淑艷 李若晨 溫昌凱 萬科科 宋正河 劉江輝

(1.中國農(nóng)業(yè)大學工學院，北京 100083；2.中國農(nóng)業(yè)大學現(xiàn)代農(nóng)業(yè)裝備優(yōu)化設(shè)計北京市重點實驗室，北京 100083；3.洛陽西苑車輛與動力檢驗所有限公司，洛陽 471003)

0 引言

作為田間農(nóng)業(yè)生產(chǎn)的重要環(huán)節(jié)，拖拉機旋耕工況的作業(yè)質(zhì)量對農(nóng)作物全周期生長水平與生產(chǎn)過程具有重要影響[1-2]。現(xiàn)階段，對旋耕作業(yè)質(zhì)量的分析和評估主要依靠人工方式進行，評價方法和效果極大程度上受拖拉機操作人員的視野和經(jīng)驗的影響，缺乏準確、客觀的評判標準作為參考；并且，在田間作業(yè)過程中，作業(yè)質(zhì)量的評判易受主觀和外界環(huán)境等因素干擾，難以保證評判效果的穩(wěn)定和統(tǒng)一[3-6]。

拖拉機開展田間旋耕作業(yè)時，由于受到土地-機器-植物復雜非線性系統(tǒng)中存在的頻繁變化的相互作用力，拖拉機和旋耕機的連接機構(gòu)(即電液懸掛系統(tǒng)與PTO加載系統(tǒng))常承受復雜多變的非對稱循環(huán)載荷[7-10]，多通道實測載荷數(shù)據(jù)中包含了大量可描述作業(yè)質(zhì)量工況的載荷特性與整機特征，通過挖掘和分析典型特征可以有效地對當前所處的作業(yè)質(zhì)量等級進行分類預測[11-13]。

因此，為實現(xiàn)拖拉機田間旋耕作業(yè)質(zhì)量等級的準確、高效識別，本研究提出一種基于GAF-DenseNet的拖拉機旋耕作業(yè)質(zhì)量深度學習分類識別模型，并開展旋耕作業(yè)田間試驗進行綜合性驗證。該模型以3種旋耕作業(yè)質(zhì)量等級下的多傳感器實測載荷數(shù)據(jù)作為訓練輸入，通過GAF編碼將多通道載荷序列編碼為二維灰度圖像陣列；通過DenseNet優(yōu)化特征傳遞機制和學習效率，深層挖掘數(shù)據(jù)中內(nèi)含的載荷特征。最終，依照旋耕作業(yè)質(zhì)量分級標準，通過分類器對瞬態(tài)載荷序列進行分類預測。

本研究依據(jù)多項評價指標對該模型的預測效果進行驗證，分析評價兩種GAF編碼方式和不同重采樣滑動窗口大小對分類準確性等指標的不同影響，并與支持向量機(Support vector machines, SVM)、深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network, DCNN)和深度殘差網(wǎng)絡(luò)(Deep residual network, ResNet)進行對比，綜合評估不同算法的預測性能，以期為農(nóng)業(yè)機械作業(yè)質(zhì)量預測研究提供參考。

1 拖拉機旋耕作業(yè)載荷測試

1.1 旋耕作業(yè)質(zhì)量分級標準

參考國家標準《旋耕機》和《農(nóng)業(yè)機械試驗條件 測定方法的一般規(guī)定》[14-15]，將旋耕作業(yè)質(zhì)量劃分為優(yōu)、中、差3個評價等級，分別對應綜合評分中的80～100分、60～80分和0～60分。選取耕深、耕深穩(wěn)定性系數(shù)、碎土率、驅(qū)動輪滑轉(zhuǎn)率等4項參數(shù)作為旋耕作業(yè)質(zhì)量的評價指標，并為該4項評價指標分別賦予權(quán)重系數(shù)以計算各指標所達到的質(zhì)量評價分數(shù)，最終以100分為滿分計算得出綜合評分[16]。

每項評價指標均根據(jù)表1所示計分方法進行計分，計算得出綜合評分，計算式為

表1 旋耕作業(yè)質(zhì)量評價指標和計分方法

(1)

式中S——綜合評分

si——各評價指標i的評分

Wi——各評價指標i的權(quán)重系數(shù)

1.2 拖拉機旋耕作業(yè)載荷測試

為獲取基于拖拉機關(guān)鍵部件的實測載荷數(shù)據(jù)，確保數(shù)據(jù)集的真實性和可靠性，本文以NI-cDAQ 9035為核心搭建了拖拉機多傳感器綜合測試系統(tǒng)，采用分布式架構(gòu)對多測點、多類型參數(shù)進行實時、同步測試，測試參數(shù)共計10項(表2)，測試系統(tǒng)傳感器布置和測試系統(tǒng)架構(gòu)如圖1、2所示。其中，驅(qū)動輪滑轉(zhuǎn)率由實際車速和驅(qū)動輪轉(zhuǎn)速換算得出。針對試驗場景基于LabVIEW開發(fā)測試系統(tǒng)上位機軟件，實現(xiàn)對載荷數(shù)據(jù)的自動化采集和實時監(jiān)控。

圖1 拖拉機多傳感器綜合測試系統(tǒng)傳感器布置圖

表2 拖拉機多傳感器綜合測試系統(tǒng)測試參數(shù)與配套傳感器

本文所開展的試驗工況為旋耕作業(yè)，試驗樣機選用某品牌52 kW四輪驅(qū)動拖拉機，農(nóng)機具選用某品牌IGQN-180A型旋耕機。試驗用地位于河南省洛陽市新安縣磁澗鎮(zhèn)趙洼村，試驗時間為2021年7月，耕作土質(zhì)為黏土，含水率介于20%～35%之間。在實際的田間作業(yè)過程中，耕作幅寬為1 800 mm，耕作速度約為5 km/h，耕作深度根據(jù)作業(yè)質(zhì)量劃分情況進行人工調(diào)節(jié)。最后，根據(jù)奈奎斯特采樣定理，結(jié)合實際工程經(jīng)驗，設(shè)定采樣頻率為1 000 Hz[17]。拖拉機田間作業(yè)試驗現(xiàn)場如圖3所示(下方3幅圖像為耕深測量現(xiàn)場，測量結(jié)果分別為13.6、19.1、21.5 cm)。

圖2 拖拉機多傳感器綜合測試系統(tǒng)架構(gòu)

圖3 拖拉機田間作業(yè)試驗現(xiàn)場

2 基于GAF-DenseNet的識別模型

2.1 GAF圖像編碼

基于坐標變換的思想，格拉姆角場(Gramian angular field, GAF)可在保留數(shù)據(jù)時間依賴性的前提下，將一維時間序列編碼為二維灰度圖像[18]。

對于本文中的實測載荷數(shù)據(jù)，可將其表示為包含n個元素的時間序列X={x1,x2,…,xn}。首先，將該時間序列縮放至[-1,1]范圍內(nèi)，計算式為

(2)

(3)

式中ti——時間戳

N——用于正則化極坐標系統(tǒng)跨度的常數(shù)

計算每個點之間的三角和/差，通過兩種不同的方式來識別數(shù)據(jù)點在不同時間間隔內(nèi)的時間相關(guān)性。對應地，GAF算法可分為格拉姆角和場(Gramian angular summation field, GASF)和格拉姆角差場(Gramian angular difference field, GADF)，其計算方法分別為

(4)

(5)

式中Gs——GASF矩陣Gd——GADF矩陣

I——單位行向量

i、j——行、列索引，i,j∈N且1≤(i,j)≤n

在GAF矩陣中，隨著位置從左上角移動到右下角，其對應的時間戳也隨之增加，因此，原時間序列的時間依賴性得以保留。此外，矩陣主對角線包含了原始值和角度信息，可有效表示原時間序列的時間相關(guān)性[21-22]。優(yōu)作業(yè)質(zhì)量工況下某數(shù)據(jù)段的GAF編碼效果如圖4所示。

圖4 某實測載荷數(shù)據(jù)段GAF編碼示意圖

2.2 GAF-DenseNet模型

DenseNet網(wǎng)絡(luò)模型沿用ResNet中短路連接的基本思想[23-24]，在此基礎(chǔ)上強化了前層與后層之間的密集連接，通過通道間的拼接以實現(xiàn)特征重用[25]。作為其核心模塊，密集塊(Dense block)的結(jié)構(gòu)如圖5所示。

圖5 密集塊結(jié)構(gòu)

設(shè)密集塊網(wǎng)絡(luò)包含N層，每層卷積后均輸出k個特征圖，k作為超參數(shù)被定義為增長率，假定輸入密集塊的特征圖通道數(shù)為k0，則第n層輸入的通道數(shù)為k0+k(n-1)。各層輸出的特征圖大小一致，特征圖在通道維度上進行拼接，即第n層的輸出xn由前面所有層拼接而得，即

xn=Hn([x0,x1,…,xn-1])

(6)

式中xn——第n層輸出

Hn——非線性組合函數(shù)

其中，非線性組合函數(shù)由批標準化(Batch normalization, BN)層、線性修正單元(Rectified linear unit, ReLU)和3×3卷積(Convolution, Conv)層組成。

密集塊結(jié)構(gòu)作為基本單元，與過渡層(Transition layer)交替串聯(lián)構(gòu)成DenseNet模塊。在DenseNet模塊的基礎(chǔ)上，為改善特征圖信息密度不足的問題，通過GAF編碼算法在時間、幅值兩個維度上對原始載荷序列進行解構(gòu)，將一維時間序列重組為二維灰度圖像矩陣，既實現(xiàn)了特征信息密度的有效擴充，又使得特征信息在二維圖像空間中排列規(guī)則化，從數(shù)據(jù)層面間接提升了分類預測精度。最終，將GAF編碼算法和DenseNet網(wǎng)絡(luò)有效融合，形成了GAF-DenseNet識別模型，整體結(jié)構(gòu)如圖6所示。

圖6 GAF-DenseNet模型整體結(jié)構(gòu)

GAF-DenseNet模型由GAF編碼器、DenseNet和分類器共3個模塊組成。GAF編碼器將輸入模型的多通道載荷序列編碼為二維灰度圖像陣列，DenseNet模塊依靠卷積層提取二維灰度圖像陣列為特征圖，并在通道維度上對特征圖進行特征重用和密集連接，以優(yōu)化特征的傳遞機制和利用效率。其中，為提高網(wǎng)絡(luò)緊湊性，引入過渡層以縮減特征圖大小。過渡層包含批標準化層、1×1卷積層和2×2平均池化層，對于密集塊所輸出的m個特征圖，經(jīng)過渡層轉(zhuǎn)換后可產(chǎn)生θm個特征，其中θ∈(0,1]為壓縮系數(shù)。

DenseNet模塊輸出的特征進入分類器后，經(jīng)過全局平均池化進入3層全連接網(wǎng)絡(luò)。其中，最后一個全連接層使用Softmax分類器輸出分類預測結(jié)果。GAF-DenseNet模型參數(shù)配置如表3所示。

表3 GAF-DenseNet模型參數(shù)

3 旋耕作業(yè)質(zhì)量等級識別分析

3.1 數(shù)據(jù)預處理

基于本文所制定的旋耕作業(yè)質(zhì)量分級標準，在實際田間地塊中分別開展3種作業(yè)質(zhì)量工況下的拖拉機旋耕作業(yè)試驗，總作業(yè)面積約為2 hm2。在實測數(shù)據(jù)中去除駐車、轉(zhuǎn)向、掉頭等行駛狀態(tài)相關(guān)的數(shù)據(jù)段，獲得3種作業(yè)質(zhì)量下的數(shù)據(jù)量均為40 000，數(shù)據(jù)通道數(shù)為10(表2中所述測試參數(shù))，保留數(shù)據(jù)樣本共120 000個，生成原始數(shù)據(jù)集尺寸為(120 000,10)。

首先，為擴展數(shù)據(jù)量，防止過擬合等現(xiàn)象發(fā)生，本文采取3種方法對原始數(shù)據(jù)集進行聯(lián)合處理：①為保留原始數(shù)據(jù)集中所包含的隨機環(huán)境噪聲，對原始數(shù)據(jù)集不作任何處理。②采用最小二乘法擬合原始數(shù)據(jù)集中的非線性趨勢項并將其消除，設(shè)計8階巴特沃斯濾波器對數(shù)據(jù)進行低通濾波，依據(jù)課題組項目經(jīng)驗，將截止頻率設(shè)為48 Hz。③在方法2處理后的數(shù)據(jù)中疊加高斯噪聲。

合并經(jīng)3種方法處理后的數(shù)據(jù)樣本，數(shù)據(jù)量由120 000擴展為360 000，數(shù)據(jù)集尺寸變?yōu)?360 000,10)。

為確保數(shù)據(jù)集尺度的統(tǒng)一性和統(tǒng)計分布的合理性，對數(shù)據(jù)集進行歸一化和標準化處理，處理后載荷序列的統(tǒng)計直方圖分別如圖7和圖8所示。

圖7 優(yōu)作業(yè)質(zhì)量下載荷序列的歸一化處理結(jié)果

圖8 優(yōu)作業(yè)質(zhì)量下載荷序列的標準化處理結(jié)果

分析可知，經(jīng)過歸一化處理，不同維度的載荷序列在尺度上統(tǒng)一縮放至[-1,1]內(nèi)；進一步對載荷序列做標準化處理，處理后的載荷序列在統(tǒng)計分布上趨于高斯分布，其平均值趨近于0，標準差趨近于1。

設(shè)定時間步長為250的滑動窗口，采用半重疊時間窗(Semi non-overlapping temporal window, SNOW)將載荷序列分割為2 871個樣本，窗口重疊率為50%。對重采樣后的數(shù)據(jù)進行GAF圖像編碼，如圖9和圖10所示，并對3種作業(yè)質(zhì)量分類標簽進行One-hot編碼，得到的數(shù)據(jù)集尺寸為(2 871,250,250,10)。

圖9 經(jīng)GASF編碼后的優(yōu)作業(yè)質(zhì)量下某樣本二維圖像陣列

圖10 經(jīng)GADF編碼后的優(yōu)作業(yè)質(zhì)量下某樣本二維圖像陣列

本文的預測分析基于TensorFlow 2.7深度學習框架實現(xiàn)，操作系統(tǒng)選用Ubuntu 18.04，硬件環(huán)境為NVIDIA Tesla K80 GPU，Intel Xeon 8369 CPU。

在訓練網(wǎng)絡(luò)過程中，采用5折交叉驗證方法和mini-batch技術(shù)，批次大小設(shè)為64，模型訓練按照固定步長迭代100輪。選用交叉熵損失函數(shù)跟蹤模型迭代過程中的損失值變化，選用Adam算法對網(wǎng)絡(luò)參數(shù)進行自適應優(yōu)化迭代，初始學習率設(shè)為1×10-3。

3.2 編碼效果分析

為探究不同數(shù)據(jù)集尺寸和編碼方式對DenseNet模型訓練效果的影響，設(shè)定滑動窗口大小為200、250和300，選用GASF和GADF兩種編碼方式對預處理后的數(shù)據(jù)集分別編碼，隨后將編碼后的二維灰度圖像陣列輸入至DenseNet模型中進行訓練，測試集準確率和損失值變化曲線分別如圖11和圖12所示。其中，DenseNet模型增長率k設(shè)為24，壓縮系數(shù)設(shè)為0.5。

圖11 經(jīng)不同滑動窗口大小和編碼方式處理后的測試集準確率變化曲線

圖12 經(jīng)GADF編碼后的測試集損失值變化曲線

隨著滑動窗口大小的增大，每個樣本中包含的圖像信息隨之增多，其中表征旋耕作業(yè)工況的特征信息也更加豐富。分析圖11和圖12可知，當窗口大小由200提升至250時，測試集準確率有明顯提升，損失值收斂更加徹底。然而，當窗口大小由250提升至300之后，測試集準確率和損失值反而降低，在迭代40輪之后出現(xiàn)了無法收斂的情況。分析現(xiàn)象可知，在針對時間序列數(shù)據(jù)的滑動窗口重采樣時，更大的窗口大小并不一定總利于特征的獲取，而可能會引入噪聲或無用特征，從而影響數(shù)據(jù)集的整體質(zhì)量。

在編碼方式方面，GASF和GADF兩種編碼方式均能較好地保留和提取樣本中的特征信息。分析圖11和圖12可知，經(jīng)兩種方法編碼后的數(shù)據(jù)集在準確率和損失值上均有良好的表現(xiàn)。其中，GADF編碼后的數(shù)據(jù)在迭代過程中變化態(tài)勢更加平順，在準確率和損失值兩項性能指標上均有小幅提升。

3.3 模型參數(shù)分析

為探究增長率k對于模型性能的影響，針對DenseNet關(guān)鍵超參數(shù)增長率k的選取，本文最終確定k為12、24、32、40。其中，基于控制變量的思想，本試驗所選用的數(shù)據(jù)集經(jīng)過半重疊時間窗進行數(shù)據(jù)重采樣(窗口大小設(shè)為250)，并采用GADF方法進行圖像編碼。試驗結(jié)果如表4所示。

表4 在不同增長率k下的DenseNet模型測試集分析結(jié)果

由表4可知，隨著模型增長率k的增大，預測的準確率也隨之增加，表明增長率k與模型的整體性能呈正相關(guān)的趨勢。然而，增長率k的增大也帶來了模型復雜度的提升，具體體現(xiàn)在參數(shù)量會隨之迅速增長，從而增加了算力負擔，模型的實時性受到明顯影響。增長率k由24增長到40的過程中，準確率僅提升0.782個百分點，而推理時長增長約2.4倍。因此，綜合考慮模型性能和實時性兩個因素，增長率k設(shè)為24更能滿足實際應用需求。

3.4 模型綜合性能分析

本研究選取測試集的準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1值(F1-score)等指標來綜合評價模型性能。首先將本文中的三分類任務拆分為多個二分類任務，分別計算其準確率、精確率、召回率和F1值。

在獲取多個二分類任務評價指標后，得到三分類任務的混淆矩陣，采用Macro規(guī)則計算得出最終的綜合評價指標。

結(jié)合上述模型評價指標，對GAF-DenseNet模型進行識別綜合性能分析，并選取SVM、DCNN、ResNet等模型進行對比分析，計算得出的各項模型評價指標如表5所示。需要特別說明的是，以上網(wǎng)絡(luò)深度大體接近，其模型參數(shù)均分別經(jīng)過優(yōu)化調(diào)整，且輸入數(shù)據(jù)均經(jīng)過GADF編碼為二維灰度圖像。

表5 基于不同模型分析結(jié)果的評價指標

分析表5可知，在準確率和損失值兩項指標的表現(xiàn)上，GAF-ResNet與GAF-DenseNet大體接近(后者較前者有小幅提升)且高于其余兩種模型，其中GAF-SVM模型的準確率水平顯著低于其他模型。F1值是對精確率和召回率兩項指標的調(diào)和平均，不受樣本不平衡等因素影響。相較于其余3種模型，GAF-DenseNet模型在精確率、召回率和F1值上均有較大幅度提升，其中F1值可達到96.136%，這表明了該模型在整體性能上明顯優(yōu)于其余模型。在推理速度方面，歸結(jié)于過渡層在DenseNet網(wǎng)絡(luò)結(jié)構(gòu)中壓縮特征方面的重要作用，GAF-DenseNet模型所用的推理時長最短，較GAF-ResNet模型縮短36%。進一步地，該模型在小批次測試數(shù)據(jù)的測試條件下，可達到更優(yōu)越的實時性能。

4 結(jié)論

(1)為實現(xiàn)基于多傳感器實測數(shù)據(jù)的拖拉機旋耕作業(yè)質(zhì)量等級準確識別，提出了一種結(jié)合GAF編碼算法和DenseNet網(wǎng)絡(luò)的GAF-DenseNet識別模型。GAF算法在保留原始載荷序列的時間依賴性的前提下，對時間序列數(shù)據(jù)進行唯一編碼。DenseNet網(wǎng)絡(luò)深層挖掘圖像陣列中的載荷信息，通過特征重用、模型壓縮等技術(shù)環(huán)節(jié)保證特征提取深度，并顯著提升運算效率。

(2)針對某52 kW拖拉機旋耕作業(yè)工況，設(shè)計并搭建了拖拉機多傳感器綜合測試系統(tǒng)。依據(jù)本文所制定的旋耕作業(yè)質(zhì)量分級標準，開展了田間旋耕試驗，獲取了不同分級標準下的多傳感器實測載荷數(shù)據(jù)。

(3)針對本文所提出的GAF-DenseNet識別模型，進行了旋耕作業(yè)質(zhì)量等級識別分析。分析結(jié)果表明，在重采樣滑動窗口大小為250、編碼方式采用GADF算法時，模型在準確性、平滑性和收斂效果等方面效果最佳。基于實測數(shù)據(jù)的GAF-DenseNet模型準確率和F1值分別達到96.816%和96.136%，并且在實時性能上具有良好的表現(xiàn)，推理時長可低至16 s。進一步將該模型與其余模型進行對比分析，整體性能均優(yōu)于對照組模型預測結(jié)果。