





摘要:針對現有柑橘內部品質無損檢測模型存在的光譜信息丟失、檢測精度不高等問題,提出一種基于格拉姆角和場(GASF)變換和深度學習的內部品質無損定性分析方法。通過GASF變換將采集柑橘的可見—近紅外慢透射一維光譜數據轉換為二維圖像,將移動平均平滑(MA)、標準正態變換(SNV)等預處理方法作為數據增強方法實現數據擴充。設計二維卷積神經網絡(2D—CNN)模型并加入卷積注意力機制模塊(CBAM)以提高模型對GASF圖像的特征提取能力。結果表明,與傳統機器學習模型支持向量機(SVM)、隨機森林(RF)相比,神經網絡模型對光譜信息提取能力更強,預測準確率更高。SVM和RF預測準確率分別為84.85%和81.82%,2D—CNN預測準確率為87.88%,加入CBAM后預測準確率提高至93.94%。GASF變換可將神經網絡在圖像處理中的優勢引入可見—近紅外光譜分析中,為水果內部品質無損檢測提供新思路和理論參考。
關鍵詞:柑橘;格拉姆角和場;深度學習;可見—近紅外光譜;卷積注意力機制
中圖分類號:S126; O657.3" " " 文獻標識碼:A" " " 文章編號:2095?5553 (2025) 04?0133?07
Citrus internal quality analysis based on GASF transformation and deep learning
Chen Haoyu, Miao Yubin
(School of Mechanical and Power Engineering, Shanghai Jiao Tong University, Shanghai, 200240, China)
Abstract: Aiming at the problems of spectral information loss and low detection accuracy in the current citrus fruit internal quality inspection model, a new method based on Gramian Angular Summation Field (GASF) transformation and deep learning was proposed for non?destructive qualitative analysis of internal citrus fruit quality. Through GASF transformation, the collected one?dimensional spectra data in the visible?near infrared range of citrus fruits are converted into two?dimensional images. The data are augmented by" Moving Average (MA), Standard Normal Variate (SNV) and others preprocessing methods. A two?dimensional Convolutional Neural Network (2D—CNN) model is designed, incorporating a Convolutional Block Attention Module (CBAM) to enhance the model's feature extraction capabilities from GASF images. Experimental results reveal that, compared to traditional machine learning models such as Support Vector Machine (SVM) and Random Forest (RF), the neural network model exhibits stronger spectral information extraction capability and higher predictive accuracy. The prediction accuracy of SVM and RF are 84.85% and 81.82% respectively. The predictive accuracy of 2D—CNN is reported as 87.88%, which increases to 93.94% with the incorporation of CBAM. The study indicates that GASF transformation effectively introduces the advantages of neural networks in image processing into visible?near infrared spectral analysis, offering new insights and theoretical references for non?destructive internal fruit quality inspection.
Keywords: citrus; Gramian Angular Summation Field; deep learning; visible?near infrared spectrum; convolution attention mechanism
0 引言
我國柑橘產量約占世界產量的28%。隨著生活水平的提高,消費者對柑橘內部品質要求越來越高。果實內部品質分析可以幫助果農及時了解水果內部糖分狀況、合理安排采摘時間以及調整光照。對于加工者而言,在水果采摘后的商品化處理過程中,可以根據內部品質實現分級。傳統的化學試驗測定和人工分類具有破壞性且需消耗大量的人力物力,面對巨大的柑橘市場,需要一種有效、快速、低成本的內部品質定性分析方法[1]。
可見—近紅外光譜分析技術[2]通過測試物質對光的吸收、透射和反射的能力以確定特定成分含量,具備快速、高效、無損等優點。近年來,可見—近紅外光譜和化學計量學的結合廣泛應用在農業[3]、醫療[4]、食品[5]、化工[6]等領域,如Yuan等[7]利用可見—近紅外光譜技術和模型融合方法,提出了一種基于多成員模型的預測楊梅可溶性固形物的共識策略。高升等[8]利用近紅外光譜技術對紅提的可溶性固形物含量、總酸、pH、硬度和含水率建立偏最小二乘回歸模型,實現了紅提內部品質無損檢測。陳玥瑤等[9]比較了近紅外光譜技術結合不同化學計量學方法的平谷產大桃品質檢測效果,結果表明,非線性隨機森林優于偏最小二乘回歸模型。可見—近紅外光譜解析雖然實現了無損檢測,但是存在建模時間長、檢測精度不高以及需要利用特定的預處理和特征變量篩選方法去除噪音和無關變量等問題。
深度學習具備自動從復雜數據中提取特征的能力,并展現出高魯棒性,已經成為解決圖像分類[10]和目標檢測[11]等問題的有效方法。相比傳統的機器學習算法,深度學習算法減少了原始光譜數據對預處理和特征篩選的依賴。Rong等[12]基于5個不同桃品種的可見—近紅外光譜,建立一維卷積神經網絡模型,識別準確率達到94.4%。Tian等[13]提出了直徑校正預處理方法用于橙子近紅外光譜,結合一維卷積神經網絡,能夠有效識別橙子的凍結損傷,總體準確率為91.96%。Brahim等[14]基于4個不同的成熟階段的蘋果可見—近紅外光譜,建立一維卷積神經網絡模型進行蘋果成熟度分類。分類準確率達96.5%。
目前,水果內部品質無損檢測主要基于一維光譜數據,為更好地發揮神經網絡在處理圖像分類問題中的優勢,Yang等[15]提出了新的Teanet系列網絡用于茶分類,將不同茶的近紅外光譜轉化為二維偽圖像,突破了傳統機器學習分類算法模型的準確率瓶頸。然而,光譜數據直接按順序轉換為偽圖像所造成的誤差和變異性被忽略,導致神經網絡無法充分提取光譜中反映物質性質的有效信息。格拉姆角場(GAF)[16]包含格拉姆角和場(GASF)和格拉姆角差場(GADF),可以將一維時間序列轉化為二維圖像。雖然光譜波長點與時間序列不同,但兩者具有很強的相關性[17]。
基于上述研究,本文利用GASF變換將一維光譜數據轉換為二維光譜偽圖像,對原始光譜數據進行多種預處理實現數據增強,建立包含卷積注意力機制模塊(CBAM)的二維卷積神經網絡(2D—CNN)柑橘內部品質無損定性分析模型,并將模型預測結果與支持向量機(SVM)、隨機森林(RF)、1D—CNN、VGG16進行對比分析以驗證所提出模型的有效性。
1 材料與方法
1.1 樣本與試驗采集
試驗選用溫州蜜柑,屬寬皮柑橘類水果,又稱無核橘,是最常見的柑橘類水果之一。采集光譜數據時,選取顏色正常、大小均勻且表面無明顯病變傷疤的柑橘共175個。根據試驗需求搭建光譜采集裝置,包含電腦、微型光譜儀、遮光箱、鹵素光源、參比球、準直透鏡和光纖等,如圖1所示。
光譜采集方式為漫透射模式,選用FX4000微型光譜儀進行光譜采集,光譜分辨率為0.06 nm,鹵素燈總功率為400 W,積分時間為100 ms,采集的可見—近紅外波段范圍為200~1 100 nm。采用Morpho(通用光譜儀控制軟件)光譜采集軟件,與FX4000微型光譜儀配合使用。使用時,采集軟件設置為吸光度測量模式,將柑橘放在透光孔中,調整果梗分別朝向四個方向,采集4次光譜取平均值作為柑橘的光譜測量值。采集完成后,利用馬氏距離法剔除異常光譜樣品,得到165個柑橘光譜數據。除去開頭和末端誤差較大的波長段,并且考慮卷積神經網絡的計算要求,選取波段范圍為580~900 nm,得到如圖2所示的原始光譜。
柑橘的內部品質由可溶性固形物含量、酸度、維生素含量等表征,其中可溶性固形物含量又稱糖度,是關鍵指標之一[18]。將采集完光譜的柑橘剝皮取得橘瓣并放入手動榨汁器榨汁,使用干凈的滴管吸取少量果汁滴入AIOK高精度數顯糖度計的液體槽中測量,多次測量果汁的糖度直到連續兩次測量的結果相同,以此作為準確糖度值。
由于采集到的樣本數量相對有限,進行定量分析時可能造成模型過擬合。考慮生產加工及市場需求,一般只需對柑橘進行品質等級分類,選擇定性分類進行研究。將所采集的165個柑橘樣本根據糖度含量的不同分為A、B、C三個類別,分別代表含糖量高、中、低。其中標簽為A的樣本有75個,標簽為B的樣本有48個,標簽為C的樣本有42個。具體分類標準如表1所示。
將原始樣本劃分為訓練集、驗證集、測試集,比例為6∶2∶2。訓練集和驗證集用于網絡模型參數優化,測試集用于評價模型的泛化能力。
1.2 光譜數據增強
數據增強是緩解小樣本問題中出現模型訓練過擬合問題的一種有效方法[19]。由于光譜的特殊性,傳統的數據增強方法如翻轉、縮放等會破壞光譜中的有效信息,并不適用光譜數據的增強。光譜預處理通常是為了降低近紅外光譜采集過程中引入的非目標信息和無關噪聲的影響,是傳統光譜處理的必要步驟,但神經網絡在處理近紅外光譜時能夠充分捕捉特征信息,并能推斷出在光譜預處理過程中可能丟失的物質的內在特性信息[20],因此,在光譜處理過程中可以將光譜預處理舍棄,轉而作為光譜數據增強的方法。
常用的光譜預處理方法有最大最小值歸一化(MMS)、標準化(SS)、移動平均平滑(MA)、多元散射矯正(MSV)、標準正態變換(SNV)、SG平滑濾波、一階導數、二階導數等[21]。為保持增強后的數據集與原始數據集相關,需采取不改變光譜整體形狀的預處理方法,經過篩選,采用MA、SG+SNV作為數據增強的方法,將預處理后的一維光譜數據轉換為GASF圖,通過OpenCV輸出每張GASF圖的RGB值并比較,剔除增強后的2組重復數據,最終得到361組GASF圖像數據,其中訓練集295組,驗證集和測試集各33組。MA和SG+SNV得到的光譜如圖3所示。
1.3 GASF變換
針對卷積神經網絡在圖像分類中的優勢,使用格拉姆角和場(GASF)將一維光譜數據轉換為二維圖像作為卷積神經網絡的輸入。GASF轉換流程如圖4所示。
GASF變換步驟:首先將光譜吸光率進行分段聚合近似(PAA)得到分段后的吸光度z,將其縮放至[-1,1],記錄為Z,如式(1)所示。再對Z中的每個數據進行反余弦計算,得到反余弦變換后的新光譜序列[θ],如式(2)所示。將新光譜序列通過GASF自定義的內積和計算,轉化為沿對角線對稱的二維圖像,如式(3)所示。
1.4 CBAM+2D—CNN分類模型的建立
卷積神經網絡(CNN)是一種代表性的圖像處理算法,采用端到端訓練模式,具有強大的圖像特征提取和學習能力。CNN基于卷積權值共享和局部區域連接的機制,圖像分類任務上表現良好,具有很強的泛化能力。然而,與一般的圖像分類任務不同,本研究需要識別肉眼難以區分的不同柑橘品質的GASF圖像,因此卷積網絡需要具備更高的特征提取能力。為此,引入卷積注意力機制模塊(CBAM),CBAM模塊利用人類的注意力機制,專注于可見—近紅外光譜中反應物質的基本性質所對應的光譜段,從而有效改善神經網絡在提取和鑒別特征方面的能力[22]。CBAM是輕量級的通用模塊,可以集成到基礎CNN架構中,包含通道(channel)和空間(spatial)兩個注意力機制模塊,其結構如圖5所示。
CBAM模塊將卷積層輸出的特征圖沿著通道和空間兩個模塊依次推斷注意力圖,然后將注意力圖與輸入特征圖相乘以進行自適應特征優化。卷積層輸出的光譜特征圖[X∈C×H×W]首先通過通道注意力機制模塊進行空間維度的壓縮,分別進行全局最大池化和全局平均池化后得到兩個[C×1×1]特征圖。將兩個特征圖分別輸入到多層感知機(MLP)后對MLP輸出的特征進行基于element?wise的加和操作,再經過Sigmoid激活操作得到最終的通道注意力特征圖[Mc]。再將[Mc]和輸入特征圖做element?wise乘法操作,得到空間注意力機制模塊需要的特征圖[Xc]。
空間注意力機制模塊對[Xc]進行通道維度的壓縮,首先對[Xc]在通道維度分別進行全局最大池化和全局平均池化,得到兩個[1×H×W]的特征圖。將這兩個特征圖進行通道拼接,然后經過一個標準卷積操作和Sigmoid激活操作生成空間注意力特征圖[Ms]。最后將[Ms]和[Xc]做element?wise乘法操作,得到最終生成的特征[X']。CBAM模塊的計算如式(4)~式(7)所示。
加入CBAM后的2D—CNN結構如圖6所示,包含1層輸入層,4層卷積層,1層展平層和2層全連接層。模型的輸入為3通道的128像素×128像素的GASF圖像,輸出為柑橘內部品質等級的預測概率。4層卷積層都使用64個[3×3]卷積核保證網絡的提取能力,使用最大池化核(內核尺寸[2×2])進行特征降維加快訓練速度。展平層將多維特征轉化為一維張量后輸入到全連接層中,最終輸出預測概率值。選擇ReLU函數作為激活函數,添加Dropout層緩解模型過擬合。
1.5 模型運行環境
試驗在配有Intel(R) Core(TM) i5-12400 F CPU和NVIDIA GeForce GTX 1650 SUPER GPU的電腦上運行,深度學習框架為PyTorch v2.0.1,配置的虛擬環境包含NumPy、Pyts、Scikit?learn等運算庫,編程軟件為PyCharm,編程語言為Python3.7。
2 結果與分析
2.1 添加CBAM的2D—CNN模型預測結果
對柑橘內在品質等級進行分類,在模型訓練過程中采用分類問題常用的交叉熵損失作為損失函數。交叉熵損失函數如式(8)所示。
利用每一輪訓練中得到的損失函數值,通過反向傳播算法更新網絡中每一層的權值,逐步降低損失函數值直到模型收斂。在網絡優化過程中,選擇Adam優化器。
模型訓練的學習率(learning rate)為0.001,批處理量(batchsize)為64,迭代次數(epoch)為1 000。模型性能利用損失值(loss)和準確率(accuracy)進行評價。將增強后GASF數據集在添加CBAM模塊的2D—CNN上進行訓練,添加CBAM模塊的2D—CNN訓練過程中訓練集和驗證集上的損失值和準確率變化趨勢如圖7所示。可以看出,訓練集和驗證集的accuracy最終分別達到100%和96.67%,600次迭代后,訓練集和驗證集的loss值下降趨勢逐漸平穩,模型達到收斂。在模型訓練1 000次后保存模型。為進一步評估模型性能,對測試集中的GASF光譜圖像進行測試,最終測試集預測準確率為93.94%。
利用混淆矩陣直觀地展示模型對測試集中每個樣本的預測結果,如圖8所示。
從混淆矩陣可以看出,模型將實際樣本A類中的一個樣本預測為B類,將真實樣本B類中的一個樣本預測為C類,并未出現A類和C類的跨閾值預測錯誤,總體樣本分類預測效果達到預期,模型泛化性能良好。
2.2 數據處理前后模型預測結果
為驗證數據增強后GAF變換結合2D—CNN的預測效果,將提出的添加CBAM的2D—CNN模型與1D—CNN模型進行對比試驗。對于1D—CNN的數據集,使用光譜預處理作為數據增強方式后,需要對光譜數據集進行縮放以保持數據集相關性。1D—CNN由1層輸入層,2層卷積層,1層展平層和2層全連接層組成,卷積核和最大池化核尺寸分別為[3×3]和[2×2],模型測試結果如表2所示。可以看出,數據增強后模型準確率都有明顯提升,其中CBAM+2D—CNN模型在數據增強后提高9.09%,1D—CNN在數據增強后提高6.06%。添加CBAM的2D—CNN模型準確率高于1D—CNN,利用GASF變換將一維光譜數據轉換成二維圖像可以充分發揮神經網絡在圖像處理中的優勢,能更有效地提取光譜中的有效信息,模型性能提高。
2.3 不同模型預測結果
為評價采用的添加CBAM的2D—CNN模型的性能,選擇常用的分類模型進行比較,包括支持向量機(SVM)、隨機森林(RF)兩種傳統機器分類模型,以及不添加CBAM的2D—CNN和VGG16兩種神經網絡模型。SVM模型采用徑向基函數為核函數,懲罰系數C設為5,核函數參數gamma設為0.1,最大迭代次數max_iter設為500。RF模型的子樹的數量n_estimators設為40,決策樹最大深度max_depth設為13,內部節點再劃分所需最小樣本數min_samples_split和葉子節點最少樣本數min_samples_leaf均設為3。2D—CNN模型和VGG16的學習率設為0.001,批處理量設為64,迭代次數為1 000。模型測試結果如表3所示。從表3可以看出,SVM和RF模型的預測準確率明顯低于神經網絡模型,其中傳統的機器學習分類模型預測準確率在85%以下,對比結果充分說明神經網絡模型在特征提取方面的優勢。相比2D—CNN,VGG16雖然提高了模型的學習能力,但是網絡架構較深,增加了模型復雜度,訓練耗時較長,較多的池化層也增加了信息丟失的風險,相較于添加CBAM的2D—CNN模型預測準確率低3.03%。添加CBAM的2D—CNN模型可以有效專注于GASF圖中反應物質的基本性質像素點,在一定程度上抑制無關的特征信息,提取鑒別特征信息的能力較強,在添加CBAM后,2D—CNN的預測準確率提高6.06%。綜上所述,利用可見—近紅外光譜GASF變換結合CBAM+2D—CNN模型對柑橘內部品質等級的預測分類效果在所選模型中效果最佳,分類準確率為93.94%,實現對柑橘內部品質的無損定性分析。
3 結論
為解決現有柑橘內部品質無損檢測模型存在的光譜信息丟失、檢測精度不高等問題,提出一種基于GASF變換和深度學習的柑橘內部品質可見—近紅外光譜定性分析方法。
1) 采集柑橘的可見—近紅外慢透射光譜并根據其測定的糖度進行品質分級,通過GASF將一維光譜數據轉換為二維彩色光譜偽圖像,構建GASF圖像數據集。利用GASF變換能夠將2D—CNN運用到光譜分析中,充分發揮神經網絡在圖像領域的優勢。
2) 針對小樣本問題中出現的模型訓練過擬合問題,對原始光譜進行MA、SG、SNV等預處理實現數據增強。結果表明,使用光譜預處理作為數據增強方式后,模型預測準確率有明顯提升,1D—CNN提升6.06%,CBAM+2D—CNN提升9.09%。
3) 設計添加CBAM的2D—CNN模型用于柑橘內在品質等級判別。不同分類模型測試結果表明,神經網絡模型優于傳統機器學習模型,其中2D—CNN預測準確率為87.88%。加入CBAM后,準確率提高至93.94%。表明引入的CBAM可以使神經網絡專注于可見—近紅外光譜中物質基本性質所對應的光譜段,從而更有效地進行光譜數據解析。
參 考 文 獻
[ 1 ] 喬宇, 潘思軼, 徐曉云, 等. 電子鼻檢測不同品種和加工類型的柑橘汁[J]. 農業工程學報, 2011, 27(12): 364-368.
Qiao Yu, Pan Siyi, Xu Xiaoyun, et al. Detection of different variety and processing type of Citrus juices using electronic nose [J]. Transactions of the Chinese Society of Agricultural Engineering, 2011, 27(12): 364-368.
[ 2 ] 田燕龍, 王毅, 王簫, 等. 近紅外光譜技術在微生物檢測中的應用進展[J]. 光譜學與光譜分析, 2022, 42(1): 9-14.
Tian Yanlong, Wang Yi, Wang Xiao, et al. Advances in detection of microorganisms using near?infrared spectroscopy [J]. Spectroscopy and Spectral Analysis, 2022, 42(1): 9-14.
[ 3 ] Cortés V, Blasco J, Aleixos N, et al. Monitoring strategies for quality control of agricultural products using visible and near?infrared spectroscopy: A review [J]. Trends in Food Science amp; Technology, 2019, 85: 138-148.
[ 4 ] Bruckner M, Pichler G, Urlesberger B. NIRS in the fetal to neonatal transition and immediate postnatal period[J]. Seminars in Fetal and Neonatal Medicine, 2020, 25(2):101079.
[ 5 ] Martelo?Vidal M J, Vázquez M, Determination of polyphenolic compounds of red wines by UV—VIS—NIR spectroscopy and chemometrics tools [J]. Food Chemistry, 2014, 158: 28-34.
[ 6 ] 陳志莉, 尹文琦, 劉洪濤, 等. 可見—近紅外光譜技術監測土壤石油烴污染研究進展[J]. 光譜學與光譜分析, 2017, 37(6): 1723-1727.
Chen Zhili, Yin Wenqi, Liu Hongtao, et al. Review of monitoring petroleum?hydrocarbon contaminated soils with visible and near?infrared spectroscopy [J]. Spectroscopy and Spectral Analysis, 2017, 37(6): 1723-1727.
[ 7 ] Yuan L, Mao F, Huang G, et al. Models fused with successive CARS—PLS for measurement of the soluble solids content of Chinese bayberry by Vis—NIRS technology [J]. Postharvest Biology and Technology, 2020, 169: 111308.
[ 8 ] 高升, 徐建華. 基于近紅外光譜的紅提內部品質無損檢測研究[J]. 食品工業科技, 2022, 43(22): 7-14.
[ 9 ] 陳玥瑤, 夏靜靜, 韋蕓, 等. 近紅外光譜法無損檢測平谷產大桃品質方法研究[J]. 分析化學, 2023, 51(3): 454-462.
[10] 劉坤, 王典, 榮夢學. 基于半監督生成對抗網絡X光圖像分類算法[J]. 光學學報, 2019, 39(8): 117-125.
Liu Kun, Wang Dian, Rong Mengxue. X?Rat image classification algorithm based on semi?supervised generative adversarial networks [J]. Acta Optica Sinica, 2019, 39(8): 117-125.
[11] 李就好, 林樂堅, 田凱, 等. 改進Faster R—CNN的田間苦瓜葉部病害檢測[J]. 農業工程學報, 2020, 36(12): 179-185.
Li Jiuhao, Lin Lejian, Tian Kai, et al. Detection of leaf diseases of balsam pear in the field based on improved Faster R—CNN [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(12): 179-185.
[12] Rong D, Wang H, Ying Y, et al. Peach variety detection using VIS—NIR spectroscopy and deep learning [J]. Computers and Electronics in Agriculture, 2020, 175: 105553.
[13] Tian S, Wang S, Xu H. Early detection of freezing damage in oranges by online ViS/NIR transmission coupled with diameter correction method and deep 1D—CNN [J]. Computers and Electronics in Agriculture, 2022, 193: 106638.
[14] Brahim B, Ginés M G, Sajad S, et al. Convolutional neural networks for estimating the ripening state of fuji apples using visible and near?infrared spectroscopy [J]. Food and Bioprocess Technology, 2022, 15(10): 2226-2236.
[15] Yang J, Wang J, Lu G, et al. TeaNet: Deep learning on Near?Infrared Spectroscopy (NIR) data for the assurance of tea quality [J]. Computers and Electronics in Agriculture, 2021, 190: 106431.
[16] Zhang G, Si Y, Wang D, et al. Automated detection of myocardial infarction using a gramian angular field and principal component analysis network [J]. IEEE Access, 2019, 7: 171570-171583.
[17] Liu S, Wang S, Hu C, et al. Determination of alcohols?diesel oil by near infrared spectroscopy based on gramian angular field image coding and deep learning [J]. Fuel, 2022, 309: 122121.
[18] 聶繼云, 李志霞, 李海飛, 等. 蘋果理化品質評價指標研究[J]. 中國農業科學, 2012, 45(14): 2895-2903.
[19] 趙凱琳, 靳小龍, 王元卓. 小樣本學習研究綜述[J]. 軟件學報, 2021, 32(2): 349-369.
[20] Qin Y, Liu X, Zhang F, et al. Improved deep residual shrinkage network on near infrared spectroscopy for tobacco qualitative analysis [J]. Infrared Physics amp; Technology, 2023, 129: 104575.
[21] 第五鵬瑤, 卞希慧, 王姿方, 等. 光譜預處理方法選擇研究[J]. 光譜學與光譜分析, 2019, 39(9): 2800-2806.
Diwu Pengyao, Bian Xihui, Wang Zifang, et al. Study on the selection of spectral preprocessing methods [J]. Spectroscopy and Spectral Analysis, 2019, 39(9): 2800-2806.
[22] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module [C]. Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.