光譜檢測哈密瓜品質中異常樣本的綜合分析

李鋒霞，黃 勇，李 強

（新疆工程學院機電工程學院 烏魯木齊 830023）

新疆是瓜果之鄉，哈密瓜因其獨特的風味和口感，在市場上備受消費者喜愛，幫助農民實現了增收。但目前市場上對其品質的檢測方法多為有損檢測，且檢測效率低下，造成品質等級良莠不齊。因此，哈密瓜的品質無損檢測尤為重要。近年來，隨著分子光譜結合化學計量學方法分析技術的飛速發展，光譜技術以非侵入式、無破壞性、速度快、可在線、結果可再現和重復等優點，被研究者用來對水果品質進行無損檢測技術研究[1-3]。但是，有的光譜數據在檢測過程中存在測量值和真實值差異顯著，在整體分布態勢中異常突出，嚴重影響了建模精度[4]。造成光譜數據異常的原因有很多，如在采集的過程中光譜受到環境的干擾，采集到的光譜還包含噪聲、樣品背景和散光等其他無關的信息[5]。光譜儀本身有誤差，還受誤操作、儀器異常、樣品前處理不當、環境溫度和濕度等的影響[6]。因此，有必要在光譜建模過程中剔除上述異常樣本。目前，有學者提出了在農產品品質檢測中應用光譜數據中異常樣本剔除方法[7-12]，為建立準確的檢測模型提供了切實可行的方法。但是這些方法大多數是基于單一類型指標或者是單個異常樣本具有可靠的識別能力，而且受經驗閾值或建模偏差的影響，容易在建模前的剔除過程中出現誤判，從而影響模型的穩定性和預測能力。這會導致水果部分理化指標無損檢測和識別精度不高，嚴重阻礙了光譜技術在水果快速、無損檢測中的應用。

筆者對高光譜檢測哈密瓜堅實度品質中異常光譜樣本進行綜合分析與判別，有效地剔除異常樣本，以此建立準確和穩定的哈密瓜堅實度預測模型，提高檢測結果精度，為哈密瓜品質快速檢測、精準分級提供有效方法，為相關領域研究工作提供科學依據和技術參考。

1 材料與方法

1.1 儀器設備

光譜圖像采用北京卓立漢光提供的高光譜成像儀（Inspector V10E-QE，芬蘭）采集，通過參數調整優化，最終選擇光譜成像儀的波長范圍：400～1000 nm，光譜分辨率：2.8 nm，平均光照度：2870 lx，物距：60 cm，曝光時間：28 ms，采集速度：1.27 mm·s-1。

哈密瓜堅實度指標采用杭州托普儀器有限公司生產的GY-4 型手持式硬度計測量，探頭直徑選取11 mm，插入速度為5 mm·s-1，壓頭壓入深度為10 mm。

1.2 樣本準備、光譜采集及堅實度指標測量

2022 年8 月在新疆農八師121 團場采摘哈密瓜。主要選取的品種為金密16 號，屬于中早熟雜交品種，果實成熟期在42～45 d。果實長卵形，果皮黃色，果肉淺橘黃色，網紋密。采摘時，選取成熟度一致、瓜形大小均勻的樣本，共60 個。采摘后，將樣本放置于相同的濕度和溫度條件下，24 h 之后進行光譜采集和堅實度測量。

試驗時去除機械損傷、病蟲害樣本，隨機選取42 個哈密瓜樣本，并對哈密瓜樣本的3 個檢測部位[赤道（陰、陽）面、果臍（坐果結）]進行標記，具體位置如圖1 所示，分別記為編號1-1，1-2，1-3...，樣品編號橫線前面的數字為樣品號，橫線后的1、2、3為每個樣品對應的檢測位置編號。然后，利用高光譜成像儀采集光譜，把哈密瓜放到高光譜實驗臺上，線陣的探測器在哈密瓜表面的垂直方向作橫向掃描，掃出整個平面，獲取各個波長處的圖像信息，通過Spectral-Cube 軟件進行光譜信息采集和保存，共采集126 個樣品光譜。光譜采集后，對哈密瓜堅實度進行測量，在赤道（陰、陽）面、果臍3 個光譜采集區域測定其堅實度，每個檢測點測量3 次，取平均值作為該樣品的堅實度值。表1 是哈密瓜3 個采集部位堅實度統計值。

表1 哈密瓜樣本3 個采集部位堅實度統計值

圖1 哈密瓜的檢測部位示意圖

1.3 異常樣本點的判別方法

為了建立穩定和準確的哈密瓜堅實度預測模型，提高檢測結果精度，對采集的哈密瓜光譜樣本采用偏最小二乘法（PLS）建立定量分析模型，對建模過程中造成模型精度降低的異常樣本進行研究，結合異常光譜剔除、馬氏距離法、學生化殘差T 與杠桿值法以及主成分得分法等多種方法進行綜合分析和判別[13]。為了防止對異常樣本點的誤判，需要對疑似異常樣品進行逐一回收分析后再鑒定，并根據預測模型性能的變化，最終確定需要剔除的異常樣本。

1.4 光譜的處理及模型穩定性的評價指標

采用ENVI 4.7 軟件針對采集后的高光譜圖像數據進行圖像數據降維、預處理。TQ Analyst 6.1 軟件對采集的試驗數據進行分析與建模定量、定性分析，選用偏最小二乘法（practical least squares，PLS）、主成分回歸（principal component regession，PCR）、距離匹配（distance match）、判別分析（discriminant analysis）等方法。在選定算法之后，根據軟件窗口顯示選擇相關的預處理方法進行建模以及診斷。為了評價模型的穩健性和準確性，采用的評價指標有相關系數（R）或決定系數（R2）、預測均方根誤差（RMSEP）和校正均方根誤差（RMSEC）。通常，在一個模型中R值越大，RMSEC、RMSEP 值越小，模型越穩定，結果越準確[14]。

2 結果與分析

2.1 建立偏最小二乘法（PLS）的哈密瓜堅實度檢測模型

偏最小二乘法（PLS）是一種多元線性分析方法，它可以實現數據結構簡化、回歸建模以及分析多個變量之間的相關性。目前，PLS 在光譜數據建模分析中應用最為廣泛[15-16]，PLS 的建模步驟：先計算多個自變量光譜數據X及目標分析物性質Y之間的最大方差，在對光譜參數和數據濃度矩陣解析的過程中，剖析光譜數據和目標分析物性質之間的內外部關系。

在本次分析異常樣本時，對采集的哈密瓜的126 個光譜樣本采用PLS 方法建立與堅實度的相關定量分析模型，126 個樣本都用作校正集，用相關系數R和RMSEC 作為模型性能的判別依據。結果如圖2 所示，模型相關系數為0.82、RMSEC 為3.14 N。從圖中可以看出個別樣本明顯偏離45°線，導致模型相關系數較低，不能很好地體現實際檢測的需求，因此需要對校正集樣本中混入的異常樣本進行剔除。

圖2 哈密瓜樣本校正集結果

2.2 異常光譜的剔除

采集的哈密瓜赤道陽面、陰面，果臍的126 個原始光譜樣本如圖3 所示。從圖3 可以看出，采集的光譜樣本的大致走向基本一致，僅有33-3 號樣本光譜偏離了光譜走向，故將該樣本暫定為異常光譜。

圖3 哈密瓜光譜圖像

2.3 馬氏距離法判別異常樣本

馬氏距離（Mahalanobis distance）是一種有效計算兩個未知樣本集相似度的方法，通過這種方法可以衡量一個樣本對整個校正集的影響。這種方法首先需要計算出所有參與建模的樣本平均光譜值，再計算平均光譜與各個樣本光譜之間的距離，最后設置閾值，根據閾值來檢驗異常樣本的存在[17]。閾值的選擇可根據具體光譜數據來確定，一般情況下，閾值設定為各個樣本馬氏距離平均值的2 ～3倍，如果參與建模中的某個樣本的馬氏距離超過設定的閾值，則可判定該樣本的光譜屬于異常樣本，應該將其從中剔除[18-19]。

對所有參與建模樣本中的光譜結果進行分析。光譜樣本數據導入TQ 軟件中，系統自動計算出樣本光譜的平均光譜與各個光譜間的馬氏距離，并將計算出來的馬氏距離值按照從低到高的順序依次排序，系統會自動顯示一條分界線區分正常樣本與異常樣本。設置平均光譜偏差在95%閾值置信區間，圖4 為采用馬氏距離法對126 個哈密瓜樣本進行檢驗的結果，依據判別原則可觀察出樣本19-1 超出了閾值范圍，故暫將19-1 號樣本定為疑似異常樣本。

圖4 馬氏距離法檢驗結果

2.4 杠桿值與學生化殘差T檢驗法判別異常樣本

杠桿值與學生化殘差T檢驗法是常用判定異常樣本的方法之一，杠桿值的大小可以判斷樣本對模型精度的影響程度，學生化殘差可以判定樣本杠桿值對應的樣本濃度預測能力大小。

對采集的哈密瓜樣本采用杠桿值與學生化殘差T 檢驗方法進行檢測，如果一個樣本只是杠桿值比其他樣本高，并不能斷定該樣本異常，只有杠桿值與學生化殘差均比其他樣本高時，才可判定該樣本的光譜屬于異常樣本，應予以剔除。通常，依據杠桿值和學生濃度殘差分布圖進行分析，處于被測組分濃度和性質均值左右的樣本應具有較小的杠桿值，處于被測組分濃度和性質均值兩端（高低端）的樣本應具有較大的杠桿值[20]。圖5 是哈密瓜樣本杠桿值與學生化殘差分布圖，根據分布圖可以發現，光譜樣本中有3 個樣本的杠桿值比其他樣本的值大，分別是35-2、35-3 和37-3，但是學生濃度殘差杠桿值并沒有顯示明顯較大的樣本，因此，暫定這3個樣本為疑似異常樣本。

圖5 哈密瓜樣本杠桿值與學生化殘差結果分布

2.5 主成分得分（principal component）法判別異常樣本

主成分得分法是一種用來解釋多變量的方差、協方差結構的多元統計分析方法，是通過對原有的多項指標經過線性組合成為少數幾項綜合指標。這些綜合指標即為主成分，通過計算綜合主成分函數得分，對檢測模型進行科學評價。

主成分得分法直觀地反映了各個樣本在數學模型空間中的聚集、離散程度。觀察樣本的分布散點情況，分布點越聚集，則說明這些樣本中所含有成分的組成和濃度越接近；反之，樣本分布點越離散，說明差異越大[21]。在主成分計算中，會存在多個主成分，通常，第一主成分最為重要，之后隨之增加的主成分在樣本空間中所占權重依次降低，最后增加的主成分多是反應噪聲信息。通常情況下，在建立模型時前面的主成分比后面的主成分更具有樣本表明性，同類樣本的主成分分布相對集中，遠離集中區域的則認為是異常樣本。本試驗中哈密瓜樣本主成分分析中的第一、第二主成分的二維平面分布，如圖6 所示，從圖中可以看出主成分中的PC-1 的貢獻率為86%，PC-2 的貢獻率為13%，這兩個主成分的累計貢獻率高達99%，達到了定性分析的要求。樣本中19-1 號遠離集中區域，故將該樣本暫定為疑似異常樣本。

圖6 哈密瓜樣本主成分分析中第一、第二主成分的分布

2.6 疑似異常樣本的再鑒定

從上述4 種方法的判別結果可知，異常光譜判定33-3 號樣本異常；馬氏距離法判別19-1 號樣本異常；杠桿值與學生化殘差判別35-2、35-3 和37-3號樣本異常；主成分得分法判別19-1 號樣本異常，共5 個疑似異常樣本。通過分析4 種方法的判別原理和性質會發現，由于各種方法之間還存在相互影響，致使參與建模的樣本中某個或某幾個樣本會被其中一種判別方法判定為異常樣本，某些樣本會被其中多種判別方法判定為異常樣本。因此，要充分考慮到建模樣本的數量，保證模型的準確性和穩定性，應該對疑似異常樣本進行再鑒定，避免單一方法判別發生誤判。故對上述4 種方法判定的疑似異常樣本需要進行逐一剔除、回收后再鑒定。

通過上述4 種異常樣本判定方法共發現有5 個疑似異常樣本，樣本編號分別是19-1、33-3、35-2、35-3和37-3。現對這5 個疑似異常樣本進行逐一剔除、回收分析再鑒定，結果對比分析如表2 所示。

表2 疑似異常樣品的再鑒定

由表2 可以看出，未剔除疑似5 個樣本與全部剔除相比，相關系數R由0.824 降低至0.800，模型性能并沒有隨著全部剔除5 個疑似樣本而提高，說明5 個樣本中存在誤判的可能性，因此，逐個剔除5個異常樣本與未剔除進行對比。從結果對比分析可得，5 個疑似異常樣本不做處理時原模型的相關系數（R）=0.824，校正均方根誤差（RMSEC）=3.14 N，預測均方根誤差（RMSEP）=4.15 N，剔除35-2 號樣品時模型的R=0.817，RMSEC=3.17 N，RMSEP=4.18 N。兩者相比較：R降低了0.007，RMSEC 增加了0.03 N，模型性能下降；再逐個剔除其余4 個異常樣本模型相關系數均有穩定提高，故可以初步判定誤判的異常樣本為35-2 號。隨后將其回收，剔除其他4 個疑似異常樣本，從結果對比發現模型相關系數R提高至0.850，RMSEC 降低至2.72 N，RMSEP 降低至3.30 N，模型的穩定性提高。綜上所述，可以判定5 個疑似異常樣本中35-2 號為誤判樣本，應將其回收，其余19-1 號、33-3 號、35-3 號和37-3號4 個樣本作為確定的異常樣本剔除。

3 討論與結論

在高光譜對哈密瓜光譜采集過程中，主觀或客觀因素導致參與建模樣本中可能會出現異常數據，使模型預測結果可靠性降低，因此有必要在高光譜建模過程中剔除異常樣本。目前關于異常樣本的識別和剔除的相關研究并不多。張靈帥等[6]利用主成分分析-馬氏距離聚類判別近紅外光譜中卷煙的真偽；林海軍等[22]使用馬氏距離法識別荒漠樹種；吳兆娜等[23]利用馬氏距離、杠桿值-光譜殘差法與基于強影響度算法分別對煙堿中的異常樣本進行剔除；石魯珍等[24]利用馬氏距離與濃度殘差剔除近紅外檢測灰棗中的異常樣本。以上幾種方法對剔除異常樣本都具有一定的作用。但是，馬氏距離法對光譜數據進行計算而不需要樣本的化學值，剔除的可能是人為誤差造成光譜存在異常的樣本[25]；濃度殘差和杠桿值計算單個樣本預測不確定性；主成分分析中，判定異常樣本的操作往往需借助經驗。而且上述方法對復雜樣本或是樣本集中存在多個異常樣本時剔除不夠全面，甚至會造成模型的失真，從而降低了模型的泛化能力及準確度。因此，在異常建模樣本判別中，應結合光譜數據的規律特點，采用多種方法準確識別和剔除異常樣本。

基于此，筆者通過對采集的哈密瓜光譜樣本采用偏最小二乘法（PLS）建立模型，結合異常光譜剔除、馬氏距離法、杠桿值與學生化殘差T 檢驗法及主成分得分法等多種方法進行綜合分析判別，初步判定參與建模的樣本中有5 個疑似異常樣本，從異常樣本判別結果看，各方法對異常建模樣品的判別均有效果，單一方法未能可靠判別出全部異常樣本。因此需要對這5 個疑似異常樣本進行逐一的剔除與回收對比分析，觀察模型性能參數的變化，最終確定異常樣本并剔除。結果表明，綜合分析方法對高光譜PLS 模型中異常樣本具有較強的識別能力，提高了哈密瓜堅實度檢測模型的穩定性和準確性。該方法不僅有助于哈密瓜的科學管理、精準采收和實現精準快速分級，也可提高哈密瓜的經濟效益，為新疆哈密瓜產業發展提供了技術支撐。