基于高光譜成像技術的富士蘋果輕微機械損傷檢測研究

沈宇 房勝 鄭紀業 王風云 張琛 李哲

摘要：為降低蘋果損傷造成的商業損失，延長蘋果的儲存期，利用高光譜成像技術實現了基于特征波段的蘋果表面輕微機械損傷的快速、無損檢測。以120個富士蘋果為研究對象，首先利用波段范圍在400～1 000 nm的高光譜成像光譜儀獲取完好和輕微損傷0、2、4 h的富士蘋果的高光譜圖像，并提取感興趣區域的平均光譜數據，然后通過兩次連續投影法進行分析，去除光譜波段間的冗余信息，找到共線性最小的波段組合（821 nm和940 nm）;其次，對特征波段圖像進行主成分分析，選擇完好與損傷區域差異明顯的第二主成分（PC2）作為檢測損傷的有效圖像;最后，對有效圖像進行固定閾值分割和形態學處理，得到蘋果表面機械損傷的檢測結果。利用該方法對驗證組40個正常和輕微損傷不同時間段的蘋果進行測試，總體正確率達到94.4%。

關鍵詞：高光譜成像技術;蘋果;輕微機械損傷;連續投影法;特征波段;圖像處理

中圖分類號：S661.109 ?文獻標識號：A ?文章編號：1001-4942（2020）02-0144-07

Abstract To reduce the commercial loss caused by apple fruit damage and prolong the storage period of apple fruits， the hyperspectral imaging technology was used to realize rapid and non-destructive detection of slight mechanical damage on the surface of apple fruits based on feature bands. In the experiment， 120 Fuji apple fruits were taken as the research object. Firstly， the hyperspectral images of intact and damaged samples after 0， 2 and 4 hours were obtained by the hyperspectral imaging system across the wavelength range of 400～1 000 nm. The reflectance of all pixels in the region of interest （ROI） was extracted by ENVI 5.2 software and analyzed by successive projections algorithm （SPA） to remove the redundant information between spectral bands and find the collinear minimum band combination （821 and 940 nm）. Then， the PCA was conducted based on two images corresponding to the feature bands， and the second component （PC2） with obvious differences between intact and damaged regions was selected as the effective image for damage detection. Finally， the methods of threshold segmentation and morphological processing were used for the PC2 image to obtain the slightly damaged area on the surface of apple fruits. Using the developed algorithm to detect 40 intact and damaged samples， the average accuracy was 94.4%.

Keywords Hyperspectral imaging technology; Apple; Slight mechanical damage; Successive projections algorithm; Feature band; Image processing

蘋果是世界上種植面積最廣、產量最高的果品，其味道酸甜可口，營養豐富。蘋果中含有利于人體吸收的多種營養成分和降低有害膽固醇的果膠，是老少皆宜的水果之一。但蘋果從采摘、運輸、包裝、儲藏及到消費者手中這一過程中會不可避免地受到摩擦、碰撞或擠壓，造成不同程度的機械損傷。這種損傷在初期很難用肉眼識別，尤其是當損傷發生在蘋果表皮顏色較深的部位。機械損傷破壞了蘋果內部的組織結構，導致蘋果的生理代謝紊亂，會引發乙烯的產生、呼吸速率的加快和呼吸途徑的改變以及愈傷組織的形成和次生代謝的變化等一系列不良的生理反應，從而加速蘋果營養成分流失和衰老進程[1-4]。而且，機械損傷部位更容易受到細菌侵染，霉變或腐爛的速度進一步加大，若不及時檢測出，會影響其他優質果[5]，降低整批蘋果的儲藏能力和售賣價格。因此，實現對蘋果損傷部位的無損、快速檢測和分級處理對減少商業損失和提高蘋果的儲藏性具有重要意義。

傳統的蘋果品質檢測方法主要有人工檢測法、化學試劑檢測法、機器視覺等。這些方法應用于蘋果輕微損傷檢測時，存在對樣品具有破壞性、費時費力、檢測標準不明確和結果不準確、使用的化學試劑污染環境等缺點[6]。因此，準確度高、實時性強、快速便捷的無損檢測技術在蘋果輕微機械損傷檢測方面越來越受關注。

高光譜成像技術將成像技術和光譜技術相結合，同時獲取目標樣品的二維空間信息和一維光譜信息，可對目標樣品的外觀特性和內部品質進行研究分析[7，8]。目前，不少學者已經將高光譜成像技術應用于蘋果表面損傷研究中。黃文倩等[9]利用高光譜成像技術和分段主成分分析法對損傷發生半小時內的蘋果進行損傷檢測研究，并基于優選出的波段區域結合主成分圖像權重系數選擇820 nm和970 nm波段作為特征波段，并利用這兩個特征波段和全局閾值理論開發了多光譜輕微損傷檢測算法，檢測精度為98%。田有文等[10]以完好與損傷后3、10、24 h的富士蘋果為研究對象，利用主成分分析法和圖像閾值分割法建立了提取損傷區域的算法模型，總體檢測精度達到98.75%。張保華等[11]獲取可見-近紅外波段的光譜圖像，利用一次主成分分析篩選出有效檢測蘋果損傷的6個特征波段，基于特征波段再次進行主成分分析（PCA），選擇第三主成分PC3作為蘋果表面損傷的檢測圖像，檢測精度為95.8%。以上研究均是利用二次主成分分析法提取蘋果損傷區域，首先利用PCA選擇特征圖像，確定特征波段，然后再次利用PCA定位損傷區域。本研究主要提出了一種利用連續投影法尋找損傷特征波段，并基于特征波段的主成分分析確定有效圖像并檢測損傷的方法。該研究有助于實現富士蘋果損傷的在線檢測，為檢測系統的開發提供理論基礎。

1 材料與方法

1.1 試驗材料

從市場選購形狀和大小基本一致、顏色均勻的無病蟲害和無機械損傷的完好富士蘋果120個，小心運回實驗室，放置12 h至室溫后，進行編號和分組處理，1～80號蘋果作為試驗組，81～120號蘋果作為驗證組。

首先獲取所有完好蘋果的高光譜圖像，然后進行人工損傷。損傷過程如下：用硬紙盒制造一個高度為16 cm、角度為20.4°、帶有底部的斜坡，將待損傷蘋果固定至斜坡底部（為了防止蘋果損傷面的對立面也因受力造成損傷，在斜坡底部加固一定厚度的塑料泡沫，以增加緩沖），利用從斜坡頂部固定位置自由滑落的實心鋼球（重量為175 g）對蘋果赤道部位造成面積約1 cm2的機械損傷（為了防止鐵球撞破蘋果表皮，在蘋果待損傷面的前方放置一層薄紙片）。獲取損傷部位損傷0、2、4 h后的高光譜圖像。由于損傷后果皮細胞和組織遭到破壞，損傷部位的質地會變得松軟，通過人工觸摸獲知并圈出損傷部位。

1.2 研究方法

首先利用高光譜成像光譜儀獲取完好與損傷0、2、4 h后的蘋果高光譜圖像，利用ENVI分別提取每幅圖像中感興趣區域的平均光譜數據;然后利用二次連續投影算法篩選出有利于損傷識別的特征波段，并通過建立SVM模型驗證特征波段的有效性，最后基于特征波段的主成分分析結合圖像處理方法定位蘋果損傷部位。

1.2.1 實驗儀器 采用高光譜圖像采集系統（圖1），主要由高光譜成像光譜儀（SOC710VP，USA）、4個75 W的室內高光譜照明燈（CrawImiacle， China）、樣品載物臺、計算機（LAPTOP-A5R0O41，LENOVO）等組成。其中，SOC710VP光譜儀的成像范圍是400～1 000 nm（128個波段），分辨率約為4.69 nm，掃描速度為32 s/cube，并內置12 bit動態范圍的C-Mount CCD相機。SOC710VP的優勢在于其內置推掃設備，無需系統配備掃描云臺就能完成高光譜圖像的采集。為了避免周圍環境光照的影響，保證目標樣本光照的均勻性，將整個圖像采集系統（除計算機外）置于暗箱中運行。高光譜圖像獲取通過光譜儀自帶的SOC710軟件完成。

1.2.2 高光譜圖像采集與校正 根據測量樣本和使用環境的光線條件，確保高光譜圖像完整清晰且不失真，經反復調試高光譜成像系統的各參數，最終將樣本上表面至鏡頭的垂直距離設置為255 mm，CCD相機的積分時間和增益設置為20 ms和4。在保證采集系統參數不變的情況下，依次獲取完好與損傷0、2、4 h后的蘋果高光譜圖像，共獲取480幅分辨率為520×696 pixel的高光譜圖像，數據保存類型為.cube。獲取過程如下：將單個蘋果放置于黑色托盤上，托盤放置于載物臺上方，調整蘋果位置使其與相機鏡頭在一條垂直線上，等待光譜儀內置設備的推掃，獲取樣本完整的光譜圖像。

為了去除因操作環境影響產生的電子噪聲，需要對采集的光譜圖像進行黑白校正。在采集系統調試正常的條件下，先采集光譜儀配備的白色校正板的光譜圖像，然后關閉光源、遮住鏡頭，采集反射率幾乎為零的全黑光譜圖像，最后依據公式（1）對原始光譜圖像進行校正。

其中，Rori為原始高光譜圖像，Rw為使用聚四氟乙烯白板獲取的全白光譜圖像，Rd為全黑光譜圖像，R為黑白校正后的光譜圖像。

1.2.3 數據分析 通過光譜儀自帶的SOC710軟件獲取高光譜圖像后，再通過ENVI 5.2、MATLAB 2014b軟件和Microsoft Excel進行后續數據處理與分析。

2 結果與分析

2.1 感興趣區域提取

為了研究正常樣本與損傷不同時間樣本的光譜特性，同時為了保證光譜數據的可靠性和穩定性，使用ENVI軟件分別在未損傷與損傷各個時間段的蘋果光譜圖像上選擇像素大小為10×10的感興趣區域，并計算該區域的平均光譜反射數據，構造如圖2所示的光譜曲線，可以看出，未損傷與損傷區域趨勢基本一致，且均在680 nm和980 nm處出現吸收谷，這主要與蘋果表面葉綠素和內部水分的吸收有關。隨著損傷后時間的延長，損傷區域的光譜反射率逐漸降低，主要原因是：蘋果受損后，細胞破裂并引起組織變化，細胞液溢出填充細胞間隙，造成光的散射減弱，樣品組織的光學密度下降。另外，曲線在503 nm以下和989 nm以上存在大量噪聲，為了保證實驗的準確性，本研究主要對503～989 nm間的光譜數據進行分析處理。

2.2 光譜數據預處理

為了減少外界干擾及樣本表面特性對光譜數據造成的噪聲影響，本研究基于歸一化、標準化、Savitzky-Golay（S-G）卷積平滑、多元散射校正（MSC）、標準正態變換 （SNV）等 [12，13]方法預處理后的光譜數據，結合支持向量機（SVM）初步構建了全波段輕微損傷分類模型，通過模型的分類效果選擇最優的預處理方法。

由圖3可以看出，光譜數據在沒有經過任何處理的情況下，模型的分類準確率只有87.5%;經MSC預處理后，準確率提升至100.0%。這可能是由于蘋果表面顏色和內部堅實度的差異對光譜產生了影響，而多元散射校正有效地消除了這部分噪聲，提高了光譜數據的信噪比。因此，本研究選擇MSC作為光譜數據預處理方法。

2.3 特征波段提取

高光譜圖像包含大量的光譜波段，有助于損傷蘋果的檢測與識別;然而，波段的增加導致數據冗余性大，處理復雜度高。因此，必須對經過黑白校正后的光譜數據進行特征波段選擇，提高后續處理算法的精度和效率。連續投影算法是選擇特征波段的有效方法。

連續投影算法（SPA）是一種前向變量選擇算法，能夠從光譜信息中尋找含有最低冗余信息的變量組，使得變量之間的共線性達到最小[14，15]。其算法過程如下：

記Xk（0）為初始迭代向量，N為需要提取的變量個數。光譜矩陣為j列，則

（1）迭代開始前，任選光譜矩陣的1列j，把建模集的第j列賦值給xj，記為Xk（0）;

（2）把未選入的列向量位置的集合記為s， s={j，1≤j≤J，j{k（0），…，k（n-1）}};

（3）分別計算xj對剩余列向量的投影：Pxj=xj-（xTjxk（n-1））xk（n-1）（xTk（n-1）xk（n-1））-1，j∈s;

（4）記k（n）=arg（max‖Pxj‖），j∈s;

（5）令xj=Pxj，j∈s;

（6）n=n+1，如果n ? ? 本研究首先利用SPA從503～989 nm范圍內的93個波段中選出9個特征波段（圖4a），對應波段的索引序號分別是1、43、47、62、67、78、79、81、84（圖4b），實際值分別是503、720、742、821、848、907、913、923、940 nm，記為S1。經過一次SPA后保留的變量之間還可能存在冗余信息，因此再次利用SPA尋找包含最低冗余信息的變量組，經過兩次SPA篩選，最終保留了2個特征波段（圖4c），對應波段的索引序號分別為3和4（圖4d），實際值為821 nm和940 nm，記為S2。

2.4 損傷分類模型

支持向量機（support vector machine， SVM）是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢[18，19]。為了驗證特征波段的有效性，本研究將試驗組數據按照2∶ 1隨機劃分成建模集（320個）和測試集（160個），分別基于全波段和特征波段S1、S2建立SVM損傷分類模型，在模型中使用徑向基函數作為核函數，利用3折交叉驗證確定最佳參數C和g，C和g的取值范圍都設置為[2-5，25]，步長都設置為0.2，分類結果如表1所示。可以看出，基于全波段和特征波段S1模型的識別效果基本一致，雖然特征波段S2的數量僅占全波段的2.15%，但對損傷的識別卻取得了較好的效果，能夠同時滿足蘋果輕微損傷檢測的速度和精度需求。

2.5 基于特征波段S2的主成分分析

為了避免圖像背景的影響，在對特征波段圖像進行主成分分析之前，使用二值掩膜去除背景[20]。通過對比各波段圖像發現，波段811 nm圖像中背景與蘋果的灰度差異明顯，因此選擇此波段圖像作為掩膜圖像，然后利用掩膜圖像分別與特征波段圖像相乘，得到去除背景后的光譜圖像。

通過二次連續投影算法篩選出的2個特征波段（821 nm和940 nm）對應的光譜分量圖像如圖5所示。從單個光譜分量圖可以看出，損傷區域及其周圍區域亮度相似，無明顯差別，因此，僅僅運用單波段圖像無法實現損傷區域的有效檢測。本研究將2個分量圖像進行融合，對融合后的圖像進行主成分分析[21]，并找到最容易區分損傷區域的主成分圖像。圖6為經過主成分分析后，得到的全部主成分圖像PC1、PC2。從圖中可以看出，第一主成分PC1保留了蘋果完整的形狀和大小信息，但圖中損傷和完好區域與單波段圖像具有相同的特點，無法分割損傷;第二主成分PC2損傷區域表現出高亮，且與周圍的界限清晰，能明顯區分損傷區域，為檢測蘋果輕微損傷的最佳主成分圖像。

2.6 輕微損傷區域檢測

對PC2圖像利用5×5的高斯低通濾波器保存圖像中的低頻成分，使圖像平滑，得到如圖7a所示的圖像。對濾波后的圖像進行閾值分割，分割閾值為162，分割結果如圖7b所示，從圖中可看出，分割圖像中依然存在因光照影響而誤分的小面積區域。利用圖像的膨脹、腐蝕和刪除小面積區域操作來實現損傷區域的精確分割，結果如圖7c所示。

2.7 完好與輕微損傷樣本的檢測結果驗證

為了驗證上述檢測方法的有效性，利用上述方法分別對驗證組（40個）完好與損傷不同時間段的蘋果進行檢測，結果如表2所示。可知，該方法對完好和損傷不同時間段的蘋果檢測效果都比較好，總體檢測準確率達到94.4%。對40個完好樣本，只有1個被誤檢;對損傷0 h和2 h的樣本，均存在3個誤檢;對損傷4 h的樣本，存在2個誤檢。造成正常樣本被誤檢成損傷樣本的原因主要是由于光照不均勻，在蘋果表面形成了亮斑，而形態學處理無法完全消除這些亮斑;造成損傷樣本被誤檢為正常樣本的原因主要是損傷的主成分圖像不在PC2中或PC2中損傷區域不明顯。

3 討論與結論

本研究基于高光譜成像技術對蘋果表面輕微機械損傷進行檢測研究。針對高光譜圖像數據量巨大、冗余性高的問題，運用二次連續投影算法篩選出了2個包含蘋果輕微損傷主要特征的特征波段（821、940 nm），并利用SVM模型驗證了特征波段的有效性;同時，基于特征波段結合圖像處理方法對蘋果表面輕微損傷進行檢測與定位，對特征波段圖像進行主成分分析，選擇能夠明顯區分損傷區域的主成分圖像PC2，并對主成分圖像進行固定閾值（閾值為162）分割、膨脹腐蝕處理和去除小面積區域定位蘋果表面的輕微損傷。結果表明，該方法對輕微損傷蘋果的總體檢測準確率為94.4%。經分析發現，影響檢測準確率的主要原因是蘋果表面曲面光照不均勻形成的亮斑干擾，同時，受光照影響，蘋果同一像素位置在不同波段的反射出現差異，從而導致少數蘋果在不同損傷時間段的損傷特性沒有明顯反映在特征波段上，造成損傷誤檢。因此，去除蘋果表面光照不均勻對輕微損傷檢測的影響以提高損傷檢測準確度將是下一步研究的重點方向。

參 考 文 獻：

[1] Agar I T， Massantini R， Hess-Pierce B， et al. Postharvest CO2 and ethylene production and quality maintenance of fresh-cut kiwifruit slices [J]. Journal of Food Science， 1999， 64（3）： 433-440.

[2] 王艷穎， 胡文忠， 龐坤， 等. 機械損傷對富士蘋果生理生化變化的影響[J]. 食品與發酵工業， 2007，33（7）： 58-62.

[3] Watada A E， Ko N P， Minott D A. Factors affecting quality of fresh-cut horticultural products [J]. Postharvest Biology and Technology， 1996， 9（2）： 115-125.

[4] Brecht J K. Physiology of lightly processed fruit and vegetables [J]. HortScience，1995，30（1）：18-22.

[5] 田有文， 牟鑫， 程怡. 高光譜成像技術無損檢測水果缺陷的研究進展[J]. 農機化研究， 2014（6）： 1-5.

[6] Xia J A， Yang Y W， Cao H X， et al. Visible-near infrared spectrum-based classification of apple chilling injury on cloud computing platform [J]. Computers and Electronics in Agriculture， 2018， 145： 27-34.

[7] van Roy J， Keresztes J C， Wouters N， et al. Measuring colour of vine tomatoes using hyperspectral imaging [J]. Postharvest Biology & Technology， 2017， 129： 79-89.

[8] Xiong J T， Lin R， Bu R B， et al. A micro-damage detection method of litchi fruit using hyperspectral imaging technology [J]. Sensors， 2018， 18（3）： 700.

[9] 黃文倩， 陳立平， 李江波， 等. 基于高光譜成像的蘋果輕微損傷檢測有效波長選取[J]. 農業工程學報， 2013， 29（1）： 272-277.

[10] 田有文， 牟鑫， 程怡， 等. 基于高光譜成像技術的蘋果表面輕微損傷檢測[J]. 沈陽農業大學學報， 2015， 46（4）： 508-512.

[11] 張保華， 黃文倩， 李江波， 等. 用高光譜成像和PCA檢測蘋果的損傷和早期腐爛[J]. 紅外與激光工程， 2013，42（s2）： 279-283.

[12] 吳習宇， 祝詩平， 黃華， 等. 近紅外光譜技術鑒別花椒產地[J]. 光譜學與光譜分析， 2018，38（1）： 68-72.

[13] 白鐵成， 王濤， 陳佑啟， 等. 南疆沙塵區駿棗葉片水分含量檢測的近紅外光譜預處理方法對比[J]. 光譜學與光譜分析， 2019， 39（4）： 1323-1328.

[14] 陳斌， 孟祥龍， 王豪. 連續投影算法在近紅外光譜校正模型優化中的應用[J]. 分析測試學報， 2007， 26（1）： 66-69.

[15] Galvo R K H， Araújo M C U， Fragoso W D， et al. A variable elimination method to improve the parsimony of MLR models using the successive projections algorithm [J]. Chemometrics and Intelligent Laboratory Systems， 2008， 92： 83-91.

[16] Tang G， Huang Y， Tian K D， et al. A new spectral variable selection pattern using competitive adaptive reweighted sampling combined with successive projections algorithm [J]. Analyst， 2014， 139（19）. doi：10.1039/c4an00837e.

[17] 劉燕德， 肖懷春， 孫旭東， 等. 柑桔葉片黃龍病光譜特征選擇及檢測模型[J]. 農業工程學報， 2018，34（3）： 180-187.

[18] 黃林生， 劉文靜， 黃文江， 等. 小波分析與支持向量機結合的冬小麥白粉病遙感監測[J]. 農業工程學報， 2017，33（14）： 188-195.

[19] 胡曉華， 劉偉， 劉長虹， 等. 基于太赫茲光譜和支持向量機快速鑒別咖啡豆產地[J]. 農業工程學報， 2017，33（9）： 310-315.

[20] Ye D D， Sun L J， Tan W Y， et al. Detecting and classifying minor bruised potato based on hyperspectral imaging [J]. Chemometrics and Intelligent Laboratory Systems， 2018， 177：129-139.

[21] Luo W， Zhang H L， Liu X M. Hyperspectral/multispectral reflectance imaging combining with watershed segmentation algorithm for detection of early bruises on apples with different peel colors [J]. Food Analytical Methods， 2019， 12（5）： 1218-1228.