基于近紅外相機成像的紅提串缺陷檢測

高 升

(青島理工大學信息與控制工程學院，山東 青島 266520)

褐斑及損傷腐爛果為紅提葡萄常見的表面缺陷，直接影響著葡萄植株的生長發育、產量品質、商品價格、營養價值[1-2]。傳統的外部品質檢測方法為人工根據經驗進行檢測，存在勞動強度大、主觀性強、標椎不統一等諸多弊端。

目前，機器視覺被廣泛應用于水果外觀品質的檢測研究[3-6]，杜永忠等[7]設計了一種基于機器視覺的圣女果表面缺陷檢測方法，并建立了對大小的分級，該分級系統綜合分級準確率為98.4%。王昭[8]利用機器視覺技術對櫻桃的表面圖像信息進行提取，并根據圖像處理算法實現對櫻桃表面缺陷的識別。邵志明等[9]提出了一種基于近紅外相機成像技術和圖像閾值分割方法的蘋果表面早期損傷檢測方法。針對葡萄外部品質的研究，陳英等[10]采用投影面積法等方法計算果穗大小和形狀參數，利用機器視覺技術設計了葡萄檢測分級系統，果穗顏色和大小分級的準確率分別為90.0%和88.3%。袁雷明[11]利用機器視覺和近紅外光譜等技術對巨峰葡萄的內外品質進行快速無損檢測，并實現品質的分級。周文靜等[12]利用機器視覺技術開發了可判別葡萄果穗成熟度的算法，實現了果穗成熟度的判別。肖壯等[13]提出了一種基于機器視覺的尺寸分級方法。施行等[14]提出基于機器視覺檢測的分級方法，實現整串紅提的緊實度無損檢測和分級，對130串紅提串進行緊實度檢測與分類，分級正確率達到94.6%。Min等[15]利用機器視覺技術建立葡萄大小識別模型，模型的準確率接近90%。Kaburlasos等[16]利用機器視覺技術實現了葡萄成熟判別。以上研究主要集中在葡萄果粒尺寸、果串形狀、果粒顏色、果粒紋理、果穗緊實度、成熟度等方面，而對紅提葡萄表面缺陷果的研究還未見報道。

研究擬融合近紅外相機成像的近紅外和彩色圖像信息建立褐斑及損傷腐爛檢測方法，以期為紅提葡萄分級挑選提供參考。

1 材料與圖像采集系統設計

1.1 試驗材料

紅提樣本試驗當天采于湖北省武漢市當地葡萄園。共采集120串紅提串，其中表面有缺陷的樣本90串，表面完好的樣本30串。挑選表面有缺陷紅提串60串作為訓練集，每串葡萄正反兩面拍照，共得到120張樣本圖像，該樣本用于缺陷模型的建立。對所建模型進行驗證實驗時，剩下的樣本(30串完好紅提串，30串具有表面缺陷的紅提串)作為測試集，用于所建模型效果的檢驗。

1.2 圖像采集系統設計

丹麥JAI公司生產的型號為AD-080GE，像素為1 024×768，雙通道近紅外相機(分辨率為1 024×768，幀率為30 fps，能同時采集彩色(Red-Green-Blue，RGB)圖像和近紅外(near infrared，NIR)圖像。鏡頭為日本Kowa公司生產的型號為LM6NC3的鏡頭，分辨率為120/100。飛利浦T5環形熒光燈光源，環形燈管直徑為16 mm，外徑為245 mm，功率為32 W。

為避免外界光線的干擾，利用不銹鋼的制作采集的暗箱，暗箱尺寸大小為600 mm×400 mm×400 mm。暗室右側面安裝環形光源，近紅外相機和鏡頭安裝于環形光源的中間位置。紅提葡萄串通過頂端的掛鉤懸掛于可移動的平臺上，可移動平臺可通過手動調節移動平臺調節葡萄串與鏡頭的距離。

2 缺陷檢測技術方法或原理

由圖2(a)和圖2(d)可以看出，在褐斑和損傷腐爛紅提串RGB圖像中，紅提串顏色為紫紅色，與背景的黑色顏色差距不大，且紅提串中果粒之間的顏色差距較小，果粒邊緣不太清晰，且紅提串表面的果粉與紅提串缺陷均呈白色，顏色相互干擾，較難進行區分，果梗部分呈綠色與背景顏色差距明顯，能夠清晰地被區分；NIR圖像中紅提串部分為白色，背景為黑色，兩者在顏色上差距很大，從圖2(b)和圖2(e)可以看出，果粒的輪廓明顯，但其果粒與果梗顏色相近，故在RGB圖像中進行果梗的去除，NIR圖像中進行果粒的輪廓提取。圖2(c)和圖2(f)中的紅框為褐斑紅提串局部放大圖和損傷腐爛紅提串局部放大圖，殘缺呈現為圓形或條形的凹坑，兩種表面缺陷均在NIR圖像中更為明顯，因此選擇在NIR圖像中進行分析研究。

1.紅提串 2.暗箱 3.紅提串掛鉤 4.計算機 5.環形光源 6.近紅外相機和鏡頭

圖2 紅提串缺陷原始圖像

2.1 褐斑及損傷腐爛的輪廓圖像提取

2.1.1 邊緣檢測及二值化 在葡萄串的NIR圖像中，既包含葡萄果粒輪廓明顯，又包含表面缺陷的輪廓信息。對NIR圖像利用Soble算子處理后可以清晰提取出葡萄果粒褐斑及損傷腐爛處的邊緣，效果較好，故采用Soble算子提取葡萄輪廓，Soble算子邊緣檢測處理后的圖像如圖3(b)所示。然后采用最大類間方差法(OTSU大津法)獲得自適應閾值，得到褐斑及損傷腐爛葡萄串二值化圖像如圖4(a)和圖4(b)所示。

圖3 Soble算法邊緣檢測

2.1.2 去除紅提串輪廓 經過以上處理，已獲得清晰的紅提串輪廓，其中褐斑及損傷腐爛的輪廓是要提取的對象，需去除葡萄果粒的輪廓以及果梗，僅留下褐斑及損傷腐爛區域，由于葡萄串果粒外輪廓及果梗基本是一個連通域，其總體面積遠大于蟲害及殘缺，所以可考慮將所有葡萄果粒的輪廓連接起來，去除面積的大連通域便可去除葡萄果粒的輪廓及果梗。閉運算對圖像輪廓具有平滑作用，能有效去除圖像中的小孔洞，彌補輪廓的缺口和狹長區域，采用閉運算將葡萄果粒輪廓連接之后，通過去除大連通域剔除葡萄果粒的輪廓以及果梗。經過多次試驗發現，消除面積的閾值設置為2 500可去除葡萄果粒外輪廓而不對表面缺陷造成干擾。褐斑及損傷腐爛葡萄串閉運算處理后結果如圖4(c)和圖4(d)所示。

圖4 紅提串輪廓圖片

2.1.3 去除小面積斑點 通過上述處理后圖像中只剩下蟲害及殘缺部分和少量小面積噪聲，對于圖像中小面積斑點可直接去除。設定去除小面積的閾值為10，可去除像素點小于10的斑點，有效地去除了少量的小面積噪聲。

2.1.4 去除果梗 通過以上處理，圖像中基本上只剩下蟲害及殘缺區域和一些小面積噪聲，然而對于某些紅提串圖像中還有一些果梗沒有去除，這是由于某些單一果梗未與大連通域連在一起，少量果梗的形狀與殘缺及蟲害無太大差別，所以會干擾到蟲害及殘缺區域的提取，應予以去除。

由彩色圖像可知，果梗的顏色為綠色與葡萄其他位置顏色差別較大，果梗位置G分量占比較大。通過試驗對比了G—B、2G—R—B、歸一化超綠法(2g—r—b)[13-14]對圖像的處理效果，發現2g—r—b提取果梗的效果最好，其中r、g、b的計算式見式(1)～式(3)。

(1)

(2)

(3)

式中：

R——圖像的紅色分量；

G——圖像的綠色分量；

B——圖像的藍色分量；

r——歸一化后的紅色分量；

g——歸一化后的綠色分量；

b——歸一化后的藍色分量。

2g—r—b去除綠色果梗方法：分別提取紅提RGB圖像的R、G、B三分量值并將其轉換為r、g、b，通過2g—r—b的色差計算，提取出果梗的灰度圖，通過Otsu閾值法選取出最佳閾值，并將灰度圖轉為二值圖，表面缺陷去除果梗效果如圖5(a)和圖5(b)所示。

2.2 紅提串缺陷的判別模型

通過以上傳統圖像處理后，已基本提取缺陷區域，但仍然有一些線性果粒邊緣沒有去除如圖5(c)和圖5(d)所示，含有線性果粒邊緣的褐斑和損傷腐爛紅提串在彩色圖像中的判別效果如圖5(e)和圖5(f)所示，部分果粒邊緣未與整串葡萄邊緣連接起來，所以去除大連通域時未將其去除，且部分線性噪聲的面積與表面缺陷的面積相當，無法直接用面積特性進行去除。表面缺陷連通域比線性果粒邊緣更趨近于一個圓形或者矩形，在圓形度、外接矩形長寬比和矩形度有一定的區別，但部分邊緣信息外形為線條狀，與斑點外形類似，直接運用單一形態特征較難實現分類。對破損區域的識別中，已有學者[17]利用連通域的區域圓形度積、區域的長徑、短徑和長寬比等特征參數來實現對裂紋進行分類。綜上提取每個連通域的圓形度、外接矩形長寬比和矩形度3個參數值作為區分線狀噪聲和蟲害及殘缺區域的特征參數。從處理后的圖像中提取斑點噪聲和破損區域共200個，表1為統計的區域圓形度、長寬比和矩形度的參數分布，發現兩類區域的各個形狀特征參數無法通過設定簡單的閾值比較將其區分出來，需要借助分類模型進行識別。

表1 表面缺陷和果粒邊緣區域的形狀特征參數分布

圖5 紅提串缺陷判別

2.3 基于BP神經網絡模型和支持向量機模型的區域類型表面缺陷判別

將挑選出來的紅提串訓練集樣本(具有表面缺陷的紅提串60串)，每串葡萄正反兩面拍照，共得到120張樣本圖像，按照上述圖像處理方法分別提取紅提串表面缺陷區域并得到每個表面缺陷區域的圓度、長寬比和矩形度信息，一個表面缺陷區域的圓度、長寬比和矩形度特征信息組成一組缺陷區域樣本數據，120張照片共得到400組缺陷區域樣本數據。校正集和訓練集按照3∶1比例將400組樣本數據分為300個校正集樣本和100個預測集樣本，300個校正集數據用于建立分類模型，100個預測集數據用于驗證分類模型的準確率。

校正集300個樣本，38個判斷錯誤，校正集分類結果準確率達87.33%，預測集100個樣本，16個判斷錯誤，預測集分類結果準確率達84.00%。

2.3.2 基于支持向量機模型的表面缺陷判別 支持向量機(SVM)模型被廣泛應用于二分類和多維非線性分類問題，SVM的實現原理為利用選擇的核函數將輸入向量映射到一個高維數特征空間，并在該空間中構造一個最優分類超平面[19-21]。選取RBF核函數，其主要參數包括懲罰參數c和參數g。當均方誤差(MSE)為0.076 6時，均方誤差較小，模型準確率高，此時懲罰因子c=48.502 9，核函數參數g=0.189 5。

校正集300個樣本，32個判斷錯誤，校正集分類結果準確率達89.33%，訓練集100個樣本，12個判斷錯誤，訓練集分類結果準確率達88.00%，表明SVM模型分類效果好于BP模型分類效果，研究選取SVM模型進行分類，表面缺陷和果粒邊緣區域類型判別結果如表2所示。

表2 表面缺陷和果粒邊緣區域類型判別結果

2.3.3 模型比較與分析 通過兩種分類方法建立了兩種分類模型，由以上分析得兩種模型的準確率均達到90%以上，同時考慮到檢測時間問題，BP神經網絡模型需要296 ms，SVM模型僅需要252 ms，且BP神經網絡所獲參數每次都會變化，SVM模型更為穩定，所以SVM模型更能滿足快速檢測的生產線的要求，故選擇SVM模型進行區域判別。

2.3.4 結果驗證與分析 通過SVM模型可以對圖像中各個連通區域進行判別，將所有標簽為1(即線狀果粒邊緣)的像素置為0即可消除所有線狀果粒邊緣。褐斑及損傷腐爛紅提串通過SVM算法剔除果粒邊緣結果如圖4(g)和圖4(h)所示，褐斑和損傷腐爛紅提串在彩色圖像中的判別效果如圖4(i)和圖4(j)所示。

3 實際應用效果

為了驗證上述圖像處理步驟識別褐斑及損傷腐爛的準確性，進行驗證實驗，將挑選出來的測試集60個葡萄串(包含30個表面完好和30個表面缺陷)樣本，每個樣本拍攝正反兩次，共拍攝120張圖像，正反兩張圖像都沒有褐斑及損傷腐爛的才能判斷為完好果串。將需要驗證的樣本通過上述步驟進行圖像處理，得到面積S(二值圖像中像素值為1的面積)的值，若S=0時，則判斷為完好葡萄串；當S>0時，則判斷為褐斑及損傷腐爛。完好葡萄串和褐斑及損傷腐爛分類結果如表3所示。

表3 完好紅提串和缺陷紅提串分類結果

在驗證過程中發現少數完好葡萄的表面斑點較多或葡萄表面附著水珠被誤判成了蟲害及殘缺，所以完好葡萄串的識別率較低。從驗證結果來看，研究使用的處理方法效果較好，完好葡萄和褐斑及損傷腐爛的正確識別率分別達到90.00%和93.33%，對總體60個樣本的整體識別率達91.67%，滿足對葡萄串外部品質快速、高準確率的要求。

4 結論

研究建立的表面缺陷和果粒邊緣神經網絡和支持向量機分類判別模型，支持向量機模型的判別效果明顯好于神經網絡模型的判別效果，在針對紅提串缺陷和部分果粒邊緣的判別中，所提取的圓形度、外接矩形長寬比和矩形度的3個特征，支持向量機更適合分類判別，可為以后線性邊緣信息的剔除提供一定的參考。后期可在此基礎上深入研究褐斑及損傷腐爛的識別，并結合紅提商品的價值、果農的經驗建立缺陷(褐斑及損傷腐爛)紅提串程度評價體系，直接實現紅提串的缺陷程度的評價。并通過該體系，實現紅提串缺陷程度的自動化智能分級。