李澤平 李雪蓮 周 軍 郭俊先 黃 華 郭 陽 張亮亮
(1.新疆農業大學機電工程學院,新疆 烏魯木齊 830052;2.新疆農業大學數理學院,新疆 烏魯木齊 830052)
無核白葡萄作為新疆吐魯番地區的主栽品種[1-2],對吐魯番農業經濟的發展起重要作用。目前,無核白葡萄上市前品質等級主要依靠人工檢測和分級,速度慢、效率低且主觀性強[3-4],果品的采后處理技術比較薄弱,不利于其精確有效的分級[5-6]。
無核白葡萄呈現強透光特點,成像質量和光源選取均直接影響無核白葡萄的指標預測和分級。如何獲得無核白葡萄成像系統的最佳因素與水平,對提高圖像質量具有重要意義[7]。常見的葡萄圖像采集主要基于2種環境:室外特定光照環境下的露天環境和室內人工控制的機器視覺成像系統。例如,Zabawa等[8]使用卷積神經網絡執行語義分割檢測圖像中的單個漿果,來計算每個漿果的數量。邱津怡等[9]提出了一種基于卷積神經網絡(CNN)的多尺度葡萄圖像識別方法,發現卷積神經網絡對于特征提取的效果優于傳統的特征提取算法。劉智杭等[10]針對自然光照復雜背景下,葡萄果穗區域分割準確度差的問題,提出了一種融合局部異常因子(LOF)算法和K均值聚類算法的圖像分割算法。由于沒有統一的衡量標準,目前通常都是采用圖像評價的方法評價采集到的圖像。
為消除葡萄粒透光和光暈問題,獲得葡萄串的最佳分割效果,準確分析葡萄串的圖像信息,試驗擬采集不同背景、光源結構、打光模式下的無核白鮮葡萄圖像,采用圖像評價的方法對比各因素水平下采集的圖像,確定無核白葡萄機器視覺成像系統因素的最佳取值,旨在為無核白葡萄的指標預測與分級提供參考依據。
無核白鮮葡萄:共30串,顆粒均勻(單果粒重約為2~3 g),糖度為17%~23%、濕基含水率為(82±3)%,于1 ℃冰柜冷藏存放,市售。
采集平臺:規格為48 cm×43 cm×170 cm,外層用黑色幕布將整個平臺全部遮擋,自制;
圖像采集系統(見圖1):AT-200CL型,包括相機、3CCD面陣攝像機,丹麥JAI公司;
鏡頭:LM35CLS型,日本NIKON公司;
高亮條形光源:LTS-2BR3503型,樂視自動化科技有限公司;
高亮度LED線光源:HLND-500SW2-R型,美國CCS公司;
低角度環形光源:HRL180SW LED型,東莞科視自動化科技有限公司;
圖像采集卡:OR-X4C0-XPD00型,日本Kowa公司;
光源控制器:LTS-APC2460-2型,樂視自動化科技有限公司;
計算機:CentreM6100t型,聯想(北京)有限公司。
采集圖像時,葡萄樣本先于室溫下放置0.5 h,調整機器視覺系統物距、圖像分辨率、光圈大小等參數,直至采集的圖像清晰。
采用Matlab R2014A軟件進行圖像處理,采用SPSS軟件進行數據處理。使用Excel 97-2003軟件進行圖、表繪制。
2.1.1 背景紙對圖像的影響 分別以黑色、白色、棕色、灰色、紫色、綠色、深藍色、淺綠色、紅色、褐色、黃色、藍色、粉色、淺粉色、桃紅色15種顏色的4K硬卡紙為背景,拍攝一批無核白葡萄圖片,使用Matlab軟件進行分析,以葡萄圖像的前景和背景的灰度差異值和圖像信噪比為衡量指標,確定采集圖像時的最佳背景紙。

1.光源控制器 2.LED光源 3.鋁型材框架 4.鏡頭 5.攝像機 6.電腦 7.圖像采集卡(內置主機箱里)圖1 圖像采集系統Figure 1 Image acquisition system
2.1.2 光源結構對圖像的影響 在最佳采集背景紙下,以3種不同光源(條形光源、線光源、環形光源)以及光源與相機所成的不同夾角(分別為0°,30°,45°,60°)組成不同的光源結構(條形光源-0°、條形光源-30°、條形光源-45°、條形光源-60°、線光源-0°、線光源-60°、環形光源-0°),拍攝一批無核白葡萄圖像,使用Matlab軟件進行分析,以葡萄圖像的前景和背景的灰度差異值和圖像信噪比為衡量指標,確定采集圖像時的最優光源結構。
在單因素試驗的基礎上,選取30串無核白葡萄,以背景紙、光源結構、打光模式為因素,進行三因素三水平正交試驗,以確定采集圖像時的最佳條件。
圖像質量評價分為主觀評價和客觀評價[11]。主觀評價是觀察者對圖像質量進行評價,人為干擾因素大,在實際應用中受到極大的限制[12-13]。而客觀評價只需設計算法模型,通過模型自動評價圖像質量[14],常用的客觀評價方法主要有PSNR、均方誤差[15]、平均梯度、圖像熵、NIQE、SNR等,但PSNR、均方誤差等需要原始圖像進行參照,不適用于單幅圖像的評價[13]。因此只對平均梯度、圖像熵、NIQE、NR 4種方法(表1)展開討論。
4.1.1 背景紙對圖像的影響 由圖2(a)可知:白色背景紙下,圖像的信噪比最高,黃色和桃紅色次之。信噪比可以反映圖像的質量,其值越高說明產生的雜質越少,圖像越清晰,圖像信號質量越高。由圖2(b)可知,白色背景紙下,圖像的前景與背景的灰度值差異最大。而背景灰度值與前景灰度值對比度越高,越有利于目標區域的有效獲得,分割效果越佳。因此,白色背景紙對圖像的影響最大,黃色和桃紅色背景紙影響次之,黑色背景紙對圖像的影響最小。
4.1.2 光源結構對圖像的影響 由圖3可知,在條形光源-60°的光源結構下,圖像的信噪比最高,且前景與背景的灰度值差異最大,而線光源-60°、條形光源-45°和條形光源-30°的光源結構效果次之,其中條形光源-0° 的光源結構效果最差。由人為觀察可知,線光源-60° 的光源結構在拍攝過程中,由于線光源的光在空間傳播過程中只向一個方向呈線性傳播,所以容易造成無核白葡萄表面受光不均勻、圖像光暈較大,不利于后期圖像處理,故后續正交試驗中,由條形光源-30°的光源結構取代線光源-60°的光源結構。

表1 圖像質量客觀評價方法Table 1 Objective evaluation method of image quality

圖2 背景紙對圖像效果的影響Figure 2 Effect of different color background paper on image

圖3 光源結構對圖像效果的影響Figure 3 Influence of different light source structures on image
在單因素試驗基礎上,結合打光模式進行三因素三水平正交試驗,其因素水平及編碼見表2,試驗設計與結果見表3。
由表3可知,影響無核白葡萄圖像的因素為C>A>B,即打光模式>背景紙>光源結構。由表4可知,打光模式對圖像前景與背景的灰度差異值和信噪比的影響顯著,與極差分析結果一致,得到采集圖像的最佳組合為A1B1C1,因此無核白葡萄圖像采集的最佳條件為:背景紙為白色背景紙,光源結構為條形光源-60°,打光模式為明場模式。
采用客觀評價方法對圖像質量進行評價,通過分析可知:① 同一因素水平下同一無核白葡萄拍攝的3張照片,其評價結果相差不大,可以取同一因素水平下3次重復評價結果的平均值作為該因素水平下的評價結果;② 同一張無核白葡萄圖片在9種因素水平下的圖像質量差異較大;③ 90張無核白葡萄圖片分別在9種因素水平下的圖像質量評價結果呈現一致的趨勢。
與客觀評價方法對比,選擇若干主觀評價人員對圖像進行評價,評價結果分為5個等級。圖像質量評價結果見表5。由表5可知,主、客觀評價的結果基本一致,在一定條件下反映了無核白葡萄圖像的質量。綜上,1號試驗所得圖像結果最佳,從而得出無核白葡萄機器視覺成像系統的最佳因素取值。

表2 試驗因素水平及編碼Table 2 Test factor level and code

表3 正交試驗設計與結果?Table 3 Orthogonal test analysis table

表4 正交試驗方差分析?Table 4 Analysis of variance of orthogonal test

表5 圖像質量評價結果Table 5 Image quality evaluation results
為了驗證試驗結論的正確性,采用上述9組因素水平下各拍攝10串綠色和黃色無核白葡萄照片,重復上述步驟并進行質量評價,結果顯示,驗證實驗的無核白葡萄的綜合評分優于正交試驗中大部分試驗結果,說明無核白葡萄成像系統的確定可行性較高。9種環境因素水平下拍攝的圖像質量存在一定差別,其圖像質量由高到低對應的成像系統的因素水平順序依次為1,4,8,5,9,7,2,3,6。其中1號試驗所得圖像結果最佳,因此無核白葡萄機器視覺成像系統的最佳因素取值為:背景紙為白色背景紙,光源結構為條形光源-60°,打光模式為明場模式。
針對無核白葡萄圖像獲取等問題開展了試驗研究,并結合主客觀綜合評價圖像質量的方法評價了獲取到的無核白葡萄圖像,確定無核白葡萄機器視覺成像系統的最佳因素取值為:背景紙為白色背景紙,光源結構為條形光源-60°,打光模式為明場模式。由于試驗采集的圖像只是固定背景下的無核白葡萄圖像,容易導致葡萄穗形變,后續應考慮掛靠或懸掛式采集葡萄照片。