杜曉晨 張 幸 陸國權
(浙江農林大學信息工程學院1,臨安 311300)
(浙江農林大學薯類作物研究所2,臨安 311300)
(浙江農林大學生物種業研究中心3,臨安 311300)
(浙江省農產品品質改良技術研究重點實驗室4,臨安 311300)
甘薯是一種重要的農作物,遍布我國各地。由于甘薯的品種繁多,不同品種的甘薯經濟價值不同,存在魚龍混雜現象,因此對甘薯加工、生產機構來說,如何智能、便捷、有效地對薯塊進行薯種識別具有重要的應用價值。目前國內對薯塊種類的識別主要還是依靠人工和化學的方式進行[1-2]。人工方式是通過觀察薯塊的外形、顏色等信息來進行判斷。這種方式比較便捷,但需要專業知識,實際操作中工人未必具有相應的經驗,另外這種方式具有人為因素,判斷結果的準確性不能保證。化學方式是對薯塊中的淀粉含量進行化學分析,并將結果用于相應薯種的化學特性進行比對[3]。這種方法的準確性有保證,但不夠簡便,且成本過高。
利用圖像處理技術對農作物、農產品進行識別能兼顧準確性和便捷性,目前已經在很多農作物上得到了應用,如玉米、花生等[4]。對甘薯進行相關的研究較少,主要集中在質量分級和疫病檢測。如:Tao等[5]進行了基于傅里葉描述子的甘薯形狀檢測,能將薯塊分為非常好、良好、一般、差4種類型,與人工分級一致率達89%;孔彥龍等[6]通過馬鈴薯俯視圖像的面積和側視圖像的周長為特征,實現了馬鈴薯質量與形狀檢測分級;郝敏等[7]使用Zernike矩方法對甘薯圖像進行了提取特征,能對薯塊形狀進行分類,檢測出薯形良好和正常的薯塊;馬曉丹等[8]針對馬鈴薯的疫病,提取了馬鈴薯葉片病斑圖像中的形狀、顏色等特征,并采用了量子神經網絡作為分類器實現了馬鈴薯早期疫病的診斷。但對薯種的識別研究鮮見報道。
考慮到甘薯的橫切面圖像中包含著自身品種特有的顏色、紋理信息,本研究提出了一種基于圖像顏色和紋理特征相結合的甘薯薯種識別方法。該方法組合了顏色直方圖法、灰度共生矩陣法和Gabor濾波法提取的圖像特征,融合各種方法的優勢,能方便、準確地通過圖像信息進行薯種識別。
數字圖像質量會直接影響特征選取與薯種識別的結果。為了統一焦距和光源等因素,在圖像獲取環節中,自行構建了圖像采集環境,它包括圖像采集箱、CMOS相機、光源,如圖1所示。其中,圖像采集箱由木板搭建,箱內貼黑色啞光紙;相機采用OLYM-PUS(型號 E-PL5,30 mm焦距,1 600萬像素,JPG圖像格式),固定在圖像采集箱頂部,距離樣品50 cm;光源由一對LED燈組成,位于相機左右兩邊,功率6W,色溫5 000 K。

圖1 圖像采集
采集甘薯橫切原始圖像之后,在圖像預處理環節,首先找到原始圖像的中心像素點所在區域,然后截取周圍256×256像素范圍的鄰域圖像作為本研究的樣本圖像。
肉質顏色是甘薯的重要屬性之一,可以作為識別甘薯種類的依據之一。常用的顏色空間有RGB和HSV等[9-10],其中,HSV顏色空間是一種面向視覺感知的顏色模型,對比從計算機硬件角度提出的RGB顏色模型,它能更好與人眼主觀感受相匹配,轉換公式如下:

本試驗使用多特征融合的方法進行薯種識別,為了減少特征量,將HSV空間非等間隔量化(H量化成16級,S量化成4級,V量化成4級),再將HSV3個分量合成為1個分量:

式中:Qs Qv分別是S和V的量化級數,C取值范圍為[0,255],最后對C構建直方圖。圖2中的a和b顯示了浙紫薯1號和心香薯塊的橫切面圖像;d和e顯示了其對應的HSV空間顏色直方圖,顯然2類薯種的肉質在HSV顏色統計值上差異明顯。所以本試驗將C中出現頻率最高的值(即圖2中縱坐標最大值所對應的橫坐標值)作為顏色特征,記為f1。

圖2 薯種樣本的顏色特征
圖2中的浙紫薯1號和心香2類薯種在肉質顏色存在較大差別,但有很多薯種之間的顏色差別并不明顯,如圖2中的心香和美國紅,肉質的視覺直觀感受都呈黃色,兩者的HSV顏色直方圖也較為相近。由此可見,僅靠圖像的顏色信息不足以進行薯種識別。考慮到不同薯種的肉質存在差異,如:緊實程度、淀粉含量、含水率等,體現到圖像中,可以發現不同薯種的圖像紋理信息存在規律性的差異。故本研究進一步對薯塊圖像提取紋理特征,采用顏色特征和紋理特征相結合的手段來識別薯種。
灰度共生矩陣是一種經典的圖像紋理分析方法,它是基于統計方法,根據圖像中各個像素之間的距離、方向關系構造而成[11]。這種灰度共生矩陣能根據圖像灰度值的空間信息計算出距離(Dx,Dy)的2個像素點同時存在的聯合分布概率,它表達了各像素點對之間的空間關系的相關性。
從圖像中灰度值為i、坐標值為x,y的像素點位置開始,計算灰度值為j,生成方向 θ(可以選擇0°、45°、90°和 135°4個方向)為距離為 d(位置在 x+Dx,y+Dy)的像素點同時出現在紋理圖像中的頻數P(i,j,d,θ)。那么,灰度共生矩陣的數學表達式為:
p(i,j,d,θ)={[(x,y),(x+dx,y+dy)]|f(x,y)=i;f(x+dx,y+dy)=j} (5)

圖3 在2個方向生成的步長為4的灰度共生矩陣
圖3顯示了心香和美國紅薯塊的橫切面圖像在2個在0°和90°方向生成的灰度共生矩陣圖。結果顯示,雖然這兩類薯種的肉質顏色相近,但無論在0°或90°方向,它們的灰度共生矩陣均差異明顯,表明它們的肉質紋理特性存在區分度,可以作為有效的薯種識別依據之一。Haralick等[11]通過灰度共生矩陣進一步提取了若干個通用的紋理特征:均值和、方差、熵、對比度、角二階矩、逆差矩、相關、方差和、差的方差、和熵、差熵。根據文獻[12-13]的仿真試驗,在這些基于灰度共生矩陣方法得到紋理特征值中,對比度和角二階矩最有代表性,能夠很好的表示出薯塊肉質紋理的粗細均勻程度和強弱程度。本研究僅保留這2個紋理特征,分別記為f2和f3,這樣最終生成的混合特征向量維數能保持在較低的水平,從而提高識別算法性能。

生成方向參數θ和步長參數d是GLCM算法的應用過程中的2個重要參數,直接影響生成的紋理特征優劣。文獻[12]驗證了在實際應用中,θ取0°或90°合適,d取4合適(圖像大小為256×256像素)。本研究也采用相同的參數設置進行薯種識別試驗。
依靠紋理特征對顏色相近的薯種進行分類是本試驗方法的關鍵。由于灰度共生矩陣法僅考慮了基于圖像空域的紋理信息,單獨使用未必能得到最佳效果[13]。因此,本研究擬將灰度共生矩陣與經典的Gabor濾波法相結合使用,以進一步提高識別率。Gabor濾波法與灰度共生矩陣法不同,它是基于圖像的時域和頻域信息進行紋理分析,能有效提取圖像的整體特征并突出局部紋理信息[14],兩種算法能有效互補。
針對圖像f(x,y),首先定義二維小波變換:

式中:Δx、Δy表示距離間隔,一般為1;p和 q表示某像素點的坐標;m和l表示了小波變換的方向、尺度(m=0,…,M-1,l=0,…,L-1)。

φml(x,y)則可表示為:式中:x′=a-m(x cosθ+y sinθ),y′=a-m(-x sinθ+y cosθ),y′=a-m(-x sinθ+y cosθ)。φ(x,y)為母波,它根據a-m的尺度進行調整,方向θ的調整可表示為:

當母波為Gabor函數時,Gabor濾波就可以表示為:

式中:W為濾波器窗寬。

圖4 W=0.5,θ=3π/4時的 Gabor濾波結果
根據文獻[15]的研究,W取0.5較為合適,此時的濾波結果圖像符合人的視覺感知系統。圖4顯示了心香薯塊橫切面圖像的Gabor濾波結果,可以明顯發現,通過濾波后,圖像中的紋理細節體現的更加明顯,這有利于后續特征提取。最后,對變換后的圖像提取統計特征均值和能量(即:一致性),分別記為f4和f5。
采用HSV顏色直方圖法提取1個顏色特征值f1;然后,將圖像轉為灰度圖,在90°的方向上生成灰度共生矩陣,分別提取共生矩陣的對比度和角二階矩作為紋理特征值,分別記為f2,f3;最后,對圖像進行Gabor變換(窗寬設為0.5,方向設為3π/4),并對變換后的圖像提取均值和能量作為另一組紋理特征值,分別記為f4,f5。這樣,得到了薯種圖像的混合特征向量 F=[f1,f2,…f5]。
由于本研究用到了3種特征提取算法,得到特征值區間并不一致,需要進行歸一化處理。這個環節本文使用高斯歸一化法,如果向量F=[f1,f2,…f5]符合高斯分布,則歸一化計算可表示為:

式中:m為F的均值,σ為F的標準差。這樣F最終落入[-1,1]區間內。在得到最終的特征向量F′=[f1′,f2′,…,f5′]后,建立薯種圖像樣本集,然后應用BP人工神經網絡作為分類器進行薯種識別。
人工神經網絡是一種由大量神經元連接而構成的自適應非線性學習、分類系統[16]。其中,BP人工神經網絡由輸入層、隱層、輸出層構成,采用反向傳播算法訓練神經網絡,具有較強學習和抗噪聲能力,已被廣泛應用于各種分類或預測研究。本研究應用BP人工神經網絡對混合特征向量的5個分量進行融合,通過大量樣本使其學習各類薯種中各項特征值的相應取值范圍,從而“掌握”各類薯種的綜合屬性,訓練得到甘薯薯種的識別模型,并最終應用于薯種的識別。
針對浙紫薯1號、心香、美國紅、川薯924、徐薯26、泰中10號、北京553等10類薯種,每個薯種采集15個薯塊。由于農產品生長受環境等因素的影響較大,為了檢驗本方法的適應性,這些薯塊取自不同年份(2012年、2013年)和產地(浙江、江蘇、北京等地),并統一在薯塊出土1周左右進行圖像獲取,總共采集了150個樣本圖像。為了驗證算法性能,針對每類薯種隨機選擇12幅樣本圖像作為訓練樣本,另外3幅圖像作為測試樣本。
分別單獨使用顏色直方圖法、灰度共生矩陣、Gabor濾波和本文方法對10種甘薯種類在Matlab 7.0的環境中進行了薯種識別試驗。其中,BP人工神經網絡中的期望誤差設置為0.000 1,最大迭代次數設置為5 000次,隱層的神經元個數設置對分類結果有一定影響,當隱層神經元個數取25時,本試驗的融合模型訓練效果最好,試驗結果如表1所示。可以看到,單獨使用灰度共生矩陣法或Gabor濾波法也能取得一定的正確識別率,說明針對甘薯橫切面圖像中存在大量紋理信息,可以被充分利用于甘薯的薯種識別或檢測研究;而顏色直方圖法由于只考慮了圖像的顏色信息,不少薯種的肉質顏色幾乎一樣,所以單獨在本應用中的識別結果不理想,這與前文中主觀預計一致。將3種方法融合使用后,本文方法的識別成功率得到明顯提升,平均識別成功率達到了90%。這說明將灰度共生矩陣法和Gabor濾波法結合后,算法不僅提取了圖像空域中的紋理,還能有效分析圖像時域和頻域中的局部信息,再結合顏色直方圖法綜合考慮了圖像的顏色特征,使得本文方法充分利用了圖像中的可用信息進行識別。
表1反映了本方法在算法準確性方面的性能。除了隱層的神經元個數,樣本個數也對BP人工神經網絡的訓練結果有一定影響。圖5反映了本方法的對樣本個數的適應能力。由于算法在設計時已經充分考慮了特征向量在訓練、分類時的計算復雜度,所以在提取特征時已經進行了優化選擇,5個特征值能簡潔、有效地協同工作,就10種薯類而言,當樣本數量接近70個開始,本方法得到的識別成功率就趨于穩定,這說明算法具備較好的魯棒性。綜上所述,本研究提出的識別方法在準確性、魯棒性方面的表現令人滿意。

圖5 試驗結果
試驗中的樣本圖像統一在薯塊出土1周左右的時間進行采集。為了進一步分析本方法的適應性,再次對不同時間采集的薯塊進行薯種識別試驗。仍然以上述試驗中的訓練樣本為訓練樣本,每類薯種另取3個薯塊的橫切圖像為測試樣本,這些測試薯塊的出土時間為0.5周、1周或2周,試驗結果如表2所示。可以發現,薯塊出土時間的不同,顏色直方圖法的識別成功率并未下降,這是因為薯塊肉質的顏色在2周時間內變化并不明顯;但薯塊出土時間的不同,對2種紋理特征方法和本文的融合特征方法有一定影響,其中,GLCM法的識別成功率下降了6.6%,Gabor法由于突出了圖像紋理細節所以僅下降了3.4%,而本文方法也下降了3.3%。這表明隨著薯塊出土時間的增加,淀粉含量、含水率等因素的變化會導致薯塊橫切圖像中紋理特征產生細微變化,但變化的程度仍可接受。

表1 不同方法的試驗結果

表2 不同時間獲取測試樣本的試驗結果
本研究提出了一種基于圖像處理技術的甘薯種類識別方法。通過試驗驗證了將顏色直方圖方法、灰度共生矩陣方法以及Gabor濾波方法相結合能成功地用于薯種識別,平均識別成功率達到了90%。該方法有望應用于甘薯加工、生產、銷售行業。研究表明,通過圖像的顏色、紋理等信息對甘薯進行識別應用是完全可行的,這類方法具備更深、更廣的研究空間。
[1]Chen Z,Schols H A,Voragen A G J.Physicochemical properties of starches obtained from three varieties of Chinese sweet potatoes[J].Journal of Food Science,2003,68(2):431-437
[2]Abegunde O K,Mu T H,Chen JW.Physicochemical characterization of sweet potato starches popularly used in chinese starch industry[J].Food Hydrocolloids,2013,33(2):169-177
[3]Tsakama M,Mwangwela A M,Manani T A,et al.Physicochemical and pasting properties of starch extracted from eleven sweetpotato varieties[J].African Journal of Food Science and Technology,2010,1(4):90-98
[4]萬鵬,孫鐘雷,宗力.基于計算機視覺的玉米粒形檢測方法[J].中國糧油學報,2011,26(5):107-110
[5]Tao Y,Morrow C T,Heinemann PH,etal.Fourier-based separation technique for shape grading of potatoes using machine vision[J].Transactions of the ASAE,1995,38(3):949-957
[6]孔彥龍,高曉陽,李紅玲,等.基于機器視覺的馬鈴薯質量和形狀分選方法[J].農業機械學報,2012,28(17):142-148
[7]郝敏,麻碩士,郝小冬.基于Zernike矩的甘薯薯形檢測[J].農業工程學報,2010,26(2):347-350
[8]馬曉丹,譚峰,許少華.基于量子神經網絡的馬鈴薯早疫病診斷模型[J].農業機械學報,2011,42(6):174-178
[9]章毓晉.圖像工程上冊-圖像處理[M].北京:清華大學出版社,1999
[10]Vimina E R,Jacob K P.Content based image retrieval using low level features of automatically extracted regions of interest[J].Journal of Image and Graphics,2013,1(1):7-11
[11]Haralick R M.Statistical and structural approaches to texture[J].Proceeding of IEEE,1975,67(5):786-504
[12]白雪冰,王克奇,王輝.基于灰度共生矩陣的木材紋理分類方法的研究[J].哈爾濱工業大學學報,2005,37(12):1667-1670
[13]尹建新,祁亨年,馮海林,等.一種基于混合紋理特征的木板材表面缺陷檢測方法[J].浙江農林大學學報,2011,28(6):937-942
[14]Jain A K,Farrokhnia F.Unsupervised texture segmentation using gabor filters[J].Pattern Recognition,1991,24(12):238-241
[15]Lee T S.Image representation using 2D gabor wavelets[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(10):959-971
[16]Goyal S.Artificial neural networks in vegetables:a comprehensive review[J].Scientific Journal of Crop Science,2013,2(7):75-94.