基于圖像分析的玉米籽粒損傷檢測研究

張 濤 張 瑩 唐興隆 李 鴻 李 平楊清慧 代治國 張先鋒,*

(1 重慶市農業科學院，重慶 401329；2 重慶市經貿中等專業學校，重慶 402160)

玉米是我國重要的糧食作物之一，隨著農業機械化程度不斷提高，各種機械設備對籽粒的靜載、振動、擠壓、碰撞、沖擊等作用，難免會造成不同程度的機械損傷[1-3]。玉米籽粒受損傷后極易吸濕、霉變、生蟲，直接降低玉米的貯存時間、等級等[4-6]。因此，提高品質檢測技術，對玉米種植、收獲、加工、分類具有重要意義。目前玉米籽粒品質檢測主要依靠人工或機械篩選，因此，研究自動、準確、快速的玉米籽粒機械損傷檢測技術尤為重要。

機器視覺技術通過模擬人的視覺功能，對圖像進行處理、信息提取與識別，具有無損、精度高、速度快、非接觸等優點，在農產品外觀品質檢測、自動分級等領域已廣泛應用[7-9]。大量學者已經采用圖像分析、神經網絡、流行學習算法等技術，對水稻[10]、大豆[11]、馬鈴薯[12]、花椒[13]、小麥[14]等作物的品質和外形缺陷進行了研究[10-14]，并取得了令人滿意的效果。近些年，隨著軟硬件技術發展，學者們基于機器視覺識別理論及算法開發了一些實時在線分選系統，系統分類準確率達到90%以上，可以滿足實際生產的要求[15-16]。玉米方面，學者采用數據融合、邊界算法、閾值分割等方法對籽粒的機械裂紋、內部應力損傷、霉變等進行了識別研究[17-19]，同時開發了視覺精選系統[20]，極大提高了品質分揀的生產效率。流行學習算法在農產品缺陷檢測方面的可靠性和準確性較高，但需要的樣本數量極大，眾多特征疊加會產生大量冗余信息[5,12]，而圖像分析可以通過區域分割、特征提取、輸入模型，快速進行判別。目前，針對玉米籽粒區域分割算法綜合對比和自動判別研究鮮見報道。因此，本研究綜合分析灰度法、色度閾值法、色彩恢復的多尺度Retinex法、基于卷積的Sobel法對玉米籽粒圖像的分割質量，提取二值化圖像特征，建立玉米籽粒機械損傷判別分析和逐步剔除識別模型，以期為玉米種子外觀品質檢測、分級設備的設計提供理論基礎和技術支持。

1 材料與方法

1.1 試驗材料

選用重慶市農業科學院玉米所提供的黃色馬齒型渝單2號玉米籽粒。在2020年收獲期取樣，風干后玉米籽粒含水率為13.28%，人工剝除苞葉后進行機械脫粒。隨機挑選輪廓完整的正常樣本80粒和機械損傷樣本(無病蟲害)120粒，樣本集按照3∶1的比例分為構建集(150粒)和驗證集(50粒)，樣本集參數和機械損傷類型分別如表1和圖1所示。

表1 玉米籽粒樣本集特征值Table 1 Characteristic values of corn kernels sample set

注：a:單裂紋; b:龜裂紋; c:不規則破裂; d:輕微破損; e:縱向破損1/2。Note: a:Single crack. b:Turtle crack. c:Irregular fracture. d:Slightly damaged. e:Longitudinal damage 1/2.圖1 玉米籽粒的不同損傷類型Fig.1 Different damage types of corn kernel

1.2 試驗設備

Epson V19掃描儀，愛普生(中國)有限公司，將上蓋設計成箱盒結構，避免擠壓跑偏或光線干擾等影響。采集過程：將玉米籽粒放置掃描臺上，正常樣本任意面放置，機械損傷樣本則選損傷一面朝下，通過計算機將掃描圖像保存備用，設定圖像大小為540×650像素，圖像格式為.jpg，顏色空間為RGB。TH6018-45X放大鏡，義烏華衡光學儀器有限公司。

1.3 試驗方法

1.3.1 試驗方案 玉米籽粒機械損傷檢測的主要步驟為圖像分割、特征提取、損傷判別。本研究選擇灰度法、色度閾值法、基于卷積的Sobel法、色彩恢復的多尺度Retinex法(multi-scale Retinex with color restoration)對初始圖像進行分割，對比分析分割質量；其次使用標定塊法提取圖像特征，并進行值域統計與分析，篩選出正常與機械損傷之間差異顯著的特征指標；最后用判別分析法和逐步剔除法建立玉米籽粒機械損傷檢測模型，并分別對構建集(150張)和驗證集(50張)的圖片進行識別，利用準確率衡量模型識別精度。

1.3.2 圖像評價指標 圖像評價指標是衡量分割質量和反映紋理信息的重要參數。本研究選擇均方誤差、圖像熵、峰值信噪比、平均梯度作為評價指標[21-22]，尋求最優分割算法。圖像熵是反映平均信息量的指標，其值越大，圖像越清晰，計算公式為：

IE=-∑pjlog2(pj)

(1)

式中，IE表示圖像熵，bit/pixel；pj表示圖像第j級灰度值的概率。

峰值信噪比是指圖像中最大信號值與背景噪音的比值，用來衡量處理前與處理后的圖像差異，其值越大，說明分割效果越好，失真越小，計算公式為：

(2)

式中，PSNR表示圖像峰值信噪比，dB；L，K分別表示圖像的行數和列數，M(x,y)表示原始圖像信號，N(x,y)表示處理后圖像信號，x,y為像素點坐標值。

均方誤差是指圖像經過處理以后，與理想圖像的誤差大小，其值越小越好，計算公式為：

(3)

式中，MSE表示圖像均方誤差；A為處理后圖像；B為理想圖像。

平均梯度是表達圖像微小細節反差和紋理變化特征能力的指標，可用來衡量圖像的清晰程度，其值越大說明圖像層次越豐富，計算公式為：

(4)

式中，AM表示圖像平均梯度；F(l,k)表示圖像在(l,k)位置的灰度值。

1.3.3 區域分割 區域分割是將前景與背景分開、去除無效信息，對玉米籽粒目標進行定位和標記的過程。分割質量決定了圖像攜帶信息的可信度以及噪聲的干擾度。

柳紅喜歡聞公公身上的煙味兒。或許不僅僅是煙味兒，公公身上有著香煙味、汗臭味以及其他氣味混雜在一起的男人味兒。這男人味兒很尖，很刺鼻，但柳紅就是喜歡聞。都說男人是臭男人，但這臭男人身上的味兒，卻讓柳紅心醉。每次洗衣服時，柳紅都會偷偷地聞蘇長河換下的臟衣服，那上面就有著她喜歡的氣味。

1.3.3.1 灰度法分析 灰度法是通過確定灰度閾值，將圖像進行二值化處理。具體步驟：①將RGB三通道圖像轉換成灰度圖像(圖2-a)；②采用3×3大小中值濾波處理(圖2-b)；③利用最大類間方差法(Otsu)進行二值化分割(圖2-c)。

圖2 灰度分割流程中的灰度圖像(a)、中值濾波(b)和分割結果(c)Fig.2 Gray image (a), median filter (b) and segmentation result (c) in gray scale segmentation process

1.3.3.2 色度閾值法分析 色度閾值法是指在色度-飽和度-亮度(hue-saturation-intensity，HSI)顏色空間中，采用閾值法將物體和背景進行分割。具體步驟：①對原始RGB圖像進行3×3大小均值濾波處理(圖3-a)；②將濾波處理圖像轉換為HSI顏色空間(圖3-b)；③對色度(Hue)圖像進行3×3大小的均值濾波處理(圖3-c)；④利用最大類間方差法(Otsu)進行色度(Hue)圖像二值化分割(圖3-d)。

圖3 色度閾值分割流程中均值濾波(a)、色度圖像(b)、均值濾波(c)、分割結果(d)Fig.3 Average filtering(a), hue image(b), average filtering(c) and segmentation results(d) in hue threshold segmentation process

1.3.3.3 基于卷積的Sobel法分析 基于卷積的Sobel法是通過計算亮度函數梯度值進行分割。具體步驟：①對原始RGB圖像進行均值去噪(圖4-a)；②將彩色圖像轉化為灰度圖像(圖4-b)；③對灰度圖像進行直方圖均衡化增強(圖4-c)；④基于卷積的Sobel法對圖像進行二值化分割(圖4-d)。

圖4 基于卷積的Sobel分割流程中均值濾波(a)、灰度圖像(b)、直方圖增強(c)、分割結果(d)Fig.4 a.Average filtering(a), gray image(b), histogram enhancement(c) and segmentation results(d) in Sobel based convolution segmentation process

1.3.3.4 色彩恢復的多尺度Retinex法分析 色彩恢復的多尺度Retinex法是通過理論算法恢復色彩功能和局部細節增強，以便得到圖像中的有用信息[23]。具體步驟：①利用MSRCR函數對圖像進行增強，減小噪聲干擾(圖5-a)；②對增強圖像進行3×3大小的均值濾波(圖5-b)；③利用最大類間方差法(Otsu)將對象和背景分割(圖5-c)。

圖5 色彩恢復的多尺度Retinex分割流程中圖像增強(a)、均值濾波(b)、分割結果(c)Fig.5 Image enhancement(a), average filtering(b) and segmentation results(c) in multi-scale retinex with color restoration segmentation process

1.3.4 形態特征提取 利用Matlab軟件在色彩恢復的多尺度Retinex法分割基礎上進行面積、周長、最大費特雷直徑、最短費特雷直徑特征自動提取，主要用于統計正常與機械損傷樣本特征閾值及構建判別模型。由于無參照物和鏡頭畸變等影響，難以獲取玉米籽粒實際尺寸，因此采用標定塊法[24]。標定塊顏色為藍色，如圖6所示，正好是RGB三原色之一，二值化圖像提取容易。

圖6 標定塊與玉米籽粒原圖Fig.6 Calibration block and corn grain original picture

已知標定塊真實面積為10 mm×10 mm，提取圖像中標定塊的像素面積為m0，則單位像素點真實面積S0為：

(5)

假設玉米籽粒像素面積為m1，玉米籽粒真實面積S為：

S=S0×m1

(6)

通過邊界上所有像素總和來表示玉米籽粒周長，假設邊界像素總和為m2，則真實周長C為：

(7)

最大費雷特直徑為過中心點最長的線段，簡稱長軸，假設長軸上的像素總和為m3，則最大費雷特直徑D1為：

(8)

最短費雷特直徑為過中心點最短的線段，簡稱短軸，假設短軸上的像素總和為m4，則最短費雷特直徑D2為：

(9)。

1.4 數據處理

本研究借助Matlab2018a軟件對圖像進行區域分割和特征提取，采用Excel 2019軟件對數據進行整理和繪圖，利用SPSS 22.0軟件對數據進行相關性和判別式分析，建立判別分析法和逐步剔除法損傷識別模型。

2 結果與分析

2.1 不同分割方法結果對比

選取機械損傷樣本進行圖像分割，結果如圖7所示。其中灰度法中殘存噪聲與圖像混合，邊緣連續性較差(圖7-b)；色度閾值法和基于卷積的Sobel法紋理清晰、信息量大，能夠更好地顯示裂紋細節，但邊緣連續性和完整性差，為后續形態特征提取帶來不便，而且極易受噪聲污染(圖7-c、d)；色彩恢復的多尺度Retinex法圖像邊緣清晰、完整、連續，背景噪聲小，但同灰度法一致，細節信息丟失嚴重(圖7-e)。

圖7 機械損傷樣本(a)的灰度法(b)、色度閾值法(c)、基于卷積的Sobel法(d)、色彩恢復的多尺度Retinex法(e)分割結果Fig.7 Segmentation results of mechanical damage sample (a) by gray scale method (b), hue threshold method (c), Sobel based convolution method (d) and multi-scale retinex with color restoration(e)

對4種分割方法二值化圖像質量指標進行分析，結果如表2所示。處理前后圖像失真從小到大依次為基于卷積的Sobel法、色彩恢復的多尺度Retinex法、色度閾值法、灰度法，其中基于卷積的Sobel法的均方誤差和峰值信噪比分別為1.831 5和45.545 5 dB；二值化后圖像所攜帶的細節信息是用以判別是否有機械損傷的重要依據，信息量越大越好，基于卷積的Sobel法的圖像熵和平均梯度最大，其值分別為2.838 7 bit/pixel、 7.358 4；4種分割方法的運行時間較為接近，其值為0.743 9～1.325 7。基于卷積的Sobel法在分割玉米籽粒時優于其他3種方法。

表2 圖像分割質量評價參數Table 2 Image segmentation quality evaluation parameters

2.2 玉米籽粒圖像特征統計與分析

2.2.1 形態特征 對玉米籽粒形態特征進行自動提取，結果如表3所示。構建集中正常樣本的面積、周長、最大費特雷直徑、最短費特雷直徑均值分別為109.04 mm2、37.46 mm、8.83 mm、5.99 mm，機械損傷樣本均值分別為87.85 mm2、31.07 mm、6.73 mm、3.45 mm，其值均低于正常樣本，但機械損傷的玉米籽粒形態特征分布范圍比正常籽粒廣，說明產生機械損傷后玉米籽粒形態結構差異較大，形態參數均有減小趨勢，可作為圖像損傷判別的重要因子；利用置信區間法[25]獲取構建集正常與機械損傷樣本的最優閾值，其中置信水平為95%，可得正常樣本的面積、周長、最大費特雷直徑、最短費特雷直徑最優閾值分別為[107.15,110.92]、[36.90,38.02]、[8.63,9.03]、[5.81,6.18]，而機械損傷樣本其值分別為[85.50,91.46]、[32.07,34.25]、[5.75,6.87]、[3.15,4.23]。

表3 玉米籽粒形態特征統計分析Table 3 Statistical analysis of grain morphological characteristics of maize

圖8 正常與機械損傷玉米籽粒二值化圖像熵(a)和平均梯度(b)對比Fig.8 Comparison of binarization image entropy (a) and mean gradient (b) between normal and mechanical damage corn kernels

為確定各形態指標對判別玉米籽粒完整性的貢獻程度，本研究利用相關系數法確定權重值[26-27]。具體步驟：首先采用SPSS軟件獲得不同形態指標間的相關系數(表4)，其次對某指標與其他指標之間相關系數絕對值求平均值，單項指標相關系數平均值占所有指標相關系數平均值總和的比例，即為單項指標在綜合指標中的權重，所有指標權重之和等于1。表4中所有形態指標之間均呈正相關，除最大費特雷直徑與最短費特雷直徑外，其余指標間相關性均達到了顯著或極顯著水平。各形態指標的權重系數如表5所示，對判別玉米籽粒是否產生機械損傷貢獻程度由大到小依次為面積、周長、最短費特雷直徑、最大費特雷直徑，其權重系數分別為0.299 5、0.283 2、0.241 7、0.175 5。

表4 玉米籽粒形態特征相關系數矩陣Table 4 Correlation coefficient matrix of maize grain morphological characteristics

2.2.2 二值化圖像質量特征 由上述二值化圖像質量分析結果可知，基于卷積的Sobel法得到的圖像信息量大、噪音小，因此利用該方法對構建集正常和機械損傷樣本進行圖像分割。選取反映圖像信息量和紋理特征的熵和平均梯度作為評價指標，進行正常與機械損傷樣本群之間的對比，結果如圖8所示。正常樣本的圖像熵主要分布在1.5～3.9 bit/pixel，平均梯度主要分布在5.8～8.7，平均梯度相比熵的分布較為集中，說明正常樣本之間圖像的紋理差異較小；而機械損傷樣本主要分布在兩端，熵分布范圍為0.4～1.9 bit/pixel和2.5～6.9 bit/pixel，平均梯度分布范圍為3.3～6.2和7.8～13.8，主要是受籽粒完整性或裂紋形態影響。整體上正常和機械損傷樣本圖像熵和平均梯度最優閾值有所不同，但由于損傷類型的多樣性，部分存在重疊，因此為實現準確識別，還需結合籽粒的形態特征進行篩選。

表5 各形態特征指標的相關系數平均值和權重系數Table 5 Average value of the correlation coefficient and the weight coefficient of each soil property

2.3 玉米籽粒機械損傷識別模型構建

2.3.1 判別分析模型 判別分析是根據研究對象一系列特征值判別其類型歸屬問題的一種統計方法[28]。本研究利用SPSS軟件中的判別分析模塊建立玉米籽粒機械損傷識別模型，其中自變量為上述提取到的面積(S)、周長(C)、最大費雷特直徑(D1)、最短費特蕾直徑(D2)、熵(IE)、平均梯度(AM)，得到多元線性判別模型式(10)，Y為判別系數，當Y大于0時，為正常籽粒，反之則為機械損傷籽粒。通過Wilks’Lambda檢驗(表6)，得到該模型P<0.000 1，相關性為0.805，說明模型擬合程度高，性能穩定，能夠較好地根據圖像提取特征進行玉米籽粒機械損傷識別。

Y=0.086×S+0.254×IE-0.107×AM+

0.075×C+0.330×D1+0.172×D2-12.354

(10)

表6 Wilks的Lambda檢驗結果Table 6 Wilks’ Lambda test results

2.3.2 逐步剔除模型 逐步剔除模型的原理為首先設置篩選參數及閾值，利用邏輯判斷函數對研究對象進行逐步參數檢驗，最后通過返回值判別是否產生機械損傷或分類。參數的選擇及先后次序尤為重要，篩選參數應為形態結構和紋理特征的重要構成因子。根據玉米籽粒的機械損傷類型和圖像提取特征分析，本研究篩選參數及次序為面積、最短費特雷直徑、最大費特雷直徑、平均梯度，其閾值分別為[91.46,∞)、[4.23,∞)、[5.75,∞)、[5.8,8.7]。如果某一參數特征值在閾值范圍內，則進行下一參數的篩選，否則直接定義為機械損傷籽粒，依次循環，直至得到返回值。將正常與機械損傷樣本返回值分別編碼為1和-1，逐步剔除模型的邏輯關系如圖9所示。

圖9 逐步剔除邏輯關系Fig.9 Stepwise elimination logical relationships

2.3.3 模型驗證 對構建集和驗證集的樣本利用判別分析模型和逐步剔除模型進行檢測，試驗結果如表7所示。

由表7可知，判別分析和逐步剔除的平均準確率分別為93.00%和85.67%，平均誤判數分別為6.5粒和13.5粒，表明判別分析模型優于逐步剔除模型，這可能是由于籽粒結構差異較大，逐步剔除分析時受閾值限制，個別極限特征籽粒會被直接歸為機械損傷，而判別分析是綜合所有因子共同作用的結果，但整體識別率均高于85%。2種模型在構建集和驗證集的準確率較為接近，其差值分別為2.00%和3.33%，說明所建的識別模型穩定、有效，可用于玉米籽粒自動損傷判別。

表7 2種玉米籽粒機械損傷識別模型試驗結果Table 7 Experimental results of mechanical damage identification model for two kinds of maize grains

3 討論

圖像分割是目標提取和分析的關鍵步驟，由于應用場景、對象等差異，分割方法選擇尤為重要。研究表明，閾值分割法具有計算簡單、運算效率高等優點，但極易受圖像噪聲影響，邊緣檢測分割法在噪聲抑制和邊緣檢測之間取得了很好的平衡，但適用于有明顯邊緣的圖像[15,29]。本試驗通過灰度法、色度閾值法、色彩恢復的多尺度Retinex法、基于卷積的Sobel法對玉米籽粒進行區域分割，并以二值化圖像熵、均方誤差、峰值信噪比、平均梯度為評價指標，能更好地量化圖像分割質量。本研究結果表明，色彩恢復的多尺度Retinex法得到的二值化圖像輪廓清晰、連續、完整，與陳進等[15]的研究結論一致，說明該方法能夠有效校正光照不均勻，在提取對象外形輪廓中效果較好；而基于卷積的Sobel法具有噪聲低、紋理清晰、信息量大等優點，其玉米籽粒的二值化圖像熵和平均梯度值是其他3種方法的兩倍以上，因此，更適用于分析圖像細節。

確定二值化圖像特征閾值是分類的主要步驟，通過差異性統計，選取有明顯區別的特征指標進行判別[19,24]。本研究以95%置信區間法和相關系數法得到了單形態指標正常與機械損傷樣本的最優閾值和各形態指標對判別是否產生機械損傷的貢獻程度，這對建立損傷判別模型至關重要。目前也有文獻報道[12，20]采用流形學習算法、神經網絡等對農產品損傷進行快速檢測，主要采用主成分分析法對圖像數據進行降維處理，尋求數據的內在規律，但計算復雜度高，需要大量樣本數量才能構建穩健的映射關系，阻礙了其在實際農產品分類中的應用。袁瑞瑞等[30]利用最小二乘判別分析法建立的損傷長棗識別模型準確率為96.67%，本研究根據二值化圖像特征構建的判別數學模型平均準確率在90%左右，說明該方法能有效提供分類，玉米損傷識別準確率較低，原因可能是樣本數量較少，圖像特征值不夠豐富，下一步將針對圖像獲取環境和判據參數的優化開展研究，并開發分類執行機構，提高實際生產意義。

4 結論

本研究采用多種圖像分割技術對玉米籽粒進行區域分割和二值化處理，發現基于卷積的Sobel法在分析表面細節時優勢明顯，而色彩恢復的多尺度Retinex法能夠提取完整、清晰的輪廓信息，更適用于雜質判別或定位標記；基于權重系數得到了形態指標對判別玉米籽粒損傷的影響次序，但指標間存在一定關聯性，因此，不能僅依靠單一指標進行判別；建立的多元線性玉米籽粒損傷判別模型準確率為93%，該方法滿足玉米考種或種子品質檢測要求，能夠避免人工目測產生的檢測疲勞、主觀因素多、費時等問題。但由于品種間形態的差異，該模型不具有通用性，下一步將針對判別模型的參數優化開展研究。