山核桃圖像頭尾檢測方法

張塔烺，應宏微，邱雪娜，徐迪凱，戴志闊

(寧波工程學院電信學院 315211)

2017-07-08

張塔烺，男，1993年生，助理工程師。

*通訊作者：應宏微，男，1979年生，講師

(E-mail：yinghongwei@163.com)。

浙江省寧波市自然科學基金(2013A610113)；國家級大學生創新創業訓練計劃(201511058001)。

山核桃圖像頭尾檢測方法

張塔烺，應宏微*，邱雪娜，徐迪凱，戴志闊

(寧波工程學院電信學院 315211)

為了將山核桃擊壓姿態調整至最佳，以提高手剝山核桃的碎殼品質，提出了一種基于機器視覺與山核桃圖像特征的山核桃頭尾檢測方法。運用數學形態學等方法，提取山核桃圖像的外輪廓、紋理、大小等特征，結合山核桃的幾何尺寸與紋理分布建立數學模型，進行山核桃頭尾位置的檢測，從而得到姿態調整的角度，為后期自動化擊壓加工山核桃提供了便利。

山核桃；機器視覺；圖像處理

山核桃又稱小核桃，其堅果種仁富含脂肪、蛋白質及大量人體必需礦質元素，風味獨特，深受消費者喜愛，是我國南方重要的特色干果和木本油料樹種，在全國范圍內具有廣泛的知名度[1]。在各類山核桃產品中，手剝系列的山核桃由于食用方便占據了市場一半以上的份額，但品質尚未達到消費者滿意的程度。目前手剝的工序主要由機械擊打式或擠壓式碎殼機實現，但有些手剝山核桃未被有效碎殼，還是需要借助工具才能打開，有些山核桃被擊打過碎造成折損率過高。而造成這些情況的主要原因就是山核桃碎殼工藝一直沒有太大的進步。

山核桃雖然個體大小存在差異，但內部的構造卻較為一致，如圖1所示，從果頂一直延伸到果尾共有4個支柱，每2個支柱夾著一片核桃仁。要想得到真正意義上的手剝品質，必須把這4根支柱進行壓碎。但傳統碎殼機在擊壓方位、距離和力度上隨機性較大，難以精確調整，導致碎殼效果的隨機性，而碎殼的優劣情況直接影響到成品山核桃的折損率與手剝品質[2]。

圖1 山核桃內部結構圖

根據經驗，山核桃最佳擊壓位置位于頭尾兩端，對這兩個固定位置進行擊壓，就可以在保證低折損率的前提下大幅度提高山核桃的手剝品質。但是，目前的山核桃擊壓機械中，并沒有有效的姿態自動調整方法，而是任意角度的擊壓，因此造成了市場上山核桃手剝品質普遍不高的現象。基于以上問題，本文提出了一種基于機器視覺的山核桃頭尾檢測方法。采用CCD相機獲取山核桃的數字圖像[3]，在對山核桃形狀及紋理進行大量統計分析的基礎上，通過數學形態學的方法，提取山核桃圖像的外輪廓、紋理、大小等特征[4]，結合山核桃的幾何尺寸與紋理分布建立數學模型，檢測出山核桃頭尾的位置，為后期山核桃的自動姿態調整提供依據。

1 山核桃特征提取

1.1圖像采集及預處理

試驗所使用的山核桃樣本由浙江省臨安市南陽炒貨食品有限公司提供，其果徑范圍1.80～2.20 cm。山核桃的圖像采集在一個安裝有圓環形LED燈帶、背景為白色的區域內進行。首次采樣時，調整攝像頭的教具和樣品位置，使采集到的圖像達到最佳的清晰度。固定相關參數，以便后續圖像采集，并將采集到的圖像數據通過USB接口傳送到計算機。

對獲取的原始彩色圖像進行灰度變換，得到原始圖片的灰度圖，如(1)式所示：

I=0.3·B+0.59·G+0.11·R

(1)

(1)式中，B、G、R分別表示彩色圖像的藍色、綠色、紅色分量，I表示對應的灰度值。將灰度圖像進行平滑濾波，去除圖像中的噪點，避免對后繼處理造成干擾。平滑濾波的方法具體采用高斯濾波[5]，高斯濾波的核采用標準差為1.0的整數高斯核，與I做卷積運算后產生濾波后的圖像I′， 如(2)式所示：

(2)

灰度化及平滑濾波效果如圖2所示。

1.2外輪廓及紋理特征提取

得到濾波后的灰度圖像后，采用一階微分(Prewitt算子)進行變換[6]，得到如圖3a所示的山核桃圖像，突出山核桃的邊緣信息。接著采用遞歸二值化操作，得到二值化后的山核桃邊緣圖像，邊緣為黑色，非邊緣為白色，如圖3b所示。對二值化圖像選擇最大連通域[7]，去掉二值化圖像中較小的區域，只剩下山核桃區域的二值化信息，然后進行數學形態學上的閉合操作，可填充山核桃區域內較小的孔隙，如(3)式所示：

圖3 山核桃圖像的分割

A·B=(A⊕B)ΘB

(3)

(3)式中，“·”表示二值化圖像A與結構算子B的閉合元算，“⊕”表示膨脹運算，“Θ”表示腐蝕運算，本文中結構算子B選取為5個像素的十字形結構。填充閉合運算后的山核桃區域二值圖像，得到如圖3c所示的圖像，黑色部分為完整的山核桃區域，白色部分為背景區域。將該圖像作為模板，從原始灰度圖像中提取山核桃目標，得到不含背景的山核桃灰度圖，如圖3d所示，其仍然保留了原始圖像的紋理、輪廓和大小等信息。然后，掃描山核桃的無背景灰度圖，如圖4a所示。將背景和山核桃交界處的像素置為黑色，其他置為白色，提取出山核桃的外輪廓，如圖4b所示。

圖4 山核桃外輪廓和紋理圖的提取

將無背景的原始灰度圖像進行高斯濾波，去除噪點，再利用Sobel算子進行邊緣檢測[5]，接著進行遞歸二值化，得到二值化邊緣圖像，采用連通面積大于閾值的方法除去細小邊緣的干擾，得到干凈、穩定的山核桃紋理圖像，如圖4c所示。

2 山核桃頭尾檢測算法

分析山核桃的圖像特征，首先從形狀上來看，山核桃呈堅果卵形或廣橢圓形。果尾圓滑，果頂尖銳，果頭較其他部位有明顯的凸起；其次從紋理上來看，整體的紋理呈紡錘形，集中于果頭和果尾。在果頭附近大而粗；在果尾附近紋理細而密，而且其尾部果蒂周圍的顏色明顯比周圍更深。

根據前述，在提取出山核桃圖像的紋理、外輪廓等特征的基礎上，可進行果頭果尾的檢測，根據果頭果尾在圖像中的坐標，可計算出將要調整的角度。具體過程如圖5的流程圖所示。

圖5 頭尾檢測算法流程圖

對于外輪廓凸點明顯的情況，采用凸點檢測得到山核桃的頭部位置，然后根據其中心點坐標和頭部坐標計算出調整角度；對于外輪廓凸點不明顯的情況，采用紋理檢測近似得到山核桃的頭部位置，同樣可以計算出調整角度。

2.1外輪廓凸點檢測

得到輪廓圖后，首先檢測該輪廓是否存在凸起，具體步驟：

根據(4)式求出山核桃的中心：

(4)

式中，n為圖像外輪廓像素點數，xi、yi表示外輪廓各像素點的坐標，x0、y0表示山核桃的中心坐標，如圖6a所示。

從最左下角外輪廓的像素點開始，順時針進行邊界跟蹤，每隔3個像素點進行采樣，得到每個采樣點的坐標。根據采樣得到的坐標點依次按(5)式求得各個斜率，按(6)式求得各斜率差值。

(5)

(6)

式中ki為每個采樣點的斜率；Di為每個采樣點的斜率與后一采樣點斜率的差值。當外輪廓存在凸起時，由圖6c可知，該折線圖中存在一個較大的波峰。利用該特性，得到差值最大的采樣點坐標就是該凸起的位置，也就是該山核桃的果頂位置，如圖6b所示。根據中心點和凸點的坐標，從(7)式，就可以得到姿態調整的角度。

(7)

圖6 外輪廓凸點檢測頭尾點

2.2紋理檢測

對于外輪廓凸點不明顯，難以直接得到果頭位置的情況，可采用紋理檢測的方法近似得到果頭的坐標。根據觀察，在均勻光照下，山核桃表面的紋理具有對稱性，而且分布呈現規則的紡錘形，集中于果頂和果尾，如圖7a所示。這個規律是分析紋理的重要信息，它是利用紋理信息進行調整角度求解的基礎。

圖7 紋理檢測頭尾點

對中心點(x0,y0)建立穿過該中心點的備選直線方程，如(8)式所示，作為中心軸方程族，k為斜率。

y-y0=k(x-x0)

(8)

固定k，依次求出對稱軸兩側的紋理目標點數和Sl和Sr，最后得到對稱軸兩側目標點數值。

當對稱軸越接近實際對稱的角度時，Sl和Sr的差值D越小，當D最小時，對稱軸最接近于實際的對稱軸，記此時的k等于最優的kopt，則對稱軸方程為y-y0=kopt(x-x0)，如圖7b所示。根據該對稱軸方程，就可以得到姿態調整的角度。對稱軸的兩個端點即是山核桃的頭尾端。

3 結果與分析

通過對隨機選取的40顆山核桃樣本進行機器檢測和人工實測發現：當拍攝的照片中既存在果頭又存在果尾時，自動計算出的角度與實際角度最為接近；當圖像中只存在果頭時，所得到的調整角度與實際偏差最大在2°左右；當圖像中只存在果尾時，由本算法計算出的調整角度與實際偏差最大在10°左右。傳統人工碎殼的實際最大角度偏差基本在±15°左右[8-9]。因此，本文所提出的頭尾檢測算法，其偏差對碎殼品質的影響甚小，在碎殼工藝中完全處于可接受范圍之內。

在后續的研究中，應結合姿態調整的機械結構進行合理優化，提高處理效率和可靠性，在保證效率的前提下，大幅度提高手剝山核桃品質，以此滿足山核桃加工行業的需求。

[1]常君,任華東,姚小華,等.山核桃不同無性系果實性狀及營養成分分析[J].林業科學研究, 2017,30(1) :166-173.

[2]劉明政,李長河,張彥彬,等.柔性帶差速擠壓核桃脫殼性能試驗[J].農業機械學報,2016,47(9):99-107.

[3]MARSHALL G.Choosing A Frame Grabber For Performance & Profitability[EB/OL].(2017-05-20).http://www.imagenation.com/white_papers.html WhitePaper_5,1997/2017-1-25.

[4]HONGWEI YING,JIATAO SONG,JINHE WANG, et al.Reseach on Feature Points Extraction Method for Binary Multiscale and Rotation Invariant Local Feature Descriptor[J].ICTACT Journal on Image and Video Processing:Special Issue on Video Processing for Mulimedia Systems,2014,5(1):873-878.

[5]姚敏.數字圖像處理[M].北京:機械工業出版社,2006:225-261.

[6]夏德深,傅德勝.現代圖像處理技術與應用[M].南京:東南大學出版社,2001:80-100.

[7]SALEMBIER P,SERRA J.Flat Zones Filtering,Connected Operator and Filters by Reconstruction [J].IEEE Transactions on Image Processing,1995,4(8):1153-1160.

[8]曹樂平,溫芝元.補償模糊神經網絡水果形狀分級器分級誤差[J].農業工程學報,2008,24(12): 102-106.

[9]饒秀勤,應義斌.基于機器視覺的水果尺寸檢測誤差分析[J].農業工程學報,2003,19(1):121-123.

ImageinspectionforheadandtailofCaryacathayensis

ZHANG Ta-lang, YING Hong-wei*, QIU Xue-na, XU Di-kai, DAI Zhi-kuo

(CollegeofElectronicandInformationEngineering,NingboUniversityofTechnology,ZhejiangProvince315211)

A detection way for head and tail ofCaryacathayensisbased on the machine vision and image characteristics were proposed in order to adjust the best position for crumbling and improve the shell crumbling quality ofCaryacathayensisduring artificial processing. On the basis of mathematical morphology, the characteristics ofCaryacathayensis, such as shape, texture, size, were established firstly, and a mathematics model was built according to the size and texture ofCaryacathayensis; then the head and tail ofCaryacathayensiswere detected, and the suitable position for shell crumbling was determined to provide reference for the automatic shell remove ofCaryacathayensisin future.

Caryacathayensis; machine vision; image processing

10.13651/j.cnki.fjnykj.2017.07.011

(責任編輯：黃金澤)