應用機器視覺的鞋面數量統計與尺寸測量

景軍鋒， 謝 佳， 李鵬飛， 張 蕾， 張宏偉

(西安工程大學 電子信息學院， 陜西 西安 710048)

應用機器視覺的鞋面數量統計與尺寸測量

景軍鋒， 謝 佳， 李鵬飛， 張 蕾， 張宏偉

(西安工程大學 電子信息學院， 陜西 西安 710048)

針對鞋面數量統計和尺寸測量過程中人工檢測方法效率低、成本高的問題，提出利用機器視覺的鞋面數量統計與尺寸測量方法。采用基于邊緣方向的模板匹配算法對鞋面進行數量統計。運用最小外接矩形(MER)算法對鞋面進行尺寸測量。為驗證方法的可靠性，對3種鞋面分別在光照變化、混亂和遮擋條件下進行了檢測實驗，并與絕對誤差和算法、歸一化相關系數法和Hausdorff距離匹配算法的檢測結果進行對比。將MER測量結果和人工測量結果進行對比，結果表明：基于邊緣方向的模板匹配算法在復雜環境下的魯棒性更高，可完成鞋面數量統計；MER方法和人工測量的相對誤差在0.67%以內，滿足工業生產中的實際需求。

鞋面數量； 鞋面尺寸； 邊緣方向； 最小外接矩形算法

目前，國內制鞋企業的生產效率明顯落后于發達國家[1]，一些手工操作的生產程序直接影響生產效率，其中在鞋面檢測環節，需要人工來完成鞋面的數量統計和尺寸測量，存在勞動強度大、速度慢、人力成本高等問題，降低了企業的市場競爭力。為此，提出運用機器視覺的方法完成鞋面數量統計和尺寸測量。

在傳統鞋面計數方法中，鞋面數量為生產的面料長度與每只鞋高度的比值，本文研究采用模版匹配算法進行鞋面定位，完成數量統計，不僅可適應鞋面復雜的生產環境，如光照變化、混亂和遮擋情況，進行同步計數，還可根據匹配分值大小統計鞋面合格品與次品個數。常用的絕對誤差和(SAD)算法[2]、誤差平方和(SSD)算法[3]以模版圖像和待搜索圖像的灰度值之差作為相似度量，在光照穩定的情況下匹配效果良好，一旦光照發生變化，其返回值很大。歸一化相關系數(NCC)法[4]是對以上2種算法的改進，適應了線性變化的光照，但對噪聲十分敏感[5]。文獻[6]提出基于2個點集之間的Hausdorff距離匹配算法，該算法主要是計算模板邊緣點與待搜索圖像邊緣點二者之間的最大距離，如果圖像中存在遮擋和混亂情況則會影響匹配結果[7]。Steger[8]提出的基于邊緣方向的模板匹配算法可解決光照變化、混亂和遮擋這些問題帶來的影響。采用基于機器視覺的非接觸式測量方法完成鞋面尺寸測量。苑瑋琦等[9]利用矩實現植物葉片長寬的測量，但是計算量過大。李洋等[10]提出一種快速提取植物葉片最小外接矩形(MER)算法，可快速精確地提取出目標最小外接矩形完成尺寸測量。本文采用基于邊緣方向的模板匹配算法進行匹配，完成鞋面數量統計，并且與SAD、NCC、Hausdorff距離算法進行了對比；采用最小外接矩形算法測量鞋面尺寸，與人工測量結果進行了驗證。結果表明，采用機器視覺的方法可代替人工完成鞋面的數量統計和尺寸測量。

1 鞋面檢測系統

鞋面檢測系統主要由檢測臺、光源、CCD相機、計算機組成。鞋面檢測系統如圖1所示。將待測鞋面平鋪于檢測臺上，檢測臺上方安裝光源，通過CCD相機采集鞋面圖像，傳入計算機中進行算法處理獲得鞋面數量和鞋面尺寸。

圖1 鞋面檢測系統圖Fig.1 Detection system map

2 鞋面數量統計

2.1基于邊緣方向的模板匹配算法

基于邊緣方向的模板匹配算法分為創建模版階段和圖像匹配階段，采用索貝爾(Sobel)算子獲得圖像的方向梯度，然后利用模板圖像與待搜索圖像對應邊緣點的梯度方向向量點積之和作為相似度量函數進行匹配定位。算法流程圖如圖2所示。

圖2 基于邊緣方向的模板匹配算法流程圖Fig.2 Flow chart of template matching algorithm based on edge direction

2.1.1模板創建

將模板對象定義為由點集構成的圖像，采用Sobel算子求取點集對應的方向梯度，其中點集為pi(xi,yi)T(i=1,2,…,n)，方向梯度為di=(ti,ui)T(i=1,2,…,n)，本文的模板圖像為標準的鞋面圖像。圖3示出模版圖像通過Sobel算子獲得的梯度圖像。

圖3 Sobel算子獲取模版圖像梯度Fig.3 Template image gradient obtained using Sobel operator. (a) Template image；(b) Gradient map of template image

2.1.2圖像匹配

同樣，采用Sobel算子獲得待搜索圖像中每個點(x,y)對應的方向梯度ex,y=(vx,y,wx,y)T。圖4示出Sobel算子獲取待搜索圖像梯度。

圖4 Sobel算子獲取待搜索圖像梯度Fig.4 Searched image gradient obtained using Sobel operator. (a) Searched image；(b) Gradient map of searched image

以模版圖像上邊緣點與待搜索圖像上相對應邊緣點方向向量點積之和的平均值作為相似度量函數。在待搜索圖像中某點q(x,y)T處，其相似度量為

2.2結果與分析

為實際評估算法在鞋面檢測中的表現情況，采用分辨率為2 592像素×1 944像素的acA2500-14gm型BASLER面陣相機作為圖像采集設備，分別在光照變化、混亂及遮擋條件下對3種鞋面各采集100張圖像，分組進行鞋面數量統計實驗，鞋面圖像大小為1 024像素×1 024像素。3種鞋面樣本如圖5所示。

圖5 3種鞋面樣本Fig.5 Three vamps samples. (a) Vamp sample 1； (b) Vamp sample 2；(c) Vamp sample 3

2.2.1光照變化

采用照度為100 Lux的條形光源，3種鞋面各采集100張圖像進行匹配。圖6示出運用本文算法對3種鞋面匹配的部分結果。

注：圖中從左至右依次為相機曝光時間3 000、6 000、9 000 μs，以及使用條形LED光源作為外界光源，模擬不均勻光照條 件下采集的圖像，矩形框即為匹配到的鞋面目標。圖6 3種鞋面在光照變化下的部分匹配結果Fig.6 Some matching results of three vamps under change of illumination.(a) Vamp sample 1；(b) Vamp sample 2； (c) Vamp sample 3

表1示出在光照變化條件下采用SAD、NCC、Hausdorff距離以及本文算法的匹配結果。

表1 光照變換下4種算法的匹配結果Tab. 1 Matching results of four algorithms under change of illumination

SAD算法計算模版圖像與待搜索圖像之間的灰度差，當光照發生變化時會引起灰度值的變化，使得返回值較大，影響匹配結果，且SAD算法不適應非線性的光照變化，故而識別率低；當最小分值Smin為0.3時，采用NCC算法的識別率為85%，光照的變化使得灰度值會相應地變大或變小，不管所有的灰度值變大或變小與它們的均值作差后，差值會比較小，再除以單位方差，這樣就對圖像的亮度等級變化很不敏感，所以NCC算法的識別率高于SAD算法；Hausdorff距離匹配算法的識別率為94%，匹配效果良好。本文算法可準確匹配300張圖像，識別率為100%，由于基于邊緣方向的模版匹配算法進行了歸一化處理，故不受光照變化的影響。

2.2.2混亂情況處理

鞋面生產環境中難免會出現噪聲和其他方式的干擾，這些通常稱為混亂。噪聲的產生可能是由于圖像采集設備、傳輸過程等原因導致的，噪聲的產生是隨機的；干擾則是因為外界工作環境產生的，比如振動，算法的魯棒性在一定程度上體現在抗噪聲和抗干擾能力上[12]。設置曝光時間為6 000 μs，圖7示出在混亂情況下，采用本文算法匹配3種鞋面的部分結果圖。

注：圖中從左到右依次為采用本文算法對相機視場范圍內 模擬操作工可能進行的人為手動干擾的匹配結果。圖7 3種鞋面在混亂情況下的部分匹配結果Fig.7 Some matching results of three vamps in clutter. (a) Vamp sample 1；(b) Vamp sample 2； (c) Vamp sample 3

表2示出在混亂情況下采用4種算法對鞋面識別定位的結果。由表可知：采用SAD算法的識別率最低為39%；當最小分值Smin為0.3時，NCC算法的識別率為72%。原因是噪聲會掩蓋相關峰值，導致識別率下降；Hausdorff距離算法的識別率為88%，混亂會使得點與點之間的距離產生偏差；本文算法可很好地匹配到鞋面目標，識別率為100%，這是因為如果待搜索圖像中某個特征消失，噪聲會產生隨機的方向向量，這些方向向量平均起來并不會對相似度量函數產生影響，所以具有很好的抗干擾性。

表2 混亂情況下4種算法的匹配結果Tab.2 Matching of four algorithms under clutter

2.2.3遮擋情況處理

在工業生產環境中會出現鞋面被部分遮擋的情況，此時也要求能定位到目標。設置曝光時間為6 000 μs，對3種鞋面進行遮擋處理，遮擋面積不超過鞋面面積的30%，各采集100張圖像進行匹配測試。圖8示出3種鞋面樣本在遮擋情況下的部分匹配結果。

注：圖中從左到右依次為采用本文算法對100 mm×80 mm的 白色紙片遍歷鞋面輪廓1周的匹配結果。圖8 3種鞋面樣本在遮擋情況下的部分匹配結果Fig.8 Some matching results of three vamps in occlusion. (a) Vamp sample 1； (b) Vamp sample 2；(c) Vamp sample 3

表3示出在遮擋情況下4種算法對鞋面識別定位的結果。在30%以內遮擋情況下，SAD算法的識別率為34%；最小分值Smin為0.3時，NCC算法的識別率為76%；Hausdorff距離算法識別率為93%，Hausdorff距離由2個距離最大值決定，為得到低的總距離，必須保證模板邊緣點與圖像邊緣點二者之間的距離非常接近，因此圖像中的遮擋會影響匹配結果；采用本文算法可有效地定位鞋面，識別率為100%，遮擋會導致待搜索圖像某些特征值消失，但是并不會對總和產生貢獻值，所以匹配效果良好。

表3 遮擋情況下4種算法的匹配結果Tab. 3 Matching results of four algorithms under occlusion

采用4種算法分別匹配不同環境下的鞋面，實驗結果表明，不論是在光照變化、混亂，還是遮擋的情況下，采用基于邊緣方向的模板匹配算法均可有效地定位到目標鞋面，從而完成鞋面的數量統計。

3 鞋面尺寸測量

3.1用MER算法測量鞋面尺寸

定位到鞋面后，采用Canny算子獲取鞋面輪廓，用基于平面掃描法的Graham算法構造鞋面凸包[13]。一個凸多邊形的最小外接矩形必定經過這個凸多邊形的一條邊，遍歷鞋面輪廓凸包上的每條邊，以該邊構造矩形，計算該矩形的面積，比較得出的所有矩形面積，面積最小時確定其為該鞋面的MER，此時MER的長和寬即為鞋面的長和寬。圖9示出鞋面進行MER提取的各階段檢測結果。

圖9 提取鞋面最小外接矩形Fig.9 Extraction of vamp minimum enclosing rectangle. (a) Vamp; (b) Results of edge detection; (c) Convex hull of vamp; (d) Result of minimum enclosing rectangle

3.2實驗結果及數據分析

采用靜態測量，相機與檢測臺的距離為2 m，視場范圍為400 mm×300 mm，確?？刹杉揭粋€完整的鞋面圖像，將鞋面平鋪于檢測臺上，鞋面的長邊對應于視場長邊，通過2.1小節方法進行鞋面的尺寸測量。為得到鞋面的真實尺寸，將以像素為單位的尺寸轉換為空間中的物理尺寸[14]，計算公式如下。

l=n×d

(3)

式中：d為單位像素所代表的實際距離大小，可由物理空間的實際距離與圖像像素距離對應比例關系得到，即d=400 mm/2 592像素=0.154 mm/像素；n為總的像素個數；l為鞋面物理尺寸。

在相同環境條件下，對10個鞋面樣本分別采用手工方法和MER方法進行測量，求出測量結果的相對誤差，更能反映測量的可信程度。采用的相對誤差公式為

表4示出采用2種方法對鞋面長和寬的測量結果。從表可看出，MER和手工方法測量鞋面的長和寬的平均測量誤差為0.37%和0.47%，最大相對誤差為0.67%，出現在鞋面樣本6的寬度測量時，其誤差為280 mm-278.18 mm=1.88 mm，小于實際誤差范圍2 mm。由表4中結果還可知，MER測量值與手工測量值很接近，充分說明該計算方法是可行的，有較高的準確率，可代替人工完成鞋面尺寸的測量，解決人力成本高、測量誤差大的問題。

表4 鞋面長和寬測量結果Tab.4 Measure results of length and width of vamps

4 結 語

本文提出將機器視覺運用到鞋面檢測中，代替人工完成鞋面數量統計和尺寸測量。通過對比不同環境下4種算法測試的結果表明，采用基于邊緣方向的模板匹配方法可有效地適應鞋面生產環境中光照變化、混亂和遮擋的影響，準確定位，完成鞋面數量統計；采用最小外接矩形算法測量鞋面的尺寸，和手工測量方法進行了驗證，最大相對誤差為0.67%，滿足實際生產中鞋面尺寸的測量要求。在鞋面實際生產中需要實時采集與處理，所以算法的實時性將是下一步的研究方向。

FZXB

[1] 郝根旺. 基于機器人的制鞋成型過程智能控制策略設計[D]. 大連：大連理工大學，2014:1-2.

HAO Genwang. The design of intelligent control strategy for shoemaking assembly process based on robot[D]. Dalian：Dalian University of Technology, 2014：1-2.

[2] NGUYEN V A, TAN Y P. Efficient block-matching motion estimation based on integral frame attributes[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(3)：375-385.

[3] NICKELS K, HUTCHINSON S. Estimating uncertainty in SSD based feature tracking[J]. Image & Vision Computing, 2002, 20(1)：47-58.

[4] HANEDECK U D. Template matching using fast normalized cross correlation[J]. Aerospace/defense Sensing, Simulation & Controls, 2001, 4387：95-102.

[5] ZHANG B, YANG H, YIN Z. A region-based normalized cross correlation algorithm for the vision-based positioning of elongated IC chips[J]. IEEE Transactions on Semiconductor Manufacturing, 2015, 28(3)：345-352.

[6] RYCKLIDGE W J. Efficiently locating objects using the Hausdorff distance[J]. International Journal of Computer Vision, 1997, 24(3)：457-464.

[7] STEGER C, ULRICH M, WIEDEMANN C. Machine Vision Algorithms and Applications[M]. Weinheim：Wiley-VCH, 2008：321-343.

[8] STEGER C. Similarity measures for occlusion, clutter, and illumination invariant object recognition[J]. Lecture Notes in Computer Science, 2001, 2191：148-154.

[9] 苑瑋琦，胡迪. 利用矩實現植物葉片長寬的測量[J]. 計算機工程與應用，2013，49(16)：188-191.

YUAN Weiqi，HU Di. Measurement of leaf blade length and width based on moment[J]. Computer Engineering and Applications，2013，49(16)：188-191.

[10] 李洋，李岳陽. 一種快速提取植物葉片最小外接矩形的算法[J].江南大學學報(自然科學版)，2015，14(3)：273-277.

LI Yang, LI Yueyang. Fast algorithm for extracting minimum enclosing rectangle of plant leaves[J]. Journal of Jiangnan University(Natural Science Edition), 2015, 14(3)：273-277.

[11] 趙振民，彭國華，符立梅. 基于形狀模板的快速高精度可靠圖像匹配[J]. 計算機應用，2010，30(2)：441-444.

ZHAO Zhenmin, PENG Guohua, FU Limei. Fast high-precision reliable image matching algorithm based on shape[J]. Journal of Computer Applications, 2010, 30(2)：441-444.

[12] 吳曉軍，鄒光華. 基于邊緣幾何特征的高性能模板匹配算法[J]. 儀器儀表學報，2013，34(7)：1462-1469.

WU Xiaojun, ZOU Guanghua. High performance template matching algorithm based on edge geometric features[J]. Chinese Journal of Scientific Instrument, 2013, 34(7)：1462-1469.

[13] 劉宏兵，鄔長安，周文勇. 基于二維凸包的TSP算法[J].計算機工程與設計，2009，30(8)：1954-1956.

LIU Hongbing, WU Changan, ZHOU Wenyong. TSP algorithm based on two dimensional convex hull[J]. Computer Engineering and Design, 2009, 30(8)： 1954-1956.

[14] PATIL S B, BODHE S K. Betel leaf area measurement using image processing[J]. International Journal on Computer Science and Engineering, 2011, 3(7)：2656-2660.

Quantitystatisticsandsizemeasurementofvampsbasedonmachinevision

JING Junfeng， XIE Jia， LI Pengfei， ZHANG Lei， ZHANG Hongwei

(SchoolofElectronicandInformation，Xi′anPolytechnicUniversity，Xi′an，Shaanxi710048，China)

Focusing on the problems of low efficiency and high cost of artificial detection in vamps statistics and size measurement, a machine vision method of counting and measuring vamps was presented. The template matching algorithm based on the edge direction to complete quantity statistics of vamps was used. The minimum enclosing rectangle algorithm measured the size of vamps was employed. To verify the reliability of the proposed method, three kinds of vamps were detected in illumination changes, clutter and occlusion, and the results were compared with sum of absolute differences, normalized cross correlation and Hausdorff distance matching algorithm. The measurement results of minimum enclosing rectangle algorithm were compared with the manual test. The experimental results demonstrate that template matching algorithm based on the edge direction is more robust in complex environment, and it can finish the quantity statistics of vamps. The relative error between the minimum enclosing rectangle method and the artificial measurement is smaller than 0.67%, which meets the actual needs of industrial production.

vamp quantity; vamp size; edge direction; minimum enclosing rectangle algorithm

10.13475/j.fzxb.20161203906

TS 101.9

A

2016-12-23

2017-08-10

國家自然科學基金項目(61301276)；陜西省重點研發計劃項目(2017GY-003)；陜西省工業科技攻關項目(2015GY034)；西安工程大學研究生創新基金項目(CX201730)

景軍鋒(1978—)，男，副教授，博士。主要研究方向為機器視覺與圖像處理。E-mail:413066458@qq.com。