基于Harris-SIFT算法的縫料視覺定位系統

吳元偉，朱建公，廖 璇，周 軍，廖曉波

(1.西南科技大學 制造過程測試技術省部共建教育部重點實驗室，四川 綿陽 621010；2.綿陽逢研科技有限公司，四川 綿陽 621010)

0 引言

隨著人們生活水平的不斷提高，縫制行業極具前景，但行業競爭也日趨白熱化，如何提高生產效率與縫制質量成為行業發展的主要方向[1]。隨著工業縫紉機的問世，縫制速度與縫制效率迅速提高；然而，目前縫制工藝中縫制時間僅占比21%，大量時間消耗在人工取料、送料和定位等操作上，大大降低了縫制的效率[2]。為了提高縫制行業自動化和智能化程度，必須采用工業機器手來代替人工取料、送料和定位操作；但是工業機器手在操作過程中，大都采用人工編程或者示教的方法進行操作，限制了其應用場景。因此，本文通過給工業機器手增加視覺系統來實現對縫料的姿態識別和定位，從而推動縫制行業的自動化、智能化發展。

圖像特征提取是圖像識別定位的前提，圖像特征包括顏色、紋理、形狀以及局部特征點等。局部特征點具有很好的穩定性，且不容易受外界環境的干擾，因此在目標識別定位中得到了廣泛的應用。SIFT算法(尺度不變特征變換)由Lowe[3-4]于1999年發表，并在2004年完善。SIFT算子通過構建差分金字塔和為特征點構建128維向量的方式，使得SIFT特征描述子不受角度旋轉和尺度縮放影響，并且對于外界環境的亮度變化、拍攝視角變化和噪聲都有一定的穩定性，因此SIFT算法一經問世便獲得廣泛關注與應用[5-6]。李鵬飛[7]利用SIFT算法去除掉一些無用點后使用Forstner算法獲得縫料尺寸與位置。董煜文[8]將SIFT 算法和Graham算法結合，在獲取目標圖像匹配點集的凸包后，利用最小外接矩形和比例變換找到衣架指夾在圖像中的位置。SIFT算法由于匹配精度高和環境適應性強等優點取得了廣泛的應用，但是算法存在運算量大、速度低、實時性不強等問題。針對上述問題，許多學者從減少特征點數量和描述子維度的方向進行研究。Y.Ke[9]在2004年提出的PCA-SIFT算法中，利用主元分析法代替了SIFT算子中的直方圖法，使得算法描述子維度從128維降至20維，提高了算法的運算速度。Herbert[10]于2006年提出的SURF算法利用Hessian矩陣行列式的近似值圖像代替SITF算法的DOG金字塔，雖然犧牲了一部分精度，但速度提升了2～3倍。曹霞等人[11]首先提取蕾絲花邊的紋理特征和形狀特征，然后與SURF特征在不同層次進行匹配，提高了檢索速度和準確性。

Harris算子利用自相關函數，通過計算x和y方向的一階曲率來判定角點[12]；Harris算法相比SIFT算法無需構建DOG金字塔，檢測速度快，但其特征點不具備方向、尺度等信息。因此，本文將Harris算子與SIFT算法進行結合，首先在大尺度空間下利用Harris提取特征點，然后將其映射到小尺度空間生成SIFT描述子，并進行特征粗匹配。同時，為消除特征點數量減少而導致的定位精度下降影響，在完成粗匹配后，通過模板匹配的方式提高匹配精度。

1 視覺定位系統搭建與軟件框架設計

縫料視覺定位系統由硬件定位平臺、伺服驅動軟件和圖像處理軟件構成。其中硬件定位平臺由定位機構、伺服電機、攝像頭和光源組成；圖像處理軟件用于提取目標縫料的質心和偏移角度；伺服驅動軟件負責姿態解算和驅動載物臺移動。

1.1 視覺定位硬件平臺

在相機分辨率一定的情況下，相機平面與定位目標的高度決定了圖像識別區域大小與定位精度，因此需要通過伺服電機調整到指定高度；縫料由于其薄片性質可以將其近似看做二維物體。因此，為驗證視覺定位系統準確性，選用如圖1所示的四坐標定位機構，平臺具有x、y、z三軸和繞z軸旋轉的4個高精度伺服電機，伺服電機單點運動精度為0.01 mm，旋轉精度為0.05°。為驅動伺服電機，平臺搭載一套專用的PMAC運動控制板卡。首先，利用圖像處理軟件獲取目標縫料質心位置和角度，并通過平臺配套的上位機軟件進行解析后發送到運動控制板卡驅動伺服電機移動。

圖1 視覺定位硬件平臺

擬定定位縫料尺寸為200*300 mm以內，定位精度為0.2 mm。根據透鏡模型選擇WP-UFV500工業相機，相機分辨率為1 944*2 592，搭配WP-5M0620-C鏡頭，相機安裝在距定位平面410 mm位置。同時，為減少外部環境帶來的干擾，采用維視圖像的100 W可調 LED機器視覺專用光源。

1.2 縫料視覺定位軟件系統

如圖2所示，縫料視覺定位軟件系統包括視覺處理軟件和伺服驅動軟件。其中視覺處理軟件由相機標定[13]、圖像預處理[14]、特征提取[15]和特征匹配[16]組成，主要用于獲取縫料姿態信息；伺服驅動軟件將姿態信息轉換為移動步長與旋轉角度，驅動載物臺和相機移動到合適位置。

圖2 縫料視覺定位系統結構

1.3 相機標定

在圖像測量中，為確定目標物體在圖像坐標系與世界坐標系的對應關系，需要建立成像的幾何模型。建立幾何模型的前提就是獲取相機參數，而獲取參數的過程就是相機標定。因此，在平臺安裝完成后，需要通過相機標定構建多坐標系關系和消除相機畸變[17]，其中多坐標系包括像素坐標系、圖像坐標系、相機坐標系與世界坐標系。像素坐標系到世界坐標系的轉換關系如式(1)：

(1)

其中：像素坐標系坐標為(u,v)，世界坐標系坐標為(X,Y,Z),式中2*2矩陣表示坐標系的平移變換，4*3矩陣則為相機內參矩陣，包含相機焦距、像元尺寸等固定參數。

在相機制造過程中，受到相機鏡片制造和安裝誤差的影響，相機采集的圖像往往會發生彎曲，導致圖像失真，這種失真即是圖像畸變。圖像畸變包括徑向畸變和切向畸變，而切向畸變影響較小，因此一般只需要消除徑向畸變的影響。相比傳統標定算法，張正友標定法只需要一個打印棋盤即可進行標定，標定簡單且精度高，其標定流程如圖3所示。

圖3 張正友標定法流程圖

首先將棋盤圖像張貼在平面上，然后從不同角度拍攝多張圖像，并利用棋盤的角點計算在理想狀態下的相機內外參數，最后通過最小二乘法和極大似然估計得到真實的相機內外參數。標定后得到單個像素對應的實際物理尺寸為0.012 09 mm，標定矩陣如式(2)所示：

(2)

2 圖像處理

2.1 圖像預處理

圖像質量的好壞直接影響算法的效果，因此需要進行圖像預處理。圖像預處理主要是消除無關信息、提高運算速度和增強信息的可檢測性。預處理流程如圖4所示。

圖4 預處理流程

2.1.1 圖像灰度化

本文相機采用的輸出格式為RGB圖像，圖像數據量巨大，若直接進行后續圖像處理，不僅會降低系統實時性，同時也會引入顏色信息干擾系統處理效果。通過灰度變換將其轉換為單通道圖像，可以減少數據量和提高運算速度[18]。灰度化主要有分量法、最大值法、平均值法和加權平均法，其中加權平均法(心理學公式)根據人眼對三基色不同敏感性賦予不同權重，如式(3)所示。

Gray(i,j)=

0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)

(3)

式中，R(i,j)、G(i,j)和B(i,j)代表紅、綠、藍三基色對應通道值。

2.1.2 圖像濾波

由于制造工藝影響，系統圖像在采集、傳輸、存儲過程中往往會被多種噪聲污染。與此同時，外界光源不理想或背景不干凈也會引入圖像噪聲。一般來說，圖像噪聲會對觀測目標進行干擾，噪聲與原圖真實灰度值進行疊加，出現一些與目標圖像整體灰度不相符的明暗干擾點，不僅降低了圖像質量，也會對后續特征提取等工作造成干擾。

為實現對縫料的精準識別與定位，需要在過濾噪聲的同時，能夠很好的保護縫料的邊緣信息。在視覺定位系統中，主要存在高斯噪聲和椒鹽噪聲，其中光源不理想和相機的長期工作導致出現高斯噪聲；圖像傳輸和解碼過程中會出現椒鹽噪聲。

針對系統出現的高斯噪聲和椒鹽噪聲，需要分別進行處理。高斯噪聲是指其噪聲出現的概率密度符合高斯分布，因此可以通過高斯濾波模型將圖像灰度值按照不同權重重新計算，降低噪聲能量。高斯濾波函數如式(4)所示，其中σ為高斯函數的方差。

(4)

椒鹽噪聲往往在灰度圖中表現為獨立的黑白點，與背景或目標物體灰度值差距較大。由于圖像中椒鹽噪聲點比例遠小于圖像總像素點，且椒鹽噪聲一般灰度值為0或者255，可以認為像素鄰域中值點非椒鹽噪聲點。因此，可以通過中值濾波將像素鄰域的中值代替像素點灰度值來去除椒鹽噪聲。中值濾波算法簡單，運算速度快，且不會因為加權而導致邊緣模糊，因此廣泛用于椒鹽噪聲的去除。中值濾波公式如式(5):

y=Mid(x1,x2,…,xn-1,xn)=

(5)

針對圖像中出現椒鹽噪聲和高斯噪聲，需要分別利用中值濾波和高斯濾波進行抑制。首先通過中值濾波消除椒鹽噪聲，選用像素周圍8個像素中值作為像素灰度值，然后通過高斯濾波消除高斯噪聲，其中高斯函數方差σ為1.4，卷積核大小為5*5。

2.1.3 閾值分割

圖像濾波完成后，為進一步減少圖像處理的數據量和提取圖像的感興趣部分，需要對圖像進行閾值分割(二值化)。由大津提出的最大類間方差法(大津算法)被認為是閾值分割的最佳算法。大津算法根據圖像的灰度特性，將圖像動態分為目標和背景兩個部分。假設存在閾值TH將圖像像素分為C1和C2兩類，然后分別計算不同閾值時的前背景方差，當兩部分方差最大時，則認定此時的閾值TH為最佳閾值。最大類間方差法如式(6)：

g=ω1ω2(μ1-μ2)2

(6)

其中:ω1和ω2分別表示前景與后景像素點個數占圖像總像素點的比例，μ1和μ2分別表示前后景的平均灰度值。

2.1.4 邊緣提取

邊緣檢測是圖像處理中極為重要的一種方法，一個清晰的邊緣對于目標的測量和定位有著極其重要的意義。圖像邊緣是像素劇烈變化點的集合，表現為領域的一階導數存在較大值或二階導數符號改變。目前常用的邊緣檢測算法主要分為一階微分算子和二階微分算子，其中一階微分算子包括Roberts算子、Prewitt算子和Sobel算子，二階微分算子包括Laplacian算子、LoG算子和Canny算子。

Canny于1986年提出了邊緣檢測算子的3條判定準則：信噪比、定位精度和單邊緣，并因此推導出Canny算子。Canny算子首先將圖像圖像進行高斯平滑，然后通過計算梯度來估算邊緣強度和方向，并利用非極大值抑制和雙閾值來獲取強弱邊緣點，最后通過邊界跟蹤剔除因噪聲引起的弱邊緣，從而得到真實的邊緣信息。Canny算子流程如圖5所示。

圖5 Canny算子流程圖

2.2 Harris-SIFT粗匹配

SIFT算法在檢測特征點和特征點描述部分耗時超過80%，因此降低特征點數量和描述子維度則成為研究重點。Harris算子特征點提取簡單，速度快 ，但不具備方向信息，因此本文利用SIFT 特征尺度空間的因果關系，使用Harris 算子在大尺度空間檢測特征點后映射到小尺度空間生成SIFT特征描述子。

Harris 角點檢測窗口平移產生的自相關函數如式(7)：

(7)

其中:I(x,y)為輸入待檢測圖像，w(x,y)表示窗口函數，(u,v)表示窗口平移量。

將平移后的圖像進行泰勒展開，并忽略其高階余項，則自相關函數表示為：

(8)

R=det(M)-k(traceM)2

(9)

其中：det(M) =λ1*λ2，trace(M) =λ1 +λ2，λ1和λ2是M的特征值，k為常系數。

為了避免常數k的選取問題，將角度響應函數R′定義為：

(10)

為了提高算法運行速度，本文使用Harris算子在大尺度空間提取特征點，在規定閾值的同時限制其最大提取特征點數，算法如下：

(11)

式中,C為大尺度空間角點位置映射到小尺度空間的鄰域，即尋求的特征點是該鄰域角點響應最強點。

2.3 Harris-SIFT精匹配

在Harris算子特征點提取過程中，可能會產生大量偏移疊加點，使用擬合或者尋找最強響應點方式難以找到真實角點，定位精度較差。為了解決粗定位精度不足的問題，提出一種改進的可旋轉模板匹配算法：在傳統的模板匹配算法基礎上加入旋轉因子。

模板旋轉中心由式(12)表示，式中C為模板圖像區域，w(x,y)為(x,y)點處的像素值。

(12)

精匹配算法如(13)和(14)。式中，Δθ為模板繞其形心旋轉的角度，T為模板每次平移向量，M′和N′為圖片尺寸，S(x′,y′)為目標圖像。

(13)

(14)

精匹配算法流程如圖6所示。為提高算法效率，本文選用二分法來快速迭代到指定精度。其中θ0為初始定位角，θ為最大迭代角，連續5次迭代精度誤差和小于β值則表明迭代完成。

圖6 精匹配算法流程圖

2.4 質心坐標與角度偏移

為驗證Harris-SIFT算法定位精度，需要計算縫料圖像與模板圖像的質心和角度誤差。在完成目標匹配后，將歐氏距離最小的4個特征點重合，當重合點最多時假定縫料圖像與模板圖像重合。則此時目標質心(x0,y0)定義如下：

(15)

為檢測角度偏移值，首先需要將兩圖質心重合，然后將歐式距離最小的4個特征點連接構成四邊形。本文將四條邊的角度偏差平均值作為角度偏移值，其中單條邊角度偏差計算公式如(16)所示，其中(xo,y0)為質心坐標，(x1,y1)和(x2,y2)為兩邊終點坐標。

θ=Arccos

(16)

3 實驗驗證分析

為了檢測基于Harris-SIFT算法的縫料視覺定位系統的實時性與準確性，與基于傳統SIFT算法的視覺定位系統檢測結果進行對比，并分析實驗結果。

3.1 系統效率對比分析

本文選用了6種縫料，分別為方形、平行四邊形、三角形、六邊形、月牙形與帶孔多邊形，以上縫料皆為手工裁剪，非標形狀。方形、平行四邊形、六邊形和三角形縫料使用同一縫料，內部存在毛絨，用于檢測毛絨物和不同形狀對匹配精度的影響；月牙形和帶孔多邊形為異形縫料，用于檢測不同材質縫料對匹配精度的影響。

圖7 6種典型測試縫料

在圖像匹配算法中，特征點檢測耗時占比超過80%，因此，為驗證系統實時性，本文采用在不同角度的特征點檢測數量平均值作為評判指標。下表列出了本文系統算法與SIFT算法在尺度空間σ=5.0下的測試數據。

圖8 6種縫料特征點檢測數量與耗時對比

從(a)圖中可以看出，SIFT算法容易將噪聲檢測為特征點，例如方形內部毛絨物較多，因此特征點數量多。而本文系統算法提取到的特征點數量相對較少且較為穩定，特征點數量在4～15以內。從檢測時間上來看，本文系統算法相比SIFT算法檢測時間同比縮小4～5倍。

3.2 定位精度對比分析

為了驗證和測試系統的穩定性和匹配精度，本文測試了6種縫料的實際匹配效果，包括質心定位誤差與旋轉角度誤差。本文將模板圖像質心置于(100 mm,100 mm)處，將待定位圖像隨機置于圖像視野中某點，并將待定位縫料依次旋轉180度生成180組待定位圖像。分別計算其質心定位誤差與角度偏差，表1列出6種樣本的平均定位誤差和平均角度偏差，其中表中誤差均為180組樣本的平均值。

表1 不同縫料匹配結果

從表1數據可以看出，帶孔多邊形縫料輪廓清晰且邊緣無毛刺，定位誤差與旋轉角度偏差都較小；而月牙形縫料存在毛刺，匹配誤差較大，但定位誤差仍小于0.2 mm，角度偏移小于0.15度，滿足縫料工藝操作要求。

4 結束語

為解決傳統縫料定位效率低和精度差問題，本文在對SIFT和Harris算法進行分析的基礎上，針對二維空間縫料，設計出一種基于Harris-SIFT改進算法的縫料定位系統。

1)論文將Harris算子特征點代替SIFT算子特征點，減少了特征點數量和描述子維度，提高了系統運算效率；其次，通過模板匹配提高匹配精度，滿足縫料定位精度要求。

2)論文從理論和實驗上證明了基于Harris-SIFT算法的縫料視覺定位系統的可行性。實驗結果表明，基于 Harris-SIFT算法的縫料視覺定位系統檢測到的特征點數量較少且穩定，特征點數量為4～15個，特征點提取時間相比基于SIFT算法的視覺定位系統縮小4～5倍。

3)通過實驗驗證，系統質心定位精度為0.2 mm，定位角度偏差小于0.15°。系統在滿足縫料定位工藝要求的前提下，計算耗時更小，滿足實時性要求，可移植到嵌入式系統。

該系統的提出必將在縫制行業的自動化和智能化發展過程中得到廣泛應用。