自動上料機器人視覺識別系統*

王湘明， 劉明春， 王浩任， 鄭黎成

(沈陽工業大學 信息科學與工程學院， 沈陽 110870)

根據國家標準GB 7544-1999(2000-05-01實施)《橡膠避孕套》要求，安全套出廠為每只必檢，而主流檢測方式為電干檢.現階段在一條標準的安全套生產線上，安全套的生產以及出廠打包封裝等過程已經實現了自動化，但是安全套電干檢的上料過程仍然需要人工的高度參與，由人工將每只待檢安全套套在電檢模型棒上進行檢測.為了將操作人員從安全套電干檢的上套過程中解脫出來，本文設計了一款與電干檢系統相匹配的自動上料機器人來解決該問題.比較典型的自動上料機器人主要由拾取機械手、安全套姿態視覺識別裝置、轉移機械手、上套機械手以及控制系統組成，系統的工作流程如圖1所示.

圖1 自動上料機器人工作流程Fig.1 Workflow of automatic feeding robot

由圖1可知，本文所研究的視覺識別系統是自動上料機器人工作時的重要環節，其主要工作內容可分為安全套姿態圖像獲取和安全套特征區域識別與定位兩部分.

按照自動上料機器人系統的工作節拍及流程，要求本文所研究的視覺識別系統的目標識別時間小于100 ms，x、y方向目標定位誤差范圍為[-0.5 cm，0.5 cm]，這就對系統中視覺識別算法的執行效率和定位精度提出了較高的要求.

在目標的識別與定位方面，現階段比較典型的算法包括尺度不變性特征轉換(SIFT，2004)、加速魯棒特征(SURF，2006)、二進制魯棒獨立基礎特征(BRIEF，2010)[1]、定向快速旋轉(BRISK)特征(ORB，2011)[2]以及近幾年提出的二值化魯棒尺度不變特征(BRISK，2011)[3]等.其中，SIFT、SURF屬于浮點算子，占用內存大，時間復雜度高.而ORB、BRISK特征算子是一種新型具有尺度不變性和旋轉不變性的角點檢測和描述算法，由于采用了二進制形式的描述以及Hamming距離作為匹配度量，使得算法自身的運算速度以及內存占用量有了明顯改善，同時也為本文應用視覺識別算法來快速定位多形變多旋轉的目標提供了可能.

1 姿態識別

1.1 攝像頭標定

由于攝像頭的設計缺陷、生產和裝配誤差等因素都會引起攝像頭的畸變，而對于本文所涉及的自動上料機器人中的廣角攝像頭而言，其視場的四周區域會產生更加明顯的畸變，故攝像機標定是視覺識別與定位的前期基礎.對于三維空間中的任一點(xw，yw，zw)，其齊次坐標描述為(xw，yw，zw，1)，利用攝像機的小孔成像模型將該點從世界坐標系投影到二維圖像平面坐標系下的過程為

(1)

式中：(u0，v0)為攝像機主點；α=f/dx，β=f/dy，分別為二維圖像像素坐標系下u軸和v軸上的尺度因子；f為相機的焦距；dx和dy為圖像中每個像素在圖像坐標和像素坐標系下的換算比例；γ為描述兩圖像坐標軸傾斜程度的參數(稱為傾斜因子)；R為攝像機坐標系相對于世界坐標系的3×3旋轉矩陣；T為攝像機坐標系相對于世界坐標系的3×1平移矩陣.

在實際成像系統中，由于各種誤差因素的存在，使得像點、光心和物點三個點并不一定在同一條直線上.為了更加準確地描述成像系統，本文引入透鏡畸變[4]，其計算表達式為

x=xd+δx(x，y)

(2)

y=yd+δy(x，y)

(3)

式中：δx(x，y)和δy(x，y)為非線性畸變值的x、y軸分量；x、y和xd、yd分別為圖像上任意點的理想坐標值和實際坐標值.

OpenCV中的非線性畸變描述公式為

(4)

式中：k1、k2為徑向畸變；a1、a2為切向畸變.在實際應用中舍棄高階系數，可得在攝像機標定過程中的畸變系數矩陣與內參矩陣分別為

D=[k1，k2，a1，a2]

(5)

(6)

本文使用的攝像頭圖像傳感器為30萬逐行掃描全彩CMOS，分辨率為640×480，像素尺寸為6.0μm×6.0μm，鏡頭焦距范圍為2.8～12mm.采用標準的9×9黑白棋盤格標定板(方格尺寸為2cm×2cm)為基礎工具，用張氏標定法對攝像機進行標定，最終得出攝像機畸變矩陣及內參數矩陣分別為

D=[-0.369 24，0.103 539，0.003 03，-0.000 24]

(7)

(8)

1.2 視覺識別

由于圖像在獲取時受背景光、拍攝狀態以及傳輸干擾等不確定因素的影響，將會在最終的圖像中產生噪點、模糊、過曝等現象，本文采用中值濾波來解決該問題.同時鑒于邊緣檢測對安全套特征區域識別與定位的重要性，利用Canny邊緣檢測算法來實現目標邊界的提取[5].

1.2.1 算法設計思想

由于整個自動上料機器人的動作需要配合電干檢系統的工作節拍，故對視覺識別與定位算法的實時性和有效性提出了較高的要求.當前環境下影響整個視覺識別與定位效率的因素主要有檢測時所需的特征點數和所采取的檢測算法，因此，在特征點檢測階段提出了一種預檢測與精檢測結合的兩步檢測算法.

1) 預檢測.由于視覺識別的特征區域為安全套的頂部，而該區域相對于整只安全套在邊界上有明顯的曲率變化.在圖像進行預處理并提取出邊界之后，根據邊界的曲率變化趨勢便可以在整幅圖像中劃定出一塊疑似特征區域.

2) 精檢測.在預檢測所劃定的疑似特征區域內進行二次特征算子檢測并生成特征描述子.由于在自動上料機器人中攝像頭的安裝位置與拾取機械手的最終回程位置是相對固定的，所以在視覺識別的整個過程中主要考慮的是被檢測物體與匹配模板之間的旋轉和非線性形變.在精檢測階段，特征算子以及特征描述子分別采用ORB算子和BRISK描述子.

1.2.2 預檢測實現

FAST角點定義：若某像素點與其周圍鄰域內足夠多的像素點處于不同的區域，則該像素點可能為角點，也就是某些屬性與眾不同.考慮到灰度圖像，若該點的灰度值比其周圍領域內足夠多的像素點的灰度值大或者小，則該點可能為角點[6].FAST算法步驟如下：

1) 以任意像素點P為中心，做一半徑為3個像素的離散化Bresenham圓，則在該圓的邊界上共有16個像素，檢測模型如圖2所示.

圖2 FAST 9～16的關鍵點檢測模型Fig.2 Critical point detection model for FAST 9-16

2) 獲取該像素點P的亮度值，記為L.

3) 設定合適的閾值t，對于點P，將其離散化Bresenham圓的鄰域位置設為n，第n∈{1，2，…，16}個點表示為Pn，將Pn分為3類，即暗點，亮點與相似點.

4) 如果在圓上有9個連續的像素點，它們的像素值要么都比L+t大，要么都比L-t小，則當前點P就是一個角點.

受FAST算法啟發，以半徑長度為3個像素的Bresenham圓為例來闡述安全套的邊界曲率檢測過程，檢測模型如圖3所示.

圖3 曲率檢測模型Fig.3 Curvature detection model

圖3中，黑色方格代表當前被檢測物體的輪廓點，綠色方格代表當前檢測點的Bresenham圓鄰域，藍色的方格PO1和PO2代表輪廓與Bresenham圓鄰域交叉的像素點.用PO1與PO2的標值之差來近似計算這兩點之間的圓弧弧度.為PO1與PO2的標值之差設定一個合適的范圍[Pmin，Pmax]，則可以分離出可疑邊界點集C，即

C={Pmin≤|P1i-P2i|≤Pmax，Pi∈U}

(9)

式中：U為圖像的邊界點集；P1i、P2i為點Pi的Bresenham圓鄰域與輪廓的兩個交叉點標值.

對可疑點集C中的所有像素點進行如下分類運算：

1) 根據相鄰兩個邊界點Pi、Pi+1與形心連線的向量角度關系對將可疑點集C進行劃分，即

(10)

2) 分別針對集合Qup、Qdrop、Qdown中的像素點求取當前點P與其它各個點Pi之間的歐氏距離Distence(P，Pi).

3) 以集合Qup為例，根據歐氏距離從點集Qup中進一步分離出呈現聚類效應的點集J，即

(11)

式中，Dmax、Dmin分別為點集J內部各點之間的最大、最小歐氏距離.

經過以上步驟篩選出的最終可疑點集J所代表的是一段曲率變化連續、緩慢、無突變且滿足一定要求的邊界.求取該可疑點集J的幾何中心點，并以該點為中心做特定大小的矩形掩膜區域，在該區域內進行二次精檢測.

1.2.3 精檢測實現

計算FAST特征點時，要在一個圖像鄰域內進行.將該點所在區域的中心點設為E，同時找出這個圖像鄰域內的重心位置H，則E與H的連線矢量方向便是該特征點的方向，如圖4所示.

一般零階矩是物體的質量，一階矩和零階矩可以算出物體的幾何中心，而二階矩可用于計算物體的方向.對于二維pq階矩，數學上可表述為mpq=∑xpyqI(x，y)，其中，I(x，y)為圖像像素.對圖像而言，m10/m00=∑xI(x，y)/∑I(x，y)代表了圖像像素在x方向上的偏重，即重心的x坐標；同理，m01/m00=∑yI(x，y)/∑I(x，y)代表了圖像像素在y方向上的偏重，即重心的y坐標，因此，重心坐標為(m10/m00，m01/m00)，由此可以得特征點主方向為

圖4 特征點主方向Fig.4 Principal direction of feature points

(12)

BRIEF描述子是基于這個圖像塊中特征點之間像素兩兩比較后的二進制串，取值滿足

(13)

式中：e(x)為點(u0，v0)的灰度值；e(y)為點(u1，v1)的灰度值.當選取N組測試點時，二進制串表達式為

(14)

在融合特征檢測子主方向信息之后，可得BRIEF描述子為

(15)

式中：F為二進制串fN的矩陣形式；Rθ為角度的旋轉矩陣.

BRISK特征點描述子是上述BRIEF描述子的一種改良算法.首先在圖像金字塔空間得到特征點的位置和尺度，然后為特征點賦予描述子.在生成特征點描述子的過程中，BRISK算法所采用的是均勻采樣模式：以特征點為中心，構建不同半徑的同心圓，在每個圓上獲取一定數目的等間隔采樣點.為了避免上述鄰域采樣模式引起混疊效應，需要對同心圓上的采樣點進行高斯濾波，其標準差σi正比于每個采樣點對應于各自中心的距離.采樣點個數為60，尺度為1的均勻采樣模式如圖5所示.

圖5中，以采樣點為中心、σi為方差進行高斯濾波，濾波的范圍用紅圈表示，濾波半徑大小與高斯方差的大小成正比；用藍圈表示經過高斯平滑后最終用到的60個采樣點.

圖5 BRISK描述子采樣模式Fig.5 Sampling pattern of BRISK descriptor

對M個采樣點兩兩組合，共有M(M-1)/2種組合方式，即M(M-1)/2組點對，采用集合(Zi，Zj)表示，這些采樣點的平滑像素值分別表示為I(Zi，σi)和I(Zj，σj)[7]，用于估計局部梯度值G(Zi，Zj)，估算表達式為

(16)

所有的采樣點對(組合方式)可用集合A表示，定義短距離點對子集S、長距離點對子集l分別為

(17)

(18)

式中：σmax=9.57T；σmin=13.67T；T為特征點所在的尺度.

要解決旋轉不變性，則需將特征點周圍的采樣區域旋轉至主方向，旋轉后得到新的采樣區域.BRISK描述子的生成過程借鑒了上述BRIEF描述子的編碼方式，由短距離點對S兩兩比較來產生二進制編碼，計算規則為

(19)

1.3 匹配及定位

經過上述兩步算法檢測之后，對生成的模板圖像角點描述子和視頻幀圖像角點描述子進行以漢明距離為度量的最近鄰域匹配[8]，采用RANSAC算法剔除因圖像遮擋或背景混亂而產生誤匹配關系的關鍵點[9].當最終匹配角點的質量達到要求后，對該區域經預檢測篩選后的邊界點集求均值，并以該點為中心做半徑為15個像素的Bresenham圓.根據邊界點集與Bresenham圓周的交點得出其中點，并以中點代表當前安全套特征區域的幾何形心.

1.4 視覺識別系統工作流程

本文所研究的自動上料機器人視覺識別系統對安全套特征區域的定位過程主要分為攝像機標定、中值濾波、Canny邊緣檢測、預檢測+精檢測兩步檢測法的目標識別、最近鄰域匹配、RANSAC誤匹配剔除、形心定位等過程，其工作流程如圖6所示.

圖6 視覺識別系統工作流程Fig.6 Workflow of visual identity system

2 實驗驗證

本文在實驗中所用計算機平臺的硬件配置為Intel Core i5-2450M & 2.5 GHz處理器、4 Gbit內存，用Opencv2.4.13+VS 2013編寫了自動上料機器人視覺識別測試軟件.該軟件主要包括視頻監視模塊、視覺識別與定位模塊(涵蓋本文算法、BRISK、ORB+BRISK 3種獨立的測試算法)、通信模塊以及攝像頭校準模塊.在測試軟件中分別利用本文算法、BRISK算法、ORB+BRISK算法對特征區域與匹配模板呈0°、30°、90° 3種姿態的安全套進行視覺識別與定位測試，匹配結果如表1所示.

表1 匹配效果比較Tab.1 Comparison in matching effect

表2為利用上述3種算法分別對3種姿態的安全套各進行50次測試結果的統計值.表2中匹配成功的判別標準為：剔除誤匹配后的匹配特征點對個數大于等于7，則認為匹配成功；如果匹配特征點對個數小于7，則認為匹配失敗.

表2 3種算法的性能比較Tab.2 Performance comparison of three algorithms

表3～5所示為上述3種算法分別對3種姿態的安全套各進行50次測試的定位誤差統計均值，誤差為安全套頂部區域的形心位置與拾取機械手回程位置之間的實測距離和實驗計算距離的差值.

表3 姿態1的定位誤差比較Tab.3 Comparison in location errors of first gesture cm

本文所提出的兩步檢測算法與單純的BRISK算法相比，特征算子提取時特征點分布更均勻，而單純BRISK算法所提取的特征點過于稀疏.對于安全套這種易發生形變的柔性目標，BRISK算法容易出現無法匹配的情況；ORB+BRISK算法所提取的特征點分布比較散亂且無目的性，要完整描述安全套頂部區域特征所需的特征點數和定位時間是最多、最長的，而且匹配時經過RANSAC處理后難以剔除的誤匹配點較多.兩步檢測算法由于經過預檢測之后確定了可疑區域，所以最終的特征點分布更加密集、更有指向性，在保持較高匹配成功率的同時，每次匹配還具有較高的匹配質量.

表4 姿態2的定位誤差比較Tab.4 Comparison in location errors of second gesture cm

注：表中‘-’代表BRISK算法對當前姿態下的安全套無法識別和定位其特征區域，故無有效數據.

表5 姿態3的定位誤差比較Tab.5 Comparison in location errors of third gesture cm

綜合可得，由于兩步檢測法在預檢測階段根據邊界曲率劃定了疑似目標區域，規避了在整個圖像范圍內最為耗時的特征描述子生成過程，同時也使得精檢測過程具有更好的目的性，單一情況下的定位誤差較其余兩種算法相比至少減少5倍，3種姿態下安全套的最大定位誤差比其余兩種算法至少減少10倍，并且可以控制在±0.1 cm范圍內.與其余兩種算法相比，本文兩步算法具有最高的識別效率和最低的定位誤差，整體上符合自動上料機器人對視覺識別系統的要求.

3 結 論

針對自動上料機器人對視覺識別與定位算法高實時性、高效性的要求，提出了一種預檢測與精檢測的兩步法.該算法與純凈的ORB算法或ORB+BRISK算法相比，除了注重圖像的被檢測區域與目標模板之間所存在的相似性之外，還優先考慮了被檢測區域的邊界屬性.在精檢測階段僅對區域內的圖像進行特征描述子的提取并采用最近鄰域算法對該特征描述子與目標模板的特征描述子進行模板匹配[10]操作，以驗證二者之間的相似程度.實驗結果表明，兩步檢測算法對安全套特征區域的定位成功率可達97.6%，定位誤差范圍為[-0.1 cm，0.1 cm]，定位時間為32 ms，完全滿足安全套自動上料機器人對視覺識別與定位的要求.