基于單應矩陣約束的黑白棋盤格角點提取

郭俊喜

(神華巴彥淖爾能源有限責任公司 ，內蒙古 巴彥淖爾 015300)

基于單應矩陣約束的黑白棋盤格角點提取

郭俊喜

(神華巴彥淖爾能源有限責任公司 ，內蒙古 巴彥淖爾 015300)

針對Harris算子提取棋盤格角點存在的問題，提出基于單應矩陣的黑白棋盤格角點提取方法。方法首先通過人機交互確定角點提取范圍以及計算單應矩陣；然后根據單應矩陣將物方平面上其他點映射到影像上以確定初始的角點位置；最后以初始點位為基準，根據最小距離法確定最終Harris算子角點提取結果。實驗結果表明，文中提出算法能有效提取黑白棋盤格角點。

Harris算子；棋盤格角點；單應矩陣；最小距離

在基于平面模板的攝像機標定中，棋盤格模板由于制作經濟簡單而被廣泛應用于攝像機標定中[1]。其中最常用的標定方法如張正友平面標定法，需要對黑白棋盤格平面模板進行攝影，然后提取影像上棋盤格角點坐標，通過利用已知棋盤格角點的像方坐標和物方坐標，建立物方平面與像平面之間的關系,實現相機標定。因此，棋盤格角點提取精度直接影響相機標定的精度。

現有棋盤格角點提取方法可以歸結為兩類：一類是基于邊緣檢測結果[2]，兩直線交叉提取角點；另一類是直接利用角點提取算子提取棋盤格角點[3-9]。前者依賴于邊緣檢測結果，同時當影像畸變較大時會發生棋盤格邊緣成像彎曲，檢測結果會產生較大誤差。后者角點檢測法是發現影像上灰度變化較大的點，常用的有Harris算子角點檢測法和Susan算子角點檢測法等，該類算法原理簡單，易于實現。但現有角點檢測方法存在兩個方面問題：一是非棋盤格角點被檢測;二是棋盤格角點處提取到多個特征點。針對現有問題，本文提出利用單應矩陣約束Harris算子角點提取結果，首先利用單應矩陣確定初始候選點位置，然后對Harris算子提取特征點，利用初選點根據最小距離法確定最終棋盤格角點。

1 基于單應矩陣約束的棋盤格角點提取

基于單應矩陣約束的棋盤格角點提取方法首先通過人機交互量取4個棋盤格角點確定角點提取范圍，同時利用其計算單應矩陣，通過單應矩陣將棋盤格模板上其他點映射到影像上，確定提取角點初始位置。然后采用Harris算子提取角點，通過二次拋物面擬合提高到子像素級精度。再以角點初始位置為基準，通過最小距離確定最終提取的棋盤格角點。算法整體流程如圖1所示。

圖1 算法整體流程圖

1.1 單應矩陣

單應矩陣是數學領域的一個概念，其滿足二維投影轉換。通過計算單應矩陣可以確定如圖2所示兩張影像平面之間的對應關系，也可以確定影像平面與物方平面之間的對應關系，使得其一方特征傳遞到另一方上。

圖2 單應矩陣適用條件

假設同名影像S和I，通過S和I之間的N對對應點，就可以確定它們之間的單應矩陣H(其中N≥4)。令(xi,yi)∈I、(xi′,yi′)∈S為一對同名像點，i=1,2,…N。根據同名影像之間的對應關系，每一對同名像點可以得到兩個線性方程：

(0,0,0,-xi,-yi,-1,xiyi′,yiyi′,yi′)h=0，

(1)

(xi,yi,1,0,0,0,-xixi′,-yixi′,-xi′)h=0.

(2)

其中：h是矩陣H的向量形式，

h=(h0,h1,h2,h3,h4,h5,h6,h7,h8)T，

(3)

因此可以得到2N個關于參數h0，h1，h2，h3，h4，h5，h6，h7，h8的方程。寫成矩陣形式為

Ah=0.

(4)

其中：

(5)

當N≥4時，可以利用奇異值分解(SVD)法求h。

1.2 Harris算子

1.2.1 Harris算子

Harris算子是C.Harris和J.Stephens在1988年提出的一種基于信號的特征點提取算子。該算子的基本原理是取以目標像素點為中心的一個窗口，計算窗口沿任何方向移動引起的灰度變化，可用自相關函數描述。設以像素點(x,y)為中心的窗口在X,Y方向上分別移動u,v，其灰度變化的數學表達式如下：

Ex,y=∑wx,y(Ix+u,y+v-Ix,y)2.

(6)

式中：Ex,y為窗口內的灰度變化度量；I代表圖像灰度；w為高斯平滑函數，其具體的表示形式為

wx,y=e-(x2+y2)/2σ2.

(7)

在角點處，自相關函數會根據圖像窗口的偏移發生顯著的變化。因此在式(6)中，通過泰勒公式有

Ex,y=∑wx,y(Ix+u,y+v-Ix,y)2=

∑wx,y[u2(Ix)2+v2(Iy)2+2uvIxIy]=

Au2+2Cuv+Bv2.

(8)

將Ex,y寫成矩陣形式有

(9)

其中，自相關函數矩陣M為

(10)

式中，?為卷積操作，對Ex,y對角化處理得

R.

(11)

式中：R為旋轉因子；M矩陣的特征值λ1，λ2代表兩個主軸方向的圖像表面曲率。如果某一點處的兩個曲率值都高，說明在該點的圖像灰度自相關函數的兩個正交方向上的極值曲率均較大，則認為該點可能是一個特征點。為了簡化求取M矩陣特征值，直接計算該點的興趣值I。

I=Det(M)-k(Trace(M))2=

AB-C2-k(A+B)2.

(12)

其中，k為經驗值，一般取0.04。在特征點提取過程中，當I值大于給定的閾值時，該點可認為是候選特征點。

1.2.2 二次曲面擬合法

將Harris算子提取角點提高到子像素級精度。利用一個二元二次多項式逼近角點響應函數R(x,y)，具體表達式如下：

R(x,y)=a0+a1x+a2y+a3x2+a4xy+a5y2.

(13)

式中a0、a1、…、a5為待定系數，對于3×3的擬合窗口有9個方程，可以用最小二乘法求解得到a0、a1、…、a5的值，角點響應函數R(x,y)在擬合曲面的極值點應滿足如下條件：

(14)

(15)

式(14)、式(15)兩個方程聯立求得的亞像素級坐標xx、yy，即

(16)

(17)

1.3 最短距離約束

以單應矩陣映射的每一個點(如圖3中紅色點所示)為基準，分別判斷Harris提取角點(如圖3中黑色點所示)到其距離。選取最小距離點作為最終提取的棋盤格角點。該過程可以去掉多余的非棋盤格角點，同時保證每個黑白棋盤格交會處僅提取一個角點。

圖3 最小距離示意圖

2 實驗

在AutoCAD軟件中繪制行列分別為16×13大小的黑白相間的棋盤圖，其中每小格均為正方形，且邊長為16.5 mm。然后用專業的打印機進行打印輸出，將輸出的棋盤格平整地粘貼在一個平板上。采用尼康D300拍攝影像，大小為4288×2848。

首先通過人機交互方式人工點選角點的提取范圍，如圖4所示四邊框。并根據四個角點坐標計算單應矩陣，根據單應矩陣將提取范圍內物方平面上其他點映射到影像上，確定初始特征點位，用來約束后續特征點提取，共180個角點，如圖5所示。

圖4 人工點選角點提取范圍

圖5 單應矩陣映射初始點位

采用Harris算子對整張影像進行角點提取，并使其坐標精度達到亞像素級精度。如果不加任何約束，整張影像提取結果疊加顯示如圖6所示，單獨顯示如圖7所示。除棋盤格角點處提取到角點之外，其他區域也存在特征點，同時，個別角點附近也存在特征點聚類情況。檢測角點個數556個。

圖6 Harris角點提取結果疊加顯示

圖7 Harris角點提取結果

利用單應矩陣映射點位約束，根據最小距離判別法最終確定角點提取結果如圖8所示：其中十字絲是最終保留的角點，用圓圈加十字絲表示的是已被刪除的多余角點，最后保留180個角點，角點提取不包括黑白格網最外圍的格網，只提取如圖4所示方框內的角點。 其他角點提取結果如圖9所示。

圖8 單應矩陣約束后角點提取結果及刪除的多余角點

圖9 其他影像角點提取結果

3 結 論

本文針對采用Harris算子提取角點過程中存在的問題，提出基于單應矩陣約束的黑白棋盤格角點提取方法。實驗結果表明，該方法原理簡單，計算量小，能準確提取棋盤格角點，為后續基于棋盤格影像的相機標定提供良好的角點。

[1]喻夏瓊,高巖,陳向寧.基于非線性優化的攝像機2D標定法[J].測繪工程,2013，22(5):25-28.

[2]蔡振江,王渝,張娟.采用Hough變換和灰度變化的圖像角點檢測法[J].北京理工大學學報，2005, 25(9):796-799.

[3]張裕,方康玲,劉永祥. 基于Harris算法的黑白棋盤格角點檢測[J].計算機應用與軟件,2012, 27(8):251-254.

[4]劉陽,王福利,常玉清,等.黑白棋盤格角點檢測算法[J].東北大學學報：自然科學版，2007,28(8):1090-1093.

[5]侯建輝,林意.自適應的Harris棋盤格角點檢測算法[J].計算機工程與設計，2009,30(20):4741-4801.

[6]劉陽成,朱楓.一種新的棋盤格圖像角點檢測算法[J].中國圖像圖形學報，2006,11(5):656-660.

[7]劉嵩,葉玉堂,孫強,等.基于單應性矩陣的棋盤格角點檢測研究[J].電子設計工程， 2012, 20(6):114-117.

[8]王劍濤,楊旭波.基于Voronoi圖的棋盤格角點匹配算法[J].計算機工程，2010,36(22):280-282.

[9]楊幸芳,黃玉美,李艷,等.基于改進的SUSAN算子的棋盤格亞像素角點檢測算法[J].中國機械工程，2010, 21(21):2541-2545.

[責任編輯：張德福]

Chessboard’s corner detection based on homography matrix

GUO Jun-xi

(Shenhua Bayan Naoer Energy Co.,Ltd, Bayan Naoer 015315, China)

Aiming at the problem of chessboard’s corner detection by Harris operator, it proposes one new algorithm of chessboard’s corner detection based on homography matrix. Firstly, this algorithm determines the range of the corner extraction and computes homography matrix by interactive. Secondly, it projects other points from the object plane to the image plane according to the homography matrix for the purpose of determining the initial corner position. Finally, taking the initial point as the reference, the algorithm determines the final Harris operator corner extraction results by the minimum distance method. The experimental results show that, the proposed algorithm can effectively extract chessboard’s corners.

Harris operator; chessboard’s corners; homography matrix; minimum distance method

2014-02-11

郭俊喜(1964-)，男，高級工程師.

TP242;TP391

：A

：1006-7949(2014)08-0036-04