基于Harris-改進(jìn)LBP的特征匹配及目標(biāo)定位算法

張 震, 張照崎, 朱留存, 苗志濱, 王驥月, 李修明, 趙成龍, 張坤倫

(1. 北部灣大學(xué) 先端科學(xué)技術(shù)研究院, 廣西 欽州 535001； 2. 大連理工大學(xué)-立命館大學(xué)國際信息與軟件學(xué)院, 遼寧 大連116085；3. 廣西機(jī)械工業(yè)研究院有限責(zé)任公司, 廣西 南寧 530007)

0 引 言

圖像局部特征點(diǎn)在不同觀察場景下不變地反映圖像信息, 廣泛應(yīng)用于目標(biāo)定位[1-2]、 圖像配準(zhǔn)與圖像拼接[3-5]、 目標(biāo)識別[6]和SLAM(simultaneous localization and mapping)[7-8]等領(lǐng)域, 已成為計算機(jī)視覺領(lǐng)域的研究熱點(diǎn). 這類方法首先對圖像中顯著特征進(jìn)行提取, 然后利用提取特征的描述子完成兩張圖像間特征的匹配, 再通過特征匹配關(guān)系建立圖像間的幾何變換模型[8-9], 特征點(diǎn)檢測算法大多數(shù)基于灰度的一階或二階導(dǎo)數(shù)尋找極值點(diǎn). Harris等[10]提出了經(jīng)典的Harris特征點(diǎn)檢測算法, 對圖像旋轉(zhuǎn)、 光線變化、 噪聲和視點(diǎn)變換不敏感; Rosten[11]提出了FAST特征點(diǎn)檢測算法, FAST算法速度較快, 但易受噪聲影響. 上述特征點(diǎn)檢測算法都基于單一尺度, 之后研究者們提出了能適應(yīng)多尺度變化的特征檢測算法, 如SIFT算法[12]和SURF算法[13], SURF是SIFT的改進(jìn)算法. 這類算法需要用Laplace算子或高斯差分算子構(gòu)建尺度空間, 增加了計算復(fù)雜度和匹配識別的難度, 實(shí)時性較差. 文獻(xiàn)[10-11]僅關(guān)注于特征點(diǎn)檢測, 并未給出描述子定義算法和匹配算法. SIFT算法[12]在特征點(diǎn)周圍取16×16的鄰域, 再將鄰域化為4×4個小區(qū)域, 每個小區(qū)域統(tǒng)計8個方向梯度, 得到128維的向量作為描述子. SURF算法[13]在特征點(diǎn)周圍取一個具有方向的正方形鄰域, 再劃分為16個子區(qū)域, 每個子區(qū)域統(tǒng)計4個Haar小波特征, 得到64維的向量作為描述子. 上述描述子信息豐富, 但運(yùn)算代價較高, 占用內(nèi)存大. Calonder等[14]提出的BRIEF描述子, 極大節(jié)省了內(nèi)存空間； Rublee等[15]對BRIEF描述子進(jìn)行改進(jìn)提出了ORB算法, 根據(jù)角度參數(shù)提取BRIEF描述子, 使其具有旋轉(zhuǎn)不變性. 近幾年， 相繼提出了一些改進(jìn)融合算法[16-23], 如文獻(xiàn)[16]實(shí)現(xiàn)了Harris算法與Hist算法的融合; 文獻(xiàn)[20]和文獻(xiàn)[22]分別對SURF和SIFT算法做了改進(jìn)， 均取得了較好的實(shí)驗(yàn)效果.

本文應(yīng)用背景源于機(jī)器人視覺伺服抓取, 對定位精度和實(shí)時性要求較高. 經(jīng)典的SIFT和SURF算法雖適應(yīng)范圍廣、 魯棒性好, 但實(shí)時性較差； ORB算法運(yùn)行速度快, 但定位精度較低. 因此本文首先選擇Harris算法[10]提取特征點(diǎn); 然后采用胡矩確定特征方向, 根據(jù)特征方向獲取標(biāo)準(zhǔn)化局部圖像, 提取標(biāo)準(zhǔn)化局部圖像的LBP特征[24]作為特征描述子； 在特征匹配階段, 通過計算兩張圖像中各特征點(diǎn)描述子間的漢明距離實(shí)現(xiàn)特征匹配; 最后根據(jù)匹配結(jié)果, 定位目標(biāo)在場景圖像中的位置, 算法流程如圖1所示.

圖1 算法流程

1 Harris圖像特征點(diǎn)提取算法

Harris算法[10]思想： 先以待檢測點(diǎn)為中心加窗, 獲取窗內(nèi)像素強(qiáng)度; 然后移動窗口, 重新獲取窗內(nèi)像素強(qiáng)度, 計算窗口移動前后強(qiáng)度差. 若沿任意方向移動窗口, 強(qiáng)度差值均很大, 則認(rèn)為待檢測點(diǎn)為特征點(diǎn).

根據(jù)上述思想可定義計算公式為

(1)

其中W(x,y)為高斯窗口,u,v為以待檢測點(diǎn)為中心的偏移量. 由Taylor公式,

可近似為

(2)

則有

(3)

R=detM-k(trM)2.

(4)

根據(jù)經(jīng)驗(yàn)k=0.04～0.06, 特征檢測結(jié)果如圖2所示. 其中： (A)為原始圖像； (B)為原始圖像檢出的特征點(diǎn)； (C),(D)分別為(A)旋轉(zhuǎn)10°,-10°后檢出的特征點(diǎn). 實(shí)驗(yàn)中, 將最大特征響應(yīng)強(qiáng)度的0.1倍作為閾值. 由圖2可見, Harris特征點(diǎn)具有旋轉(zhuǎn)不變性.

圖2 Harris特征點(diǎn)檢測結(jié)果

2 LBP的特征描述子定義

以特征點(diǎn)為中心截取局部圖像, 計算局部圖像的質(zhì)心, 規(guī)定中心到質(zhì)心的向量為特征點(diǎn)方向θ. 將局部圖像旋轉(zhuǎn)-θ, 得到標(biāo)準(zhǔn)化局部圖像. 提取標(biāo)準(zhǔn)化局部圖像的局部二值模式(LBP)特征作為特征描述子, 特征描述子生成過程如圖3所示, 步驟如下.

圖3 特征描述子生成過程

1) 以特征點(diǎn)為中心截取局部圖像, 本文取21×21窗口, 截取局部圖像放大分別如圖3(B),(C),(D)上方左側(cè)小圖所示.

2) 計算局部圖像的質(zhì)心(Cx,Cy)：

為保持旋轉(zhuǎn)不變性, 按圓形鄰域取樣, 計算公式定義為

(5)

其中wx和wy為灰度圖像橫縱坐標(biāo),vx和vy為特征點(diǎn)橫縱坐標(biāo),rwindow為取樣窗口半徑, 圖3(A)淺灰色圓形區(qū)域?yàn)榘词?5)設(shè)計的取樣窗口, 窗口大小為21×21, 取到圓形鄰域內(nèi)349個點(diǎn), 取樣窗口大小可根據(jù)實(shí)際需要做調(diào)整.

3) 確定特征點(diǎn)方向θ：

各特征點(diǎn)方向如圖3(B),(C),(D)中白線所示.

4) 將局部圖像旋轉(zhuǎn)-θ, 截取圓形鄰域內(nèi)的15×15子圖像作為標(biāo)準(zhǔn)化局部圖像. 15×15采樣窗口如圖3(A)中深灰色區(qū)域所示, 步驟1)中截取的21×21局部圖像, 通過旋轉(zhuǎn)-θ, 截取得到15×15標(biāo)準(zhǔn)化局部圖像分別如圖3(B),(C),(D)上方中間小圖所示.

5) 提取標(biāo)準(zhǔn)化局部圖像LBP特征作為特征描述子.

傳統(tǒng)LBP在一個3×3的圖像塊中對區(qū)域進(jìn)行描述, 將中心像素的灰度作為閾值, 與其8個鄰域像素的灰度值對比并二值化, 小于該閾值置1, 否則置0, 然后與加權(quán)矩陣對應(yīng)的值相乘, 得到8位二進(jìn)制串作為LBP特征, 原理如圖4所示[24], 該描述子具有速度快、 不受光照變化影響的優(yōu)點(diǎn).

圖4 傳統(tǒng)LBP原理

實(shí)驗(yàn)表明, 直接采用傳統(tǒng)LBP提取的特征描述在特征匹配過程中算法性能較差, 這是因?yàn)樘崛〉奶卣鼽c(diǎn)位置難免有誤差, 且特征點(diǎn)坐標(biāo)位置是浮點(diǎn)型, 在取整過程中也存在誤差, 這種誤差的累計對特征匹配影響較大. 因此, 本文對傳統(tǒng)LBP算法進(jìn)行改進(jìn), 方法如圖3(A)中深灰色區(qū)域粗實(shí)線所示, 將15×15標(biāo)準(zhǔn)化局部圖像分成5×5個子塊, 將每個子塊(3×3個像素)作為一個整體, 然后進(jìn)行LBP特征提取, 該步驟采用積分圖像法提高速度. 針對5×5個子塊, 可提取到3×3個LBP特征作為特征點(diǎn)的描述子, 如圖3(B),(C),(D)上方矩陣所示. 改進(jìn)后的LBP算法可削弱特征點(diǎn)定位誤差的影響, 使匹配過程中算法的穩(wěn)定性得到改善.

3 特征匹配與目標(biāo)定位算法

特征匹配的依據(jù)是特征點(diǎn)描述子間的相似度, 本文采用漢明距離作為度量標(biāo)準(zhǔn), 即待匹配兩個描述子間9個二進(jìn)制串中不相同位的個數(shù).

特征匹配步驟如下：

1) 選擇標(biāo)準(zhǔn)圖像中的任意描述子G[m];

2) 在場景圖描述子中尋找G′[n], 使得d(G[m],G′[n])最小;

3) 若d(G[m],G′[n])<τ, 則認(rèn)為標(biāo)準(zhǔn)圖像特征點(diǎn)m與場景圖像特征點(diǎn)n匹配(τ為閾值).

特征匹配結(jié)果如圖5所示, 每條連線對應(yīng)的兩點(diǎn)為匹配的特征點(diǎn).

目標(biāo)定位過程如下：

1) 尋找兩組匹配特征點(diǎn)間的變換關(guān)系, 即估計歸一化單應(yīng)性矩陣：

(6)

2) 根據(jù)標(biāo)準(zhǔn)圖像4個頂點(diǎn)坐標(biāo), 利用式(6)計算對應(yīng)場景圖像4個頂點(diǎn)的坐標(biāo), 從而定位目標(biāo). 目標(biāo)定位結(jié)果如圖5所示, 紅色框定位了標(biāo)準(zhǔn)圖像在場景圖像中位置, 利用式(6)可計算標(biāo)準(zhǔn)圖像每個像素點(diǎn)在目標(biāo)圖像中的位置.

圖5 旋轉(zhuǎn)10°(A)和-10°(B)特征匹配及目標(biāo)定位結(jié)果

4 實(shí)驗(yàn)結(jié)果對比分析

圖6～圖9分別為本文算法與SIFT[12],SURF[13],ORB[15]算法的匹配及定位效果對比. 圖6～圖9分別采用Lena圖像、 Barche圖像、 Goldhill圖像和Barbara圖像作為標(biāo)準(zhǔn)圖像, 各自旋轉(zhuǎn)10°后作為場景圖像. 通過調(diào)整算法參數(shù), 4種算法特征匹配數(shù)量基本相同. 觀察發(fā)現(xiàn), SIFT及本文算法定位精度差異較小, 但均好于SURF和ORB算法. 下面以圖7中Barche圖像為例進(jìn)行實(shí)驗(yàn)數(shù)據(jù)對比, 衡量4種算法的運(yùn)行速度和定位精度. 定位精度實(shí)驗(yàn)中, 考慮到機(jī)器人視覺伺服抓取過程, 相機(jī)位置固定, 工件圖像只發(fā)生位置偏移和旋轉(zhuǎn)變化, 不存在尺度變化和仿射變換, 因此主要對平移和旋轉(zhuǎn)誤差進(jìn)行對比.

圖6 不同算法的Lena圖像匹配及定位效果對比

圖7 不同算法的Barche圖像匹配及定位效果對比

實(shí)驗(yàn)環(huán)境： 電腦主頻3.6 GHz, 內(nèi)存16 GB, 操作系統(tǒng)Win10 64位, 開發(fā)平臺VSC++. 其中, SIFT,SURF,ORB算法實(shí)現(xiàn)調(diào)用了OPENCV庫函數(shù). 由于SIFT,SURF算法已申請專利, 不能在RELEASE模式下運(yùn)行, 為具可比性, 4種算法均在DEBUG模式運(yùn)行. 表1為Barche圖像各角度下不同算法定位過程運(yùn)行時間的對比.

表1 不同算法運(yùn)行時間(ms)對比

由表1可見: ORB算法耗時最少； 本文算法次之, 約為ORB算法的3倍； SURF和SIFT算法實(shí)時性較差, 耗時約為ORB算法的9倍和15倍.

平移誤差定義為： 定位中估計的4個邊界頂點(diǎn)坐標(biāo)與場景中對應(yīng)4個實(shí)際邊界頂點(diǎn)坐標(biāo)之間距離的最大值. 表2為各角度下不同算法定位過程平移誤差的對比. 由表2可見： SIFT算法精度最高, 誤差均值為0.52, 誤差最大值為0.77； 本文算法略差于SIFT算法, 誤差均值為0.63, 誤差最大值為1.15； SURF算法誤差均值為1.18, 誤差最大值為5.60； ORB算法精度最差, 誤差均值為3.31, 誤差最大值為7.22.

圖8 不同算法的Goldhill圖像匹配及定位效果對比

圖9 不同算法的Barbara圖像匹配及定位效果對比

旋轉(zhuǎn)誤差定義為： 定位中估計的4條邊界線與場景對應(yīng)4條實(shí)際邊界線角度偏差絕對值的最大值. 表3為各角度下不同算法定位過程旋轉(zhuǎn)誤差的對比. 由表3可見： SIFT算法精度最高, 誤差均值為0.02, 誤差最大值為0.04； 本文算法精度次之, 誤差均值為0.15, 誤差最大值為0.25； SURF算法誤差均值為0.44, 誤差最大值為1.05； ORB算法精度最差, 誤差均值為0.50, 誤差最大值為1.84.

實(shí)驗(yàn)結(jié)果表明： 本文算法定位精度略差于SIFT算法, 明顯優(yōu)于SURF和ORB算法； 定位速度慢于ORB算法, 遠(yuǎn)好于SIFT和SURF算法, 能滿足實(shí)時性要求. 基于本文應(yīng)用背景, 本文算法綜合表現(xiàn)最好, 已應(yīng)用于5軸機(jī)器人伺服定位抓取系統(tǒng), 經(jīng)過近30 d實(shí)際驗(yàn)證表現(xiàn)出良好的穩(wěn)定性.

表2 不同算法平移誤差(像素)對比

表3 不同算法旋轉(zhuǎn)誤差(°)對比

綜上所述, 本文算法通過改進(jìn)傳統(tǒng)LBP定義的特征描述子, 具有定位精度高、 運(yùn)行速度快、 魯棒性好、 不受光照變化影響的優(yōu)點(diǎn). 但在特征提取過程中保留了Harris算法對尺度變化敏感的不足, 在描述子生成過程中旋轉(zhuǎn)子圖像步驟耗時較多.