粗精結(jié)合的室內(nèi)機(jī)器人視覺定位方法

唐國(guó)棟，方 明,2+，雷立宏

(1.長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長(zhǎng)春 130022；2.長(zhǎng)春理工大學(xué) 人工智能學(xué)院，吉林 長(zhǎng)春 130022)

0 引 言

由于室內(nèi)環(huán)境一般較為復(fù)雜，存在建筑物遮擋，行人闖入等情況。因此，移動(dòng)機(jī)器人室內(nèi)定位技術(shù)已逐漸受到關(guān)注。

Google公司曾將GPS與Wi-Fi技術(shù)相結(jié)合[1]，對(duì)具體位置進(jìn)行標(biāo)記從而實(shí)現(xiàn)室內(nèi)定位；北京航天航空大學(xué)的王田苗教授將多傳感器數(shù)據(jù)融合提出了一種基于無(wú)線定位的單目視覺定位相結(jié)合的傳感器融合室內(nèi)定位方法[2]；盡管這些方法在室內(nèi)定位中也有明顯的成效，準(zhǔn)確度也較好，但由于相關(guān)的儀器設(shè)備成本較高、受周邊環(huán)境影響因素較大、部署繁瑣等問(wèn)題，使在實(shí)際應(yīng)用中會(huì)存在諸多困難。因此，基于計(jì)算機(jī)視覺的定位方法由于其設(shè)備成本較低，部署容易，被廣泛重視。

目前，基于機(jī)器視覺的室內(nèi)定位方法主要通過(guò)視覺傳感器不斷地獲得更多當(dāng)前場(chǎng)景的特征，矯正自身的位置與姿態(tài)，并利用圖像中的特征信息來(lái)進(jìn)行場(chǎng)景環(huán)境的定位與建模[3]。但由于視覺傳感器成像過(guò)程容易受到光照變化、行人闖入[4]等問(wèn)題的影響，導(dǎo)致該方法一般精準(zhǔn)度不高，這也是現(xiàn)如今視覺室內(nèi)定位研究的主要難題。為實(shí)現(xiàn)低成本高精度的室內(nèi)定位算法，本文將指紋定位思想引用到視覺定位中。用指紋定位技術(shù)來(lái)縮小定位范圍，再將定位場(chǎng)景轉(zhuǎn)移到天花板中進(jìn)行精確定位，從而避免了周圍環(huán)境變化對(duì)定位結(jié)果的影響。

1 方 法

如圖1所示，本文方法主要是通過(guò)實(shí)驗(yàn)室自制的輪式機(jī)器人為搭載平臺(tái)。其搭載4個(gè)水平方向且視場(chǎng)角均為80°的單目相機(jī)及1個(gè)朝向正上方且視場(chǎng)角為120°的單目廣角相機(jī)。系統(tǒng)的總體工作流程如圖2所示。在預(yù)處理工作中獲取圖像信息并生成指紋信息庫(kù)。定位工作中，采用由粗匹配到精確定位相結(jié)合的方法。在粗匹配中通過(guò)測(cè)試圖信息與指紋庫(kù)中的信息進(jìn)行匹配來(lái)縮小定位范圍，再到精確定位中計(jì)算精確的位移及偏轉(zhuǎn)角度，達(dá)到最終定位目的。

圖1 機(jī)器人視野

圖2 定位流程

1.1 預(yù)處理

首先，通過(guò)單目廣角相機(jī)，對(duì)室內(nèi)實(shí)驗(yàn)天花板進(jìn)行圖像采集，同時(shí)使用4個(gè)單目相機(jī)對(duì)室內(nèi)四周環(huán)境進(jìn)行圖像信息采集。之后，提取圖像中的紋理特征，找到當(dāng)前圖像的中心點(diǎn)及機(jī)器人當(dāng)前位置記錄下來(lái)形成信息庫(kù)；在實(shí)驗(yàn)室中進(jìn)行不同位置的環(huán)境信息采集，用于后期的粗匹配定位。

(1)指紋信息庫(kù)生成

對(duì)采集到的室內(nèi)環(huán)境圖像(大小為：640×480)進(jìn)行灰度化處理；利用分塊的方法將圖像分成8×8平均大小的子塊，通過(guò)DCT變換[5,7]和反變換[5]對(duì)各子塊進(jìn)行處理，保留其左上角4×4的系數(shù)，并利用相關(guān)系數(shù)組合成新的矩陣，此時(shí)，圖像大小縮小為320×240；按固定順序?qū)⒖s小后的4幅環(huán)境圖拼接成1280×240新矩陣D，通過(guò)白化及奇異值分解的方法[5,6]提取出圖像中的特征向量P，起到降低冗余度與降維的目的，最后，令G=PD，得到一個(gè)1280×1的全局特征向量G(具體公式推導(dǎo)請(qǐng)參見文獻(xiàn)[5-7])；顯然，每一個(gè)位置的4幅圖都可以用一個(gè)全局特征描述向量作為指紋信息來(lái)表示，多個(gè)地點(diǎn)的圖像指紋信息形成指紋信息庫(kù)。

(2)天花板信息處理

在室內(nèi)場(chǎng)景中，由于天花板的結(jié)構(gòu)較為簡(jiǎn)單，不會(huì)存在物體闖入的情況且不易受干擾，但其特征信息較少，所以需要對(duì)其進(jìn)行圖像信息處理，通過(guò)邊緣檢測(cè)算法對(duì)天花板圖像進(jìn)行邊緣提取，再通過(guò)改進(jìn)的自適應(yīng)中值濾波對(duì)圖像進(jìn)行優(yōu)化，從而將測(cè)試圖中天花板中的紋理信息提取出來(lái)，最后記錄圖像中心點(diǎn)并標(biāo)記。

1.2 定 位

采用粗匹配定位與精確定位相結(jié)合的方法，在粗匹配中縮小定位范圍，再通過(guò)精確定位在小范圍內(nèi)計(jì)算位移與偏轉(zhuǎn)角，完成定位。

(1)粗匹配定位

同生成信息庫(kù)的方法類似，對(duì)測(cè)試圖中的環(huán)境信息圖像生成指紋信息，并與指紋庫(kù)中的信息進(jìn)行對(duì)比找到匹配率最高的一組信息作為匹配結(jié)果，完成粗匹配定位。

目前特征匹配算法主要面臨著匹配精準(zhǔn)度高的方法運(yùn)行時(shí)間較長(zhǎng)，運(yùn)行速度快的匹配算法其穩(wěn)定性差的難題，一般導(dǎo)致這種情況的問(wèn)題在于鄰域一致性約束的利用，由于稀疏特征的鄰域在定義上十分復(fù)雜，一致性特征匹配的計(jì)算比較繁瑣。我們選用GMS(grid-based motion statistics for fast)[8]方法，能很好地解決這個(gè)問(wèn)題。其核心思想是憑借運(yùn)動(dòng)的平滑性使匹配的特征點(diǎn)鄰域有較多匹配的點(diǎn)，通過(guò)計(jì)算鄰域的匹配點(diǎn)個(gè)數(shù)來(lái)判斷一個(gè)匹配正確與否。

其實(shí)現(xiàn)過(guò)程如下：①將待匹配圖像分成20×20網(wǎng)格塊，對(duì)每一塊中的特征匹配個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，由于許多特征位于網(wǎng)格邊緣，為解決這種情況，采用多次計(jì)算來(lái)減少誤差，分別在 (x,y) 點(diǎn)及x和y方向上各移動(dòng)半個(gè)單元寬度的情況下進(jìn)行計(jì)算；②以3×3的網(wǎng)格為模型進(jìn)行閾值計(jì)算；③正確與錯(cuò)誤匹配的鑒別，公式如下

(1)

圖3為GMS方法的網(wǎng)格模擬，其中I1,I2,…,I9為I鄰域內(nèi)各自匹配個(gè)數(shù)；J1,J2,…,J9為J鄰域內(nèi)各自匹配個(gè)數(shù)。

圖3 網(wǎng)格

當(dāng)要判斷 {i,j} 是否為正確匹配時(shí)，將i鄰域內(nèi)的各網(wǎng)格內(nèi)的匹配數(shù)中加入其自身權(quán)重wi，從而達(dá)到自適應(yīng)性，如下式

(2)

式中：Mi為i鄰域網(wǎng)格中匹配數(shù)的中值，gik表示為鄰域中各網(wǎng)格位置的匹配數(shù)(k=1,2,…,9)，Ti公式如下

(3)

式中：N為3×3網(wǎng)格的格數(shù)9。

將式(2)與式(3)整合后公式為

(4)

再將ni代入回式(1)進(jìn)行鑒別運(yùn)算。

如圖4所示，我們通過(guò)3種優(yōu)化算法對(duì)ORB[9]特征匹配結(jié)果進(jìn)行優(yōu)化，由圖4(a)可以看出ORB特征匹配算法匹配對(duì)的線條相互交錯(cuò)，存在較多的錯(cuò)誤匹配；傳統(tǒng)的RANSAC[10]優(yōu)化方法雖排除了一些錯(cuò)誤匹配，但仍然有錯(cuò)誤的匹配沒有被優(yōu)化掉，圖4(b)中依舊可以看到交錯(cuò)的匹配對(duì)；圖4(c)中GMS優(yōu)化方法很好的將所有的錯(cuò)誤匹配排除掉，匹配對(duì)之間較為順滑，方向較為一致，但匹配對(duì)的數(shù)量較少，許多正確的匹配已被誤處理掉；而圖4(d)中的匹配對(duì)不僅數(shù)量較多，而且較為順滑，可以看出本文提出的改進(jìn)的GMS優(yōu)化方法不但可以抑制錯(cuò)誤匹配，而且盡可能保留更多的正確匹配。

圖4 匹配優(yōu)化對(duì)比

(2)精確定位

通過(guò)對(duì)測(cè)試圖像中的天花板圖像進(jìn)行處理，得到其紋理特征與圖像中心點(diǎn)坐標(biāo)并進(jìn)行標(biāo)記，再運(yùn)用σ=1.5的高斯函數(shù)對(duì)梯度做平滑處理，減小噪點(diǎn)影響，通過(guò)Harris關(guān)鍵點(diǎn)檢測(cè)算法來(lái)提取測(cè)試圖與匹配結(jié)果圖中的關(guān)鍵點(diǎn)，利用ANMS[11]方法對(duì)得到的關(guān)鍵點(diǎn)進(jìn)行擇優(yōu)，再通過(guò)改進(jìn)的GMS對(duì)匹配后的結(jié)果進(jìn)行優(yōu)化，從而達(dá)到最佳的匹配結(jié)果，將最佳匹配結(jié)果作為兩圖之間關(guān)系模型，通過(guò)透視變換將匹配得到的原數(shù)據(jù)集中的天花板信息與測(cè)試圖像中的天花板信息進(jìn)行融合、拼接[12]，從而得到一張包含兩張圖像信息的融合圖。因?yàn)橥敢曌儞Q[13]是利用透視中心、像點(diǎn)、目標(biāo)點(diǎn)3點(diǎn)共線的原理，經(jīng)過(guò)透視變換后原圖中的直線關(guān)系在變換后的圖中依舊可以維持(透視變換原理請(qǐng)參照文獻(xiàn)[13])。再對(duì)融合圖像進(jìn)行圖像處理找到融合圖像中原兩幅圖像的相應(yīng)點(diǎn)，計(jì)算融合圖像中的原兩幅圖像中心點(diǎn)位置，通過(guò)式(5)得到兩點(diǎn)之間的距離，即為其位移

(5)

最后通過(guò)變換矩陣來(lái)計(jì)算疊加后測(cè)試圖圖像的4個(gè)角點(diǎn)坐標(biāo)值，對(duì)任意相鄰兩角點(diǎn)求Δx，Δy，通過(guò)式(6)計(jì)算偏轉(zhuǎn)角

(6)

通過(guò)檢測(cè)融合后圖像中原兩幅圖像中的圖像中心位置差來(lái)計(jì)算位移差，兩張圖像融合的透視變換矩陣來(lái)計(jì)算機(jī)器人當(dāng)前的偏轉(zhuǎn)角度，從而實(shí)現(xiàn)精確定位，其整體流程如圖5所示。

圖5 精確定位流程

2 實(shí) 驗(yàn)

本實(shí)驗(yàn)中的室內(nèi)環(huán)境選用的是占地面面積為60 m2、高度為2.8 m的實(shí)驗(yàn)室場(chǎng)地，通過(guò)在室內(nèi)12個(gè)不同的位置進(jìn)行相關(guān)的信息采集，分別獲取當(dāng)前位置的四周環(huán)境4張圖像與天花板1張圖像作為當(dāng)前位置的相關(guān)信息，然后在實(shí)驗(yàn)室任意一個(gè)位置采集相關(guān)數(shù)據(jù)作為測(cè)試用例，并通過(guò)場(chǎng)景中闖入行人的方式，驗(yàn)證算法對(duì)場(chǎng)景存在局部變化的魯棒性。

2.1 室內(nèi)定位

將測(cè)試圖像生成指紋信息與指紋庫(kù)中的信息進(jìn)行比較，得到匹配度最高的一組數(shù)據(jù)完成粗匹配，再對(duì)天花板進(jìn)行處理計(jì)算位移與偏轉(zhuǎn)角，如圖6所示。

圖6 本文定位方法結(jié)果

在室內(nèi)12個(gè)不同位置采集圖像集并生成指紋信息，將測(cè)試信息圖6(a)與指紋庫(kù)信息進(jìn)行粗匹配，得到的匹配結(jié)果如圖6(b)所示，相應(yīng)的指紋匹配結(jié)果如圖6(c)所示。

將測(cè)試圖中的天花板圖與匹配結(jié)果圖中的天花板圖相融合，如圖6(d)所示。其中虛線為融合后天花板中原測(cè)試圖與匹配結(jié)果圖的圖像邊界，圓點(diǎn)為兩幅圖像的中心點(diǎn)，通過(guò)計(jì)算兩點(diǎn)間距離得到位移為distance≈204.6 cm。

為進(jìn)一步驗(yàn)證本實(shí)驗(yàn)方法在室內(nèi)定位中的性能，我們使用廣泛應(yīng)用于特征提取與匹配的pHash[14]、ORB與指紋方法進(jìn)行對(duì)比實(shí)驗(yàn)分析。其中ORB是局部特征提取方法，pHash是全局特征提取方法。對(duì)采集間隔為10 cm的連續(xù)圖像進(jìn)行測(cè)試，來(lái)測(cè)試定位的準(zhǔn)確度，圖7(a)、圖7(b)分別為測(cè)試圖像與匹配結(jié)果圖像。通過(guò)測(cè)量發(fā)現(xiàn)測(cè)試圖與匹配圖結(jié)果之間的實(shí)際距離仍然存在10 cm的誤差，我們將在下一步的精確定位中進(jìn)一步抑制該誤差。

圖7 匹配結(jié)果對(duì)比

圖8為上述3種方法的粗匹配精度對(duì)比。其中，橫軸表示不同位置采集到的圖像集，ORB的縱軸表示匹配點(diǎn)個(gè)數(shù)，pHash與指紋方法的縱軸都表示匹配度。

圖8 粗匹配結(jié)果對(duì)比

通過(guò)精確定位計(jì)算，測(cè)得融合后天花板中原測(cè)試圖與匹配結(jié)果圖的圖像中心點(diǎn)，兩點(diǎn)間的橫坐標(biāo)距離差為dx=9.0 cm，兩點(diǎn)間縱坐標(biāo)距離差為dy=0.5 cm，兩點(diǎn)間距離為distance≈9.0 cm。

對(duì)以上多組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對(duì)比，結(jié)果見表1。表中A表示測(cè)試圖在指紋庫(kù)中得到最優(yōu)匹配圖像的序號(hào)，B表示匹配成功的點(diǎn)對(duì)數(shù)量。顯然兩圖位置越接近該數(shù)量越大。C代表測(cè)試圖像與指紋庫(kù)中最優(yōu)匹配圖像的匹配相關(guān)系數(shù)，其值越大，表示兩圖之間距離越小。D代表距離差，單位為厘米。H表示為應(yīng)該匹配到的正確序號(hào)。ORB、pHash、指紋的誤差為單位向量，精確度到分米，而本文的誤差可以精確到厘米。

由表1中的數(shù)據(jù)可以看出本文的方法更精確，誤差值在4 cm之內(nèi)；由于ORB算法對(duì)變化較少的連續(xù)圖像無(wú)法較好的區(qū)分，容易產(chǎn)生誤判情況[9]，因此當(dāng)圖像采集的越密集，其間相似度越高時(shí)，ORB匹配誤差也就越大；pHash算法是對(duì)整張圖像進(jìn)行匹配,當(dāng)室內(nèi)環(huán)境變化較小時(shí)，其區(qū)分效果較差，從而使其準(zhǔn)確率下降；指紋匹配由圖像采集密集度來(lái)決定準(zhǔn)確率，當(dāng)圖像越密集時(shí)，其精度越高，從而也說(shuō)明其內(nèi)部數(shù)據(jù)較多，前期工作量大；而本文的方法受圖像的密集度影響較小，且有著較高的精準(zhǔn)度。

表1 匹配結(jié)果對(duì)比

為驗(yàn)證本文的計(jì)算效率，對(duì)以上多組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行粗匹配計(jì)算效率對(duì)比，在Matlab2016編程環(huán)境下運(yùn)行，并得出不同方法的匹配準(zhǔn)確率(正確的匹配次數(shù)與實(shí)驗(yàn)的總結(jié)果次數(shù)之比)與每組數(shù)據(jù)的平均匹配時(shí)間，見表2。

表2 計(jì)算效率對(duì)比

由表2可以看出ORB方法耗時(shí)最少，由于ORB方法采用了實(shí)現(xiàn)簡(jiǎn)單的FAST特征點(diǎn)檢測(cè)法，但其準(zhǔn)確率較低。pHash與本文的方法都可以通過(guò)一個(gè)矩陣來(lái)描述一幅圖像的特征，匹配時(shí)只需計(jì)算矩陣的相關(guān)性，從而節(jié)省大量時(shí)間，但本文方法的準(zhǔn)確率上高于其它方法。

上述室內(nèi)實(shí)驗(yàn)是在開燈狀態(tài)下進(jìn)行的測(cè)試。下面，我們?cè)賹?duì)關(guān)燈下的情況進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證光照變化對(duì)本實(shí)驗(yàn)的影響，如圖9所示。

圖9 光照對(duì)比結(jié)果

通過(guò)實(shí)驗(yàn)測(cè)得融合后天花板中原測(cè)試圖與匹配結(jié)果圖的圖像中心點(diǎn)的坐標(biāo)，兩點(diǎn)間的橫坐標(biāo)距離差為dx=10.6 cm，兩點(diǎn)間縱坐標(biāo)距離差為dy=1.4 cm，其距離為distance≈11.5 cm。 由計(jì)算結(jié)果可以看出光照對(duì)本實(shí)驗(yàn)影響較小，在不開燈的情況下，本方法依舊可以完成精確定位。

為驗(yàn)證本文方法的適應(yīng)性，在90 m2的室內(nèi)環(huán)境中進(jìn)行定位實(shí)驗(yàn)，將測(cè)試圖如圖10(a)輸入定位系統(tǒng)中得到的粗匹配結(jié)果如圖10(b)所示，兩圖之間的位置距離相差20 cm，經(jīng)過(guò)精確定位后得到的位移為distance≈19.4 cm。

由于室內(nèi)存在人流穿梭、物體突然闖入等情況，所以對(duì)此情況進(jìn)行行人闖入對(duì)比實(shí)驗(yàn)，驗(yàn)證本文方法的適應(yīng)性，實(shí)驗(yàn)結(jié)果如圖11所示。

圖10 匹配結(jié)果對(duì)比

圖11 行人闖入情況的場(chǎng)景4

通過(guò)本文的精確定位，計(jì)算得到的位移值為distance≈18.4 cm。 由圖12可以看出3種方法的粗匹配結(jié)果與正確的匹配位置4都有所偏差，其中每個(gè)圖像集序列之間間隔為10 cm。ORB、pHash、指紋的方法在遇到測(cè)試圖與其自身數(shù)據(jù)集圖像的差異較大時(shí)其匹配效果較差，而本文的方法經(jīng)過(guò)精確定位后可以計(jì)算出粗定位的誤差值，較為準(zhǔn)確完成最終定位,從而改善周圍環(huán)境變化對(duì)定位準(zhǔn)確度的影響。

圖12 粗匹配結(jié)果對(duì)比

為驗(yàn)證行人闖入場(chǎng)景中面積大小對(duì)本實(shí)驗(yàn)粗匹配精度影響，在上述行人闖入實(shí)驗(yàn)中場(chǎng)景4的環(huán)境下，以3號(hào)相機(jī)為例，在其視野中增加多種面積的行人闖入情況。如圖13 所示，其中圖13(a)～圖13(h)表示不同行人闖入面積大小的效果，通過(guò)粗匹配定位計(jì)算得到相應(yīng)的匹配結(jié)果值，并將在場(chǎng)景4得到的不同匹配度進(jìn)行匯總，結(jié)果如圖14所示，其中圖像序列集為上述8種不同面積大小的行人闖入情況。由粗匹配結(jié)果可以看出當(dāng)遮擋面積較大時(shí)，粗匹配精度較差。

2.2 偏轉(zhuǎn)角

對(duì)測(cè)試圖與匹配結(jié)果圖進(jìn)行特征提取并將兩幅圖中的相同位置進(jìn)行疊加，通過(guò)相應(yīng)的變換矩陣計(jì)算偏轉(zhuǎn)角。

圖13 場(chǎng)景中存在行人闖入情況

圖14 粗匹配結(jié)果

手動(dòng)將機(jī)器人分別順時(shí)針旋轉(zhuǎn)30°、45°、60°來(lái)計(jì)算偏轉(zhuǎn)角度，計(jì)算結(jié)果如圖15所示。再將本文的方法與目前常用的改進(jìn)相位相關(guān)[15,16]計(jì)算偏轉(zhuǎn)角的方法進(jìn)行對(duì)比，對(duì)比結(jié)果見表3。

由表3可以看出基于相位相關(guān)的方法計(jì)算偏轉(zhuǎn)角度誤差較大，并且隨著偏轉(zhuǎn)角度逐漸變大，誤差變的更大；而本文基于特征匹配及透視變換的方法可以較好的將誤差值控制在2.4°之內(nèi)，且誤差不會(huì)隨著偏轉(zhuǎn)角度越大而明顯增長(zhǎng)。

3 結(jié)束語(yǔ)

針對(duì)室內(nèi)真實(shí)場(chǎng)景進(jìn)行定位操作，本文提出了一種由粗匹配到精確定位的室內(nèi)機(jī)器人視覺定位方法，較好地解

圖15 系統(tǒng)測(cè)得偏轉(zhuǎn)角為30.4°、46.1°、59.2°

表3 視覺定位偏轉(zhuǎn)角度/°

決了在室內(nèi)定位中由于行人闖入、亮度變化等情況發(fā)生時(shí)定位精確度變差的問(wèn)題。該方法是建立在改進(jìn)的GMS算法的基礎(chǔ)上而實(shí)現(xiàn)的，通過(guò)指紋的方法對(duì)室內(nèi)位置進(jìn)行粗匹配，再通過(guò)對(duì)相應(yīng)天花板中的信息進(jìn)行自適應(yīng)GMS的匹配、疊加、旋轉(zhuǎn)等操作將粗匹配結(jié)果進(jìn)一步求精，從而達(dá)到精確定位的目標(biāo)。分析實(shí)驗(yàn)結(jié)果可以得到，本文提出的定位方法，在高度為2.8 m的室內(nèi)場(chǎng)景中定位誤差在4 cm之內(nèi)，偏轉(zhuǎn)角度誤差在2.4°之內(nèi)，達(dá)到了較高的室內(nèi)精度標(biāo)準(zhǔn)。