應(yīng)用于無人機(jī)視頻影像密集匹配的特征描述方法

魏云鵬 趙紅穎 辛甜甜 鄭鴻云

?

應(yīng)用于無人機(jī)視頻影像密集匹配的特征描述方法

魏云鵬 趙紅穎?辛甜甜 鄭鴻云

北京大學(xué)遙感與地理信息研究所, 北京 100871; ? 通信作者, E-mail: zhaohy@pku.edu.cn

為了降低無人機(jī)視頻影像密集匹配的消耗時(shí)間, 提高處理效率, 提出快速的特征描述和特征匹配方法。該方法首先利用Harris算子檢測角點(diǎn), 然后通過特征描述符simplified-DASIY (S-DASIY)對檢測角點(diǎn)進(jìn)行特征描述, 生成該點(diǎn)的 25 維特征描述符。根據(jù)相應(yīng)的匹配準(zhǔn)則對影像對特征點(diǎn)進(jìn)行匹配, 得到影像對的匹配點(diǎn)。實(shí)驗(yàn)表明, 該方法能夠顯著減少特征點(diǎn)的生成和匹配時(shí)間。

無人機(jī); 密集匹配; 特征描述符; 視頻影像

圖像匹配是在兩幅或多幅圖像之間尋找同名匹配點(diǎn), 是圖像融合、圖像配準(zhǔn)、三維重建和模式識(shí)別的基礎(chǔ), 在計(jì)算機(jī)視覺、數(shù)字?jǐn)z影測量、遙感、地圖學(xué)以及軍事技術(shù)等諸多領(lǐng)域有廣泛應(yīng)用[1–4]。圖像匹配的方法一般分為基于灰度相關(guān)的匹配算法和基于特征的匹配算法。基于灰度相關(guān)的匹配算法中較為常用的是塊匹配法[5]、比值匹配法[6]和網(wǎng)格匹配法[7]。塊匹配法精度受模塊大小影響, 模塊較大時(shí)精度較高, 同時(shí)時(shí)間消耗也很大; 比值匹配法精度比較低; 網(wǎng)格匹配法分為粗匹配和精匹配, 在粗匹配基礎(chǔ)上再進(jìn)行精匹配, 從而要求粗匹配精度要高, 這樣才能保證精匹配精度。基于灰度相關(guān)的匹配算法的計(jì)算量比較大, 不同光照條件對圖像灰度的影響非常大, 直接影響匹配精度。基于特征的匹配算法是通過圖像的特征進(jìn)行匹配, 不僅根據(jù)圖像的灰度信息, 也結(jié)合圖像中一些點(diǎn)的結(jié)構(gòu)信息。典型的特征提取和特征匹配算法有 Susan 算子[8]、Harris 算子[9]和 SIFT 算子[10]等。SIFT 及其改進(jìn)的SURF[11]、Affine-SIFT[12]、GLOH[13]、PCA-SIFT[14]、DASIY[15]系列算子通過建立尺度空間以及統(tǒng)計(jì)區(qū)域極值點(diǎn)的梯度方向直方圖, 構(gòu)建高維的特征描述符, 其匹配精度最高, 但計(jì)算量非常大。DASIY 算子[15]比較適合稠密匹配, 速度比 SIFT 快很多, 但只適用于寬基線的影像稠密匹配。由于無人機(jī)拍攝的影像對之間的基線非常小, DASIY 算子不適用。

密集匹配是三維重建的必要前提, 是在兩幅圖像之間為每個(gè)像素確定對應(yīng)的像素, 建立稠密對應(yīng)場[16]。但是, 對于真實(shí)的影像對來說, 由于拍攝位置不同, 使得影像對之間存在遮蔽現(xiàn)象, 即有些像素點(diǎn)在相應(yīng)的影像對圖像中并不存在對應(yīng)點(diǎn)。對于此類遮蔽問題, 一般多采用設(shè)立約束條件的方法來解決。常見的約束條件有極線約束、相容性約束、唯一性約束、連續(xù)性約束、順序性約束、視差梯度約束等[16]。在不同情況下, 不同傳感器獲得的數(shù)據(jù)特征及存在問題各不相同, 目前還沒有發(fā)現(xiàn)一種適合任何數(shù)據(jù)的通用匹配方法, 因此需根據(jù)不同的數(shù)據(jù), 選擇與之相適應(yīng)的約束策略。

在無人機(jī)密集匹配方面, 蔡龍洲等[17]通過改進(jìn)FAST算法來提取特征點(diǎn), 并利用RANSAC計(jì)算單應(yīng)矩陣, 再利用極線約束和單應(yīng)約束, 通過歸一化互相關(guān)關(guān)系, 穩(wěn)健匹配出所有點(diǎn); 王競雪等[18]利用像方特征點(diǎn)和物方面元兩種匹配基元, 通過多視影像進(jìn)行選擇性匹配, 實(shí)現(xiàn)密集匹配。由于無人機(jī)視頻圖像密集匹配或準(zhǔn)密集匹配需要處理的數(shù)據(jù)量非常大, 因此要完成相應(yīng)的密集匹配, 必須提高匹配的效率, 減少匹配所消耗的時(shí)間。本文提出一種適用于無人機(jī)視頻圖像的特征描述和特征匹配方法, 該方法利用 Harris 算子檢測角點(diǎn), 之后生成角點(diǎn)的特征描述符并完成初匹配, 最后進(jìn)行密集匹配, 生成密集匹配點(diǎn)對。

1 無人機(jī)視頻影像密集匹配

1.1 無人機(jī)視頻影像特點(diǎn)

無人機(jī)航拍視頻影像與衛(wèi)星影像數(shù)據(jù)的區(qū)別表現(xiàn)在 3 個(gè)方面: 1) 拍攝高度低, 多在幾百米高度飛行, 單幀圖像視場較小, 所包含的地物較少; 2) 視頻圖像幀間重疊度高, 圖像數(shù)據(jù)量比較大; 3) 圖像的分辨率普遍較高, 對地物內(nèi)部紋理信息表達(dá)清晰, 能夠提供豐富的地物信息。

1.2 無人機(jī)視頻影像密集匹配技術(shù)流程

密集匹配流程如圖1所示。在無人機(jī)視頻影像密集匹配過程中, 首先輸入一對無人機(jī)視頻影像(左/右遙感影像); 利用 Harris角點(diǎn)檢測算子, 檢測每幅影像的角點(diǎn), 并利用 S-DASIY算子, 生成每個(gè)角點(diǎn)的特征描述符, 通過相應(yīng)的匹配規(guī)則, 完成左/右影像特征點(diǎn)的初匹配, 得到初匹配特征點(diǎn)對, 以初匹配特征點(diǎn)為種子點(diǎn), 進(jìn)行特征點(diǎn)生長, 最終得到密集匹配的特征點(diǎn)對。

在匹配過程中考慮到的技術(shù)問題如下。

1) Harris算子提取的角點(diǎn)。角點(diǎn)是圖像的局部特征, 具有旋轉(zhuǎn)和仿射不變性, 幾乎不受光照條件的影響, 且在圖像中占的比例很小。在沒有嚴(yán)重丟失圖像信息的情況下, 角點(diǎn)所處理的信息量很小, 提取角點(diǎn)消耗的時(shí)間也很少。本文在對圖像進(jìn)行Harris 角點(diǎn)檢測時(shí), 設(shè)定檢測窗口為 3×3, 如果檢測點(diǎn)為 3×3 鄰域內(nèi)角點(diǎn)響應(yīng)函數(shù)的極值點(diǎn), 若該響應(yīng)函數(shù)值大于設(shè)定的閾值, 則該點(diǎn)為角點(diǎn)。

2) S-DASIY特征檢測與特征描述。

3) 特征點(diǎn)的匹配規(guī)則以及特征點(diǎn)生長和約束條件。

2 S-DASIY特征檢測與特征描述方法

DASIY 算子特征描述可用于寬基線影像的稠密匹配, 能大大提高匹配速度, 并保證匹配精度。但是, 對于無人機(jī)視頻圖像來說, 由于數(shù)據(jù)量非常大, 要想完成密集匹配, 需進(jìn)一步減少特征提取和匹配所消耗的時(shí)間。受 DASIY 描述符的設(shè)計(jì)啟發(fā), 本文針對無人機(jī)視頻影像這一密集圖像數(shù)據(jù)源, 設(shè)計(jì)一種快速簡單的特征描述符S-DASIY。

因?yàn)闊o人機(jī)視頻圖像幀之間的基線很小, 影像對中特征點(diǎn)變化比較小, 所以 S-DASIY 描述符沒有在尺度空間上進(jìn)行特征點(diǎn)的提取和描述, 而是直接通過圖像的灰度信息和結(jié)構(gòu)信息對特征進(jìn)行描述。S-DASIY 特征描述方法如圖 2 所示。計(jì)算點(diǎn)特征描述符的步驟如下。

1) 計(jì)算點(diǎn)的點(diǎn)梯度:

梯度的模為

, (2)

梯度的方向角為

2) 統(tǒng)計(jì)點(diǎn)5×5鄰域內(nèi)0°, 90°, 180°和 270°共4個(gè)方向上的4個(gè)點(diǎn)(圖2中B1, B2, B3和B4)的梯度主方向(梯度主方向均分為8個(gè)方向), 每個(gè)點(diǎn)梯度主方向的統(tǒng)計(jì)范圍為每個(gè)點(diǎn)的3×3鄰域。

3) 統(tǒng)計(jì)點(diǎn) 9×9 鄰域內(nèi) 0°, 45°, 90°, 135°, 180°, 225°, 270°和315°共8個(gè)方向上的8個(gè)點(diǎn)(B5, B6, B7, B8, B9, B10, B11和B12)的梯度主方向(梯度主方向均分為8個(gè)方向)。

其中,=(1, 2, …, 12) 代表 12 個(gè)不同的點(diǎn),為梯度方向,1, …,8為8個(gè)不同的梯度方向。

4) 統(tǒng)計(jì)上述12個(gè)點(diǎn)的梯度主方向, 得到點(diǎn)的梯度主方向(圖2中箭頭所示)。以點(diǎn)梯度主方向?yàn)檩S, 對上述 12 個(gè)周圍點(diǎn)的梯度主方向進(jìn)行調(diào)整, 得到 12 個(gè)點(diǎn)的特征方向, 即 12 個(gè)點(diǎn)的梯度主方向與點(diǎn)梯度主方向的夾角(沿順時(shí)針方向)。

特征點(diǎn)的梯度主方向T為

獲得T后, 調(diào)整, 以消除圖像旋轉(zhuǎn)對特征描述的影響, 即以T為軸獲得:

, (6)

圖3為特征點(diǎn)梯度主方向統(tǒng)計(jì)的過程。

其中,G為點(diǎn)的點(diǎn)梯度,對應(yīng)于每個(gè)點(diǎn) 3×3 區(qū)域內(nèi)()梯度主方向上的像素個(gè)數(shù)。

在無人機(jī)圖像中,

(8)

其中,(,)為點(diǎn)梯度的模,為點(diǎn)的梯度,為圖像點(diǎn)的灰度值。

特征點(diǎn)描述過程中所選的 12 個(gè)周圍點(diǎn)均勻分布在特征點(diǎn)各個(gè)方向上, 這樣可以很好地統(tǒng)計(jì)特征點(diǎn)周圍的特征。以統(tǒng)計(jì)的特征點(diǎn)梯度主方向?yàn)榛鶞?zhǔn), 重新調(diào)整12個(gè)點(diǎn)的梯度主方向, 確保生成的特征描述符具有旋轉(zhuǎn)不變性, 消除圖像旋轉(zhuǎn)、抖動(dòng)帶來的影響, 使得對特征點(diǎn)對的描述更具相似性和唯一性。

3 特征點(diǎn)匹配與生長

在密集匹配過程中, 首先利用主運(yùn)動(dòng)約束來估計(jì)無人機(jī)影像對之間的相對運(yùn)動(dòng)量, 完成影像對間特征點(diǎn)的初匹配; 然后通過初匹配得到的匹配點(diǎn)計(jì)算出影像對之間的單應(yīng)矩陣和基本矩陣; 最后通過單應(yīng)約束和極限約束實(shí)現(xiàn)特征點(diǎn)生成, 生長的種子點(diǎn)為初匹配所得到的匹配點(diǎn)。

3.1 特征初匹配

3.1.1 主運(yùn)動(dòng)約束

對于小型無人機(jī)拍攝的視頻圖像, 主運(yùn)動(dòng)約束通過視頻圖像幀相對運(yùn)動(dòng)來估計(jì)無人機(jī)的全局運(yùn)動(dòng)。主運(yùn)動(dòng)約束在無人機(jī)電子穩(wěn)像、運(yùn)動(dòng)目標(biāo)識(shí)別等領(lǐng)域應(yīng)用廣泛。無人機(jī)運(yùn)動(dòng)估計(jì)方法一般分為 3 類: 基于圖像塊、圖像特征和像素灰度值。基于圖像塊的運(yùn)動(dòng)估計(jì)運(yùn)算量大; 基于圖像特征的運(yùn)動(dòng)估計(jì)在特征匹配中存在一些錯(cuò)誤匹配, 影響匹配精度; 像素灰度值運(yùn)動(dòng)估計(jì)運(yùn)用圖像大量灰度信息, 且運(yùn)算比較簡單。本文采用灰度投影與塊匹配相結(jié)合的方法來估計(jì)無人機(jī)全局運(yùn)動(dòng)。

灰度投影法根據(jù)圖像灰度的總體分布變化來估計(jì)圖像序列的幀間運(yùn)動(dòng)量[19]。灰度投影方法只適用于行列方向運(yùn)動(dòng)估計(jì), 對于存在旋轉(zhuǎn)的視頻圖像計(jì)算精度不高, 故通過選擇若干個(gè) 16×16 個(gè)大小的圖像塊來估算視頻圖像幀之間的旋轉(zhuǎn)角度。

圖 4 中,,,,和為圖像標(biāo)記物(大小為16×16), 圖像發(fā)生旋轉(zhuǎn)后, 上述 5 個(gè)標(biāo)記位置變?yōu)?,,和。

我們利用上述方法估計(jì)無人機(jī)視頻圖像幀之間的全局運(yùn)動(dòng), 通過該運(yùn)動(dòng)來限制圖像對應(yīng)點(diǎn)的匹配區(qū)域。這樣, 既可以減少匹配時(shí)間, 還可以提高匹配精度。

圖4 圖像旋轉(zhuǎn)

Fig. 4 Image rotation

3.1.2 匹配規(guī)則

初匹配: 根據(jù)兩個(gè)特征點(diǎn)的 25 維特征向量的歐氏距離, 判別兩點(diǎn)是否為匹配點(diǎn)。25 維特征描述向量中方向特征向量和數(shù)量特征向量分別采用不同的距離閾值來限制。具體規(guī)則如下: 1) 計(jì)算待匹配特征點(diǎn)之間25維特征向量中前 13 維特征向量的歐氏距離; 2) 計(jì)算待匹配特征點(diǎn)間最后12 維特征向量的歐氏距離; 3) 若前兩者計(jì)算的歐氏距離都小于規(guī)定閾值, 則確認(rèn)此兩點(diǎn)為匹配點(diǎn)。

初匹配過程中閾值選擇: 規(guī)則 1 中閾值取 15, 規(guī)則 2 中閾值取 8。閾值的確定主要考慮 25 維特征描述向量中方向特征和數(shù)量特征, 相比較的兩個(gè)特征點(diǎn)的25維特征描述向量歐氏距離越短(對應(yīng)閾值越小), 表明特征越相近, 匹配的概率越大, 但閾值太小, 相應(yīng)的匹配點(diǎn)對數(shù)量會(huì)降低, 因此閾值確定需要考慮匹配精度和匹配點(diǎn)對數(shù)量雙重因素。本文采用的閾值是通過多組無人機(jī)視頻影像數(shù)據(jù)匹配試驗(yàn)所得到的經(jīng)驗(yàn)值, 規(guī)則1中閾值(15)比規(guī)則1 中閾值(8)大, 主要是受到點(diǎn)梯度特征向量的影響。

3.2 密集匹配

3.2.1 極幾何約束和單應(yīng)約束

1) 極幾何約束。

極幾何是同一場景兩幅圖像之間的幾何關(guān)系, 它獨(dú)立于場景結(jié)構(gòu), 只與相機(jī)內(nèi)、外部參數(shù)有關(guān)[16]。

對于左圖像極線, 在右圖像上存在對應(yīng)極線; 對于上一點(diǎn),在上都存在一點(diǎn)與之對應(yīng)(), 根據(jù)極幾何約束關(guān)系, 基本矩陣滿足:

。 (11)

可以得到基本矩陣的關(guān)系式:T=0。

2) 單應(yīng)約束。

計(jì)算圖像間變換單應(yīng)矩陣的目的是實(shí)現(xiàn)圖像之間對應(yīng)點(diǎn)的坐標(biāo)轉(zhuǎn)換。相機(jī)在不同位置對空間中同一場景進(jìn)行拍攝, 獲取不同角度的圖像。以兩幅圖像和(視頻中對應(yīng)為每一幀圖像)為例,和兩幅圖像上相應(yīng)位置上的點(diǎn)=(1,1, 1)T與=(2,2, 1)T之間存在如下對應(yīng)關(guān)系:

其中,為非零常數(shù),為單應(yīng)矩陣。

在本文中, 通過初匹配獲得影像對, 再通過RANSAC方法消除部分誤匹配點(diǎn), 并解算左/右像對對應(yīng)的基本矩陣以及影像對之間的單應(yīng)矩陣。通過左/右極線的對應(yīng)關(guān)系(基本矩陣)以及左/右像點(diǎn)對應(yīng)關(guān)系(單應(yīng)矩陣)來限制影像對特征點(diǎn)的匹配范圍, 減少匹配誤差, 提高后續(xù)密集匹配的精度。

3.2.2 特征點(diǎn)生長

密集匹配點(diǎn)對需要從初匹配的點(diǎn)對中生長而來, 在點(diǎn)對生長過程中, 利用極幾何約束和單應(yīng)約束條件, 縮小影像對之間特征點(diǎn)匹配的搜索區(qū)域, 以減少特征點(diǎn)匹配所消耗的時(shí)間。以圖 6 為例, 在左圖像中點(diǎn)為初匹配的特征點(diǎn), 在點(diǎn) 3×3 的鄰域范圍內(nèi)尋找與點(diǎn)差值最大的兩個(gè)點(diǎn)和, 通過基本矩陣和單應(yīng)矩陣分別計(jì)算和在右圖像的位置區(qū)域。右圖像中 3 條平行線為點(diǎn)對應(yīng)的極線,′是通過單應(yīng)矩陣得到的點(diǎn)對應(yīng)點(diǎn)。極線垂直方向上 2 個(gè)像素區(qū)域與′圓形區(qū)域(半徑為 2 個(gè)像素)間的重疊區(qū)域?yàn)辄c(diǎn)在右圖像上的匹配區(qū)域, 即在該區(qū)域內(nèi)尋找與點(diǎn)相匹配的點(diǎn)。點(diǎn)也進(jìn)行相應(yīng)的處理, 其對應(yīng)的匹配區(qū)域在右圖像上未標(biāo)出。

特征點(diǎn)匹配的過程中依然采用特征描述符 S-DASIY以及前文所述的匹配規(guī)則。將新匹配的點(diǎn)對加入到種子點(diǎn)中, 依次生長, 直到?jīng)]有新的匹配點(diǎn)為止。

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)為小型無人機(jī)拍攝的航空視頻影像。實(shí)驗(yàn)中采用 3 組影像數(shù)據(jù)(圖 7), 分辨率分別為 1280×720, 1600×1200 和 1920×1088。實(shí)驗(yàn)中使用的計(jì)算機(jī)配置為: 處理器, Intel(R) Core(TM)2 Duo CPU E7300 @2.66 GHz; 內(nèi)存(RAM), 4 G; 顯卡, NVIDIA GeForce 9800 GT; 操作系統(tǒng): windows7 64位; 程序運(yùn)行平臺(tái), Microsoft Visual Studio 2010。

4.2 實(shí)驗(yàn)步驟

本實(shí)驗(yàn)對無人機(jī)視頻圖像進(jìn)行處理, 實(shí)現(xiàn)密集匹配。具體實(shí)驗(yàn)步驟: 1) 首先輸入無人機(jī)視頻圖像的相鄰圖像幀, 進(jìn)行去噪處理; 2) 運(yùn)用灰度投影與塊匹配相結(jié)合的方法來估計(jì)主運(yùn)動(dòng); 3) 利用 Harris角點(diǎn)檢測算法檢測角點(diǎn), 并生成角點(diǎn)的特征描述符; 4) 通過主運(yùn)動(dòng)約束完成特征點(diǎn)的初匹配; 5) 利用RANSAC 算法取出異常值, 計(jì)算基本矩陣和單應(yīng)矩陣; 6) 特征點(diǎn)生長, 實(shí)現(xiàn)密集匹配。實(shí)驗(yàn)流程如圖8所示。

4.3 實(shí)驗(yàn)結(jié)果與分析

通過 3 組實(shí)驗(yàn)數(shù)據(jù), 得到相應(yīng)的密集匹配點(diǎn)對。在主運(yùn)動(dòng)約束的情況下, 計(jì)算左圖像的每個(gè)特征點(diǎn)與右圖像相應(yīng)區(qū)域內(nèi)(10×10)特征點(diǎn)特征描述符的歐氏距離, 將距離小于閾值(本文取閾值為 15)的特征點(diǎn)確認(rèn)為匹配點(diǎn), 最終得到初匹配點(diǎn)對。3組數(shù)據(jù)中: 1280×720 數(shù)據(jù)檢測到的角點(diǎn)比較少, 是因?yàn)榈匚锉尘氨容^均勻, 建筑物比較少; 在1600×1200 數(shù)據(jù)和1920×1088數(shù)據(jù)中, 角點(diǎn)個(gè)數(shù)在4000 個(gè)左右, 甚至更多(本文限制角點(diǎn)數(shù)量最多為5000 個(gè))。3 組數(shù)據(jù)的初步生長點(diǎn)對為 11000。具體的數(shù)據(jù)對比見表1。

表1 匹配點(diǎn)對個(gè)數(shù)

圖9為數(shù)據(jù)1920×1088的密集匹配結(jié)果圖。通過初步生長點(diǎn)對為種子點(diǎn), 進(jìn)行密集點(diǎn)匹配生長, 在單應(yīng)約束和極幾何約束的條件下, 3 組數(shù)據(jù)得到的密集匹配點(diǎn)對分別是1142023, 1421633 和1343420 (見表1)。

在生成特征描述符時(shí)間消耗方面, 本文選擇與處理速度比較快的 siftGPU 相比較(表 2)。siftGPU是GPU版本的SIFT描述子提取和匹配的開源程序[20], 利用大量顯卡圖形處理單元并行處理, 其運(yùn)行速度比 CPU 環(huán)境串行處理的 SIFT 提高很多, 在處理批量圖像方面速度也比其他方法快, 是當(dāng)前處理速度最快的特征提取和匹配算法之一。

對于不同分辨率視頻圖像分辨, 各選取 3 組影像對進(jìn)行比較。從表2中可以看出, S-DASIY算子在生成特征點(diǎn)消耗的時(shí)間比 siftGPU 明顯少很多。siftGPU算子在圖像建立梯度空間時(shí)消耗大量時(shí)間, 而無人機(jī)拍攝的視頻圖像, 幀與幀之間的亮度變化和幾何畸變都比較小, 因此 S-DASIY 算子沒有建立梯度空間, 而是根據(jù)特征點(diǎn)周圍的灰度信息來生成相應(yīng)的特征描述符, 減少了特征生成所消耗的時(shí)間。我們發(fā)現(xiàn), 對于分辨率 1280×720 的 3 組數(shù)據(jù)和1600×1200的 3 組數(shù)據(jù), 本文算法效率提高6倍左右; 對于分辨率 1920×1088的 3 組數(shù)據(jù)只提高2倍左右。通過分析發(fā)現(xiàn), siftGPU處理時(shí)間與圖像所生成的梯度空間所占用顯存空間大小相關(guān), 由于受圖像長寬影響, siftGPU 在處理圖像時(shí)分配內(nèi)存不同, 這就是對于 1920×1088 分辨率數(shù)據(jù), siftGPU消耗時(shí)間少的主要原因。在相同分辨率的 3 組數(shù)據(jù)中, 處理時(shí)間也會(huì)有波動(dòng), 主要與圖像所檢測到的特征點(diǎn)數(shù)量相關(guān), 即檢測到特征點(diǎn)多, 處理時(shí)間長,檢測特征點(diǎn)少, 處理時(shí)間短, siftGPU 與 S-DASIY一致。

表2 特征檢測和特征描述消耗時(shí)間

5 結(jié)論

針對無人機(jī)視頻影像大量數(shù)據(jù)的密集匹配, 本文提出快速的特征描述和特征匹配方法。該方法結(jié)合 Harris 角點(diǎn)生成特征點(diǎn)的特征描述符, 并通過匹配規(guī)則進(jìn)行匹配。在幾組不同分辨率的無人機(jī)影像對的密集匹配實(shí)驗(yàn)中, 該方法明顯減少特征生成所消耗的時(shí)間, 對于無人機(jī)視頻影像這種高重疊度、大數(shù)據(jù)量的圖像匹配重建有非常好的效果。初匹配的特征點(diǎn)數(shù)據(jù)主要受限于 Harris 角點(diǎn)數(shù)量, 影像對在極幾何約束和單應(yīng)約束的條件下進(jìn)行特征點(diǎn)生長, 得到幾萬個(gè)特征匹配點(diǎn)對, 為三維重建、DEM等提供了很好的密集點(diǎn)云數(shù)據(jù)。

參考文獻(xiàn)

[1]Zitová B, Flusser J. Image registration methods: a survey. Image and Vision Computing, 2003, 21: 977–1000

[2]Bentoutou Y, Taleb N, Kpalma K, et al. An automatic image registration for applications in remote sensing. IEEE Transactions on Geoscience and Remote Sen-sing, 2005, 43(9):2127–2137

[3]Li J M, Yan D M, Wang G, et al. An improved sift algorithm for unmanned aerial vehicle imagery. IOP Conference Series: Earth and Environmental Science, 2014, 17(1): 682–691

[4]Gong M, Zhao S, Jiao L, et al. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(7): 4328–4338

[5]李忠新. 圖像鑲嵌理論及若干算法研究[D]. 南京: 南京理工大學(xué), 2004

[6]Gupta R, Hartley R I. Linear pushbroom cameras. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(9): 963–975

[7]李志剛, 紀(jì)玉波, 薛全. 邊界重疊圖象的一種快速拼接算法. 計(jì)算機(jī)工程, 2000, 26(5): 37–38

[8]M. Smith S, M. Brady J. SUSAN — a new approach to low level image processing. International Journal of Computer Vision, 1995, 23(1): 45–78

[9]Harris C, Stephens M. A combined corner and edge detector // Proc of Fourth Alvey Vision Conference. Manchester, 1988: 147–151

[10]Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91–110

[11]Bay H, Tuytelaars T, Van Gool L. Surf: speeded up robust features // Computer Vision—ECCV 2006. Berlin: Springer, 2006: 404–417

[12]Morel J, Yu G. ASIFT: a new framework for fully affine invariant image comparison. SIAM Journal on Imaging Sciences, 2009, 2(2): 438–469

[13]Mikolajczyk K, Schmid C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615–1630

[14]Ke Y, Sukthankar R. PCA-SIFT: a more distinctive representation for local image descriptors // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC, 2004: 506-513

[15]Tola E, Lepetit V, Fua P. A fast local descriptor for dense matching // IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, 2008: 1–8

[16]鄭志剛. 高精度攝像機(jī)標(biāo)定和魯棒立體匹配算法研究[D]. 合肥: 中國科學(xué)技術(shù)大學(xué), 2008

[17]蔡龍洲, 余濤, 謝東海, 等. 基于無人機(jī)圖像的密集匹配方法研究. 測繪科學(xué), 2013, 38(5): 126-128

[18]王競雪, 朱慶, 王偉璽. 多匹配基元集成的多視影像密集匹配方法. 測繪學(xué)報(bào), 2013, 42(5): 691–698

[19]鐘鍵. 基于對極幾何的圖像匹配研究[D]. 長沙: 中南大學(xué), 2010

[20]Wu C. SiftGPU: a GPU implementation of scale invariant feature transform (SIFT) [R]. Chapel Hill, NC: University of North Carolia at Chapel Hill, 2007

Feature Description Method in Dense Matching of UAV Video Images

WEI Yunpeng, ZHAO Hongying?, XIN Tiantian, ZHENG Hongyun

Institute of Remote Sensing and Geographical Information System, Peking University, Beijing 100871; ? Corresponding author, E-mail: zhaohy@pku.edu.cn

In order to reduce the time consumption of UAV video image dense matching, and improve processing efficiency, this paper presents a fast feature description and feature matching method. The method uses Harris operator to detect corners, adopts feature descriptor S-DASIY (DASIY) to characterize detected corners and generate the 25-dimensional feature descriptor for the corners. The feature points of the images are matched in accordance with the appropriate matching criteria, to get the match points between images. Experimental results show that the proposed fast feature description and feature matching method can significantly reduce the time of generating and matching feature points.

UAV; dense matching; feature descriptor; video images

10.13209/j.0479-8023.2016.063

TP751

國家自然科學(xué)基金(41371492)資助

2015-05-31;

2015-09-02;

網(wǎng)絡(luò)出版日期: 2016-10-18