橋梁自然特征點的快速精確跟蹤算法

何雨薇,諸葛盛,徐祥鵬,鐘立軍,楊 夏,張小虎

(中山大學航空航天學院,廣東 深圳 518107)

近年來,隨著中國橋梁運輸業的迅猛發展,重載大流量的交通問題日漸突出,導致部分橋梁在設計的使用壽命期內出現結構變形,帶來嚴重的交通安全隱患[1]。為降低橋梁事故的發生概率,結構健康監測系統應運而生,并逐步成為橋梁養護的重要手段[2]。其中,橋梁撓度最能夠真實地反映橋梁結構的安全狀況,體現橋梁結構在外部載荷和環境作用下的性能及內部材料的老化情況,是橋梁健康監測中的關鍵監測參數[3]。

對于橋梁撓度測量,現有的方法均存在一定缺陷[4]。基于視覺的測量方式能夠對大跨度橋梁進行非接觸式測量,但圖像采集的最佳位置受到限制[5-9]。結合無人機快速靈活采集圖像的優勢,利用無人機測量橋梁撓度的方法可突破上述測量方法的局限性,具備成本低、精度高、實時性強、適用范圍廣等諸多優勢,已成為橋梁撓度測量領域的研究熱點[10]。在此背景下,許多學者相繼開展相關研究,提出了各種利用無人機測量建筑結構位移的方法。測量的基本原理為通過對無人機視頻中的特征點進行跟蹤,再結合其他約束條件解算結構位移[11-16]。

在上述無人機測量橋梁撓度的方法中,特征點跟蹤的速度和精度直接影響測量的實時性和有效性,是整個測量流程的關鍵環節。在進行無人機非接觸式測量橋梁撓度的研究中,筆者模擬計算分析特征點跟蹤誤差對橋梁結構位移測量誤差的影響,結果表明,對于百米跨徑內的橋梁,當跟蹤精度達到亞像素級別時,位移測量誤差小于0.3 mm,達到良好的測量效果。特征點提取精度與圖像分辨率成正比,為保證較高的特征點精度,測量時通常采用4 K高分辨率視頻數據進行特征點跟蹤,考慮測量系統實時性的需求,則期望算法的跟蹤速度達到25 FPS。

在現階段特征點跟蹤算法的研究中,文獻[11—12]采用Harris特征匹配的方法對結構特征進行跟蹤,該方法能夠較好地適應光照變化,但在大角度變化的場景下易失效。文獻[13]利用具有尺度不變性的特征變換(SIFT)對自然特征點進行跟蹤,跟蹤精度高,但特征提取與描述環節計算量較大,導致算法耗時較長。文獻[14]將加速穩健特征(SURF)檢測和二進制穩健不變可擴展關鍵點(BRISK)特征描述的方法相結合,通過KNN和RANSAC實現特征匹配,大幅度提升算法速度,然而跟蹤精度有所下降。文獻[15]開發了一種基于顏色的檢測技術,可簡單、快速地實現目標識別跟蹤,該方法需預先布設顏色標志點,難以快速移植到其他應用場景。

綜上所述,現有的特征點跟蹤算法難以同時兼顧速度和精度,或依賴于標志點布設,適用范圍有限。因此,研究一種橋梁自然特征點的快速精確跟蹤算法十分有必要。本文首先通過SURF特征匹配得到圖像序列特征點的初步定位結果,然后使用相位相關法對特征點進行精確配準,并提出一種基于無人機運動連續性的加速策略,用于橋梁自然特征點跟蹤。

1 算法理論

1.1 橋梁自然特征點

算法的跟蹤目標是橋梁自然特征點,具體是指在室外場景下拍攝的和橋梁側壁上的自然特征點,主要包括以橋梁建筑結構相關的自然特征點和與橋梁表面紋理相關的自然特征點,如圖1所示。

圖1 橋梁的自然特征點

橋梁側壁上的自然特征點與橋梁結構固聯,利用特征點跟蹤技術,可以計算橋梁的結構位移。橋梁自然特征點穩定、易觀測,便于圖像數據采集,特征點周圍紋理信息豐富,有利于保證跟蹤的穩定性與精度。與人工標志相比,自然特征點可以直接從橋梁的建筑結構及表面紋理上獲取,無需設計與施工,獲取范圍廣,獲取方式簡單。脫離標志的自然特征點跟蹤可以簡化測量流程,有助于將測量系統移植于其他大型建筑的測量,對基于視覺的建筑測量方法具有重要意義。

1.2 SURF特征匹配

利用無人機對橋梁結構進行圖像采集時,無人機自身的運動導致相機發生平移和視角轉動。SIFT和SURF均具有旋轉、尺度不變性,相較于Harris和ORB等匹配方法能夠更好地適用于無人機圖像采集的場景。SURF在SIFT的基礎上優化了計算流程,在匹配速度上更有優勢[17-18]。本文采用SURF對無人機視頻中的序列圖像進行粗匹配,主要步驟包括特征檢測、特征描述和特征匹配。

(1)特征檢測。SURF通過建立尺度空間提取具有旋轉、尺度不變性的特征點。首先建立積分圖像,對輸入圖像做二階高斯微分卷積處理,計算Hessian矩陣,公式為

(1)

式中,H為Hessian矩陣;σ為圖像尺度;Lxx(x,y,σ)、Lxy(x,y,σ)和Lyy(x,y,σ)為高斯濾波二階微分。然后在積分圖像的基礎上,使用不同尺寸的盒子濾波器,在不同方向上對積分圖像做卷積計算,構建尺度空間。最后通過H矩陣判別式提取局部極大值,檢測特征點。H矩陣判別式為

Det(H)=DxxDyy-(ωDxy)2>K

(2)

式中,Dxx、Dxy和Dyy分別為圖像與不同尺寸濾波器卷積的結果;ω為補償系數;K為給定閾值。

(2)特征描述。SURF通過檢測Haar小波響應計算每個特征點鄰域窗口的主方向,獲得相應的特征描述符,具體步驟為:①創建60°扇形窗口,對以特征點為圓心的圓形鄰域進行旋轉掃描,統計每個掃描區域的Haar小波特征,以統計值最大的扇形區域對應的主方向作為特征點主方向。②以特征點為中心,將坐標軸旋轉至主方向,并將特征點鄰域分割為16個正方形子區域。③按照相同的扇形窗口旋轉掃描方法,統計每個正方形子區域的Haar小波響應結果,歸一化處理得到SURF特征描述符。

(3)特征匹配。獲得SURF特征點及對應特征描述符后,可通過距離度量實現特征點匹配,常用的匹配方法有最小距離法和最近鄰比值法等。最小距離法是以歐式距離為依據進行特征點對匹配;最近鄰比值法則將最近鄰點和次近鄰點的比值作為閾值,將距離比率小于該閾值的特征點對為有效匹配。

利用SURF特征匹配對圖像進行匹配處理,可以得到特征點的粗匹配結果,以及兩幅圖像對應的單應變換矩陣。

1.3 相位相關法

相位相關法是一種基于傅里葉變換的圖像匹配方法,對于具有旋轉、平移及尺度縮放等變化的圖像有良好的匹配效果;同時兼備抗噪聲、運算量小和匹配精度高的優點,得到廣泛的研究與應用[19-20]。本文算法在SURF粗匹配的基礎上,利用相位相關法對特征點進行精匹配,估算特征點粗匹配結果的平移偏差并進行補償。相位相關法的具體原理與步驟如下。

假設圖像f1(x,y)和圖像f2(x,y)之間存在平移量(x0,y0),則有

f2(x,y)=f1(x-x0,y-y0)

(3)

則兩幅圖像對應的傅里葉變換F1和F2應有關系為

F2(ξ,η)=e-j2π(ξx0+ηy0)F1(ξ,η)

(4)

定義圖像f1和f2對應的傅里葉變化F1和F2的交叉功率譜為

(5)

利用相位相關法對特征點進行精確配準,可進一步提升特征點跟蹤精度,以滿足測量需求。

1.4 基于無人機運動連續性的加速策略

利用無人機采集橋梁視頻時,由于無人機的運動是連續的,得到的視頻通常是一組具有時間連續性的序列圖像。本文的特征點跟蹤算法以SURF作為粗匹配,以相位相關法作為精匹配,通過兩步匹配法得到特征點的精確跟蹤結果。根據序列圖像的連續性,理論上可認為同名特征點在相鄰兩幀圖像中的位置具有一定相似性,可將上一幀圖像的特征點解算結果作為下一幀圖像的特征點初值。

完成特征點跟蹤后,對解算結果進行連續性判斷。假設特征點在前一幀的圖像坐標為P(x,y),在后一幀的圖像坐標為P(x′,y′),則對應的圖像位移距離為

(6)

以特征點的圖像位移距離標準差σ作為連續性判斷的依據,其中n為特征點數量,則有

(7)

當σ小于等于設定閾值時,認為結果符合連續性條件;當σ大于設定閾值時,認為特征點跟蹤結果誤差較大,不符合連續性條件。其中,連續性判斷的閾值根據無人機運動速度手動設置。

基于無人機運動連續性的加速策略流程如圖2所示。對輸入的無人機序列圖像進行順序解算,首次解算采用粗匹配與精匹配相結合的兩步匹配法,后續解算則將特征點在上一幀圖像的跟蹤結果作為初值,省去粗匹配環節,直接進行精匹配,并對得到的跟蹤結果進行連續性判斷。若當前特征點跟蹤結果符合連續性條件,進入下一次解算;若不符合連續性條件,則重新采用兩步匹配法進行解算。

圖2 基于無人機運動連續性的加速策略流程

利用基于無人機運動連續性的加速策略,可以在保證特征點跟蹤精度的基礎上簡化計算流程,大幅度提升算法的運行效率,對于高分辨率視頻數據的實時處理具有重要意義。

2 算法流程

本文算法以無人機采集的橋梁視頻數據為輸入,首先選定解算的起始幀和自然特征點,通過SURF進行粗匹配,再利用相位相關法進行精匹配,同時采用基于無人機運動連續性的加速策略,實現自然特征點快速精確跟蹤。算法的具體流程如圖3所示。

圖3 橋梁自然特征點的快速精確跟蹤算法流程

2.1 選定起始幀和特征點

2.2 采用兩步法進行首次解算

對于首次解算,即第一幀圖像與第二幀圖像的特征點跟蹤,采用以SURF為粗匹配,相位相關法為精匹配的兩步匹配法進行計算。

(3)相位相關法精匹配。分別對子圖像F1和F2進行傅里葉變換,計算交叉功率譜并進行傅里葉逆變換得到脈沖函數,以最大脈沖對應的平移參數對特征點P2進行精確配準,重新計算特征點在第二幀圖像f2中的精確跟蹤結果P2。根據特征點P1和P2,重新計算第一幀圖像f1到第二幀圖像f2的精確單應變換矩陣H2。

2.3 采用加速策略進行后續解算

對于后續匹配,即剩余圖像f2(i>3)與第一幀圖像fi的匹配,采用基于無人機運動連續性的加速策略。

(1)鄰域子圖像獲取。在圖像fi中,以上一幀圖像fi-1的精定位特征點Pi-1為中心,分割出若干個尺寸為64×64的子圖像。根據上一次解算得到的單應矩陣Hi-1,對子圖像Fi做投影逆變換處理,得到與第一幀圖像相同相機位姿的特征點鄰域子圖像,再對其進行10倍上采樣,記為Fi。

(2)相位相關法精匹配。同樣的,通過相位相關法計算精定位特征點Pi,根據特征點P1和Pi,計算精確單應變換矩陣Hi。

按照上述流程,該算法可以對無人機視頻中的序列圖像實現自然特征點快速精確跟蹤,獲得自然特征點在每一幀圖像中的圖像坐標。

3 算法測試

3.1 測試說明

測試數據為無人機現場拍攝的橋梁視頻數據,共包含6組4 K視頻圖像,測試環境為Windows 10操作系統(64位),Intel(R) Core(TM) i7-9700 CPU @3.00 GHz,32 GB內存,測試對象為本文算法和SURF,具體的測試步驟如下。

首先在每組視頻數據中選定起始幀和自然特征點,本文測試時以橋梁標志板上的4個頂點為自然特征點,對連續的1000幀序列圖像進行自然特征點跟蹤;然后記錄每組測試的算法運行時間,分別計算本文算法和SURF的平均運行速度。同時,對本文算法得到的特征點跟蹤結果進行局部放大,分析算法的跟蹤精度。

3.2 速度測試

分別采用SURF和本文算法對6組4 K視頻圖像中連續的1000幀序列圖像進行特征點跟蹤,統計兩種算法的運行速度,測試結果見表1。

表1 算法速度測試結果

根據算法的速度測試結果,可認為本文算法在匹配速度上較SURF有顯著優勢,處理一幀圖像的平均耗時為0.04 s。對于4 K的視頻圖像,本文算法能夠滿足測量對特征點跟蹤的實時性要求。

3.3 精度測試

選取橋梁側壁上的4個自然特征點為算法的跟蹤目標,分別利用SURF算法和本文算法對其進行連續1000幀特征點跟蹤處理,得到每次跟蹤處理后特征點的圖像坐標。將前后兩幀圖像的特征點進行對比,根據兩幅圖像的特征點連線圖判斷自然特征點跟蹤算法的穩定性與有效性。將兩幅圖像的特征點鄰域局部放大,得到4個特征點對應的鄰域灰度分布,通過比較特征點鄰域灰度分布的相似性估計本文算法的跟蹤精度。兩種算法的特征點跟蹤結果如圖4—圖7所示。

圖4 SURF特征點跟蹤結果

圖5 SURF特征點跟蹤結果局部放大

圖6 本文算法特征點跟蹤結果

圖7 本文算法特征點跟蹤結果局部放大

分別利用SURF算法和本文算法對6組無人機視頻數據進行精度測試,對比兩種算法的特征點跟蹤結果及特征點鄰域放大圖。SURF算法的特征點跟蹤誤差約為10像素,本文算法的特征點跟蹤誤差小于1像素,較SURF有顯著優勢。本文算法對自然特征點的跟蹤精度達亞像素級別,能夠滿足無人機橋梁撓度測量對算法精度的要求。

4 結論與討論

針對無人機橋梁撓度測量的應用背景,本文提出了一種橋梁自然特征點的快速精確跟蹤算法,本文算法的優勢主要體現在以下3方面。①本文算法能夠脫離人工設計的標志,對橋梁的自然特征點實現穩定跟蹤,提升視覺測量方法的簡便性與靈活性。②算法在SURF特征匹配的基礎上利用相位相關法對特征點進行精確配準,對自然特征點的跟蹤精度達到亞像素級別,滿足測量系統對跟蹤算法的精度要求。③本文提出了一種基于無人機運動連續性的加速策略,在對無人機視頻中的序列圖像進行順序解算時,取上一次的解算結果作為初值,省略SURF特征匹配的環節,大幅度減小計算量。對于4 K高分辨率視頻數據,本文算法的跟蹤速度為25 FPS,滿足測量系統對跟蹤算法的實時性要求。以下進一步討論當前算法的局限性及改進思路。

(1)非共面特征點失效。本文算法的跟蹤目標是橋梁側壁面上的自然特征點,這些特征點基本處于一個平面,能夠實現良好的跟蹤效果,若跟蹤目標為非共面的特征點,本文算法將不再適用。由于SURF特征匹配求得的單應矩陣僅代表兩個平面間的變換關系,若所需跟蹤的特征點處于不同平面時,對特征點進行單應變換將產生嚴重偏差,導致跟蹤算法失效,因此當前算法僅適用于平面特征點的跟蹤,對非共面的三維特征點精確跟蹤還需進一步研究。

(2)背景單一的特征點失效。橋梁的自然特征點具有豐富的紋理信息,利用相位相關法對特征點進行精確配準可有效提升特征點的跟蹤精度。但對于背景單一的特征點,相位相關法的配準精度將大幅度下降,導致算法的跟蹤精度下降。

(3)連續性判斷閾值需人為設定。算法對跟蹤結果進行連續性判斷時,連續性判斷的閾值需根據無人機的運動速度設定,使得算法的自動化程度有所降低。進一步將研究無人機在不同運動速度下連續性判斷閾值的合理取值,并考慮通過相鄰圖像對應特征點的移動幅度估算無人機的運動速度,自動為算法選取合適的連續性判斷閾值,降低算法操作的復雜度。

本文算法對于橋梁的自然特征點能夠實現快速精確跟蹤,但對于非共面及背景單一的特征點,當前算法未能實現精確跟蹤,且連續性判斷閾值需設定。進一步將考慮突破以上局限性,實現三維特征點精確跟蹤,并嘗試應用于其他大型建筑的視覺測量。