航拍圖像中橋梁的自動識別*

徐 林 楊瑞平

(91204部隊 北京 100161)

?

航拍圖像中橋梁的自動識別*

徐 林 楊瑞平

(91204部隊 北京 100161)

針對航拍圖像中水上橋梁的自動識別問題進行研究,給出了水上橋梁的識別模型,分析了水上橋梁目標識別的影響因素,建立了基于直線提取的橋梁識別算法。該算法包括邊緣檢測、直線檢測、平行直線對提取和水上橋梁標記等步驟。大量實驗結果表明,提出的算法能準確識別水上橋梁目標,并且橋梁位置定位準確,是一種有效的方法。

航拍圖像; 橋梁識別; 邊緣檢測; 直線檢測; Radon變換

Class Number TP391

1 引言

現代戰爭中,水上橋梁作為后勤保障與交通運輸不可或缺的一環,往往是戰爭雙方打擊的首要目標。因此,航拍圖像中橋梁的識別具有重要的軍事意義[1]。目前,常用的橋梁識別算法主要有兩種,一種是模板匹配的方法[2～4],如文獻[2]提出的基于框架進行模板匹配的識別方法,即在粗分辨率圖中提取最突出的長直線進行模式匹配,驗證橋梁位置。另一種是由上而下的知識驅動型策略的方法[5～7],如文獻[7]中將識別過程分為低、中、高三個層次進行處理,從低層的區域分割、邊緣提取到中層的直線檢測,直至到高層的匹配驗證都是基于知識的指導下進行的,即先對圖像中可能存在的特征提出假設,根據假設進行有目地的分割、標記和特征抽取,在此基礎上與目標模型進行精確匹配。以上兩種方法都需要進行直線檢測,即認為橋梁圖像首要的特征是存在長直線條。一般橋梁識別的基本特征[8]主要包括以下幾個方面:

1) 橋梁最主要的特征是橋面的兩條邊緣構成了一對近乎平行的直線段。

2) 橋面的寬度與長度之比值在一定范圍內。

3) 橋梁和兩岸陸地的灰度較亮,而水域灰度較暗且較均勻,可以采用閾值法來進行分割。

4) 橋梁橫跨在水域上,將水域分割為兩部分。

本文針對航拍圖像中水上橋梁識別的基本特征,提出了基于直線檢測的水上橋梁自動識別算法。

2 基于直線檢測的橋梁識別算法

本文建立的基于直線檢測的橋梁識別算法流程圖如圖1所示。

圖1 算法流程圖

圖2 原始圖像

本文的橋梁識別算法思想主要是通過對橋面平行直線對的提取來確定疑似橋梁區域,再依據橋梁區域的灰度值特性來確定橋梁位置,算法的詳細步驟如下。

1) 對原始圖像進行Canny邊緣提取,生成二值邊緣圖像;

2) 對邊緣圖像進行Radon變換,提取出直線;

3) 對直線進行篩選,確定橋梁平行直線對,提取并強化疑似橋梁區域;

4) 對原始圖像進行分割,并進行形態學處理;

5) 利用疑似橋梁區域對二值圖像做掩膜;

6) 依據區域灰度特征,提取出橋梁區域;

7) 描述橋梁位置、角度等信息。

2.1 圖像分割

橋梁和兩岸的陸地灰度較亮,河面的灰度較暗。橋梁和陸地同水域之間形成了強對比關系。可以首先依據灰度對圖像進行二值化分割[9],通過二值化分割,先將水域同其它區域先分割開來。因而可用式(4)進行橋梁圖像的二值化。

(1)

式中f(m,n)為原始圖像像素點灰度值;f′(m,n)為二值化后圖像中像素點灰度值;T為二值化灰度閾值。

其中,二值化閾值T可以自適應選取,也可以固定選取。橋梁樣本圖像經過二值化后,橋梁和兩岸的陸地變成了白色(灰度級為255),而水域變成了黑色(灰度級為0)。這種方法較好地將橋梁圖像分割為水域和非水域兩部分,去除了部分噪聲干擾的影響,能得到較為明顯的橋梁直線特征,因而用此方法對橋梁圖像進行分割是成功的。在本文中,對閾值選取采取經驗值,對于樣本橋梁圖像分割后可以清晰得到橋梁與陸地輪廓。樣本橋梁圖像經過二值化分割后的結果如圖3所示。

在二值化之后,圖像中水域和陸地已經基本區分開,為了能夠更好地通過檢測直線進行橋梁識別,對圖像進行形態學處理,凸顯出橋梁主體部分。但是,在進行二值化分割后,圖像中依然存在大量毛刺與空洞,所以運用形態學方法處理二值化后的圖像。

常用的形態學方法包括腐蝕、膨脹、開、閉運算等。在這里運用膨脹和區域填充算法處理毛刺和空洞,最終獲得橋梁形狀較為明顯的二值圖像,如圖4所示。

圖3 二值化圖像

圖4 形態學處理后圖像

2.2 邊緣檢測

邊緣是圖像局部灰度變化不連續部分,是圖像中灰度的急劇變化的部分。邊緣檢測是圖像分割、紋理特征提取和形狀特征提取等圖像分析的重要基礎,邊緣檢測的好壞直接影響到直線提取的結果。最常用的邊緣檢測算子是Canny算子和Sobel算子。

Sobel算子對灰度漸變和噪聲較多的圖像處理效果較好,邊緣定位比較準確,Sobel算子邊緣檢測并細化后的結果如圖5所示。

圖5 Sobel檢測圖像

圖6 Canny邊緣檢測圖像

Canny算子[10]優點在于不易受噪聲干擾,能夠檢測到真正的弱邊緣,不容易被噪聲“填充”。該算子的基本思想是:先對處理的圖像選擇一定的高斯濾波器進行平滑濾波片,抑制圖像噪聲,然后利用“非極值抑制”來細化平滑后的圖像梯度幅值矩陣,尋找圖像中得到可能邊緣點;最后利用雙門限檢測通過雙閾值遞歸尋找圖像邊緣點,實現邊緣提取。Canny算子進行邊緣檢測結果如圖6所示。

Canny算子與Sobel算子邊緣檢測結果對比可以得出,Canny算子邊緣檢測結果明顯優于Sobel算子邊緣檢測結果。橋梁識別對弱邊緣提取和邊緣連續性要求較高,因此本文使用Canny算子進行邊緣提取。

2.3 直線提取

Radon變換是常用的直線提取方法,其基本思想是利用直線擬和的方法提取滿足一定直線約束條件的直線。Radon變換屬于一種全局性的算子,Radon變換與以模板卷積作為基本算法模式的局部算子相比Radon變換在理論上具有更強的魯棒性。Radon變換的積分運算抵消了噪聲所引起的亮度起伏,適于低信噪比圖像的直線檢測。

圖像的Radon變換是用來計算一個圖像在不同方向的直線上的投影。設f(x,y)為一個二維函數,f(x,y)的Radon變換的幾何關系如圖7所示[11]。

圖7 Radon變換的幾何關系示意圖

Radon變換可以沿著任意角度θ計算函數的投影,及任意角度都存在函數的Radon變換。圖像f(x,y)在任意角度θ上的Radon變換的投影定義為

(2)

(3)

傳統Radon變換存在以下不足,以圖像中心為原點,計算量較大,不利于編程實現;提取的直線無法給出起點、終點以及長度信息等問題,由于橋梁邊緣直線在圖像中一般為最長直線,因此本文利用Radon變換檢測圖像中的長直線,結果如圖8所示。

2.4 疑似區域提取

經過Radon變換提取直線后,得到大量長直線。根據Radon變換定義,θ就是Radon換下提取出的傾斜角,直線斜率k=tanθ。對于得到的大量直線,將傾斜角θ進行比較,將角度門限Δθ在±5°以內的直線保留,最后得到一個或多個平行直線對。

同時由于有可能存在河岸影響導致獲得多對平行線,所以對得到的平行線對進行篩選。因為橋梁寬度較河流小,所以將得到的平行直線段距離進行比較,根據分辨率保留寬度在一定范圍內的平行線段,排除河流兩岸產生的平行線的影響,最后得到唯一的代表橋梁平行直線對。根據Radon變換定義,可以得到兩直線在x軸位置x1和x2,所以平行直線對的兩條直線間的距離為Δd=(x2-x1)×sinθ,如圖9所示。

圖8 長直線提取

圖9 平行直線對約束示意圖

平行直線對提取結果如圖10所示。根據橋梁邊緣為近似平行直線對的特征,判定平行直線對之間區域為疑似橋梁區域。

因為在提取出的疑似區域內,橋梁邊緣的長直線會受到小島、船只、陰影等影響,使得直線不完整或者扭曲。因此需要對疑似區域進行擴展,因此需要對疑似橋梁區域進行擴展,對直線在x軸位置x1和x2擴展平移Δx,使強化區域可以覆蓋橋梁位置,結果如圖11所示。

圖10 平行直線對提取

圖11 擴展疑似區域

為了突出橋梁直線特征,排除小島、船只、陰影等干擾因素,將得到的強化區域對二值圖像圖4做掩膜,顯示如圖12所示,圖像中虛線為疑似區域邊緣直線。

2.5 橋梁區域提取

橋梁邊緣與水域相連,因此橋梁邊緣直線上的點周圍存在灰度為0的像素點,可以按照灰度特性對橋梁位置進行精確定位。傳統水上橋梁區域提取算法采用多鄰域連通規則,如4鄰域連通、6鄰域連通和8鄰域連通規則,對橋梁粗定位區域中所有像素點進行遍歷,按照特定規則選取出適當的像素點,存在算法復雜、耗時較長等缺點。本算法改進了8鄰域連通規則,只對直線上像素點進行篩選,提高了算法的實時性。8鄰域連通規則如圖13所示。

圖12 掩膜后圖像

圖13 8鄰域連通原理

對于直線上的點f(x,y),若其周圍有且只有任意三個相鄰點為黑色,即灰度為0時,如f(x-1,y-1)=f(x-1,y)=f(x,y-1)=0,則確定點f(x,y)為橋梁邊緣上一點,如圖14所示。若點f(x,y)周圍無法找到三個相鄰黑色像素,則對直線上下一個點進行篩選。

圖14 橋梁邊緣判定規則

圖像經過處理后,得到兩條不連續的直線,如圖15所示。然后,由于在對疑似區域進行擴展時,存在擴展平移量Δx,將在直線上距離小于2Δxcosθ的像素點進行連接,使這兩條不連續直線連續,結果如圖16所示。

圖15 橋梁邊緣直線

圖16 連接后的橋梁邊緣直線

橋梁邊緣直線連接后,對橋梁區域進行標定,如圖17所示。

采用傳統8鄰域連通算法識別的樣本圖像如圖18所示。與圖17相比,傳統8鄰域連通算法定位精度較差,覆蓋了部分陸地。

圖17 橋梁位置標定

圖18 傳統8鄰域連通算法識別結果

采用改進8鄰域連通算法具有以下優點:

1) 針對直線進行遍歷,與傳統的區域連通標記算法對全部像素點遍歷相比大大減少了運算量,減少了運算時間;

2) 算法采用相鄰三像素點判定法檢測橋梁邊緣點,有效去除了非橋梁邊緣直線點的干擾,并具有較高的定位精度。

3 實驗結果分析

本文對大量航拍圖像進行了識別,絕大部分橋梁能夠清晰識別出來。下面是部分橋梁識別結果,如圖19、圖20、圖21所示,(a)為原始圖像,(b)為識別圖像。

(b)識別圖像

(a)原始圖像

(b)識別圖像

(a)原始圖像

(b)識別圖像

本文以橋梁四點坐標及傾斜角的形式描述橋梁信息,如表1所示。(以圖像左下端點為原點,橋梁區域矩形左上端點為點A,沿順時針方向依次為點B、C、D。)

表1 橋梁定位信息

4 結語

本文對航拍圖像中的橋梁目標自動識別進行了深入研究,提出了基于直線檢測的橋梁識別算法,該算法不受小島、船只、陰影等影響,有較強的抗干擾性,并且對橋梁位置定位準確,是一種有效的水上橋梁識別算法。

[1] U. Soergel, E. Cadario, A. Thiele, et al. Feature Extraction and Visualization of Bridges over Water from High-resolution In SAR Data and One Orthophoto[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2008,1(2):147-153.

[2] 孫琪,曹治國,張天序.基于框架的遠距紅外橋梁目標識別[J].華中科技大學學報,2001,29(4):1-3.

[3] 琚春花,王偉明,王光明,等.一種橋梁標識別方法的研究[J].計算機工程,1999,25(6):19-20.

[4] 王偉明,徐勝榮,姚慶棟.一種使用黑板模型實現的圖像分割策略及在橋梁目標識別中的應用[J].計算機學報,1995,8(2):217-134.

[5] Baker D. C, Hwang S. S, Aggarwal J. K. Detection and Segmentation of Man-Made Objects in Outdoor Scenes: Coneret Bridges[J]. Opt. Soc Am,1989(6):938-950.

[6] Baker D. C, AggarwaL J. K, Hwang S. S. Geometry Guided Segmentation of Outdoor Scenes[J]. SPIE App of AI.,1988(9317):576-583.

[7] 徐勝榮,李忠興.基于知識的橋梁目標識別方法研究[J].模式識別與人工智能,1992,5(2):275-281.

[8] 蔣驪黎,史冊,楊海波,等.遙感圖像中水上橋梁的識別[J].模式識別與人工智能,2000,13(2):214-217.

[9] 舒海燕,郭雷.圖像目標識別技術的研究和應用[D].西安:西北工業大學,2002.

[10] 秦襄培.MATLAB圖像處理與界面編程寶典[M].北京:電子工業出版社,2009.

[11] 王立,常青,張科,等.Radon變換在低信噪比圖像中的線段檢測[J].紅外與激光工程,2003,32(2):163-165.

Bridge Automatic Recognition in Aerial Images

XU Lin YANG Ruiping

(No. 91204 Troops of PLA, Beijing 100161)

Focusing on automatically recognize bridge over water in military field by using aerial images in this article, a model to recognize bridge over water is provided, and some influential factor factors are analyzed, the basis of straight line pick-up is established in this article. This model includes edge detecting, straight line detecting, parallel straight line obtaining, labeling bridge over water and so on. This model is able to exactly recognize bridge over water and provide position of bridge over water in a great deal of experiment, which indicates it is an effective way.

aerial images, bridge over water recognition, edge detecting, straight line detecting, radon transform

2015年6月11日,

2015年7月28日

徐林,女,碩士,研究方向:圖像處理與模式識別。楊瑞平,男,博士,研究方向:圖像處理與模式識別。

TP391

10.3969/j.issn.1672-9730.2015.12.028