一種高分辨率遙感圖像視感知目標檢測算法

李策,張亞超,藍天,杜少毅

(1.蘭州理工大學電氣工程與信息工程學院,730050,蘭州; 2.西安交通大學電子與信息工程學院,710049,西安)

大幅面高分辨率的遙感圖像具有目標清晰、視野范圍廣的特點,在為用戶提供更多感興趣目標信息的同時也帶來了更復雜的背景信息。因此,如何高效準確的從大幅面高分辨率的遙感圖像中檢測出所需要的目標,已成為遙感圖像應用于實際工程中的關鍵問題之一。遙感圖像目標檢測不僅要對圖像中目標的類別進行判斷,還要給出目標的位置信息。因圖像會受不同光照和觀察點變化的影響,目標檢測任務是一種具有挑戰性的視覺任務。大幅面高分辨率遙感圖像更加具有挑戰性的3個原因:①同一幅圖像中目標的尺寸差異較大,且目標的位置和姿態都無法確定;②白天和夜晚的遙感圖像顏色空間差異較大;③高分辨率的遙感圖像目標背景信息通常較為復雜。

遙感圖像目標檢測是傳統目標檢測問題中一個極具應用背景的分支。常見的遙感圖像目標檢測方法主要有利用模板匹配的方法[1,2]、背景建模的方法[3]以及基于淺層學習的方法[4-6]等。近年來深度學習的蓬勃發展,亦使得引入深度學習方法后的目標檢測精度不斷提升,主要方法有區域建議卷積神經網絡(region convolutional neural network,R-CNN)[7]、面向實時的區域建議卷積神經網絡(faster region convolutional neural network,Faster R-CNN)[8]、單次檢測器(you only look once,YOLO)[9]、單網多尺度檢測器(single shot multibox detector,SSD)[10]等。同時,諸多學者從深度學習框架出發,亦設計了多種算法擬提升遙感圖像中目標檢測精度和速度,如旋轉不變卷積神經網絡(rotation-invariant convolutional neural networks,RICNN)[11]、轉化的神經網絡(transferred convolutional neural networks,T-CNN)[12]、分層模型[13]等。

模板匹配方法是通過手動設計特征或者從訓練集中學習得到模板,計算待檢測的圖像和模板之間的相似性來找到最佳匹配。基于淺層學習的檢測方法主要依據特征提取、特征融合和分類器訓練3個步驟來實現遙感圖像目標檢測。其中,特征提取通常使用方向梯度直方圖特征(histogram of oriented gridients,HOG)、詞袋特征(bag of words,BoW)、Gabor特征、基于稀疏表達的特征等。分類器主要使用支持向量機、Adaboost、K近臨算法、條件隨機場等機器學習算法。

基于深度學習的遙感圖像目標檢測有較好的檢測結果,根本原因是深度卷積神經網絡(convolutional neural networks,CNN)通過大量的有監督訓練,能直接從圖像像素級獲取更具有表達力的特征。盡管CNN的深度結構能夠提取更加魯棒的特征,但是這些在自然圖像中提取的特征并不能直接應用到垂直于地面拍攝的遙感圖像的目標檢測任務中。基于感興趣區域的CNN目標檢測算法存在效率低的問題,例如RICNN算法[11]是將檢測任務分為生成感興趣區域、CNN訓練優化、區域分類3個模塊。為保證檢測精度,RICNN算法需要多個感興趣區域,這些感興趣區域之間存在較大的區域重疊,會被重復性的CNN計算,會造成計算資源的浪費。另外,若所獲取的感興趣區域不好,將直接影響目標檢測精度,但高質量感興趣區域的獲取也需要極大的計算資源,因此RICNN算法的檢測效率較低,YOLO算法[9]是將圖像只進行一次CNN計算,相對減少了大量重復計算。由于YOLO算法的第一步是將圖像歸一化到一個固定的尺度,對于大幅面高分辨率的遙感圖像,目標范圍占圖像大小的比例較小,歸一化后會導致目標特征丟失,若直接使用原圖像,消耗的計算資源亦巨大。為解決大幅面高分辨率遙感圖像的目標檢測問題,考慮到遙感圖像目標檢測應用對檢測效率的要求,本文提出了一種高分辨率遙感圖像視感知目標檢測算法。

1 本文所提算法

圖1 本文所提算法框架

一般定義滿足目標面積與圖像面積之比小于0.5%,且圖像分辨率大于800×800像素即為大幅面高分辨率遙感圖像。本文提出了一種高分辨率遙感圖像視感知目標檢測算法,主要包括3個部分:基于視覺注意機制的子區域提取、子區域目標檢測、目標語義關聯抑制,算法框架如圖1所示。本文所提算法首先利用基于視覺注意機制的子區域提取方法,獲取可能包含目標的子區域。對待檢測的大幅面高分辨率的圖像,進行切片,利用模擬人類的視覺注意機制的顯著圖,去除部分背景信息,將計算資源轉移到包含目標的子區域中,降低了計算復雜度。然后,對子區域進行目標檢測,利用基于YOLO學習網絡的目標檢測模型得到預選目標。最后,將子區域的預選目標融合,利用所提目標語義關聯抑制對預選目標進行篩選,最終獲取檢測結果。目標語義關聯抑制通過學習目標之間的關聯性,來抑制圖像中不可能出現的目標,可降低虛警率,本文所提算法詳述如下。

1.1 基于視覺注意機制的子區域提取

大幅面高分辨率的遙感圖像中小目標是非常普遍的,且大多圖像中目標是稀疏的。小目標的檢測在目標檢測任務中是一種困難的任務。像大多基于深度學習的目標檢測算法一樣,在利用卷積神經網絡模型提取特征之前,將圖像大小歸一化到一定尺寸,圖像中的小目標特征會丟失,如圖2所示。若使用整幅圖像作為網絡的輸入,則高分辨率圖像會顯著增加計算量。研究發現視覺注意力是將注意力引導到空間中的一個位置。視空間注意力是人類通過在視覺區域內的一個區域的優先級來選擇性地處理視覺信息的機制。因此,本文可將這種機制應用到大幅面高分辨率的遙感圖像目標檢測任務中,有選擇性的獲取子區域,使得該區域內的信息得到進一步處理,來解決因圖像歸一化目標特征丟失嚴重的問題,具體步驟如下。

圖2 大幅面圖像歸一化目標特征丟失示例

(1)計算視覺注意機制的顯著圖。視覺注意機制的顯著圖計算方法,為不失一般性,本文選用的是Itti等人提出的基于視覺注意機制的顯著性檢測算法[14]。選擇該算法的原因是本文并不關心目標的精確邊界,只需要找到視覺注意的顯著區域,給出大致范圍。

(2)子區域提取。首先,對遙感圖像進行5切片操作,判斷每個切片是否包含視覺注意機制的顯著區域,將包含顯著區域的切片保留,舍棄不包含顯著區域的切片,以將計算資源轉移到含有顯著區域的切片上。另外,對于目標稀疏的圖像可以有效去除背景信息,以提高檢測效率。不同于R-CNN模型[7]中利用選擇性搜索算法[15]提取的感興趣區域,期望感興趣區域最小包圍于目標物體,兩者差異如圖3所示。本文的方法是找到最可能包含目標的子區域,該區域可能會包含一個或者多個目標,且不過分依賴子區域的選擇。

(a)R-CNN模型[7]中感興趣區域提取

(b)本文方法子區域提取圖3 本文方法與文獻[7]方法感興趣區域提取對比

1.2 子區域目標檢測

遙感圖像目標檢測在軍事安防、地面監測等應用中要求較高的檢測效率。YOLO算法[9]是一種具有快速性特點的深度學習目標檢測模型。由于遙感圖像中目標尺度差別較大,直接使用YOLO模型檢測效果并不好。本文使用網絡模型,其結構如圖4所示,包含有22個卷積層,用來提取目標物體的特征,5個最大池化層。網絡低層特征包含更清晰的輪廓信息,高層信息更能表達目標的語義。圖4中16層和24層之間的連接是為了能夠更好的對小目標進行準確定位。將16層的輸出信息與24層輸出信息結合作為下一層的輸入,兼顧大目標和小目標檢測。

圖4 本文網絡結構模型圖

在訓練過程中本文使用的損失函數可以分為3個部分:坐標誤差、IoU(Intersection over Union)誤差和分類誤差,其損失函數可以表示為

L=L1+L2+L3

(1)

式中:L為本文使用的損失函數;L1、L2、L3分別是坐標誤差、IoU誤差和分類誤差。因此,在檢測階段得到包含有位置信息和類別信息的特征圖。

坐標誤差L1表示為

(2)

(3)

分類誤差L3是指所有目標在網格上的概率的差異,pi(c)表示的某個類別在第i個網格上的概率值。分類誤差表示為

(4)

式中:c是C的元素,表示具體類別,C是所有類別的集合。使用平方差誤差是因為其易于優化,另外為了緩解過擬合,針對遙感圖像特殊性,在隨機裁剪、縮放、旋轉的基礎之上增加了增強對比度和加入高斯白噪聲兩種數據增廣方法。

在檢測階段,圖像經過網絡模型得到特征圖,在特征圖上的每個位置采用不同長寬比和不同大小的預測框進行目標屬性和位置判別。預測框是通過對訓練集中真實標注目標區域進行聚類選取,選取聚類中心的維度為預測框的維度。

聚類類別的增加會得到較好的檢測結果,在權衡計算復雜度和檢測精度后選取5類,如圖5所示,在13×13像素的特征圖上進行預測,每個網格上取5個預測框,預測坐標值和屬性值,得到目標的預選區域。

圖5 飛機類目標預測過程示意圖(不同網格上選取5個候選框,然后再對每個候選框進行屬性和位置回歸)

1.3 目標語義關聯抑制

子區域的合并會造成檢測窗口的冗余,子區域檢測的窗口本身是存在冗余的,導致主目標可能會被重復框選,影響檢測結果。為了能夠選取一個較好的目標區域,非極大值抑制算法(non-maximum suppression,NMS)是解決該問題的常用方法。本文在實驗中發現,目標檢測出來的目標框是存在虛警的,例如在飛機場中給出了艦船目標,利用目標語義關聯抑制去除了艦船的虛警,該過程如圖6所示。

(a)存在艦船虛警 (b)語義關聯抑制后圖6 目標語義關聯抑制檢測過程

遙感圖像是對真實場景的拍攝,而在機場中艦船的出現并不符合客觀事實,原因在于這種方法忽略了目標高層語義之間的關聯關系。在自然場景中一些目標是關聯存在的,例如,船舶與港口、棒球場與籃球場等,而船舶與棒球場,船舶與田徑場等幾乎不可能出現在同一場景中。為此本文提出了一種目標語義關聯抑制方法,該方法通過對樣本的統計學習得到目標語義的關聯關系Rij,然后Rij對圖像中的預選目標進行選擇性地抑制,結合非極大值抑制算法得到最終的檢測結果,達到降低目標檢測虛警率的目的。本文定義了兩個目標之間的關聯關系Rij,即統計數據集中包含兩個目標圖像的交集與并集之比

?S

(5)

式中:Ii是包含目標i的圖像的集合;num(·)是統計個數的函數;M是所有目標類別的集合;S為訓練數據集。顯然,當i=j時,Rij的值為1。目標語義關聯抑制方法的具體步驟如下。

(1)選取主目標。子區域在基于YOLO的學習網絡模型進行目標檢測,得到多個目標預測框,一幅圖像中總有些目標是容易被檢測到的,表現為預測框具有較高的屬性概率值,選取所有預測框中屬性概率最大者作為選取的主目標。

(2)抑制非關聯目標。基于Rij的計算的基礎之上,查詢主目標和一幅圖像中可能其他目標之間語義關聯關系,本文選取t=0.1為語義關聯閾值,大于等于t的認為是有關聯的目標,反之是沒有關聯的目標,通過設定一個抑制比f,抑制比乘以目標的屬性概率來抑制不具有關聯關系的目標。抑制后的目標屬性概率表示為

(6)

式中:C、C′分別是抑制前、后的屬性概率值。

(3)非極大值抑制。NMS算法是通過設定固定IoU閾值,選取滿足IoU閾值的所有預測框的目標屬性的概率值,選擇概率值最大預測框,作為該目標的檢測結果,對于不滿足IoU閾值的預測框就直接保留下來,作為檢測結果。

對子區域檢測結果合并后,經過步驟1和步驟2,抑制與主目標不關聯目標預選框,再利用步驟3非極大值抑制去除重復的目標框,得到最終的檢測結果。

2 實驗結果與分析

為了驗證本文算法的有效性,在公開數據集NWPU_VHR-10上與BoW[5]、FDDL[6]、局部融合檢測器(collection of part detectors,COPD)[16]、T-CNN[12]、RICNN[11]算法進行定性和定量的實驗,驗證了所提算法對于遙感圖像目標檢測是有效的。此外,為了驗證本文算法針對大幅面高分辨率的遙感圖像改進的有效性,本文利用包含大幅面高分辨率的遙感圖像目標檢測數據集LUT_VHRVOC-2與原YOLO模型進行對比實驗,實驗結果表明本文算法對大幅面高分辨率的遙感圖像目標檢測有有效提升。本文測試平臺CPU為Intel Core i7 6700,GPU為英偉達GTX 1070 8 GB顯存,使用Ubuntu x64操作系統,實驗中設定f值為0.6,IoU閾值為0.65。網絡初始學習率設定為0.003,在訓練迭代次數達到100和25 000時下降均降低10倍,使用的激活函數為Leaky。目標檢測單目標和總體的性能用檢測精度和平均精度來評價。

2.1 NWPU_VHR-10數據集檢測結果對比分析

NWPU_VHR-10[16]數據集是一個公開的衛星圖像目標檢測數據集,數據集包含以下10個類別目標:飛機、艦船、儲油罐、棒球場、網球場、籃球場、田徑場、港口、橋梁和車輛。

2.1.1 主觀結果分析 采用本文算法在NWPU_VHR-10數據集上對12幅圖像進行主觀檢測,檢測結果如圖7所示。從圖7可以看出,對目標較大的田徑場,或者目標較小的儲油罐,本文算法都能夠檢測到目標,并且給出的框能夠合理包圍于目標物體,檢測結果與預檢測目標相符。

(a)飛機和儲油罐 (b)飛機 (c)棒球場和橋梁 (d)橋梁和棒球場

(e)艦船 (f)儲油罐 (g)籃球場和網球場 (h)田徑場和網球場

(i)網球場和棒球場(j)碼頭(k)環境1中車輛(l)環境2中車輛圖7 本文算法對NWPU_VHR-10數據集中12幅圖像的主觀檢測結果示例

2.1.2 客觀結果對比 表1是6種檢測方法在NWPU_VHR-10數據集上的檢測精度對比結果,對比了3種傳統目標檢測算法:BoW特征檢測算法[5]、基于稀疏編碼特征(FDDL)的檢測算法[6]、COPD模型檢測算法[16]。另外,對比了兩種基于CNN的算法T-CNN[12]和RICNN[11]。從客觀數據平均精度值的對比可以看出,本文算法的檢測效果明顯好于傳統的檢測模型。

表1 采用6種算法在NWPU_VHR-10數據集上的檢測精度對比

由表1可見,在兼顧檢測速度與精度前提下,本文算法對車輛目標的檢測精度值略低于RICNN算法的0.06,但是要高于T-CNN算法的0.22,對其余目標的檢測精度均高于對比算法,尤其是網球場、籃球場、橋梁目標的檢測精度值均有約0.3的提升,說明本文算法具有良好的檢測能力。

對于一幅圖像而言,從計算復雜度上來看,由于RICNN算法[11]采用了選擇性搜索的算法獲取了約2 000個感興趣區域,這種選擇性搜索算法[15]本身是消耗較多的計算資源的,并且選取的這2 000個感興趣區域都要經過歸一化送入深度神經網絡中計算。相當于原圖像經過了約2 000次深度神經網絡計算,而本文是將圖像進行5切片操作,并對切塊進行了篩選,每一幅圖使用了小于5個子區域圖像經過了深度神經網絡計算。由于深度神經網絡的計算量是巨大的,本文算法顯著降低了利用深度神經網絡計算的次數,能夠減少計算量。

2.2 在LUT_VHRVOC-2數據集上的檢測結果

NWPU_VHR-10數據集中大幅面高分辨率的圖像約占28%,為證明本文算法在大幅面高分辨率遙感圖像上有較好的檢測效果,本文研究團隊多名專業人員通過大量標注,創建了大幅面高分辨率圖像約占46%的LUT_VHRVOC-2數據集,包含飛機和艦船兩個類別目標、圖像分辨率從200×200像素到8 000×8 000像素不等的3 039幅遙感圖像。遙感圖像數據一部分是由北京航天宏圖信息技術股份有限公司提供(該公司是中國計算機視覺大會2017遙感圖像目標檢測競賽承辦方),另一部分是通過百度地圖采集。

(a)YOLO算法 (b)本文算法圖8 LUT_VHRVOC-2數據集中艦船檢測主觀結果對比(圖像虛線框的目標是未檢測到目標)

(a)YOLO算法 (b)本文算法圖9 LUT_VHRVOC-2數據集中飛機檢測主觀結果對比(圖像虛線框的目標是未檢測到目標)

2.2.1 主觀結果對比 從圖8和圖9中的對比可以看出:對于高分辨率大幅面的遙感圖像,本文所提算法對于目標的檢測效果要好于YOLO[9]算法;無論是飛機還是艦船,YOLO算法給出的標記框存在多個不準確標記框,同時還存在目標的漏檢,本文所提算法能夠檢測到YOLO算法中未檢測到和檢測不準的目標,給出的目標區域框更能夠最小包圍于目標物體。對比結果表明,本文算法在大幅面高分辨率的遙感圖像目標檢測任務上,效果好于YOLO算法。

2.2.2 客觀結果對比 在LUT_VHRVOC-2數據集上進一步驗證了本文算法,表2是本文算法與YOLO算法在LUT_VHRVOC-2數據集上檢測精度值的對比結果。

表2 2種算法在LUT_VHRVOC-2數據集上的檢測精度對比

從表2可見,本文算法在LUT_VHRVOC-2數據集上有較高的檢測精度。相比YOLO算法,本文所提算法在大幅面高分辨率的遙感圖像艦船目標檢測任務上提高較大,因為艦船目標在圖像中尺寸更小,本文所提算法有效改善了小目標的檢測精度。圖10給出了查全率曲線的對比圖,可以看出本文所提算法在保證較高檢測精度的同時,有較高的召回率。

(a)飛機 (b)艦船圖10 LUT_VHRVOC-2數據集上2種算法的查全率曲線

3 結 論

本文在分析現有算法對于大幅面高分辨率遙感圖像目標檢測局限性的基礎上,結合大幅面高分辨率遙感圖像的特點,本文提出了一種高分辨率遙感圖像視感知目標檢測算法。所提算法利用視覺注意力機制和目標語義關聯關系,結合YOLO算法快速性的特點,能夠實現大幅面高分辨率的遙感圖像目標檢測。對比實驗取得了較好的檢測結果。在未來的工作中將借鑒深監督學習思想改進目標檢測模型,另外,可將視覺注意機制的子區域提取加入到并行運算中,以提高檢測效率。

致謝感謝西北工業大學韓軍偉教授提供的NWPU_VHR-10數據集,以及北京航天宏圖信息技術股份有限公司提供的遙感數據。

參考文獻:

[1] FELZENSZWALB P,MCALLESTER D,RAMANAN D. A discriminatively trained,multiscale,deformable part model [C]//Proceedings of the IEEE Computer Vision and Pattern Recognition. Piscataway,NJ,USA: IEEE,2008: 1-8.

[2] AHMADI S,ZOEJ M J V,EBADI H,et al. Automatic urban building boundary extraction from high resolution aerial images using an innovative model of active contours [J]. International Journal of Applied Earth Observation and Geoinformation,2010,12(3): 150-157.

[3] 李亞超,周瑞雨,全英匯,等. 采用自適應背景窗的艦船目標檢測算法 [J]. 西安交通大學學報,2013,47(6): 25-30.

LI Yachao,ZHOU Ruiyu,CHUAN Yinghui,et al. A ship detection algorithm of adaptive background window [J]. Journal of Xi’an Jiaotong University,2013,47(6): 25-30.

[4] 杜春,孫即祥,李智勇,等. 光學遙感艦船目標識別方法 [J]. 中國圖象圖形學報,2012,17(4): 589-595.

DU Chun,SUN Jixiang,LI Zhiyong,et al. Ship target recognition method for optical remote sensing [J]. Journal of Image and Graphics,2012,17(4): 589-595.

[5] XU Sheng,FANG Tao,LI Deren,et al. Object classification of aerial images with bag-of-visual words [J]. IEEE Geoscience and Remote Sensing Letters,2010,7(2): 366-370.

[6] CHEN Yi,NASRABADI N M,TRAN T D. Sparse representation for target detection in hyperspectral imagery [J]. IEEE Selected Topics in Signal Processing,2011,5(3): 629-640.

[7] GIRSHICK R,DONAHUE J,DARRELL T,et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway,NJ,USA: IEEE,2014: 580-587.

[8] REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6): 1137-1149.

[9] REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once: unified,real-time object detection [C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway,NJ,USA: IEEE,2016: 779-788.

[10] LIU W,ANGUELOV D,ERHAN D,et al. SSD: Single shot multibox detector [C]//Proceedings of the 14th European Conference on Computer Vision. Berlin,Germany: Springer Verlag,2016: 21-37.

[11] CHENG Gong,ZHOU Peicheng,HAN Junwei. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images [J]. IEEE Geoscience and Remote Sensing,2016,54(12): 7405-7415.

[12] KRIZHEVSKY A,SUTSKEVER I,HINTON G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM,2012,60(6): 84-90.

[13] 高常鑫,桑農. 基于深度學習的高分辨率遙感影像目標檢測 [J]. 測繪通報,2014(s1): 108-111.

GAO Changxin,SANG Nong. Object detection of high resolution remote sensing image based on the deep study [J]. Bulletin of Surveying and Mapping,2014(s1): 108-111.

[14] ITTI L,KOCH C,NIEBUR E. A model of saliency-based visual attention for rapid scene analysis [J]. IEEE Pattern Analysis and Machine Intelligence,1998,20(11): 1254-1259.

[15] UIJLINGS J R R,SANDE K E A,GEVERS T,et al. Selective search for object recognition [J]. International Journal of Computer Vision,2013,104(2): 154-171.

[16] CHENG Gong,HAN Junwei,ZHOU Peicheng,et al. Multi-class geospatial object detection and geographic image classification based on collection of part detectors [J]. ISPRS Journal of Photogrammetry and Remote Sensing,2014,98: 119-132.