基于深度學習的光學遙感圖像目標檢測研究進展

劉小波 劉 鵬 蔡之華 喬禹霖 王 凌 汪 敏

1.中國地質大學(武漢)自動化學院 武漢 430074 2.復雜系統先進控制與智能自動化湖北省重點實驗室 武漢 430074 3.地質探測與評估教育部重點實驗室 武漢 430074 4.中國地質大學(武漢)計算機學院 武漢 430074 5.北部灣大學北部灣大數據資源利用實驗室 欽州 535011 6.清華大學自動化系 北京 100084

光學遙感[1],是指傳感器工作波段在可見光波段,也就是0.38～0.76 μm 范圍的遙感技術,這個范圍的波段是傳統航空攝影偵查和航空攝影測繪中最常用的工作波段.隨著衛星數量的增多、重訪周期的縮短、圖像分辨率的提高,遙感圖像數據量越來越大,且隨著新衛星的升空,數據量將會不斷增加.劇增的數據量為科學研究提供了很多可利用的信息,但是要利用好遙感圖像還有一定的難度,特別是受天氣、光照、海況、傳感器參數等多種因素影響,使得光學遙感圖像的特征提取較為困難.

光學遙感圖像目標檢測是確定在給定的航空或衛星圖像中是否包含一個或多個感興趣的地物對象,并對對象進行定位的任務.作為航空和衛星圖像分析領域的基本問題,光學遙感圖像中的目標檢測在環境檢測等領域有著廣泛的應用,如檢測、地質災害探測、土地利用和土地覆蓋(Land-use and land-cover,LULC)制圖、地理信息系統(Geographic information system,GIS)更新、精準農業、城市規劃等.常見的光學遙感圖像的檢測目標有人造物體,如船只、車輛、房屋等,以及非人造的自然環境中的物體,如動物、樹木、江河等.

傳統的光學遙感圖像目標檢測算法都是以區域選擇 - 特征提取 - 分類器為主線的方法[2],通過滑動窗口的方法來遍歷整幅圖像,滑動窗口設置有不同的長寬比以增強對不同形狀的目標的識別能力.接著對每一個滑動窗口進行特征提取,這個階段常用的特征有Haar 特征、尺度不變特征變換(Scale-invariant feature transform,SIFT)匹配算法、方向梯度直方圖(Histogram of oriented gradient,HOG)等,都是基于圖像的紋理、色彩、尺度等特征[3-4],特征的可解釋性較強.最后通過傳統機器學習分類器(如支持向量機(Support vector machine,SVM)、Adaboost 等)對滑動窗口進行分類來達到目標檢測的目的.傳統的遙感圖像目標檢測算法有著嚴重的弊端,由于滑動窗口法使用的是窮舉法,導致時間復雜度過高,并且產生了很多冗余的窗口,這也嚴重影響后續特征提取以及檢測的速度和精度[5].并且由于目標的形態多樣性、光照變化多樣性[6]、背景多樣性等因素使得設計一個魯棒性好的特征存在一定的難度,而且所提取特征的好壞直接影響到分類的準確性[7].基于深度學習的光學遙感圖像目標檢測在2016年Girshick 等[8]首次將深度神經網絡用于目標檢測之后開始快速發展起來,深度神經網絡由于其強大的自動提取特征的能力,使得其在遙感圖像目標檢測任務中被廣泛運用.相比于傳統光學遙感圖像目標檢測算法,基于深度學習的方法解決了傳統檢測算法適應性不高、對背景模型的更新要求高、提取特征魯棒性差和檢測的實時性差等缺點[9],使檢測模型在精度和速度方面都有了很大的提升.基于深度學習的光學遙感圖像目標檢測方法,是計算機視覺檢測領域的一個重大創新[10].這些算法的創新點都是把傳統的計算機視覺和深度學習方法進行結合,并取得了良好的檢測效果.準確性和實時性是衡量目標檢測系統性能的重要指標[11],也是一對矛盾體,如何更好地平衡它們一直是目標檢測算法研究的一個重要方向.隨著深度學習的不斷發展,檢測的精度和實效性也逐漸提升.因此,基于深度學習的光學遙感圖像目標檢測算法得到了廣大研究者的關注,成為機器學習領域的熱點話題之一.

光學遙感圖像目標識別技術在表征學習以及檢測方面取得了穩定進展,特征提取由原來的手動提取特征轉變成深度卷積神經網絡(Convolutional neural network,CNN)來自動提取特征,就提取效率而言是一種長遠的進步.近年來的算法框架大部分都是基于深度學習的通用目標檢測算法框架,并試圖通過在一個或多個方面進行改進來達到在特定數據集實現目標檢測.大致上,這些算法可以分為兩大類,第1 類是基于區域的算法(Two-stage),其將檢測問題劃分為兩個階段,首先產生區域提議(Region proposal),然后對候選區域分類(一般還需要對位置精修),該類算法的特點是精度高但速度相對慢.第2 類是端到端的算法(One-stage),這是一種整體性更高的方法,不需要區域提議階段,直接產生目標的類別概率和位置坐標值,該類算法的特點是速度快但精度相對低.基于深度學習的光學遙感圖像目標檢測方法都是基于這兩類方法而演變得來的.

本文的其余部分安排如下:第1 節對光學遙感圖像目標檢測目前存在的難點進行介紹,第2 節對基于深度學習的目標檢測方法進行了概括介紹.第3 節以不同難點為驅動,分析比較了基于深度學習的光學遙感圖像目標檢測不同算法的優缺點.第4節進行總結與展望.

1 光學遙感圖像目標檢測面臨的挑戰

光學遙感圖像不同于普通光學圖像,其差異性主要體現在傳感器和拍攝角度上.隨著遙感技術的發展,遙感設備所搭載的傳感器分辨率以每10年一個數量級的速度提升,高分辨率甚至超高分辨率成為了新一代遙感衛星的發展趨勢,同時,高的空間覆蓋能力也在同步加強.高分辨率和高覆蓋范圍在帶來了巨大信息量的同時,也給遙感圖像目標檢測領域帶來了全新的挑戰.一方面,盡管基于深度學習的方法與傳統方法相比有著很強的特征提取能力,但是其良好的表現基于大量被標記樣本的重復迭代學習以及較高的計算消耗,面對如今超高分辨率的遙感圖像(如GF-2 數據集圖像的分辨率為27 620×29 200 像素),基于深度學習的方法難以高效地進行檢測.另一方面,相對于巨幅遙感圖像,部分目標類別(如車輛、房屋等)在整幅圖像所占像素則偏小,僅有十幾個像素,即使性能優異的深度學習方法也難以達到理想的檢測效果.普通光學圖像所拍攝的事物大多分布在垂直方向,并且目標往往會占據整幅圖的大面積區域,整幅圖像的語義信息較為簡單.而光學遙感圖像的語義信息較為復雜,地表上空的拍攝角度所帶來的問題有:目標方向以及尺寸多變、目標密集排列出現、復雜的背景區域占據整幅圖的較大區域等.圖1 分別展示了光學遙感圖像目標檢測所遇到的幾個問題的典型案例.

圖1 光學遙感圖像目標檢測所遇到的幾個問題的典型案例圖Fig.1 A typical case diagram showing several problems encountered in optical remote sensing image target detection

2 基于深度學習的目標檢測方法

2.1 基于區域的深度學習目標檢測方法

對于傳統目標檢測算法中滑動窗口造成大量信息冗余的問題,候選區域提供了很好的解決方案[12].區域提議利用了圖像中的紋理、邊緣、顏色等信息預先找出圖中目標可能出現的位置,可以保證在選取較少窗口(幾千個甚至幾百個)的情況下保持較高的召回率[13].這大大降低了后續操作的時間復雜度,并且獲取的候選窗口要比滑動窗口的質量更高.這類算法的典型代表是基于候選區域的R-CNN(Region-based convolutional neural network)[8]系列算法,如R-CNN、Fast R-CNN[14]、Faster R-CNN[15]等,圖2為Two-stage 網絡的算法流程圖.

圖2 Two-stage 算法流程圖Fig.2 Two-stage algorithm flow chart

目前,Two-stage 通用目標檢測算法有如下幾種:1)R-CNN,由3 個部分組成,第1 部分使用一種稱為“選擇性搜索”的算法掃描可能是目標的輸入圖像,生成約2 000 個區域推薦;第2 部分在這些區域推薦上使用CNN;第3 部分取每個CNN 的輸出使用支持向量機進行分類和線性回歸來進行目標檢測.2)Fast R-CNN,通過兩個方面的增強提高了檢測速度,第1 個是在推薦區域之前在圖像上執行特征提取,因此在整個圖像上僅運行一個CNN而不是在超過2 000 個重疊區域運行2 000 個CNN;第2 個是用Softmax 層代替SVM,從而擴展神經網絡進行預測,而不是創建一個新的模型.3)Faster R-CNN,使用快速神經網絡來代替慢速的選擇性搜索算法,提出了區域提議網絡(Region proposal network,RPN)來獲取候選區域,取得了更快的檢測速度和更好的檢測精度.4)R-FCN(Region fully convolutional netural network),采用100% 共享計算的全卷積設計,并提出了位置敏感分數圖(Position-sensitive score maps),通過將感興趣的區域(Region of interest,ROI)進行劃分,并給每個區域進行類別和位置的評估來最終確定整個目標的類別和位置,最終在速度和精度上具有比Faster-RCNN更好的效果.5)Mask-RCNN[16],在網絡的第2 階段,Mask-RCNN 加入了一個全卷積神經網絡的分支,它能對每個感興趣區域輸出一個二進制的掩膜(Mask)從而提取精細的空間布局,實現了像素級別的預測.

2.2 基于端到端的深度學習目標檢測方法

自R-CNN 以來,基于區域的兩階段網絡在檢測問題上一直占有優勢.近期,隨著研究者的共同努力,R-CNN 系列算法在精度和效率上具有很好的表現,但是檢測速度仍有待提高.很多研究學者已經開始從研究兩階段網絡效率問題轉向了整體性更高的單階段網絡的精度問題.One-stage 網絡泛指直接進行分類預測和邊界框回歸的算法結構,沒有像兩階段網絡一樣的區域提議階段和分類階段.One-stage 網絡與Two-stage 網絡相比結構更簡單,它將所有計算封裝在一個網絡中.整個檢測流程是一個單一的網絡,可以在檢測性能上進行端到端的優化.圖3 為One-stage 算法的流程圖.

圖3 One-stage 算法流程圖Fig.3 One-stage algorithm flow chart

目前,One-stage 通用目標檢測算法有如下幾種:1)YOLOv1(You only look once v1)[17],由于區域提議生成階段被完全取消,YOLOv1 直接使用一小部分候選區域來預測檢測.與Two-stage 的方法不同,例如Faster R-CNN,從局部區域的特征來預測目標,YOLOv1 全局地使用來自整個圖像的特征.特別是,YOLOv1 將圖像劃分為S×S個網格.每個網格預測C類概率、B個邊界框位置和這些框的置信度得分.這些預測被編碼為S×S×(5B+C)的張量.通過完全放棄區域推薦生成步驟,YOLOv1在設計上是運行效率高的,可以在45 幀/s 上實時運行.2)YOLOv2[18],YOLOv1 的改進版本,將YOLOv1 中的GoogleNet[19]換成了更簡單的DarkNet-19,此外,還利用了許多從現有工作中得出的策略,如批歸一化、刪除全連接層、以及使用從K 均值和多尺度中學到好的錨框.3)YOLOv3,相比V2 版本,主要進行了如下幾方面的改進,首先是網絡結構的改進,網絡的結構由Darknet-19 變為Darknet-53,跳躍連接的現象越來越普遍.接著是末端激活函數的改進:尾部的激活函數(類別預測)由Softmax 改為Sigmoid.最后是錨框數量的改變:Anchor box 的數量由5 個改為3 個.4)SSD(Single shot multiBox detector)[20],其結合了Faster RCNN、YOLO 以及多尺度卷積特征的思想.與YOLO 類似,SSD 對在邊界框中的目標實例進行預測時得出可能的目標的邊界框以及評價,再通過非最大值抑制算法(Non-maximum suppression,NMS)算法得出最可能的一個目標類.SSD 采用全卷積神經網絡,通過在多個卷積特征映射上操作來執行多個尺度上的檢測,每個映射都預測適當大小的邊界框的類別分數和邊界框偏移量.

注 1.YOLOv3 是一個未正式發表的算法,可參見文獻:Adam V.You only look twice:Rapid multi-scale object detection in satellite imagery.arXiv:1805.09512v1[cs.CV].2018.

3 基于深度學習的光學遙感圖像目標檢測方法研究現狀

深度學習因其更強大的泛化能力,在光學遙感圖像目標檢測領域已經得到廣泛運用.光學遙感圖像由于其傳感器以及拍攝角度的特殊性,與普通圖像相比有諸多差異.盡管有著強大的分歧特征提取能力,受限于光學遙感圖像的超高分辨率和超大覆蓋面積所帶來的新問題,傳統基于深度學習的目標檢測算法難以取得理想的效果.

目前已經有許多學者正在嘗試使用深度學習的方法來解決光學遙感圖像目標檢測,這些創新性的算法結構都以傳統的深度學習方法為基礎.本節將以深度學習方法的光學遙感圖像目標檢測所面臨的問題為導向,進行不同算法的歸納和總結.

3.1 面向光學遙感圖像分辨率過高問題的深度學習目標檢測方法

深度學習方法的強大性能是以犧牲計算速度為代價的,其訓練過程需要反復迭代才能達到較好效果.面對超高分辨所帶來的超大數據量,傳統深度學習的方法很難在保證檢測質量的同時快速的學習其中的重要信息.表1 對當前解決圖像分辨率過高問題的部分算法進行了比較.

表1 解決圖像分辨率過高問題的不同方法對比Table 1 Comparison of different methods to solve the problem of high image resolution

文獻[21-27]將原始尺寸的大圖切割為一系列的小圖進行處理,不僅使得網絡有了處理這些數據的能力,同時也放大了圖片,提高了檢測效果,但是該方法容易使得位于小圖片邊緣區域的目標被切割.文獻[28]借鑒了卷積神經網路重疊區塊的思想,以一定重疊率對原圖進行滑動切割,避免了小圖邊緣區域目標被切割的問題.但是滑動取塊使得整幅大圖的處理時間變得更加冗余,文獻[29]發現滑動取塊法會造成信息冗余的原因是大圖中部分的滑動窗口區域并沒有包含有需要被檢測的目標,因此,利用RCNN 網絡的兩階段檢測特點,在使用20%重疊率的大圖取塊后,首先使用第一階段的定位器對不包含有目標的凸顯塊進行過濾,從而減小第二階段的分類器的計算負擔,該方法在保證檢測效果的同時,減少了多余的計算消耗.但是對于重疊部分可能會出現多次檢測的問題,因此算法YOLT(You only look twice)在使用15% 重疊率的滑動取塊之后,利用非極大值抑制來防止重疊部分的多次檢測,進一步減小了計算消耗.但是將大圖切割為小圖進行計算始終不是一個高效的處理方式.

注 2.YOLT 是一個未正式發表的算法,可參見文獻:Adam V.You only look twice:Rapid multi-scale object detection in satellite imagery.arXiv:1805.09512v1[cs.CV].2018.

文獻[30]直接對原圖進行處理,使用全卷積神經網絡進行候選區域映射(每個像素預測是否為飛機,如果是,則以此為中心,取196×196 像素的框作為候選區域,最后使用非最大值抑制來減少重復框),提取可能存在目標的區域,然后訓練一個分類器來驗證結果,有效減少搜索區域,但是候選框的大小是基于先驗信息決定的,面對尺寸多變的檢測任務則難以有效處理.

3.2 面向光學遙感圖像目標過小問題的深度學習目標檢測方法

基于深度學習的目標檢測算法大多以卷積神經網絡作為主干網絡,因為卷積神經網絡在圖像處理方面有著優異的表現.但是面對僅有幾十或者幾百個像素的小目標時,卷積神經網絡反而成了劣勢,這是由其下采樣層造成的,小目標往往會在經過多層下采樣層的深層網絡后消失.表2 對當前解決圖像目標過小問題的部分算法進行了比較.

表2 解決目標像素過少問題的不同方法對比Table 2 Comparison of different methods to solve the problem of too few object pixels

最直觀的解決辦法是重新擴大特征圖尺寸,大多數文獻通過加入反卷積層來擴大特征圖,算法YOLT 使用類似ResNet(Residual neural network)恒等映射的通過層(Passthrough layer)將最后一層網絡輸出層與中間層拼接,淺層網絡的加入提高了小目標的檢測能力,同時作者增加了YOLO的網格個數,使得每個網格能預測更小的目標,但是對小目標提取能力的提高有限,考慮到計算消耗,也不能無限增加網格個數.文獻[31]以Faster RCNN 為基礎網絡,在進行區域推薦后加入反卷積層,重新放大小目標的尺寸,改善了小目標的檢測效果.但是反卷積的作用體現在當深層網絡特征圖中依然存在少數小目標的像素點時,對于在深層網絡中已經消失的小目標特征無法起到放大作用,并且該網絡結構對于不同大小的目標檢測魯棒性差.文獻[25]則利用反卷積層進行淺層和深層網絡的多尺度的特征融合,不僅為特征提取引入了上下文信息,同時還能兼顧大、小目標的檢測.但是淺層網絡對于小目標來說會引入過多的背景噪聲,因此文獻[24]在使用多尺度信息進行特征融合的同時,使用平衡系數來平衡加入的上下文信息所引入的噪聲.但是平衡因子的選擇沒有很好的理論依據,只能憑經驗選擇,對不同數據集的魯棒性較差.

反卷積的加入同時也會引入過多的參數,文獻[32]在YOLOv2 模型中加入了膨脹卷積,在擴大感受野的同時,相比反卷積減少了參數.但是膨脹卷積會造成局部信息丟失的問題,文獻[33]使用像素級注意力機制來融合局部信息和全局信息,彌補了膨脹卷積的不足,同時,全局注意力將淺層和深層特征結合,改善了小目標的檢測效果.但是其全局注意機制是通過全局池化結合平均池化,然后再進行下采樣獲得的,同樣面臨CNN 網絡下采樣所面臨的問題.

文獻[27]提供了不同的思路,采用由粗到精的檢測方法,結合兩個CNN 網絡,第1 階段使用CNN進行范圍較大的粗糙的目標檢測(檢測結果里只包含一個目標),第2 階段網絡對第1 階段網絡的粗預測結果再進行仔細的檢測,縮小范圍可以解決直接檢測難以檢測小目標的問題.但是兩步檢測都存在檢測效率低的問題.

如何在保證大目標檢測效果的同時提高小目標的檢測效果,并且保證較快的檢測速度,還需要更進一步研究.

3.3 面向光學遙感圖像目標方向變化問題的深度學習目標檢測方法

光學遙感圖像由于其特殊的拍照角度,會更加凸顯目標的方向性,而CNN 的深度學習模型是不具有旋轉不變性的,多變的角度會給檢測帶來困擾.目前解決目標方向變化的思路主要有兩種:數據增強以及改變網絡結構.表3 對當前解決圖像目標方向變化問題的部分算法進行了比較.

表3 解決目標方向變化問題的不同方法對比Table 3 Comparison of different methods to solve the problem of object direction change

文獻[22-26,34] 分別使用幾個不同的旋轉角度,對訓練數據進行翻轉擴充增強,擴充不同角度的樣本數量,改善目標旋轉對檢測效果的影響.不同于普通的旋轉變換,文獻[35] 使用單應性變換(Homography transform)來進行數據增強,其能夠準確捕捉平面場景的范圍變化,達到更好的增強效果.

數據增強中的旋轉增強是一種簡單的改善目標方向變化問題的方法,有著一定的效果,但是旋轉增強方式的旋轉角度是固定的,無法有效地解決網絡對于目標方向變化的處理能力.文獻[36]在框架的基礎網絡后加入旋轉不變層,通過引入正則化約束項來強制訓練樣本在旋轉前后共享相似的特征,從而達到旋轉不變性.文獻[37]在Faster R-CNN模型的RPN 網絡中加入多角度錨框來解決目標方向變化問題.文獻[38]采用多尺度信息融合的全連接層來增強對于旋轉和尺度變化的魯棒性.

目標方向變化不僅給網絡特征提取帶來障礙,同時給目標檢測過程中的定位任務造成了困擾.尤其對于艦船這樣細長的目標,水平檢測框難以達到精確的定位.為此,文獻[25]在網絡檢測階段加入了方向預測分支,使得目標檢測框能按照目標不同的方向進行精確定位.文獻[39]在加入方向邊界框的基礎上,使用基于旋轉的ROI 池化,解決了普通的ROI 池化對于艦船這樣細長的目標會引入很多噪聲的問題.文獻[22]在使用方向邊界框的基礎上創新性地提出了船頭方向預測.

3.4 面向光學遙感圖像目標尺寸變化問題的深度學習目標檢測方法

如今光學遙感圖像目標檢測的任務大多為多類別的檢測任務,這些類別中有相對小的目標如艦船、飛機、車輛、房屋建筑、儲油罐等,也有相對大的目標如籃球場、田徑場、飛機場、網球場等.當大目標和小目標同時出現在檢測任務當中時,網絡對于較大的尺寸變化難以做出很好的處理.表4 對當前解決圖像目標尺 寸變化問題的部分算法進行了比較.

表4 解決目標尺寸變化問題的不同方法對比Table 4 Comparison of different methods to solve the problem of object size change

目前的研究主要通過加入多尺度信息來解決不同大小目標的檢測問題,文獻[30]目標推薦區域調整為3 個不同尺寸圖,并將3 個圖分別使用3 個網絡進行預測,最終通過投票決定最后的目標類別,使得不同尺寸目標在同一標準下分類預測.文獻[22]使用稠密特征金字塔網絡,對不同層的特征圖使用RPN 網絡,最后通過卷積層映射到同一維度進行融合,結合了淺層網絡的位置信息以及深層網絡的語義信息,解決了不同大小的目標檢測問題.文獻[40]在RCNN 基礎網絡的兩個不同尺度特征圖中加入了兩個RPN 網絡,來應對不同大小的目標提案.文獻[28]通過使用跳躍鏈接的自編碼機多尺度結構來適應不同尺度的變化,對不同尺度使用不同錨框進行預測,解決目標尺度變化問題.

3.5 面向光學遙感圖像目標密集排列問題的深度學習目標檢測方法

部分目標類別如艦船、車輛、飛機等交通工具,因人為因素會出現密集排列的問題,這增加了目標定位和目標分類的難度.表5 對當前解決圖像目標密集排列問題的部分算法進行了比較.

表5 解決目標密集排列問題的不同方法對比Table 5 Comparison of different methods to solve the problem that objects are densely arranged

對于密集排列目標的定位問題,文獻[22,39]通過帶有方向的邊界框檢測解決了這個問題.對于密集排列目標的區分問題,文獻[41]使用了一種局部再識別機制,利用網絡中的一個尺度來重新識別每個目標塊,然后使用非最大值抑制過濾,達到更精細的目標框定位,從而減小邊界框重疊.算法YOLT 對圖像進行上采樣,以確保感興趣的目標大且足夠分散,在提高小目標檢測能力的同時改善了目標的密集排列檢測問題.

3.6 面向光學遙感圖像復雜背景問題的深度學習目標檢測方法

光學遙感圖像目標檢測除了常見的目標類別(標準數據集NWPU VHR-10 包含有10 類目標)以外,其他沒有被檢測的地物類別都被劃分為背景,而且由于圖像覆蓋范圍廣,與普通圖像相比背景所占比例較高,這也給檢測任務帶來了困難.表6 對當前解決圖像復雜背景問題的部分算法進行了比較.

表6 解決復雜背景問題的不同方法對比Table 6 Comparison of different methods for solving complex background problems

靠岸艦船檢測是受遙感圖像復雜背景影響的一個典型問題.靠岸船只的特點是緊靠船塢并且與船塢平行.從上空角度來看,船塢的結構與艦船的結構混淆,這也是造成靠岸艦船難檢測的一個重要原因.文獻[42]使用全卷積網絡來訓練提取靠岸艦船、海洋以及陸地三種類別的語義特征,然后作為注意力機制來給各個類別事物加權,提升了網絡海陸分離的能力.但是利用先驗信息不具有普適性,當船塢的艦船密集停靠的時候,其特征與陸地特征相近,難以進行海陸分割.文獻[23]將大量不包含目標的圖片用于負樣本進行訓練,同時訓練一種綜合性的損失,該損失在當陸地上類似艦船的目標被識別為艦船時最大,從而有效抑制陸地背景中與艦船有相似特征的地物的影響,實現無需海陸分離的靠岸艦船識別.

除靠岸艦船檢測之外,還有其他受復雜背景影響的例子.文獻[43]使用多尺度特征提取方法,將各層特征圖單獨使用視覺注意力機制增強并檢測,消除了不同大小目標檢測過程中的背景噪聲影響,但多尺度分別預測造成了網絡計算量的增大.文獻[44] 結合R-FCN 網絡的位置敏感分數圖以及Faster R-CNN 網絡的RPN,在使用RPN 網絡獲得區域推薦之后,在目標提案上使用位置敏感分數圖,實現目標局部位置的預測,只有達到一定的局部特征相似度才能被判別為某一目標類,消除了背景的影響,但是該方法對于較為相似的背景類,可能會出現誤判,對復雜背景的分辨能力不夠高.

3.7 面向光學遙感圖像樣本不足問題的深度學習目標檢測方法

樣本不足問題是所有目標檢測任務都要面臨的問題.面對高昂的圖片獲取的成本以及人工標記成本,光學遙感圖像目標檢測數據集更加顯得珍貴.并且深度學習的方法對數據集的要求較高,現有數據集的樣本分布難以有效地訓練模型.目前解決訓練樣本不足的問題主要的思路有:數據增強、弱監督學習以及遷移學習.表7 對當前解決圖像樣本不足問題的部分算法進行了比較.

表7 解決樣本不足問題的不同方法對比Table 7 Comparison of different methods for solving sample insufficient

文獻[24-27,36,44-46] 分別使用了包括平移、縮放、旋轉、鏡像翻轉、水平翻轉、對比度增強、亮度調節、紡射變換等方法對訓練數據進行擴充.這些數據增強方法不僅成倍擴充了樣本數量,而且一定程度上解決了部分前面提到的問題(如方向和尺度變化).但是數據增強并沒有從本質上解決網絡本身性能不足的問題,并且這些變換都是基于原始訓練數據,經過變換之后的樣本相似度太高,本質上講仍然是原始樣本,因此對檢測效果的提升有限.

弱監督學習分為不完全監督(即關注于現有標記數據集不足以訓練出好的模型)、不確切監督(即關注于現有標記數據提供的信息不夠準確)、不準確監督(即關注于現有標記數據集的信息不總是真值).光學遙感圖像目標檢測主要的問題是不完全監督.文獻[47]使用生成式對抗網絡(Generative adversarial network,GAN)通過少量訓練樣本來進行虛擬樣本生成.相比數據增強方法,其生成的樣本與原始訓練樣本并不相同,因此能更好的解決樣本不足問題.但是單獨使用GAN 進行預處理降低了網絡的運行速度.文獻[30]在對模型迭代訓練過程中通過挖掘難分負樣本來迭代擴充包含不同場景類別的負樣本,改善由于復雜背景導致的誤檢問題,但是僅鑒于負樣本的擴充,沒有解決有標記正樣本的不足問題.

深度學習方法因為需要對數據進行反復迭代學習,使得樣本數量的問題在深度學習方法上顯得格外重要.遷移學習作為解決訓練集不足問題廣泛運用在多個領域,目前對于光學遙感圖像目標檢測任務,其主要運用是使用源域數據對模型進行預訓練,然后將預訓練模型的知識進行遷移,再在目標域數據上進行進一步訓練.例如文獻[16] 使用ImageNet 數據集對YOLOv3 網絡進行預訓練,然后再遷移至目標域數據進行微調.文獻[41]使用ImageNet 數據集對主干網絡進行預訓練,然后遷移至目標域數據進行微調.這些方法的理論基礎是深度神經網絡(Deep neural network,DNN)的淺層是低級語義信息(如邊緣信息、顏色信息等),DNN 的深層是高級語義信息(不同目標類別之間的分歧信息).

4 總結與展望

本文簡要回顧了光學遙感圖像目標檢測的研究背景,介紹了傳統的檢測方法,并概括了基于深度學習的傳統目標檢測方法,接著對基于深度學習的光學遙感圖像目標檢測所面臨的困難進行了歸納,并以此對目前基于深度學習的光學遙感圖像檢測方法進行了分類對比,并總結了目前的研究現狀.隨著遙感技術的發展,光學遙感圖像的質量會有進一步提升,因此光學遙感圖像的應用前景依然十分廣闊,目前基于深度學習的光學遙感圖像目標檢測發展迅速,潛力巨大.使用基于深度學習的模型可以有效解放人力,將特征工程交于算法完成,極大提高網絡對于不同數據的魯棒性.

目前基于深度學習的光學遙感圖像目標檢測主要問題在第3 節已經列出.盡管有很多研究致力于解決這些問題,并且取得了一定的效果,但是在尋找更好和更高效的解決辦法上仍然留有很大的發揮空間.因此,在后續的研究應該考慮以下幾個研究方向.

1)在解決因圖像分辨率過高造成網絡計算負擔增加的問題上,目前較多的方案是將大圖切割成小圖進行訓練.這些方法在提高檢測精度的同時引入了過多冗余的計算,因為原始圖像中的某些圖像塊不包含目標或者包含有少量的目標,但是目前的網絡會對這些塊等同處理.如何選取有效的圖像塊使得目標盡可能多地落入該區域,如何優化網絡使得網絡能夠將更多的注意力放在包含有目標的圖像塊,可以作為后續的一個研究方向.

2)在解決因目標方向變化影響檢測效果的問題上,數據增強可以作為后續研究的一個優化技巧被嵌入網絡中,在算法優化上,考慮使用一種更加有效的旋轉不變映射機制,改善基于CNN 的深度學習網絡對于旋轉的魯棒性.

3)在目標尺寸變化問題上,網絡的淺層對應更小的感受野,適用于提取小目標特征,網絡的深層對應更大的感受野,適用于提取大目標特征.目前不同算法在解決目標尺寸變化問題上,都是基于這一理論使用多尺度信息來改善不同尺寸目標的檢測效果.但是多尺度的選取僅僅對大和小進行了區分,不能適應不同數據集中的目標尺寸變化問題.后續的研究考慮加入多尺度自適應機制,針對不同數據集中目標大和小的具體尺寸情況來選取適合的多尺度信息.

4)在解決因目標密集排列造成目標難定位問題上,目前的解決方法大多集中在引入方向邊界框預測,對密集排列目標的定位問題進行了很好的解決,但是同時目標密集排列還會造成單個目標信息難以提取的問題.考慮在網絡中加入更加精準的目標分割技術,首先對密集排列目標進行圖像分割,再使用網絡對分割的目標進行特征提取.

5)在解決因復雜背景影響檢測效果的問題上,大多方法利用分割技術,將背景和目標區分開,從而改善網絡對目標特征的提取能力,也有部分方法是通過提高網絡對于背景和目標的分歧能力來減小復雜背景的影響.這些解決方法作用在算法的不同階段,可以考慮使用一種有效的結合方法,共同用來解決復雜背景問題.

6)在解決樣本不足的問題上,數據增強作為一種易于實現的小技巧,可以繼續用于后續新算法的研究.考慮針對不同類樣本的分布情況以及不同的背景情況,使用弱監督學習方法來改善樣本不平衡問題.在遷移學習的應用上,目前的研究都是使用通用目標檢測數據集進行遷移.目標域與源域的數據有著很大差別,使得只能進行淺層低級語義信息的遷移.光學遙感圖像有著其特殊拍攝角度,如果使用同為高空角度拍攝圖像(如其他光學傳感器拍攝的光學遙感圖像、合成孔徑雷達影像、高光譜影像等),其與目標域的高層語義特征會更加相似,因此可以考慮使用同為高空拍攝的數據進行更深層的遷移以減少網絡對于源域數據的依賴.