一種在軌衛星光學遙感艦船檢測算法

瞿濤 韓傳釗

(1 武漢大學 計算機學院，武漢 430072)(2 北京市遙感信息研究所，北京 100192)

遙感圖像目標檢測一直是遙感影像處理領域研究的熱點課題，船舶作為海上運輸載體和重要的軍事目標，其自動檢測與識別具有非常重要的現實意義，無論在民用還是軍事領域都有著廣闊的應用前景[1]。光學遙感圖像具有分辨率高、圖像清晰和信息豐富等特點，因此光學遙感圖像艦船檢測已逐漸成為研究熱點。傳統的衛星遙感圖像數據處理方案是將獲取到的遙感圖像進行壓縮，然后下傳到地面站處理[2]。當前遙感衛星采集的圖像分辨率越來越髙，而下傳數據的帶寬有限，迫切需要提高星載計算機的在軌數據處理能力，提升現有遙感衛星的自主性與靈活性，減少地面站對衛星任務的干預，滿足未來遙感衛星對高機動性、高應急性、高時效的要求，在災害應急監測等領域發揮更大作用。然而，星載平臺對于嵌入式設備的資源和功耗有著嚴格的限制，難以滿足深度學習算法高內存、大計算量的需求，因此需要進一步研究適合在軌處理的輕量級實時艦船檢測算法。

光學遙感艦船檢測根據使用特征的類別，可以分為傳統特征檢測方法和深度神經網絡檢測方法2種。傳統特征檢測方法包含基于海洋表面分析的艦船檢測(SDSSA)方法[3]、基于形態學的方法[4]、基于艦船的直線檢測(LSD)方法[5]等，傳統特征檢測方法通常由人工設計特征表達，設計有效的手工特征通常需要大量的專業知識，在海面背景復雜的情況下特征通常不明顯且易被干擾，無法有效應用[6]。深度學習在計算機視覺應用中有著更強的特征表達能力。基于深度學習的艦船檢測方法通常分為單階段(One-stage)和兩階段(Two-stage)2類[7]。關于Two-stage方法，文獻[8]中提出任務劃分模型，根據網絡深度分配不同的任務。文獻[9]中對快速區域卷積神經網絡(Fast RCNN)感興趣區域池化層(ROI Pooling)進行改進，去掉ROI Pooling層候選框中非目標區域的噪聲干擾。文獻[10]在Faster RCNN的基礎上采用多分辨率卷積特征，提升相鄰船只和小型船只的檢測效果。文獻[11]中改進了Faster R-CNN算法(Faster R-CNN算法是在Fast RCNN的基礎上提出了RPN候選框生成算法，使得目標檢測速度大大提高)，引入了K均值(K-Means)聚類算法。文獻[12]中研究遙感影像目標的成像特性，為遙感領域深度學習網絡模型設計提供技術支持。文獻[13]中提出基于掩膜區域卷積神經網絡(Mask R-CNN)框架的方法，較好地解決了緊密排列艦船目標的檢測問題。文獻[14]中提出了密集特征金字塔網絡(DFPN)解決狹長船只的檢測問題。文獻[15]中級聯目標預篩選全卷積網絡(P-FCN)和目標精確檢測全卷積網絡(D-FCN)提高檢測效率。文獻[16]中提出一種聯合視覺顯著性特征與卷積神經網絡的艦船檢測方法訓練卷積神經網絡模型。Two-stage方法具有很好的準確率，但復雜的算法在計算資源有限、需要實時處理的衛星在軌目標檢測場景中應用受到制約。One-stage方法將目標檢測作為一個分類或回歸問題，直接得到最終的結果。文獻[17]中利用輕量化網絡代替YOLOv3特征提取網絡實現遙感目標的高效檢測。文獻[18]在單次多框檢測器(SSD)金字塔特征層中設計特征融合模塊，實現多尺度遙感圖像目標檢測與定位。基于One-stage方法的檢測網絡對于小目標的檢測效果并不好，多尺度目標的適應性不強。

星上目標檢測在計算資源有限的條件下需要較高的檢測精度和速度，在包含各種復雜海況的場景下艦船檢測精度不低于85%，才能實現對感興趣場景的在線目標檢測要求。另外，光學遙感圖像質量也影響著檢測精度，傳統的地面處理需要對原始圖像做輻射校正與幾何校正，以提高圖像質量，星上目標檢測計算資源有限，在檢測前只進行輻射校正可以減少耗時、提升效果，未進行幾何校正的圖像仍具有船只的形狀和紋理特征，對檢測結果影響不大。現有研究重點大多是提高艦船檢測精度，對設計網絡壓縮算法提升艦船檢測速度的研究不多。本文以光學遙感艦船為研究對象，對多尺度艦船目標快速檢測方法進行研究。采用YOLOv3作為端到端基礎網絡，對網絡的通道數和層數進行裁剪，借鑒Mobilenet[19]的思想設計倒置殘差結構，使用可分離卷積和1×1卷積對卷積層進行替換，最后使用圖像金字塔將不同尺度的艦船檢測出來。本文通過研究神經網絡壓縮方法降低存儲和計算成本，可以在計算和存儲資源有限的在軌平臺完成，更利于實現衛星在軌目標檢測。

1 網絡壓縮與倒置殘差結構優化

本文提出的應用倒置殘差的衛星在軌光學遙感艦船檢測算法，其網絡壓縮結構如圖1所示，通過裁剪網絡層數與通道數，減少卷積層至19層(未算分類回歸器前的卷積層)。其中，倒置殘差用于加速普通的殘差塊，可分離卷積用于加速普通的3×3卷積。使用倒置殘差和可分離卷積結構進行替換加速，可以實現整體網絡速度的巨大提升，新網絡的浮點運算次數(FLOP)為1.603×109，相比于YOLOv3[20]的6.5287×1010，有大幅度減少。下面將詳細介紹端到端網絡層數與通道數裁剪和倒置殘差結構壓縮優化。

注：M為殘差塊個數；R為通道擴張因子。

1.1 端到端網絡層數與通道數裁剪

常用的目標檢測模型實現對貓、狗、兔等多類復雜目標定位和分類，艦船檢測只有一種目標類別，即區分艦船還是背景，特征本身也比較簡單。主流多分類網絡模型應用在二分類艦船檢測中，存在冗余設計，其網絡結構可以裁剪的更小。

衛星在軌光學遙感艦船檢測的研究難點在于速度，而YOLOv3正是一種注重速度的One-stage檢測方法，本文選擇YOLOv3作為基礎網絡。但YOLOv3結構仍比較復雜，其Darknet53主干網絡總層數已經超過了100層。參考ResNet18[21]在特征圖(Feature Map)尺寸變化前后都為2個殘差塊，而Darknet53中第3，4，5次采樣后的殘差塊分別是8，8，4個，本文使用2個殘差塊結構進行替換。

為解決多尺度目標檢測問題，YOLOv3采用多層特征融合的方式，不同特征層檢測不同尺度的目標，因此有多個從主干網絡中延伸出來的分支。本文采用不同的思路，使用金字塔檢測方式將多個分支從網絡中移除，只留最后一個分支用于艦船的分類回歸，從而減少了檢測網絡的層數。

YOLOv3在主干網絡中經過了5次下采樣，對最后一層特征圖的單元格進行層層反推，得到的感受野達到了948×948，增大感受野(Receptive Field)有能力檢測大的目標，但對于艦船來說，大尺寸船只縮小后仍然有足夠的識別能力，不會影響判別。本文去掉了最后一次的下采樣及其殘差塊，并將第4次下采樣后的殘差塊個數減少為1，再次反推得到的感受野變為164×164。

為了能夠在最后一層特征圖中得到一個中心單元格，YOLOv3設置網絡的輸入大小為416×416，為32的奇數倍長寬。因為大的目標會占據圖像中心，用一個中心單元格來預測較好。但是，對于遙感圖像來說，艦船的位置顯然是隨機的，在中心的概率和在其他位置是一樣的，而且艦船相對原始圖像來說都比較小，所以在本文中改為512×512。這樣可以減少1024×1024圖像在縮放時的信息損失，增加檢測精度。

以上方法使網絡層數減少了約75%，減少的層數是卷積核數量最多的后幾層，所以網絡的參數數量下降得更多，約為原網絡的1/12。參數數量會影響網絡在反向傳播時參數的更新速度，使得網絡的單次檢測和訓練速度也得到了相應比例的提升。同時，由于感受野的下降，減少了特征抽象，增加了細節信息，使得小目標的檢測精度也得到了一定提升。

網絡通道數裁剪是對網絡中每層卷積核的數量進行調整。本文試驗發現：網絡卷積核也存在冗余，通過將卷積核數量降低為原來的1/4，可以得到一個精度降低不大的網絡。最后一層特征圖的通道數為5×(4+2)=30，每個單元格設置了5種不同長寬的錨，預測目標的4個坐標參數，2為置信度和類別概率。這樣，可以讓通道數裁剪后的網絡檢測速度得到成倍的提升。

1.2 倒置殘差結構壓縮優化

本文對殘差塊內部結構進行調整，將其中的瓶頸結構(Bottle Neck)替換為倒置殘差(Inverted Residual)結構，但與MobileNetv2[19]的3層卷積不同，本文使用2層卷積構建倒置殘差，如圖2所示。第1層為1×1卷積層，用于瓶頸壓縮；第2層是3×3的可分離卷積層，存在通道擴張。同時，為了減少ReLU激活造成的信息損失，借鑒了MobileNetv2中的2種解決方法：①將ReLU激活函數替換為線性函數；②通過擴張通道來減少損失。

注：shortcut為直連；linear為線性映射；W和H分別為卷積核的寬和高；N為卷積核個數。

2 多尺度圖像金字塔檢測

艦船檢測的另一個難點是網絡對大小不一的目標檢測效果較差，常用的辦法是將多層特征進行融合：低層感受野小細節信息多，檢測小目標；高層感受野大特征更抽象，檢測大目標，但采用更大的感受野和更深的網絡層數來對信息進行提取和抽象，會增加網絡的計算復雜度。而艦船特征簡單，將大船縮放成小船仍可以看出是船，適當的圖像縮放并不影響到船的判別，大船多出的細節信息對于目標檢測是冗余的。

本文使用圖像金字塔實現多尺度目標檢測，具體步驟如下。

(1)使用壓縮后的19層網絡對大小為S2的原圖T進行目標檢測，得到預測框集合P。

圖3 金字塔圖像示意Fig.3 Pyramid image diagram

(1)

(5)使用非極大值抑制(NMS)的方法，去除P中的重復坐標框。這樣即得到了多尺寸的預測框集合P，并將P作為最終檢測結果輸出。

如前文所述，圖像金字塔檢測方式將原始網絡中多個從主干網絡延伸出來的分支移除，只留最后一個分支用于目標的分類回歸，從而減少了檢測網絡的層數。使用金字塔檢測方式的前提是待檢測的目標類別只有一類，只有這樣待檢測的目標才能基于同一尺寸范圍進行下采樣和目標檢測。

3 試驗結果及分析

本文依托海南一號衛星在軌目標檢測載荷應用實例，在分辨率相近的高分一號遙感數據集上進行試驗，證明本文算法在有效減少算法耗時的同時，仍能保證在尾跡、海浪、云霧和港口干擾下的檢測效果。為衛星在軌運行后的海洋實時管控提供有效的信息保障。

3.1 試驗數據庫

遙感圖像在不同衛星、遙感器、光譜頻段和拍攝角度下，其成像表現和目標狀態都存在較大差異。本文為了統一圖像質量，減少圖像來源和狀態變化對網絡訓練產生的不良影響，建立了自制艦船數據庫，用來訓練測試網絡模型的性能。自制艦船數據庫來自高分一號衛星的全色波段圖像，空間分辨率為2 m，裁剪為多個1024×1024的標準圖像，人工篩選后保留海面、海岸和艦船存在的部分，最終得到3952張標準圖像，標注得到的艦船目標數量為8621。訓練集和測試集的比例為7∶3。

3.2 試驗平臺

本文算法訓練與測試使用的計算機軟硬件配置為：GPU為RTX2060，CPU為Intel(R) Core(TM) i7-6700 CPU@3.40GHz，內存為32 GB DDR4 2133MHz。操作系統為ubuntu 18.04LTS，Python為Anaconda3-2018.12，OpenCV 3.3，CUDA 9.2，CUDNN 7.0。

3.3 檢測評價指標

當目標所屬類別對應的預測框集合中存在某個預測框和真實目標框的交并比(IOU)大于閾值0.5，表示目標被正確地識別出來。IOU為交并比，即兩框交集的面積與并集的面積之比。

本文使用精確率Rprecision和召回率Rrecall評估模型的性能。其中：精確率是指所有的預測框中正確對應真實目標的比例，見式(2)；召回率是指所有真實目標中有多少被預測出來了，存在對應的預測框，即查全率，見式(3)。

(2)

式中：NTP為目標被正確預測出來的數量；NFP為非目標被錯誤預測出來的數量。

(3)

式中：NFN為目標沒有被預測出來的數量。

不斷地改變召回率閾值的大小，將每次計算得到的精確率和召回率畫在一個坐標圖上就可以得到一條曲線，即為精確率-召回率(PR)曲線，該曲線可以顯示檢測網絡在精確率與-召回率之間的權衡。相比較于曲線圖，使用具體的數值更能直觀地表現出神經網絡檢測算法的性能。通常情況下，采用平均精度(AP)作為這一度量標準，平均精度是精確率隨召回率變化曲線的積分。

3.4 網絡加速試驗

3.4.1 層數裁剪試驗

為了證明層數裁剪過程中每次的裁剪都是有意義的，本文對每次裁剪后網絡的精度和速度的變化做記錄并分析，確保裁剪后網絡速度加快的同時，精度的降低在可接受范圍內，見表1。在表1中：“剪枝”是指裁剪掉YOLOv3最后3個分支中的另外2個，保留1個；“殘差優化”是指將“剪枝”中第3，4，5次下采樣后殘差塊的個數按照ResNet18中的配置都裁剪成2個；“層數壓縮”是指將“剪枝+殘差優化”中最后1次池化及后面的殘差塊也裁剪掉，并將第4次下采樣后的殘差塊個數裁剪成1個；“普通”是指按照正常流程進行目標檢測；“金字塔”是指按照本文多尺度圖像金字塔檢測方式進行檢測。表1中的FLOP指浮點計算次數，用來評價卷積神經網絡(CNN)的時間復雜度；Parameters指參數的數據量，一般以Mbyte單位，用來評價CNN的空間復雜度。FLOP和Parameter是評價CNN運行速度的理論指標，和實際運行速度每秒圖像幀數(FPS)有著很大的差距。FPS是指1 s可以處理多少張圖像，本文使用毫秒作為時間單位。

表1 網絡層數裁剪試驗結果Table 1 Test results of network layer pruning

從表1可以看到：YOLOv3在去掉分支后(剪枝)，平均精度AP有一定下降，通過觀察數據樣本發現，小目標的檢測精度確實下降很多。“剪枝+殘差優化+512”的普通檢測方式比金字塔檢測方式的AP要更大，證明復雜的深度網絡并不適合金字塔檢測。通過“剪枝+殘差優化+層數壓縮+512”發現，金字塔檢測的效果在網絡剪裁較多的情況下，可以增加檢測精度，增加的精度來源于小目標檢測精度的提高。同時也可以看到：在不斷裁剪的過程中，檢測速度也在不斷加快，其中金字塔檢測耗時之所以會提高1倍(乘2)，是因為其實施步驟中需要經過2次網絡檢測。總體來說，網絡剪裁后檢測速度快了約18%，參數量減少了90%。

3.4.2 通道數裁剪試驗

為了保證在裁剪通道的同時精度不會降低太多，本文對每次通道減半后網絡的平均精度和檢測速度變化做記錄并分析，以得到最佳的通道裁剪倍數。如表2所示：“層數裁剪”等于第3.4.1節的“剪枝+殘差優化+層數壓縮+512”；1/C是指通道裁剪的比例，即通道數變為原來的1/C。本文中的通道裁剪是針對所有網絡層，即網絡中每層卷積的通道數都變為原來的1/C。

表2 網絡通道裁剪試驗結果Table 2 Test results of network channel pruning

從表2可以看到：經過1/2通道裁剪后平均精度AP反而增加了一些，這證明了網絡確實存在冗余；但經過1/4通道裁剪，AP相對于沒裁剪之前降低了1.1，但檢測速度提升了約42%；經過1/8裁剪后，發現雖然檢測速度提升更大，但AP卻下降了5.9。因此，放棄1/8，選擇1/4的通道裁剪網絡，這也是本文中檢測速度提升最大的一步。如果沒有金字塔檢測，1/4通道裁剪的AP也不可接受，所以金字塔檢測是1/4裁剪的前提，同樣也是檢測速度提升的關鍵。

3.4.3 卷積替換試驗

為了證明可分離卷積和1×1卷積替換普通卷積確實具有檢測速度優勢，本文對替換前后的平均精度AP和檢測速度進行比對測試，記錄試驗結果。如表3所示：“通道裁剪”是第1.1節的“層數裁剪+1/4”使用倒置殘差進行替換后的模型；“通道裁剪+R”中的R是指擴張因子的大小，即倒置殘差中的1×1卷積通道數和3×3可分離卷積的輸出通道數之比。

表3 卷積替換試驗結果Table 3 Test results of convolution replacement

從表3可以看到：“層數裁剪+1/4”到“通道裁剪+1”，雖然FLOP降低了71%，但是檢測速度只提升了51%，并不成正比，這就證明了理論計算速度和實際運行效率并不一致，在實際應用中一般更加注重運行速度。同時，擴張因子為1，相對于第3.4.2節的“層數裁剪+1/4”，雖然檢測速度加快了很多，但是金字塔檢測平均精度AP降低了7.9，相對于加速效果AP下降程度較大，所以不采用，“通道裁剪+2”同理不采用。“通道裁剪+4”檢測速度提升了31%，但AP只下降了0.7，在可接受范圍內，所以本文最終的網絡模型是基于“通道裁剪+4”的。

3.4.4 檢測效果對比

圖4是YOLOv3和本文算法的PR曲線對比。雖然YOLOv3的PR曲線下的面積更大，但本文算法在精確率降低后，召回率可以迅速跟上YOLOv3，并且在最后有趕超的趨勢。總體來說，YOLOv3的平均精度AP更高，本文算法在AP差別不大的條件下速度上更有優勢。

圖4 PR曲線對比Fig.4 Comparison of PR curves

為了證明本文算法的有效性和普適性，對本文算法，YOLOv3，YOLOv2，YOLOv3-tiny，YOLOv2-tiny，SSD和RetinaNet進行性能對比，并記錄試驗數據，如表4所示。其中：RetinaNet的主干網絡使用的是ResNet-101。

從表4可以看到：本文算法相對于YOLOv3，雖然平均精度AP差了4.2，但是耗時減少約72%；相對于YOLOv2，耗時減少約58%，AP也有0.9的微弱優勢；相對于YOLOv3-tiny，YOLOv2-tiny，耗時雖然增加，但AP大幅提高了11.1%和14.5%；相對于SSD，AP表現更好，并且速度更快；相對于RetinaNet，還有一定差距，但耗時只有RetinaNet的9%。

應用倒置殘差壓縮網絡的衛星在軌光學遙感艦船檢測算法效果，如圖5所示。可以看到：在圖5(a)尾跡、圖5(a)～5(b)海浪、圖5(c)～5(e)云霧和圖5(f)港口等干擾的情況下，本文算法均能很好地識別出艦船目標，減少誤報，滿足在軌目標檢測要求。

表4 與主流網絡性能對比結果Table 4 Comparison results with popular networks

圖5 本文算法艦船檢測結果Fig.5 Ship detection results using the proposed algorithm

4 結束語

主流多分類網絡應用在二分類艦船檢測時存在冗余，本文提出的艦船檢測算法進行了層數和通道數裁剪，使用可分離卷積和1×1卷積對普通卷積進行替換，得到一個精簡網絡，使用圖像金字塔的檢測方式實現多尺度檢測。本文算法與YOLOv3相比平均精度AP只下降了4.2，但檢測速度卻提升了72%，相比于其他主流網絡在平均精度或檢測速度上也具有一定的優勢，可為計算資源極其有限的衛星在軌目標檢測實現提供有效的理論技術支撐。另外，當訓練和測試的圖像輸入大小差距很大時，會有一定的精度損失；如何在后期通過對模型進行微調來消除損失，使模型達到最大性能，以及進一步提升算法本身的參數自適應能力，在小樣本集的條件下提高檢測精度，是后續的研究內容。