復雜海背景下的自適應艦船目標檢測

陳 璽， 何 斌， 龍勇機， 宋向宇， 畢國玲

(1. 中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；2. 中國科學院大學，北京 100049)

1 引 言

在科技的快速發展和信息化時代戰略需求改變的形勢下，基于可見光遙感圖像的海上艦船目標檢測有著重大的研究意義和價值。近年來，隨著光學遙感圖像分辨率的大幅度提高，為檢測算法的研究提供了更多的思路和方法。目前本領域的主要問題是如何在復雜背景中提取出艦船目標同時有效消除遙感圖像中的云霧、海雜波、海島、陰影等地物信息帶來的干擾，同時還需要確保算法的高效性、快速性和可移植性[1]，實現在軌實時檢測的戰略需求。

現今提出的目標檢測方法可分為基于圖像處理的傳統算法和基于檢測網絡框架的深度學習算法兩大類[2]。傳統的檢測算法往往采用先檢測疑似區域再精細識別的策略[3-11]。在檢測疑似區域上，最多采用的是閾值分割法。全局性的閾值分割算法實現簡單，但在較為復雜的背景下虛警率高。局部性的方法分為局部閾值和滑動窗口的方法，此類方法的窗口大小等參數不容易確定，同時圖像中的目標占據整體部分較小，算法盲搜索檢測效率很低。近年來，提出了一類基于人類的視覺顯著性提取疑似區域的方法，通過計算出圖像中每點的顯著性值代替其本身的灰度值。顯著性算法計算的顯著值表征該點在視覺的明顯程度，通過閾值分割后可以提取出圖像中的明顯成分，常見的顯著性模型有SR[12]、ITTI[13]、CONV[14]等。精細識別部分多采用支持向量機等機器學習分類器通過訓練目標特征進行識別。Li[7]等通過采用自適應閾值的譜殘差法結合融合特征的方式實現對復雜背景的艦船提取。Zhao[4]等首先獲取多尺度最優的顯著性圖，之后引入徑向梯度變換的方法提取艦船目標。此類算法計算量較小，可以快速搜尋目標區域，并已經用于硬件移植[15]，但對算法設計要求較高。近年來，隨著深度學習的迅速發展，出現了R-CNN、yolo[16-17]等成熟的目標檢測框架。為本領域提出了一種新的思路。Ma[10]和Zhao[11]分別基于yolo和fast R-CNN兩種目標檢測框架，根據艦船目標特征進行改進，從而用于艦船識別。基于深度學習的方法對復雜背景的適應性往往優于傳統算法，但此類算法對數據集的要求較高，同時算法模型參數量大，帶來計算量大等問題。目前在軌檢測的算法一般是在FPGA上實現，就本地服務器而言，FPGA的硬件配置較低，深度學習網絡移植目前難度較大。

針對以上分析，本文提出了一種高效、快速的海上艦船目標檢測方法，對復雜背景有較好的魯棒性。首先，采用基于快速高效的全局性算法——譜殘差顯著性算法獲取顯著性區域，使用基于梯度幅值矩陣均值的自適應算法獲取最優尺度得到全局最優顯著圖，同時設計較低的自適應閾值進行二值化處理。然后，針對低閾值導致的虛警增多及目標因周圍局部復雜度較高而無法區分的問題，設計輪廓特征對候選區域進行分析，判斷獲得的局部區域是否符合目標特征，對復雜度較高無法區分的區域對應原圖的部分重新進行局部顯著性計算，將局部提取的高疑似區域替換原顯著圖的對應部分，得到最優顯著圖。最后，對切片進行降采樣提取特征通過支持向量機進一步剔除虛警。實驗結果表明，本文算法能在復雜背景下檢測出不同尺寸和方向的艦船目標，在精度和召回率等常見評價指標都優于大多數同類算法，接近深度學習網絡的檢測精度，同時計算量和參數量遠小于深度學習網絡。

2 候選區域提取

2.1 譜殘差法獲取疑似區域

譜殘差法(SR)是Hou[13]提出的一種基于頻域分析的視覺顯著性檢測模型，通過對圖像頻域變換后進行差分來有效去除圖像中的冗余信息，即海面、云層等背景信息，同時實現速度也快于大多顯著性模型。算法處理效果如圖1所示。

圖1 輸入圖像及其顯著圖Fig.1 Image and its salient map

算法實現過程如下：

(1)將圖像通過傅里葉變換進行頻域轉換，獲得圖像的幅度譜A(f)及其對數L(f)、相位譜P(f)等參數。

(1)

(2)

(3)

(2)在頻域下采用均值濾波器hn(f)進行平滑，提取圖像中的冗余信息。

(4)

(3)使用幅度譜的對數減去平滑后的結果得到譜殘差，用譜殘差代替幅度譜進行反變換。

(5)

(6)

(4)最后對復原圖像進行高斯濾波，得到顯著圖。生成的顯著圖一般需要進行二值分割得到良好的可視效果。

2.2 全局顯著圖自適應尺度選擇

從算法特性可知，SR算法的效果與圖像的分辨率尺度息息相關。不同分辨率下關注的顯著性目標可能會存在差異，同時高分辨率下存在的高頻噪聲、海雜波等背景也會導致虛警數目的增加。圖2為圖1輸入圖像在不同尺度下(分別為原圖的大小的0.8，0.5，0.1倍)的顯著圖。圖像中的海況復雜，在低尺度下目標較顯著，同時噪聲被抑制，效果較好。但尺度過小，也可能導致信息丟失，產生漏檢等問題，需要根據實際情況確定最優尺度。為解決此問題，本文提出一種基于梯度的自適應尺度選擇算法，來獲取最優尺度的顯著圖。

圖2 圖1輸入圖像不同尺度下顯著圖Fig.2 Saliency maps at different scales

對于圖像矩陣I中的任意一點I(x,y)，其對應的梯度幅值A(x,y)可表示為:

(7)

其中:gx(x,y)、gy(x,y)分別為像素點I(x,y)分別在x、y軸方向的梯度值。其求取是通過圖像矩陣(經過伽馬較正)分別與模板T及其轉置矩陣卷積得到。

(8)

圖像幅值矩陣A的均值mean代表圖像的平均梯度幅值，其可以很好地反映圖像紋理的復雜程度。如圖3所示。

(a)平靜海面下(mean=0.26)(a)Under calm sea (mean=0.26)

(b) 復雜背景下(mean=1.22)(b) In complex contexts(mean=1.22)圖3 輸入圖像及其梯度幅值圖Fig.3 Image and its gradient amplitude map

從圖3可以看出，在背景信息復雜的圖像中，其梯度矩陣的均值mean遠大于平靜海面的圖像。而復雜圖像中存在大量的高頻成分會大幅降低實際目標的顯著性，需要對圖像進行低尺度降維，使背景平滑，從而降低圖像的平均梯度，減弱背景干擾。圖4為圖3(b)圖像降維后的效果，此時尺度為0.1，梯度均值為0.52。與圖2相比，背景被明顯壓制，目標也更加突出。

圖4 在低尺度下的圖像及梯度幅值圖Fig.4 Image and its gradient amplitude map

經實驗表明，圖像的平均梯度在0.2附近時效果較好，定義其為標準平均值meanstd。根據圖像的平均梯度與標準值的接近程度來匹配最合適的尺度。設定尺度參數為S=[0.75,0.5,0.25,0.1]，選擇的最優尺度索引c*為：

(9)

式中，meanS(c)是在c*索引代表的尺度下圖像梯度的均值。最接近標準值meanstd的尺度為最優尺度。圖5分別表示圖3(b)中圖像的顯著圖以及其在自適應最優尺度下的顯著圖。右圖即為在最優尺度下的顯著圖，能夠明顯突出疑似目標。

圖5 顯著圖對比Fig.5 Comparison of saliency maps

2.3 基于直方圖的自適應閾值分割

根據譜殘差法的算法原理，取得的顯著值層級相差較大，集中分布在0和1附近。同時由于遙感圖像低頻背景部分占比較大，導致低顯著值的部分顯著值極小且占比很大[15]。其顯著性直方圖如圖6所示。使用常用的均值、方差等參數作為閾值不能很好地反映圖像顯著性的變化規律，而常用的OTSU閾值往往較大，容易遺漏目標。為了獲得較好的分類效果同時盡可能避免遺漏，根據圖像顯著值的分布特征，本文采用一種基于直方圖的閾值分割方法。在總體顯著圖中，設定大小在前10%的像素點為顯著性點，其閾值對應顯著圖直方圖大小在前10%對應的最小灰度級m所代表的灰度級數。

圖6 顯著圖的灰度直方圖Fig.6 Grayscale histogram of salient map

最后，將二值化的顯著圖還原為原來大小，即獲得全局最優顯著圖。圖7顯示了某存在復雜背景圖像的顯著圖通過各閾值分割方法的效果對比。可以看出，本文算法雖然存在一些冗余信息，但完整保留了疑似目標區域，沒有出現目標遺漏。表1顯示了在測試集中3種分割方法下檢測到的目標數目，本文算法較其他方法能夠保留更多目標。

(a)原圖(a) Original image

(b) 本文分割方法(b) Segmentation method in this paper

(c) 文獻[7]方法(c) Methods of literature [7]

(d) OTSU方法(d) Otsu’s method圖7 不同分割算法下的全局顯著圖Fig.7 Global saliency graph under different segmentation algorithms

表1 不同閾值下提取效果對比

2.4 基于輪廓的局部復雜區域預篩選和顯著圖融合

全局性算法的弊端來源于全局性閾值對局部區域的適應性差。為了降低漏檢，全局閾值的設定應盡量小，這樣導致可能無法分離一些高頻背景與目標，在顯著圖中存在積聚的情況。圖8為圖5(b)中的一部分區域，由于此部分存在復雜海面、陰影等干擾，使得生成的顯著圖效果不佳。并不能把目標與背景分開。

圖8 低閾值下復雜區域的顯著圖切片Fig.8 Slicing of salient maps of complex regions under low thresholds

本文將這些區域稱為復雜區域。本部分將通過區域輪廓的形狀等特征篩選出復雜區域，并對局部復雜區域進行顯著性處理，最后對處理后的區域進行融合，以獲取最佳顯著圖。檢測流程如圖9所示。

圖9 基于輪廓的疑似區域處理流程Fig.9 Suspected region processing process based on contour

由于艦船為長條形，兩邊對稱。本算法根據輪廓對應的形狀特征對疑似輪廓進行篩選。

設計的具體特征如下：

(1)長寬比l，定義為疑似區域輪廓等效橢圓的長軸與短軸之比。

(2)占空比o，定義為疑似區域輪廓面積與其等效橢圓面積之比。

(3)緊密度c，定義如下:

(10)

其中:Perimeter和Area分別代表輪廓的周長和面積。區域為標準圓形時，c為1。隨著區域邊界的復雜程度增加，c也會逐漸增大。

本算法將顯著圖中的疑似目標區域分為3類：近似目標區域的高疑似目標、未知的復雜區域、虛警。分類標準如表2所示。

表2 基于輪廓特征的分類標準Tab.2 Classification criteria based on contour features

其中，高疑似目標需要滿足下面所有條件，而滿足以下任意條件的輪廓即為虛警，復雜區域為除高疑似目標和虛警外的其他部分。對各部分的分類效果如圖10所示。

對于上述的復雜區域產生的主要原因是全局性的閾值無法對局部復雜區域進行很好的分割。處理方法是將該部分作為整體進行進一步顯著性

(a)全局顯著圖(a) Global salience map

(b)提取的高疑似目標(b) High suspected targets extracted

(c)提取的復雜區域(c) Complex areas extracted圖10 基于輪廓特征的預篩選分類Fig.10 Prescreening based on contour features

檢測。首先對提取復雜區域以連通域為單位提取局部切片，采用低通濾波器對圖像進行平滑，去除高頻噪聲，之后繼續采用譜殘差法生成顯著圖。圖11表示對圖8復雜區域的處理效果，可以看出，通過局部處理可進一步分離出疑似目標。之后對生成的區域依照2.3節的判定方法進行進一步判定。為提高算法效率，本步驟只判定此次結果存不存在高疑似目標，不進行迭代。

圖11 復雜區域局部處理后的結果Fig.11 Result of local processing

圖12 融合后的顯著圖Fig.12 Salient map after fusion

最后，將局部處理后的圖像檢測到的高疑似區域替換原顯著圖的對應部分，進行圖像融合。融合效果圖如圖12所示。

3 目標精細判別

下面的工作主要基于圖像的輪廓特征進行目標的篩選，可能存在部分與目標形狀相似的云塊、海浪等信息，需要進一步判別。采用對切片降維后的像素點作為特征，結合標準化特征，通過支持向量機進行訓練模型進一步篩選。

圖像降維是機器學習的一種常見操作，類似于卷積神經網絡的池化，可以降低圖像中的冗余特征并獲取深層特征，同時降低參數量，廣泛應用于手寫數字識別和人臉識別等項目中。

本文將切片圖像降維到7×7大小的特征圖。如圖13所示，將特征圖的所有像素作為特征(共49維)。同時需要對降維特征進行標準化，提取降維后特征圖的最大值、最小值、均值、方差、原切片的方差和對應梯度矩陣方差比作為降維圖像的標準化特征。

圖13樣本降維Fig.13 Image after Samples after dimensionality reduction

將從每個樣本提取的55維特征組合成特征向量，之后通過SVM進行訓練。將訓練的模型作為二分類器，對候選區域進行精細判別。圖14為SVM的檢測效果示例。

(a)疑似目標定位(a)Positioning of suspected targets

(b)SVM檢測結果(b)SVM test results圖14 SVM檢測結果Fig.14 SVM test results

4 實驗分析

4.1 算法實現

為了充分驗證算法特性，本實驗從Google Earth收集復雜背景下遙感圖像480張，大小從768×768到2 048×2 048不等，將其中320張作為訓練用圖片，并從中提取474個正樣本，308個負樣本作為分類器的訓練樣本。剩下的160張作為測試圖片，共包含420個艦船目標。本實驗的硬件環境基于intel core i7 8750H，GTX 1060，軟件平臺為MATLAB 2018b。

圖15分別顯示目標在復雜海面、陰影、碎云干擾下的處理步驟和檢測效果。可以看出，本文算法可以在不同類型的場景下通過總體自適應尺度變換和局部復雜區域顯著性處理得到高質量的融合顯著圖。最后通過SVM進行精細辨別，在各種情況下均能準確檢測到目標。

(a)原圖(a) Original image

(b)局部處理后的融合顯著圖(含閾值分割)(b) Fusion saliency map after local treatment

(c)目標精細判別(c) Fine identification of targets圖15 艦船檢測實驗結果Fig.15 Ship detection test results

4.2 實驗結果分析

在算法耗時方面，在當前軟硬件環境下訓練SVM分類器用時39.28 s，對于大小為768×768的圖像，單次檢測平均用時1.667 s。此外，本文采用召回率(Recall)和檢測精度(Precision)來評價算法的有效性，各指標定義如下：

(11)

(12)

其中:NDS代表檢測到的艦船數目，NTS代表艦船的總數，NDF代表檢測錯誤檢測的數目。

為驗證算法效果，本文算法與文獻[3]和文獻[9]中算法進行了對比。文獻[3]算法采用基于元胞自動機的顯著性算法結合E-HOG梯度特征實現目標檢測。文獻[7]算法采用基于譜殘差法結合形狀、紋理、梯度各方面的融合特征實現目標檢測。對比結果如表3所示。本文算法在各項評價指標均優于對比算法。主要原因是本文算法在全局尺度、局部復雜區域和閾值分割等方面都加入了自適應選擇最優參數的方式。在復雜背景下的魯棒性較好，可以從背景干擾中獲得更多更完整的目標區域。

表3 與同類算法的檢測效果對比Tab.3 Compared with similar algorithms

本文在算法的檢測效率、輕量化和可遷移性方面，與現今常用的目標檢測網絡yolo-v3、yolo-v4、yolo-v4tiny對比，以輸入768×768大小的三通道圖像為例，主要考慮計算量和參數量。同時，基于Python語言及PyTorch框架實現了網絡的搭建。將輸入的320張圖片進行標注后進行訓練。以相同的剩余160張圖片的數據集作為驗證計算網絡的精度和召回率(置信度為0.5)，結果如表4所示。

表4 與深度學習主流網絡的對比

通過人工選擇特征及自適應的圖像降維等操作，可以看出，本文算法在參數量和計算量等都遠低于深度學習相關網絡，同時在檢測精度和召回率上達到了近似深度學習網絡的精度。本文算法在疑似區域提取階段可以定位到絕大多數目標。差距主要在于分類器的精度部分，存在更多的漏檢和誤檢。在其他方面，本文算法對硬件性能、功耗、移植的難度要求相對較低。同時鑒于參數的數目和解釋性，本文算法遷移性也相對更強，更符合實際工程需求。

5 結 論

本文提出了一種適用于復雜海況下的自適應艦船快速檢測方法，可快速高效地實現對可見光遙感圖像的艦船目標疑似區域的定位與檢測。其優勢主要體現在以下幾個方面：算法在整體上，通過評價圖像的梯度均值來自適應選擇圖像的尺度，并采用基于直方圖的自適應閾值，提高了顯著性算法的效率，并能減少虛警數目和疑似區域遺漏。在局部方面，針對全局閾值無法很好適用于部分復雜區域的問題，通過設計輪廓特征進行篩選，對復雜區域做進一步顯著性特征提取，對處理結果進行融合，獲取高質量的疑似目標區域。最后對切片降維提取特征訓練支持向量機模型進行精細判別。實驗結果表明，本文提出的算法的召回率為91.2%，檢測精度為91.4%，可以滿足復雜海背景下海上艦船目標實時快速定位和檢測的需求。同時，在計算量和參數量均遠少于目前主流的深度學習目標檢測框架，降低了在軌硬件移植的難度和維護成本。