基于局部對比度和全卷積網絡的小空間碎片檢測

陶 江，曹云峰

(南京航空航天大學 航天學院，南京 211106)

0 引言

空間碎片數量的急劇增加是在軌運行航天器的主要威脅。一般而言，空間碎片是指在地球軌道上或重新進入大氣層的人造物體，不再具有任何用途，包括其碎片和部件[1]?？臻g碎片可以通過不同的方式產生，例如航天器的超高速撞擊、高強度爆炸或低強度爆炸、失效衛星和火箭上面級[2]。截止2018年，太空中的空間碎片質量超過300萬公斤，且還在大幅增加。2018年2月的統計數據表明，尺寸大于10厘米的空間物體數量已超過18 500個，其中75%是空間碎片[3]。由于其高軌道速度，小尺寸碎片也可能導致災難性破裂，這不僅會損壞正在運行的航天器，還會增加軌道上的危險碎片數量，進而導致進一步的空間碰撞。因此，空間碎片監視對于避免潛在的碰撞風險和確?？臻g活動的安全具有重要意義，其中，基于天基監視平臺的空間碎片檢測對于準確的威脅度評估至關重要。

為了給碰撞規避預留充足的時間，需要在較遠的距離檢測空間碎片，盡管遠距離的空間碎片大小為幾十米，但是其在整個圖像中占據幾十個像素甚至幾個像素，屬于典型的“小目標”。與大目標相比，小目標沒有形狀、紋理、顏色和局部特征等視覺特征，呈現出斑點狀，因此空間碎片小目標檢測難度較大。此外，宇宙噪聲和星空背景(恒星等)也為空間碎片檢測增加了難度。為了解決上述問題，本文利用空間碎片與天體背景中恒星運動特征的差異，并結合多幀星圖對空間小目標進行檢測。

在過去的幾十年中，小空間目標檢測方法受到了廣泛關注[4]，如背景減除法[5，6]，光流法[7-9]，檢測前跟蹤法[10]，幀差法[11-12]。局部對比度法(LCM，local contrast method)[13]是一種有效的小目標檢測方法，可以在增強目標信息的同時抑制背景雜波，但忽視了視頻中的幀間信息。近年來，提取顯著區域和計算時空顯著性在視頻目標檢測中得到了廣泛應用，取得了一定的進展[14-16]，但受限于光流估計的計算復雜度，導致實時性較差。隨著深度學習的發展，通過訓練的端到端全卷積網絡(FCN，fully convolutional network)可以直接生成像素級顯著性圖[17]，通過學習幀間的關聯，避免了耗時的光流計算[18]。與傳統的卷積神經網絡(CNN，convolutional neural network)不同，CNN是在最后一個卷積層后采用全連接層得到固定長度的特征向量從而實現目標或圖片分類。而FCN是在最后一個卷積層后連接反卷積層，實現對卷積層得到的特征圖進行上采樣，使得特征圖恢復到和輸入圖像相同的尺寸，最后對每個像素進行損失計算，從而對每個像素都可以實現預測。這樣既保留了原始輸入圖像的空間信息，又實現了對最后的特征圖的逐像素分類。由于FCN具有精細的目標檢測優勢，近年來被廣泛應用于空間目標探測中。Andrea等人[19]提出了一種基于U-Net的空間目標軌跡提取方法。U-Net也是一種全卷積網絡，和FCN[20]有兩個區別：(1)U-Net采取了編碼器-解碼器網絡結構，編碼器和解碼器對稱，而FCN的解碼器只有一個反卷積層。(2)U-Net采取了跳躍連接，將反卷積上采樣的結果和編碼器結構中輸出的相同分辨率的特征圖的模塊進行拼接操作(concentration)，作為解碼器中下一個子模塊的輸入。而FCN中采取的是相加操作(addition)。相加操作的特征圖通道數不變，但每個特征圖包含了更多的信息；而拼接操作使特征圖通道數增加，每個特征圖保留了更多的位置信息，對于像素級分類任務更有優勢。Guo等人[21]提出了一種改進的U-Net方法Channel and Space Attention U-net(CSAU-Net)用于單幀圖像的空間目標分割。該方法通過添加注意力模塊使得網絡更充分地利用小尺度特征圖信息并增強空間目標的注意力。然而上述方法忽略了空間目標的運動特性以及連續時域信息，無法實現對序列圖像中的空間目標檢測。

本文提出了一種針對序列圖像的高效空間碎片小目標顯著性檢測方法。首先，基于局部對比度度量獲得局部對比度映射；然后，將對比度映射饋送到深度網絡，并通過深度神經網絡學習幀間信息，捕獲時空顯著性。本文的主要結構安排如下：第1節介紹了空間碎片小目標顯著性檢測的主要框架，以及單幀局部對比圖和時空顯著性模型；第2節討論了實驗結果和分析；第3節對全文工作進行總結。

1 空間碎片小目標顯著性檢測方法

1.1 算法總體方案

在介紹算法的具體細節之前，首先對空間碎片小目標顯著性檢測算法的總體方案進行概述。本文算法的思想為：人類視覺系統[22-23]表明，靜態視覺顯著性和動態視覺顯著性等低級視覺特征是在人類注意前階段處理的，本文受此啟發，將基于亮度的對比度和基于運動的動態顯著性結合到空間碎片顯著性檢測模型中。將一系列天基監測視頻幀輸入顯著性模型，可以從模型中獲得空間碎片小目標的顯著性分析結果，即更亮的圖像像素意味著更高的顯著性。本文根據空間碎片小目標的時空特性，設計了如圖1所示的空間碎片小目標顯著性檢測模型。該模型包括兩個模塊：1)單幀模塊。受對比機制的啟發，該模塊采用了局部對比度度量方法，并利用核模型來度量單幀圖像的局部對比度；2)幀間模塊。以空間碎片視頻相鄰幀的圖像作為輸入，直接生成時空顯著性圖。該模型采用全卷積網絡進行像素級時空顯著性估計，并采用基于大規模圖像數據集的預訓練模型來節省訓練時間。

圖1 基于深度卷積神經網絡的空間碎片小目標檢測算法流程圖

1.2 單幀模塊

局部對比度測量將天基監測視頻中的灰度圖像作為輸入，并輸出空間碎片的局部對比度圖。由于空間碎片區域具有與其周圍區域不連續的特點，并且集中在一個相對較小的區域，可以認為是一個均勻、緊湊的區域。同時，周圍的背景與其相鄰區域一致[24]，因此，圖像中與鄰域不一致的像素區域很可能是一個目標，可以通過對比度圖來描述。如圖2所示，w表示單幀圖像，u表示空間碎片，v是一個滑動窗口可以移動的圖像。因此，可以通過在單幀圖像w上移動窗口v來生成圖像塊。當移動到目標u所在的位置時，v中除u以外的區域目標的背景區域。然后，將獲取的圖像分為九個單元。

圖2 圖像塊和圖像柵格

圖像塊的中心單元標記為0，空間碎片可能出現在該區域。第i個單元格的灰度平均值由以下公式計算：

(1)

(2)

(3)

因此，局部對比度度量可以通過式(4)計算得到：

(4)

上述方程式表明，Cn越大，出現空間碎片小目標的可能性就越大。

最后，將中心像素值替換為當前圖像塊的局部對比度值Cn。重復上述過程，可以獲得與整個圖像相對應的局部對比度圖?？紤]到空間碎片的大小隨運動而變化，采用了多尺度局部對比度測量方法。首先給出了一系列的尺度l，然后計算每個尺度的局部對比度Cl，然后通過式(5)計算多尺度局部對比圖。

(5)

其中：lmax是最大比例，p和q分別表示對比度圖像矩陣的行數和列數。

1.3 幀間模塊

基于FCN的空時顯著性網絡如圖4所示。該網絡以序列圖像的前后幀為輸入，結合局部對比度測量產生的局部對比度信息作為顯著區域的先驗信息(潛在顯著區域)，直接生成最終的時空顯著性圖。該網絡由5個卷積層和5個反卷積層組成，學習時間顯著性和空間顯著性信息。圖中的CRn表示n個卷積(convolution)+非線性校正單元(ReLU)模塊，DRn表示n個反卷積(deconvolution)+非線性校正單元(ReLU)模塊。首先，前后幀(It，It+1)和當前幀It的局部對比度圖Pt在通道方向上連接，即張量拼接操作(contact)，張量拼接示意圖如圖3所示。前后幀以及當前幀對應的局部對比度圖均具有相同的寬h和高w。前后幀圖像均為RGB三通道的彩色圖像，局部對比度圖為一維的灰度圖。

圖3 全卷積網絡和局部對比圖結合過程

通過拼接得到維度為(h，w，7)的張量，其中7和h，w分別表示張量的通道數和高度、寬度。因此，維數為(h，w，7)的張量被輸入到基于全卷積網絡的時空顯著性網絡中。通過對輸入特征圖進行卷積操作加上偏差可得到輸出特征圖，該特征圖表示對于輸入特征圖所有位置上的特征表達。定義輸入特征圖為I，輸出特征圖為F，卷積核為W，偏差為b，卷積步長為s，則輸入特征圖和輸出特征圖的關系如式(6)所示：

F(I，W，b，s)=W*sI+b

(6)

在每個卷積層的輸出中應用校正線性單元(ReLUs)的非線性特性，以提高特征表示能力，在此之后連接最大值池化層以得到更加魯棒的特征表達能力，例如對輸入特征圖上微小變化的抗擾能力。由于卷積核池化操作使得輸出的特征圖分辨率較低，而對于顯著性檢測，需要獲取精確的像素級顯著性預測，因此在卷積層之后添加多個反卷積層，以實現對卷積層和最大池化層獲得的特征圖上采樣。定義輸入圖像為I，通過卷積操作得到的輸出特征圖為F，反卷積層為D，上采樣因子為s，則通過反卷積操作得到的輸出特征圖Y可表示為：

Y=Ds(F(I，ΘF)；ΘD)

(7)

其中：ΘF和ΘD分別表示卷積操作中和反卷積操作中的可學習的參數。最后一個卷積層的卷積核大小為1×1，結合sigmoid激活函數實現將特征圖映射為顯著圖。sigmoid激活函數的作用是將每一個預測值映射為0到1之間。最終，通過結合局部對比度先驗信息和空時域顯著性學習網絡實現對當前幀的顯著性預測。

本文方法和現有的基于FCN的方法的主要區別在于：(1)輸入端引入了當前幀的局部對比度圖作為先驗信息。由于該局部對比度圖不僅具有增強目標信息的優點，同時可以抑制空間背景噪聲，因此，可以極大改善網絡對于空間域信息的學習性能。(2)通過同時輸入連續的視頻序列圖像，可以避免傳統的FCN將圖像作為獨立個體的缺點。充分利用了連續幀的空時域上下文線索，使得網絡具備對空時域顯著性的學習能力。

圖4 空間碎片空時域顯著性檢測網絡示意圖

在訓練過程中，利用視頻序列數據集的前后幀和空間碎片的當前幀的顯著性標簽對神經網絡進行訓練，同時從空間動態場景中學習空時域顯著性。卷積網絡對應于VGGNet網絡中的前5個卷積層。因此，在訓練過程中，首先在大型數據集上訓練權重[26]，其他層的權重隨機初始化。采用大小為1×1的卷積核和sigmoid激活函數的全卷積網絡來產生空時域顯著性結果。每個元素的輸出都有一個從0到1的實值。采用5幅圖像的小批量隨機梯度下降(SGD)和初始學習率為0.000 01的多項式學習策略來最小化損失函數。由于空間碎片屬于小目標，最終預測得到的顯著圖中顯著性區域和非顯著性區域像素個數極不平衡，因此采取加權交叉熵損失函數來解決正負樣本不平衡的問題。加權交叉熵損失函數定義如下：

(8)

其中：G表示當前幀的顯著性真值圖，P為當前幀的顯著性預測圖，α表示顯著性像素面積在真值圖中的比例，G∈{0，1}h×w，P∈{0，1}h×w，gi∈G，pi∈P。

訓練完成后，給定一對幀間圖像和當前幀的局部對比度圖作為輸入，空時域顯著性網絡就可以輸出當前幀對應的顯著圖。獲取當前幀顯著圖后，迭代輸入下一幀就可以實現整個視頻序列圖像的顯著性預測。和當前的兩分支視頻顯著性預測網絡[27-29]相比，本文通過直接將局部對比度和空時域顯著性網絡相結合的方式更加簡潔，避免了分別學習空域特征和時域特征并另外設計空時域特征融合網絡架構。此外，本文方法可以直接輸出空時域顯著圖，避免了耗時的光流計算。和當前的兩模塊方法[30]相比，本文方法通過局部對比度方法直接獲取當前幀的空間域信息，避免了單獨設計和訓練空域顯著性網絡。

2 實驗結果

2.1 評價指標

為了評估該方法的性能，本文給出了定性和定量的比較結果。本文中使用的量化指標是準確率/召回率(PR)曲線、F-score和平均絕對誤差(MAE)。

首先采用PR曲線來評估顯著性檢測結果的性能。準確率表示正確生成的顯著性像素在所提出方法檢測到的所有顯著像素中所占的比例，召回率表示正確生成的顯著像素占顯著性真值的百分比。通過將操作點閾值從0變為255得到256個準確率和召回率點對，從而繪制PR曲線。

為了全面評估顯著圖的性能，同時使用F-score度量。F-score定義為：

(9)

根據前期Achanta等人的研究工作[31]，β2設為0.3。

2.2 實驗設置

由于缺乏關于空間碎片的真實視頻序列數據集，本文在TERRIER[32]等人提出的阿波羅航天器三維模型基礎上，并通過3dsMAX[29]進行渲染，構建了一個空間碎片視頻仿真數據集，以驗證所提出的方法。該數據集是一個視頻序列，模擬了空間碎片、太陽和空間監視平臺之間的相對運動，總共包括2 000幅可見光圖像。該場景描述了一個空間碎片接近位于近地軌道(LEO)的天基監視平臺。為簡化實驗，本文目前不把其他行星(如地球)和恒星(如太陽)作為圖像背景的一部分，只考慮遠距離恒星。模擬圖像背景時，位置、運動參數和光度數據參考Tycho-2星表。視頻序列圖像大小為640×480。模擬的空間碎片與可見傳感器之間的最遠距離為30公里，最近距離為20公里。國際光學工程學會對小目標的定義，模擬的小目標總像素不超過80[33]。視頻序列中的空間碎片最大像素數量為50個，距離為20公里，符合標準小目標的定義。此外，本文參考林肯實驗室的天基可見光傳感器[34-35]，設置了圖像傳感器的參數。模擬的空間碎片視頻序列數據集的具體參數如表1所示。圖5為不同觀測距離下的空間碎片視頻圖像。如圖5(a)所示為距離觀測傳感器為30 km的空間碎片圖像，空間碎片的大小為16像素；圖5(b)為距離觀測傳感器為20 km的空間碎片圖像，空間碎片的大小為50像素。

圖5 不同距離和像素大小的空間碎片

表1 實驗參數設置

2.3 實驗結果分析

定性分析：如圖6所示為第71～74幀的空間碎片視頻序列圖像，相應的顯著性真值圖如圖7所示。圖8為局部對比度圖。如圖8所示，僅考慮空間信息的顯著性檢測方法在動態場景中面臨巨大挑戰，因為該方法沒有充分利用時域信息導致一些恒星被同時檢測。空時域顯著性檢測結果如圖9所示。從圖9可知，網絡輸出的顯著圖只包含空間碎片目標，濾除了圖8中殘留的少量背景恒星目標，實現了對視頻序列圖像中空間碎片的準確檢測。

定量分析：由于本文提出的視頻顯著性檢測方法是目前已知的首次將其用于空間目標檢測的方法。因此，本文沒有與其他相關方法進行比較。但本文使用了文獻[18]中提出的視頻顯著性目標檢測方法對我們的數據集進行了測試，但測試結果表明，該方法對動態場景中的小目標具有局限性。由于宇宙背景中存在白噪聲，參考文獻[31]，本文建立了方差為0.005和0.01的兩組零均值高斯白噪聲。不同方差下的PR曲線和F-score曲線如圖10所示。從圖10左圖可知，本文提出的方法在不添加噪聲時的檢測準確率最好，當高斯噪聲方差值變為0.005和0.01時，檢測性能變化不大，顯示了該方法對方差變化具有良好的魯棒性。從圖10右圖可知，當高斯噪聲方差值變為0.005和0.01時，檢測性能下降不大，同樣顯示了該方法檢測準確率的魯棒性。為了真實地模擬天基傳感器，還討論了眩光效應[36]。眩光效應是指在光學傳感器的透鏡系統中，由明亮的光線衍射(如陽光)引起的透鏡眩光效果。眩光效果可通過3dsMAX渲染軟件中的filter參數進行設置。設置了大小為1和2的兩組眩光效果。不同方差下的PR曲線和F-score曲線如圖11所示。其中圖11左圖為不添加眩光、眩光大小為1、眩光大小為2三種情況的PR曲線圖。當不添加眩光時，該方法具有較好的檢測準確率；當眩光大小為1時，檢測性能顯著下降；當眩光大小為2時，檢測性能較低。圖11右圖為不添加眩光、眩光大小為1、眩光大小為2三種情況的F-score曲線圖。和PR曲線圖具有同樣的檢測性能變化程度。因此由實驗結果可知，該方法對眩光效果非常敏感。

圖6 部分原始視頻序列圖像

圖7 顯著圖真值

圖8 視頻序列的局部對比圖

圖9 視頻序列的顯著圖

圖10 不同方差下的PR曲線和F-score曲線

圖11 不同眩光效果下的精度-召回率曲線和F值曲線

3 結束語

本文提出了一種基于深度卷積神經網絡的天基監視平臺空間碎片顯著性檢測方法，分為局部對比度和空時域顯著性網絡兩部分，分別獲取動態場景的空間信息和空時域信息。該方法將局部對比度度量輸出的局部對比度圖和時空顯著性網絡進行融合，能夠捕獲小目標的顯著性先驗信息，同時學習幀間時間信息。通過本文構建的空間碎片視頻序列數據集上測試了本文提出的方法，并在不同的宇宙噪聲下對其進行了評估。驗證結果表明，該方法對于空間碎片小目標顯著性檢測非常有效，并且在不同噪聲背景下具有良好的魯棒性。由于該方法對于太陽眩光較為敏感，下一步可通過結合語義分割的方法對太陽預處理，實現太陽背景下的空間碎片準確檢測。