紅外與可見光圖像融合的空間碎片識別方法

陶 江，曹云峰，莊麗葵，丁 萌

(1.南京航空航天大學航天學院，南京 210016；2.南京航空航天大學民航學院，南京 211106)

0 引言

空間碎片是在軌航天器安全運行的主要威脅。空間碎片是指處于地球軌道或再入大氣層中無法正常工作的人造物及其碎片[1],如失效航天器、運載火箭發射階段產生的火箭殘骸、失效航天器碰撞或爆炸產生的碎片均屬于空間碎片。上述空間碎片的持續碰撞會進一步加劇其數量增長，從而導致在軌航天器與碎片發生碰撞的概率進一步加大。因此，空間碎片監視對于規避碰撞風險以確保航天器的安全至關重要，而其中的關鍵在于在軌航天器對空間碎片的精確識別。識別結果又能為下一步對空間碎片的精確跟蹤、威脅度評估、碎片清除等技術提供重要依據[2]。因此，關于空間碎片的識別方法研究意義重大。

由于可見光傳感器具有成本低、體積小、分辨率高等特點，被廣泛應用于天基空間目標監視系統中,如美國天基可見光(Space-Based Visible， SBV)項目[3]、美國天基空間監視(Space-Based Space Surveillance，SBSS)系統[4]、加拿大空間監視系統(Canadian Space Surveillance System，CSSS)[5]等。然而，由于天基監視系統和太陽以及空間碎片之間存在相對運動，導致可見光相機在對空間碎片成像過程中，空間碎片的光照區域呈現出非均勻特性[3]，即空間碎片的可見區域會隨著光源入射角的變化而變化，從而造成圖像源細節部分丟失，這對基于圖像的空間碎片識別性能帶來巨大挑戰。而紅外圖像對光源入射角度不如可見光圖像敏感，并可以記錄物體非可見光部分的熱輻射信息[7]，但其所包含目標的頻譜信息和反射特性卻不如可見光圖像源豐富，如可見光圖像中包含豐富的邊緣、紋理等細節。因此，將目標的紅外圖像源和可見光圖像源進行深度融合，得到相較于單一圖像源細節更加豐富的圖像，將更有利于目標識別[8]。

由于可見光和紅外圖像融合所帶來的優勢，融合技術被廣泛應用于軍事偵查、農業自動化、空間探測等領域。根據不同的應用對象和應用背景，各種紅外和可見光圖像融合方法也相繼被提出。總體上，融合方法主要分為兩大類：空間域方法，變換域方法。近年來，隨著深度學習技術的迅猛發展，基于深度學習的紅外和可見光融合方法也取得一定的進展。相較于傳統的圖像融合方法，基于深度學習的圖像融合方法在特征表達和映射方面呈現出巨大優勢[10]。例如基于卷積稀疏表示的異源圖像融合方法不僅具有較強的細節保留能力，還對異源圖像的誤匹配具有較強的魯棒性[11]。這對本文的空間碎片的紅外和可見光圖像融合具有重要參考價值。

在過去幾十年中，空間碎片識別方法也得到了廣泛研究，而大多數方法是基于傳統的人工特征來訓練分類器，如K近鄰(k-Nearest Neighbor，KNN)分類器[12]、支持向量機(Support Vector Machine，SVM)[13]等。這些方法的性能嚴重受限于人工特征設計，且人工特征存在對目標描述不夠本質的問題。基于深度學習的空間碎片識別方法研究較少，目前只有西北工業大學提出了基于LeNet-5網絡的空間碎片深度學習識別模型[14]，然而其驗證所用空間碎片圖像并未考慮光照因素。本文提出了一種新的基于深度學習的空間碎片識別框架，并采取基于卷積稀疏表示的圖像融合方法提高空間碎片識別性能。通過實驗對比結果表明，本文的基于卷積稀疏表示的識別模型性能優于基于單一可見光圖像的識別方法。

1 空間碎片識別數據庫

空間碎片數據庫的建立在天基空間目標監視系統研制開發過程中起著重要作用，為載荷參數優化確定以及相關關鍵技術驗證提供了必要的模擬數據源。本文以Apollo-11號探測器作為空間目標模擬失效航天器這一類空間碎片。首先利用三維動畫軟件3DMAX建立失效衛星的三維幾何模型，然后添加光源，設置相機參數，最后利用VRay渲染器對幾何模型進行渲染，得到不同光源入射角下的空間碎片可見光圖像數據庫。空間碎片可見光圖像仿真流程如圖1所示。

圖1 空間碎片可將光圖像仿真流程Fig.1 Simulation process of visible image of space debris

空間碎片相應的紅外圖像數據庫由Vega Prime軟件仿真模擬得到。在仿真紅外圖像時，將空間碎片三維模型在Vega Prime軟件中調整到和3DMAX同一位置和視角下，則不需經過配準即可通過圖像融合得到空間碎片的融合圖像。本文融合圖像數據庫包含100幅融合圖像，圖像大小為640×480。圖2所示為空間碎片在不同光源入射角下的部分融合圖像樣本。

圖2 空間碎片圖像數據庫部分樣本Fig.2 Part of fused image samples of space debris

2 空間碎片識別

本文提出的空間碎片識別框架如圖3所示。首先采用基于卷積稀疏表示的方法對空間碎片的可見光和紅外圖像進行融合得到融合圖像；然后基于空間碎片融合圖像訓練樣本通過深度神經網絡模型訓練得到空間碎片識別模型；最后將空間碎片的融合圖像輸入識別模型便可得到識別結果。

圖3 空間碎片識別框架Fig.3 Scheme of space debris recognition

2.1 基于卷積稀疏表示的圖像融合方法

(1)

其中：gx=[-1 1]和gy=[-1 1]T分別為水平方向和豎直方向的梯度算子。η為正則化參數，本文取其經驗值5。細節層可通過求解式(2)得到

(2)

(3)

假設Ck,1∶M(x,y)表示稀疏系數圖Ck,m在位置(x,y)上的值，則稀疏向量Ck,1∶M(x,y)在每個像素位置上的l1范數作為源圖像的活躍度測量。活躍度Ak(x,y)由式(4)得到

(4)

為使圖像融合過程對誤匹配有較強的魯棒性，采取對活躍度Ak(x,y)取局部窗口平均值的策略重新計算活躍度，如式(5)所示

(5)

其中，r表示窗口尺寸。對于紅外可見光圖像融合，需要考慮尺寸較小的細節(如邊緣、紋理等),因此r取較小的值更有利，本文取經驗值3。采取選擇最大策略計算融合系數圖

Cf,1∶M(x,y)=Ck*,1∶M(x,y),k*

(6)

然后將所有源圖像分解的細節層通過式(7)進行融合重建

(7)

采取平均值策略對各個基礎層進行融合重建，以減小各個源圖像在同一位置上的灰度值的不一致性問題。則所有源圖像分解的基礎層按式(8)進行融合重建

(8)

(9)

圖4所示為空間碎片的紅外和可見光圖像融合結果。左圖為空間碎片的可見光圖像，可以看出空間碎片右邊未被光線照射的部分基本沒有紋理等細節被反射；中圖為空間碎片的紅外圖像，可以看出其基本不受光照影響，非可見光部分的輻射信息也得到較好呈現；右圖為空間碎片的融合圖像，可以看出相較于可見光圖像，將右半部分的不可見部分的紋理保留下來，左邊可見光部分相較于紅外圖像，細節紋理也更加豐富。

圖4 空間碎片紅外和可見光圖像融合結果Fig.4 Visible and infrared image fusion result of space debris

2.2 基于深度卷積神經網絡的空間碎片識別方法

本文提出的深度神經網絡架構(Deep Convolutional Neural Networks，DCNN)基于AlexNet[15]模型。DCNN模型由8個帶權重參數的層構成，包含5個卷積層和3個全連接層。第1個卷積層由96個11×11×3的卷積核構成，步長為4，輸入圖像大小為224×224×3；第2個卷積層由256個大小為5×5×48的卷積核構成；第3個卷積層由384個大小為3×3×256的卷積核構成；第4個卷積層由384個大小為3×3×192的卷積核構成；第5個卷積層由256個大小為3×3×192的卷積核構成。3個全連接層每層都由4096個神經元構成。最后的全連接層輸出到一個二分類函數softmax中，最終輸出每幅圖像被分類為某種目標的概率。采取修正線性單元(Rectified Linear Units，ReLUs)作為每個卷積層和全連接層的激活函數。ReLUs的表達式如下

f(x)=max(0,x)

(10)

其中，x和f(x)分別表示某個神經元的輸入和輸出。第1個卷積層和第2個卷積層后分別添加一個響應歸一化層。響應歸一化的活躍度由式(11)表示

(11)

由于本文建立的空間碎片圖像數據庫只有1000幅圖像，在訓練過程中可能存在訓練數據不足導致的過擬合問題。為此，首先對空間碎片圖像數據庫采取標簽保留轉換[16]方式進行數據增強。包括對圖像進行水平翻轉和垂直翻轉。此外，本文還考慮對圖像添加亮度變化以增強數據。由于在不同光源入射角照射下，空間碎片目標本身的可見區域也隨之變化,從而導致圖像本身的亮度也會隨之變化。因此，添加亮度變化對于防止本文光照不均勻環境下識別模型的過擬合有利。此外，由于空間碎片具有翻滾特性，其姿態也不斷變化，因此，通過對空間碎片圖像進行旋轉來增強數據。首先對原始100幅空間碎片圖像進行水平和垂直翻轉得到200幅圖像；然后對原始圖像數據集每幅圖像每隔36°旋轉1次，共旋轉10次，得到1000幅圖像；通過Gamma矯正的方式實現圖像亮度變化，取gamma值由0.1間隔0.1變化到1得到1000幅圖像。圖5所示分別為gamma=0.3和0.8時的圖像。最終通過數據增強得到2200幅圖像，將其中的1500幅圖像作為訓練樣本，700幅作為測試樣本。

(a) gamma=0.8

(b) gamma=0.3圖5 空間碎片圖像亮度變化Fig.5 Image brightness changes of space debris

3 仿真驗證

首先對基于卷積稀疏表示的圖像融合方法進行仿真驗證，并與基于稀疏表示(Sparse Representation，SR)的融合方法進行對比。本文對空間碎片圖像數據庫的100幅源圖像進行融合對比實驗，采取主觀評價方法和客觀評價方法兩種方式對融合效果進行評估。主觀評價方法是指目視評估法，即直接通過肉眼對融合圖像的質量進行評估。CSR和SR兩種融合方法的部分結果如圖6所示。從圖6中可以看出，CSR融合方法比SR方法能從源圖像中提取出更多的細節。

(a) SR

(b) CSR圖6 空間碎片圖像融合方法性能對比Fig.6 Comparison of different image fusion method

此外，選取了四種常用的圖像融合客觀評價指標對空間碎片的可見光和紅外圖像融合算法性能進行評估分析。這四種指標分別為：熵EN(Entropy)，表征圖像包含的信息量和紋理豐富程度，值越大，信息量越多；標準差(Standard Deviation，STD)，表征圖像亮度，值越大，圖像對比度越大，即灰度級越分散；平均梯度(Average Gradient，AG)，表征圖像銳度，值越大，表明圖像信息量越豐富；空間頻率(Spatial Frequency，SF)，表征圖像清晰度，值越大，表明圖像紋理和邊緣細節越豐富。對比結果如表1所示。從表1中可以看出，CSR融合方法的圖像的細節豐富程度均優于SR融合方法。

表1 圖像融合客觀評價指標對比Tab.1 Objective metrics comparison for image fusion methods

經試驗，在小數據集上隨機梯度下降法(Stochastic Gradient Descent，SGD)收斂速度比Adam慢但收斂性能更好，本文的深度神經網絡采用SGD進行迭代優化。考慮到計算機內存等性能因素，選取小批量訓練樣本，將batch size設為64。為加快收斂速度并減小SGD震蕩，設置動量(momentum)為0.9。考慮本文的網絡深度，將權重衰減(weight decay)為0.0005即可。學習率設為0.001，迭代訓練50次后停止訓練。由于本文訓練集不大，采用dropout正則化來減輕過擬合，具有較好的效果，將隱藏層的采樣概率設為經驗值0.5。訓練過程如圖7所示，當迭代至20次左右時，訓練精度和訓練損失均已收斂。收斂較快的原因有三方面：1)空間碎片本身目標特性(如紋理、顏色、形狀、大小等)明顯，對深度特征的學習與提取比較有利；2)空間碎片圖像背景相對簡單，沒有其他天體和雜波干擾，這對于分類器的區分度量也較為有利；3)訓練樣本相對較少，圖像數據為單通道圖像且分辨率不高，也減少了訓練時間。對可見光圖像數據和融合圖像數據分別進行訓練得到2個深度學習模型進行對比，二者訓練超參數設置相同。此外，本文的深度學習模型還與文獻[14]提出的LeNet-5模型以及文獻[13]提出的基于SVM的方法進行了對比，對比實驗結果如表2所示。從表2中可以看出，本文提出的深度學習模型對空間碎片的識別性能優于LeNet-5模型和基于SVM的方法，識別正確率可達99.93%。此外，融合圖像訓練得到的識別模型性能均優于單一可見光圖像訓練得到的識別模型。

圖7 深度卷積神經網絡訓練過程Fig.7 Training process of different deep convolutional neural network

表2 空間碎片識別方法對比實驗結果Tab.2 Experiment results comparison of space debris recognition methods

4 結論

本文針對暗弱空間環境中的空間碎片識別問題，提出了一種基于深度卷積神經網絡的空間碎片識別框架。算法分析與實驗結果表明：

1)通過對空間碎片圖像數據集進行數據增強，可減輕訓練過程中的過擬合現象。本文針對空間碎片光照區域不均勻這一特點，通過對原始圖像數據集調節亮度來增強數據集，可提高對光照不均勻條件下的空間碎片識別性能。

2)在暗弱空間環境中，通過對空間碎片的紅外和可見光圖像進行融合，然后再進行識別的方案，相較于基于單一可見光圖像的識別方案識別性能更好。這是因為融合圖像不僅包含了紅外圖像中的熱輻射特征，也包含了可見光圖像高分辨率的細節特性，相較于單一圖像源所含信息量更豐富，這對于基于深度學習的識別模型是有利的。

3)在實際空間環境中，空間碎片圖像背景可能包含太陽、行星、地球等其他天體，以及噪聲干擾。而本文圖像數據庫圖像背景為純色背景，在實際應用過程中可能會存在識別性能下降問題。因此需要進一步完善圖像數據庫，添加典型背景噪聲干擾，使其更具通用性。