低照度小樣本限制下的失效衛(wèi)星相對位姿估計與優(yōu)化

劉付成，牟金震，劉宗明，韓飛，李爽

1. 上海航天技術(shù)研究院，上海 201109 2.上海航天控制技術(shù)研究所，上海 201109 3.上海市空間智能控制技術(shù)重點實驗室，上海 201109 4.南京航空航天大學(xué) 航天學(xué)院，南京 210016

受限于空間特殊的光照環(huán)境，導(dǎo)致獲取的失效衛(wèi)星圖像呈現(xiàn)低照度現(xiàn)象[1-4]。此時應(yīng)用視覺觀測方法估計空間失效衛(wèi)星相對位姿時，無法實現(xiàn)連續(xù)穩(wěn)定的長時間測量。對低照度圖像進行增強預(yù)處理，能夠為目標位姿測量任務(wù)提供更高質(zhì)量的圖像信息[5-6]。

傳統(tǒng)的低照度圖像增強方法主要由直方圖均衡化(HE)和Retinex主導(dǎo)。HE 是一種常用的灰度增強算法，其原理是通過拉伸圖像的動態(tài)范圍來增加對比度[7]。Retinex 的基本原理是假設(shè)一幅圖像是由入射光分量和反射光分量組成，只需去除照射圖的影響即可得到物體本來的樣子，完成圖像增強[8-10]。由于空間圖像的低對比度等原因，導(dǎo)致傳統(tǒng)方法的增強結(jié)果存在明顯的細節(jié)模糊、色彩失真等問題。

基于深度學(xué)習(xí)的方法在低照度圖像增強方面取得了顯著的成功[11-12]。由于難以獲得匹配數(shù)據(jù)，文獻[13-15]在非配對訓(xùn)練條件下，利用生成對抗網(wǎng)絡(luò)實現(xiàn)低照度圖像增強。文獻[16]在非配對訓(xùn)練數(shù)據(jù)條件下，通過輕量級網(wǎng)絡(luò)DCE-Net在沒有參考圖像的情況下進行訓(xùn)練。但是，面向空間圖像處理的深度學(xué)習(xí)方法目前非常罕見，主要原因在于小樣本問題。綜上所述，如何在小樣本條件下提高空間低照度圖像的質(zhì)量，仍然是一個值得研究的問題。

此外，單目視覺SLAM方法是完成非合作目標的位姿測量任務(wù)的有效手段之一，具有在軌應(yīng)用的潛能[17-20]。基于單目視覺SLAM方法的非合作目標位姿測量原理是利用星載單目相機拍攝衛(wèi)星的序列圖像，然后利用運動恢復(fù)結(jié)構(gòu)的方法獲得衛(wèi)星的三維點云模型，結(jié)合相機的運動信息以及圖像平面特征點的運動信息，解算相對位姿關(guān)系。但面向在軌應(yīng)用，單目SLAM方案的不足之處主要包括體現(xiàn)在過度依賴參考幀、累計誤差和平移變化的尺度不確定性問題。

從工程應(yīng)用角度出發(fā)，對空間圖像的小樣本低照度問題，以及位姿估計的尺度模糊、過度依賴參考幀與累計誤差問題進行了研究，提出針對低照度小樣本限制下的失效衛(wèi)星相對位姿估計的綜合方案。首先，改進基于U-Net生成對抗網(wǎng)絡(luò)的低照度圖像增強方模型。考慮到空間目標圖像的特殊性，提出將判別器輸出的標量真實性得分擴展為分布的真實性得分。其次，在小樣本的條件下，基于進化算法與并行訓(xùn)練方式改進基于SinGAN的數(shù)據(jù)增廣算法，從而抑制網(wǎng)絡(luò)過擬合。最后，在ORB-SLAM實現(xiàn)慢旋衛(wèi)星相對位姿初始化的基礎(chǔ)上，通過特征信息局部地圖構(gòu)建、尺度因子估計與聯(lián)合位姿優(yōu)化方法提高測量的精度和魯棒性。

1 空間目標低光照圖像增強

1.1 集殘差加強的生成器

在EnlightenGAN[13]基礎(chǔ)上，每個卷積結(jié)構(gòu)設(shè)計為5層；左側(cè)設(shè)計為4個階段(Stage 1、Stage 2、Stage 3與Stage 4)的特征提取部分，右側(cè)設(shè)計為3個階段(Stage 5、Stage 6與Stage 7)的圖像增強部分；在Stage 1、Stage 2與Stage 3的特征提取中設(shè)計為密集殘差連接結(jié)構(gòu)，加強信息傳遞，如圖1所示。密集連接是在通道維度上進行連接。在最后階段，Stage 7 輸出的特征圖與EnlightenGAN的注意力圖逐像素相乘，進一步突出特征圖中的待增強區(qū)域，經(jīng)過卷積運算后，與低照度圖像逐像素相加，輸出最終的增強圖像。

圖1 密集殘差結(jié)構(gòu)Fig.1 Structure of dense residuals

1.2 逼真度的雙判別器

本文采用全局-局部雙辨別器結(jié)構(gòu)[13-15]，將判別器的單一標量擴展為多標量判別。首先，將標準的GAN目標函數(shù)改寫成

V(D,G)=Epd[log(D(x))]+

Epz[log(1-D(G(z)))]=

Epd[log(D(x))]+Epg[log(1-D(x))]=

Epd[log(D(x)-0)]+Epg[log(1-D(x))]

(1)

式中：D表示判別器；G表示生成器；pd表示真實數(shù)據(jù)的分布；pz表示噪聲的分布；pg表示生產(chǎn)數(shù)據(jù)的分布；x和z分別表示在數(shù)據(jù)和噪聲分布上的采樣。在式(1)中，0和1理解為2個錨，分別對應(yīng)偽圖片和真圖片。訓(xùn)練時，判別器最大化真圖片與偽錨之間的距離，而生成器小化偽圖片與真錨之間的距離。將判別器的輸出替換成真實性的分布pr，即

D(x)={pr(x,u);x,u∈Ω}

(2)

式中：Ω表示pr的結(jié)果集合。類似式(1)中的0和1分別代表“真”和“假”，這里引入2個分布A1和A0來表示。因此，2個標量之間的差異被替換為Kullback-Leibler (KL)散度[21]。由此，目標函數(shù)改寫為

(3)

式中：判別器最小化真圖片與真錨、偽圖片與偽錨的KL散度，生成器則最大化偽圖片與偽錨的KL散度；DKL為2個分布間的KL散度。

基于此，全局-局部的損失函數(shù)分別重新定義為

(4)

式中：Ifake為生成的樣本；Ireal為真樣本；Pfake為生成樣本的分布；Preal為真樣本的分布。

(5)

式中：Pfake-pathes為生成樣本的塊分布；Preal-pathes為真樣本的塊分布。

1.3 小樣本數(shù)據(jù)增廣

采用SinGAN[22]提出的完全卷積GAN金字塔結(jié)構(gòu)，并提出進化與并行的訓(xùn)練方式 (如圖2(a)所示)。并行的訓(xùn)練僅最后階段固定前n-2層，聯(lián)合訓(xùn)練生成器的n-2到n階段(參見圖1(a)中的“Stagen”)。進化訓(xùn)練如圖2(b)所示，其包括變異、評估與選擇3個過程[23]。定義生成器G由{Gθ1，Gθ2，…，GθP}組成，其中P表示生成器的數(shù)量。

圖2 小樣本數(shù)據(jù)增廣模型Fig.2 Structure of proposed few-shot data augmentation model

(6)

2) 評估。評價子代的質(zhì)量和多樣性。質(zhì)量適應(yīng)評價函數(shù)定義為

FGq=E[D(G(z))]

(7)

多樣性評價函數(shù)定義為

(8)

3) 選擇。依據(jù)優(yōu)勝略汰原則，根據(jù)適應(yīng)度評價得分進行升序排序，選擇得分高的子代作為下一次迭代的父本。

2 相對位姿估計與優(yōu)化

2.1 構(gòu)建特征點局部地圖

考慮失效衛(wèi)星旋轉(zhuǎn)帶來的特征點提取困難與旋轉(zhuǎn)變化，利用旋轉(zhuǎn)和尺度不變性的ORB-SLAM[24]的完成特征提取和關(guān)鍵幀確定。從獲取的關(guān)鍵幀序列Kn中選取前3幀K1、K2和K3，將K1對應(yīng)對應(yīng)的相機坐標系定義為世界參考坐標系。失效衛(wèi)星表面的特性，提取的特征點可能存在平面特征較多或者非平面特征較多的情況。利用ORB-SLAM的單應(yīng)性判別得分選擇利用單應(yīng)矩陣或者基礎(chǔ)矩陣計算本質(zhì)矩陣。從獲得K1→K2和K1→K3的本質(zhì)矩陣EK1→K2和EK1→K3中初始化K3相對K1的旋轉(zhuǎn)矩陣RK1→K3和平移矩陣tK1→K3(尺度模糊存在于tK1→K3)。

利用單目SLAM實現(xiàn)非合作目標的位姿測量，姿變換矩陣的解算過度參考幀，當某一參考幀圖像質(zhì)量較差時，后續(xù)的圖像幀位姿估計誤差不斷累積。通過建立局部地圖的方式，存儲相機附近特征信息，將參考幀/當前幀的匹配轉(zhuǎn)變?yōu)楫斍皫c特征地圖的匹配，克服對參考幀的依賴。這樣，在一個不斷更新的特征點地圖中，假如后期某幀圖像發(fā)生差錯，可利用特征地圖進行匹配從而正確求解位姿。三角化圖像特征點wi=[uivi]T得到地圖點pi=[xiyizi]T。利用當前估計的姿態(tài)將pi投影為圖像特征點，其與測得的圖像特征點的像素坐標存重投影誤差，構(gòu)建光束法平差優(yōu)化方程，得到相機位姿和地圖點的最優(yōu)解，即

(9)

2.3 尺度估計

在位姿初始化階段，服務(wù)航天器與失效衛(wèi)星處于同一水平面上，單目相機固定服務(wù)航天器中心軸上，假定相機視野中衛(wèi)星區(qū)域的平面法向量為n，相機中心到水平面的距離h已知。設(shè)衛(wèi)星某上一區(qū)域3D點M在K2下的坐標為pM=[xMyMzM]T，存在如下關(guān)系：

nTpM+h=0

(10)

設(shè)估計值與實際值之間存在一個尺度比例因子λ，其定義為

(11)

式中：h已知且有單位；h′為單目SLAM下對應(yīng)的高度且無單位。

利用K1和K3估計尺度因子，根據(jù)兩幀的位姿變化關(guān)系[RK1→K3|tK1→K3]，點M在K3下的坐標p′M表示為

(12)

由式(10)和式(12)聯(lián)立，可得

(13)

在圖像坐標系下，式(13)可化為

(14)

(15)

(16)

為求解λ，設(shè)定K3和K1的ROI。根據(jù)式(16) 可知，wp′M和wpM滿足單應(yīng)性變化，利用H將K1的中ROI每個像素投影到K3中。根據(jù)灰度不變假設(shè)，可逐像素計算在K3中的亮度誤差eM，并求得絕對誤差為

(17)

式中：I為灰度值。

將h和n作為優(yōu)化變量，構(gòu)建非線性優(yōu)化模型為[25]

(18)

式中：SAD*為ROI中像素絕對誤差均值。取ρ為1.5，優(yōu)化變量初值可由式(15)求得。解得單目下相機高度值h′，再根據(jù)式(11)解得λ。

2.3 全局位姿優(yōu)化

當失效衛(wèi)星旋轉(zhuǎn)一周后，對重訪區(qū)域的閉環(huán)位姿優(yōu)化可有效減小累積誤差。當檢測閉環(huán)后[26-27]，基于相對位姿約束的圖優(yōu)化策略對所有目標地圖點和所有關(guān)鍵幀的位姿變換矩陣進行聯(lián)合優(yōu)化。假設(shè)檢測到Kk為閉環(huán)幀，將SE(3)空間下的連續(xù)3個關(guān)鍵幀的位姿變換矩陣的Tk-1、Tk和Tk+1分別變換為sim(3)空間的相似性變換矩陣Sk-1、Sk和Sk+1，其中T和S表示為

(19)

在李代數(shù)空間sim(3)下定義如下變換矩陣殘差：

(20)

最終的閉環(huán)優(yōu)化目標函數(shù)為

(21)

式中：c為圖優(yōu)化的邊數(shù)量；Ωc為信息矩陣。

3 測量實驗與結(jié)果

3.1 低照度圖像增強實驗

獲取的不同角度下的低照度圖像如圖3所示，基于改進SinGAN的圖像生成過程如圖4所示，不同角度下的衛(wèi)星圖像生成如圖5所示，不同光照下的衛(wèi)星圖像生成過程如圖6所示，數(shù)據(jù)增廣后的低照度圖像如圖7所示，低照度圖像增強效果對比如圖8所示。實驗中，對比了進化算法在不同階段對學(xué)習(xí)感知圖像塊相似度 (Learned Perceptual Image Patch Similarity, LPIPS)與弗雷切特起始距離(Fréchet Inception Distance, FID)的影響，如表1所示。實驗采用峰值信噪比(Peak Signal to Noise Ratio, PSNR)、結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)、均方誤差(Mean-Square Error, MSE)對增強結(jié)果進行評價，如表2所示。

圖4中，基于并行訓(xùn)練多尺度體系結(jié)，從低分辨率到高分率的圖像生成過程中，真實地合成了反射和陰影。圖5與圖6中，基于改進SinGAN生成的新樣本具有顯著的可變性。表2中，將進化算法應(yīng)用于全階段有效提升了生成圖像的多樣性與質(zhì)量。從圖7可以看出，本文的數(shù)據(jù)增廣方法具有多樣性。從圖8看出本文的低照度圖像增強算法效果更接近真實正常照度圖像，而RetinexNet與LIME方法均出現(xiàn)嚴重細節(jié)丟失且顏色嚴重失。圖9表明，在不同光照環(huán)境下，本文方法可有效增強對其他衛(wèi)星模型的低照度圖像。表1中，本文方法相比于RetinexNet結(jié)果平均SSIM提升了0.21，平均 PNSR值提升3.78，平均MSE降低 0.052。

圖4 圖像分辨率的增加過程Fig.4 Process of increase of image resolution

圖5 不同角度下的圖像生成Fig.5 Generated images at different angles

圖6 不同光照條件的圖像生成Fig.6 Generated images under different lighting conditions

圖7 小樣本數(shù)據(jù)集增廣Fig.7 Data augmentation of few-shot training samples

圖8 低光照圖像增強效果對比Fig.8 Comparison of enhancement of low-light images

圖9 其他衛(wèi)星模型下的圖像增強效果Fig.9 Image enhancement with other satellite model

表1 進化算法在不同階段的影響

表2 評價指標對比結(jié)果Table 2 Comparison results of evaluation indexes

3.2 空間失效旋轉(zhuǎn)衛(wèi)星相對位姿測量實驗

將增強后的圖像序列作為ORB-SLAM的輸入。實驗中先后進行了基于原始低照度圖像的相對位姿測量、基于增強后的圖像相對位姿測量以及基于參考正常照度圖像的相對位姿測量。

圖10中，圖像加載到ORB-SLAM系統(tǒng)進行位姿初始化，實現(xiàn)圖像幀序列的特征跟蹤。圖像經(jīng)增強后，系統(tǒng)的初始化時間由原來的8～10 s縮短為3～5 s，圖像處理的幀率由原來的10 Hz提高到13 Hz。圖11說明ORB-SLAM在不同的光照條件下特征跟蹤的效果有明顯的差別。圖12說明原始圖像經(jīng)過低光照增強網(wǎng)絡(luò)處理好，對于圖像中的低照度和過曝都有一定的抑制作用。圖13和圖14說明，ORB-SLAM在低照度圖像序列上的重建效果較差，會出現(xiàn)跟蹤失敗，而在低照度增強后圖像序列上的重建效果明顯變好。圖15和圖16說明，ORB-SLAM在低照度增強后圖像序列上的位姿估計曲線較為真實的逼近真實運動估計。在圖16中，將x軸與z

圖10 ORB-SLAM特征跟蹤Fig.10 Feature tracking of ORB-SLAM

圖11 不同光照條件下的特征提取結(jié)果Fig.11 Feature extraction results under different lighting conditions

圖12 低照度圖像增強前與后的特征提取效果對比Fig.12 Comparison results of feature extraction in low-light images and enhanced images

圖13 ORB-SLAM在低照度圖像序列上的重建效果Fig.13 Reconstruction results of ORB-SLAM on low-light image sequences

圖14 ORB-SLAM在增強后圖像序列上的重建效果Fig.14 Reconstruction results of ORB-SLAM in enhanced image sequences

圖15 姿態(tài)角估計結(jié)果對比Fig.15 Comparison results of pose estimation

圖16 位置估計結(jié)果Fig.16 Position estimation result

軸的測量距離等效為[-1 cm，1 cm]，這樣真實的運動軌跡為等效的單位圓軌跡，因此目標運動軌跡估計僅對比與單位圓軌跡的差異。圖17表示測量的旋轉(zhuǎn)角和擬合的旋轉(zhuǎn)角之間的絕對誤差，當測量穩(wěn)定后，低照度圖像的姿態(tài)角擬合誤差最大值為4°，而圖像增強的姿態(tài)角擬合誤差最大為0.5°。

圖17 擬合誤差對比結(jié)果Fig.17 Comparison of fitting residuals

在圖18和圖19中，衛(wèi)星在+180°～-180°范圍內(nèi)周期旋轉(zhuǎn)。經(jīng)圖像增強后，ORB-SLAM可以實現(xiàn)對目標對以5°/s速度旋轉(zhuǎn)、8°/s速度旋轉(zhuǎn)、10°/s速度旋轉(zhuǎn)與20°/s速度旋轉(zhuǎn)的長時間穩(wěn)定跟蹤。由表3可知，ORB-SLAM在低照度圖像中的跟蹤效果差，無法實現(xiàn)對目標長時間穩(wěn)定跟蹤。當目標由近及遠機動過程中，由于光照環(huán)境的影響以及目標在圖像中所占像素明顯減少，效特征點提取困難，易導(dǎo)致跟蹤失敗。由表4可知，低光照圖像經(jīng)過增強后，ORB-SLAM可以實現(xiàn)對水平方向機動目標的測量。

圖18 在低照度圖像下角速度的跟蹤結(jié)果Fig.18 Tracking results of angular velocity in low-light images

表3 目標靜止下的長時間跟蹤對比結(jié)果

表4 目標連續(xù)機動下的長時間跟蹤對比

4 結(jié)論

針對低照度小樣本限制下的失效衛(wèi)星相對位姿估計與優(yōu)化問題，提出了一種融合基于GAN的小樣本圖像增強與基于單目SLAM的位姿估計綜合方案，有效解決了在小樣本與無匹配數(shù)據(jù)對的雙重限制下空間目標圖像增強問題，同時改善了單目SLAM的過度依賴參考幀、累計誤差和平移變化的尺度不確定性的問題。實驗結(jié)果表明所提出的方法對空間旋轉(zhuǎn)非合作目標相對位姿估計性能優(yōu)秀，具有在軌應(yīng)用的潛能。