基于視覺的非合作空間目標三維姿態估計方法

任笑圓 蔣李兵 鐘衛軍 王 壯*

①(國防科技大學ATR重點實驗室 長沙 410073)

②(宇航動力學國家重點實驗室 西安 724403)

1 引言

非合作空間目標的3維姿態估計是航天器在軌維護、太空碎片清除、目標跟蹤監測等諸多航天應用的關鍵技術。與合作空間目標不同，非合作空間目標無法直接提供姿態信息，需要通過外部觀測解算姿態。光學圖像是空間目標監測的重要數據[1]，本文研究基于單幅光學圖像估計結構已知空間目標的3維姿態。

當前，基于單幅圖像的空間目標姿態估計可大致分為基于模板和基于模型兩種思路。基于模板的方法需要預先構建反映目標在不同姿態下表征的模板庫，通過輸入圖像與模板庫的特征匹配確定目標姿態[2]。這類方法的精度受限于模板庫中的模板數量，而模板數量的增加會顯著提高模板庫構建成本、降低算法速度。基于模型的方法需要已知目標的3維模型，通過目標3維模型和輸入圖像之間的特征關聯計算目標的3維姿態[3-6]。相比于前一類方法，此類方法不依賴大量的目標模板，而是通過嚴格的特征關聯方程求解得到目標準確的姿態值，可取得較高的估計精度。此類方法的關鍵在于準確建立輸入圖像和目標3維模型的特征關聯。由于圖像是3維空間的降維表達，因此在建立特征關聯的過程中往往會產生較大的候選空間，當前方法通常需要篩選候選結果或者進行模型參數迭代來建立特征關聯。Sharma等人[3]采用邊緣特征和直線特征的組合得到3維模型和圖像特征關聯的候選結果，再從候選結果中篩選得到特征關聯結果；Zhang等人[4]首先通過Hu矩特征匹配得到候選模型投影圖像，然后通過觀測圖像與候選模型投影圖像的輪廓特征匹配得到最終的特征關聯。上述方法在特征關聯過程中存在較大的候選空間，易造成特征的誤匹配，降低算法效率和準確率。另外，為了保證特征關聯的準確性，當前方法往往采取設計較為復雜的特征。例如，Zhang等人[4]采用ORB[7]算子進行輪廓上的點匹配，Rubio等人[5]所用到的SIFT[8]算子則需要計算復雜的128維特征，這些復雜的高維特征難以很好地兼顧算法效率。

隨著深度學習技術的發展，Sharma等人[9]和李想[10]將卷積神經網絡(Convolutional Neural Network, CNN)應用于空間目標的姿態估計，把姿態空間劃分為不同的子空間，由此將姿態估計問題轉換為基于深度神經網絡的分類問題；也有學者基于深度神經網絡直接建立2D-3D關聯，進而求解姿態[11,12]。相比于基于傳統人工特征的方法，深度神經網絡可以從大量訓練的數據中挖掘隱含特征，同時其樣本數量會隨著方法精度要求的提高而大幅增加。然而，對于空間目標來說，具有3維姿態標注的公開數據集十分有限，數據的缺乏限制了網絡精度的提升。雖然提升CNN估計精度的訓練成本較高，但基于CNN估計姿態的魯棒性強，結果較為穩定，與上文提到的基于模型與圖像的特征關聯的姿態估計方法具有很好的互補性，結合以上兩種方法的優勢具有提升姿態估計準確率和效率的潛力。

針對現有方法在特征關聯中存在的候選空間大、特征設計復雜的問題，本文提出一種結合深度學習和特征關聯的姿態估計方法，首先基于CNN估計目標3維姿態，然后將其結果作為姿態初值建立圖像與目標3維模型的特征關聯，進而求解目標姿態的準確值。本文方法中CNN為后續的特征關聯過程提供了穩定的初始值，相比于現有方法極大縮小了候選空間，降低了誤匹配的可能性；在特征關聯階段，本文提出一種基于直線匹配的特征關聯方法，相比于當前方法采用的復雜的高維特征擁有更高效的算法效率。

2 姿態估計方法

本文采用的參考坐標系定義與常用的光學攝像機成像模型一致，如圖1(a)所示。目標3維姿態即為目標坐標系相對于相機坐標系的旋轉角，具體為俯仰角φ、翻滾角γ和偏航角θ，定義如圖1(b)所示。其中俯仰角φ為XT軸與平面XCOCYC的夾角，翻滾角γ為通過XT軸的平面XCOCYC的鉛垂面與ZT軸的夾角，偏航角θ為XT軸在平面XCOCYC上的投影和XC軸的夾角。

圖1 坐標系及姿態角定義

本文在已知目標模型的前提下根據單幅光學圖像估計目標姿態，方法流程見圖2，主要包括3個步驟：(1)采用CNN估計目標姿態，結果作為姿態初值；(2)將目標模型在姿態初值下的投影與輸入圖像進行特征匹配，建立目標模型與輸入圖像的特征關聯，將目標姿態估計轉換為PnP(Perspective-n-Point)問題，即給定3D空間和2D圖像的對應點對求解位姿；(3)根據特征關聯結果采取EPnP算法[13]求解目標姿態。考慮到太空特殊觀測環境給特征提取與關聯帶來的干擾，在此步驟中評估姿態求解的偏差，若偏差過大則舍棄估計結果，采用基于CNN得到的姿態初值作為最終結果。下面詳細介紹以上3個步驟。

圖2 方法流程圖

2.1 基于CNN的姿態初值確定

本文通過CNN從圖像中估計目標姿態，作為后續過程的姿態初值。目前PASCAL3D+[14]等公開3維數據集僅可提供常見地物目標的圖像樣本，而具有3維信息標注的空間目標數據集十分缺乏。針對樣本缺乏的問題，本文采用渲染目標CAD模型的方式生成訓練數據，具體來說，使用Blender開源軟件[15]得到不同姿態下的空間目標仿真圖像作為網絡的訓練樣本。為確保姿態空間劃分的均勻性，本文采用球面等積網格[16]對姿態空間進行劃分，在俯仰、翻滾和偏航3個維度上共劃分4800個子空間。

本文在VGG[17]網絡的基礎上構建網絡結構，如圖3所示。其中卷積層與VGG網絡的卷積層結構相同，在卷積層之后設置了3個全連接層。網絡輸入是224×224×3像素的RGB圖像數據，輸出是1×1×X的向量，代表姿態角的標簽，對應于姿態空間的特定子空間，X為子空間的數量。在網絡中，所有卷積層的卷積核尺寸均為1×1，步長均為1；所有池化層的池化窗口尺寸均為2×2，步長均為2。

圖3 姿態估計深度神經網絡結構

設Yi代表姿態的真實標簽，yi為對應的預測值，網絡的損失函數定義為

根據參數調優的結果，訓練過程中的Batch Size設置為8，學習率設置為0.0001。

2.2 目標模型與輸入圖像的特征關聯

空間目標往往由具有典型幾何形狀的部件組成，比如長方形太陽能帆板、立方體主體等，因此在觀測圖像中蘊含大量的直線特征。在CNN提供的初始姿態下，本文提取圖像中的直線與目標模型投影進行匹配，進而根據直線端點得到匹配點對，完成目標模型和圖像的特征關聯。其中，目標模型為線框模型，其端點為典型幾何形狀的頂點，由目標CAD模型得到。特征匹配關聯的具體流程如圖4所示。

圖4 特征提取與匹配關聯示意圖

接下來介紹直線提取、直線匹配和關聯點對獲取方法。盡管空間目標圖像中存在大量直線特征，然而圖像中的明暗變換和目標零散部件給直線提取的完整性和準確性帶來挑戰。本文采用Cho等人[18]提出的直線提取方法，首先生成目標圖像的梯度圖，然后基于梯度圖提取候選線段，進而將候選線段依據距離、斜率一致性、梯度變化程度等規則進行聚合，可有效連接由于零散部件和明暗變化導致斷裂的直線。

2.3 基于EPnP算法的姿態估計

空間目標圖像易產生高度降質，可能對直線提取以及關聯點對的提取造成較大影響。為避免論文所提方法的特征關聯階段給方法準確性帶來負面效果，在此對偏差E做評估，若E大于一定閾值，則舍棄基于特征關聯得到的姿態估計結果，采用深度學習得到的整體姿態作為最終姿態結果。

3 仿真實驗及分析

由于非合作空間目標的真實姿態無法獲知，且實測數據的獲取較為困難，因此本文采取仿真圖像驗證方法的有效性。在實驗驗證中，本文選取了3個具有代表性結構的空間目標，分別為嫦娥一號衛星、天鏈一號衛星和風云三號衛星，如圖5所示。

圖5 實驗驗證目標示意

在本文方法的網絡訓練階段，訓練樣本為目標CAD模型通過Blender開源軟件渲染得到的圖像。具體來說，對每個目標在姿態區間內對各個角度每隔9°進行采樣，產生8.4×104幅圖像。

在特征關聯階段，需要已知目標的3維線框模型。3維線框模型由目標CAD模型標注得到，本文實驗中的3個目標的線框模型如圖6所示。

圖6 實驗目標線框模型

實驗驗證分為3個部分。3.1節給出所提方法進行空間目標姿態估計的定性和定量結果，并分析所提方法中深度學習提供的初值對結果的影響；3.2節將本文所提方法與基于傳統特征建立2D-3D關聯的方法進行比較；3.3節將本文所提方法與通過深度神經網絡直接建立2D-3D關聯的方法進行比較。

{φ ∈(?180°,180°],γ ∈(?180°,180°],θ ∈(?180°,180°]}

3.1 姿態估計結果及分析

首先給出本文方法的定性結果。以嫦娥一號為例，本文方法的中間過程和定性結果如圖7所示。

在圖7中，輸入圖像首先通過CNN得到姿態初始化結果，表示為圖中方框的朝向；然后在輸入圖像中提取直線特征，并與目標線框模型在初始姿態下的投影進行直線匹配，得到特征關聯結果；接著，在特征關聯結果中提取直線的端點與模型投影中相應的點作為匹配點對，并基于EPnP算法求解目標姿態，得到姿態估計準確值。在圖中，姿態估計準確值對應的目標模型投影疊加在圖像中。

圖7 本文方法中間過程和定性結果

其他兩類目標的實驗定性結果如圖8和圖9所示。第1列為基于CNN的姿態初值估計結果，方框的方向標示出估計得到的姿態；第2列為特征提取關聯結果，圖中標示出了與目標模型匹配的直線，其端點即為匹配點；第3列為采用EPnP算法得到的姿態估計準確值，圖中標示出了在估計姿態下的目標模型投影。

圖8 “天鏈一號”姿態估計定性結果

圖9 “風云三號”姿態估計定性結果

下面給出定量結果。令姿態真值和估計值對應的旋轉矩陣分別為Rtrue和R，則姿態估計誤差表示為

令Re對應的姿態誤差角為{φe,γe,θe}，用以描述姿態估計的準確性。令ttrue為平移量真值，方法估計值為t，則平移量估計值的誤差te為

在本文方法中，CNN的姿態子空間數量會對估計精度和所需訓練樣本的數量產生影響，以嫦娥一號目標為例，圖10給出不同姿態子空間下的估計精度和所需樣本數量對比。

圖10(a)是不同數量的姿態子空間下的網絡所需的訓練樣本數，圖10(b)是CNN姿態估計結果與在其基礎上進行特征關聯估計姿態的對比。從圖10(a)可以看出，隨著姿態子空間增多，所需樣本數大幅增加；從圖10(b)可以看出，CNN估計精度隨姿態子空間增多而變高，但精度增幅相應地減小。由此可以看出對于基于CNN的姿態估計，隨著精度需求提升，訓練成本將大幅提高。同時實驗結果表明了在CNN基礎上進行特征關聯進而估計姿態的思路可顯著提升估計精度。

圖10 不同姿態子空間下的估計精度和所需樣本數量對比

表1 本文方法姿態估計結果

3.2 與基于傳統特征方法的對比

下面將本文方法與當前兩種典型的基于傳統特征實現2D-3D關聯的方法進行對比。文獻[6]在觀測圖像中提取空間目標的直線特征與太陽能帆板結構進行關聯，從而求解姿態；文獻[4]首先采用Hu特征矩生成候選空間，然后通過基于ORB算子的輪廓點匹配實現目標模型和圖像的關聯，進而求解目標姿態。將上述兩種方法以及本文方法對3.1節的3個目標進行姿態估計，其算法精度和速率比較如圖11所示。

圖11 本文方法與基于傳統特征方法的性能對比

可以看出文獻[6]的方法有較高的算法效率，但其準確率較低；原因在于其所提方法僅通過帆板的直線特征建立特征關聯，所提特征描述目標整體結構的能力有限。文獻[4]使用了較為復雜的特征描述子進行特征關聯，并構建候選空間以提供姿態初值，雖然方法準確率較高，但效率較低。本文方法在CNN提供初值的基礎上通過特征關聯求解姿態，相比于文獻[6]，本文所提特征可較好地描述目標整體結構，在姿態估計準確率上有明顯的優勢；相比于文獻[4]，本文方法通過CNN提供了穩定的姿態初值，有效縮小了特征提取的候選空間，并且本文提取特征相比于文獻[4]采用的特征描述子復雜度低，從結果上看本文方法取得了與文獻[4]相當的準確率，并在算法效率上有較大優勢。綜合來看，本文方法較好地兼顧了準確率和算法效率。

由于太空環境的特殊性，觀測圖像往往存在降質。在空間觀測環境中，噪聲、低分辨、光照變化是導致圖像降質的3種主要因素，下面分別測試本文方法在這3種典型的降質環境下的性能。將嫦娥一號作為測試對象，測試結果如圖12所示。

圖12 本文方法與基于傳統特征方法在圖像退化條件下的性能對比

在圖像加噪測試中，高斯白噪聲方差大于0.005后3種方法的誤差顯著增大。在圖像低分辨測試中，目標在圖像中所占像素數在10000以上時，所提方法可以較好地估計姿態，目標所占像素數為2000時，3種方法的誤差顯著增大。在光照變化測試中，光照相位角大于45°時對3種方法造成較大影響。從結果可以看出，圖像退化對所有方法均產生了明顯影響。本文方法和文獻[4]都提取了目標整體特征進行姿態估計，文獻[7]僅依賴目標局部特征，因此本文方法和文獻[4]在圖像退化的情況下取得了明顯好于文獻[7]的精度。

3.3 與基于深度神經網絡直接建立2D-3D關聯方法的對比

隨著深度學習技術的發展，在學界有一部分方法通過網絡直接獲取目標的2D-3D匹配，進而解算目標姿態。這類方法依托公開的Pascal3D+[14]等3維數據集在常見地物目標(汽車、行人、家具等)的姿態估計中得到廣泛應用。下面將本文方法與一種基于深度神經網絡直接建立2D-3D關聯的方法進行對比[11]。文獻[11]是通過網絡直接建立2D-3D關聯的具有代表性的方法，首先通過網絡直接提取圖像中目標的關鍵點建立2D-3D關聯，然后根據關聯結果求解得到姿態。這里通過渲染嫦娥一號的3Dmax模型得到數據集。本文方法和文獻[11]方法對比如圖13所示。

圖13 本文方法與基于深度神經網絡方法在圖像退化條件下的性能對比

從結果可以看出，本文方法取得比文獻[11]更高的姿態估計精度，特別是在圖像退化的情況下。直接建立2D-3D特征關聯的網絡是從圖像直接映射到目標的局部區域，然后通過數個局部區域的位置解算整體姿態。對于大部分的紋理豐富、成像清晰的目標，局部的關鍵點可以被準確提取。然而，空間目標多采用了弱紋理材質和重復紋理材質，加之空間目標圖像可能存在高度降質，因此直接提取局部區域特征容易導致關鍵點提取的數量不足或提取錯誤，進而在整體姿態求解階段陷入局部極小值或產生較大誤差。本文采用一種“全局+局部”的思路，即首先通過深度神經網絡整體估計目標的姿態，然后在整體姿態的基礎上建立2D-3D關聯。建立2D-3D關聯后的姿態求解優化了整體姿態估計的結果，整體姿態估計結果又為建立2D-3D關聯提供了穩定的初值，提高了關聯的準確性。相比于直接映射到局部、建立2D-3D特征關聯的方法，本文所提方法對于空間目標數據更加適用。

4 結束語

本文提出一種基于視覺的非合作空間目標3維姿態估計方法，在已知目標3維模型的前提下估計單幅圖像中空間目標的3維姿態。本文方法旨在解決現有方法在觀測圖像與目標3維模型特征關聯中普遍存在的候選空間大、特征設計復雜的問題。首先基于CNN得到姿態初值，然后在姿態初值下建立觀測圖像與目標模型之間的特征關聯，進而求解目標姿態的準確值。深度神經網絡為特征關聯過程提供了穩定的姿態初始值，有效縮小了候選空間。在特征關聯階段，本文提出了一種基于直線匹配的特征關聯方法，相比于設計較為復雜的特征更為高效。相比于現有方法，實驗證明所提方法相比于傳統方法兼顧了準確率和效率，提升了非合作目標姿態估計的算法性能。