面向立方星的相對位姿測量視覺傳感器設計

杜榮華,張興星,張翔,*,汪玲

1. 南京理工大學 機械工程學院，南京 210094 2. 南京航空航天大學 電子信息工程學院，南京 210016

航天技術發展中的重要內容之一是在軌服務技術。隨著近些年國內外太空探索的進程加快，在軌服務技術亟待發展。在軌服務定義為服務航天器攜帶各種設備裝置與目標航天器發生相互作用的過程。航天器由于故障、失效或者燃料耗盡而不能繼續正常工作，在軌服務技術可用于故障航天器維修、回收，對于延長衛星服務壽命、減少太空環境碎片[1-2]，增強在軌衛星管理能力十分重要。在軌服務技術涉及與目標航天器的交會對接技術、繞飛檢測技術和捕獲技術等，而實現這些技術的核心是視覺導航技術[3-4]，其中服務星與目標星之間的相對位姿測量是進行視覺導航的基礎。

國外已經開展了若干視覺導航在軌演示驗證項目。如美國的軌道快車[5]計劃，日本的ETS-VII[6]等。這兩個項目中的追蹤星均安裝了可見光相機,目標星安裝了發光標志器或角反射鏡作為合作目標特征點。國內在航天器近距離的相對位姿測量技術研究中,也多采用合作標志器[7-8]。以上項目中的追蹤星體積和質量一般較大，造價高，且需要配備復雜的儀器設備。

微納衛星由于質量小、造價低和研制周期短的優勢，近年來在國際上成為研究熱點，其中具有代表性的是立方星技術。2018年美國和歐洲知名航天技術研究機構相繼以立方星為平臺，開展對微納衛星視覺導航技術的在軌驗證[9-10]，而中國尚未在該項技術上有足夠的積累。瞄準立方星在未來在軌服務中的應用，本文解決立方星視覺導航技術中追蹤星與目標星之間的相對位姿測量問題，設計一種立方星視覺傳感器，并提出有效的位姿測量算法。

立方星視覺傳感器的研制主要受到立方星的體積、質量和功耗的限制。瑞士洛桑聯邦理工學院的Camille等[9]提出了一種適用于立方星平臺的交會對接視覺測量方案。通過在追蹤立方星上安裝單目攝像機和在目標星上安裝發光二極管來確保系統在整個接近過程中的可觀測性。Tyvak納米衛星系統公司[10-11]提出的立方星接近操作演示任務中，采用了兩個可見光與兩個紅外相機，針對不同距離和光照的條件，采用不同視場的相機來實現兩個3U立方星的在軌編隊飛行與接近操作驗證。帕多瓦大學的Sansone等[12]開發了一種與微納衛星平臺相兼容的紅外相對導航傳感器，用于微納衛星的近距離的相對導航，該系統精度一般且適用范圍有限。國內關于立方星的視覺導航技術研究尚處于起步階段，尚沒有大力開展以立方星為平臺的視覺導航技術研究，不涉及在軌演示驗證。

在完成若干立方星研制任務基礎上，本文提出一種適用于立方星平臺的相對位姿測量視覺傳感器設計。首先，針對單目測量深度信息缺失的問題，在視覺傳感器組成上提出一種多層立體靶標設計，并選擇一種適合立方星平臺的微型相機對設計的立體靶標進行成像。為應對空間復雜的光照環境，選取波長為850nm的LED燈作為立體靶標的光源，通過在微型相機鏡頭處安裝850nm的紅外窄帶濾鏡來提高立體靶標成像質量。針對視覺導航對相對位姿測量的高精度要求，提出一種IDS的位姿估計算法。最后搭建模擬真實空間光照和運動環境的六自由度實驗平臺對該視覺傳感器進行性能測試，并通過不同相對位姿估計算法的對比分析校驗提出的相對位姿估計算法的有效性。

1 視覺傳感器設計

視覺傳感器包括多層立體靶標、微型相機和數據處理模塊等。本節將給出多層立體靶標設計、相機選型和有無紅外窄帶濾鏡的圖像獲取性能測試。

1.1 多層立體靶標

現有的用于航天器視覺導航的合作靶標可分為平面靶標和立體靶標。根據靶標是否有源，又可分為有源靶標和無源靶標。無源靶標在圖像處理的過程中，可能會由于圖案特征信息不明顯，使得靶標圖案和背景的分離難度較大，應用具有較大的局限性，而平面靶標的缺陷是無法提供包含空間幾何約束的信息。基于上述考慮，我們設計了一種具有多層結構的立體靶標用于視覺傳感器獲取相對位姿信息。圖1給出了多層立體靶標的側視圖和靶標圖案尺寸。

圖1 多層立體靶標Fig. 1 Mutil-layer stereo marker

該立體靶標的尺寸為98 mm×98 mm×30 mm，由5個不共面的、發光波長為850 nm的LED燈組成。立體靶標分為4層結構，從下至上分別為PCB底板層、圓柱套圈層、上蓋板層和修光層。PCB底板層的作用是按照設計圖案將貼片封裝類型的LED 燈擺放在相應的區域,如圖1(b)所示，每個圓圈代表一個LED燈。圓柱套圈層的作用是將LED燈發出來的光限定在特定區域，圓柱套圈內徑大小和設計的圖案尺寸一致，滿足16∶8∶4∶2∶1的關系，作為立體靶標的數字編碼信息。上蓋板層具有結構安裝和支撐的作用。修光層選用的是聚酰亞胺薄膜，可將LED燈發出的光修整為一個規則的圓形光斑。

1.2 相機選型

考慮到立方星體積、質量和功耗有限，且空間中其他的干擾光源大部分來自可見光波段。為了排除其他光源的干擾，將相機的成像范圍設定在紅外波段，且立體靶標上的LED燈的發光波長為850 nm，所以選擇支持紅外波段成像的微型相機對立體靶標進行成像。該微型相機的主要參數如表1所示。

表1 微型相機主要參數

1.3 有無紅外窄帶濾鏡的圖像獲取性能測試

空間光照條件復雜多變，太陽和地球有時也會出現在相機視野中，此外，航天器表面會產生強反射光的現象，這些都會導致靶標圖像質量惡化。為了保證靶標圖像質量，避免雜散光和背景的干擾，針對立體靶標采用波長為850 nm的LED光源，在相機鏡頭處添加僅通過850 nm波長光的紅外窄帶濾鏡。

為測試視覺傳感器系統性能，我們搭建可模擬航天器在軌實際光照條件的實驗系統，對該視覺傳感器系統進行圖像獲取性能測試。主要考慮兩種可能出現的情況：

1) 太陽出現在相機視場且衛星表面發生強反射光的情況；

2) 地球出現在相機視場且衛星表面發生強反射光的情況。

測試效果如圖2所示，其中圖2(a)(c)為有紅外窄帶濾鏡的兩種情況下獲取的靶標圖像。圖2(b)(d)為沒有加紅外窄帶濾鏡的靶標成圖像。對比圖2(a) (c)和圖2(b) (d)可見，配備紅外窄帶濾鏡的微型相機可以濾除強反射光和背景光的干擾。

圖2 兩種情況下的圖像獲取測試Fig. 2 The test of image acquisition in two cases

2 相對位姿求解

相對位姿求解包括圖像處理和相對位姿估計。下面將分別闡述相對位姿求解涉及的圖像處理和相對位姿估計的IDS算法。

2.1 圖像處理

圖像處理需要將靶標圖案從背景中分離出來，并進行圖案區域的中心點定位，以作為IDS位姿估計算法的輸入。圖3給出了圖像處理流程。

圖3 相對位姿估計的圖像處理流程Fig. 3 The flow chart of image processing for relative pose estimation

圖像處理包括圖像去噪、圖像二值化、立體靶標5點圖案提取以及圖案匹配和中心定位。圖像去噪采用維納濾波法去除相機成像過程產生的噪聲點。圖像二值化采用自適應閾值二值化法，將采集的灰度圖按照閾值大小轉化為二值圖像。立體靶標5點圖案提取采用橢圓檢測法將立體靶標對應的5個區域提取出來。該橢圓檢測法分兩步進行,包括初步橢圓檢測和基于相似性的精確橢圓檢測。

(1) 初步橢圓檢測

設某輪廓的邊緣點坐標為L={(xi,yi),1≤i≤n}，n為它的邊緣點個數，那么它包含的區域面積為：

(1)

假設輪廓邊緣上任意兩點ai(xi,yi)與aj(xj,yj)之間的距離為dai,j：

(2)

從邊緣點中搜尋最左端點a0，最右端點a1，最上端點a2，最下端點a3，它們兩兩之間的距離中的最大值的一半為該輪廓外接圓半徑R：

(3)

在得到了輪廓邊緣的一些屬性后，可以利用直接最小二乘橢圓擬合方法[13]來對所有輪廓進行初步橢圓檢測，從而得到圖像中所有的橢圓輪廓。

(2) 基于相似性的精確橢圓檢測

初步橢圓檢測可以得到圖像中所有的橢圓輪廓，但是里面仍然存在不屬于立體靶標的橢圓輪廓，需要利用同一靶標上輪廓相似性進行精確檢測。根據Hu不變矩理論[14]中的邊緣形狀不變矩的特性，設計了圖像中立體靶標的5個橢圓輪廓的精確檢測方法。該方法計算了所有初步檢測出的橢圓輪廓的相似性因子，通過相似性因子的大小來對橢圓輪廓進行取舍，保留最相似的5個橢圓輪廓。該方法的初步實驗測試結果見圖4。其中圖4(a)為原始圖像，該圖像中有5個形狀相似但大小不同的橢圓輪廓屬于同一靶標，另外2個橢圓輪廓不屬于該靶標。圖4(b)為去除其中一個不相似的橢圓輪廓。圖4(c)為只有靶標的5個橢圓輪廓。

圖4 基于相似性的橢圓輪廓精確識別方法測試Fig. 4 The test of precise identification method of elliptical contours based on similarity

在該初步測試的基礎上，將測試樣本增加至3 000個，并采用相同的方法對圖像中屬于靶標的圖案進行提取。實驗結果顯示，有2 993個樣本可以將屬于靶標圖案的5點區域提取出來，提取成功率為99.98%。如果沒有成功提取靶標圖案的5點區域，則將圖片舍棄。

后面的圖案匹配是將設計的靶標圖案與成像后的圖像區域對應起來，本文采用多層立體靶標的數字編碼信息進行圖案匹配。最后采用灰度重心法對提取的5個區域進行中心定位。

2.2 相對位姿估計的IDS算法

(1)初步相對位姿估計

立體靶標上一點h在世界坐標系中的三維坐標(Xh,Yh,Zh)與對應的像素坐標(u,v)具有如下關系：

(4)

式中：Zc為未知的比例因子；f為相機焦距；dx和dy為圖像像素的物理尺寸；R和T為世界坐標系與微型相機坐標系之間轉換的旋轉矩陣和平移矢量，R∈R3×3，T∈R3×1。

由于微型相機坐標系和立體靶標坐標系之間存在相對俯仰角和相對偏航角，導致靶標上的圓形圖案在成像后發生變形，成為近似橢圓形的光斑。假設5個橢圓光斑的中心點坐標分別表示為(ua,va)，(ub,vb)，(uc,vc)，(ud,vd)和(ue,ve)。(up,vp)表示圖像中共面的4個橢圓光斑的中心點坐標。

相對俯仰角θ和相對偏航角ψ可以使用非共面點偏離共面4點中心的距離來表示：

(5)

圖5 相對位姿估計方法示意Fig.5 The schematic diagram of relative pose estimation method

式中：AP為相機的角分辨率。如圖5所示，pitch表示相對俯仰角，yaw表示相對偏航角，roll表示相對滾動角。相對滾動角用符號φ表示，使用圖案a的中心點坐標(ua,va)和c的中心點坐標(uc,vc)所連接的直線與圖像物理坐標系的正X軸方向的夾角表示。

深度方向上的相對距離由下式進行估計：

(6)

式中：D為圖案a的中心點和c的中心點連線的實際物理尺寸；d為圖案a的中心點和c的中心點連線的成像尺寸；Z為相機距離立體靶標在深度方向上的相對距離。

由于式(6)沒有考慮相對姿態角對圖案a的中心點和c的中心點連線的成像尺寸的影響，如果直接按式(6)計算微型相機和立體靶標在深度方向上的相對距離，在相對姿態角較大的情況下，由式(6)獲得的距離誤差會增大。本文考慮相對姿態角對深度信息Z的影響，將式(6)修正為：

(7)

式中：d=(ku|ua-uc|dx)/cosφ；ku為相對偏航角對深度信息Z的補償系數，它補償了相對偏航角對靶標圖案a的中心點和c的中心點連線在成像后造成的變形影響。ku采用相對偏航角的余弦值近似替代：

ku=cosψ

(8)

將式(8) 帶入式(7)中，根據針孔成像模型，求解出微型相機和立體靶標之間的初始相對位置為：

(9)

(2)基于Haralick迭代算法的位姿優化

通過式(4)～(9)可求出微型相機坐標系和立體靶標坐標系之間的初始相對位姿。然后，采用Haralick迭代算法[15]優化初始測量結果。由于圖像處理過程中存在誤差，使得目標特征點不在成像點的逆投影線上。因此，利用該誤差定義如下目標函數作為相對位姿測量結果的評價準則。

(10)

式中：t=(tx,ty,tz)T和M分別為立體靶標坐標系相對于相機坐標系的平移矢量和旋轉矩陣；si為立體靶標上的5個圖案中心點在立體靶標本體坐標系中的坐標，即{si:(xi,yi,zi),i=1,2,…,5}；di為立體靶標上的圖案中心點距離相機投影中心的景深，

di=(Msi+t)Tvi,i=1,2,…,5

(11)

式中：vi為圖案中心點在逆投影線上的單位矢量，

(12)

然后求出立體靶標上的5個圖案中心點在立體靶標本體坐標系和利用景深求出的坐標平均值分別為：

(13)

(14)

定義協方差矩陣C為：

(15)

對C進行奇異值分解：

C=UΣVT

(16)

式中：U和V為酉矩陣；Σ為一個對角矩陣。得到旋轉矩陣M和平移矢量t為：

M=VUT

(17)

t=-MμA+μB

(18)

位姿優化問題可以描述為：

(19)

其中旋轉矩陣MMT=I。

為了使目標函數值ε2減小，引入梯度最陡下降法[16]對式(19)求偏導，并令其為零得到：

(20)

進而可得：

(21)

將t帶入式(18)，求出新的M值。重復式(18)～(21), 并將求出的結果帶入式(10)，求得第k次的目標函數為：

(22)

迭代終止條件設為：

(23)

當誤差收斂后，得到立體靶標坐標系和相機坐標系之間的相對位姿為：

(24)

最后根據立體靶標和微型相機在衛星中的安裝位置關系，得到服務星本體坐標系與目標星本體坐標系之間的相對位姿。

3 實驗校驗

3.1 實驗方案

為了測試該視覺傳感器的性能，搭建了圖6所示六自由度地面實驗系統。

圖6 地面實驗系統Fig. 6 Ground experiment system

該實驗系統包括三軸轉臺、三自由度導軌、支持紅外波段成像的微型相機、立體靶標、太陽模擬器和地球背景等。三軸轉臺和三自由度導軌分別作為旋轉運動模擬器和平移運動模擬器。太陽模擬器用于模擬真實的空間光照環境。此外，校驗實驗完全在暗室中進行，排除了其他光源對實驗結果的影響。

在實驗過程中，微型相機和立體靶標之間的相對位置和姿態的運動軌跡完全按照服務星和目標星在軌道上的真實相對運動模型進行設計，其中相對位置的運動模型采用Clohessy-Wiltshire (C-W)方程[17]，相對姿態的運動模型采用姿態動力學和運動學組合模型[18]。

為校驗所設計的視覺傳感器的位姿測量性能，考慮兩種情況下的位姿測量精度：

1) 在不同距離處，視覺傳感器的相對位姿測量精度。試驗測試距離通過三自由度導軌從2.5 m移動至0.6 m處，每隔0.1 m采樣一次。

2) 在不同相對姿態角處，視覺傳感器的相對位姿測量精度。試驗過程中的相對滾動角通過三軸轉臺從0°旋轉至40°處，每隔2°采樣一次。

為了驗證所提出的IDS算法的性能，采用經典的P3P算法和EPnP算法同IDS算法進行比較。

3.2 實驗測試與結果分析

實驗測試結果如圖7～圖10所示，顯示了不同算法在該視覺傳感器中的測量誤差。

從圖7和圖8可以看出，隨著距離增加，相對位姿估計算法的精度會降低。在相對距離為1 m時，IDS算法在深度方向上的精度約為1.77 mm，橫向精度高于深度方向，分別為0.22 mm和0.18 mm。相對滾動角的精度為0.07°，相對偏航角和相對俯仰角的精度分別為0.33°和0.37°。另外，比較3種相對位姿估計算法在圖7和圖8中的實驗測試數據可以看出，在不同相對距離處，IDS算法的測量精度要優于經典的EPnP算法和P3P算法。

圖7 不同距離處的相對位置估計精度Fig. 7 Relative position estimation accuracy at different distances

圖8 不同距離處的相對姿態估計精度 Fig. 8 Relative attitude estimation accuracy at different distances

圖9 不同相對姿態角處的相對位置估計精度Fig. 9 The Relative position estimation accuracy under different relative attitude angles

圖10 不同相對姿態角處的相對姿態估計精度Fig. 10 Relative attitude estimation accuracy under different relative attitude angles

從圖9和圖10中可以看出，相對位姿估計算法的精度會隨著相對姿態角的增大而略有降低。當相對姿態角中的滾動角為20°時，IDS算法的深度方向上的測量精度約為1.53 mm，橫向上的測量精度分別為0.25 mm和1 mm。相對滾動角的精度為0.08°，相對俯仰角和相對偏航角的測量精度分別為0.18°和0.71°。另外，比較3種相對位姿估計算法在圖9和圖10中的實驗測試數據可以看出，在不同相對姿態角處，IDS算法的測量精度要優于經典的EPnP算法和P3P算法。

4 結束語

本文以立方星為平臺，提出了一種立方星相對位姿測量視覺傳感器的設計，并在模擬真實空間光照和運動環境的實驗平臺上對提出的視覺傳感器進行了性能測試，并得到以下結論：

1)根據圖像獲取性能的測試結果，該視覺傳感器能夠克服背景光的干擾，可以滿足在空間復雜光照條件中的使用要求。

2)通過比較3種不同算法在該視覺傳感器中的測試精度可以得出，提出的IDS算法的測量精度優于經典的P3P算法和EPnP算法。

3)本論文提出的視覺傳感器是專門為合作目標設計的，沒有考慮到目標非合作的情況，后面將繼續開展空間非合作目標的立方星相對位姿測量視覺傳感器的研究。