基于序列圖像的三維重建方法在空間目標探測識別中的應用研究

陳 鳳，張澤旭，王 盈，劉 玉，黃建明

（1.上海宇航系統(tǒng)工程研究所，上海201108；2.哈爾濱工業(yè)大學，哈爾濱150080）

基于序列圖像的三維重建方法在空間目標探測識別中的應用研究

陳 鳳1，張澤旭2，王 盈1，劉 玉1，黃建明1

（1.上海宇航系統(tǒng)工程研究所，上海201108；2.哈爾濱工業(yè)大學，哈爾濱150080）

為通過目標探測識別獲得空間目標三維結構等更多在軌信息，以更好地完成在軌服務和操控等任務，根據(jù)三維重建各種方式及資源需求，對基于序列圖像的三維重建方法進行了研究。通過平臺對目標進行繞飛/懸停，由高分辨率相機載荷采集目標不同方位的序列圖像，然后對序列圖像進行三維重建處理，獲得目標三維結構、形貌等信息。仿真和地面試驗結果表明：在繞飛/懸停路徑設計合理的情況下，基于序列圖像的三維重建技術可行，能夠實現(xiàn)目標結構模型的重建，并可以提供帆板、天線等部位結構信息，可為后續(xù)工程應用提供技術參考。

空間目標；序列圖像；三維重建；數(shù)據(jù)處理

1 引言

航天技術的發(fā)展對空間在軌服務和操作技術提出了更高要求，為提升操作精度，需要提高目標的探測感知能力，在執(zhí)行任務之前獲取目標的光學特性、材料、無線電特性和三維結構等信息［1］。通過三維重建技術獲取目標的三維結構形貌信息，可以為無構型信息的空間目標導航提供先驗信息，可以掌握目標本體、帆板以及感興趣部位的結構尺寸信息，還可以用于目標運動狀態(tài)的估計。因此，空間目標三維重建技術能夠為未來空間在軌服務提供自主導航信息與服務對象結構信息等，為在軌服務的實施提供技術保障。

人類從外界獲取的信息有70%～80%是由視覺感知的，其中三維信息使得人們能夠感知到更加豐富的細節(jié)，但平時三維信息都是二維存儲，這樣不可避免地會使一些重要信息丟失，已經(jīng)不能滿足認識和研究需求［2］。三維重建技術在這種情況下應運而生，并已越來越廣泛地應用于逆向工程［3］、醫(yī)學診斷、文物和古遺址重建、數(shù)字商品的虛擬展示、虛擬數(shù)字地圖和三維游戲等方面［4?5］。

依據(jù)信息獲取技術手段的不同，三維重建方法一般分為三種：第一種是利用重建軟件手工建模，在產(chǎn)品設計方面應用較多；第二種是利用具有測距功能的設備主動重建，主要是通過激光、超聲波或者紅外線測距設備獲取精度較高的三維數(shù)據(jù)，但是這類設備攜帶不便，分辨率較低；第三種是利用序列圖像的重建方法，主要通過對場景目標采集的一系列圖像恢復出三維場景或目標模型。所需的設備簡單便捷，只需要一臺相機或普通攝像頭。相對于前兩種方法更快捷、更方便，且能夠生成具有照片級別視覺效果的三維模型［6?7］。

2 基于序列圖像的空間目標三維重建技術

2.1 空間目標三維重建工程實現(xiàn)

空間目標三維重建的研究目前尚處于起步階段，主要分為主動方法和被動方法：即空間平臺載有激光成像雷達（主動）或者相機（被動）敏感器對穩(wěn)定/失穩(wěn)空間目標進行繞飛/懸停探測，對獲取的激光雷達點云數(shù)據(jù)或者圖像序列數(shù)據(jù)，采取相應的處理方法進行空間目標的三維重建。

激光成像雷達可以全天候探測，但是由于目標表面材料影響會產(chǎn)生數(shù)據(jù)空洞，并且受探測器限制其分辨率較低，質量、體積及功耗等資源需求較高，不利于工程實現(xiàn)，重建結果缺少目標表面紋理和局部結構特征［8］。相機載荷相對于激光成像雷達，除了受光照條件的限制，其分辨率高、效果直觀，對平臺資源需求低，技術成熟，則本文采用相機的主動方式進行空間目標的三維重建：載有高分辨率相機的衛(wèi)星平臺對空間目標進行繞飛/懸停，姿態(tài)保持目標指向，高分辨率相機同時采集目標不同方位的序列圖像，通過對序列圖像的數(shù)據(jù)處理實現(xiàn)空間目標的三維重建，可以獲得目標三維結構、形貌以及感興趣部位的結構等信息。

由于高分辨率相機為可見光相機，必須滿足光照條件才可以對空間目標進行成像，因此在衛(wèi)星平臺進行繞飛/懸停過程中需要考慮光照環(huán)境。對于穩(wěn)定目標通常采取繞飛方式進行觀測，不可避免會遇到背陰面，可以根據(jù)軌道計算選擇另外觀測時機對未觀測到的目標部分進行成像。對于失穩(wěn)目標通常采取懸停方式進行觀測，此時可以在滿足光照條件下選擇多個懸停點對目標進行觀測，保證從各個方位對目標觀測完整。對每次采集的圖像序列重建處理后，再將各重建點云進行匹配拼接獲得目標完整的重建模型。

對空間目標采取繞飛方式的三維重建如圖1，具體實施步驟如下：

1）載有高分辨率相機的平臺導引至距離空間目標合理距離的繞飛軌道；

2）平臺調整姿態(tài)，相機光軸指向空間目標（形心或質心）；

3）初始導航時刻校準，判斷太陽方位，在滿足光照條件下，隨著平臺對目標的繞飛，相機開始連續(xù)采集，形成圖像幀間部分重疊的高分辨率圖像序列；

4）圖像序列下傳至地面，采用基于序列圖像的處理算法實現(xiàn)空間目標的三維重構。

圖1 對空間目標繞飛方式的三維重建示意圖Fig.1 The sketch map of 3D reconstruction by flying around the space target

2.2 基于序列圖像的空間目標三維重建方法

通過相機載荷獲取空間目標圖像序列后，采取的三維重建處理流程框圖如圖2所示。

2.2.1 特征提取與匹配

在特征提取過程中，考慮到空間目標的自轉、形狀不規(guī)則等特性，以及探測器會受到多種攝動力干擾的情況，相機獲取的目標圖像通常會發(fā)生旋轉、平移、縮放以及光照變化等。要實現(xiàn)圖像間可靠的匹配，連接點的提取必須能克服尺度、光照變化等不利因素的影響，因此采用尺度不變特征轉換（SIFT）特征點提取算法。該算法具備很強的匹配能力，能夠提取到比較穩(wěn)定的特征點，它能夠用于解決兩幅圖像之間存在著平移、旋轉、仿射變換、視角變換甚至光照變換等的匹配［9］。

當兩幅圖像的SIFT特征向量生成后，就可以通過某種相似性度量來建立特征向量之間的對應關系。SIFT是采用歐氏距離作為兩幅圖像之間的度量準則。在得到SIFT特征向量后，利用k?d樹進行搜索以便查找每個特征點所對應的最近鄰特征點以及次近鄰特征點。在這兩個特征點中，如果最近鄰除以次近鄰的距離比值小于某個給定的比例閾值，那么就接受這樣一對匹配點，即用特征向量的最近鄰距離與次近鄰距離的比值作為匹配約束條件［10］。

針對紋理信息較少重復特征較多的非合作目標圖像，誤匹配率非常高，這對后續(xù)的相機位置姿態(tài)的求解是非常不利的，為了能夠有效地剔除誤匹配點，采用計算機視覺領域通用的魯棒估計算法即隨機抽樣一致性算法RANSAC。

2.2.2 稀疏點云重建及優(yōu)化

從運動中恢復結構（Structure From Motion，SFM）的思想是指當物體旋轉造成陰影的時候才能感覺到它是三維的，這種現(xiàn)象稱為由運動引起的深度效應，即從不同角度觀察三維世界中的同一個點，就可以得到其三維信息［11］。

來自同一景物圖像序列之間存在一些幾何約束關系，這些幾何約束關系可以從匹配特征點序列中獲得，且與景物的結構無關，僅與相機的內、外參數(shù)有關［7］。因此，可以通過對所獲得的匹配特征點進行約束，計算得出其約束關系，然后通過射影重建獲得相機的內、外參數(shù)，同時生成稀疏三維結構點云。

光束法平差作為基于特征的SFM算法的核心環(huán)節(jié)，用來獲得最佳的三維結構和運動參數(shù)估計。根據(jù)提供初始估計、通過最小化觀測和預測的圖像點之間的投影誤差的方法，光束法平差能同時精化運動和結構參數(shù)。最優(yōu)參數(shù)估計的迭代計算一般是通過Levenberg?Marquardt（LM）算法來輔助完成［12］。

2.2.3 稠密點云重建

由于稀疏三維點云只是匹配特征點的三維坐標，因此稀疏模型的視覺效果較差，需要進行稠密三維點云重建。主要采用基于面片的多視圖立體視覺算法。該算法主要包括匹配、擴散、過濾等操作過程，從匹配特征點構成的稀疏點集開始，對特征點進行擴散，利用可視化約束過濾掉錯誤的匹配點，最終獲得稠密點云數(shù)據(jù)［6］。

2.2.4 目標表面恢復

獲得稠密三維點云后，并不能得到精確的表面紋理等信息，因此需要對獲得的三維點云進行表面重建。根據(jù)三維點云的數(shù)據(jù)信息，采用泊松重建方法，重建出場景的表面網(wǎng)格，然后將圖像的紋理投影到表面網(wǎng)格上，完成場景的表面重建，生成可視化的三維結構模型。

圖2 空間目標三維重建處理流程Fig.2 The flowchart of 3D reconstruction of space target using image sequences

3 空間目標三維重建仿真與地面試驗

3.1 仿真試驗及結果

利用空間站模型對三維重構方法進行了仿真測試。根據(jù)空間站安全距離要求以及目前相機發(fā)展水平，設定衛(wèi)星平臺與空間站相距150 m時進行繞飛。為保證150 m處觀測到完整目標，根據(jù)空間站最大尺寸包絡，設置相機視場角45°，采用常規(guī)成像探測器，圖像分辨率為1024×1024，衛(wèi)星平臺每繞飛5°相機采集一幀圖像。在滿足光照條件下相機對空間站采集的圖像序列如圖3所示。

圖3 仿真的圖像序列Fig.3 The simulated image sequences

對仿真的空間站圖像序列進行三維重建后獲得稠密點云數(shù)據(jù)，通過泊松表面恢復和紋理映射后還原出空間站的三維模型，結果如圖4所示。可以看出，重建結果能夠完整地保留目標信息，建立空間站的三維模型，識別出空間站各艙體、帆板等典型結構信息。

圖4 空間站模型三維重建結果Fig.4 The 3D reconstruction results of space station

為驗證重建精度，對重建模型中典型部位的結構尺寸進行計算。表1主要給出圖5中標注的3塊帆板尺寸的測量結果，表2給出圖5中標注的2個艙體的尺寸測量結果。由表可見，重建后帆板尺寸最大誤差為0.534 m，艙體尺寸最大誤差為1.66 m。這主要是因為艙體相比帆板的表面紋理信息少，導致重建艙體的特征點提取和匹配誤差較大，使得重建后尺寸誤差稍大。可以通過改善相機成像分辨率提高特征提取和匹配精度，進而提高重建尺寸精度。

圖5 目標模型典型部位位置Fig.5 The typical part of the target model

表1 帆板重構計算結果Table 1 The 3D reconstruction results of solar panel/m

表2 艙體重構計算結果Table 2 The 3D reconstruction results of cabin/m

3.2 地面試驗及結果

利用空間光學動態(tài)特性測試系統(tǒng)（圖6），模擬空間光照環(huán)境下平臺對目標繞飛過程中，探測系統(tǒng)以2°為間隔，在不同方位對目標縮比模型采集圖像序列。

圖6 空間光學動態(tài)特性測試系統(tǒng)Fig.6 The dynamic optics characteristic test system of space target

對地面試驗采集的圖像序列進行三維重建后獲得稠密點云數(shù)據(jù)，通過泊松表面恢復和紋理映射后還原出空間目標的三維模型。重建結果能夠完整地保留目標信息，建立目標的三維模型，識別出目標天線、帆板等典型結構信息。

對重建模型中典型部位的結構尺寸進行計算。表3主要給出帆板和天線尺寸的測量結果。由表可見，重建后帆板尺寸最大誤差為0.1073 m，天線尺寸誤差為0.0786 m。我們利用高精度的激光雷達掃描系統(tǒng)獲取目標縮比模型精密點云數(shù)據(jù)，與三維重建后點云數(shù)據(jù)進行比較，重建點云精度可達到0.05m，滿足后續(xù)相對導航測量要求。

表3 帆板及天線重構計算結果Table 3 The 3D reconstruction results of the solar panel and antenna/m

4 結論

本文研究結果表明，通過設計平臺合理的繞飛/懸停路徑，可以采集到目標不同方位的序列圖像，然后采用基于序列圖像的三維重建技術獲得目標三維結構模型，并能夠提供帆板、天線等感興趣部位結構信息，重建點云數(shù)據(jù)可以作為基于模型的相對導航測量的輸入。

隨著平臺和敏感器技術的發(fā)展，平臺可以攜帶高分辨率相機和激光成像雷達兩種載荷對目標同時進行探測識別，通過數(shù)據(jù)融合的方法對空間目標進行三維重建，能夠獲取更加精確的空間目標三維信息。

（

）

［1］何英姿，魏春嶺，湯亮.空間操作控制技術研究現(xiàn)狀及發(fā)展趨勢［J］.空間控制技術與應用，2014，40（1）：1?8.He Yingzi，Wei Chunling，Tang Liang.Research status and development trend of aerospace manipulation control technolo?gy［J］.Aerospace Control and Applicant，2014，40（1）：1?8.（in Chinese）

［2］彭科舉.基于序列圖像的三維重建算法研究［D］.杭州：浙江大學.2012.Peng Keju.Research on 3D Reconstruction Algorithm based on Sequence Image［D］.Hangzhou：Zhejiang University.2012.（in Chinese）

［3］呼艷.基于未標定數(shù)碼圖像的三維重建技術研究與實現(xiàn)［D］.西安：西北大學，2011.Hu Yan.Three Dimensional Reconstruction Technique based on the UN Calibrated Digital Image［D］.Xi'an：Northwest University，2011.（in Chinese）

［4］馬頌德，張正友.計算機視覺?計算理論與算法基礎［M］.北京：科學出版社，1998：1?93.Ma Songde，Zhang Zhengyou.Computer Vision Calculation Theory and Algorithm Foundation［M］.Beijing：Science Press，1998：1?93.（in Chinese）

［5］劉鋼，彭群生，鮑虎軍.基于圖像建模技術研究綜述與展望［J］.計算機輔助設計與圖形學學報，2005，17（1）：311?326.Liu Gang，Peng Qunsheng，Bao Hujun.Review and prospect of image?based modeling techniques［J］.Journal of Coputer?Aided Design and Coputer Graphics，2005，17（1）：311?326.（in Chinese）

［6］彭科舉.基于序列圖像的三維重建算法研究［D］.長沙：國防科技大學，2012.Peng Keju.3D Reconstruction using Image Sequence［D］.Changsha：National University of Defense Technology，2012.（in Chinese）

［7］閆世博.基于圖像的三維重建及網(wǎng)格化算法研究［D］.上海：上海交通大學，2013.Yan Shibo.3D Reconstruction based on Images and Meshing Algorithms［D］.Shanghai Jiao Tong University，2013.（in Chinese）

［8］唐永鶴.基于序列圖像的空間非合作目標三維重建關鍵技術研究［D］.長沙：國防科學技術大學，2012.Tang Yonghe.Researches on 3D Reconstruction Technologies for Non?cooperative Space Targets using Image Sequence［D］.Changsha：National University of Defense Technology，2012.（in Chinese）

［9］魏梨君，潘陽，張超.結合Harris算子和sift算子匹配方法的三維重建.電腦知識與技術［J］.2009，5（11）：2980?2981.Wei Lijun，Pan Yang，Zhang Chao.3D reconstruction based on the combination of Harris operators and Sift matching meth?od.Computer Knowledge and Technology［J］.2009，5（11）：2980?2981.（in Chinese）

［10］于勇，張暉，林茂松.基于雙目立體視覺三維重建系統(tǒng)的研究與設計［J］.計算機技術與發(fā)展，2009，19（6）：127?130.Yu Yong，Zhang Hui，Lin Maosong.Research and design of 3D reconstruction system based on binocular stereo vision［J］，Computer Technology and Development，2009，19（6）：127?130.（in Chinese）

［11］Carlo Tomasi，Takeo Kanade.Shape and motion from image streams under orthography：a factorization method［J］.Inter?national Journal of Computer Vision.1992，9（2）：137?154.

［12］Kutulakos K N，Seitz S M.A theory of shape by space carving［J］.International Journal of Computer Vision，2000，38（3）：199?218.

Application Study of 3D Reconstruction Using Image Sequences in Space Target Detection and Recognition

CHEN Feng1，ZHANG Zexu2，WANG Ying1，LIU Yu1，HUANG1Jianming
（1.Shanghai Institute of Aerospace System Engineering，Shanghai 201108，China；2.Harbin Institute Technology，Harbin 150080，China）

The purpose of this paper is to obtain more on orbit information such as the 3D structure of the space target by detecting and identifying the target so as to better complete the on?orbit servi?cing and on?orbit control tasks.According to the resource requirements of various 3D reconstruction methods，the 3D reconstruction method based on the sequential images was studied.The sequential images from different directions of the target was collected by the high?resolution cameras of the plat?form flying around or hovering over the target.Then the sequential images were processed by means of 3D reconstruction and the 3D structure and geomorphology of the target were obtained.The simu?lation results and ground experiments showed that the 3D reconstruction technique was practical with reasonable paths for flying and hovering.It could also be used to rebuild the structural model and provide information of the solar panel，antenna and other parts，which is of great importance for fur?ther applications.

space target；sequential images；3D reconstruction；data processing

V19

A

1674?5825（2016）06?0732?05

2015?05?03；

2015?10?19

國家自然科學基金（51303055）

陳鳳（1974－），女，博士，高級工程師，研究方向為飛行器載荷總體、視覺導航。E?mail：58446826＠qq.com