一種非合作目標模型快速測量方法

，，，*，

1. 北京控制工程研究所，北京 100190 2. 中國空間技術研究院，北京 100094

衛星在軌任務失敗、燃料耗盡等都需要利用空間機械臂進行在軌服務來減少經濟損失[1]，目前，已完成的無人控制的技術驗證任務都是針對合作目標。非合作目標的在軌服務仍然面臨很多挑戰，其中一個關鍵問題是如何精確獲得動態自旋非合作目標的三維信息[2-3]。服務航天器跟蹤、接近和捕獲目標時，需要快速獲取目標衛星局部模塊的精密3D輪廓。

失效衛星一般處于高速自旋狀態，常規激光成像雷達由于掃描間隔較長不適合高速動態目標；FLash Lidar 存在面陣小、分辨率低且器件難以獲得的問題；雙目視覺系統不適合對稱、特征有限的目標，同名點匹配的效率和可靠性較低；編碼結構光具有自動化程度高、速度快、精度高等特點，因此，編碼結構光是當前一種非常有效的解決方案。

可以把結構光圖像編碼的方案分為3個類別[3]：順序投影圖案；彩虹或者色碼投影；復雜的空間編碼圖案。文獻[4]首先提出格雷碼與相移法相結合的方法，解決了周期信號二義性問題，同時得到較高的空間分辨率，但是這種方法需要投影多幅圖案，不能快速獲取高速運動的非合作目標的三維輪廓。文獻[5]提出一種彩色條紋自適應編碼方法，但是采用彩色相機，對設備要求較高，復雜的空間環境加大了顏色分辨的難度，這種方法難以在軌實現。考慮到投影的圖片數量只有一幅，文獻[6]使用基于6值3次De Bruijn序列來生成水平彩色條紋圖案，這種方法雖然可以滿足快速性的要求，但是仍然采用彩色條紋，實現難度較大。

本文提出一種改進的De Bruijn序列編碼方法，采用黑白單色條紋，可以快速進行條紋位置的定位，且不需要進行顏色分辨；基于極線約束原理，只需要對投影的行數或者列數進行編碼；利用單目聯合投影裝置系統，在確定條紋邊緣的過程中解碼，不需要提前進行極線校正和畸變校正，直接重建出物體的三維信息。計算量較小，提高了重建速度。

1 相機和投影裝置成像模型

圖1為相機坐標系，由相機的小孔成像模型，利用投影關系，得到相機圖像物理坐標系和相機坐標系之間的關系：

(1)

式中：(xc,yc)為像點在像平面坐標系中的坐標；fc為相機焦距；(Xc,Yc,Zc)為物方點在相機坐標系中的坐標。

圖1 相機坐標系Fig.1 Camera coordinate system

投影裝置的光線方向和相機的光線方向相反，把投影裝置看作一個逆向的相機，采用和相機相同的物理模型來描述，得到投影裝置圖像物理坐標系和投影裝置坐標系之間的關系：

(2)

式中：fp為投影裝置焦距；(Xp,Yp,Zp)為物方點在投影裝置坐標系中的坐標。

由于制造誤差，相機和投影裝置都具有畸變，在三維重建的過程中，為了使精度更高，需要對相機單元和投影裝置單元進行畸變校正。畸變主要包括徑向畸變和偏心畸變。

鏡頭徑向畸變使像點沿徑向產生偏差。徑向畸變是對稱的，對稱中心與主點并不完全重合，但通常將主點視為對稱中心。徑向畸變有正有負，相對主點向外偏移為正，向內偏移為負。徑向畸變可用奇次多項式表示：

Δr=K1r3+K2r5+K3r7+…

(3)

將其分解到像平面坐標系的x軸和y軸上，則有：

(4)

透鏡組中心偏離主光軸而產生偏心畸變。偏心畸變使像點既產生徑向偏差又產生切向偏差：

(5)

將其分解到像平面坐標系的x軸和y軸上，則有：

(6)

式中：P1、P2為偏心畸變系數。

綜上所述，像點的系統性誤差是徑向畸變和偏心畸變引起的畸變總和：

(7)

對于單目結構光系統來說，重建系統的三維坐標，還需要知道相機和投影裝置之間的位置和姿態。通過系統標定，已知相機和投影裝置的外部參數分別為Rc和Rp，Tc和Tp，這兩組外部參數都是以世界坐標系為基準的，整理可以得到投影裝置坐標系和相機坐標系之間的關系：

(8)

得到物方點在投影裝置坐標系和相機坐標系之間坐標的關系：

(9)

2 單目編碼結構光快速方法

2.1 極線約束

在雙目立體視覺中，極線幾何對兩個照相機平面的幾何關系進行了討論，投影裝置的投射過程和相機的成像過程相反，因此可以把投影裝置看作一個逆向的相機，采用和相機相同的物理模型來描述，照相機像平面和投影裝置像平面也有相同的幾何關系。考慮一點P，通過光學中心Op和OC分別在投影裝置和照相機像平面上所成的像為P1和P2。這5個點都位于2條相交光線OpP和OCP所形成的外極平面上。特別地，P1位于該平面和投影裝置像平面的交線l1上，直線l1是和點P相關聯的外極線，它經過點e1。e1是連接兩個光學中心Op和OC的基線和投影裝置像平面的交點，同樣，點P2位于與點P1關聯的直線上，且該直線經過基線與照相機像平面的交點e2。當點P在極線l1和l2組成的平面上運動時，它在相機和投影裝置像平面的投影仍落在極線l1和l2上。

圖2 外極線約束Fig.2 Epipolar-slope constraint

如圖2所示，點e1和e2稱為兩個攝像機的外極點[7,8]，外極點e1是投影裝置像平面中照相機的光學中心OC的投影，反之亦然。如上文所述，如果P1和P2是同一個點的不同像點，那么P1一定位于與P2相關聯的外極線上。這就是立體幾何中的外極線約束，通過這種約束，只能找到對應的外極線，不能找到對應點的具體位置。外極線約束把兩幅圖像上點之間的匹配關系從二維限制到一維，極大減小了搜索范圍，是單目結構光系統三維重建的基礎。在結構光編碼的過程中，可以只對行數或者列數信息進行編碼，減少了投影圖片的數量。

2.2 黑白De Bruijn序列編碼圖案

結合上文所述的極線約束，投影圖案只需要對行位置或者列位置進行編碼，不需要采用空間網格編碼的方式，相當于降低了編碼的復雜性。空間的特殊復雜環境，比如表面反射率不均勻，能夠從拍攝的圖像中區分出不同像素單元灰度值、不同要求投影的編碼圖案灰度差較大，使得編碼時條紋可以選擇的灰度值數量較少。用有限的灰度值構造盡可能多不同的編碼列數(或行數)，選擇De Bruijn序列編碼。

De Bruijn序列是一種循環序列[9]。k個不同的字符，秩為n，可以排成長度為kn的字符串圓周，當繞這個圓周旋轉一周時，長度為n將會出現kn個不同的單詞，這個字符串圓周對應的序列稱為基于k個符號的n次De Bruijn序列。圖3是De Bruijn圓周的一個簡單例子：n=3，k=2(字符為0和1)。當沿著這個圓周運動，將會依次遇到23=8個數字圖案000，001，010，011，100，101，110，111每個只出現一次。在一定程度上，這個圓周非常有效的編碼24位數字信息只用了8位[10]。在這個序列中，沒有重復的三位數字圖案。換句話說，任何一個序列都不可能和這個序列中其他序列對應。De Bruijn序列這個獨特的特點可以用來重建條紋圖案，每一個都有獨特的形式圖案彼此互不重復。這樣的獨特性讓圖案解碼變得非常簡單。

為了進一步提高編碼對空間環境的適應性，可選元素中只選擇黑白兩種元素，在De Bruijn序列編碼長度較長的情況下[11]，要求編碼次數較高，這就需要通過判斷條紋寬度來解碼，但是條紋寬度還受目標物體的形狀影響，提高了解碼的難度。

圖3 n=3，k=2時的De Bruijn序列Fig.3 De Bruijn sequence

因此，本文提出一種方法，以兩種不同比例的黑白條紋作為編碼的基本單元，如圖4所示，主要優點如下：

條紋模板中使用的顏色是黑色和白色，這樣無需考慮攝像機和投影儀的顏色失真問題和顏色識別算法，算法復雜性降低，也不容易受到環境光或者待測物體表面顏色信息的影響，抗干擾能力增強；顏色的對比度高，后續解碼的過程中條紋邊緣更易檢測；編碼圖案黑白條紋寬度之和是相等的，即條紋存在著規律性，降低了投影儀圖案和相機圖案匹配的難度。

采用圖4所示的編碼基本單元，利用2元3次De Bruijn序列，設計的編碼圖案如圖5所示。該編碼圖案原理簡單，易于實現，能夠實現高精度稠密深度數據的獲取。

圖4 編碼基本單元0和1Fig.4 Basic unit of coding

圖5 黑白De Bruijn序列編碼圖案Fig.5 Black-and-white coding patterns of De Bruijn sequence

2.3 物體表面三維信息的計算

在解碼的過程中，采用閾值法和灰度矩法確定條紋邊緣的位置。

綜合考慮式(1)(2)和(9)，Xc、Yc、Zc、Xp、Yp、Zp和yp是未知的，而這三式中有7個線性無關的方程，聯立這三式，可唯一地確定被測點在相機坐標系和投影裝置坐標系中的三維坐標。

式(1)(2)中的xc、yc和xp需要進行畸變校正，相機物理像平面的坐標(xc，yc)校正根據校正公式(7)即可，根據畸變模型[12]，畸變校正需要知道像素單元距離中心的距離，而我們只知道投影裝置單元的列數信息，無法直接根據校正公式(7)進行畸變校正，本文提出一種多次迭代的方法進行投影裝置單元校正。

(10)

(11)

3 試驗結果

如圖6所示，單目編碼結構光系統采用單相機和投影裝置的組合，相機的分辨率為2 048×2 448，投影裝置的分辨率為912×1 140，待測目標位于系統前0.5 m左右。

考慮非合作目標三維輪廓測量的特殊要求，首先目標高速運動[13]，要求測量時間短；其次為了進一步實現非合作目標的在軌服務，要求測量精度高；再次空間目標表面材料反射率不均勻，且經常伴有高光現象，不適合利用灰度值或顏色進行三維重建。

圖6 系統實物Fig.6 Physical map of the system

首先應用平面靶標和標定平面完成相機和投影裝置的標定[14-17]，用Matlab生成上文提出的黑白De Bruijn序列編碼圖案，通過投影裝置投射到待測目標上，附加編碼圖像的條紋由照相機同步進行拍攝，計算機對圖片進行處理，通過單幅編碼圖案和圖片就可以計算出物體表面的三維信息。針對白色海盜雕塑目標，得到的三維信息如圖7所示(坐標系為投影裝置坐標系，單位為mm)。

圖7 白色海盜雕塑重建結果Fig.7 Reconstructed results of the sculpture

為了進一步驗證這種方法可以應用于非合作目標的快速三維測量，以1∶6的衛星模型為重建目標，如圖8(a)所示，圖8(b)是測量過程中相機拍攝的圖片，圖9(a)是相機圖片處理過程中的有效單元，可以看出金色的遮光材料導致的高光問題在一定程度上影響了重建結果。得到的三維信息如圖9(b)所示，點云能夠直接反應出衛星白色天線部分的結構。

利用此單目結構光系統對標準件進行測量，測得深度信息誤差為0.058 3 mm，能夠滿足結構光測量系統的三維重建精度要求。

以上試驗證明，系統使用高速相機，采集圖像時間較短，單幅圖像即可進行重建，同時只采用黑白單色條紋，在空間環境中抗干擾能力強，速度和精度都能滿足非合作目標的三維測量要求。

圖8 衛星模型實物與相機拍攝的附有投影編碼的衛星模型Fig.8 Satellite model and photo with coding pattern by camera

圖9 處理過程中和衛星模型的有效單元Fig.9 Effective unit during image processing and reconstructed results of satellite model

4 結束語

本文提出了一種改進的黑白De Bruijn序列編碼方案，與傳統的De Bruijn彩色條紋編碼方案不同，采用黑白單色條紋，降低了對設備的要求，更能適應空間復雜的反射環境，同時保留了De Bruijn編碼單幅圖案就可以進行重建的優點；利用極線約束，只對行數或者列數進行編碼，進一步降低了編碼的復雜性；在單目編碼結構光的測量過程中，應用文中提出的匹配重建算法，在確定條紋邊緣的過程中進行解碼，不需要事先進行極線校正；創新性地采用迭代的方法進行三維重建，在迭代的過程中對投影儀投影圖片進行畸變校正，不需要對圖片進行預處理，減少了計算量，同時提高了重建精度，算法更加簡單，效率更高。試驗結果表明采用這種方法，深度信息誤差為0.058 3 mm，可以滿足高速運動的非合作目標的三維測量要求。該方法可用于衛星局部模塊3D輪廓的快速獲取，幫助服務航天器快速有效地跟蹤、接近和捕獲目標。

References)

[1] NASA. On-orbit satellite servicing study，NASA 10-204001[R]. NASA Internal Project Report，2010.

[2] MARTIN D H，ANDERSON P R，BARTAMIAN L. Communication satellites[M]. 5th Edition. Reston：Aerospace Press Series，2007.

[3] YANG R，CHENG S，YANG W，et al. Robust and accurate surface measurement using structured light [J]. IEEE Trans. Instrumentation and Measurement，2008，57(6)：1275-1280.

[4] BERGMANN D. New approach for automatic surface reconstruction with coded light[C]∥Proceedings of Remote Sensing and Reconstruction for Three- Dimensional Objects and Scenes，SPIE，San Diego，CA，1995，2572：2-9.

[5] THOMAS P KONINCKX，LUC VAN GOOL. Real-time range acquisition by adaptive structured light[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2006，28(3)：432-445.

[6] DAVID A. FORSYTH，JEAN PONCE．計算機視覺：一種現代方法[M]．北京：電子工業出版社，2004：6．

[7] 趙慧潔，雷炎章，姜宏志．基于投影柵相位的立體匹配方法[C]∥第十三屆圖形圖像會議論文集，2006：496-500．

ZHAO H J，LEI Y Z，JIANG H Z. Depth measurement based on projected grating phrase[C]∥，2006：496-500(in Chinese)．

[8] 關芳芳，程筱勝. 基于極線校正的相移結構光三維測量[J]. 南京工程學院學報(自然科學版)，2014，6(9)：37-45.

GUAN F F，CHENG X S. Three-dimensional structured-light measurement based on epipolar-slope constraint[J]. Journal of Nanjing Institute of Technology (Natural Science Edition),2014，6(9)：37-45(in Chinese).

[9] JASON G. DLP-based structured light 3D imaging techno-logies and applications[C]∥SPIE MOEMS-MEMS,Inter-national Society for Optics and Photonics，2011,7932:10.

[10] 陳石平，畢婭，李曉星，等. 亞像素條紋邊緣提取技術在型面測量上的應用[J]. 北京航空航天大學學報，2006，32(8)：94-101.

CHEN S P，BI Y，LI X X，et al. The technique of sub-pixel stripes distinguish on the surface measurement[J]. Journal of Beijing University of Aeronautics and Astronautics，2006，32(8)： 94-101(in Chinese).

[11] 陳彥軍. 基于編碼結構光的三維重建關鍵技術研究[D]. 哈爾濱：哈爾濱工業大學，2012.

CHEN Y J. Research on key technologies for 3D Reconstruction based on coded structured light[D]. Harbin：Harbin Institute of Technology，2012(in Chinese).

[12] 李明磊，高欣圓，李廣云，等. 地面三維激光掃描儀與外架數碼相機間安置參數的高精度標定[J]. 光學精密工程，2016，24(9)：2158-2166.

LI M L，GAO X Y，LI G Y，et al. High accuracy calibration of installation parameters between 3D terrestrial laser scanner and external-installed digital camera[J]. Optics and Precision Engineering，2016，24(9)：2158-2166(in Chinese).

[13] 于洋，王世勇，蹇毅，等. 面陣探測器連續掃描成像光學系統[J]. 紅外與激光工程, 2016，45(S4)：120-126.

YU Y，WANG S Y，JIAN Y，et al. Realization of an optical system based on continuous-scan focal plane array[J]. Infrared and Laser Engineering，2016，45(S4)：120-126(in Chinese).

[14] 梁斌，高學海，徐文福. 基于結構光的空間大目標特征重構與位姿測量[J]. 中國空間科學技術,2014, 34 (5)：24-31.

LIANG B，GAO X H，XU W F，et al. Feature Reconstruction and pose determination for large space target based on point structured light[J]. Chinese Space Science and Technology，2014，34 (5)： 24-31(in Chinese).

[15] ZHOU F，ZHANG G. Complete calibration of a struc-tured light vision sensor through planar target of unknown orientations[J].Image and Vision Computing，2005，23(1)：59-67.

[16] YANG R Q，WEI S C，CHEN Y Z，et al. Robust and accurate surface measurement using structured light[J]. IEEE Tans. Instrumentation and Measurement，2008，57(6)：1275-1280.

[17] CHEN Y J，WANG K Q，ZUO W N，et al. Coded structured light stripe boundary location with sub-pixel accuracy based on weighted centroid method[J]. Journal of Biological Systems，2010，1(18)：35-49.