面向單目立體視覺的立方鏡圖像處理技術(shù)

（北京衛(wèi)星環(huán)境工程研究所，北京100094）

0 引言

航空航天領(lǐng)域?qū)懿考M行相對姿態(tài)測量時往往借助于立方鏡，利用立方鏡相鄰之間嚴格垂直的鏡面，通過高準確度的電子經(jīng)緯儀對其自準直測量即可建立該立方鏡坐標系，從而確定其相對于其他坐標系的姿態(tài)關(guān)系［1］。在對實際立方鏡進行準直測量時，通常是利用兩臺電子經(jīng)緯儀對立方鏡的相鄰兩個反射面進行自準直測量，得到立方鏡的兩個相鄰反射鏡面的法線矢量［2］。

現(xiàn)有的光電自準直經(jīng)緯儀作為高精度測量儀器，測角精度高，但測量范圍較小 （約±17′），因此需要輔助準直手段來引導(dǎo)目標進入準直儀視場。輔助準直可采用手動與自動兩種方式，手動方式就是人工觀察引導(dǎo)目標進入準直儀視場，自動方式是采用輔助的測量手段自動引導(dǎo)目標進入準直儀視場，自動方式具有更高的測量效率。

單目視覺測量是指僅利用一臺視覺傳感器采集圖像，對物體的幾何尺寸或者物體在空間的位置、姿態(tài)等信息進行測量［3］。因為僅需一臺視覺傳感器，所以該方法的優(yōu)點是結(jié)構(gòu)簡單、相機標定方便，同時還避免了立體視覺中的視場小、立體匹配難等不足［4］。

相較于準直儀，視覺測量具有較廣的視場范圍，容易將目標設(shè)置在相機的視場范圍內(nèi)。立方鏡通常為正方體，具有相互垂直的棱邊與面，理論上通過單目立體視覺測量即可得到立方鏡的空間位置和姿態(tài)。對于具有3條相互垂直直線幾何體的單目位姿估計，已有相關(guān)的研究成果［5］。因此，可利用單目視覺測量估計立方鏡的位置姿態(tài)，進而可以自動引導(dǎo)使立方鏡進入光電自準直經(jīng)緯儀的視場范圍，提高準直效率。

本文面向?qū)α⒎界R單目視覺測量的需求，研究立方鏡圖像處理技術(shù)，即從立方鏡圖像中獲取立方鏡棱邊、角點等特征在圖像中的位置信息，為進一步的立方鏡位姿計算提供基礎(chǔ)數(shù)據(jù)。

1 圖像處理技術(shù)流程

通過視覺傳感器采集得到的立方鏡照片如圖1所示。由于實際立方鏡的角點并不是理想的尖角，且在圖像中特征不明顯，因此在圖像處理中未直接采用角點識別的方法。研究中采用的方案為：提取圖像中立方鏡的棱邊，對棱邊進行直線擬合，進而獲得棱邊在圖像中的角度及位置信息，對棱邊對應(yīng)直線求交點獲得立方鏡角點在圖像中的位置信息，這些信息可用于后續(xù)立方鏡空間位姿的計算。

圖1 立方鏡照片F(xiàn)ig.1 Image of a cubic prism

圖像處理的主要流程如圖2所示。首先通過邊緣提取獲取圖像中的邊緣特征，對獲得的邊緣進行輪廓分析，將立方鏡棱邊對應(yīng)的直線特征較為顯著的輪廓提取出來。而后根據(jù)立方鏡棱邊的空間角度及位置特點，對提取得到的直線按照角度、位置進行劃分聚類與排序。最后按照聚類排序結(jié)果，對直線進行配對計算角點位置。

圖2 圖像處理流程Fig.2 Flow of image processing

2 圖像處理方法

2.1 邊緣檢測

邊緣為圖像中灰度發(fā)生急劇變化的區(qū)域邊界，邊緣點能夠給出目標輪廓的位置。邊緣檢測是圖像處理與理解的重要部分，最終的結(jié)果對圖像分析和圖像理解有重要影響。邊緣檢測的本質(zhì)是利用各種算法得到圖像中對象與背景之間的相交線，常見的邊緣檢測算子有 Roberts算子［6］、Sobel算子［7］、 Prewitt 算 子［8］、 Laplacian 算 子［9］、 LOG 算子［10］、 Canny 算子［11］等。

研究中，邊緣檢測采用Canny算子。Canny算子具有很好的信噪比和檢測精度，對含有白噪聲的階梯型邊緣檢測圖像效果最好。Canny算子得到的邊緣與真實邊緣間的偏差很小，檢測到的虛假邊緣較少，漏檢率較小。該算法的主要步驟包括：Gauss平滑、梯度檢測、沿梯度方向的非極大值抑制和雙閾值邊緣檢測連接算法。Canny算子檢測的邊緣是閉合的、單像素寬的，能比較精確地定位圖像中的邊緣。邊緣檢測結(jié)果如圖3所示。

圖3 Canny邊緣檢測結(jié)果Fig.3 Result of Canny edge detector

2.2 輪廓分析

如圖3所示，邊緣檢測的結(jié)果中除立方鏡棱邊對應(yīng)的邊緣外，還得到了其他邊緣，這些對立方鏡特征的識別測量造成了干擾。從圖3中容易看出，立方鏡棱邊邊緣與其他邊緣的主要特征區(qū)別在于：立方鏡棱邊直線程度明顯，而其他干擾邊緣為曲線。因此，可以直線檢測算法分析邊緣檢測結(jié)果中輪廓的直線程度，利用邊緣直線程度的不同將立方鏡棱邊對應(yīng)的邊緣提取出來。常用的直線檢測算法有最小二乘法、最小距離法、Radon 變換法及 Hough 變換法等［12］。

研究中，采用Hough變換法進行直線檢測。Hough變換是將圖像的空間域變換到參數(shù)空問，使原圖上給定形狀的幾何曲線上的點，經(jīng)過變換以后都集中到變換空間的某些位置，在變換空間上形成峰點，通過檢測變換空間中的峰值點，來找出原圖中給定形狀曲線的參數(shù)方程［13］。Hough變換將Descartes空間上滿足特定參數(shù)的數(shù)據(jù)在參數(shù)空間上以累加器的形式反映出來［14］，對于區(qū)域邊界被噪聲干擾或因其他目標引起邊界發(fā)生某些間斷的情況，具有很好的容錯性和魯棒性。

輪廓分析借助于Hough變換進行，分析的主要任務(wù)是對每條輪廓包含的直線信息進行分析統(tǒng)計，剔除直線特征不明顯的輪廓，得到立方鏡棱邊對應(yīng)的直線信息。輪廓分析的主要步驟如下：

1）對Canny邊緣檢測的結(jié)果圖像中每一條連續(xù)的輪廓，單獨進行Hough直線檢測，為Hough直線檢測設(shè)定一個與直線特征強弱程度相關(guān)的閾值，高于該閾值的認為是直線。

2）對相近位置處檢測到多條直線的情況，按直線偏角和位置進行聚類，并對同類的直線求平均合并為1條直線。

輪廓按直線程度強弱的分類結(jié)果如圖4所示，紅色部分為直線特征明顯的輪廓，而藍色部分為直線特征不明顯的部分。可以看到，立方鏡棱邊對應(yīng)的輪廓很好地被區(qū)分出來，對應(yīng)的檢測到的直線如圖5所示。

圖4 輪廓按直線程度強弱的分類結(jié)果Fig.4 Result of edges classified by straightness

圖5 立方鏡輪廓直線檢測結(jié)果Fig.5 Result of straight-line features

2.3 直線聚類排序

由圖5可以看到，輪廓分析得到了立方鏡棱邊對應(yīng)的6條直線，包括3條橫線以及3條豎線。立方鏡角點位置可以通過對應(yīng)位置相交的直線求交點獲得，但得到的直線中任意兩條的交點不一定是立方鏡的角點，例如圖5中最上方橫線與最左側(cè)豎線的交點實際并不在立方鏡上。因此，需要對檢測得到的直線按照角度及位置進行聚類排序，而后根據(jù)先驗知識獲取立方鏡實際角點在圖中對應(yīng)的配對相交直線，進而求交點得到角點位置。

對直線聚類排序的步驟如下：

1）對所有直線按偏角進行聚類，得到立方鏡平行棱邊對應(yīng)的兩組直線。以圖5為例，一組為“橫線”，即圖中接近橫向的3條直線歸為一類；另一組為 “豎線”，即圖中接近豎直的3條直線歸為一類。

2）對同類直線按截距進行排序，并按順序編號。以圖5為例，“橫線”由上至下排序，“豎線”由右到左排序。

經(jīng)過直線的排序、求交點后的圖像結(jié)果如圖6所示。黃色直線為聚類得到的橫線，紅色直線為聚類得到的豎線。

圖6 立方鏡頂點計算結(jié)果Fig.6 Calculation result of vertices of the cubic prism

2.4 角點計算

根據(jù)立方鏡頂點的位置，在兩類直線中找出在該點相交的直線，求出兩條直線的交點坐標作為立方鏡頂點坐標。以圖6為例，最上的橫線與最右的豎線求交點可以得到立方鏡右上后方的頂點坐標，第二條橫線與第二條豎線求交點可以得到立方鏡右上前方的頂點坐標。

圖6中藍色的點標記為通過直線排序、對應(yīng)、求交點得到的立方鏡頂點，頂點在圖像中的像素坐標如表1所示。

表1 立方鏡頂點的圖像坐標Table 1 Image pixel coordinates of the vertices of the cubic prism

3 結(jié)論

光電自準直經(jīng)緯儀測量范圍較小，手動引導(dǎo)立方鏡進入準直儀視場的效率較低，通過單目視覺對立方鏡位姿進行測量，可以自動引導(dǎo)立方鏡進入準直儀視場。本文面向單目視覺輔助光電準直儀對立方鏡進行準直的需求，研究針對立方鏡圖像的數(shù)字圖像處理技術(shù)。

1）研究中采用Canny邊緣檢測方法得到灰度圖像中的邊緣信息，借助Hough變換按照直線程度的強弱對邊緣信息進行分類提取，有效排除了不需要的邊緣，得到圖像中立方鏡棱邊對應(yīng)的邊緣及直線信息。進一步按照偏角與截距對棱邊直線進行分類排序，結(jié)合先驗知識得到了立方鏡角點對應(yīng)的配對相交直線，對配對直線求交點最終得到了立方鏡角點在圖像中的位置。

2）研究得出的立方鏡處理方法實用有效，得到的立方鏡棱邊及角點信息為后續(xù)的立方鏡位姿計算提供了基礎(chǔ)數(shù)據(jù)。

［1］楊振，李廣云，范百興，等.多種互瞄條件下立方鏡準直傳遞方法研究［J］.宇航計測技術(shù)， 2013，33（6）：10-12.YANG Zhen， LI Guang-yun， FAN Bai-xing， et al.Cubic prism collimation vector delivery methods under various aiming conditions［J］.Journal of Astronautic Metrology and Measurement， 2013， 33 （6）： 10-12.

［2］Kumar H N S， Nataraju B S， Joseph P G， et al.Precise alignment of spacecraft antenna using theodolite based hardware and software interface［J］.IETE Technical Review， 2003， 20 （5）： 471-476.

［3］Marr D.Vision： a computational investigation into the human representation and processing of visual information［M］.The MIT Press， 1982.

［4］王鵬，孫長庫，張子淼.單目視覺位姿測量的線性求解［J］. 儀器儀表學(xué)報， 2011， 32 （5）： 1126-1131.WANG Peng， SUN Chang-ku， ZHANG Zi-miao.Linear pose estimation with a monocular vision system ［J］.Chinese Journal of Scientific Instrument， 2011， 32 （5）：1126-1131.

［5］劉昶，朱楓，歐錦軍.基于三條相互垂直直線的單目位姿估計［J］.模式識別與人工智能， 2012，25（5）：737-744.LIU Chang， ZHU Feng， OU Jin-jun.Monocular pose determination from three perpendicular lines［J］.Pattern Recognition and Artificial Intelligence， 2012， 25 （5）：737-744.

［6］Roberts L G.Machine perception of three-dimensional solids［D］.Massachusettes Institute of Technology， 1963.

［7］Sobel I.Camera models and machine perception［D］.Stanford University，1970.

［8］Prewitt J M.Object enhancement and extraction［M］.New York： Academic Press， 1970.

［9］Gonzalez R C.數(shù)字圖像處理 （第2版）［M］. 北京： 電子工業(yè)出版社，2003.Gonzalez R C.Digital image processing （2nd）［M］.Beijing： Electronics Industry Press， 2003.

［10］Marr D， Hildreth E.Theory of edge detection［C］.Proceedings of the Royal Society of London（Biological Sciences）， 1980， 207 （1167）： 187-217.

［11］Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， 8 （6）： 679-698.

［12］Xu L， Oja E.Randomized Hough transform （RHT）：basic mechanism，algorithms，and computational complexities［J］.CVGIP： Image Understanding， 1993， 57 （2）：131-154.

［13］許強，陳震，危水根.圖像序列直線提取和匹配時Hough變換的應(yīng)用研究［J］.南昌航空工業(yè)學(xué)院學(xué)報（自然科學(xué)版）， 2007， 21 （1）： 43-47.

XU Qiang， CHEN Zhen， WEI Shui-gen.Application study of Hough transform when image array straight line is extracted and mating［J］.Journal of Nanchang Hangkong University （Natural Sciences）， 2007， 21 （1）： 43-47.

［14］Jiang T Z.Ma S D.Geometric primitive extraction using tabu search［C］.Proceedings of the 13thInternational Conference on Pattern Recognition， 1996： 266-279.