舵面角度測量中結構光光條圖像自動定位方法

馮 萍,劉 震

(北京航空航天大學 精密光機電一體化技術教育部重點實驗室,北京 100191)

舵面角度測量中結構光光條圖像自動定位方法

馮 萍*,劉 震

(北京航空航天大學 精密光機電一體化技術教育部重點實驗室,北京 100191)

本文提出了一種在舵面角度測量中多平面結構光光條的自動定位方法。該方法首先基于Steger方法提取舵面中多個平面的光條圖像中心；然后基于直線約束和距離約束提取出各小直線段，并根據各直線段的直線方向將各小直線段歸類為最后的光條直線；最后根據光條直線的位置判斷各光條直線所在光平面及所在舵平面。經實驗驗證，本文方法切實有效，具有較高的魯棒性。

結構光；光條圖像；角度測量；平面識別

1 引言

飛行器主要依靠舵面來控制飛行姿態。實時動態測量舵面轉動角度，對飛行器的研制和生產具有重要意義。

目前，飛行器舵面轉動角度測量主要有兩種：第一種是采用人工手動測量。該方法通過卡尺手動測量舵面上標記點的位置來計算舵面轉動角，但該方法只能實現靜態角度測量，并存在人為誤差，測量精度差、效率低。第二種是依靠飛行器內部的角位移傳感器。但由于舵機和舵面之間依靠機械傳動裝置聯接，機械聯接裝置之間存在間隙，因此角位移傳感器測量舵面轉動角度存在誤差。基于圖像的光學檢測技術［1-4］具有自動化程度高、速度快、非接觸等優點，可實現舵偏角度的動態測量［5-9］。但由于被測舵面較復雜(由多個平面構成)，給舵面光條圖像中光條直線的自動提取帶來一定難度。在處理舵面光條圖像時，需要自動區分不同平面上光條，確定中心平面區域內的光條直線。

本文針對以上問題，提出一種舵面角度測量中多平面光條中心的自動提取方法。該方法采用Steger方法［10］提取出舵面中多個平面的光條圖像中心，以直線約束和距離約束連接出小直線段，最后根據各直線段的直線方向將各小直線段歸類為多個光條直線，并判斷各光條直線所在光平面及所測舵面平面。

2 光條圖像中心點亞像素定位

為了保證舵面角度測量精度，舵面光條中心點的提取精度需要達到亞像素級。Steger博士提出了一種光條圖像中心快速提取方法，它首先利用Hessian矩陣確定圖像中線條中心的法線方向，再通過求解法線方向上的極值點得到線條邊緣的亞像素級位置，該算法具有很高精度。本文采用該方法提取光條圖像中光條中心點。

計算像素P的Hessian矩陣：

式中：rxx，rxy和ryy是二維圖像灰度函數I(x，y)的二階偏導數。

H(x，y)最大特征值對應的特征向量表示光條的法線方向，用n(t)=(nx，ny)T表示。利用(x，y)作為參考點，則光條中心的亞像素坐標(px，py)可以表示為：

如果-0.5≤tnx≤0.5，-0.5≤tny≤0.5，則一階導數為零的點位于當前像素內，且(nx，ny)T方向的二階方向導數大于指定的閾值，則認為該點(px，py)為光條中心點。詳細算法可見文獻［5］。在實際使用中，卷積計算可以通過GPU實現，這會大大提高光條中心點的提取速度。

3 多平面光條直線連接

舵面圖像光條中心點主要包括多平面上光條中心點(如圖1中1)、背景的光條中心點(如圖1中2)、光條尾部虛假光條中心點(如圖1中3)。針對舵面圖像光條中心點特點，在光條中心點連接階段，加入直線性約束和方向性約束，用以去除虛假光條中心點，將滿足約束條件的光條中心點連接成小的光條直線段，再將同一條光條直線上的所有小的光條直線段連接在一起，以此提取出所需光條直線。

圖1 光條圖像中直線段分布示意圖Fig.1 Distribution diagram of stripes in the image

下面詳細介紹多平面光條直線的連接過程。

(1)直線性約束

光條圖像中舵平面上光條為直線，光條中心點的法線方向變化相對很小，加入直線約束可以將法線方向滿足一定條件的光條中心點連接在一起，剔除不滿足約束條件的光條中心點。光條中心點的線條法線方向是Hessain矩陣絕對值最大的特征值對應的特征向量。首先在圖像中，由左至右、由上到下的順序依次搜索舵面光條圖像。以第一個光條中心點作為光條直線初始點，在該點鄰域內搜索光條中心點。如果沒有光條中心點，重新搜索，繼續尋找下一個光條直線初始點。如果存在光條中心點，比較兩點法線方向，如果兩點法線方向夾角小于事先設定的閾值(實際使用中閾值設為0.1°)，則將該點設為光條直線連接點，再在光條直線連接點鄰域內繼續搜索下一個光條直線連接點，直到在光條直線連接點鄰域沒有找到下一個連接點為止。

在直線連接中相鄰兩點需滿足兩個條件：

①兩點的線條法向方向夾角小于閾值；

②兩點之間距離小于閾值，在連接中如果出現多個候選點，距離光條直線連接點最近的點作為下一個光條直線連接點。

結束了一個直線段的連接后，繼續依次搜索圖像，尋找下一個光條直線初始點。重復以上步驟，直到完成整個圖像搜索。

圖2為通過直線約束提取光條直線的示意圖。直線段1和直線段2為不同平面上的光條直線。直線段2和直線段3為一個同一條直線，因為中間有圖像缺陷，所以連接成2個小直線段，直線段2和直線段3。直線段4的連接過程顯示了直線約束對去除了虛假光條中心點的有效性。

圖2 直線約束后提取光條結果Fig.2 Extracted stripes after line constraints

(2)方向性約束

根據實際測量條件，各光條直線一般在一定范圍內變化。完成直線連接后，根據經驗設定直線方向閾值，可將不滿足直線方向約束的光條去除，可有效去除背景光條。

(3)光條直線擬合

經過直線性約束和方向約束后，舵面光條直線被分割為很多小的直線段。通過計算直線方程，將屬于一條直線的多個小直線段合并在一起。具體實現過程如下：

①擬合連接成的各直線段，確定直線段的直線方程，得到直線段的斜率k和截距b。

②選取直線段中點數最多的直線段為初始直線段。分別針對k、b設置兩閾值tk、tb。在其余直線段中選擇可以合并的直線段，該直線段的斜率kn和截距bn需滿足|kn-k＜tk|和|bn-b|＜tb。將2個直線段合并，重新計算k、b，再在剩余線段中尋找下一個可以合并的直線段，直到全部找完為止，這就完成了一個直線的合并工作。

③在剩余線段中再選擇一個點數最多的直線段作為下一個直線的初始直線段，再重復②的過程，直到擬合完全部的光條直線為止。

如圖3，直線段1和直線段3分別為光條直線1、2的初始直線段。直線段1、2擬合確定為光條直線1，直線段3、4擬合確定為光條直線2。

圖3 多平面光條直線擬合示意圖Fig.3 Multi-planar strip after linear fitting

4 光條直線所在光平面識別

統計在3節中各光條直線擬合后的光點數量，根據光點數量完成各光條直線排序，再根據激光光平面數量按照排序先后選取所需直線段。例如激光光平面有2個，舵面由2個平面構成，則直接選取4個點數最多的光條線段，根據各直線段中心上下左右位置之間的關系確定光條所屬光平面及舵平面。如果舵平面由一個主要平面構成，則直接選取2個點數最多的光條線段，根據光條中心的上下位置確定光條所屬光平面。

5 實驗

為了驗證本文算法的有效性，本文采用一個由2只激光器和一個攝像機構成的激光視覺傳感器測量一個有2個平面的舵面的轉動角度。激光視覺傳感器如圖4，其中攝像機為DH SV-1410FM CCD數碼攝像機，鏡頭為Computar TEC-M55焦闌鏡頭，激光器為兩只StockYale SNF-701L-660-35-30°單線激光器。

圖4 激光視覺傳感器Fig.4 Laser vision sensor

本實驗的主要測量原理是：在舵面轉角中，根據視覺傳感器標定結果，分別計算兩個平面上2個光條直線上各點在視覺傳感器坐標系下的三維坐標，再通過平面擬合計算2個平面在視覺傳感器坐標系下的法向矢量，將2個平面法向矢量的矢量合定義為舵面在視覺傳感器坐標系下的法向矢量，根據不同舵面位置的法向矢量計算舵面轉動角度。具體舵面情況見圖5。

下面是采用文獻［11-12］中的標定方法完成視覺傳感器標定：

攝像機內參標定結果：

圖5 舵面上光條圖像處理結果圖Fig.5 Processing results of strip image on rudder planar

光平面標定結果：

圖5(a)為拍攝的激光光條圖像，圖5(b)為提取的光條圖像中心點的圖像，圖5(c)為經過直線擬合和定位的光條直線。由圖5可以看出該方法有效地分割出不同平面的光條直線，其中紅色為舵面左平面上的光條直線，黑色為舵面右平面上的光條直線。

激光視覺傳感器根據標定結果計算不同光條直線的三維坐標，并計算出舵面的法向矢量，進而計算出舵面轉動角度。在實驗中，舵面在周期為6 s、幅值為30°的正弦轉動，圖6和7分別為舵面舵控信號角度與測量的舵面轉動角度的對比圖和偏差圖。由圖6和7中可以看出本文介紹的光條提取方法切實有效，通過將測量角度數據與控制角度數據進行比對，得出系統角度測量的RMS誤差優于0.1°。

圖6 舵面舵控信號角度與測量的舵面轉動角度的對比結果Fig.6 Comparison results between control angle and measurement angle

6 結論

圖7 舵面舵控信號角度與測量的舵面轉動角度的偏差圖Fig.7 Errors between control angle and measurement angle

本文針對不規則舵面上結構光光條圖像定位困難問題，提出了一種結構光光條圖像自動定位方法。由于舵面不同平面之間角度很小，且舵面加工精度原因，舵面平面并不是嚴格平面，采用Hough變換方法無法分割出不同平面的直線段。本文方法采用Steger方法得到亞像素級的光條中心點及線條矢量方向。采用該矢量方向，通過比較不同點之間的矢量方向，去除直線中的噪聲點，將符合要求的直線段連接在一起，得到平面上的光條直線。該方法可以準確、靈活的去除噪聲點、區分不同平面上的光條直線，提高角度測量精度。目前，本文方法已在多套視覺測量系統中得到應用［8］。

［1］趙海麗，姜會林，王曉曼，等.空間光通信中高幀頻相機動態調光技術研究［J］.液晶與顯示，2012，27(2)：267-270.

ZHAO H L，JIANG H L，WANG X M，et al..Dynamic light-adjusting technology of high frame frequency CCD camera in space optical communication system［J］.Chinese J.Liquid Crystals and Displays，2012，27(2)：267-270.(in Chinese)

［2］唐艷秋，張星祥，李新娥，等.基于人眼視覺灰度識別特性的圖像動態范圍小波變換處理方法［J］.液晶與顯示，2012，27(3)：385-390.

TANG Y Q，ZHANG X X，LI X E，et al..Image processing method of dynamic range with wavelet transform based on human visual gray recognition characteristics［J］.Chinese J.Liquid Crystals and Displays，2012，27(3)：385-390.(in Chinese)

［3］馮小勇，趙忠華，劉新明.日間恒星實時探測的視頻圖像處理［J］.中國光學，2011，4(6)：622-628.

FENG X Y，ZHAO ZH H，LIU X M.Video image processing of real-time star detection in day light［J］.Chinese Optics，2011，4(6)：622-628.(in Chinese)

［4］馬慶坤，喬彥峰，王曉明，等.基于光學測量手段實時動態測量船體水平姿態［J］.中國光學，2012，5(2)：189-193.

MA Q K，QIAO Y F，WANG X M，et al..Real-time measurement of dynamic horizontal attitudes of ships based on optical method［J］.Chinese Optics，2012，5(2)：189-193.(in Chinese)

［5］金占雷，劉雪峰.多目標探測的擺鏡動態角位置測量方法［J］.光學與光電技術，2012，10(1)：18-21.

JIN ZH L，LIU X F.Dynamic angle measurement method for swing mirror based on multi-targets detection［J］.Optics Optoelectronic Technology，2012，10(1)：18-21.(in Chinese)

［6］張廣軍，劉震，魏振忠，等.基于線結構光的四通道舵偏角同步動態測量系統［J］.儀器儀表學報，2010，31(8)：1910-1915.

ZHANG G J，LIU ZH，WEI ZH ZH，et al..Four-channel synchronous dynamic measurement system for elevator angles based on line structured light［J］.Chinese J.Scientific Instrument，2010，31(8)：1910-1915.

［7］李磊剛，梁晉，唐正宗，等.飛機結構件運動數據的動態視覺測量系統［J］.光學精密工程，2012，20(9)：1929-1938.

LI L G，LIANG J，TANG ZH Z，et al..Optical and dynamic measuring system for movement data of aircraft structural parts［J］.Opt.Precision Eng.，2012，20(9)：1929-1938..

［8］胡浩，梁晉，唐正宗，等.數字圖像相關法測量金屬薄板焊接的全場變形［J］.光學精密工程，2012，20(7)：1636-1644.

HU H，LIANG J，TANG ZH Z，et al..Measurement of full-field deformations in metal sheet welding processes by image correlation method［J］.Opt.Precision Eng，，2012，20(7)：1636-1644.(in Chinese)

［9］胡文川，裘祖榮，張國雄.大尺寸空間異面直線夾角的檢測［J］.光學精密工程，2012，20(7)：1427-1433.

HU W C，QIU Z R，ZHANG G X.Measurement of large-scale space angle formed by non-uniplanar lines［J］.Opt.Precision Eng.，2012，20(7)：1427-1433.(in Chinese)

［10］STEGER C.An unbiased detctor of curvilinear structures［J］.IEEE，1998，20(2)：113-125.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE，2000，22(11)：1330-1334.

［12］ZHOU F Q，ZHANG G J.Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations［J］.Image and Vision Computing，2005，23：59-67.

Automatic localization method of the multi-planar strip in rudder angle measurement

FENG Ping*，LIU Zhen
(Key Laboratory of Precision Opto-mechatronics Technology，Ministry of Education，Beijing University of Aeronautics&Astronautics，Beijing 100191，China)

An automatic localization method of light strips in multi-planar structures is proposed in order to solve the problem that it is difficult to distinguish light strip regions of irregular surface in rudder angular measurement based on the vision system of line-structured light.Firstly，the sub-pixel centers of curvilinear structures are extracted by Steger algorithm.Secondly，pieces of line segments are detected and labeled using line constraints and distance constraints to calculate the distances and orientations of points.Finally，different planes are located according to light strips positions.Experimental results show that the presented method is convenient and effective.

structured light；strip image；angle measurement；planar recognition

TP391

A

10.3788/CO.20140706.0911

2095-1531(2014)06-0911-06

馮 萍(1982—)，女，山東青島人，碩士，助理實驗師，2009年于北京科技大學獲得碩士學位，主要從事精密測量及實驗方面的研究。E-mail：fengping@buaa.edu.cn

劉 震(1975—)，男，遼寧沈陽人，博士，講師，2010年于北京航空航天大學獲得博士學位，主要從事光電檢測及計算機視覺方面的研究。E-mail：liuzhen008@buaa.edu.cn

2014-08-17；

2014-10-19

國家自然科學基金資助項目(No.51175027)；北京市自然科學基金資助項目(No.3132029)

*Corresponding author，E-mail：fengping@buaa.edu.cn