基于滅點查找的姿態角測量方法在路面三維重建中的應用*

曹 毓，馮 瑩，楊云濤，趙立雙，向仁強，許 偉

(1.國防科學技術大學光電科學與工程學院，長沙 410073;2.第20軍炮兵旅，河南 確山 463200)

基于多傳感器信息融合的路面三維重建技術廣泛應用于高速公路及機場跑道等路面損毀狀況的自動檢測領域。在道路快速維修能力建設中，毀傷程度評估是基礎中的基礎。傳統的道路毀傷評估主要依賴人工目視測量的方式來完成，精度低、速度慢。為此我們采用了一種自動測量方法:將單線式激光掃描儀安裝于車輛上，在車輛行駛過程中對路面進行不間斷掃描，從而獲得道路三維形貌。

根據車輛運動過程中對應的三個歐拉角(航向角、俯仰角和橫滾角)性質的不同，現有的角度測量傳感器可分為航向角傳感器(電子羅盤)和傾角傳感器，前者應用于航向角的測量，后者可以用來測量相對于水平面的傾角變化量。理論計算和實驗證明:在實際應用中由于車輛轉彎避障的需要，三個歐拉角中的航向角變化幅度較大，對路面三維重建效果影響也最大。目前廣泛應用的航向角傳感器原理大都是基于地磁場方向來判斷角度變化量，因此它的精度不高，對使用環境的磁場穩定性要求也較為苛刻。為此，我們結合使用相機和激光掃描儀，通過對一系列前視時序圖片中道路滅點坐標的獲取來獲得車輛實時的航向角和俯仰角，以此為基礎來校正掃描儀得到的三維地形數據，進而準確實現路面的三維形貌重建。實驗結果表明，通過定位圖像中滅點位置的方法獲得的實時姿態角精度高，校正后的路面三維形貌與真實的路面情況實現了較為準確的吻合。

1 查找滅點法獲取姿態角

空間一組平行直線在圖像平面上所成的像僅有一個交點，即滅點(又稱消失點)，它蘊含了直線的方向信息，對滅點進行分析可以得到相機的角度姿態信息。因此，滅點估計在視覺導航［1－7］、三維重建［8］、相機定標等方面都有廣泛的應用，是計算機視覺和光學傳感領域內一個重要的研究課題。

圖1給出了圖像坐標系與世界坐標系之間的關系示意圖［3］。

圖1 圖像坐標系與世界坐標系的關系示意圖

假設角度定位相機在世界坐標系中的位置坐標為(l，d，h)，相機分辨率為m×n像素，視場角為 2α×2β 弧度，具體參數如圖2 所示［3］。

圖2 相機架設各參數示意圖

根據圖1和圖2的參數標示，可以解算出世界坐標系下的路面坐標(x，y，0)與圖像坐標系下的圖像坐標(u，v)之間的關系，由式(1)給出［3－4］，其中 γ為航向角，θ為俯仰角:

可以解出用路面坐標(x，y，0)表示的圖像坐標(u，v):

為得到世界坐標系中前方無窮遠點(即滅點)在圖像坐標系下的坐標，可令x→∞，則有:

從式(3)中可以發現，在相機分辨率和視場角等內參數一定的情況下，滅點的縱坐標和橫坐標分別與航向角γ和俯仰角θ線性相關。因此，通過實時查找滅點在圖像中的位置，可以很方便的計算出相機所對應時刻的航向角和俯仰角。

式(3)可改寫為:

由式(4)可知，相機的視場角越小、分辨率越高，圖像中滅點的像素坐標隨姿態角的變化越敏感，即小視場和高分辨率的相機可以對平臺的姿態角進行高精度測量。但是視場角越小，拍攝區域也越小，在較大角度的姿態變化(如車輛大角度轉彎)時可能拍丟道路邊緣信息。因此若要保證大范圍高精度的平臺姿態角測量，則需使用大視場鏡頭或者組合多個相機同時采集前方圖像。

為檢驗理論分析結果，進行了標定相機姿態角與滅點位置關系的實驗。實驗過程如下:在道路遠處中心與相機等高位置(即滅點處)設置一合作目標。相機固定架設于經緯儀上，以小角度分別沿水平和垂直方向轉動，每轉動一個角度拍攝一張照片，對這些照片利用模板匹配的方法查找到合作目標中心在圖像中的坐標，這樣就建立了相機姿態角變化與滅點坐標之間一一對應的關系。實驗中通過經緯儀對相機的姿態角進行精確調節，所用經緯儀測角精度為1″。

實驗中所用相機為加拿大Point Grey公司的Flea2－14S3型黑白數字相機，最大分辨率1 280×960像素。鏡頭參數為16 mm/F1.6，其視場角為16°×22.5°。對鏡頭標定結果表明:當相機的角度沿橫向或縱向每變化1'時，對應圖像中滅點的坐標沿橫向或縱向移動約1個像素。圖3給出了相機沿圖片中心橫向或縱向移動時，相機轉過角度和滅點坐標改變值之間的關系。從圖中可以看出，標定結果與理論計算結果吻合的很好，只是在鏡頭邊緣處出現了一定的偏差，這主要是由于鏡頭的稍許畸變造成的。

圖3 相機轉動角度和滅點坐標偏離值對應關系

為檢驗標定結果并測試利用查找圖像滅點法檢測姿態角的精度，隨機調節經緯儀橫向與縱向角度拍攝了6張圖片，通過Hough變換查找道路邊緣線，進一步求解出滅點像素坐標并結合標定結果內插得出了平臺的姿態角，將該值與從經緯儀讀出的角度值進行對比，得到了測角精度。詳細的實驗數據如表1所示。

表1 角度計算值和實際值的對比分析結果

根據表1的實驗結果，可知利用查找圖像滅點法測角誤差一般不超過4'，因此可以認為通過對圖像作Hough變換找直線并求解滅點坐標，然后根據該坐標反解平臺角度的精度是比較高的。產生誤差的原因主要有三點:一是通過Hough變換解算出的滅點坐標和實際滅點坐標有偏差;二是相機初始化安裝時可能并未將光軸對準正前方的滅點位置;三是鏡頭的微小畸變導致圖像滅點坐標與平臺角度之間并非完全的線性關系，由此產生了測角誤差。

2 道路三維重建系統

2.1 系統設計

我們以實驗用手推車為運載平臺，組合相機和激光掃描儀搭建了道路三維重建的原理驗證系統。系統工作前，先調整相機水平向前架設，將相機光軸對準前方道路滅點，并牢牢固定以保證相機的穩定。掃描儀以向下掃描的方式架設于相機下方，為避免掃描線被車輛自身遮擋，向前有一定的仰角。圖4給出了掃描儀和相機的詳細架設位置關系。系統中使用的相機和鏡頭參數與前述一致;掃描儀為德國SICK公司的單線式激光掃描儀LMS－291，它的最大角度分辨率為0.25°，最大測量距離80m，最大測量角度范圍180°。系統在工作過程中需解決相機與掃描儀同步數據采集控制的問題。

圖4 傳感器聯合架設位置關系

2.2 實驗及結果討論

為驗證本文提出算法的有效性，選擇了一條平整的長直道路進行實驗，如圖5所示。右圖即左圖進行逆透視投影變換［3，15］變為俯視圖的結果。

圖5 實驗選擇的道路場景圖及俯視效果圖

從圖5中可清晰的看出該路段邊緣直線特征明顯。為檢驗系統的路面三維重建效果，詳細測量了道路的三維參數:路面寬4.5 m，平整度良好，路面與一側人行道落差為0.118 m，道路邊緣線直線度良好。由于現有一般的航向角傳感器本身精度的限制，不足以直接驗證本文姿態角檢測算法的精度，因此我們利用了實際道路邊緣線為直線且路面與人行道有一定高差的道路三維特征，考察系統重建出的道路三維形貌對該特征的恢復程度，以此來評價本文算法的角度檢測精度和系統三維重建效果。

相機與掃描儀的數據采集和同步控制是在VC++6.0環境下編程實現的，掃描儀使用的是RS422串口，以500k波特率的速度傳輸數據。圖6給出了實驗過程中相機在不同時刻采集到的前視道路圖片，依次分別為圖片序列的第0幀、100幀、200幀和300幀圖像。

圖6 相機不同時刻采集到的道路前視圖片

得到多傳感器同步采集的數據以后，編程實現了數據的處理和三維重建。為得到圖片中滅點坐標，首先需要找到道路的兩條邊緣線。程序采用形態學算法結合Hough變換檢測出道路邊線［16］，進而計算出滅點坐標并最終得到姿態角。為剔除圖片中的噪聲和雜散邊緣、強化道路邊緣線特征，將經過濾波和邊緣檢測等步驟預處理的圖片分別使用不同的結構元素進行開運算。初始的結構元素1和結構元素2分別被設定為斜率1和－1的直線結構元素，用以檢測道路左邊線和右邊線。由于車輛轉彎等原因，道路兩條邊緣線在圖片中的斜率是時刻變化的，所以不能使用一成不變的結構元素對圖片進行開運算。考慮到相機幀頻為每秒15幀，相鄰兩幅圖片中道路邊緣線斜率變化不大，因此可以根據Hough變換得到的道路邊緣線的斜率，實時更新對應斜率的直線結構元素，為下一張圖片的邊緣線準確查找打下基礎。程序流程如圖7所示。

圖7 計算姿態角程序流程圖

根據以上算法，程序得到了整個實驗過程中航向角和俯仰角隨時間的變化關系，如圖8所示，從圖中可以看出，相對于航向角而言，俯仰角在整個過程中的變化幅度小，但變化頻率較高，這是由于車輛在推動過程中的震動造成的。

圖8 姿態角隨時間的變化關系

實驗中我們測量了小車的平均推行速度，在假定小車一直以勻速率運動的前提下，我們由實時的航向角變化計算出了小車的運行軌跡，如圖9所示。圖中看到，小車在前行過程中向道路右側橫向偏離了約1 m的距離。

圖9 車輛行駛軌跡

圖10為掃描儀點云數據按車輛運動軌跡配準原理圖，為躲避障礙物(如道路上的損毀部分)，車輛選擇了曲線行駛繞過障礙物，為準確獲取真實場景的三維重構結果，掃描儀的每條掃描線必須依據車輛的實時位置、航向角在世界坐標系下進行修正，即依據車輛運動軌跡對掃描儀數據進行配準，以保證較為精確的獲得真實場景的三維重構結果。

圖10 掃描儀點云數據按車輛運動軌跡配準原理圖

圖11給出了在沒有對掃描儀數據進行角度姿態校正的時候重建出的道路三維形貌的俯視偽彩色圖，圖中的深色區域為路面，淺色區域為人行道。對比圖5可以看出，原本直線度良好的道路經三維重建以后出現了明顯的扭曲失真，道路邊緣沿道路橫向的最大移位約為1 m，與車輛行駛時的最大橫向偏離距離相當。

圖11 未進行姿態校正前道路的三維重建結果俯視圖

圖12給出了經角度姿態校正后的道路三維重建結果俯視圖，從圖中可以看出，失真現象得到了糾正，道路的直線特征被較好的還原出來，由重建結果的數據可得到道路邊緣線的移位小于5 cm，且道路各三維參數與實地測量值吻合的很好。因此可以認為，由本文算法得到實時姿態角是準確可靠的。

圖12 進行姿態校正后道路的三維重建結果俯視圖

3 結論

本文分析了一種應用于道路三維重建的姿態角測量方法。實驗結果表明，在車輛出現一定的航向角和俯仰角變化的情況下，重建后的三維形貌準確恢復出了實際的道路特征。在特定領域的應用中，該方法是除了慣導系統和角度傳感器之外的另一種低成本高精度的姿態角測量方法。

需要說明的是，該方法的應用領域存在一定的限制。例如當道路彎曲嚴重以致不能保證路面較為平直的假設時，會導致滅點查找失敗的情況出現;為保證車輛在以大的角度轉彎過程中不丟失圖像中的滅點信息，需要增加鏡頭視場角或者使用多臺相機多角度拍攝圖像。此外，受限于算法復雜度的影響，在CPU為Core2 Duo 2.8GHz的計算機平臺上，本方法目前的實時角度測量頻率僅達3 Hz～5 Hz。下一步的工作需要進一步研究算法的優化，從而提高實時測量頻率。

［1］毛可駿，周平，趙勻，等，基于機器視覺的自主插秧機導航信息的提取研究［J］.農機化研究，2009，5(5):63－66.

［2］Li Xu，Zhang Weigong，Bian Xiaodong.Research on Detection of Lane Based on Machine Vision［J］.Journal of Southeast University(English Edition)，2004，20(2):176－179.

［3］Massimo Bertozzi，Alberto Broggi.GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］.IEEE Transactions on Image Processing，1998，7(1):62－81.

［4］Massimo Bertozzi，Alberto Broggi，Alessandra Fascioli.Stereo Inverse Perspective Mapping:Theory and Applications［J］.Image and Vision Computing，1998，16:585－590.

［5］李紅，柴洪林，彭嘉雄.基于滅點查找的無人機姿態角估計［J］.華中科技大學學報，2007，35(6):4－7.

［6］劉士清，胡春華，朱紀洪.一種基于滅影線的無人直升機位姿估計方法［J］.計算機工程與應用，2004，(9):50－54.

［7］蔣剛毅，郁梅.基于滅點查找的車道狀態估計［J］.電路與系統學報，2001，6(3):6－10.

［8］舒遠，談正，丁禮儒.利用空間正交約束的相機自標定和三維重建［J］.西安交通大學學報，2005，39(2):138－141.

［9］榮瑞霞，歐龍，張麗娜，等.基于滅點理論的普通數碼相機標定方法［J］.工程地球物理學報，2007，4(2):152－156.

［10］張劍清，張勇，方芳.鉛垂線輔助城區航空影像的絕對定向［J］.武漢大學學報·信息科學版，2007，32(3):197－200.

［11］馬琳，鄭南寧，李青，等.自主車輛視覺系統的攝像機動態自標定算法［J］.西安交通大學學報，2005，39(10):1072－1076.

［12］胡釗政，談正.一種基于二滅點的攝像機自標定新算法［J］.空間電子技術，2005，(1):42－46.

［13］李青，鄭南寧，張雪濤.用三線法標定車載攝像機的外部參數［J］.光電工程，2004，31(8):23－26.

［14］謝文寒，張祖勛，張劍清.一種新的基于滅點的相機標定方法［J］.哈爾濱工業大學學報，2003，35(11):1384－1387.

［15］鄧劍文，安向京，賀漢根.基于道路結構特征的自主車視覺導航［J］.吉林大學學報，2004，22(4):415－419.

［16］朱彤，閻瑩，袁志業.一種基于形態學變換的車道檢測方法［J］.山東交通學院學報，2006，14(1):13－16.