基于參考點配準法的全景泊車系統研究*

楊 剛， 臧春華， 李仲年

(南京航空航天大學 電子信息工程學院，江蘇 南京 211106)

基于參考點配準法的全景泊車系統研究*

楊 剛， 臧春華， 李仲年

(南京航空航天大學電子信息工程學院，江蘇南京211106)

為了提高駕駛行車的安全性，研究并改進了一種全景泊車系統，由魚眼攝像頭，圖像處理單元和顯示器三大部分組成。魚眼攝像頭采集汽車四周的超廣角圖像；在OpenCV環境下通過魚眼攝像頭標定，桶型矯正和圖像的透視變換技術形成汽車前后左右的4幅平面俯視圖；提出了一種參考點配準的方法，可以根據平面俯視圖得到汽車的360°全景圖像，并在顯示器上顯示。與特征點匹配法相比，參考點配準方法受環境的影響很小且對硬件性能要求較低，因此，更適用于嵌入式系統實現。

全景泊車系統； 魚眼攝像頭； OpenCV； 透視變換； 平面俯視圖； 參考點配準

0 引 言

在日益復雜的城市交通中，汽車在泊車等低速行駛時的視野盲區問題一直是困擾廣大駕駛員的問題。全景泊車技術指通過以一定角度安裝在汽車四周的攝像頭采集圖像，再經過魚眼矯正和圖像拼接實時地將全景圖像傳送至顯示器上，使駕駛員可以看到汽車四周的路面情況[1]。圖像拼接作為全景泊車系統核心技術一直是研究的難點。傳統的拼接方法多是基于特征值提取的方法[2]，對圖像質量要求較高，提取成功率與光照環境有關，在光照較弱時，成功率很低；同時，該方法對處理器的運算要求較高。

本文提出了一種基于參考點配準的方法進行圖像拼接，方法受環境的影響很小，在不同光照強度下配準成功率均很高，而且，對處理器性能的要求更低，更加適用于嵌入式系統的實現。本文將該方法用于全景泊車系統中，設計了一種基于參考點配準法的全景泊車系統，實現了汽車四周全景圖的生成，并通過實驗進行了驗證。

1 360°全景泊車原理

360°全景泊車是一種使用多視點圖像組合的方法：利用廣角攝像頭的大角度視角，在汽車的某一面采集一幅圖像即可獲得汽車該面的所有信息，從而汽車四周的視野可以被4幅圖像無死角地采集到；由于采集到的原始圖像存在著圖像畸變，需要進行相應的處理，包括：對原始廣角圖像進行標定和矯正，由于攝像頭有安裝角度，矯正后的圖像存在線性失真的問題，所以需要利用標定板對圖像進行角點的提取和透視變換，再利用參考點匹配的方法對圖像進行拼接；最后拼接得到360°全景圖[3]。整個系統流程如圖1所示。

圖1 全景泊車系統流程

2 魚眼攝像頭參數標定和圖像去畸變

2.1 魚眼攝像頭參數標定

全景泊車系統在圖像拼接時要求4幅圖像包括車四周所有的區域且圖像之間存在一定的共同區域，魚眼攝像頭具有超廣角的特性，其成像視場角能達到180°甚至更大，在汽車四周安裝魚眼攝像頭，可以保證圖像具有足夠的視野和重疊區域[4～6]。但是，魚眼攝像頭存在著嚴重的桶形畸變，在拼接前需要對其進行標定，得到線性特性的圖像。采用張正友標定法對魚眼圖像進行標定，視圖通過透視變換將三維空間中的點投影到圖像平面[7]。投影如式(1)所示

(1)

(2)

進一步表示為

(3)

H=[h1h2h3]

(4)

利用非線性最小二乘法來求解H的最大似然估計，則有[h1h2h3]=λA[r1r2t]。其中，λ為一常數因子，每幅圖像均能獲得如下對內部參數矩陣的約束條件

(5)

據此求出魚眼攝像機的內參陣A和畸變系數[8～10]。

基于OpenCV,求解魚眼相機內部參數步驟如下：

1)根據式(1)編寫基于OpenCV的魚眼攝像頭標定C++程序；

2)將一幅7×8的棋盤圖平整地放在魚眼攝像頭前方，保證棋盤圖的有效區域能被魚眼攝像頭接收到。采集圖像輸入到OpenCV標定程序內；

3)用尋找角點函數找出棋盤圖中56個角點，將坐標保存到C++容器中；

4)將棋盤圖旋轉一定角度和姿態，再次執行步驟(2)、步驟(3)的操作，重復20次，以獲得較好效果的相機參數值；

5)將上述多次得到的角點坐標送入標定程序的參數計算模塊，計算得到相機內外參數和畸變系數。

2.2 圖像去畸變

在獲得4幅魚眼相機的圖片和相機的內部參數以及畸變系數后，即可將廣角圖像變換為具有透視特性的圖像，這時圖像只存在線性失真，利于接下來的透視變換和固定參考點的圖像配準。將式(1)化簡可得

(6)

(7)

式中x′=x/y；y′=y/z；r2=x′2+y′2；k1，k2為徑向形變系數，p1和p2為切向形變系數。根據已知的定標模式，從幾個角度拍攝若干已知角點的照片(u，v)可以計算出魚眼相機的內部參數和外部參數[11，12]。圖2、圖3為魚眼廣角圖像和矯正畸變后的圖像。

圖2 矯正前魚眼圖像

圖3 矯正后魚眼圖像

如圖2和圖3所示，矯正前，圖像存在明顯的桶型畸變，而經過矯正后，圖像棋盤格可以看出只存在線性透視失真，為下一步透視變換提供條件[13～15]。

3 基于參考點配準法的圖像拼接

3.1 透視變換原理

可以通過透視變換來處理圖像圖3所示的線性失真，將圖像從所在平面線性地投影到另一個平面。即將圖3中標準的棋盤方格投影到新的俯視平面，使方格的大小和位置變為原來的方格的大小和位置

(8)

式中H為變換矩陣；x=x′/w′;y=y′/w′?；谶@種原理可以將四邊形變換到標準矩形。

3.2 透視變換與圖像拼接

傳統的圖像拼接方法[16]過于復雜，對設備和環境要求較高，在光線較弱等不利條件下，很容易出現找不到足夠特征點的情況，無法完成拼接。

因此，本文提出了一種基于參考點配準的方法，原理是構建4幅相對位置固定的參考點群，如圖4所示。汽車每個方向都有一張標準參考點圖且各相對位置已知，設H1,H2,H3,H4分別為4個方向上原始圖像向最終合成圖的變換矩陣。系統初始化時通過角點查找[17]，在圖3中找到各棋盤圖的對應角點，計算出對應實際棋盤圖的變換矩陣。再將各圖像代入式(8),則可以恢復全景圖像的場景，也可以將透視變換和圖像配準集成在一個步驟中完成，且拼接的標定過程只需要在使用前標定一次。方法無需在圖像中重復提取特征點，同時,當圖像顏色，質量受到影響時,基于參考點配準也不影響最終圖像的配準，具有很好的適應性。

圖4 固定位置標定板示意

基于參考點配準的圖像拼接可以歸納為以下步驟：

1)鋪設好4合1標定板，標定板間的位置信息事先存入處理器，再將待標定汽車置于圖4汽車位置，在汽車的四周架設好魚眼攝像頭，使攝像頭畫面有效地覆蓋棋盤圖。

2)前后左右各拍攝一幅圖像，按魚眼矯正程序矯正圖像，得到有透視效果的圖像，如圖3所示。

3)用OpenCV進行角點查找，找到棋盤圖的矩形角點(矩形角點在透視圖中呈現出梯形形狀)，并存儲起來，結合式(8)透視變換原理求出H1,H2,H3,H4。

4)根據H1，H2，H3，H4將4幅透視圖變換到最終的合成圖上，過程中需要為每幅圖設計一個圖像掩，膜防止圖像交叉重疊。

變換效果如圖5所示，中間區域為車體。

圖5 全景透視變換配準后效果

由圖5可以看出生成的全景泊車圖的效果良好，可以將汽車四周的場景以俯視全景圖的形式再現。為了論證基于參考點配準方法的高成功率，將基于SIFT特征點匹配的方法與本文方法進行了對比實驗，將兩幅重復度不同的圖像分別使用2種方法拼接，并調節重復區域百分比。實驗結果如圖6所示。

圖6 基于參考點配準與特征點配準效果對比

實驗表明:只要保證待拼接圖中存在參考角點，則參考點配準的方法成功率很高，適用于實際嵌入式系統。

4 結 論

針對當前道路交通中駕駛員遇到的泊車難問題，本文研究并改進了一種適用于嵌入式系統實現的全景泊車系統。針對一般特征點匹配方法在全景泊車系統中存在一些不足，提出了一種基于參考點配準的圖像拼接方法，并通過OpenCV設計了系統平臺進行驗證。實驗結果表明：基于參考點配準的拼接方法對環境光線適應力強，不需要大面積的重疊區域即可完成全景圖的生成，且易于嵌入式系統實現。本系統可以幫助駕駛員輕松安全泊車。

[1] 趙偉軍，顧新艷，姜慶標，等.起伏目標檢測的應用研究[J].現代雷達，2015,37(6)：32-36.

[2] 李 楠.基于DSP的多路圖像采集系統[D].保定:河北大學,2009.

[3] 陳顯毅.圖像配準技術及其 Matlab 編程實現[M].北京:電子工業出版社,2009.

[4] 蘆 博.基于DSP的視頻動態跟蹤研究[D].武漢:武漢理工大學,2008.

[5] 涂曉昱.基于DSP的通用實時圖像處理系統設計與研究[D].杭州：浙江大學,2004.

[6] Milna S,Vaclav H,Roger B.圖像處理、分析與機器視覺[M].3版.北京:清華大學出版社,2011.

[7] 楊夢雯,李寶明,陳付亮,等.基于DSP的圖像去霧算法優化方法[J].傳感器與微系統,2016,35(6):136-138.

[8] 張鋮偉,王 彪,徐貴力.攝像機標定方法研究[J].計算機技術與發展,2010,20(11):174-179.

[9] 陳 鐸.攝像機標定方法研究與實現[D].沈陽:東北大學,2008.

[10] 茂 林,馬頌德,李 毅.計算機視覺中攝像機定標綜述[J].自動化學報,2001,26(1):43-55.

[11] Scaramuzza D,Martinelli A,Siegwart R.A flexible technique for accurate omnidirectional camera calibration and structure from motion[C]∥IEEE International Conference of Computer Vision Systems,2006:45-53.

[12] 李 彬,羅 彪.機器視覺在物體位姿檢測中的應用[J].傳感器與微系統,2016,35(2):150-153.

[13] 趙 炯,朱海濤,屈劍平,等.基于OpenCV的圓心定位在地鐵隧道變形監測中的應用[J].傳感器與微系統,2013,32(11):139-142.

[14] 丁 鑫.全景視覺泊車輔助系統研究[D].杭州:浙江大學,2010.

[15] 趙 凱.全景可視化輔助泊車系統研究[D].合肥:合肥工業大學,2011.

[16] Songde M.A self-calibration technique for active vision system[J].IEEE Transactions on Robotb and Automation,1996,12(1):114-120.

[17] Abdel-aziz Y I.Direct linear transformation from comparator coordinates into object space coordinates in close-range photogramrnetry[C]∥Virginia,USA:American Society of Photogrammetry,1971:1-18.

Studyofpanoramicparkingsystembasedonreferencepointsregistrationmethod*

YANG Gang, ZANG Chun-hua, LI Zhong-nian

(CollegeofElectronicandInformationEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing211106,China)

In order to improve the safety of driving,the panoramic parking system is studied and improved.The system consists of three components,which are fish-eye cameras,an image processing unit and a displayer.First,fish-eye cameras are used to capture the ultra-wide-angle images around the car.Then four vertical views around the car are obtained by the fish-eye camera calibration,the bucket correction and the perspective transformation based on OpenCV.Reference points registration method is proposed to obtain a360° panoramic bird's eye view,which is showed on displayer,according to the vertical views.Since the proposed method is hardly affected by the environment and not dependent on hardware performance heavily,it is more suitable for embedded system implementation compared with the feature points matching method.

panoramic parking system; fish-eye camera; OpenCV; perspective transformation; plane vertical view; reference points registration

10.13873/J.1000—9787(2017)10—0041—04

2016—09—21

南京航空航天大學研究生創新基地(實驗室)開放基金資助項目(KFJJ20150406)

TP 391

A

1000—9787(2017)10—0041—04

楊 剛(1990-)，男，碩士研究生，主要研究方向為電路與系統。臧春華(1964-)，男，副教授，主要研究方向為數字系統設計與計算機應用。