開曲線主動輪廓演化路面激光線魯棒識別方法

杜英魁, 劉 成, 田 丹,2, 韓曉微, 原忠虎

(1.沈陽大學 信息工程學院,遼寧 沈陽 110044; 2.中國科學院 沈陽自動化研究所,遼寧 沈陽 110016)

開曲線主動輪廓演化路面激光線魯棒識別方法

杜英魁1, 劉 成1, 田 丹1,2, 韓曉微1, 原忠虎1

(1.沈陽大學 信息工程學院,遼寧 沈陽 110044; 2.中國科學院 沈陽自動化研究所,遼寧 沈陽 110016)

復雜動態路表和室外光照條件下,魯棒精確地識別圖像中的激光線是激光結構光在公路平整度測量應用中亟需解決的一個基礎性關鍵問題。針對公路表面的強反光特性地標線和復雜光照的條件,文章提出了一種基于剛性項約束主動輪廓模型的復雜路面激光線魯棒識別方法。采用三次樣條曲線進行更為精細的激光結構光光條曲線初始擬合,以降低主動輪廓模型對于初始值的敏感性,并在能量泛函中加入了以曲線弧長二階導數表示的剛性項,保證曲線光滑演化的同時能夠有效抑制曲線拉伸。在有效性驗證實驗中,不改變算法參數的情況下,分別選取了包含車輛陰影、白色標志線以及平整度極差路面共3種主要擾動因素的路面實際圖像,與已有算法進行對比測試,實驗結果表明該文方法具有良好的識別精度和魯棒性。

平整度;激光結構光;各向異性擴散;三次樣條;主動輪廓模型

近年來,國內公路體系建設飛速發展,2015年公路網里程已達450×104km,與之相適應的公路檢測和養護問題亦日益凸顯,平整度測量是其核心任務之一[1-2]。我國仍普遍采用人工3米尺測量方式,效率極低,顯然已不合時宜。目前國內外均以融合了激光位移傳感器和加速度傳感器的車載式系統為主流[3]。該方式屬于稀疏點抽樣測量,不僅價格昂貴且不能完整反映路面縱斷面曲線形態。在工業測量領域已普遍應用的光切法,由于其高效和低廉的特性,開始進入公路平整度測量領域[3-5]。

國外在20世紀20年代,已開始研究路面平整度的測量問題,我國始于60年代,起步相對較晚。關于非光切法類的公路平整度測量研究成果和進展可參見文獻[3-4],此處不再贅述。國外利用光切法原理,將激光結構光測量應用于公路平整度的研究工作始于1997年,Bursanescu等人運用BIRIS激光傳感器研發了一套測量系統[6]。時至今日,國外已經形成了一系列成熟產品,主要包括美國Way link、英國TRRI、瑞典RST、丹麥DYNATEST等,但由于采用的均為專用器件,成本仍然很高[4-7]。國內關于光切法的路面平整度測量研究起步雖晚,但亦取得了重要的進展[4,8-10],其中,文獻[4]研究了公路平整度激光視覺測量系統,提出了一種新型全局平面靶標和顛簸幅值修正的方法,達到了很高的精度。但由于光照、地標線、車輛陰影等室外路面條件的動態非結構化擾動特征,基于通用低成本視覺和激光光源器件的激光線魯棒識別,仍是一個尚未很好解決的基礎性問題。特別是由于地標線的強反光特性,其造成的擾動影響尤為突出。

本文提出了一種基于三次樣條曲線和開曲線主動輪廓模型的路面激光線魯棒識別方法,利用采集的多種類型白色標志線擾動路面實際圖像,與最新發表的同類算法進行了算法魯棒性實驗對比。主要貢獻包括:

(1) 有限尺度約束下的高斯二階導數和邊緣特征抑制聯合濾波器,從復雜路面背景中快速準確地提取激光線的有效點集。

(2) 采用Snake模型進行曲線演化,考慮到其對于初始值的敏感性,運用三彎矩法構造三次樣條函數,獲得更為精確的激光線有效點集初始曲線擬合。

(3) 在Snake模型的能量泛函中,以曲線弧長的二階導數表示剛性項,能夠有效保證曲線的光滑演化和拉伸抑制。

1 激光線有效點集提取

1.1 細碎紋理的平滑處理

首先要解決的問題是濾除路面背景中的細碎紋理。針對常規中值和高斯濾波算法在圖像平滑與細節模糊方面的矛盾性[11-13]，從保護激光線細節的角度出發,本文提出了一種梯度矢量驅動的各向異性擴散PM濾波算法,將擴散方向約束為垂直于圖像梯度的矢量方向,從而有效保護邊緣細節，如圖1所示。基于此約束,提出的擴散方程如下:

(1)

其中,θ為圖像梯度I垂直單位矢量與圖像坐標系橫軸的夾角。

圖1 本文算法和中值濾波的圖像平滑與細節保持對比

1.2 細碎紋理的平滑處理

相對于路面地標線等背景擾動,路面激光線具有線狀目標的典型幾何特征,這是兩者之間最為顯著和穩定的差異性特征[4-5,14-16]。此外,本文在研究中發現激光線在圖像中的灰度值呈管狀分布，且尺度空間的變化范圍非常有限?；谶@2點先驗知識,本文認為經典多尺度高斯二階導數增強算法[16]可用于本研究。

從實時性的角度考慮,本文對文獻[16]的方法進行了有限自適應尺度范圍約束的改進。在初始化時,根據不同高斯算子建立多尺度空間,將最大響應尺度空間鄰域[-2σ,2σ]作為尺度范圍,響應函數為:

(2)

激光線增強結果如圖2所示,由圖2可看出,盡管背景得到了有效抑制,但地標線的邊緣影響仍未完全克服。故在增強算法中,加入了基于邊緣特征響應的增強修正系數δ,其表達式為:

(3)

其中,c1和c2分別為固定矩形模板上下2個半區內的像素灰度均值。

圖2 包含部分路標線邊緣的激光線增強結果

由(3)式可知,當非邊緣像素位于線狀目標區域內時,c1≈c2,δ值較大,強化增強;反之,則抑制增強,如圖3所示。采用文獻[15]中的興趣區域檢測和經典積分圖方法[17]加速。

圖3 加入邊緣特征響應修正的激光線增強結果

2 三次樣條初始擬合

常見的曲線插值算法有線性插值[18-20]、三次多項式插值[19,21]、最近鄰點插值[22]以及三次樣條插值[23-25]。其中,線性插值對曲率不敏感,在曲率較大處會造成較大插值誤差；三次多項式插值法執行速度較慢,實時性很差；最近鄰點插值法僅依賴距離待測點最近的像素灰度值,會產生明顯的鋸齒和馬賽克現象。本文采用三彎矩法來構造三次樣條函數,使用導數連續和邊界條件作為約束,對比實驗結果如圖4所示。

圖4 不同插值條件下的擬合結果

不妨設三次樣條插值函數為S(x),則其二階導數可表示為:

(4)

其中,Mi為xi處彎矩；hi=xi+1-xi。

由二次積分和插值條件可得三次樣條插值函數表達式為:

(5)

3 Snake模型演化精確擬合

主動輪廓模型是通過設定的演化規則,驅動曲線主動演化到特定的目標邊緣。通常根據實際需求建立能量泛函模型,通過變分原理求取演化方程,利用偏微分方程數值求解方法進行輪廓演化的數值求解。二維輪廓通常稱為曲線,主動輪廓曲線有顯式[26]和隱式[27]2種表示方式。因為水平集方法對于曲線輪廓的閉合性先驗要求,而本文需要精確識別的激光線是一條開曲線,所以采用顯式參數化模型。

Snake模型[26]采用顯式參數化曲線,根據曲線光滑特性和目標灰度特性建立能量泛函,最小化能量泛函的同時驅動曲線的運動,當能量泛函達到極小,曲線停止演化,從而將任意曲線的擬合問題轉化為微分方程的求解問題。

不妨設期望獲得的精確擬合激光線曲線為y=f(x),x∈[0,w]。其中,w為圖像的寬度。根據激光線的線狀目標幾何特征,利用曲線曲率及其灰度管狀分布特征,可建立能量泛函如下:

(6)

其中,u(x,f(x))為圖像(x,f(x))處像素的灰度值；λ為校正系數。第1項為彈性項,抑制曲線的拉伸;第2項為剛性項,抑制曲線彎曲;第3項為外部能量項,驅動曲線演化直到目標邊界。設φ(x)為能量最小解,令f(x)=φ(x)+εη(x),η(x)為任意函數。根據變分法求解,則有:

(7)

根據分部積分,可得歐拉方程如下:

(8)

設t為時間變量,最小能量函數為φ(t,x),則有:

(9)

初始條件為:φ(0,x)=φ(x),其中φ(x)為初始曲線。

不妨設h為空間步長,Δt為時間步長,離散化可得:

(9)式差分可得:

(10)

可得曲線演化方程如下:

(11)

4 實驗結果

4.1 實驗條件與數據

本文算法程序的運行環境為Matlab 2011a,算法的運行平臺為臺式計算機,系統為Windows7,CPU主頻2.9 GHz,2 G內存。算法驗證實驗所采用的全部圖像均為由企業提供的含車輛陰影、白色地標線和激光線實際路面圖像。

在實驗設計中,主要包含2個方面:① 路面較為平整且僅包含車輛陰影的圖像,主要是針對一般路面條件和光照等擾動條件下的本文算法和文獻[15]算法的激光線識別精度對比實驗;② 路面平整度較差條件下,圖像中的激光線會呈現局部曲率變化較為劇烈的自由曲線。其中,相對于光照和車輛陰影等其他擾動因素,由于白色地標線的強反光特性和幾何結構特征的隨機性,其對激光線識別的連續性和魯棒性影響極大,特別是對于通用類激光器件和視覺器件構成的公路平整度檢測系統而言,屬于強不確定性擾動因素。

需要說明的是,文中所有實驗結果均為2種方法在固定參數條件下獲得的,即滿足實驗條件和數據輸入的一致性。本文算法GUI程序界面如圖5所示。

圖5 激光線識別及平整度計算GUI界面

4.2 實驗結果與分析

對比結果如圖6所示,由圖6可以看出在路面平整度較好的條件下,激光線曲率變化較小,2種方法的識別結果較為接近,均具有良好的魯棒性。但從方框區域等局部區域的識別細節可以看出,本文算法結果更接近激光線中心線,識別精度更高。

圖6 含車輛陰影平坦路面圖像的對比實驗結果

共選取了9組路面平整度差、存在大量地標線以及強、弱2種惡劣光照條件的極端路面情況實際圖像,與文獻[15]算法進行了精度和魯棒性的對比實驗，其結果如圖7所示。

(a) 文獻[15]算法結果 (b) 本文算法結果

圖7中，左側列為文獻[15]算法結果，右側列為本文算法結果。從圖7的2列組圖中所標注的矩形框對比區域內的激光光條中心線擬合結果可以看出,對于局部曲率變化較大的激光光條曲線,本文算法的精度和魯棒性明顯優于文獻[15]算法。特別對于白色地標線區域的激光線識別精度上,本文算法能夠精確地識別和擬合激光結構光的圖像光條線中心線,而文獻[15]算法則會出現由于拉伸抑制項單一作用導致的較大偏移。

5 結 論

低成本通用器件構成的自動測量系統是公路平整度測量技術的發展趨勢。但是由于公路平整度狀況以及光照、陰影和強反光特性地標線等不確定性因素的影響,激光線的魯棒精確識別問題仍然具有挑戰性。本文從背景抑制、激光線增強、有效點集提取和精確曲線擬合4個方面,在原有的工作基礎上,開展了進一步的研究工作。利用一般性和極端苛刻情況下的路面實際圖像,在固定算法參數的條件下,與相關的近期研究成果進行了對比實驗。從實驗結果來看,在激光線識別的魯棒性和精度方面,均有較大的提高。但是,從實際應用的角度來看,盡管采用了積分圖、尺度空間約束等諸多辦法,以期盡可能地提升處理速度,但尚無法滿足實時處理的要求,這也是本文下一步研究工作的重點,期望通過在算法硬件化以及算法簡化方面的努力,獲得更好的魯棒性和在線處理的能力。

[1] 徐文斌.高速公路路面平整度檢測控制技術[J].公路,2014(9):150-151.

[2] 朱萬紅.瀝青路面平整度檢測技術探析[J].城市道橋與防洪,2012(4):40-45.

[3] 杜豫川,劉成龍,吳荻非,等.基于車載多傳感器的路面平整度檢測方法[J].中國公路學報,2015,28(6):1-5.

[4] 馬玉坤,王中亞,楊國威,等.基于線結構光傳感器的公路平整度測量系統[J].傳感技術學報,2013,26(11):1597-1603.

[5] KUMAR P,LEWIS P,MCELHINNEY C P,et al.An algorithm for automated estimation of road roughness from mobile laser scanning data[J].The Photogrammetric Record,2015,30(149):30-45.

[6] HASSAN R H,EVANS R.Road roughness characteristics in car and truck wheel tracks[J].International Journal of Pavement Engineering,2013,14(8):736-745.

[7] 張鵬.路面平整度檢測技術與其發展現狀[J].交通世界(工程技術),2015(14):140-141.

[8] YAN Suo,LI Dinggen,YU Zhaoliang.Analysis of laser triangulation displacement sensor and parameters optimization design[J].Electronic Measurement Technology,2012,35(10):21-24.

[9] LIU K,WANG Q Q,WANG Y,et al.Research on Image processing in laser triangulation system[J].Journal of Physics:Conference Series,2011,276(1):12-25.

[10] LI Xiaojie,ZHAO Kai,ZHENG Xingming.Development of surface roughness tester based on laser triangulation method[J].Transactions of the Chinese Society of Agricultural Engineering,2012,28(8):116-121.

[11] 賈迪,孟祥福,張一飛,等.梯度矢量擴散控制實現邊緣保持的彩色圖像去噪[J].中國圖象圖形學報,2014,19(4):493-501.

[12] TIAN Dan,XUE Dingyu,WANG Dianhui.A fractional-order adaptive regularization primal-dual algorithm for image denoising [J].Information Sciences,2015,296:147-159.

[13] ZHOU Changxiong,LIU Shufen,YAN Tingqin,et al.Noise removal using fourth order PDEs based on nonlocal derivative[M]//Intelligent Computing Theory.[S.l.]:Springer International Publishing,2014:675-683.

[14] YUAN Zhonghu,ZHANG Xuelian,LIU Sa,et al.Laser line recognition for autonomous road roughness measurement[C]//IEEE International Conference on Cyber Technology in Automation,Control,and Intelligent Systems (CYBER).[S.l.]:IEEE,2015:436-440.

[15] FAN Huijie,ZHAO Lipo,HE Siyuan,et al.A new open curve detection algorithm for extracting the laser lines on the road[J].Advanced Engineering Forum,2011,2/3:205-210.

[16] FRANGI A F,NIESSEN W J,VINCKEN K L,et al.Multiscale vessel enhancement filtering[C]//Medical Image Computing and Computer-Assisted Interventation-MICCAI’98.Berlin Heidelberg:Springer,1998:130-137.

[17] PAUL V,JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2001:511-518.

[18] ZHAO YU,LIN Hongwei,BAO Hongjun.Local progressive interpolation for subdivision surface fitting[J].Journal of Computer Research and Development,2015,49(8):1699-1707.

[19] AKIMA H.A new method of interpolation and smooth curve fitting based on local procedures[J].Journal of the ACM (JACM),1970,17(4):589-602.

[20] ATHAWALE T,ENTEZARI A.Uncertainty quantification in linear interpolation for isosurface extraction[J].IEEE Transactions on Visualization and Computer Graphics,2013,19(12):2723-2732.

[21] CHKIFA A,COHEN A,SCHWAB C.High-dimensional adaptive sparse polynomial interpolation and applications to parametric PDEs[J].Foundations of Computational Mathematics,2014,14(4):601-633.

[22] HU Shunbo,SHAO Peng.Improved nearest neighbor interpolators based on confidence region in medical image registration[J].Biomedical Signal Processing and Control,2012,7(5):525-536.

[23] HONG S H,WANG L,TRUONG T K,et al.Novel approaches to the parametric cubic-spline interpolation [J].IEEE Transactions on Image Processing,2013,22(3):1233-1241.

[25] 孫秋成,周亞洲,寧闖,等.基于三次樣條插值的亞像素邊緣檢測方法[J].控制工程,2014,21(2):290-293.

[26] KASS M,WITKIN A P,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision,1987,1(4):321-331.

[27] OSHER S,SETHIAN J A.Fronts propagating with curvature dependent speed:algorithms based on Hamilton-Jacobi formulations[J].Journal of Computational Physics,1988,79(1):12-49.

(責任編輯 閆杏麗)

Pavement laser line robust recognition via open active contour evolution

DU Yingkui1, LIU Cheng1, TIAN Dan1,2, HAN Xiaowei1, YUAN Zhonghu1

(1.School of Information Engineering, Shenyang University, Shenyang 110044, China; 2.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China)

Under the unstructured outdoor lighting environment, robust recognition and accurate interpolation of structured laser light were still challenging in the application of road flatness measurement. For obtaining more robustness to the disturbance of shadow and landmarks, a laser line recognition method was proposed by utilizing rigid item constraint active contour model. To reduce the sensitivity of the initialization of the active contour model, the cubic spline algorithm was employed for more accurate curve interpolation. A rigid item constraint described by the second derivative of arc length was appended to the energy functional definition to ensure the smooth curve evolution and effectively restrain the curve stretch. With fixed parameters, the experimental results of real images that included the extreme disturbances of shadows, white indicator line and poor road flatness validated the efficiency and robustness of the proposed method.

flatness; structured laser light; anisotropic diffusion; cubic spline; active contour model

2016-08-09；

2016-12-16

國家自然科學基金面上資助項目(71672117)；遼寧省自然科學基金資助項目(2015020158；2015020037)；機器人學國家重點實驗室開放基金資助項目(2015008)；遼寧省高等學校創新團隊資助項目(LT2013024)；遼寧省博士啟動基金資助項目(201601213)和沈陽市社會發展科技攻關資助項目(F16-155-9-00)

杜英魁(1980-),男,吉林臨江人,博士,沈陽大學副教授,碩士生導師； 韓曉微(1969-),男,遼寧西豐人,博士,沈陽大學教授,碩士生導師； 原忠虎(1962-),男,遼寧莊河人,博士,沈陽大學教授,博士生導師.

10.3969/j.issn.1003-5060.2017.03.007

TP391.4

A

1003-5060(2017)03-0321-06