基于運動模糊圖像的車載視覺測速方法

金守峰,范 荻,田明銳

(1.西安工程大學 機電工程學院,陜西 西安 710048;2.長安大學 道路施工技術與裝備教育部重點試驗室,陜西 西安 710064)

?

基于運動模糊圖像的車載視覺測速方法

金守峰1,范 荻1,田明銳2

(1.西安工程大學 機電工程學院,陜西 西安 710048;2.長安大學 道路施工技術與裝備教育部重點試驗室,陜西 西安 710064)

針對車載視覺系統隨車體運動導致所獲取場景圖像的全局運動模糊,建立了車體運動速度與圖像運動模糊尺度、成像設備參數間的數學模型.通過分析全局運動模糊圖像的頻譜特征,確定了頻譜圖像中暗條紋的方向、間距與運動參數之間的關系.在提取暗條紋邊緣特征基礎上,提出了兩次Radon變換估計運動模糊方向和模糊尺度的算法.試驗結果表明:算法對速度大于2.0 m·min-1的全局運動模糊參數估計具有良好的結果,試驗測得的速度與平均速度相對誤差在2%以內,驗證了所提方法的可靠性和有效性.

運動模糊; 頻譜特征; Radon變換; 速度測量

車載視覺系統在實際的成像過程中,由于成像設備與場景之間存在相對運動,在曝光時間內所獲取的圖像會產生運動模糊,降低了圖像的質量,導致信息不能準確獲取[1-2].由于成像設備隨車體的運動在模糊圖像中形成全局性運動模糊,模糊函數中的模糊方向和模糊的尺度也反映出成像設備與場景之間的相對運動信息.許元男等通過攝像機固定在某一位置,采集行駛車輛側面的單幅運動模糊圖像,提出了一種局部運動模糊參數的辨識方法,利用局部運動模糊圖像提取了運動模糊方向和尺度信息,實現了車輛速度的測量[3].CELESTINO等通過分析靜態圖像與動態模糊圖像的灰度變化規律,對運動模糊圖像的相同灰度區域進行統計分析,對速度進行了測量[4].徐騁等研究了攝像機曝光時間內機載攝像機與圖像拖影長度的關系,實現了機載成像拖尾效應的圖像測速方法[5].本文根據全局運動模糊圖像的成像原理和特性,建立了運動速度與模糊函數之間的關系,提出了全局運動模糊參數的估計方法,實現了車體相對于場景的速度測量.

1 運動模糊成像原理

在模糊成像過程中,物體上的一個點映射到圖像平面上不僅僅是一個對應的像素點,而是在圖像平面上彌散成一個區域.在機器視覺系統中為了降低算法的復雜度,假設圖像變換為線性空間不變系統,則模糊圖像的一般模型為[6]

(1)

式中:g(x,y)為卷積;f(x,y)為原始圖像;h(x,y)為點擴散函數;n(x,y)為加性噪聲.

載體的運動過程包括變速運動過程、非直線運動過程,在曝光時間足夠短的條件下均可將其近似分解成多段勻速直線運動過程的累加,勻速直線運動模糊的點擴散函數h(x,y)為

(2)

式中:L為支持域尺寸;θ為運動方向.

成像設備隨載體運動所獲取的場景都參與卷積,所形成的運動模糊為全局運動模糊.全局運動模糊成像原理如圖1所示.圖1中X-O-Y為運動平面,x-o-y為圖像平面,且圖像平面與運動平面相互平行,相機的光軸與運動平面垂直.當目標點在X-O-Y平面內由A點運動到B點時,運動的位移為ΔS.在曝光時間內,由小孔成像模型可知,目標點在x-o-y平面上由a點到b點的灰度連續變化為模糊軌跡Δs.兩者同步運動直觀地反映了目標點的運動軌跡.

成像設備的曝光時間為T,運動目標在X-O-Y平面的運動位移為ΔS=Tv,其投影在x-o-y平面的運動位移為Δs=Ls,由圖1可推導出運動速度v為

(3)

式中:H為物距;f為鏡頭焦距;T為曝光時間;L為曝光時間內的運動位移,即運動模糊尺度;s為像素大小.

由式(3)可知,在物距、鏡頭焦距、曝光時間已知的前提下,運動速度與模糊尺度成正比.

圖1 運動模糊成像原理Fig.1 Principle of motion blurred imaging

2 運動模糊圖像的頻譜特征分析

對忽略加性噪聲N(u,v)的運動模糊圖像g(x,y)進行離散傅里葉變換,則有:

(4)

在曝光時間T內,在X軸的位移為a,在Y軸的位移為b,則在t時間內的運動位移為x0=(at)/T,y0=(bt)/T,圖像分辨率為M×N,則點擴散函數h(x,y)的離散傅里葉變換函數H(u,v)可表示為[7-8]

(5)

式中:u= 0,l,2,…,M-l;v= 0,l,2,…,N-l.

由式(4),(5)則有

(6)

由式(6)可知,點擴散函數頻譜的幅值|H(u,v)|具有sinc函數的特征,因此運動模糊圖像頻譜的幅值|G(u,v)|也具有sinc函數的特征.當ua/M+vb/N=n,n= 0時,|H(u,v)|取得最大值,則|G(u,v)|亦取最大值,顯示為亮條紋;當n≠0時,|H(u,v)|=0,則|G(u,v)|=0,顯示為暗條紋.

對如圖2所示的分辨率為640×512的靜態地面圖像進行運動模糊的模擬仿真分析.

圖2 靜態地面圖像Fig.2 Static ground image

2.1 暗條紋方向的頻譜特征

采用運動模糊尺度L=10(pixel),運動模糊角度分別為0°和30°的點擴散函數對圖2進行卷積，產生全局運動模糊,對其進行傅里葉變換得到頻譜圖.運動模糊圖像及其頻譜圖如圖3所示.

由圖3可知,無論運動模糊方向是水平運動還是非水平運動,在運動模糊圖像的頻譜圖中均出現了相互平行的暗條紋,這些暗條紋為|G(u,v)|=0時所對應的位置.暗條紋的分布方向一致,且與運動方向的夾角近似90°.

2.2 暗條紋間距的頻譜特征

采用水平運動且不同運動模糊尺度L(pixel)的點擴散函數對圖2進行卷積，產生全局運動模糊圖像,對其進行傅里葉變換得到頻譜圖.運動模糊圖像及其頻譜圖如圖4所示.

圖3 不同運動方向的運動模糊圖像及頻譜圖Fig.3 Motion blurred image and frequency spectrum in different motion directions

由圖4可知,隨著運動模糊尺度的增加,頻譜圖中條紋的數量隨之增加,但是暗條紋的間距減小.即運動模糊尺度與模糊圖像頻譜圖中暗條紋的間距成反比,與暗條紋的數量成正比.

3 暗條紋邊緣特征提取

由運動模糊圖像的頻譜特征可知,暗條紋的方向和間距表征了相對運動速度的方向與大小,因此只需提取暗條紋的特征即可確定運動參數.由于暗條紋分布規律明顯,在進行特征提取時無需對頻譜圖像整體進行處理,只需選取合適的特征區域即可,該特征區域必須包含表征運動信息的暗條紋方向與間距特征.

為了能夠在特征區域中保留暗條紋特征,同時消除頻譜中心高亮度的影響.通過大量試驗對比,兼顧暗條紋特征和計算速度,本文在頻譜圖的中心位置的上方選取如圖5所示的大小為32×256的矩形區域作為特征區域,該區域中暗條紋特征明顯.

對圖5的特征區域進行Canny算子的邊緣特征提取,得到如圖6所示r 暗條紋邊緣特征,在運動模糊尺度較小時暗條紋邊緣模糊,邊緣特征提取不連續.隨著運動模糊尺度的增加,暗條紋邊緣清晰,邊緣特征連續.

圖4 不同模糊尺度的運動模糊圖像及頻譜圖Fig.4 Motion blurred image and spectrum of different blur scale

圖5 頻譜圖的特征區域選取Fig.5 Feature region selection of spectrogram

圖6 Canny算子的邊緣特征提取Fig.6 Edge feature extraction of Canny operator

4 運動模糊參數估計算法

4.1 運動模糊方向的估計

運動模糊圖像頻譜圖中暗條紋可由直線ua/M+vb/N=n來表示,暗條紋的方向角α等于該直線的斜率,兩者之間的關系為

(7)

設θ為被測目標與成像系統的相對運動方向,則將tanθ=b/a代入式(7)可得

(8)

由式(8)可知,當圖像的行列相等時,頻譜圖中暗條紋方向α與運動模糊方向θ之和等于90°;行列不相等時,頻譜圖中暗條紋方向α與運動模糊方向θ之和不等于90°,而與兩者之比有關.由運動模糊圖像頻譜圖識別出暗條紋的角度α,將其代入式(8)中計算出運動模糊方向.

本文采用Radon變換估計頻譜圖中暗條紋角度,Radon變換是對圖像矩陣在某一指定方向上進行線性積分的變換方法,Radon變換原理如圖7所示.通過Radon變換將圖像中所含有的線轉換到相應的線參數域中,圖像中的每一條線在線參數域中的相應位置都會出現一個峰值,因此相互平行且具有相同方向的暗條紋在Radon變換后,在線參數域中的相應的角度位置就會出現峰值,該峰值點對應的坐標即為暗條紋的角度.對圖3(c)中30°方向的運動模糊圖像進行Radon變換,其變換曲線如圖8所示,得到運動模糊方向為31.083 4°,與給定角度的相對誤差為3.61%.

圖7 Radon變換原理圖Fig.7 Schematic diagram of the Radon transform

圖8 Radon變換曲線Fig.8 Radon transform curve

4.2 運動模糊尺度的估計

運動模糊圖像頻譜圖的中心點與直線(ua/M+vb/N)= 1之間的距離為d,根據中心點與直線間距離的公式,則d為

(9)

由運動模糊圖像的頻域特征可知,頻譜圖中心點兩側的暗條紋間距D是其他暗條紋間距d的2倍,即D=2d.設運動模糊圖像的模糊尺度為L,則a=Lcosθ,b=Lsinθ,且令代入M/N=σ,則D為

(10)

由式(10)得到運動模糊尺度L為

(11)

由式(11)可知,運動模糊的模糊尺度與頻譜圖中暗條紋間距D成反比,與運動模糊方向θ成反比.此外,暗條紋間距與圖像尺寸M×N有關.

對頻譜圖在運動模糊方向進行投影,投影曲線主瓣寬度與頻譜圖中心點兩側暗條紋距離相等,因此對頻譜圖在運動模糊方向角度θ上進行二次Radon變換得到投影曲線.提取與中心點對稱的兩個極值點坐標,估計中心點兩側暗條紋的間距D.對圖4c中模糊尺度L=20的頻譜圖進行二次Radon變換,得到運動模糊尺度為21.33,相對誤差為6.67%.

根據運動模糊圖像的頻譜特征估計運動模糊尺度與模糊方向,在物距、曝光時間等參數已知的條件下,由式(3)計算運動速度.

5 試驗

在試驗中,設計開發了基于四輪車的車載視覺測速平臺,如圖9所示.

圖9 車載視覺測速平臺Fig.9 Vehicle vision speed measurement platform

試驗平臺由車體、視覺采集與計算機圖像處理系統組成.試驗平臺的車體尺寸為1 000 mm×400 mm×500 mm,四輪直徑為260 mm,材質為硬質塑料,承重后不變形.前輪為轉向輪,后輪為驅動輪,由直流電機驅動.試驗平臺的速度范圍為0～100 m·min-1.試驗所用的地面為干燥的瀝青混凝土地面,以10 m作為試驗長度,兩邊分別延伸2 m作為助跑區.車載視覺系統的視場高度H為500 mm,成像設備的曝光時間為50 ms,在規定的試驗區運動,采集的運動模糊圖像如圖10所示.

在試驗區域內每2 m做標記,記錄試驗平臺通過所需的時間,多次測量后得到平均速度為48.0 m·min-1.本文方法計算的速度曲線如圖11所示,與平均速度的相對誤差為1.88%.

6 結論

(1) 分析了運動模糊圖像的一般模型,研究了運動速度與曝光時間對運動模糊圖像的影響,建立了運動模糊尺度與車體速度的數學模型,提出了基于運動模糊圖像的視覺測速方法.

圖10 采集的圖像及其頻譜圖Fig.10 Acquisition of the image and its spectrogram

圖11 速度曲線Fig.11 Speed curve

(2) 對運動模糊圖像的頻譜特征進行研究,確定了運動模糊圖像頻譜圖中暗條紋方向和間距的特征與運動信息的關系.設計開發Radon算法來估計運動模糊方向和運動模糊尺度,結合安裝參數計算速度.

(3) 通過開發車載視覺測速平臺實地驗證了方法的可行性,但是受到車輪滑轉、路面狀態及車輪材料性能等因素的影響,速度值的穩定性有待進一步提高,同時可通過調節視場高度進一步擴大測速的范圍.

[1] 郭永彩,郭瑞瑞,高潮.運動模糊圖像點擴展函數的參數鑒別[J].儀器儀表學報,2010,31(5):1052-1057

GUO Y C,GUO R R,GAO C.Identification of blur parameters from motion blurred images[J].Chinese Journal of Scientific Instrument,2010,31(5):1052-1057.

[2] 劉紅亮,陳維義,許中勝.基于序列圖像匹配的車載自主測速方法[J].系統工程與電子技術,2014,36(11):362-365

LIU H L,CHEN W Y,XU Z S.Research on vehicle-borne autonomous velocity measurement method based on sequence image matching[J].Systems Engineering and Electronics,2014,36(11):362-365.

[3] 許元男,趙遠,劉麗萍,等.基于局部運動模糊圖像的側速方法[J].光電工程,2009,36(10):71-80

XU Y N,ZHAO Y,LIU L P,et al.Velocity measurement based on partial motion blur image[J].Opto-Electronic Engineering,2009,36(10):71-80.

[4] CELESTINO M,HORIKAWA O.Velocity measurement based on image blur[J].ABCM Symposium Seriesin Mechatronics,2008,3:633-642.

[5] 徐騁,劉永才,強文義,等.基于運動模糊效應的圖像測速方法[J].2008,37(4):625-628.

XU C,LIU Y C,QIANG W Y,et al.Image velocity measurement based on motion blurring effect[J].Infrared and Laser Engineering,2008,37(4):625-650.

[6] 龐濤,程小平.基于Radon變換的運動模糊圖像參數估計[J].科學技術與工程,2010,10(20):5551-5554.

PANG T,CHENG X P.Parameters estimation of motion blurred images based on radon trans formation[J].Science Technology and Engineering,2010,10(20):5551-5554.

[7] 段若穎,諶德榮,蔣玉萍,等.Radon變換對短模糊尺度下勻速直線運動模糊參數的準確估計[J].兵工學報,2013,34(10):1232-1235

DUAN R Y,CHEN D R,JIANG Y P,et al.Accurate estimation of motion blur parameters at short blurred extent based on radon transform[J].Acta Armamentarii,2013,34(10):1232-1235.

[8] 范海菊,馮乃勤.短模糊尺度下運動模糊參數的頻域識別方法[J].計算機工程與設計,2011,32(1):244-247

FAN H J,FENG N Q.Frequency domain approach to molion blurred parameters identification at short blurred extent[J].Computer Engineering and Design,2011,32(1):244-247.

Research on vehicle speed measurement method based on motion blur image

JIN Shoufeng1,FAN Di1,TIAN Mingrui2

(1.College of Mechanical and Electrical Engineering,Xi’an PolytechnicUniversity,Xi’an 710048,Shanxi,China;2.Key Laboratory of Highway Construction Technology and Equipment,Ministry of Education,Chang’an University,Xi’an 710064,Shanxi,China)

In view of the global motion blur of the scene image acquired by the vehicle vision system,the mathematical model of the body motion speed and image motion blur scale and imaging equipment parameters are established.By analyzing the spectral features of the global motion blurred image,the relationship between the direction of dark fringes,the pitch and the motion parameters is determined.On the basis of extracting the edge features of the dark stripe,a two Radon transform is proposed to estimate the motion blur direction and the fuzzy scale.Experimental results show that the proposed algorithm has good results,and the relative error between the speed and the average velocity of the experimental results is less than 2%.The reliability and validity of the proposed method are verified by the experimental results.

motion blur; spectrum characteristic; Radon transform; velocity measurement

長安大學高速公路施工機械陜西省重點實驗室開放基金資助項目(310825161123);西安工程大學博士基金資助項目(BS1535);西安工程大學研究生創新基金資助項目(CX201713)

金守峰(1979-)男,副教授,博士.E-mail:jdxyjsf@126.com

TP 391.4

A

1672-5581(2017)01-0083-07