基于雙目視頻分析的高速公路道口車輛速度估算

陳 靜,王 軍,宓 超,鳳宇飛,張志偉

(1.廣西交通科學研究院有限公司 智能交通事業部,南寧 530000; 2.上海海事大學 集裝箱供應鏈教育部 工程研究中心,上海 201306; 3.上海海矚智能科技有限公司 智能交通研發部,上海 201306)

目前,汽車車速的自動檢測是智能交通領域的一個重要研究方向.汽車車速作為車輛行駛過程中的一個重要行為指標,為眾多智能交通系統提供了前期檢測基礎與后期分析依據.但目前市場上針對車型自動識別等場景的測速應用并沒有較好的解決方案.原因主要有以下兩個方面:一是上述測速場景對測速精度要求不高,所以市場上現有的高精度車速檢測系統對于這類道口測速應用意義不大;另外一個原因則是目前市場上的車速檢測系統成本普遍比較高,超出了上述應用系統所能承受的范圍.因此,本文提出了一種基于雙目視覺的低成本車速檢測方案,在保證一定檢測精度的情況下,將整套測速系統成本控制在千元以內.

在現有的智能交通系統中,車速測量的方法主要有線圈測速、激光測速、雷達測速、視頻測速等[1].線圈測速雖然成本較低,但線圈容易受到冰凍、路基下沉等影響,且當車流擁堵時,線圈不能有效分車,這大大降低了檢測精度[2-3].激光測速在遇到路口多、道路多、車輛多的情況時,其單點測量的效率就會無法滿足要求[4-5].雷達測速雖然被廣泛使用,但由于雷達波是沿直線發射和反射的,因此,如果雷達本身放置不當,會使被測車輛的讀數被其他車輛所替代[6-9].目前基于視頻檢測的測速方法,是將攝像機安裝在通行車道的上方,通過攝像機獲取的圖像計算被測汽車在每兩幀之間的位移來得到被測汽車的行駛速度.現在采用的檢測方法主要有角點檢測[10]、紋理分析[11]、背景差分法[12]等.但上述檢測方法都存在一定的問題:背景差分法普遍存在不能及時更新背景物體的變化、計算量比較大、占用內存太大等問題,從而導致運動汽車的誤檢或漏檢;角點檢測法則在穩定性和有效性方面存在一定問題[10];紋理分析法則需要輔以虛擬線圈并且當光照變化時誤檢率和漏檢率會提高[11].因此,上述幾種視頻檢測方法在一定情形下雖然能取得較好的檢測效果,但它們都由于較大的計算量或者穩定性等問題無法滿足實時測速的要求;而且由于攝像頭要架設在車道上方,這給施工等也帶來了一定的難度.

綜上所述幾種汽車測速方法存在一定的不足,本文中提出一種基于連續視頻分析的汽車車速測量方法.該方法通過安裝在汽車通行車道旁邊的攝像機,獲取汽車運行過程中的一系列圖像序列,對這些圖像上某一特征點位置的變化進行分析,獲得這一特征點在兩幀圖像之間移動的像素差,最后結合相機坐標與世界坐標的轉換,實現對被測汽車的車速實時精確測量.

1 車輛速度估算算法

傳統車速檢測算法大多采用單目視頻利用幀差法[13]、背景減除法[14]、光流法[15]等運動目標跟蹤算法來實現.幀差法的運動目標檢測主要基于相鄰幀間差來實現,面對本文中的大型客貨車,運動目標畫幅占比大,且顏色單一,極易出現運動雙影和空洞;背景減除法和光流法則主要基于背景建模以及對視頻圖像進行光流場的計算,檢測前景運動目標,這兩種方式的計算復雜度極高,抗噪聲性能較差,因此,同樣不適用于本文高速公路道口車輛速度檢測.

本文高速公路道口的車輛速度檢測具備以下特點:① 全天候條件下的單一背景.在攝像機靜止狀態下,面對全天候光照變化下的單一背景,同時具有單一背景和復雜光照環境兩種特性.② 復雜前景運動目標.高速公路道口的運動車輛大小差別較大,尺寸較小的小客和體型較大的大型客貨車同時存在,甚至大型客貨車已超出圖像成像范圍,此時運動區域將覆蓋整幅畫面.

本文采用加速穩健特征(Speeded Up Robust Features,SURF)點匹配的方式進行車速檢測,提出一種基于現場可編程門陣列(Field-Programmable Gate Anay,FPGA)的雙目特征點時序空間匹配的車輛測速算法,算法的主要流程如圖1所示.首先在圖像預處理后進行特征點提取.其次對兩個攝像機圖像進行雙目視覺的時序空間匹配,主要分為兩部分:① 同步異位特征點匹配的靜態背景剔除和運動物體測距;② 異步同位特征點匹配的運動距離檢測.最后,利用運動距離和相鄰圖像的時間間隔獲取運動車輛的平均速度大小.

1.1 SIFT/SURF特征提取

同其他特征點描述算子相比,尺度不變特征變換(Scodc-Invariant Reature Transform,SIFT)/SURF特征點描述具備平移、旋轉和多尺度的不變性優勢,在視頻時間序列圖像的車輛特征點匹配時能夠保持很好的魯棒性[16].因此,本文車輛測速算法主要基于SIFT/SURF特征點來提取圖像感興趣點.

圖1 車輛速度估計算法流程Fig.1 Estimation algorithm flow of vehicle speed

SIFT特征的主要思想是通過構建圖像多尺度金字塔檢測尺度空間中的極值點來實現的.首先,利用尺度參數構建多尺度圖像金字塔,獲取高斯差分圖像(Difference of Gaussions,DoG);其次,在DoG圖像中進行極值點檢測,消除邊緣響應和低對比點后即為真正的關鍵點;最終,將關鍵點梯度進行加權投影,并對特征向量進行歸一化.SIFT特征的提取算法步驟如下:

步驟1尺度空間構建.在原圖基礎上,利用尺度參數的變化獲得一系列不同參數的圖像序列,組成圖像尺度空間.該圖像序列是通過高斯核函數計算原圖卷積獲得,即

(1)

式中:σ為高斯核函數的尺度參數;L(x,y,σ)為σ尺度參數下的卷積圖像;I(x,y)為原始圖像.

在高斯核函數計算卷積過程中,圖像序列的細節特征不斷丟失,σ越大丟失細節越多,其表示的圖像尺度也越大.

步驟2極值點檢測.將DoG空間的圖像像素點與其三維領域空間中的所有像素點進行對比,計算極值點.

步驟3關鍵點定位.在DoG空間中,離散化的極值點并非真正意義上的極值點.因此,需要對極值點進行函數擬合以定位關鍵點,同時去除低對比點和邊緣響應點,擬合公式為

(2)

式中:D為離散極值點;D(X)為DoG空間圖像;X=(x,y,σ)T.

極值點偏移量為

(3)

將式(3)代入式(2)中,獲得對應的極值點計算公式為

(4)

本文將計算值小于0.03的極值點判斷為低對比點,予以丟棄.此外,在檢測邊緣時,高斯差分計算往往會產生較大的主曲率,有著強烈的邊緣響應,會對關鍵點產生極大干擾,因此,還需要去除邊緣的不穩定點.

步驟4主方向分配.去除低對比和邊緣點后剩余的極值點即為特征描述關鍵點,其梯度大小和方向計算為

步驟5特征向量生成.

通過上述步驟后,關鍵點具備了位置、尺度及方向數值,SIFT特征則是利用一組向量將這個關鍵點描述出來.本文使用尺度空間4×4的窗口范圍內的8個方向梯度信息來描述特征向量.為了滿足尺度、旋轉不變性,特征向量計算過程中的領域范圍為圓形半徑覆蓋區域,且將坐標軸旋轉與關鍵點方向一致.統計上述4×4×8=128個梯度信息組成該關鍵點的梯度方向.最后,為了消除光照影響對特征向量進行歸一化處理,生成SIFT特征描述向量.圖2為SIFT特征檢測結果.

圖2 道口車輛圖像SIFT特征檢測結果Fig.2 SIFT feature detection result ofthe crossing vehicle image

SURF是對SIFT算法的改進,在保證性能不受影響的情況下,加快了算法運行速度.因此,為了滿足低成本硬件下的計算性能,降低計算復雜度,本文使用SURF特征來提取車輛圖像特征.

1.2 同位異步特征點匹配

SURF特征點提取后,針對雙目相機的圖像序列做特征點匹配檢測,匹配分為兩部分——同位異步特征點匹配、同步異位特征點匹配,分別解決運動車輛位移檢測問題和運動車輛運動測速問題[17].下面將對第一部分同位異步特征點匹配算法進行詳細描述.

(7)

圖3為同位異步特征點匹配結果.

圖3 同位異步特征點匹配結果圖Fig.3 Match result graph of the co-locatedasynchronous feature points

(2) 背景分離.將特征匹配成功的向量組對應到兩幅圖像的特征點P1m,P1n,計算兩個特征點在圖像中的像素點距離為

(8)

根據式(8),DL接近于0的匹配點表示同一相機兩個時間點的像素運動距離為0,標記為背景像素.如圖3中虛線框中的匹配點即為背景像素.

(3) 運動檢測.根據式(8)計算,特征匹配點像素距離遠大于0的像素區域即為運動區域,將其標記為運動像素.統計所有運動像素的運動距離,中值濾波后即為運動車輛的移動距離像素大小,記為Dc.圖3中實線框中的匹配點即為運動像素.

1.3 同步異位特征點匹配

在上一小節中,同位異步特征點匹配實現了單位時間內車輛運動距離像素大小的檢測.為了獲得車輛運動速度,本文采用同步異位特征點匹配來實現運動距離像素與實際距離之間的轉換.

同步異位特征點匹配,即為同一時刻不同位置的相機圖像的特征點匹配.同樣根據特征點匹配結果,本算法主要分為坐標系轉換、同步異位匹配測距、車輛速度測量3部分,具體算法流程如下:

(1) 坐標系轉換.如圖4所示,在本車輛測速系統中,首先需要將世界坐標系(X,Y,Z)中的點與攝像機圖像坐標系(x,y,z)中的點建立轉換關系,由于圖像為二維,故z=0.

令攝像機焦距為f,則坐標系轉換式為

(9)

式中:Z為攝像機平面與拍攝目標所在位置的距離.

(2) 同步異位匹配測距.如圖5所示,本文采用兩個位置攝像機同時拍攝道口區域,P為兩幅同步異位圖像的特征匹配同名點.假設運動車輛在實際坐標中的位置P(X,Y,Z),在左右兩個攝像機位于同等水平面,且水平距離為D,圖像中的位置分別為P(xleft,yleft),P(xright,yright).根據式(9),以下等式成立:

(10)

式中:Δx為兩幅同步異位圖像中同名點的像素差.

圖4 攝像機坐標系轉換原理Fig.4 Conversion principle of the cameracoordinate system

圖5 同步異位匹配測距原理Fig.5 Matching ranging principle ofthe synchronous ectopic

圖6所示為同步異位特征點匹配結果圖.

圖6 同步異位圖像特征點匹配效果圖Fig.6 Matching rendering of the synchronousectopic image feature points

綜上,運動車輛速度計算公式為

(11)

式中:s為車輛運動速度;Δd為同位異步同名點像素差;t為相機抓拍間隔.

2 測速試驗及結果分析

為了驗證本文測速系統的測量精度,做了如下真實應用環境下的精度測試實驗.

2.1 實際應用環境精度測試

實際應用環境精度測試設置在廣西省防城港收費站ETC出口車道,如圖7所示.在測試過程中,我們無法預先知道車輛的真實行駛速度,因此,對于真實車速的測量我們采用高精度手持測速儀進行檢測,將測量結果與本文測速系統測量結果進行對比,實驗結果如表1所示.

圖7 實際應用環境車速測量現場實驗Fig.7 Field experiment of the speed measurement inpractical application environment

實驗結果可以看出:本文提出的車速檢測系統有較優異的表現,測速誤差能保證在15%以內.這主要得益于本文測速算法采用同位異步特征點匹配和同步異位特征點匹配相結合的算法.若單使用同位異步特征點匹配,則需要對現場環境進行標定,得到單個像素點所對應的位移,但該位移的大小會隨著汽車側面離攝像機的遠近而改變,從而造成測量誤差;若單使用同步異位特征點匹配,則無法較為準確地得到當前車輛的位移像素點,從而造成測量誤差.而本文車速測量系統將時間與空間的相關性相結合,使得整個系統無需對環境進行標定,直接拍攝車輛即可以較高精度完成測量,靈活性好.

表1 實際應用環境車速測量結果及誤差分析Tab.1 The results and error analysis of the speedmeasurement in practical applicationenvironment

3 結論

本文提出了基于連續視頻分析的高速公路道口車輛速度跟蹤方法,通過雙目視覺技術特征點提取、同位異步特征點匹配和同步異位特征點匹配等算法,獲取汽車在兩幀圖像間行駛的距離和單位像素的位移大小,從而計算得到被測車輛當前的行駛速度.通過實驗可以證明:該方法能夠使用較低成本,實現高速公路智能道口車型識別、ETC稽查、超限檢測等應用場景下的實時車速檢測.