高清視頻檢測和識別技術研究及其在城市交通中的應用

黃濺華，劉海峰

（中興智能交通（無錫）有限公司，北京 100089）

0 引言

近十幾年來，智能交通（Intelligent Transportation System，簡稱ITS）在我國得到了大力發展，各種技術在城市公安交通中的應用也日益普及，其中車輛的檢測、車輛行為分析、車牌識別（License Plate Recognition，簡稱LPR）和交通事件檢測就是其中之一。利用計算機視覺分析等先進的信息技術實現高效、安全的智能交通已成為交通、治安治理的主要發展方向。在《公安交通指揮系統建設技術規范》（GA/T 455—2010）中提出的交通事件檢測系統、交通違法行為監測記錄系統（包括闖紅燈自動記錄系統、超速監測記錄系統、其它違法行為監測記錄系統）、公路車輛智能監測記錄系統、機動車查緝布控系統等，都依賴于視頻檢測和識別技術。另外在旅行時間系統、區間測速系統、套牌車檢測系統、車輛區域關聯性查詢分析系統、公路收費、停車治理、交通誘導、交通執法、交通參數采集等領域也有廣泛的應用。這些是智能交通建設重要的基礎技術之一。

對基于高清攝像機的視頻檢測和識別，可以為智能交通的交通數據采集、違章檢測和記錄、車牌識別等應用提供技術基礎。如果能夠解決車輛檢測、車牌識別等技術，闖紅燈自動記錄系統、超速監測記錄系統、公路車輛智能監測記錄系統、交通流信息采集系統等的實現，就具備了很好的基礎。

1 視頻識別技術的現狀

從本世紀初開始的基于標清攝像機的車牌識別技術，一直是視頻檢測和識別中的關鍵。從技術路線的角度看，車牌識別系統按觸發方式不同可分為視頻觸發和外觸發；按成像條件可分為可見光成像和紅外成像；按運行平臺不同可分為硬件式和軟件式。不論是何種技術路線，其中的關鍵技術是一樣的，車牌識別系統都是由觸發、圖像采集、圖像識別模塊、輔助光源和通信模塊組成的。視頻觸發的完整的車牌識別處理流程如圖1-1所示。

圖1-1 車牌識別處理流程

車牌識別系統運行時，光學系統要經過事先調整，使到達指定位置的車牌成像最清晰且成像大小、方位符合要求。攝像機獲取圖像，經過數字化，系統對圖像進行分析，一旦檢測出車牌，就給出觸發信號，對車牌進行定位、截取車牌照片、進行字符分割和利用OCR（Optical Character Recognition，光學字符識別）進行字符識別。輔助光源提供輔助照明，保證系統在不同的光照條件下都能拍攝到高質量的圖像。

在眾多車牌識別軟件的應用中，不同的廠家采用不同的技術路線，主要包括以下方面：

a）有完全基于車牌識別進行檢測和觸發的 這種模式對逐幀或抽幀進行分析，一旦發現車牌即進行觸發和識別，由此進行觸發，這種模式效率比較高，所抓拍的照片有效性高，但對于沒有車牌的車輛會無法抓拍；

b）有基于虛擬線圈的方式進行檢測和觸發的然后對抓拍的圖片進行車牌識別（也即先檢測再識別），這種方式容易受到背景光變化的影響，缺點是誤觸發多、受環境影響大；

c）也有通過在視頻中劃觸發線的方式 如果有物體經過該觸發線，就進行觸發抓拍，這種方式和基于虛擬線圈的方式類似；

這幾種方式在不同場景下都可應用，根據識別的難易來確定，例如對于還無法識別車牌時或者要求無車牌都要進行抓拍，采用后面的兩種方式就更加適宜。

圖1-2是標清電子警察所抓拍的圖片。

圖1-2 標清電子警察抓拍的違章過程照片

車牌識別系統經過多年的發展，已成為一項較為成熟的技術，系統發展呈現出以下幾個明顯的熱點和趨勢：

a）高清晰 采用高清攝像機成像技術（通常為140萬、200萬、300萬和500萬像素，更高分辨率的高清楚攝像機也已出現），并結合補光技術，對車輛抓拍的圖像質量大大提高，不僅可以清楚抓拍車牌，還可以提供高質量的前排司乘人員的面貌圖像，并且可以記錄車輛全貌及車載情況等信息；

b）高智能 通過智能分析和目標跟蹤技術，抓拍對象已不僅局限于機動車，且擴展至非機動車，通過計算機視覺技術，不僅可識別車牌號，同時可識別車身顏色、車輛類型（貨車、大巴、中巴、小型貨車等）等，使檢索查詢更方便，更迅捷；

c）視頻檢測觸發 基本原理是采用計算機視覺技術和目標跟蹤技術來分析視頻流，檢測出其中的運動目標而實現抓拍，視頻檢測觸發方式主要優點是不需外部觸發源，系統安裝維護簡單。

最近幾年來，業內開始研究高清的車牌識別。目前基于高清的車牌識別的許多系統也逐漸開始商用，但還在不斷完善之中。圖1-3是高清電子警察抓拍的違章過程照片。

圖1-3 高清電子警察抓拍的違章過程照片

2 高清視頻檢測和識別技術

從標清的攝像機所抓拍的圖片可以看出，由于像素低，在既要兼顧看清車牌還要覆蓋整個路口的幾大要素的要求下，只能由多個攝像機組合來分別完成，同時，以往的闖紅燈系統往往只針對虛擬線圈所標識的區域進行分析計算，因此無法處理車輛被遮擋和車速較快的情況，并且對光照和天氣變化非常的敏感，對環境的適應能力比較差。

而隨著高清攝像機的商用和性能不斷提高，已經完全可以對由一個攝像機采集的視頻進行分析來完成檢測車牌和抓拍全景。由此，需要采用與傳統的標清攝像機不同的檢測和識別技術。在各個廠家的應用中，也略有差異。不少廠家采用標清一樣的檢測方式，包括基于車牌識別進行檢測、基于虛擬線圈的方式，甚至還有基于外觸發的方式，包括線圈、地磁檢測和雷達等。而最經濟實惠又可以充分利用視頻的方式是車牌識別和車輛檢測相結合的純視頻觸發方式。

基于高清視頻技術的車牌識別系統采用數字高清成像技術，能達到1600×1200分辨率甚至更高的像素，有效像素在200萬以上，是標清系統的5～10倍以上，可用一臺高清攝像機覆蓋更大的目標識別場景，并能夠對局部目標進行清晰放大和辨識，很好地解決交通業務部門對嫌疑目標面部特征、前排司乘人員面部特征、可疑車輛車型外貌的細節識別問題。基于高清視頻技術的車牌識別系統從根本上擺脫了標清成像的技術限制，采用了具有豐富擴展功能的視頻檢測觸發和高清成像技術，可完成從采集圖像到完成車牌識別的全部功能。

基于高清視頻技術的車牌識別系統，采用視頻全區域多規則動態檢測跟蹤技術，是目前基于計算機視覺的最先進的技術，對全部區域不同方向、不同速度移動的所有車輛或物體，進行不同視角、不同種類的復雜檢測，采用改進的粒子濾波方法進行跟蹤，而后對軌跡或物體進行復雜交通規則判斷的綜合技術。這里采用了差幀檢測比較和車牌檢測識別相結合的技術，具備跟蹤車輛行駛軌跡的功能，能夠很好地判斷車輛直行、左轉、右轉等行駛方向。這種算法在實時視頻中進行處理，而不是靠外觸發抓拍圖片再進行識別。

高清視頻檢測和識別流程圖如圖2-1所示。

在這里，采用綜合性混合優化的計算機人工智能算法，利用大量學習樣本，加入了在線學習模塊，采用最新的反饋型學習模型來自適應環境的變化，提高了系統對環境的適應能力，同時對圖像信息密集采樣，對每一幀的全景信息進行實時分析計算，用一種完全基于學習的多種特征融合的車輛定位新算法對圖像進行車輛定位，判別出真正的車輛，進行車輛鎖定并對鎖定的車輛進行實時跟蹤。然后得到車輛的精確位置以及車輛運動的矢量軌跡曲線圖，提高了對環境變化的適應能力，綜合分析各種噪聲的整體特征和局部特征，并采用國際上先進的計算機啟發式混合智能優化算法，實現對各種噪聲的過濾和衰弱，該算法對噪聲的濾除作用明顯，對攝像機的系統噪聲、車輛以及樹木等的陰影、行人、非機動車輛、夜晚車輛大燈、大雨、雪、地面有水時的反光等等各種環境噪聲都有很好的濾除和衰減作用，大大提高了系統的捕獲正確有效率。特別是對夜晚環境的噪聲有較好的濾除作用，提高攝像機夜晚的畫面質量。

圖2-1 高清視頻檢測和識別流程圖

3 高清視頻檢測和識別技術的應用

這里對具備卡口系統功能的闖紅燈自動記錄系統（電子警察系統）的應用進行分析。

3.1 系統描述

基于高清攝像機的電子警察系統集成了最新圖像抓拍與識別技術，可對路口機動車輛闖紅燈行為進行準確檢測，并輸出違章車輛違章過程的全景和車牌特寫圖片以及車輛違章的有關信息，同時系統可以記錄在綠燈期間所有通過的車輛車牌號碼。通過對視頻的動態分析，本系統通過采用國際領先的視頻分析算法，實現了準確的視頻觸發，對車輛和車牌的檢測不需要添加任何外部觸發裝置，且將光照影響，非機動車、樹蔭等各種干擾因素的影響最大程度地降低。

3.2 系統結構

電子警察系統由路口前端設備、網絡傳輸系統和中心管理系統構成。系統結構如圖3-1所示。

圖3-1 電子警察系統結構圖

路口前端設備部分主要由視頻檢測捕獲設備（高清攝像機、智能頻閃燈）、紅綠燈檢測器等組成，完成紅綠燈狀態檢測、機動車闖紅燈、壓黃線、壓實線、逆行、不按規定車道行駛等違章行為檢測抓拍、違章圖片抓拍數據存儲和傳輸、補光燈控制等功能，相關信息網絡上傳等任務。

電子警察系統采用工業級高清攝像機，通過對高清視頻流的分析，對車輛違章行為進行檢測觸發，對違法闖紅燈車輛抓拍3張圖片（一張違法車輛在停止線前，一張違法車輛在停止線上，一張違法車輛在停止線后，同時對一張照片中剪切出包含車牌的特寫照片，這四張照片可以根據客戶需要進行組合調整），該組圖片信息可清晰地反映車輛違法地點、違法車道、行駛方向、闖紅燈違法時間、紅燈開始結束時間、違法類型、車牌號碼、車輛類型、圖片序號、紅燈信號（含箭頭燈）以及車輛壓在或越過停車線等情況。同時將圖片等數據實時上傳給中心數據庫服務器，供用戶查詢與處理。系統可以根據客戶需要進行相應修改，以滿足各種不同的需求。

每天由高清攝像機抓拍的違法車輛圖片及路口實時圖像定時或實時上傳到控制中心服務器中。控制中心的工作人員通過管理計算機的錄入數據庫服務器并在違法圖片、圖像上疊加違法車輛信息，然后保存在服務器的電子警察網站上。交警支隊通過標準網絡瀏覽器程序登錄電子警察網頁，并根據所分配的權限，對所管轄路口的違法車輛進行處理，處理的時間、處理人、處理結果等相關內容同時保存在電子警察網站上，可供事后查詢。

圖3-2 白天效果圖

圖3-3 夜間效果圖

圖3-4 逆光時未處理效果

圖3-5 逆光時處理后效果

圖3-6 機動車在非機動車道內行駛

3.3 系統抓拍的圖片

高清攝像機闖紅燈電子警察系統，采用國際領先的計算機智能跟蹤算法技術，對高清視頻流中每一輛車都能進行實時跟蹤并記錄其運動軌跡，系統可根據車輛運動軌跡智能判斷車輛行駛方向，自動實現機動車闖紅燈違法監測抓拍功能——拍攝車輛的尾部來實現車輛的動態跟蹤。

圖3-2～圖3-10，是高清攝像機闖紅燈電子警察系統抓拍的結果照片。

圖3-7 直行車道左轉

圖3-8 直行車道右轉

圖3-9 機動車逆向行駛

圖3-10 車輛壓實線行駛

路口的左轉、直行、右轉和非機動車道都使用高清攝像監控設備，以保證經過路口的所有機動車輛、非機動車輛和行人都有記錄，對機動車重點監控，以便為以后可能發生的事件還原作基礎。

4 結語

基于高清攝像機的車輛檢測和識別技術與標清攝像機的車牌識別相比具有眾多優勢，在智能交通的城市公安交通中應用廣泛，可以實現對車輛檢測、車輛行為分析和跟蹤、車牌識別。在本文中，對基于高清攝像機的車輛檢測、車牌識別進行了分析和研究。采用綜合性混合優化的計算機人工智能算法，利用在線學習模塊，采用最新的反饋型學習模型來自適應環境的變化，通過對每一幀的全景信息進行實時分析計算，提出了一種完全基于學習的多種特征融合的車輛定位新算法對圖像進行車輛定位，實現對車輛進行實時跟蹤。最后對于高清視頻檢測和識別技術在城市公安交通中包括具備卡口監控功能的電子警察系統的應用進行了分析。

[1]宋昆.車牌識別系統的關鍵技術[J].計算機世界報， 2005， （8）： B6-B8.

[2]張宏林.VC++數字圖像模式識別及工程實踐[M].北京：人民郵電出版社，2003.

[3]黃濺華.車牌識別技術在高速公路收費系統中的應用[EB/OL].http://www.doc88.com/p-515799956731.html，2012-12-10.

[4]GA/T 455—2010，公安交通指揮系統建設技術規范[S].