基于多屬性層次識別的車輛視頻檢索系統設計研究

顧思思

（湖南科技學院電子與信息工程學院，湖南 永州 425199）

基于多屬性層次識別的車輛視頻檢索系統設計研究

顧思思

（湖南科技學院電子與信息工程學院，湖南 永州 425199）

交通監控視頻中車輛的有效檢測和實時跟蹤，是車輛行為分析和識別的前提，也是智能交通系統（ITS）的核心內容和關鍵技術。本文在深入分析當前車輛屬性識別方法以及車輛視頻檢索關鍵技術的基礎上，結合交通監控視頻的自身特點，從應用的角度出發，設計一款融合車牌、車身顏色、車型等多個車輛外觀屬性進行層次識別的機動車輛檢索系統。該系統可為用戶提供多種查詢方式，從而實現交通監控視頻中相關機動車輛的準確檢索。

多屬性；層次識別；交通監控視頻；車輛檢索

1 引言

車輛視頻檢索系統是基于內容的視頻檢索技術（Content-based Video Retrieval,CBVR）在交通視頻監控領域的重要應用，它可以按照人們的需求，通過車輛檢測、車輛屬性（顏色、車標、車牌、車型等）識別等技術手段，在眾多的視頻庫中自動尋找到滿足要求的目標車輛，從而有效緩解基于人力的檢索與視頻大數據之間的矛盾。目前的交通監控視頻車輛檢索系統多采用單一的基于車牌識別技術。汽車牌照作為汽車身份的唯一標識，在作為視頻檢索條件時能更準確地實現某一具體車輛的自動識別，但其面對套牌、無牌或是車牌遮擋等問題時卻束手無策。

2 系統的設計要點

為彌補傳統基于車牌識別或是基于單一識別方法在使用時的局限性，本文提出采用融合車輛的車牌、顏色、車型等多個外觀屬性來進行共同識別的車輛檢索方法。因此，本系統需要對車輛視頻檢索匹配各階段的關鍵技術進行研究和分析，以切合系統需求進行優化改進，尋求最佳解決方案。

2.1 關鍵幀的提取算法

視頻由大量的幀組成。關鍵幀是指能夠反映鏡頭內容的一幀或者幾幀，關鍵幀選取的好壞將直接關系到后續特征提取的效果和最后檢測結果的準確性以及系統的實時性。關鍵幀的檢測通常有基于鏡頭分割的方法、基于內容信息平均的方法、基于特定對象的方法和基于聚類的方法等幾種。本系統的首要任務就是尋找一種適合的關鍵幀檢測和提取方法，不僅要能夠對有效的運動車輛信息進行關注和提取，還要能夠對非機動車輛的信息進行有效的屏蔽，同時還要考慮提取算法的時間和空間復雜性。

2.2 圖像預處理算法

通常情況下，從交通監控視頻中提取到的關鍵幀圖像，難免會受到一些外部環境或是攝像機自身的影響而產生噪聲。因此，在提取特征之前對攝像頭獲取的車輛圖像進行預處理是十分必要的。常用的圖像預處理方法有圖像平滑、圖像灰度化、圖像均衡化、圖像分割、圖像邊緣檢測以及圖像歸一化等。本系統需設計適合的圖像預處理流程，以消除圖像中所夾雜的噪聲對后續特征提取的干擾。

2.3 車輛顏色識別、車型識別以及車牌識別算法

車輛顏色、車型以及車牌的識別算法眾多，它們針對不同應用場合各有所長。本系統研究的是基于車牌、車身顏色、車型等多個車輛外觀屬性層次識別的機動車輛檢索系統，其中車身顏色與車型識別的目的是為了生成類別標簽以縮小后續檢索范圍。因此，選擇查全率和查準率高的識別方法顯得尤為重要。而車牌識別是在車身顏色與車型匹配的基礎上進行的進一步檢索，系統需對待檢測對象和與其同顏色同車型的所有車輛進行車牌識別，為了不影響系統的檢索效率，應優先選擇計算量小實時性高的識別算法。

3 系統設計方案

3.1 系統整體設計方案

參照傳統的基于內容的視頻檢索系統構成框圖，本文所設計的檢索系統擬由以下三部分組成：數據庫生成系統、查詢/檢索系統以及數據庫，其系統總體框架如圖1所示。

圖1 系統總體框架圖

系統的檢索流程是：當往視頻庫添加一段視頻流時，數據庫生成系統會自動地對這段視頻進行關鍵幀提取并進行車輛顏色和車型的識別，并將生成的標簽連同關鍵幀圖片信息一同保存到圖像庫中。查詢系統面向用戶提供查詢界面，當用戶需要進行檢索時，通過查詢系統來提交相應的查詢條件。本系統提供以輸入的文本標簽信息為條件的基于文本語義的查詢和以車輛圖像或視頻作為輸入條件的基于內容的查詢兩種方式。對于基于文本語義的查詢，系統只需將輸入信息與圖像庫中各圖片的標簽進行匹配，找到符合條件的車輛圖像作為結果反饋。對于基于內容的查詢，如果輸入為圖片則直接進行顏色和車型識別，然后根據識別結果進行圖像數據庫的標簽匹配，以縮小下一步的檢索范圍。接著根據能否對輸入圖片定位車牌來決定下一步是進行車牌識別還是特征提取：若為車牌識別則需對待檢測圖片以及與其同標簽的圖像數據庫中所有車輛圖片進行車牌定位、車牌矯正、字符分割等操作，再最終通過訓練好的BP神經網絡對車牌字符進行識別，對比識別結果并反饋用戶；若為特征提取則對待檢測圖片以及與其同標簽的圖像數據庫中所有車輛圖片進行特征因子提取、歸一化處理，然后進行相似性計算，并以計算結果為依據將符合條件的車輛圖片作為結果反饋。如果查詢系統選擇基于內容檢索的輸入為車輛視頻，處理的流程則是在以上以圖片為檢索條件的步驟之前再多加一步視頻關鍵幀的提取。

3.2 本系統視頻關鍵幀提取方案

交通監控視頻通常拍攝機位固定、場景鏡頭上不存在人為的后期剪輯，因此，一段交通監控視頻可以視為一個鏡頭。本系統采取的方式為將不同的視頻段作為一個連續的鏡頭來處理，以降低視頻處理的復雜程度。然后根據交通監控視頻中車輛運動特征明顯的特點，選擇基于車輛運動特征進行關鍵幀提取方法：在運動目標檢測上，考慮到基于混合高斯模型的背景差分法易受光照、天氣等因素的影響，而幀間差分法又常常會檢測出空洞的缺陷，擬采用將二者檢測結果進行互補的方法；接著選用基于加權頂帽變換算法來對運動目標進行陰影去除；最后通過在圖像中設定水平虛擬檢測線來實現關鍵幀的觸發提取。

3.3 本系統的車輛顏色識別方案

本系統用于顏色識別的車輛圖像是從實景拍攝的車輛視頻中獲得，因此易受自然光線中光照強度和光照偏移的變化。為了減少它們的影響，本系統選用五種顏色直方圖作為顏色特征用于車輛的顏色識別，分別是：rg顏色直方圖、Opponent顏色直方圖、Transformed顏色直方圖、Lab顏色直方圖和顏色矩。車輛顏色識別算法擬采取的步驟是：訓練過程首先對訓練數據庫中的所有圖像提取這五種顏色特征，接著進行RBC編碼，進而提取FC特征，然后利用事先對顏色類別標定標簽訓練出SVM模型。而測試過程則要將所有的測試圖像進行相同的特征提取，再通過訓練出的SVM模型對測試圖像進行顏色識別。

3.4 本系統的車型識別方案

車輛前臉圖像，簡稱“車臉”，與人臉一樣都具有各自獨特的特征，包含很多有用的信息。車臉特征顯著且結構性較強，外形輪廓突出立體，有利于分類的特征提取，可以識別出車輛品牌型號。因此，本系統采用基于車臉特征的車型分類方法。首先以車臉檢測矩形與車輛檢測矩形的相對比例作為經驗值，對傳統的Adaboost分類算法進行改進，從而訓練出車臉檢測器以定位車臉。然后選取車輛的散熱器隔欄、車燈區域作為ROI提取特征，使用特征直接集成的方式組合成特征向量。最后訓練融合多特征識別的車型分類器進行車型識別。

3.5 本系統的車牌識別方案

車牌識別過程主要包括車牌定位、車牌校正、車牌字符分割和字符識別。本系統采用結合垂直邊緣檢測和車牌顏色對檢測以及用車牌幾何特征進行連通域分析的方法來完成車牌的定位，用Radon變換完成車牌校正，用基于垂直投影及字符寬度經驗值的方法進行字符分割，用訓練好的BP神經網絡完成字符的識別。

4 結束語

本文在研究車輛監控視頻特點以及車輛檢索相關技術的基礎上，提出使用一種綜合運用車輛的車牌、顏色、車型等多個車輛外觀屬性作為共同的識別條件進而對視頻數據庫進行層次檢索的方法，以彌補傳統基于車牌識別或是基于單一識別方法在使用時的局限性，實現交通監控視頻中相關機動車輛的準確檢索。本系統的實現不僅能為城市的交通規劃提供第一手的數據，還可為交管部門和公安部門追查違章和肇事車輛提供極大的便利，具有較強的現實意義和樂觀的發展前景。

[1]魯建飛，謝振平，劉淵．融合多重Bayesian決策的多視覺視頻車輛快速檢索算法[J]．小型微型計算機系統，2015，32(05)：1122-1126．

[2]張子龍，薛靜，喬鴻海等．基于改進SURF算法的交通視頻車輛檢索方法研究[J]．西北工業大學學報．2014，32(2)：297-302．

[3]連捷．基于圖像的車輛區域檢測及車輛品牌型號識別技術研究[D]．南京：東南大學，2013．

[4]笪東旭．基于車臉識別的套牌車檢測方法研究[D]．西安：西安電子科技大學，2013．

[5]]Pan C，Bai X，Liu W Y．Vehicle color recognition on urban road by feature context[J]．IEEE Transactions on Intelligent Transportation System．2014，15(5)：2340-2346．

[6]Lin Y L，Tsai M K，Hsu W H，et al．Investigating 3-D model and part information for improving content-based vehicle retrieval[J]．IEEE Transactions on Circuits and Systems for Video Technology．2013，23(3)：401-413．

Research on the Design of Vehicle Video Retrieval System Based on Multi-attribute Hierarchical Recognition

Gu Sisi
(Hunan University of Science and Engineering,Yongzhou 425199,Hunan)

The effective detection and real-time tracking of vehicle in traffic surveillance video is the premise of vehicle behavior analysis and identification,and also the core content and key technology of intelligent transportation system (ITS).By analyzing the current key technologies of the vehicle attribute recognition method and vehicle video retrieval, combining with the own characteristics of traffic surveillance video itself and for the purpose of application,this paper designs a vehicle retrieval system which fuses the license plate,body color,vehicle models and other vehicle appearance attributes for hierarchical recognition.The system can provide users with a variety of search methods,so as to realize the accurate retrieval of relevant vehicles in traffic surveillance video.

multi-attribute;hierarchical recognition;traffic surveillance video;vehicle retrieval

TP391.41

A

1008-6609(2017)07-0014-03

顧思思（1982-），女，湖南永州人，碩士，CCF會員，研究方向為計算機視覺、圖像處理與模式識別。

湖南省教育廳一般科研項目，項目編號：17C0678；永州市科技局指導性科技計劃項目，永科發[2015]9號，項目編號：13；湖南科技學院計算機應用技術重點學科資助。