基于Faster-RCNN的鰲江特大橋車輛識別技術

徐 偉，張立曉，陳智壽，邱國陽，談華順，趙雪峰

（1.溫州市交通工程質量監督局，浙江 溫州 325000；2.大連理工大學 土木工程學院，遼寧 大連 116024；3.大連理工大學 海岸與近海工程國家重點實驗室，遼寧 大連116024；4.浙江溫州沈海高速公路有限公司，浙江 溫州 325000；5.浙江省交通規劃設計研究院有限公司，浙江 杭州 310000）

0 引 言

車輛作為運輸行業的重要交通工具，其種類和用途極其廣泛。近年來，隨著中國經濟的快速發展和基礎設施建設水平的不斷提高，公路橋梁作為運輸業的重要渠道，發揮著越來越重要的作用，并受到了越來越廣泛的關注。截至2018年底，交通運輸行業發展統計公報顯示，國家高速公路年平均日交通量為26 435輛，增長5.4%。隨著科技水平的迅速提高，人工智能時代來臨，智能化交通系統的發展也在逐步完善。智能交通系統（Intelligent Transport Systems, ITS）是一個包含多種技術的統稱，指在交通系統中深度整合最新的信息技術、數字通信技術、計算機信息處理技術、自動控制技術以及傳感器等，形成一個可以覆蓋大面積，響應及時，效率高的綜合交通管理系統[1]，其核心是對道路橋梁中車輛類型進行準確識別。車輛類型的識別在道路交通監控管理、高速收費系統、停車場管理系統等方面被廣泛應用，具有較大的市場前景和經濟價值。

車型識別主要包括兩個方向[2]，即針對車輛車型類別的識別（客車、貨車等）與對車輛品牌型號的識別（奔馳、大眾等）。早期的車型識別方法包括基于傳統特征的支持向量機[3]、貝葉斯網絡[4]、BP網絡[5]、邊緣檢測算法[6]、壓力傳感、CCD[7]及基于紋理特征[8-10]等。由于計算機技術和深度學習技術的飛速發展，目前常用的主要是基于深度卷積神經網絡的車型識別方法[11-14]。

基于機器視覺的車型識別技術利用計算機自動分析由攝像頭采集獲取的視頻圖像，借助預先訓練好的模型使得機器能夠自動完成車輛的檢測和分類。該技術具有如下優點：

（1）采用非接觸式檢測，可保證車輛平穩運行；

（2）可以大范圍檢測交通流信息，設備可重復利用；

（3）可以實時監控，也可存儲采集的圖像，便于后期分析處理；

（4）識別精度高。

開展車輛車型識別意義重大，此舉對于解決交通環境問題、交通規劃問題和智能交通系統的發展具有重要戰略意義。

1 橋梁車輛車型識別技術

計算機技術和人工智能的發展使得基于視頻的車輛分類識別技術在交通管控中發揮著重要的作用。車輛類型識別技術利用高速相機設備代替人眼進行記錄和觀察，通過反復學習后，能夠以較高的準確度識別車輛類型，也可以實現對橋梁過往車輛類型多信息的檢測。該信息對橋梁安全穩定運營有著極大的參考意義，可為橋梁后期的管養和養護提供依據。

1.1 動態稱重系統及監控設備布置

動態稱重系統由傳感器和電子儀器組成，用于測量動態輪胎力和車輛通過時間，并提供輪重、軸重、總重等數據。該系統在車輛正常行駛狀態下，可利用埋地線圈感應車輛，獲得橋梁結構的動力響應，對其進行稱重檢測，較好地解決了傳統人工稱重過程復雜、效率低下等問題[15]。

在鰲江特大橋傳感器安裝過程中，通過安裝傳感器切槽，保證安裝區域路面平整無明顯凹陷、涌包、裂縫；要求切口比傳感器長約150 mm，同軸電纜切口應從傳感器切口的中央引出，特采用濕切法以減少對路面的破壞；保證灌封料與路面平齊，減少輪胎跳過傳感器的機會。傳感器安裝示意如圖1～圖3所示。

圖1 鰲江特大橋動態稱重系統傳感器安裝示意圖

圖2 鰲江特大橋單車道傳感器安裝示意圖

圖3 鰲江特大橋橫截面傳感器安裝示意圖

1.2 機器視覺車輛訓練模型

1.2.1 車輛分類

本文中車輛類型是指車輛的型式，通過車輛的普通特征、使用目的和功能等進行區分，如轎車、載貨汽車、客車、掛車、非完整車輛和摩托車均為單獨的類型。通過查閱相關資料，本文通過車輛荷載對車輛類型進行分類。所依托公路橋梁為高速公路，屬于全部控制出入、專供汽車在分隔的車道上高速行駛的公路。為了對車輛類型進行全方位監測，本文將車輛車型與荷載分為6類，分別為大型客車、中型客車、微型客車、大型貨車、中型貨車、小型貨車，分類標準見表1所列。

依據上述分類標準，本文對車輛類型進行標記，如圖4所示。

表1 車輛車型與荷載分類標準

圖4 車輛類型標記

1.2.2 訓練原理

較普通機器視覺[16-17]數字圖像處理技術采用邊緣檢測算法等提取特征不同，本文采用機器視覺深度學習方法，借助 Faster-RCNN（Faster Region-based Convolutional Network,Faster-RCNN）算法，通過大量車輛樣本的訓練，使計算機自動提取出不同的車輛類型。目標檢測的首個算法是由Girshick提出的RCNN算法[18]，但該算法需要耗費大量的訓練時間，訓練數據占用空間大，且測試效率較低。之后出現了Fast-RCNN算法[19]，該算法同樣存在訓練時間過長等問題。2016年，任少卿和Girshick等人提出了Faster-RCNN算法[20]，該算法在Fast-RCNN的基礎上，將候選區域的獲取集成在卷積神經網絡中，實現了點對點訓練與測試，效率大幅提高。Faster-RCNN算法構架如圖5所示。

圖5 Faster-RCNN算法構架示意圖

該算法中區域選取網絡（Region Proposal Network, RPN）結構的運用，可真正意義上把物體檢測流程融入神經網絡Faster-RCNN中。RPN的核心思想是使用卷積神經網絡產生Region Proposal，本質上是滑動窗口。Anchors是固定尺寸的邊界框，得到的boxes可作為第一次預測目標位置的參考，Ground Truth表示真值，Proposal表示預測值，三者關系如圖6所示。

圖6 Anchor box，Ground Truth，Proposal box關系圖

RPN的損失函數包括分類損失和回歸損失，該網絡結構中的總損失函數計算如下：

式中：i表示第i個Anchor；pi表示預測為某物體的概率；Ground Truth標簽pi*取值為0或1；ti表示Proposal box相對于Anchor box的偏移；ti*表示Ground Truth box相對于Anchor box的偏移；Lcls和Lreg表示分類損失和回歸損失；Ncls和Nreg為正則化參數；λ為加權平衡參數[20]。

2 測試準備

2.1 硬件參數

該測試平臺基于Caffe框架，使用GPU模式在工作站（CPU：Intel Xeon E5-2630 v4 @2.2 GHz，RAM：32 GB，GPU：NVIDIA Geforce GTX 1080 Ti）上實現。Faster-RCNN框架是根據工作站的硬件和軟件進行調整和構建的，并配置了所有文件路徑和超參數。CNN層和FC層（用于分類）分別采用0均值高斯分布初始化，標準差分別為0.01和0.001。

2.2 數據準備

圖片主要來自浙江寧波鰲江大橋，少部分圖片來自網絡，圖片均為單圖單車。結合橋梁車輛的特點和相關標準，本文將檢測車輛車型與荷載綜合劃分為大型客車（DK）、中型客車（ZK）、小型客車（XK）、大型貨車（DH）、中型貨車（ZH）、小型貨車（XH）六類。本次共訓練600張圖片（圖像分辨率為900×1 600像素），其中480張圖片為訓練集，即訓練集占總數據的80%，另外120張圖片為驗證和測試集，占總數據的20%。

3 車型識別測試結果

本文首先對600張圖片進行車輛類型訓練（圖片來源為鰲江特大橋監測數據庫，部分來源于網絡）。訓練結果中每個類別的Average Precision（AP）見表2所列，所有類別的AP平均值mean AP（mAP）為0.893 8。訓練模型精度表明：DK、ZK、XK、DH、ZH、XH類別的AP分別為0.921 0，0.882 3，0.818 1，0.849 2，0.946 3，0.945 5，六類車型識別的mAP為89.38%。

表2 訓練結果

測試選用未經訓練的車輛圖進行車型識別精度測試，車輛車型識別結果如圖7所示。系統識別精度最高可達100%，表明該訓練模型具有較好的魯棒性與較精確的識別監測效果。驗證該方法在視頻中的檢測精度：錄制視頻后對動態視頻中的車輛進行識別測試，結果顯示識別精度可以達到99.1%，如圖8所示。該方法為未來車輛管理、交通運輸業管理等提供了指導，具有重要的參考價值。

圖7 車型識別結果

圖8 視頻測試結果

4 結 語

為促進智能交通系統的發展，更好地管理車輛，并保障橋梁穩定運營，本文以鰲江大橋為依托，采用基于機器視覺的車輛類型識別方法對橋梁車輛進行識別和測試。首先主要介紹了鰲江特大橋稱重系統與機器視覺目標識別算法，然后依據該橋梁通行車輛特點將車輛分為六大類，經過訓練與測試驗證，表明該方法識別準確率較高。通過該方法的運用，可以實時監測、統計橋梁車輛情況，并為后期橋梁管養和狀態評估提供大量可靠數據，為建立更加智能化的智能交通系統奠定良好基礎。