計算機視覺在交通中的應用綜述

單曉峰 顏新云 江筱薇

摘要：隨著車輛的迅速增長，交通問題日益嚴重，與計算機視覺技術的結合可以更好地利用交通場景中的監控視頻和照片來識別獲取相應數據，為交通問題的解決提供相應的支持方案。本文首先介紹了交通問題和計算機視覺原理，然后將計算機視覺在交通場景中的處理對象分為人、車、路三類，分別總結了相關應用內容和方法。最后對計算機視覺在交通中應用中存在的問題就行了總結和展望。

關鍵詞：交通問題;計算機視覺;視頻處理;圖形圖像處理

中圖分類號：TP311? ? ?文獻標識碼：A

文章編號：1009-3044（2020）35-0188-03

開放科學（資源服務）標識碼（OSID）：

隨著人口和經濟的發展，交通運輸車輛數量增長越來越快，由此帶來了一系列交通問題，如交通擁堵問題、行人安全問題、城市規劃問題等。尤其是在大城市地區的交通高峰時段問題尤其突出，甚至已經成為影響人們工作和生活的重大問題。這一現象給科研人員和政府管理人員帶來巨大壓力和挑戰，如何保障交通系統的有序運轉，改善出行環境，成為交通研究的首要問題。在探索解決和優化交通問題的過程中，各種技術手段陸續被運用到其中，如GIS地理信息系統、RFID射頻識別、IoT物聯網等。隨著交通視頻監控的加強，視頻處理分析技術的發展，計算機視覺技術因其強大的視頻圖像處理功能，在交通中的應用探索越來越廣泛。

1 計算機視覺技術簡介

計算機視覺技術在60年代末到70年代初開始進入重要發展存在。通過對相機原理圖、投影和攝影測量工作原理的研究，能開始初步處理模擬人類視覺系統等概念[1]。在幾十年里，計算機視覺結合計算機、幾何學、光學、心理學等方面內容，逐漸涵蓋機器學習、圖像處理、模式識別、增強現實等技術，完成視頻和圖像的更強的處理分析能力。邊緣檢測、特征提取、特征匹配、定位和跟蹤、行為檢測、3D現實優化和重構等技術表現了強大的處理能力，為目標跟蹤和行為分析等功能提供了堅實的技術基礎。

從計算機視覺角度分析交通問題，交通中的元素可以歸結為三大類，即人、車、路[2]。人包括道路上的行人和車輛中的乘客與駕駛員;車泛指交通運輸工具，含陸運和水運等，在本文中研究陸地交通運輸問題;路包括道路、道路上以及道路周側的交通設施，如信號燈、交通標志等。計算機視覺處理圖像或者視頻的方法主要分為兩類，一類是傳統的機器學習方法，一類是近年來流行的基于深度學習的方法。傳統的機器學習方法處理計算機視覺問題主要為以下幾個步驟的綜合：視頻抽幀、預處理、分割、特征提取、分類等。其中視頻抽幀是指對視頻進行抽取包含需要信息的關鍵幀圖片，然后對圖像進行處理分析;圖像預處理是對不同圖像尺寸進行壓縮處理，得到便于處理的圖像尺寸，然后將彩色圖像進行灰度化處理，也可以包括去噪等操作;分割是將特征窗口在圖像上滑動來收集特定的特征來實現。基于深度學習的視覺處理方法以各種卷積神經網絡結構模型為代表，合并了特征提取、選擇和分類過程，通過端對端訓練來自動提取特征，達到分類效果，這類方法精度高，但是依賴高性能計算硬件。

2 行人等檢測研究

交通問題中人方面的元素主要包括道路上的行人、車輛中的駕駛員、車輛中的乘客等身份識別、行為分析、運動軌跡的研究。

（1）行人

關于行人的分析，主要可以分為人的檢測、過街意圖分析等。行人的檢測識別包括行人檢測[3]、行人屬性識別[4]、行人過街分析[5]、行人再識別[6]等方面。

行人檢測是判斷在圖像中是否有行人，如果圖像中包含了行人就標記出來，并獲取所在位置;行人屬性識別是在行人檢測后，對行人的外觀屬性的研究，包括人的性別、頭部、軀干、腿部、服飾、姿態等;行人再識別是在行人檢測后，結合行人的屬性特征，能在不重疊的多攝像頭下追蹤到目標行人。通過行人信息的識別，可以幫助公安系統或者其他情況下快速準確追蹤尋找特定人員。

行人過街意圖主要是通過人體形態特征或者運動估計方法來預測行人是否過街。通過判斷行人是否可能會過街，來提醒車輛駕駛員提前減速，或者給無人駕駛車輛提供消息以做出相應減速或者停車操作，已達到減少駕駛員疏忽導致交通事故的目的。

（2）駕駛員

對于駕駛員的分析，主要是通過攝像頭拍攝的駕駛員的面部表情[7]、眼皮瞳孔[8]、三維姿態[9]、安全帶[10]等信息獲取，通過建模分析得到相應狀態或者行為信息。對駕駛員面部表情監控主要包括嘴部是否上下唇長開不合，嘴部是否頻繁出現打哈欠等情況;另外還可以通過獲取眼部信息來判斷駕駛員是否疲勞，比如眼皮是否頻繁閉合，瞳孔直徑眼球轉速是否正常等;通過三維姿態是提取駕駛員的全身特征，獲取骨骼或者關節坐標，預測3D姿態，分析駕駛員不安全行為;通過對圖片中駕駛員區域獲取后，對駕駛員是否正確系安全帶進行檢測，對安全駕駛規范的落實提供依據。

（3）乘客

很多公共交通已經開始通過上下客門監控視頻識別乘客數量來識別乘客信息[11]和統計客流數量[12]，也可以進行逃票管理和分時段流量分析提供輔助依據。另外，也有部分公交已經開始通過人臉識別來達到刷臉代替刷卡的功能[13]。公交人臉識別方案因其用戶數量幾乎要覆蓋城市所有人員，用戶數量較大，識別功能也需要在移動中進行等特點，應用難度較大，目前屬于起步階段。

3 車輛檢測研究

從計算機視覺角度對交通中車的研究主要是車輛屬性的識別、車輛重識別與跟蹤[14]等。車輛屬性包括車牌[15]、車輛類型[16]、車標[17]、車輛顏色[18]、車輛尾燈[19]等。

車牌識別可以包括車牌定位和字符識別兩類研究。車牌定位可以通過車牌顏色、邊緣、紋理等特征將車牌區域與其他區域分割并提取出來，字符識別可以通過模板匹配、灰度特征等方法完成;車輛類型識別是判斷一輛車屬于摩托車、小轎車、貨車等類別，可以通過對車輛尺寸、邊緣、尾燈等特征，結合分類器、模板匹配等方法實現;車標是指車輛品牌標志，一般位于車的頭部和尾部，具有模型簡單、干擾性小、代表性強等特點，可以領用對稱性等特征定位;車輛顏色識別中會因為不同光照下顯現出不同顏色而增加識別難度，在視覺處理中，多是對光照影響的顏色準確率提升進行研究。車輛尾燈代表了成下一步的行駛狀態，識別可以分為日間和夜間兩種狀況。夜間尾燈主要包括行車燈和制動燈，可以用來判斷前方是否有機動車，但是由于光照問題，經常產生光暈，識別具有一定難度。

車輛重識別是識別在不同拍攝背景中同一車輛的過程，采用車輛各屬性進行多特征融合實現車輛的識別。由于隨著拍攝角度、攝像機屬性等變化，加上光照導致的亮度不同，使得同一車輛在圖像中顯示的輪廓、顏色等差異較大，此方面的研究主要包括特征匹配和深度學習等應用。

4 道路檢驗研究

道路上的計算機元素主要包括道路本身和道路上的元素。道路的視覺研究包括路面類型[20]、車道線[21]等。道路上的元素包括交通信號燈[22]、交通標志[23]和拋灑物[24]等。

（1）不同路面的類型

道路的情況也可以分為結構化道路和非結構化道路。結構化道路是指具有明顯的車道標記，根據車道線的識別能達到相應的效果。非結構化道路是沒有車道線，或者道路邊界不清晰，多為偏僻地區路徑，這種情況相對復雜。通過從含有道路的圖片中提取相關顏色、紋理特征，對道路類型識別為瀝青、水泥、草地和碎石路等類型。不同的路面類型，車輛對應的摩擦系數、側滑角和操縱性能等參數也不同。通過對這些參數的調整，可以幫助我們在使用無人駕駛系統時，實現對燃油率、牽引力控制系統、自動和半自動懸架系統、防抱死制動系統的有效調節。

（2）車道線識別

車道線包括直線類型和彎道類型。對車道線檢測首先可以對圖像中連通度高的部分進行分析，判斷是直線還是曲線。直線檢測可以將提取到圖像進行坐標映射標出車道線位置。彎道檢測可以用不同線型擬合來完成。

（3）交通信號燈識別

交通信號燈的識別包括顏色、數字燈、狀態的識別。顏色包括紅、綠、黃。數字燈指部分交通信號燈旁邊具有倒計時秒數的時間指示。狀態包括圓形、左轉、右轉、直行等。交通燈可以通過色彩、形狀、位置等特征檢測。交通燈檢測與識別相對應用比較成熟，數字燈的研究相對較少。

（4）交通標志識別

交通標志識別，旨在通過警告駕駛員潛在危險來提高駕駛安全性，道路標志一般分為七類，危險警告、優先、禁止或限制等。傳統識別方法中檢測階段的輸出是圖像邊界框的列表，每個邊界框包含尚未識別的交通標志，識別階段的輸出是每個邊界框的類別標簽（“停止”“讓路”等）。與其他交通元素一樣，交通標志的識別會受光照、遮擋等影響，另外還可能破舊等問題導致標志損壞或者褪色，影響識別結果。通過對交通標志的識別，可以幫助司機在行駛中的不合理行為做出提醒，比如警告超速、提醒急轉彎等，也可以為導航系統提供信息，糾正導航偏差。另外對于越來越多的道路標志的維護也有一定的幫助，減輕人力負擔。

（5）拋灑物識別

高速公路拋灑物是指在車輛行駛過程中，物品從車輛中或者道路外拋到道路中，影響后續車輛行駛。視頻來源是靜止的高速公路攝像頭，可以根據距離和時間等參數判斷短時間內是否有靜止拋灑物;如果視頻來源是移動的車輛前置攝像頭，可以通過相關運動目標檢測算法來實現。

5 問題與展望

無論是哪一種類型圖像進行檢測識別，一定程度依賴輸入圖像或視頻的質量，在惡劣環境如陰雨天、曝光過度、模糊、遮擋等問題時候，準確率會受到影響。同時由于視頻或者圖片來源不同，造成的圖片尺寸和景物遠近比例差距各異，解決實際應用中的某類問題不可能依賴一種通用的算法，而且交通中的計算機視覺問題，尤其是應用在自動駕駛或者輔助駕駛中時，對實時性和準確性要求都非常高，所以研究者們仍然在不斷探索交通中的計算機視覺應用。

參考文獻：

[1] Levine， Martin D. Vision in man and machine[M]. McGraw-Hill， 1985.

[2] 焦建彬.計算機視覺與智能交通[J].人工智能，2019（6）：50-56.

[3] Juan A. Antonio-Velázquez， Romero M . Pedestrians detection methods in video images： A literature review[C]//2018 International Conference on Computational Science and Computational Intelligence （CSCI），2018.

[4] Sun R， Huang Q， Fang W， et al. Attributes-based person re-identification via CNNs with coupled clusters loss[J]. Journal of Systems Engineering and Electronics， 2020， 31（1）： 45-55.

[5] Fang? Zhijie，? Vázquez? David，? López? Antonio? M.? On-Board? Detection? of? Pedestrian Intentions[J]. Sensors （Basel， Switzerland）. 2017， 17（10）： 2193.

[6] Bazzani? L，? Cristani? M，? Perina? A，? et? al.? Multiple-Shot? Person? Re-identification? by? HPE? Signature[C]. International Conference on Pattern Recognition，2010.

[7] Ali M ， Abdullah S ， Raizal C S ， et al. A Novel and Efficient Real Time Driver Fatigue and Yawn Detection-Alert System[C]// 2019 3rd International Conference on Trends in Electronics and Informatics （ICOEI），2019.

[8] J. Ma， J. Zhang， Z. Gong and Y. Du， "Study on Fatigue Driving Detection Model Based on Steering Operation Features and Eye Movement Features，" 2018 IEEE 4th International Conference on Control Science and Systems Engineering （ICCSSE）， Wuhan， China， 2018：472-475.

[9] FANG? H? S，? XIE? S，? TAI? Y? W，? et? al.? Rmpe：? Regional? multi-person? pose estimation[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017： 2334-2343.

[10] S. Chun et al.， "NADS-Net： A Nimble Architecture for Driver and Seat Belt Detection via Convolutional Neural Networks，" 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）， Seoul， Korea （South）， 2019：2413-2421.

[11] C. James and D. Nettikadan， "Student Monitoring System for School Bus Using Facial Recognition，" 2019 3rd International Conference on Trends in Electronics and Informatics （ICOEI）， Tirunelveli， India， 2019：659-663.

[12] 張莊. 智能公交車載終端的研制[D]. 哈爾濱：黑龍江大學，2019.

[13] 李松剛.人臉識別在城市公交領域中的應用[J].城市公共交通，2020（5）：29-30.

[14] Zuoyu Miao， K. Larry Head， Byungho Beak. Vehicle Reidentification in a Connected Vehicle Environment using Machine Learning Algorithms. 2018，2672（45）：160-172.

[15] Han Jing， Yao Jian， Zhao Jiao， et al. Multi-Oriented and Scale-Invariant License Plate Detection Based on Convolutional Neural Networks. 2019， 19（5）.

[16] 張志永. 監控場景下車型識別與檢測算法研究[D].鄭州：鄭州大學，2019.

[17] Vehicle Logo Recognition Based on Enhanced Matching for Small Objects， Constrained Region and SSFPD Network.[J]. Liu Ruikang，Han Qing，Min Weidong，Zhou Linghua，Xu Jianqiang.? Sensors （Basel， Switzerland），2019（20）.

[18] K. Kim et al.， "Vehicle Color Recognition via Representative Color Region Extraction and Convolutional Neural Network，" 2018 Tenth International Conference on Ubiquitous and Future Networks （ICUFN）， Prague， 2018：89-94.

[19] 付強. 智能汽車交通燈識別方法研究[D].哈爾濱：哈爾濱工業大學，2016.

[20] Haoying Wu， Hao Gao， Shifeng Wang and Daimin Jiang， "Recognition of road type for unmanned vehicle based on texture and color features，" 2017 2nd International Conference on Image， Vision and Computing （ICIVC）， Chengdu， 2017：189-193.

[21] Zhicheng Zhang，Xin Ma. Lane Recognition Algorithm Using the Hough Transform Based on Complicated Conditions[J]. Journal of Computer and Communications，2019，7（11）.

[22] Yabuuchi Kento，Hirano Masahiro，Senoo Taku，Kishi Norimasa，Ishikawa Masatoshi. Real-Time Traffic Light Detection with Frequency Patterns Using a High-speed Camera[J]. Sensors （Basel， Switzerland），2020，20（14）.

[23] 汪輝輝.基于嵌入式的交通標志識別器的設計[D].成都：電子科技大學，2020.

[24] 談愷旻. 基于三維立體視覺的高速公路交通異常識別系統設計與實現[D].南京：東南大學，2019.

【通聯編輯：梁書】