機器視覺下的普通國省干線公路落物識別*

王寧 王靜 郝貴發 汪祝慶 倪樹新

1.鎮江市公路事業發展中心；2.江蘇蘇信交通科技有限公司；3.南京慧筑信息技術研究院有限公司

普通國省干線公路運行過程中，受到客觀因素與主觀因素影響會存在各種落物，包括從車輛上掉落的輪胎、鋼管、生活垃圾以及其他物品等。為了降低此類落物的影響，提高管理效率，需要增強對此類物質的識別。本文以此為出發點，概述了普通國省干線公路落物識別的重要性，剖析了普通國省干線公路落物識別技術流程，并以此為基礎，分別從圖割法、MOG2算法、YOLOv5+閾值法、KCF跟蹤與識別四個方面，對其具體情況進行了討論。

普通國省干線公路路段具有一定的封閉性，車輛行駛速度快，車流量較大，當存在落物情況時容易引發交通事故。輕者出現車輛追尾、撞護欄，嚴重時會導致翻車等，給駕駛員與乘客的生命安全造成了較大威脅。為了有效規避此類交通事故，將風險降至最低點，一方面需要加強道路交通安全宣傳教育；另一方面則應采用配置技術要素的方式，增強對基于視頻的普通國省干線公路落物識別技術的應用。尤其在當前階段，交通行業進入了高質量發展階段，擴大了對數字化技術的運用，因此，有必要結合新技術提高落物識別技術的應用水平，為普通國省干線公路的安全運行保駕護航。

1 普通國省干線公路落物識別的重要性

1.1 從公路管理效率分析

普通國省干線公路落物引發交通安全事故會進一步造成交通擁堵，降低管理效率。因而，需要根據該方面存在的因果關系鏈，增強落物識別。目前，主要按照現代經濟學中的要素配置理論，建立了技術要素主導的資源配置方式，旨在通過提高技術要素應用比例，輔助普通國省干線公路管理主體，高效、精準的完成落物識別，從而在控制落物風險及其影響的情況下，達到提高公路管理效率的目標。

1.2 從運營效益分析

普通國省干線公路運營管理單位，除了承擔社會責任之外，也需要提高運營效益，以此保障公路的可持續運營[1]。當普通國省干線公路管理過程中，因落物造成交通事故、交通擁堵，造成嚴重傷亡的情況下，不僅會影響單位的社會聲譽，降低公信力。而且在對交通事故進行處理的過程中，需要投入大量的人力、物力、財力，從而增加運營管理成本，影響運營效益。

2 普通國省干線公路落物識別技術流程

落物識別監測預警是現代普通國省干線公路路網運行安全管理中的重要組成部分，在當前應用的多種識別技術中，主要是應用“傳感器+人工智能”的基本方案，借助配置適用性較強、適配性較高的技術，實現對路面落物的自動識別[2]。需要注意的是，在落物識別技術應用時并不是單一的應用一種技術，而是需要配置多種技術，才能達到有效識別、監測、跟蹤、預警等。以基于視頻的普通國省干線公路落物識別技術為例，其中就需要配置圖割法、MOG2算法、YOLOv5+閾值法、KCF跟蹤與識別技術等，下面先對其流程進行說明。

（1）在基于視頻的普通國省干線公路路面落物識別時，需要按照“道路區域分割—公路落物前景背景分離—道路物體目標檢測—道路物體目標跟蹤”的基本路線進行操作，四大環節中通常可以分為6個基本的流程進行操作：1）利用圖割法從整個圖像中分割出有效的公路區域；2）采用背景建模及背景差分算法得到所有的運動目標；3）用深度學習算法檢測出車輛，以排除車輛目標；4）在排除掉車輛目標后，對剩下的目標采用閾值法篩選、排除掉一些小目標和噪聲目標，得到有效目標；5）對篩選出的目標初始化，使用目標跟蹤算法跟蹤目標，跟蹤過程中目標可能會被其他物體短暫性遮擋，所以對跟蹤算法進行改進，使其具有目標丟失判別能力，識別丟失的目標；6）根據軌跡信息判斷目標是否為落物，當軌跡連續若干幀移動較小，輸出落物提醒并報警。

（2）在6個基本流程的實踐過程中包括若干步驟，具體而言，在確定幀序列后一方面應按照“分割出公路區域并對公路背景建模—背景差分—二值化與形態學處理—運動目標”的順序進行操作；另一方面則需要通過深度學習檢測出車輛目標。在此基礎上，完成對車輛之外目標的排除后，根據像素點設置閾值。當閾值大于設置好的閾值T時，則進入到下一環節，篩選出目標。當閾值等于、小于閾值T時，則需要對其中的噪聲進行去除，待其符合具體要求后篩選出目標，再初始化跟蹤篩選出的目標，借助KCF/TLD跟蹤、提取軌跡信息，并在計算出等間隔數據幀中目標的歐氏距離后，根據設置好的距離L，進行落物提醒并報警。當歐氏距離小于距離L時，進行落物提醒并報警，反之則需要先進行其他的運動目標處理，再實施落物提醒并報警。基于視頻的落實識別技術流程如圖1所示。

3 普通國省干線公路落物識別技術分析

3.1 圖割法

該方法旨在分離公路區域，其中應用的Graph Cut（圖形切割）技術看，主要是用于解決計算機視覺領域各種低級計算機視覺問題[3]。例如：圖像分割問題、立體對應問題、圖像平滑問題等。實踐經驗表明，應用此類方法時，可以將圖像分割問題與圖的最小割（Min Cut）問題相關聯，借助最小能量（Minimum Energy）方案，對應解決最大后驗估計（Maximum Posterior Estimate）等情況。進一步講，利用最小割最大流算法分割圖像，可以將圖像分割為前景和背景，進而分離出有效的公路區域。應用圖像切割中的最小割最大流算法過程中，要求輸入時先在背景與前景中進行畫像，再利用該算法構建各像素點，完成相似度方面的“賦權圖”，從而實現區分目標。

3.2 MOG2算法

（1）在短時間內圍繞某一中心值，于一定距離內進地各像素點的分布時，通常會通過均值取代中心值，利用方差表示距離。因而，分布時會形成一定的規律，并通過統計定律加以處理。例如：在足量的數據點確定的前提下可以呈現出高斯分布（具體呈現為正態分布）。因而根據該特點，當像素點的值偏離中心值較遠時，可以將該像素值歸于前景。當在一定方差范圍內此類值比較接近中心值時，可以將該點作為背景之中。從理論上講，如果不存在任何干擾的條件下，能夠實現準確區分前景和背景目標。但是，理想狀態并不能實現，當畫面中光線存在變化的情況下，高斯分布的中心位置往往會發生改變，因此，需要應用混合高斯模型。

（2）在描述背景的單一模式方面，單高斯模型具有較大優勢，然而當背景中存在樹葉晃動等多模態的情況后，應用該模型容易發生檢錯的現象。因此，在這種情況下，應該采用推廣單高斯模型的辦法，先獲取混合高斯模型再利用多個新模型，從而滿足多模態背景中每一個像素位置的監測并滿足其魯棒性，達到對緩慢移動物體的有效檢測。進一步講，背景本身作為一個高斯分布，在停車的狀態下，如果聚集一定的前景數據會得到新的高斯分布。此時，停車時的實際前景與背景重合，由此導致停車狀態與運行狀態車輛的混淆[4]。需要說明的是，當車緩慢行駛時，形成高斯分布的時間相對較長，并不能立即實現分布，所以應用混合高斯分布可以實現對緩慢行駛車輛的有效檢測。高斯混合背景建模流程如下：1）通過初始化完成對多個高斯模型的預先定義，再對模型參數實施初始化并求將用參數；2）處理每一幀中的每一個像素，查看匹配情況。在匹配的情況下歸入匹配模型，并根據新像素值更新參數。反之，則以該像素建立高斯模型并對參數進行初始化處理；3）選出背景模型所用的高斯模型，做好提取準備工作。

（3）MOG2算法結合不同輸入場景自動選擇高斯分量的個數，建立背景像素模型并進行權重設置（如使用顏色存在時間的長短進行設置）。考慮到權重中的顏色具有持續時間長的特點與靜止屬性，而且在具體操作時以時間序列為基礎，因此，可以將時間序列中每個像素占有的位置，通過時間與空間的基本形式完成分布構建。

3.3 YOLOv5+閾值法

圖像目標檢測方面深度學習具有較大優勢，從實踐經驗看，YOLOv5技術不僅名列前茅，而且學者們將它應用于不同對象的檢測時，可以選擇不同的改進方案進行應用。在高斯背景建模識別并輸出全部運動目標ID標號條件下，應用YOLOv5識別技術，能夠識別每一幀圖像中的車輛目標，達到排除目標。同時計算剩余運動目標的像素數，采用閾值法篩選掉小目標及噪聲目標。

3.4 KCF跟蹤與識別

目標跟蹤的任務在于，找出被關注目標在每幀視頻圖像中的位置。從功能上看，與目標檢測相似，旨在尋找目標位置，但是，在“跟蹤”時需要配套提升運行速度。實踐經驗與實驗比較結果顯示，目標跟蹤運行速度往往大于目標檢測，然而，在目標位置定位精度方面容易出現偏差。因此，實踐過程中，通常會犧牲少量定位精度，以此換取成倍的運行速度。

3.4 .1目標跟蹤算法

該算法主要分為生成式（Generative Model）與判別式（Discriminative Model）兩種。在前一種方法下，將目標跟蹤視為二元分類問題，通過訓練關于跟蹤目標的分類器來從候選目標中找出正確的目標（如CSK、KCF算法）。在后一種方法下，采用特征模型描述目標的外觀特征，再最小化跟蹤目標與候選目標之間的誤差來確認目標（如LK光流法）。根據跟蹤目標的數量看，可以將目標跟蹤算法分為單目標跟蹤與多目標跟蹤。與單目標跟蹤相比，多目標跟蹤問題相對復雜，操作難度相對較大[5]。所以，在多目標跟蹤時，需要考慮視頻圖像幀中多個獨立目標的不同類別、位置、大小、外觀、運動方向、動態光照、相互遮擋等因素（此類因素是目標跟蹤領域的研究難點）。經綜合考慮公路圖像的特點及工程實際情況，可以選用性價比較高的KCF算法實現目標跟蹤。

3.4 .2 KCF算法

KCF是英文Kernel Correlation Filter的首字母縮寫形式，中文翻譯為核相關濾波，屬于判別式方法。從原理看，主要是通過物體在當前幀的位置，迅速預測物體在下一幀的位置。由于該算法具有循環矩陣和相關濾波這兩個特點，因而可以將運行速度提高到150FPS。具體應用時以循環矩陣與相關濾波為主。分述如下：

（1）循環矩陣：KCF算法將圖像沿著上下、左右的方向進行平移，以產生更多的樣本用于訓練。同時這種平移可以通過循環矩陣來表示，循環矩陣可以對角化，計算時僅需關注對角線上的非零元素，因此能夠大幅加快矩陣與矩陣的計算速度。

（2）相關濾波：相關是衡量兩個信號相似值的度量，相關值越高，表示這兩個信號越相似。KCF輸入往往通過其他檢測手段，得到物體在某一幀圖像上的準確位置（如應用MOG2算法得到box）。假定，該準確位置為patch_0，在后續圖像幀上， [patch_1, patch_n]中共有n個patch，此時，KCF預測的位置即為與patch_0相關值最高的patch。由于兩個patch的相關卷積相當于傅里葉域中的元素乘積（時域卷積=頻域點積），而乘積計算大大快于卷積運算。因此，在計算patch_0與patch_k(1≤k≤n）的相關值時需轉換到傅里葉域進行。最后，通過計算不同幀間相同目標中心點坐標的歐氏距離，借助設定閾值的方式判斷目標是否為落物。

4 結語

總之，普通國省干線公路落物種類較多，會給公路管理單位與車輛駕駛人員產生較多危害。在新時期交通行業高質量發展階段，應進一步增強對基于視頻的公路落實識別技術應用。通過以上初步分析可以看出，公路落物識別既具有現實意義，也是提升公路管理效率，擴增運營效益的重要途徑。因此，建議在“傳感器+人工智能”的基本應用思路，結合技術要素主導的資源配置方式，合理推進落物識別監測預警技術的實踐工作。