基于快速背景建模的垃圾車識別系統*

法弘理 吳靜靜 安 偉 崔圣祥

（1.江南大學機械工程學院 無錫 214122）

（2.江蘇省食品先進制造裝備技術重點實驗室 無錫 214122）

1 引言

隨著城市交通規模不斷擴大、城市道路車輛構成愈加復雜，屢屢出現不遵守交通規則的情況如垃圾專用車車載過大、違章偷倒垃圾等，造成城市安全事故頻發、道路污染嚴重。因此，為加強對城市道路交通的管理，應用城市道路智能監控系統［1］，實現城市公路交通安保工作網絡化、信息化和緊急事態條件下與城市安保資源應急聯動有著重要的現實意義。

為提高城市道路智能監控系統的分析能力，國內外學者做了大量的研究。柳長源等［2］設計了基于視頻圖像的車輛實時監控系統，實現了車流量的實時統計。孫玉硯等［3］設計了基于車牌識別和車輛軌跡的車輛異常行為檢測系統，其根據車牌信息和車輛軌跡的時間空間特征能夠有效地檢測出車輛的異常情況。朱晨等［4］研究了基于多目標跟蹤的車流量統計算法，保證了復雜光照下的車流量統計。胥中南等［5］設計了復雜背景下的車輛目標跟蹤系統來定位車輛并對特定車輛進行道路布控。劉凱雄等［6］設計了高速道路交通視頻的車輛目標提取以準確判斷路口駛過車輛的具體類型。由上述文獻可知，城市道路車輛智能監控系統在識別特定目標車輛例如垃圾車等方向研究較少。為提高城市道路智能監控系統對垃圾車的識別能力，本文基于快速背景建模設計了垃圾車智能識別系統。

2 系統整體方案

系統識別的對象主要為垃圾車，可分為如圖1所示的三類：生活垃圾車、建筑垃圾車和有斗垃圾車。為提高城市道路車輛智能監控系統的能力，系統需完成35 個城市道路監控點的垃圾車識別，并確保垃圾車識別的準確性和實時性。此外，系統還需保證存儲數據的安全性，并實時展示車輛信息。針對以上要求，本文設計了相對應的硬件系統和軟件系統。

圖1 垃圾車類別

2.1 硬件系統設計

為保證垃圾車識別系統的實時性和安全性，本文設計了如圖2 所示的系統網絡拓撲結構。整體系統工作過程如下：首先，利用監控攝像機采集各交通監控點的視頻。為提高垃圾車系統的識別率，設計車輛視頻側視采集系統以保留豐富的車輛特征。其次，為保證車輛視頻處理的實時性，各監控點攝像機均配置了嵌入式工控機用于實時視頻的處理分析（簡稱為智能視頻分析盒）。為保證車輛數據的安全性，由服務器存儲識別結果。最后，在電視墻上顯示識別結果。

圖2 垃圾車識別系統結構

2.2 軟件系統設計

整體軟件系統流程如圖3 所示。首先，對輸入的視頻幀（Src）進行快速背景建模得到前景圖像（Dst）。其次，設計動態位置檢測的關鍵幀篩選法，動態篩選出前景圖像；并提出斜線投影分割法進行側視車輛圖像的目標分割。分割完成后，對前景圖像進行連通域分析，輸出垃圾車的感興趣區域（ROI）。為進一步提高垃圾車識別率，設計基于SVM的多級分類器以進行車輛識別。最后，系統將垃圾車信息發送至存儲服務器。

圖3 垃圾車識別系統軟件流程圖

3 基于背景更新策略的快速背景建模

實際應用中，視頻采集系統獲取的圖像易受室外環境影響，導致背景建模的準確度降低。為此需要選用對室外環境干擾魯棒性高的背景建模方法。由文獻［7～13］可知，K 近鄰法（KNN）背景建模受室外變化影響小，能很好地區分出對象與陰影。然而，KNN 背景建模時需要保存大量的歷史數據導致建模速度較慢；且其背景更新速率固定，前景提取的準確度在突變的環境下較低，導致車輛分割失效。因此，本文為提升其建模速度和前景提取的準確度，設計了背景更新控制策略。具體過程如圖4所示。

圖4 基于背景更新策略的快速背景建模流程圖

背景更新策略具體步驟如下：

1）讀取視頻幀（Src）。

2）采用線性插值法對視頻幀（Src）縮放，以不影響建模準確性的情況下，提高建模速度。

3）計算圖像的平均灰度值，并設為tsmean，同時設定上限值tsmax、下限值tsmin。

（1）當tsmean＞tsmax或者tsmean＜tsmin時，不進行背景建模。

（2）當tsmin≤tsmean≤tsmax時，進行背景建模。

4）設KNN背景當前視頻幀數為N，設置n1為更新閾值，該閾值需根據具體試驗經驗值調整和設定。

（1）當N＞n1時，提取前景并輸出前景圖像（Dst）。

（2）當N ≤n1時，不提取前景并使N=N+1，進入循環。

4 關鍵幀篩選與車輛目標分割

4.1 基于動態位置檢測的關鍵幀篩選

上述快速背景建模得到的前景圖像（Dst）雖包含了大部分的目標區域，但處于較遠處的車輛卻丟失了大量細節，不利于后續車輛的分割與識別。為此，本文設計了基于動態位置檢測的關鍵幀篩選法。該方法通過計算前景圖像中連通域斑塊與所設置觸發線的距離，動態篩選出前景圖像，具體過程如下。

1）設置一條垂直于車輛行駛方向的檢測觸發線L1，假設L1的方程為AXS+BYS+C=0，L1即為篩選車輛的位置參考線。

2）分析得到車輛連通域端點坐標（XF，YF），并計算該端點于L1的距離d，如式（1）所示。

其中，d 為點到線的距離。設定距離斜線L1的動態偏差閾值為h2，當d ≤h2時，表明前景圖像（Dst）為關鍵幀，并輸出此關鍵幀，否則，不為關鍵幀，且不輸出。

4.2 基于斜線投影的車輛目標分割

實際采集的側視車輛圖像中，易出現相鄰車道間車輛相互遮擋的情況，造成分割車輛的殘缺和“粘連”，影響垃圾車的識別。為解決該問題，本文設計了基于斜線投影的車輛目標分割方法，流程如圖5 所示。首先利用斜線投影法分離“粘連”的車輛，再使用連通域分析去除干擾區域，最后輸出垃圾車ROI。

圖5 基于斜線投影的車輛目標分割流程圖

4.2.1 基于斜線投影的車輛分割

投影法［14］是一種基于投影曲線分割的方法，旨在得到正確的分割閾值以分離“粘連”的目標。側視車輛圖像中相鄰車道間車輛的相互遮擋，會引起前景圖像中車輛連通域的“粘連”。為解決該問題，本文設計了基于斜線投影的車輛分割法。具體步驟如下。

1）設置一條垂直于車輛行駛方向的斜線L2，假設L2方程為A1X+B1Y+C1=0。

2）前景圖像向斜線L2進行投影。根據投影到斜線L2的數值擬合曲線，最終投影結果如圖6 所示。

圖6 基于斜線投影的車輛分割示意圖

3）觀察圖6 可知，兩車并排行駛時，投影圖中會出現兩個波峰、一個波谷。波谷的位置為（Xpos，Ypos），從該位置沿斜線L2的法線方向畫線即可分離兩車“粘連”的連通域，從而得到連通域未“粘連”的圖像。

4.2.2 車輛ROI區域篩選

由上一步得到的前景圖像中還包含干擾連通域例如陰影和車道線等，影響垃圾車的目標分割。為解決該問題，本文利用連通域分析以篩選車輛ROI，具體步驟如下。

1）設各車道的掩模為Mm，根據公式可計算出不同車道的ROI區域Rnm。

其中，Dn為經斜線投影分割后的前景圖像。

2）計算各個連通域的最小外接矩形，得到其形狀特征和位置特征。形狀特征包含寬度W0、高度H0和長寬比K0，位置特征為中心位置坐標（Xcenter，Ycenter）。

3）篩選掉不滿足形狀特征和位置特征的干擾連通域。篩選條件如式（3）所示。

其中，根據垃圾車的長寬值，設置寬度下限為Wmin，高度下限為Hmin；根據垃圾車的長寬比例，設置長寬比下限為Kmin，長寬比上限為Kmax；根據車道的像素坐標，設置車道區域下限為Ymin，車道區域上限為Ymax，并設置車道區域左限為Xmin，車道區域右限為Xmax。

4）當連通域的形狀特征和位置特征滿足式（3）條件時，輸出垃圾車ROI，否則進入循環。

5 基于SVM的多級分類器

經上述操作后，篩選出了滿足條件的垃圾車ROI，將其裁剪出來作為待檢圖像。觀察可知，待檢圖像中包含多種類別，有垃圾車、小轎車、面包車和地面等，由于類別較多、類間方差較小，導致單級SVM的垃圾車識別效果差。為此，本文設計了基于SVM的多級分類器，整體結構如圖7所示。

圖7 基于SVM的多級分類器結構

多級分類器識別具體步驟如下：

1）構建訓練集。對已分割出的圖像進行類別標注，分為車輛和地面。同時，將已標注好的車輛圖片按車型分為四類，包括生活垃圾車、建筑垃圾車、有斗垃圾車和其他車型。其中訓練集占所有圖片的80%。

2）訓練并得到第一級SVM 分類器。根據參考文獻［15～16］，提取庫中所有圖像的HOG 特征，其中樣本i的特征向量為xi，分類函數模型如下：

其中d（x）為線性映射函數，y1為第一級SVM的類別標簽，y1=1表示該圖像類別為車輛，反為地面。

3）訓練并得到第二級SVM 分類器。提取所有車輛圖像的HOG特征，并將其分類成如圖8所示的四類目標車型。車型標簽y2∈［0，1，2，3］，其中0 為其他車型、1為生活垃圾車、2為建筑垃圾車、3為有斗垃圾車。

圖8 前景提取試驗對比圖

4）使用基于SVM 的多級分類器識別待檢圖像。首先使用第一級分類器識別待檢圖像，判定其是否為車輛圖像，若是，則將待檢圖像輸入第二級分類器，反之，舍棄該圖像，不輸入第二級分類器。其次，使用第二級分類器識別車輛圖像，若識別為生活垃圾車、建筑垃圾車和有斗垃圾車中的一類，則輸出垃圾車信息，反之，舍棄該圖像不輸出信息。

6 試驗結果與分析

為驗證本文垃圾車識別方法的可靠性，選取了6 段時長為2h 的視頻作為測試樣本。所有測試樣本來源于不同天氣、不同路段、不同時間段的監控路口，具有光照變化強、樹木陰影多、車流量大等特點。試驗硬件環境為處理器Intel 賽揚J1900 四核四線程；內存：8G；顯卡：Intel HD Graphics；操作系統：默認為Windows7 系統；開發環境：Visual studio 2010，OpenCV庫函數。

6.1 前景提取對比試驗

為驗證基于KNN 背景建模的前景提取的魯棒性，本文對同一張圖片，分別使用KNN 背景建模、幀差法和三幀差法提取前景，結果如圖8 所示。顯然，KNN 背景建模法提取的前景效果更好，魯棒性更高。

6.2 背景建模法對比試驗

為驗證快速背景建模中背景更新策略的有效性，進行了針對性的對比試驗，結果如圖9所示。

圖9 背景建模的前景效果對比圖

試驗結果表明，基于背景更新策略的快速背景建模方法比KNN 背景建模方法能更有效地進行背景建模，更完整地提取出前景車輛。

6.3 車輛目標分割的對比試驗

為驗證基于斜線投影的車輛目標分割方法的有效性，將直接連通域分析和垂直投影分割的效果與斜線投影的分割效果進行對比，如圖10所示。

圖10 車輛目標分割試驗對比圖

試驗結果表明，基于斜線投影的車輛目標分割方法能有效可靠地分開相互遮擋的車輛，實現了車輛區域的完整分割，而直接連通域分析和垂直投影分割不能有效地實現車輛分割。

6.4 基于SVM的多級分類器對比試驗

為驗證SVM 多級分類器識別車輛的準確性，本部分選取非垃圾車和垃圾車各300 張進行測試，對多級SVM 分類器和單級SVM 分類器的結果進行對比。

根據參考文獻［17］，采用當前信息領域最常用的準確率（Prediction）和召回率（Recall）作為判定指標，如式（5）、（6）所示。

其中，TP（ci）表示屬于ci類且被正確分為ci類的樣本數；FN（ci）表示屬于ci類但沒有被正確分為ci類的樣本數；FP（ci）表示不屬于ci類但被分為ci類的樣本數。最終結果如表1所示。

表1 分類準確率和召回率結果對比（單位：%）

由表1可以看出，多級SVM 分類器的準確率可達96.8%，召回率可達92%。

7 結語

本文對城市道路智能監控系統進行了深入研究，并在此基礎上開發了基于快速背景建模的垃圾車識別系統，包括硬件系統和軟件系統。首先，設計了系統的網絡拓樸結構，保證了系統的實時性和安全性；并構建車輛側視采集系統，以豐富車輛特征。其次，設計了背景更新控制策略，實現了快速可靠的背景建模；提出了基于動態位置檢測的關鍵幀篩選方法和基于斜線投影的車輛目標分割法，完成了側視車輛圖像的有效分割。最后，設計了基于SVM 的多級分類器進一步提高垃圾車的識別率。對比試驗結果表明，本文系統垃圾車識別率較高且實時性良好，在城市交通智能監控系統中具有較強的應用價值。