基于ＤＳＰ的視頻車輛實時檢測系統的實現
2009-01-01 00:00:00魯一杰趙攀彭強江永全
計算機應用研究 2009年2期
（西南交通大學信息科學與技術學院，成都610031）
摘 要：
描述了基于TI公司TMS320DM642型DSP平臺的視頻車輛實時檢測系統的實現，針對DSP系統在運算和內存方面的局限性，提出了一種線性時間復雜度下的矩形區域多目標搜索算法，解決了DSP棧深度的困難。應用高性能RF5參考框架進行算法構建，通過改進的陰影檢測和運動目標檢測算法，從而實現視頻車輛的精確實時跟蹤。實驗證實了算法的有效性和處理的實時性，實現了車輛實時檢測的微型化。
關鍵詞：數字信號處理器； 大規模集成參考框架； 車輛檢測； 背景提取； 陰影檢測； 運動檢測
中圖分類號：TP391.41 文獻標志碼：A
文章編號：1001-3695(2009)02-0757-03
Implementation of real-time video vehicle detection system based on DSP
LU Yi-jie， ZHAO Pan， PENG Qiang， JIANG Yong-quan
(School of Information Science Technology， Southwest Jiaotong University， Chengdu 610031， China)
Abstract:This paper proposed an approach of implementation of real-time video vehicle detection based on TMS320DM642 DSP platform. Considering the limitations of performance and the stack depth on DSP system， presented a new algorithm to search the rectangular region of multiple targets in linear time complexity. Then， based on RF5 architecture， improved shadow detection and adopted motion detection algorithms. Finally， the implementation on DSP testified the efficiency of these algorithms. Experiment results show that the rectangular regions precisely match the area of vehicles in real-time processing.
Key words：DSP; reference framework 5（RF5）; vehicle detection; shadow detection; motion detection
隨著城市化進程和汽車的普及，地面交通的快速發展引發了各種問題，智能交通系統(intelligent transportation system)的研究越來越受到人們的重視。智能交通系統是一個廣泛包括各種技術的統稱，為許多交通問題提供了解決方案。通過智能化的收集、分析交通數據并及時地反饋給管理部門，使得交通基礎設施能發揮最大的效能。而基于計算機視覺和圖像處理技術的數字視頻監控系統更是在ITS中扮演著越來越重要的角色。有許多人進行過視頻車輛實時檢測系統方面的研究，但均是基于計算機的視頻圖像處理，占用資源大、設備架設代價高，且不便于大規模應用到ITS中。本文通過動態背景差分[1]、陰影檢測和矩形區域搜索，實現了基于DSP的視頻車輛實時檢測系統，以對道路上的車輛進行實時監測跟蹤，且有體積小、價格低、占用資源少、算法高效等優點，將有可能在ITS中得到廣泛應用。
1 硬件及RF5參考框架
建立在C6000系列DSP核心基礎上的TMS320DM642芯片[2]（以下簡稱DM642）適用于處理圖像、視頻和通信數據流，時鐘頻率600 MHz，峰值處理速度可達4 800 MIPS，集成的片內外設具有三個可配置的視頻端口。本系統要求視頻由監控攝像頭輸入，并將實時處理結果輸出顯示。鑒于DM642的上述優點，該芯片被實驗采用。
由于該DSP系統結構復雜，為了簡化開發難度，縮短開發周期，實驗采用TI公司提出的reference framework 5(RF5)大規模集成參考框架[3]。RF5適用于包含大量算法，且要求多線程、多通道的應用。RF5具有四個基本數據處理元素，即任務、通道、單元和XDAIS算法。其中任務是最高層的數據處理元素，以線程的形式存在，可包含多個通道；而通道是單元的集合，一個單元中封裝一個XDAIS算法。任務間通信采用SCOM消息，同時任務可申請一個緩沖區供其他任務從中讀取或寫入同步信息。SCOM消息亦可作為緩沖區令牌，得到SCOM消息的任務享有對該緩沖區的讀寫權限。
檢測系統的工作流程為（圖1）：從攝像頭等外部標準視頻信號源輸入的模擬視頻信號，經視頻A/D芯片數字化，被獨立運行的捕獲線程捕獲并生成單幀的YUV圖像數據。處理線程向捕獲線程發送SCOM請求接收下一幀，該線程任務包含多個通道，分別處理動態背景的提取、背景差分和前景提取、陰影檢測以及矩形區域搜索，并將處理結果通過SCOM消息交由顯示線程顯示，同時向捕獲線程請求下一幀。顯示線程將處理結果疊加在原始幀圖像上輸出到顯示設備。
2 基于靜止背景的運動目標檢測和提取
2. 1 靜止背景提取和更新
在背景模型法中，關鍵的問題在于背景的提取和更新。其中背景模型的建立尤為重要，同時靜止背景圖像的提取也是前景分割的前提。
本文采用的背景提取和更新的方法是：先分別累加前128幀圖像在YUV三個分量上的像素值，再對每個像素點的值進行平均即得到初次提取的背景圖像A。由于DM642上除法指令的執行時間遠遠大于移位指令的執行時間，對前27=128幀圖像進行累加，以便于在平均時使用邏輯右移7位的方法取代算術除法運算，加快指令的運行效率。此后，用后續收到的幀圖像B對背景圖像A進行更新。具體做法是用捕獲到的新幀B與背景圖像A的對應像素求差，若差值的絕對值小于閾值v時，以新幀B所占權重α更新背景圖像A；若差值的絕對值大于閾值v時，則以新幀B所占權重β更新背景圖像A。背景圖像A的更新公式為
pA(x，y)=[(1-α)×pA(x，y)[+[α×pB(x，y)] pDiff≤v
[(1-β)×pA(x，y)]+[β×pB(x，y)] pDiff＞v
(1)
當車輛經過時，新幀與背景幀在對應像素點的差值往往較大，因此，β應遠小于α，從而減輕車輛對背景的影響，兼達到背景動態更新的目的。此方法在不增加額外存儲器的開銷下，保證了背景圖像的魯棒性，適合DSP系統。
本實驗采用該背景提取和更新方法。其中：v=7，α=0.004，β=0.000 02，在車流密度不太大、平均車速在30 km/h以上的主要公路上可取得較好效果，具有一定的普適性。
2. 2 運動目標檢測
在靜止背景下，運動目標檢測有多種方法，一般可以分為幀間差分方法、背景差分方法、背景模型方法以及基于光流的方法[4，5]。對運算處理速度和效果的綜合考慮，本文采用背景差分方法。背景差分法的工作過程如圖2所示。
背景差分法是用當前圖像幀與已知背景圖像做差來檢測運動目標的方法[6，7]。假設Fk(x，y)為輸入的第k幀圖像，背景圖像為B(x，y)，差分圖像為Dk(x，y)，則Dk(x，y)=|Fk(x，y)- B(x，y)|；然后對差分圖像進行二值化，得到二值化前景Rk。Rk的計算公式如下：
Ri=0 背景 Dk(x，y)≤T
255 前景 Dk(x，y)＞T
(2)
其中T是設定的閾值，本實驗中取為20。需要指出，此時得到的二值化前景圖中噪聲多，車輛的圖像不飽滿，車體通常有部分會被誤判為背景，尤其當車體與地面顏色接近時，誤判現象更加明顯。這時需對二值化前景圖進行形態學濾波處理，包括中值濾波、膨脹、腐蝕三個操作步驟。中值濾波以降噪、膨脹后腐蝕（即閉運算）可向內充實車體內部，使其圖像減少零碎性。經過濾波處理后的二值化前景圖像噪聲幾乎被除盡，車體連續性增強，效果明顯變好。
3 陰影檢測算法
陰影對目標分割的影響是比較顯著的，并會對后續的識別、跟蹤造成負面影響。但在實際應用系統中，目標總是伴隨有一定的陰影，需要去除陰影后才能精確提取與檢測。
陰影點和目標點在視覺方面具有兩個重要的視覺特征，即運動模型和可測性。需要指出的是，在序列圖像中前景目標提取最普遍使用的技術是背景差分方法，以此來檢測當前幀中的運動區域。這種方法的特點是，運動物體和陰影均將被看做移動的目標，同時，陰影點和目標點通常是相連的，用一般的分割技術來處理，往往很難將兩者很好地分割。實際的視覺經驗也可以得到同樣結論：在一定的亮度條件下，同樣物體在陰影區域內和不在陰影區域內的色調是近似一致的。
鑒于陰影檢測的困難性，R.Cucchiara等人在文獻[8，9]中提出使用HSV顏色空間進行陰影檢測的算法，利用人類的視覺特征與HSV顏色空間的對應關系進行陰影判決。然而該方法既需作YUV空間到HSV空間的轉換，其判決表達式又較復雜，顏色空間轉換和判決均包含大量的除法運算，不適合DSP的應用。本文選擇了運算量較小的YUV顏色空間下的陰影檢測算法[10]。
針對具體的車流視頻序列，可以進行以下實驗：分別對前景像素、陰影像素的YUV值進行采樣，從而得出原始像素值與對應參考背景像素值（以YUV標記）的對比統計曲線圖（橫坐標為幀數，縱坐標為灰度），如圖3所示。
從圖3(a)中可以看出，當像素點被陰影遮蓋時，其亮度分量（Y分量）在曲線中一直比背景像素的亮度值低，且兩曲線的走勢大體趨于一致。此時(b)和(c)中的色度分量（U、V分量）也顯得比較規律：陰影像素的U分量始終要略高于背景像素值；而V分量則要略低于背景像素值。在無陰影遮擋的前景(d)(e)（f）中，統計曲線的波動則比較大。當運動目標顏色較深時（如黑色車輛），其像素亮度將低于背景像素（（d）中淺色線在上而深色線在下的部分）；而當運動目標顏色較淺時（如白色車輛），其像素亮度將高于背景像素，并且此時的色度分量（U、V分量）則顯然無規律性（隨車體的顏色變化而波動）。鑒于以上特征，本文主要利用圖像的Y分量進行陰影檢測，輔助U、V分量的信息作為參考。假設陰影區域的亮度始終比非陰影區域的亮度低，則當前陰影像素與參考像素的比值應始終小于1，同時須考慮到某些深色前景物往往比陰影的亮度還要低這一實際情況，必須給出一個合適的下限，使用式（3）的方式進行判別：
SPk(x，y)=1 if α≤（IYk(x，y)/BYk(x，y)）≤β0 otherwise
(3)
其中：閾值α主要用來去除深色前景物干擾；β則用來識別淺色前景物。同時為了降低誤判率，可以在陰影標志后進行一次再處理：若當前像素為前景像素，而其周圍（八個相鄰像素）大部分為陰影，那么當前像素則被判為陰影；反之亦然。判別為陰影的像素點灰度值被設置為128，得到陰影掩碼圖像，以便于后續處理。
4 運動目標的跟蹤
4. 1 矩形區域多目標搜索掃描線算法及運動目標的粗提取
通過2.2節中二值化和濾波處理后的前景圖像可以看到，車輛一般出現在一定大小的被連續的前景像素點覆蓋的區域。查找這些區域的一個簡單且有效的算法是DFS深度優先搜索[11]，該算法對給出的任一前景像素點，沿其四鄰域（上、下、左、右）方向按深度優先進行搜索，每次搜索完成能確定一輛車的矩形域。考慮到在DSP上的實現，若采用該算法，在搜索時大量的遞歸調用將導致DM642默認堆棧溢出。實際實驗證實，視頻流在被正常處理數幀后，若遇到面積稍大的車身，DSP即異常停止。
為避免使用堆棧并保證運行效率，本文提出一種基于連續區域的線性掃描線算法搜索多目標的矩形域。該算法是對一幀圖像的一次遍歷，并對發現的前景像素點進行標號，對標號相同的點確定其矩形區域。一旦掃描到兩個不同標號的連通區域，則將這兩個標號所屬的矩形域合并為一個矩形域，但無須再修改標號；最后整理這些矩形區域，即得到各輛車的粗提取矩形框。
圖4是一個擬代表前景圖像關注區域的大小為16×16的已標號的圖像矩陣。其中：非零元素表示前景像素點；零元表示背景像素點。
該掃描線算法的具體做法是：從左上角第一個像素開始，從左至右，從上至下，逐行進行掃描。每掃描到一個有效的前景像素點，則為該點標號，標號從1開始依次增加；每標記一個新的標號，就建立一個新的包含該標號像素點的最小矩形區域，矩形區域由其四邊界的值確定。標號方法是：判斷當前位置像素點上方和左方的點是否已被標號，如果均未被標號，則為該點建立新的標號和覆蓋該點的最小矩形區域；如果只是上方的點被標號，則該點的標號取上邊的標號，并擴展該標號的矩形區域邊界以覆蓋該點；如果只是左方的點被標號，則該點的標號取左邊的標號，并擴展該標號的矩形區域邊界以覆蓋該點；如果上方的點和左方的點均已被標號，則該點的標號取上邊的值，此時滿足兩個不同標號的連通區域相遇的情況，對于這種情況除為該點標號外，還需合并兩個標號點所屬的矩形區域。通過維護一個指向各矩形區域的索引數組可實現對指定矩形區域的各種操作，如合并、刪除、重排列。標號直到整個圖像的所有像素點被遍歷完畢時終止，此時已完成各目標的矩形區域搜索。圖4顯示了該算法對各像素點的標號，設其左上角第一個像素點的位置坐標為(0，0)，給出由圖4得出的未經大小過濾的五個矩形區域，如表1所示。
表1圖4應用掃描線算法后得出的矩形區域
box #1box #2box #3box #4box #5
minX=9maxX=14minY=0maxY=4minX=1maxX=6minY=1maxY=6minX=8maxX=9minY=6maxY=6
minX=9maxX=14minY=8maxY=14minX=0maxX=6minY=9maxY=14
此外，還應考慮到可能存在的噪聲影響。一般噪聲應是小范圍內連續的點，因為大量孤立的點已被形態學濾波所除去，而車體覆蓋的區域面積往往遠大于噪聲。此時可對得到的各矩形域的大小進行篩選，去除過小或過大的矩形，如表1中過小的矩形box #3，整理后得到的各區域即是最終確認的運動目標粗提取矩形域。
4. 2 陰影的去除和車輛的精確框取
在第3章的陰影檢測中，已經得到了灰度標記為128的陰影像素點。然而在實驗中，采用第3章的方法檢出的陰影存在過檢測現象，即有部分車體像素被標志為陰影。如果直接去除值為128的陰影像素點，會嚴重破壞車體的連續性，使得4.1節所述的基于該特性的矩形區域多目標搜索算法失效。
為了簡單地解決這一問題，可結合帶有灰度值為128的陰影掩碼圖像，將4.1節中粗提取得到的每個矩形區域的四邊界分別向內收縮，直到邊界線接觸到第一個灰度值為255的前景像素點時停止收縮，此時可得到精確的矩形區域。該方法能在很大程度上排除車體連續性被陰影破壞的干擾，如圖5所示。
5 實驗結果和結束語
本實驗利用TMS320DM642 DSP平臺對多條主要公路上雙向行駛的車輛視頻進行了測試，顯示輸出圖像大小為720×576像素，每秒能處理20~30幀輸入視頻，但采用更大幀率的輸入視頻并不影響處理的實時性。實驗應用本文描述的算法得到的結果如圖6所示。
圖6(a)為采用實時背景提取和更新方法得到的背景圖像，可見提取出的背景與真實背景的差異較小；(b)為陰影檢測的實驗結果，雖然圖中車體仍有少部分像素被誤判為陰影，但采用4.2節的方法后并未影響到(c)中多目標矩形區域確定的精確性；(d)為本實驗采用的平臺。實驗中為便于調試，輸入設備由播放機代替攝像頭，模擬實時視頻的輸入。在圖像經過一系列復雜處理后，仍然滿足實時性要求。
由以上實驗結果可知，該系統能同時對多個車輛進行準確的實時檢測與跟蹤。采用RF5框架和本文中改進的陰影檢測和運動目標檢測算法，減小了DSP處理時間和空間開銷，使處理實時性大幅提高，達到了實驗預期。
參考文獻：
[1]JAIN R. Difference and accumulative difference pictures in dynamic scene analysis[J]. Image and Vision Computing， 1984，2(2): 99-108.
[2]Texas Instruments. TMS320DM642 Technical Overview[EB/OL].(2002-09-13). http://focus.ti.com/docs/apps/catalog/resources/appnoteabstract.jhtml?abstractName=spru615.
[3]Texas Instruments. Reference frameworks for eXpressDSP software: RF5， an extensive， high-density system[M]. [S.l.]: TI Inc， 2003.
[4]GUPTE S， MASOUD O， MARTIN R. Detection and classification of vehicles[J]. IEEE Trans on Intelligent Transportation System， 2002，3(1): 37-47.
[5]VEERARAGHAVANH， MASOUDO， PAPANIKOLOPOULOS N P. Computer vision algorithms for intersection monitoring[J]. IEEE Trans on Intelligent Transportation System， 2003， 4(2): 78-89.
[6]MASOUDO， PAPANIKOLOPOULOSN P， KWONE. The use of computer vision in monitoring weaving sections[J]. IEEE Trans on Intelligent Transportation System， 2001，2(1): 18-25.
[7]GUPTES， MASOUDO， PAPANIKOLOPOULOSN P. Vision-based vehicle classification[C]//Proc of IEEE Intelligent Transportation Systems Conference. Oakland: IEEE Pross， 2000: 46-51.
[8]CUCCHIARAR， GRANAC， NERI G， et al. The sakbot system for moving object detection and tracking[C]//Proc of the 2nd European Workshop on Advanced Video-based Surveillance. 2001:145-157.
[9]CUCCHIARAR， GRANAC， PICCARID M， et al. Improving shadow suppression in moving object detection with HSV color information[C]//Proc of IEEE ITS Conference Proceedings. Oakland: IEEE Pross， 2001.
[10]李華.基于視頻圖像的交通信息提取關鍵技術研究[D]. 成都: 西南交通大學， 2004.
[11]CORMENT， LEISERSONC， RIVESTR， et al. Introduction to algorithms[M].2nd ed. Cambridge: The MIT Press， 2001: 540-547.
