基于壓縮感知的交通監控視頻目標檢測算法

李芬蘭,彭卓韜,莊哲民

(汕頭大學工學院電子系,廣東 汕頭 515063)

0 引言

目前,我國高速公路視頻監控系統主要有以下兩方面不足,一方面,隨著高清化節奏的加快,人們對數據清晰、詳細度要求的增大,從而要求的信息量和帶寬也越來越大,導致費用十分昂貴.另一方面,目前普通高清IP攝像機的工作方式是高采樣到高清視頻數據后再進行壓縮,經過大量的運算后拋棄掉大部分冗余的數據,這就造成采樣資源極大浪費和采樣端設備器械的造價成本大幅上升.近幾年來壓縮感知(Compressed Sensing,簡稱CS)[1]理論的出現恰好提供了解決這兩大難題的思路,它指出,只要信號是可壓縮的或在某個變換域是稀疏的,就可以用變換空間描述信號,通過直接采集得到少數"精挑細選"的線性觀測數據,通過求解一個優化問題就可以從這些少量的壓縮觀測值以高概率重構出原信號,所以,它可降低對高清視頻數據的采集成本和傳輸帶寬,從而減少網絡費用,具有廣泛的應用前景.

傳統的壓縮感知重構算法運用的是基跟蹤技術,重構出的信號誤差較大.貝葉斯壓縮感知是基于貝葉斯推論,利用隨機變量之間依賴關系,將數據有效地轉化為知識,再利用這些知識進行推理,來求解不確定性問題的一種重構方法,它提供更為精確的估計或者減少CS觀測量的途經.文獻[2]提出了基于相關向量機的貝葉斯CS框架估計信號.文獻[3]針對臨時互相關構建了分塊稀疏的貝葉斯學習框架,把高維測量向量轉換到低維測量向量.文獻[4]構建一個分層的貝葉斯模型,使用馬爾可夫蒙特卡羅采樣進行有效的估計,提出了貝葉斯樹結構小波壓縮感知(tree-structured wavelet compressive sensing,簡稱TSW-CS)重構算法,該算法在圖像重構的效果比目前很多算法都要好.

國內外專家在背景分割上都做了很多研究,總結常見的背景分割方法有四類:背景差分法、幀間差分法、光流法和分類法[5-10].背景差分方法由它實現最簡單,并且能夠完整地分割出運動目標,適合交通車輛攝像頭的終端節點處理.文獻[11]描述了一種直接重構壓縮感知的背景差分圖像的方法,從理論分析和實驗結果驗證了它的可行性,但重構的背景差分圖效果不夠理想.本文結合壓縮感知、小波分析和馬爾可夫鏈蒙特卡洛的思想,提出一種新穎的基于小波分析的貝葉斯壓縮感知背景分割的目標檢測算法.這種方法不同于傳統的目標檢測算法,它可以減少終端節點的信息儲存和傳輸量同時有較好的目標檢測精度.文章首先針對視頻圖像信號的特點,采用了Daubechies小波基進行信號稀疏,以對比方法選取了更為合適的哈達瑪測量矩陣,然后提出在部分時間均衡的自適應背景模型,再結合背景模型和TSW-CS算法重構出目標.

1 研究思路和基本步驟

1.1 算法架構

以往的視頻監控為了減少傳輸數據量,都要把拍攝下來的錄像進行壓縮編碼,復雜的壓縮編碼需要較大的運算量,這時對前端設備的要求很高,費用也較昂貴.本文運用壓縮感知方法,在前端只需進行簡單的觀測即可得到壓縮的信號.在前端可以使用智能DSP芯片對監控視頻進行智能分析并完成壓縮感知采樣,然后將壓縮視頻流傳輸到后端系統平臺,系統平臺由大型高速計算機和監控中心組成,再對視頻流進行重構得出目標圖像并分析目標的細節來獲取有關的信息.

1.2 算法流程

算法的基本步驟如下:先終端節點的視頻攝像頭獲取視頻信號,對視頻信號進行小波基稀疏表示,然后使用哈達瑪矩陣進行觀測得到網絡傳輸帶加性噪聲的壓縮信號,在接收端進行信息處理,使用結合背景差分法的TSW-CS重構算法估計背景分割后的圖片,最后使用形態學(或膨脹運算)的得到檢測目標,具體如圖1所示.

圖1 本文目標檢測系統的流程圖

2 基于壓縮感知的背景分割

2.1 稀疏表示

假設我們有一個大小為N1XN2的圖像X,以每一順序連接起來向量化為一個NX1(N=N1N2)列向量x.圖像向量x的第n個元素記作x(n),其中n=1,…,N.再假設正交基Ψ=[ψ1,…,ψN],其稀疏度為K,則x表示如下:

其中θ(n)是第n個向量基ψn=(ψn:NX1)的系數,并且這K個非零系數的下標用nl表示,K<

2.2 部分哈達瑪觀測矩陣

在普通的數據采集系統中(例如數碼攝像機),首先采集圖像x的全部N個像素點采樣,然后進行變換編碼,計算出全部的變換系數θ=ΨTx,找出稀疏度為K的K個最大系數并將N-K個較小的系數全部丟掉,將這K個最大系數的值以及它們所在的位置用來編碼.這樣先采樣后編碼的框架本身存在采樣量過多,并且只需要K個較大系數,但要將全部的變換系數計算出來和系數值編碼都無疑引起額外的開銷.在CS框架中,取消采集全部N個像素點的中間過程,直接以壓縮的方式采集信號,即采用另外一個與正交基Ψ不相關的觀測矩陣Φ:MXN,(M

可見壓縮感知的采樣量只要M,這樣的觀測過程是非自適應的,在很大程度上依靠觀測矩陣的選取.通常隨機觀測矩陣因為它提供了廣泛的觀測矩陣與稀疏矩陣不相干對,給重構提供了條件,往往兩者不相關度越大,重構的效果會越好.目前隨機矩陣在觀測矩陣中應用很廣泛,例如高斯隨機矩陣、隨機正交矩陣、隨機貝努利矩陣等,本文采用部分哈達瑪(Hadamard)觀測矩陣,是由于哈達瑪矩陣為正交方陣,它的任意兩行(或兩列)都是正交的這一特點,在隨機矩陣中的不相關性較好.

部分哈達瑪矩陣的構造方式是:生成大小為NXN的哈達瑪矩陣,然后在生成矩陣中隨機地選取M行向量,構成一個MXN的矩陣.

則稱H為n階哈達瑪矩陣.

五種測量矩陣在對同一幀情況下,三摩托車監控視頻的檢測,統計出各自的信噪比(SNR)如下表1所示.

表1 各種不同測量矩陣的重構信噪比對比表

表1可見在稀疏度一樣時,哈達瑪測量矩陣在5種測量矩陣中重構后的信噪比(SNR)是最高的,更能準確重構.

2.3 圖像的稀疏表示

在隱式馬爾可夫樹模型中,小波系數描述成一個由兩個零均值、不同方差的高斯分布所組成.這里的兩個高斯分布分別表示兩種隱式狀態,第一種狀態為高狀態,相應是θm,描述為大方差的高斯分布,另外一種狀態為低狀態,相應是θc,描述為小方差的高斯分布.同時馬爾科夫樹模型的概率轉換矩陣P,為2X2矩陣,其中P(i,j)表示子系數在狀態j,相應的父系數在狀態i;i=1和j=1表示低狀態,i=2和j=2表示高狀態,即(初始狀態分布為[1-πr,πr])

對于計算機視覺來說,自然圖像在小波域內是可以被稀疏表示的.根據壓縮感知理論,CS觀測量v=Φx=ΦΨθ,其中Φ是一個MXN維矩陣(M

根據之前隱式馬爾可夫模型的描述,θc能夠建模為一個零均值、方差σ2e的高斯分布.當我們假設壓縮感知的觀測量中包含了加性噪聲,該噪聲n0為零均值,方差為的高斯噪聲,則觀測量為,其中nc+n0可化簡為一個零均值,方差為σ2的高斯分布.在CS重構中,就是通過重構算法,估計出θk在向量序列θ中的值和位置.

2.4 背景差分圖像模型

利用貝葉斯回歸和因子模型中的峰平(spike and slab)先驗知識[13,14],我們對第i個小波系數θ服從其中δ0是接近0的值,πi是混合加權值.因為每一個觀測量都是整幅圖像的一個隨機投影,所以觀測值滿足常數方差的獨立同分布的高斯分布,即再采用小波估計模型建立.根據以上結論,參考文獻[4]建立貝葉斯樹結構小波壓縮感知模型(TSW-CS)描述為:

其中

其中混合加權πi,精度參數αi和未知噪聲精度αn,θs,j表示在尺度s下的第i個小波系數,i=1,…,Ns(Ns是在尺度s下小波系數的全部個數),πs,i是相關混合加權,θpa(s,)j表示θs,i的父系數,L為分解等級的個數.在(5)式里,帶有零值的父級在尺度下s所有系數分享一個混合加權π0s,帶有非零的父級在尺度s下稀疏分享一個混合加權π1s.噪聲精度αn和非零系數精度αs都描述成Gamma先驗分布,其中a0=b0=c0=d0=1X 10-6,而他們的后驗概率則有數據里推導出來.混合加權值πsc,πr,π0s和π1s都描述成Beta分布,其中,esc=(1-δ)Nsc,fsc=δNsc,Nsc為尺度系數的個數,er0=0.9Ns,fr0=0.1Ns,,其中s=2,…,L.

設背景圖、測試圖和差分圖為xb,xt和xd,差分圖是由測試圖與背景圖相減所得.差分圖的支撐,它提供了檢測目標的位置和外形.假設xb和xt是自然圖像,采用小波基稀疏的條件下使用K個變換系數實現較準確的近似,那么差分圖像xd的支撐集P=Sd的像素且P<

在N維重構維數下,xb,xt和xd的觀測量M的個數[12]可確定為Mscene=Mb=Mt≈和其中α為一個較小的常正數.為了比較Md與Mscene的大小,先假設Md

公式(6)可以化簡為

2.5 基于壓縮感知的前景重構

重構前景我們采用TSW-CS算法[4],該算法是基于Gibbs采樣的馬爾科夫蒙特卡羅(MCMC)算法[16]來計算后驗知識.這種MCMC算法的一個顯著特點是每步迭代都用條件分布(這些分布是通過將目標分布限制在一定的子空間產生的)來構建馬爾可夫鏈并最終收斂于平穩分布.算法的具體描述如下:

1)假設隨機變量先驗概率:

2)在每次MCMC迭代過程中,由式(5)和(7)得重構小波系數的條件先驗分布為:

其中θs,j是N維向量θ的第j元素,表示θ(j),則,其中

4)經過k次MCMC迭代后,由蒙特卡羅方法得到重構后小波系數的近似形式θ?=,得檢測后的目標圖像.

2.6 自適應背景建模

由于光照、相機的抖動、陰影的變化都會使背景發生變化,為了提高算法的魯棒性和準確性,本文提出了局部時間均衡的自適應背景模型,學習公式:

k表示步長,步長越大對于短時間劇烈運動的分辨能力越差,但相反可以減少低速運動物體的干擾,更準確地識別出它,提高魯棒性,α表示模型的學習速度,其倒數表示衰減過程的時間常數,一般是經驗值.該模型在每隔k幀更新一次,將該時刻的前k幀的圖像進行均衡從而獲得.其中初始背景v{b1}為第一幀v{t

1}

圖2 動態目標識別檢測系統的流程圖

當視頻通過攝像頭采集后,以一幀一幀的形式進入動態目標識別檢測系Z統中,系統會根據目標的移動情況自動更新背景,使得背景模型適應環境的變化.

3 實驗結果

為了驗證算法的有效性,對分辨率為128X128像素的多個目標真實場景的交通監控錄像進行了測試,其中包含樹蔭、樹葉、路面等復雜背景的干擾,以及各種不同車輛目標的新生、消失等跟蹤場景,攝像頭每秒采集25幀.

實驗測試內容:1)為了比較在本文檢測系統下對室外交通監控視頻進行檢測,獲得不同幀下各種車輛的測試結果,并檢測出目標個數,實驗參數α=0.5,步長k=7,觀測比M/N=10%.2)不同觀測比M/N下進行檢測.3)TSW-CS重構算法與其他常用的重構算法進行檢測比較,對比信噪比、相對重構誤差和重構時間.

圖3為實驗(1)的大馬路視頻的檢測結果,第一行圖片為原跟蹤畫面(原始視頻信號),第二行為常規背景差分法得到前景圖像,再進行壓縮感知并使用TSW-CS重構,第三行為本算法相應檢測結果,第四行為形態學處理后的檢測結果和檢測目標個數;圖中白色圖案為背景分割后的目標圖像.由圖可見,先進行背景差分再壓縮感知的話,由于重構算法在低觀測率下會出現較大的失真,對比第二、三行圖像,本算法的檢測效果有較大的提升.在圖3(a)中,可以看到馬路上有七輛汽車,從馬路上方往下行駛,我們的算法都能檢測出來,只是最頂部的三輛汽車行駛比較靠近,在形態學處理后會誤判為同一目標.圖3(b)有六輛汽車,雖然畫面頂部的幾輛汽車目標較小,但是本算法也能準確檢測出來.圖3(c)的形態學結果中,頂部出現兩個目標是由于斑馬線上行人的走動所致,對于靠近攝像機的兩輛汽車都能檢測出來.圖3(d)的兩輛汽車能清楚地檢測出來.為了對檢測效果有一個定量的分析,我們定義檢測率=;統計實驗結果,該視頻的檢測率為94.1%.

圖3 不同幀視頻下的目標檢測效果圖

如圖4為實驗(2)中大馬路視頻的本算法在觀測比M/N為15%,10%,5%下,第235幀視頻的檢測結果.從圖4可以看出,當不適應自適應背景模型,在觀測率為10%時目標非常不清晰,背景噪聲過大導致檢測率下降,而使用自適應背景模型后,檢測效果會更良好和清晰,這是由于固定背景不可能完全適應即時視頻背景的配對,會在光照或者抖動的影響下降低檢測準確度.同時可見,在觀測比為10%以上,檢測結果都能比較好得重構出原檢測目標,觀測比為5%時噪聲會比較大,可借助濾波提取到檢測.另外,本背景模型在步長k為1-3時,能較好地檢測高速運動物體,在7-9時,能較好地檢測低速運動物體.需要注意的是,步長如果取大了之后,快速運動的物體檢測結果會出現拖尾現象,所以要根據實際需要合理選取步長,一般情況α取(0.5~0.7),k取(4~6)為佳.

圖4 大馬路視頻中第235幀的檢測結果.第一行為有使用自適應背景模型的結果,第二行為未使用自適應背景模型的結果

圖5 五種重構算法在觀測比為10%的檢測結果對比圖

圖5 為實驗(3)把常規背景差分法與目前常用的5種重構算法和TSW-CS算法的效果對比圖,以卡口監控視頻的第51幀為例,觀測比為10%.可以看出,在觀測量比較小的時候,本文TSW-CS算法的信噪比是最高的,而且目標的細節都最為清晰,跟沒進行壓縮感知的背景差分所檢測的目標十分接近,從而在大大減少采樣率的前提下,實現了有效的預測跟蹤,確保較好的檢測準確度.這是由于TSW算法集中更多能量在低尺度分辨上,檢測目標一般只要輪廓不需要太多細節,所以需要的是目標的低尺度的小波系數,因此用TSW-CS算法重構更為準確.

圖6 各重構算法的信噪比

圖7 各重構算法的相對重構誤差

圖8 各重構算法的重構時間

如圖6-8所示TSW-CS重構算法比與OMP、StOMP、GPSR、TVAL3四種算法的重構比較,其中TSW-CS的迭代次數為15,OMP和StOMP的最大迭代次數為50,GPSR和TVAL3的最大迭代次數為100.可見,TSW-CS的信噪比在每個觀測量個數下都是最高,更準確地恢復目標的輪廓和有關部分細節.相對重構誤差(Relative Reconstruction Error)定義為,其中f代表原圖像信號,?f代表重構信號,由圖7可見TSW-CS相對重構誤差最小,重構精度最高,從視覺上可以明顯看出差異.由圖8可見TSW-CS的重構時間屬于中等,在N=2000后逐漸少于StOMP,與OMP算法平均相差4秒,重構時間在五種算法里占優.由于TSW-CS的迭代次數固定,所以重構時間相對變化比較平穩,而其他四種算法會由于觀測量增加,導致迭代所選原子也增多,錯選原子的概率也增加,迭代次數也就會增加,重構時間增長.

4 結束語

本文以壓縮感知理論為基礎,建立了使用與交通監控視頻目標檢測的CS框架,以db3小波稀疏為基礎,通過哈達瑪矩陣進行隨機抽取行的方法構建測量矩陣,該方法解決傳統的視頻編碼需要較大的運算量的問題,可以減輕視頻采集終端的硬件處理任務,減少網絡傳輸的數據量,將更多的運算轉入后端信息處理中心.

結合背景差分思想、TSW-CS重構算法和局部時間均衡自適應背景模型而組成的目標檢測系統,對多個車輛目標的幾個視頻進行檢測,從而得到其準確性以及分析誤差出現的原因.實驗結果表明,本文提出的檢測系統能在較高壓縮比的情況下提取出前景區域,并較快速地完成信號重構,具有工程可實現性.下一步工作主要集中于重構算法的改進和尋找特定有效的觀測矩陣進行觀測,得到更好的結果.

[1]Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[2]Ji S H,Xue Y,Carin L.Bayesian compressive sensing[J].IEEE Transactions Signal Processing,2008,56(6):2345-2356.

[3]Zhang Z L,Rao B D.Sparse signal recovery with temporally correlated source vectors using sparse bayesian learning[J].IEEE Journal of Selected Topics in Signal Processing,2011,5(5):912-926.

[4]He L H,Carin L.Exploiting structure in wavelet-based bayesian compressive sensing[J].IEEE Transactions Signal Processing,2009,56(9):3488-3497.

[5]Jain R,Sankar K P,Jawahar C V.Interpolation based tracking for fast object detection in videos[C]//Computer Vision,Pattern Recognition,Image Processing and Graphics(NCVPRIPG),2011 Third National Conference on.IEEE,2011:102-105.

[6]朱明旱,羅大庸.基于幀間差分背景模型的運動物體檢測與跟蹤[J].計算機測量與控制,2006,14(8):1004-1006.

[7]Wang P,Shen C H,Barnes N,et al.Fast and robust object detection using asymmetric totally corrective boosting[J].IEEE Digital Object Identifier,2012,23(1):33-46.

[8]Ng H F.Automatic thresholding for defect detection[J].Pattern Recognition Letters,2006,27(14):1644-1649.

[9]Lin R S,Ross D,Lim J,et al.Adaptive discriminative generative model and its applications[J].Advances in neural information processing systems,2004:17:801-808.

[10]Collins R T,Liu Y X,Leordeanu M.Online selection of discriminative tracking features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1631-1643.

[11]Cevher V,Sankaranarayanan A,Duarte M F,et al.Compressive sensing for background subtraction[M]//Computer Vision-ECCV 2008.Springer Berlin Heidelberg,2008:155-168.

[12]李小波.基于壓縮感知的測量矩陣研究[D].北京:北京交通大學,2010:9-21.

[13]Carvalho C M,Chang J,Lucas J E.High-dimensional sparse factor modeling:applications in gene expression genomics[J].Journal of American Statistical Association,2008,103(484):1438-1456.

[14]Ishwaran H and Rao J S.Spike and slab variable selection:frequentist and bayesian strategies[J].American Statistical Association,2005,33:730-773.

[15]Ray S,Mallick B.Functional clustering by bayesian wavelet methods[J].Journal of the Royal Statistical Society.2006,68(2):305-332.

[16]Robert C P,Casella G.Monte carlo statistical methods[M].2nd.ed,New York:Springer,2004:56-90.