基于動態特征融合的智能車應用檢測分割技術

舒鑫印，王 萍

(東華大學 信息科學與技術學院，上海 201620)

0 引 言

在安全駕駛輔助系統中通過智能視頻處理技術幫助車輛感知交通環境變化，捕獲和處理視頻圖像來理解交通狀況是一項關鍵技術。運動目標檢測及目標分割技術作為視頻智能處理的重要部分，對視頻前景目標進行實時的完整的有效提取，能準確提供運動目標參數信息如目標區域、方位等，因此該技術的質量直接影響到整套環境感知系統的可靠性和穩定性[1]。

文獻[2]采用全局運動光流補償方法，根據前景與背景間光流間的差異，進行目標檢測。文獻[3]采取自適應雙分數階光流模型方法，做目標檢測及分割，提升了算法速率。文獻[4]提出一種利用光流圖的有序性及雙流卷積網絡，有較高的檢測準確率。文獻[5]提出了fast-LOF的光流軌跡分類目標檢測方法，針對動態背景，有良好的檢測效率。文獻[6]將目標ORB特征與LK光流結合，提出了一種多尺度多區域檢測跟蹤算法，提高了實時性及目標定位精度。文獻[7]采用邊緣粒子濾波概率假設密度濾波器對運動目標進行檢測跟蹤有良好的目標檢測分割及跟蹤效果。文獻[8]針對目標檢測精度、錯檢漏檢問題，提出了一種使用深度神經網絡檢測車標的方法。文獻[9]采用神經網絡CNN通過使用大數據集訓練方法完成目標檢測及目標分割。但文獻[2,8]對視頻中光線亮度有一定要求，且對小目標檢測及分割不夠靈敏；文獻[4,7,9]沒有考慮算法實時性，文獻[2,3,5]算法對場景有要求，沒有考慮動態場景及攝像頭有抖動的情況，具有一定的局限性。

在目前實時性不夠高、目標檢測分割精度不夠高，及多目標錯檢漏檢問題情況下，本文針對實時性問題及車行駛中光照亮度變化影響問題，提出用動態閾值三幀間差法對視頻序列做預處理，同時針對目標檢測精度不高及錯檢漏檢問題提出了一種基于視頻的動態特征及邊緣信息融合的運動車輛目標檢測方法。

1 算法設計

1.1 本文算法設計方案

本文通過設計光流信息、邊緣信息及信息融合3個模塊完成對上述問題的處理，如圖1所示。在光流信息模塊中，在考慮到盡量不損失光流信息，同時減少光流量計算的情況下，先通過動態閾值三幀間差法處理視頻序列，降低光照干擾，得到有效運動區域，加快算法檢測速率。后通過金字塔光流法處理，計算視頻中目標運動產生的尺度變化光流信息。最后融合邊緣信息模塊產生多方向邊緣信息來實現對目標完整輪廓的有效提取。

圖1 本算法流程

算法具體步驟如下：

(1)取視頻連續三幀圖像Ik-1,Ik,Ik+1；

(2)對Ik-1,Ik與Ik,Ik+1分別進行差分處理得d1k、d2k；同時對幀Ik做邊緣檢測，二值化得邊緣檢測結果G(i,j)；

(3)對d1k,d2k進行二值化，并進行與操作，得運動區域J(i,j)；

(4)將J(i,j)作為底層原視圖像建立金字塔模型JL,L=0,1,…,Lm。通過迭代計算Lm,L，…，0層的光流值，以此類推得到原始圖像中目標的光流值，得到運動目標結果P(i,j)；

(5)最后將邊緣檢測圖像G(i,j)與金字塔光流法處理圖像P(i,j)進行與操作得到目標圖像F(i,j)，最后進行形態學處理得到輸出圖像。

1.2 光流信息模塊

1.2.1 動態閾值三幀間差法

由于光照變化容易影響檢測效果，本文在幀間差分法[10]的基礎上采用動態閾值三幀差分法，通過動態自適應閾值的方法來增強抗光照干擾能力，獲得有效的前景運動區域。主要思想為：取視頻序列的連續三幀Ik-1,Ik,Ik+1，做相鄰幀差分運算，并根據動態閾值過濾得二值化圖像，由式(1)和式(2)將上一步差分運算得到的結果d1k,d2k進行相與操作，若Dk=1，目標為前景點；反之為背景點。從而確定圖像中的前景區域，得到運動目標的輪廓

(1)

(2)

dk=d1k∩d2k

(3)

(4)

其中

(5)

(6)

其中，λ為抑制系數，經實驗，參考值為2。T0為固定的二值化閾值，M×N為視頻圖像的尺寸大小，其值為圖像像素個數，T1和T2均為動態閾值，Ik-1(x,y),Ik(x,y),Ik+1(x,y)為對應像素點亮度大小。在視頻序列中，T1,T2反應了光照變化劇烈程度，根據式(5)和式(6)得，光照變化劇烈，動態閾值也提高，這有效抑制了光線轉變所帶來的影響。

1.2.2 金字塔LK光流法

光流算法[11]是一種對視頻中光流變化的估計算法。金字塔光流法[12]其核心思想是通過金字塔模型縮小圖像尺寸將大尺度運動光流變成小尺度運動光流，從而實現對目標大運動的檢測，模型如圖2所示。

(1)以原視圖像作為金字塔底層L0，采用相應比例對原圖像縮放成不同分辨率的層次，縮放至一定層次時，便實現了將大運動位移變得足夠小，從而滿足光流法約束，完成對運動光流的計算。

(2)由最頂層向下依次計算，設gL為第L3層的初始估計光流向量，ΔfL為第L3層內計算得到的光流結果，層間映射關系為

gL-1=k(gL+ΔfL)

(7)

(3)設金字塔總層數為N,初始化金字塔最頂層的光流向量g(N-1)=0，由頂層向下依次計算得原始圖像的運動光流

(8)

通過迭代計算得出在原始圖像中運動目標的光流估計向量P(i,j)。經過實驗，為取得滿意的檢測跟蹤效果及符合要求的算法速率，層數N=3時能取得滿意效果。

圖2 金字塔光流法模型

1.3 邊緣信息模塊

針對單一光流法檢測精度低，不能完整檢測目標輪廓，本文提出采用改進的八方向模板Prewitt算子進行信息補充，使得到更完整的目標檢測結果。

Prewitt算子[13]只有水平及豎直兩個方向的模板算子，會導致丟失一部分方向的信息，不能實現對目標完整輪廓的檢測。因此本文采用改進多方向Prewitt算子來進行邊緣檢測，通過增加45°、135°、180°、225°、270°和315°多方向的模板算子，算子模板如圖3所示，對原圖像做邊緣檢測，得到更加完整的目標邊緣輪廓。

圖3 Prewitt算子的8個方向模板

(9)

由式(9)，將圖像像素矩陣f(i,j)與各算子模板pk做卷積和得邊緣檢測結果G(i,j)。改進Prewitt算子邊緣檢測效果如圖4所示。由圖4可以看出該算法能夠有效檢測出目標的完整輪廓，獲取更多的物體邊緣信息。

圖4 邊緣檢測效果對比

1.4 信息融合模塊

本文通過“與”運算對同一運動目標的兩種二值化特征信息進行融合，其中，一種為改進Prewitt邊緣檢測算法處理得到的目標邊緣信息，另一種為采取金字塔分層光流提取得到的光流類信息。二值化操作處理邊緣信息與光流信息，然后進行信息融合得到運動目標的信息

(10)

式中：F(i,j)表示信息融合后得到的結果圖像，G(i,j)表示邊緣檢測二值化特征信息，P(i,j)表示光流類二值化特征信息。使用“與”運算進行信息融合的優勢在于可強化運動信息，去掉除無關的非目標冗余信息，進一步提升檢測精度，最后采用形態學方法對目標檢測結果進行開運算操作得到輸出結果。

2 性能評估指標

為定量評估本文方法性能，采用廣泛使用的查準率PR、查全率RE和綜合評價FM對算法進行評估，定義如下

(11)

(12)

(13)

其中，TP,FP分別指在檢測出的區域中正確或錯誤的目標像素點數量,FN指將目標像素點檢測成背景像素的數量。

式(14)和式(15)分別給出各場景下平均處理速率v以及綜合平均速率v綜

(14)

(15)

其中，t總,f總分別為各場景下視頻時長及總幀數，vsum為各場景下v的和，n為場景數。

3 實驗結果與分析

實驗硬件平臺使用英特爾i7處理器,CPU頻率2.2 GHz,內存8 G,GPU為1050Ti,操作系統為Windows10。

實驗視頻均選dataset2014數據集[14]，視頻序列highway、peopleInShawde、canoe以及traffic，分別對應本實驗的4個場景：靜態背景下多運動目標845幀、陰影背景下多運動目標334幀、動態背景下單目標檢測970幀，及抖動攝像頭下多運動目標358幀。在上述場景下依次使用光流法[15]、粒子濾波[16]、神經卷積網絡[17](CNN)及本文算法進行實驗，實驗效果如圖5所示，PR值、RE值及FM值直方圖評估結果如圖6所示(直方圖從左至右依次為光流法、粒子濾波、CNN及本文算法)，算法速率對比結果見表1。

圖5 不同場景下視頻檢測效果對比

圖6 各場景中PR、RE、FM值直方圖

表1 本文算法與各算法運行速率對比

在場景一的靜態背景下，各算法均有良好的表現，傳統光流法檢測結果中有一些噪聲干擾出現，在視野較遠處，由于運動目標較小且運動小，光流法及粒子濾波無法檢測到完整目標。在場景二的陰影背景下，由于光照不充分，光流法出現重影及空洞現象，將一個目標檢測成多個目標，影響了追蹤的準確性，CNN方法及本文算法能準確檢測出運動目標，有良好的檢測效果，但本文檢測速度是CNN方法的3倍。在場景三的動態背景下，由于水面波紋影響，光流法失去檢測追蹤能力，粒子濾波不能完整檢測目標，CNN與本文算法檢測效果較好，但本文算法相對能檢測得到更完整的目標輪廓。在場景四的抖動攝像頭下，光流法失去檢測追蹤能力，在攝像機抖動狀態下，光流法能檢測出運動目標，但其抗噪性能差，CNN方法及粒子濾波抗噪能力好但不能檢測出目標的完整輪廓，本文算法表現良好。

從直方圖可以看出，在不同場景下本文算法的查準率PR與查全率RE均高于其它算法，算法性能有明顯提升。綜合評價FM達到90%左右，表明本文算法有優良的檢測性能及較強魯棒性，能適應以上各個場景的運動目標檢測及目標分割。

從運行速率對比表可以看出，由于本文所提算法在進行光流法處理前，進行了幀間差法的前置處理，大大縮短了光流法所需處理時間，平均處理速率達到47幀/s,能滿足各場景的實時性要求,較光流法提升了一倍，是CNN方法的近3倍。

4 結束語

本文針對車輛在行駛中引起的視頻場中運動目標大動態尺度變化、抖動、多場景、多目標快速跟蹤等檢測分割問題，提出了一種基于視頻的動態特征及邊緣信息融合的運動車輛目標檢測分割方法。將隨運動目標尺度變化的動態光流特征以及八方向模板Prewitt邊緣檢測特征信息有效結合，提升檢測準確率及完整度，有效進行目標檢測及分割。同時，設計自適應閾值三幀間差法預處理技術獲取有效運動區域，提高了算法檢測速度，增強抗光照干擾能力。實驗結果表明，本文方法能滿足檢測分割要求與實時要求，能夠適應多種場景的檢測精度要求，穩定性良好，在動態目標檢測及目標分割方面有良好的效果。