改進光流法和GMM融合的車輛實時檢測算法研究

陳立潮，解丹，曹建芳,2，張睿

（1. 太原科技大學 計算機科學與技術學院，山西 太原 030024; 2. 忻州師范學院 計算機科學與技術系，山西 忻州 034000）

近年來隨著交通監控系統的日益普及，以視頻為基礎的車輛檢測已成為智能交通領域的研究熱點[1]。當前，車輛檢測方法大致可以分為兩類，一類是光流法（optical flow，OF）[2]、幀差法[3]、背景差分法[4]這類經典的車輛實時檢測方法；另一類是隨著深度學習的出現而發展起來的Fast-RCNN[5]、Faster-RCNN[6]等區域建議檢測方法和YOLO[7]、YOLOv2[8]等無區域建議的檢測方法。鑒于深度學習算法需要很高的硬件配置和大量數據集，實驗條件較為嚴格，因而盡管光流法等實時檢測算法出現較早，但目前仍是研究的熱點。2017年Sengar等[9]采用一種基于雙向光流塊的運動目標檢測方法，該方法首先估計當前幀與上一幀和下一幀之間的雙向光流場，并經過處理后以二值化的形式檢測到運動對象。其在固定場景的視頻中測試了該方法的有效性，但對于變化的場景而言，該算法的性能較差。同年，Pan等[10]提出一種ViBe背景模型以解決光照變化而導致的背景變化。ViBe背景模型的核心是根據已定義的兩種車輛檢測誤差及其對應的誤差函數，確定合理的評價條件、調整不合理的閾值以保證背景模型的自適應更新。此方法雖然提高了前景分割的準確率，但是在背景模型更新的過程中，檢測效果仍有待提高。相比國外而言，國內學者對光流法的研究較少。

上述方法也存在一定的缺陷，如：光流法很容易受到噪聲、光源以及陰影變化的影響，從而影響檢測結果。幀差法檢測到的目標輪廓通常比實際的輪廓要大，且隨著車輛運動速度的增加，誤差也會逐漸變大。背景差分法在實際應用中具有局限性，背景模型的建立以及更新對場景變化比較敏感，這在很大程度上會影響檢測結果。但光流法檢測較其他兩種方法較為準確，背景差分法能很好地利用幀間信息，基于此，本文針對光流算法和背景差分法的優缺點提出一種改進光流法與高斯混合背景模型相融合的算法（improved optical flow and gaussian mixture model，IOFGMM）以改善實時性檢測算法在不同場景中的檢測效果。

1 相關理論

1.1 光流法

光流包含運動物體的運動信息和三維結構信息。光流為圖像中每個像素點設置一個速度矢量，該速度矢量用于分析圖像。當光流矢量的變化連續時，圖像中不含運動信息；否則，圖像中含有運動信息即有運動的物體出現。光流算法有很多，Horn-Schunck[11]是一種基于梯度的全局約束光流算法，本文算法在此算法上進行改進，利用稠密的光流信息檢測視頻中的運動目標。假設圖像中某像素點 (x,y) 在 t 時刻的灰度值表示為I(x,y,t)，Horn-Schunck將光流求解歸結為式（1）所示的極值問題。

式中:Ix、Iy、It分別為I(x,y,t)在x、y、t處的偏導數，分別代表像素點的灰度值隨x、y、t的變化率。λ表示對圖像數據及平滑約束的置信度，它的取值和圖像中的噪聲相關，當圖像中的噪聲較少時，說明圖像數據本身的置信度較高，此時需要較小的 λ，以減小對光流約束的依賴。反之，當圖像中的噪聲較多時，需要較大的 λ。ux、uy和vx、vy分別為光流的水平速度u和垂直速度v在x、y處的偏導數。經推導的值可用ui,j鄰域和vi,j鄰域的均值，原算法中采用8個領域的加權平均值：

式中:下標 i 是圖像中 y 方向的坐標，下標 j 是圖像 中 x 方向的坐標。

1.2 高斯混合背景模型

高斯混合背景模型（gaussian mixture model，GMM）[12]是一種經典的背景建模方法。其用 K個高斯模型表示圖像中各像素點的特征，通過對每個分布中的均值、方差、權重參數進行學習更新。假設圖像中某像素點(x,y) 在 t 時刻的像素值為 I(x ,y,t)，此點的概率密度函數為 K 個高斯模型概率密度的加權和 P (I(x,y,t))，計算公式為

式中：K為高斯分布的個數；ωi,t、 ηi,t、 μi,t、 σi,t分別為 t 時刻第 i 個高斯分量的權值、概率密度函數、平均值、協方差矩陣。

若像素點 I(x,y,t) 的值與前 B 個 高斯分布均不匹配，則該像素被認為是前景，此時用一個新的高斯分布取代權值最小的那個高斯分布，并為其初始化一個較大的方差和較小的權重值。反之，該像素被認為是背景。

2 IOFGMM算法

2.1 參數引入

為了增強光流算法的準確性，提出一種改進的光流算法（improved optical flow，IOF）。具體做法是在光流計算中加入一個限制條件（參數）使得在梯度較大的點處使用亮度恒常性約束，在梯度較小的點處使用光流場一致性約束。因而定義式（5）的二值加權函數。

式中:V為一個閾值，實驗中V取0.5，當 I2x與 Iy2的和大于所設定的閾值時，函數值為0；其他情況，函數值為1。加入限制條件以后，由式（1）和式（5）可得到：

2.2 信息融合

經實驗發現OF和GMM的檢測結果各有優缺點，OF能夠在未知場景的狀況下檢測到獨立的運動車輛，但容易受噪聲、光照等的影響；IOF雖然穩定，但光照強度變化很大時，仍檢測不到目標；而GMM容易在背景建模和背景更新的過程中檢測不到車輛，但即使光照變化很大時，背景建模仍有較好的效果。因此，將IOF和GMM的信息相融合。

將IOF檢測結果的某一幀圖像稱為A圖，將GMM檢測結果的某一幀圖像稱為B圖。A圖中檢測到的車輛數量記為count1，所有的目標框的集合為{BoxA1, BoxA2,…, BoxAi}，對應的中心點的集合為{A1, A2,…, Ai}。同理，B圖中檢測到的車輛數量記為count2，目標框的集合記為{BoxB1,BoxB2,…, BoxBi}，對應的中心點的集合為{B1,B2,…, Bi}。信息融合的具體步驟是：

1）比較count1、count2。若count1≥count2，執行2）；否則，執行5）；

2）從圖A中遍歷中心點{A1, A2,…, Ai}，遍歷未完成時，執行3）～4）；否則，執行8）；

3）計算A圖中的中心點與B圖中的所有中心點{B1, B2,…, Bi}的距離，取最小的（若有兩個及以上相等，則都取）距離所對應的目標框BoxBi；

4）計算BoxAi和BoxBi的重疊面積（intersection area, IA），若 IA=0，則記錄 IA的中心點坐標及長和寬；若 IA＞0，則取值最大的 IA的中心點坐標及長和寬；

5）從圖B中遍歷中心點{B1, B2,…, Bi}，遍歷未完成時，執行6）～7）；否則，執行8）；

6）計算B圖中的中心點{B1, B2,…, Bi}與A圖中的所有中心點的距離，取最小的（若有兩個及以上相等，則都取）距離所對應的目標框BoxAi；

7）計算BoxBi和BoxAi的IA，若 IA=0，則記錄 IA的中心點坐標及長和寬；若 IA＞0，則取值最大的 IA的中心點坐標及長和寬；

8）將 IA所對應的矩形框標注在圖像中，并記錄矩形框的總數量，其為IOFGMM檢測的結果。

2.3 算法描述

IOFGMM算法的流程如圖1所示。主要步驟包括讀取視頻的圖像序列、處理視頻的圖像序列和在圖像上繪制檢測結果。其中處理視頻圖像序列是核心步驟，包括確定感興趣區域、獲取光流信息、獲取前景和背景信息、形態學操作、圖像分割及信息融合。首先，從磁盤中讀取處理好的視頻數據集，之后獲取所讀入視頻的信息，獲取到的視頻幀進入一個循環中，當視頻幀未讀取完時，對每幀圖像進行光流矢量及相關值的計算以及前景和背景信息的獲取，并對所獲取的信息進行二值化的閾值分割，從而分割出運動的車輛目標，接著進行腐蝕和膨脹的形態學操作，以清除殘留的小噪聲并平滑被分割的車輛邊緣，最后繪制目標框并根據2.2節所描述的方法將信息融合，進一步繪制校準后的目標區域，計算目標框個數并輸出結果。

整個IOFGMM算法由一個判斷、一個遍歷和若干個處理操作組成，具體的算法描述如下：

輸入 視頻數據集

輸出 具有檢測信息的視頻和檢測后視頻中的每幀圖像

1) 讀取視頻幀并獲取視頻信息;

2) if 視頻幀數未讀取完 then

3) for i=1, 2, ···, video.length do

4) 確定感興趣區;

5) 計算光流矢量及相關值;

6) 獲取前景、背景信息;

7) 分割圖像;

8) 形態學處理;

9) 記錄目標框;

10) 融合信息;

11) 繪制融合信息后的目標框，并對每幀目標框計數;

12) return

13) end for

14) end if

15) if 視頻幀數讀取完 then

16) break

17) end if

圖 1 IOFGMM算法流程圖Fig. 1 Flow chart of the IOFGMM method

3 實驗結果及分析

3.1 實驗環境與數據來源

實驗的硬件環境為Intel i7-4 770，3.40 GHz的四核CPU；12 GB的內存；1 GB的AMD Radeon HD8490顯卡和120 GB的固態硬盤。軟件環境為Windows10操作系統的MATLAB R2014b。整個算法通過創建計算機視覺工具箱的對象進行編寫。

算法的性能在真實的車輛視頻上進行評估，數據集采用公共數據集CDnet2014[13]，該數據集包含多個數據類別且每個類別中包含4～6個視頻序列，可登錄網站“ChangeDetection.net”免費下載。本實驗研究運動車輛的檢測，所以選用CDnet2014中的Highway、IntermittenPan、Street-CornerAtNight視頻序列。3個視頻序列的信息如表1所示。

表 1 用于檢測的視頻序列信息Table 1 Video sequence information for detection

這3個視頻序列的圖像格式均是位深度為24的RGB圖像。由于彩色圖像信息量多，處理復雜，故讀取每張圖像后，將彩色圖像轉換為灰度圖像，即將三通道的RGB圖像變為單通道的灰度圖像。此外，采用自動白平衡算法[14]去除圖像中的灰度突變、平滑圖像。實際中采集到的一般為視頻而非視頻序列，故將所有的視頻序列合成視頻，對這3個合成的視頻進行車輛的檢測。

3.2 結果分析

3.2.1 車輛檢測視覺效果

在3個不同場景下的監控視頻上檢測車輛的視覺效果如表2～4所示。表中第1列說明了該行所對應的為第幾幀圖像，第2列是輸入的圖像，第3列是對應圖像的背景，第4列是對應圖像的前景，第5列是對應圖像的光流可視化，最后一列是最后檢測的結果。

表2是白天高速公路上的車輛檢測視覺效果。可以看出，由于是晴天，背景被樹木的陰影和車輛的陰影遮擋，一定的時間段內，光照不會有太大變化。由于在背景建模時已經將帶有樹木陰影的車輛場景視為背景，因此不會將樹木陰影誤認為運動目標，又因為在前景信息的獲取時進行了角點檢測，而且融合信息的緣故，所以部分車輛陰影沒有被誤認為是車輛目標。

表3是PTZ（Pan/Tilt/Zoom）相機拍攝的城鎮道路上的視頻序列的檢測效果。由于云臺的上下、左右移動以及鏡頭的變倍、變焦使得對背景更新算法的要求較高。從檢測效果看，在這樣一個晴天且有陰影的情況下，圖像的光線變化較大，但是由于在光流法中引入了新參數，所以在光流變化較大時仍可以得到較好的檢測結果。

表4是街角的夜景檢測的效果，其主要的挑戰在于車燈的變化對于前景檢測會造成很大的影響，且車燈的光線會對背景中的光流場有影響。由于形態學的處理和信息融合的緣故，減少了這種影響。

表 2 Highway場景檢測的視覺效果Table 2 Visual effects of Highway scene detection

表 3 IntermittenPan場景檢測的視覺效果Table 3 Visual effects of IntermittenPan scene detection

表 4 StreetCornerAtNight 場景檢測的視覺效果Table 4 Visual effects of StreetCornerAtNight scene detection

3.2.2 檢測結果量化對比

為了對實驗結果進行量化，采用準確率（Precision，P）、召回率（Recall，R）與F1指標[15]評價IOFGMM算法，評價指標的值越大說明算法的檢測效果越好。上述算法與一些經典的且實時性檢測效果好的算法GMM、incPCP、Corola、OF、BBOF進行比較。其中，GMM是一種經典的背景差分方法，incPCP和Corola是一種基于背景差分法的改進算法，OF是稠密光流法Horn-Schunck，BBOF是一種基于塊的雙向光流運動檢測方法。比較結果如表5和圖2所示，從評價指標上看，GMM和OF兩種經典算法的檢測效果最差，而在其基礎上改進的incPCP、BBOF以及Corola檢測效果越來越好，而IOFGMM算法由于在光流算法中增加了一個約束條件，并將混合高斯背景建模的信息和光流信息相結合，從而導致該算法實驗結果的指標值均高于其他5種算法，因而所提出的IOFGMM算法較優。

表 5 IOFGMM與GMM、incPCP、Corola、OF、BBOF的實驗對比Table 5 Experimental comparison of IOFGMM, GMM, incPCP, Corola, OF and BBOF

圖 2 IOFGMM與其他算法的對比Fig. 2 Comparison of IOFGMM and other methods

為進一步驗證及評估該算法在實際場景中的檢測效果，在山西省太原市西中環路進行車輛運動視頻的采集，并用IOFGMM、Corola、BBOF算法對視頻進行車輛檢測。所采集的視頻共有91幀，部分IOFGMM算法的檢測結果如圖3所示。

圖 3 實際場景中的部分檢測結果Fig. 3 Partial detection results in the actual scene

所提出的算法在獲取前、背景信息及光流信 息后，將分割后的連通域進行形態學處理，并將光流信息和背景建模信息互相補充，從而檢測到了與背景灰度信息相似的深色車輛、距離較遠的車輛、距離較近的車輛，且標注出的目標框比較準確。此外，每幀圖像中左上角的計數數量與實際的車輛數量相同。

3種算法檢測在該視頻上的檢測結果如表6。可以看出，3種算法的準確率相差較小，召回率相差較大，且IOFGMM算法的準確率、召回率及F1值均高于Corola和BBOF。因而，實際場景中IOFGMM算法也具有良好的檢測效果。

表 6 IOFGMM與Corola、BBOF的實驗對比Table 6 Experimental comparison of IOFGMM, Corola and BBOF

4 結束語

針對光流算法受光照影響較大和在不同場景中檢測效果差別較大等問題，提出了IOFGMM檢測算法對車輛進行實時檢測。該算法在改進OF算法的基礎上融入GMM，將檢測到的目標信息相融合，最終顯示出具有檢測信息的車輛監控視頻。在公共數據集CDnet2014上對該算法進行驗證，實驗結果表明，該算法的P、R和F1值最高可達96.32%、94.81%、95.59%；最低為62.65%、72.26%、67.11%，但是無論是最高還是最低都比同樣場景下的Corola等車輛檢測算法的效果好。因此，該算法在不同場景下均能獲得較好的效果，對于智能交通的發展具有重要意義。但是由于同一算法的同種參數應用于不同場景時會產生一些差別，從而影響算法的性能，故之后可以將級聯機制引入IOFGMM算法中，預先判斷場景，并根據場景選用不同參數，從而提高多場景下的車輛檢測的準確率和召回率。另一方面，IOFGMM算法卻乏主動學習的機制，因而下一步可以在光流場中引入神經網絡，使得算法能夠主動學習車輛特征，提高車輛的檢測效果。