智能視頻監控背景建模及算法分析

智能視頻監控在不需要人為干預的情況下，利用計算機視覺和視頻分析的方法對攝像機拍錄的圖像序列進行自動分析，實現動態場景中的目標的檢測、識別和跟蹤，并在此基礎上分析和判斷目標的行為。

概論

智能視頻監控技術能夠可靠地、有效地完成對重要場所的監視保護任務，從而備受人們的關注。智能視頻監控系統在銀行、交通、軍事、商業等部門都得到了非常廣泛的應用。隨著計算機技術、硬件技術與通信技術的飛速發展，視頻監控技術也得到了不斷地發展。智能視頻監控系統中的運動目標檢測與跟蹤為智能監控的進一步的分析工作提供了數據支撐。人類獲取的各種信息中有大約80%是來自于視覺的。在視覺和人腦的配合下，人類可以實現對極為復雜的運動目標的識別、精確定位與跟蹤。計算機視覺就是用各種成像系統代替視覺器官作為輸入敏感手段，由計算機完成人類大腦所完成的處理和解釋任務，它的最終研究目標就是使計算機能像人一樣通過視覺觀察和理解世界，具有自主適應環境的能力。

作為計算機視覺研究的一個重要方面，智能視頻監控以及運動目標檢測與跟蹤已經成為模式識別、圖像處理、計算機視覺等領域的重要課題。智能視頻監控在不需要人為干預的情況下，利用計算機視覺和視頻分析的方法對攝像機拍錄的圖像序列進行自動分析，實現動態場景中的目標的檢測、識別和跟蹤，并在此基礎上分析和判斷目標的行為。傳統的視頻監控系統由連接到一套電視監視器上的一個或多個攝像機組成，分布在場景中的攝像頭采集到的圖像數據送入監控室，再通過人工參與監控的方式來進行監控，在有異常情況發生的時候人工報警。這種方法利用了人眼強大的視覺能力和人腦強大的行為識別和分析能力，能夠對場景里異常情況的發生做出精確的判斷。但是這種人工監控的方式也存在著明顯的缺陷。它需要全天二十四小時的人工監控，這不僅需要投入大量的人力和財力，對于監控人員也是一個很大地挑戰。由于工作的單調枯燥，監控人員很難避免由于疲勞引起的“漏警”現象的發生。而當今社會日益流行的智能視頻監控系統能夠彌補傳統視頻監控的這一缺陷。它利用計算機來分析采集到的視頻數據，監視場景里是否存在異常情況，核心就是利用運動目標的檢測與跟蹤技術提取出運動目標并跟蹤其軌跡，再根據具體的場合應用人工設置的一些場景規則，對目標進行相關的行為分析，達到無人值守智能監控的目的，可以減少人員參與，提高工作效率。智能視頻監控技術通常包括運動檢測、目標分類和識別、目標跟蹤以及行為理解與描述幾個部分。其中運動檢測和目標分類識別屬于低級處理部分，目標跟蹤屬于中級處理部分，而行為理解和描述則屬于高級處理部分。在智能視頻監控系統中，運動目標的檢測和跟蹤是目標行為理解的前提，其性能直接影響監控系統的有效性，是智能視頻監控系統的關鍵組成部分。

我公司實現靜止平臺下智能視頻監控，有以下幾個步驟：背景建模與運動目標檢測；運動目標分類與跟蹤。

監控場景背景建模

背景建模算法

從圖像序列中分割出運動區域是許多計算機視覺系統的關鍵的第一步，運動區域能否準確地分割出來決定了運動檢測結果的好壞，直接關系到后續的運動目標識別及跟蹤，并影響系統的性能和實用性。在許多場合下，采集圖像數據的監控攝像機一般固定某處不動，針對這種靜止成像平臺下的應用場景，目前主要有三類運動檢測的方法：時間差分法（又稱序列幀間差分）、背景建模法（又稱背景相減）和光流法。光流法由于算法復雜度高，實現難度大，若沒有專門的硬件輔助實現，難以應用于實時應用場合。這里主要介紹時間差分法和背景相減法。

目前常用的運動目標檢測技術分為以下三類：

1、幀間差分法：利用視頻序列中相鄰的幀的圖像具有連續性的特性，通過計算連續圖像序列中的兩個或三個相鄰幀間的基于像素的時間差分，并且閾值化來提取運動區域的一種方法。

2、背景差分法：用當前的幀和背景圖像做差分來檢測場景中的運動目標的。背景圖像是預存的，它可以根據場景的變化不斷地進行更新，也是背景差分法的主要影響因素。

3、光流法：利用運動目標隨著時間變化的光流特征，通過計算光流來檢測運動。

這三類運動目標檢測技術都存在著各自的優缺點。幀間差分法的算法復雜度較低，易于實現，而且運算量小。但是它一般不能完全提取出所有相關的特征像素點，在運動實體內部容易產生空洞現象。這會影響到后續的跟蹤以及行為分析等的有效性和正確性。

背景差分法能夠提取出比較完整的運動目標的區域信息。對于室內的場景檢測，檢測算法相對戶外來說容易設計。對于戶外的場景，受影響因素較多，如天氣變化，太陽光照變化及場景中某些背景的干擾（搖曳的樹，池塘表面的水波紋，飄揚的旗幟），要排除這些背景干擾準確檢測出場景中的有效運動還是比較復雜的。背景差分中背景模型的建立和更新影響著算法的準確性。

光流法能夠檢測出獨立運動的對象，不需要預先知道場景的任何信息，而且在攝像機運動的情況下也可以檢測出運動目標。但是大多數的光流法計算過程相當復雜，抗噪性能差。如果沒有特別的硬件支持是不能被應用到實時處理中的。

場景中目標的運動勢必會在時間軸上使圖像數據發生變化，顯然我們可以通過檢測這種時間上的變化來分析出場景中的運動。雖然時間差分算法簡單，也有一些監控場合使用多幀時間差分方法做運動檢測。

時間差分法只需要兩幅不同時刻的圖像在每個像素點進行簡單的像素值相減和判決操作，其復雜度是很低的，而且易于實現，運算量小，速度快，在性能較差的硬件平臺也能達到較高的處理效率。此外由于時間差分法做差分的兩幅圖像時間間隔很短，差分圖像受光照條件的影響小，也能夠在一定程度上適應動態變化的場景。時間差分法缺點也很明顯，它無法完整提取出運動區域，只能檢測出運動區域周圍的輪廓，當目標運動速度較慢時，如果選取間隔幀數太小，甚至有可能無法檢測出目標運動。

背景建模法又稱背景相減法，即利用當前收到的幀圖像與預存的一副背景參考圖像做差分來檢測場景中運動目標的技術。這類方法的核心是如何建立背景模型以及選擇背景模型的隨著時間變化的更新策略。背景建模法能夠提取出比較完整的運動目標的區域信息，對于復雜的戶外場景，由于存在光照等各種外部條件的變化，構造出好的自適應場景變化的背景模型對運動目標的精確提取至關重要。

對于室內的運動目標檢測，因為場景的環境變化較小，影響因素少，檢測算法相對戶外來說易于設計一些。對于戶外的場景，受影響因素較多，如一年四季天氣變化，一天中太陽光照變化及場景中某些多模態背景的干擾（搖曳的樹，池塘表面的水波紋，飄揚的旗幟），要排除這些干擾背景準確檢測出場景中的有效運動還是比較復雜的。目前大部分實現的監控系統都使用了背景建模的算法來分割運動區域，并通過一些圖像處理的技術對后期的檢測結果圖像進行處理，提取出場景中我們感興趣的目標。目前常用的背景建模算法有高斯混合模型（Gaussian Mixture Model）和碼書模型（CodeBook Model）等。

混合高斯背景建模

在靜止成像平臺下，背景建模（背景相減）是運動目標檢測最常用的方法。背景相減法的核心在于生成一副場景的參考圖像，并能自動更新。

Stauffer等提出的混合高斯模型作為一種像素級建模的算法，能夠適應背景重復性運動和照明緩慢變化，取得了較大的成功。混合高斯模型算法對場景中每個像素點值的分布維護了一個概率密度函數，將場景中每個特定的像素點的值用若干個（一般取3～5個）高斯分布去擬合，每個高斯分布具有自己的權重，因此它能處理多模態背景分布的情況。另一方面，混合高斯模型是參數化的，模型的參數會自適應更新，而且不用緩存過去的視頻幀。在算法處理的過程中，隨著新圖像的到來，我們去更新每個像素點各個高斯分布的權重、均值和方差。

目標前景二值圖像形態學處理

經過運動檢測與陰影抑制，我們可以得到一副前景二值圖像。因為視頻圖像的噪聲和輕微抖動無法避免，而且混合高斯背景建模算法作為一種像素級的算法，目標與背景之間顏色和灰度相似的情況也時有發生，最后得到的二值圖像里前景區域不一定是完整的運動對象，往往有許多孤立的噪聲白點、孤立的小區域和小間隙。因此必須對前景圖像進行后處理，消除噪聲并連接空洞，便于后期通過標記統計目標參數。

目前一般使用數學形態學的方法來處理前景圖像。數學形態學有膨脹、腐蝕、開/閉運算四個基本操作。

運動目標跟蹤

圖1：背景訓練過程（混合高斯算法）

通過目標檢測在序列圖像中分割出屬于運動目標的圖像區域，接下來需要對運動目標進行跟蹤。目標跟蹤就是在序列圖像不同時刻檢測到的目標之間根據目標的某些特征在時間上建立起聯系，通俗一點說，就是跟蹤上的目標在圖像序列的不同幀里，始終賦予穩定一致的編號。目標跟蹤在計算機視覺領域里是一個充滿挑戰的問題。在視頻分析領域，對多個目標跟蹤的主要困難是在相鄰兩幀間建立起目標正確的關聯關系，尤其是在復雜場景里多個相似目標之間存在遮擋、合并分離等情況時，確定目標之間的正確對應關系變得很困難。

多目標跟蹤關聯

1、特征代價函數

為了降低系統的復雜度，使系統具備實時處理性能。運動檢測階段得到的目標我們使用它們的外接矩形來表征。在跟蹤階段，相鄰兩幀的目標鏈間進行匹配關聯，建立匹配矩陣。這里我們采取了一種簡單的特征融合代價函數來度量兩個目標的相似性。經過運動檢測、分割、形態學濾波去噪、標記等過程后，我們統計各個檢測到的團塊的信息，可以得到團塊的形心坐標，外接矩形區域。利用這些信息我們計算代價函數。

2、跟蹤流程

（1）跟蹤啟動并整理已捕獲目標鏈。

如果當前幀號是第一幀，所有檢測到的目標都被認為是新目標，設置一個初始的置信度。

如果不是第一幀，檢查已捕獲目標列表。對目標做線性濾波，預測其在當前幀的位置。目標的位置用其連通區域外接矩形中心表示，令為第i個目標在第K幀里的位置。

圖2：綠茵場上對球員跟蹤

（2）目標關聯：這部分也是多目標跟蹤的核心，可建立了一個代價函數矩陣記錄已捕獲鏈中各個目標和當前幀檢測目標鏈中各個目標的代價函數值，同時建立一個關聯矩陣確定目標最優的對應關系。對于捕獲鏈中的第i個目標，我們能夠在當前檢測鏈中找到使得代價函數E(i,j)最小的檢測目標j，同時進一步比較形心距離d(i,j)和一個距離門限dT。

如果d(i,j) ＜dT，當前檢測到的第j個目標是已捕獲鏈中第i個目標時間上的后續對應。增加第i個已捕獲目標的置信度并更新它的特性參數。

如果d(i,j) ＞dT，第i個已捕獲目標沒有在當前幀里找到時間上的后續對應。它的置信度會降低，如果它的位置已經接近了場景的邊緣，認為它已經走出了場景，將其從已捕獲鏈表中移除。如果它置信度降低了后仍然較高，且它的位置在場景觀測區中，仍然使用（1）中的線性濾波去預測它的下一幀位置。

當前檢測到的目標，若在已捕獲目標鏈里未找到合適的關聯目標，將其作為新目標添加進已捕獲目標鏈表，并賦予一個初始的置信度。

（3）按照（1）和（2）的過程處理下一幀視頻直到圖像序列結束。

基于卡爾曼濾波的運動目標跟蹤

卡爾曼濾波是以最小均方誤差作為估計的最佳準則，來尋找一套遞推估計的算法，其基本實現是：采用信號與噪聲的狀態空間模型，利用前一時刻的估計值和當前時刻的觀測值來更新對狀態變量的估計，求出當前時刻的估計值。卡爾曼濾波方法流程分為預測和更新兩個部分。

在運動目標跟蹤中采用卡爾曼濾波的方法，就是要合適地運用卡爾曼濾波的預測和更新方程。在本系統中的卡爾曼濾波跟蹤中，將目標塊的狀態用兩個位置變量X和Y，以及兩個速度變量Vx和Vy表示。這四個變量組成狀態向量Xk的元素。認為目標塊的運動為線性的，則傳遞矩陣和狀態向量表示為：

目標塊測量向量只包括測量到的目標塊的位置信息，也就是：

得到了運動目標塊以后，為運動目標塊的狀態向量、過程噪聲、測量值和最重要的傳遞矩陣進行初始化，然后就可以按照卡爾曼濾波的預測和更新兩個過程對運動目標塊的運動進行跟蹤了。

在本算法中采用最近鄰匹配法和卡爾曼濾波法相融合的方法來進行運動目標跟蹤。由于最近鄰匹配法依靠與前景檢測的結果，在前景中存在噪聲或者是前景檢測結果不佳的情況下無法對運動目標塊進行準確的跟蹤，可能會造成目標塊丟失等情況的發生。在這種情況下可以采用基于卡爾曼濾波的方法，根據目標塊的歷史記錄信息來預測運動目標塊可能存在的位置，從而進行跟蹤。

本算法的流程如下：

1、對目標鏈中的目標塊與候選鏈進行最近鄰匹配法。若通過最近鄰法，在候選鏈中找到了與此目標塊相匹配的目標塊，則進行2。否則，執行第3步。

2、將相匹配的候選鏈中的塊的位置信息當作目標鏈中此目標塊在當前時刻的位置。若此目標塊之前進行過卡爾曼濾波，則刪除該目標塊的卡爾曼濾波相關結構。

3、對未找到匹配的運動目標塊進行卡爾曼濾波。若此運動目標塊之前進行了卡爾曼濾波沒有超過閾值，則繼續進行卡爾曼濾波。若此運動目標塊之前沒有進行過卡爾曼濾波則初始化該塊的卡爾曼濾波參數，進行卡爾曼濾波。除此以外，執行第4步。

4、若此運動目標塊進行卡爾曼濾波次數超過了預設的閾值，還未通過最近鄰法找到匹配塊，則認為此塊丟失。