智能視頻監控系統動態目標檢測與識別算法綜述

王 聰 劉明光 齊 飛

（北京交通大學電氣工程學院，北京 100044）

近年來，視頻監控技術被越來越多的應用于電力系統。在無人值守的變電站以及禁止人員靠近的危險區域安裝視頻監控系統中，可以有效地排除安全隱患，及時預警，避免事故的發生[1]。傳統的視頻監控系統多采用由工作人員全天候值守、人為預警的方式，這種方式不僅不能通過事故預防報警來減少事故發生，而且嚴重浪費了人力物力。如今，隨著計算機視覺研究的不斷深入，智能視頻監控技術逐漸取代了原有的視頻監控方式。智能視頻監控系統可以在沒有工作人員參與的情況下，運用圖像處理與計算機視覺的方法對視頻圖像進行分析，以確定監控地點的實時狀態，當異常情況發生時可以及時上報工作人員，提示他們采取處理措施，從而實現預防、預警和主動監控的功能[2]。

目前普遍采用的智能視頻監控算法以移動目標檢測算法為主，即對采集到的視頻信息進行逐幀處理，當被監控區域內有異物侵入時則發出報警信號。這種算法不能對運動的物體加以區分，且對應用場所要求較高，不能適應于復雜的環境。若采用高級移動目標檢測算法檢測運動物體，同時使用模式識別機器學習的方法識別運動物體，則可使智能視頻監控技術具備更高的適應性及準確性。

1 移動目標檢測算法

目前能夠實現并廣泛應用的視頻移動目標檢測算法主要包括：幀間差分法、背景差分法、光流法及一些高級融合算法。

1.1 幀間差分法

文獻[3-5]中所采用的視頻移動目標檢測算法為幀間差分法。幀間差分法的算法流程如圖1所示。

圖1 幀間差分法算法流程圖

首先，把采集到的視頻信號經過濾波和灰度值轉化處理，然后將相鄰兩幀圖像相同像素點的灰度值進行差分運算，過程如式（1）所示：

式 中 ， Ik（x,y） 和 Ik+1（x,y ）表 示 相 鄰 幀 圖 像 在 點（x,y）處的灰度值；Dk（x,y）表示差分圖像在該點的灰度值。差分運算之后，將差分圖像進行二值化處理，即當差分圖像在某一點的灰度值大于閾值T時，則該點對應的圖像區域被設置成 1，相反則設置成0，以此來區分出背景區域與運動目標區域，從而實現前景圖像的提取[6]，即

此過程中，閾值的選取很重要，如果閾值取值過大，就會造成在復雜場景下檢測到的運動目標不完整，而如果閾值取值較小，則會把背景信息當成運動目標的一部分，降低運動目標檢測的精確性。為解決此問題，可以根據視頻序列的每一幀圖像的具體內容產生多個分割閾值，來自適應前景和背景對比度的變化[7]。

兩幀差分法優點是，算法簡單，檢測速度快，適用范圍廣。該算法的缺點有：①很難檢測出完整的運動物體。當時間間隔較長，或物體移動的速度過快時，會出現“重影”現象[8]；②當時間間隔太短，或物體移動速度過慢時，會導致前后兩幀的灰度值來不及改變，造成灰度值的差較小，導致把前景識別為背景，從而出現“空洞”現象[9]。在實際中可以采用“三幀差分法”或者“多幀差分法”來解決以上問題。即在連續的圖像序列中取3個相鄰幀或者多個相鄰幀作為一組，對相鄰兩組的圖像進行多次差分，再進行運動區域的提取。

1.2 背景差分法

文獻[10-12]中采用的移動目標檢測算法為背景差分法。背景差分法的算法流程如圖2所示[13]。

圖2 背景差分法算法流程圖

使用背景差分法來進行移動目標檢測首先應該確定背景圖像，一般采用將視頻的正常的圖像信息累加再求平均的方法[14]，即選取N幀連續正常的視頻圖像進行灰度值轉化，對相同像素點灰度值進行疊加再除以總幀數，得到背景圖像的灰度值，表示為

式中，B（x,y）表示所得的背景圖像在點（x,y）處的灰度值；In（x,y）表示視頻信息的第n幀圖像在點（x,y）處的灰度值。

確定背景圖像后，將視頻的每一幀圖像與背景圖像在相同像素點的灰度值進行差分運算，得到差分圖像，通過閾值比較來實現差分圖像的二值化，從而確定前景圖像與背景圖像，進而區分出運動的物體。此過程分別如式（4）和式（5）所示。

相比幀間差分法，背景差分法可以更好地提取出運動目標且運算量較小，運算速度快，但對光照等擾動的適應性較差。若采用將檢測出的背景圖像加入到第一步的均值運算當中，則可以不斷更新背景圖像。這樣可以在一定程度上增加背景差分法對小擾動的適應性。

此外，基于背景差分法的高級背景建模方法還包括混合高斯背景模型（GMM）[15]、碼本模型[16]、GMG算法建模、VIBE算法建模[17]和核密度估計算法建模[18]等。這些高級背景建模方法也使得背景差分法能夠處理復雜背景下的運動目標檢測，并且具有了更好的魯棒性、適應性與實用性。

1.3 光流法

文獻[19-21]中采用的移動目標檢測算法為光流法。

光流指的是視頻圖像上像素點之間灰度值的變化，即運動物體的瞬時“速度”。光流法是一種通過研究視頻圖像序列的光流場，利用圖像中運動物體的光流信息和背景的光流信息的差異性，來確定運動物體的位置，進而檢測運動目標的方法[20]。光流基本方程為

光流法的優點是，不需要提前確定背景，受光照變化等外界干擾的影響較小，對運動物體的定位更加準確。缺點是，運算量較大、運算時間較長、對設備要求高。

近幾年，國內外在移動目標檢測算法方面的研究比較多，出現了許多結合算法和新算法，例如，結合光流法和三幀差分法的移動目標檢測算法、基于混合高斯模型和幀間差分法相結合的運動物體檢測算法[7]、基于圖像時空顯著性的運動區域檢測算法[23]等，使得移動目標檢測算法有了更好的自適應性，同時，提高了算法的精確性與抗干擾能力。

2 移動目標識別算法綜述

在通過移動目標檢測算法檢測出運動區域后，不同的運動區域可能會對應不同的運動物體。能否正確識別出非正常的運動物體，將影響到智能視頻監控系統報警的準確性。同時，目標識別技術還可以應用于線路的自動巡檢系統，辨別設備是否損壞。目前移動目標識別算法的種類較多，大體上可分為基于傳統模板物體識別方法和基于統計學習的物體識別方法[24]。

2.1 基于傳統模板匹配的運動目標識別算法

基于傳統模板的運動物體識別算法利用不同類別運動物體的輪廓、速度、顏色等外在特征的較大差異性，通過構建不同類別運動物體的模板，然后在待測圖像中匹配模板來實現不同物體的識別。這種方法是移動目標識別算法中較為簡便、直接的一種方法。例如文獻[25]中采用了基于距離圖像的單目測距，計算物體的實際大小、高度來進行識別的方法。具體步驟為：①需要對攝像機進行位置標定，獲取攝像機的內外參數，建立實際三維空間與視頻圖像二維圖像之間的對應關系；②假設運動物體位于地面上，將攝像頭成像原理簡化為幾何問題，確定監控區域內地面上任意位置到攝像頭的距離；③求出進入監控區域的運動目標的高度。

確定監控區域內任一點到攝像頭距離的計算過程如下，攝像機成像過程以圖3近似表示。

圖3 攝像機成像過程示意圖

圖3 中O為攝像機光心，攝像頭簡化為凸透鏡，區域邊界分別為AB，其成像為A′B′，根據對攝像頭的位置進行標定可以確定O點坐標。OO′為攝像機光軸，其長度為定值，一般取經驗值13.5mm。C為AB上任意一點，其像為C′，則已知量為 O A′,OB′,O O ′,A ′C′,O A ,OB，通過勾股定理可以求得：A′O′,O ′B′,O′C′，通過梅涅勞斯定理可得C點到攝像頭的距離為

實際物體的高度計算過程如圖4所示。

圖4 攝像機中物體實際高度計算圖

以GH近似表示待測物體的高度，且認為G點位于地面上。H是目標的最上端，GH′′表示GH在攝像頭中所成的像。根據對攝像頭拍攝的圖像分析可以得到,GOHO′′及GH′′的長度，且通過式（8）可以求得OG與OI的長度。則物體的實際高度GH計算如式（9）所示，即

通過以上計算可以算出運動物體的實際高度，再通過高度對比來進行運動目標的區分。這種方法的優點是算法簡單，運算速度快。同時缺點也是十分明顯，即應用范圍較窄，要求攝像機位置固定，不具有普遍性，且只能判斷出位于地面上的運動物體。

此外，典型的基于模板匹配的運動目標識別算法還包括基于特征速度的運動物體識別技術[26]、基于HSV顏色空間的物體顏色識別方法、Active Basis識別方法[27-28]等。

2.2 基于統計學習的方法

基于統計學習的識別算法是一種利用機器學習理論，對運動物體的特征進行提取與辨別的算法。主要步驟為：①從含有目標的正樣本和不含有目標的負樣本中提取特征，作為機器學習的輸入；②通過計算機訓練出一個或若干個分類器；③用訓練好的分類器對待判別的樣本進行分類，從而實現對運動物體的識別。一般的流程如圖5所示。

圖5 基于統計學習的方法的算法流程圖

以卷積神經網絡（CNN）為例，卷積神經網絡之所以針對圖像識別任務具有非常好的效果，主要因為其網絡結構具有獨特優勢：可以充分發掘數據之間的深層聯系、局部聯系[29]。文獻[30]提供了一種基于卷積神經網絡的運動目標檢測方法。首先，建立一個5個卷積層和3個全連接層的卷積神經網絡，如圖6所示。

圖6 CNN網絡結構圖

將足夠的正負樣本輸入該神經網絡進行預訓練，得到初始模型。當需要進行圖片檢測時，將待檢測圖像輸入，經過5個卷積層進行卷積操作，將卷積結果通過兩個鏈接層傳輸到輸出層，使用sigmoid函數對輸出層進行分類，得出識別結果，即

基于統計學習的識別算法針對訓練好的模型具有很好的適應性，且識別效果較好，誤識別率較低。缺點為：①要求有足夠多的樣本數量對模型進行訓練；②算法較復雜，對處理器要求較高；③算法運算時間較長。

3 算法比較與未來展望

3.1 算法比較

綜上所述，在基礎的移動目標檢測技術中，幀間差分法和背景差分法作為基礎的移動目標檢測算法，具備算法簡單，對設備要求不高，運算速度快等優點。當然，也同時存在著適應性較差、對光照等背景變化較敏感等缺點。光流法檢測精度較高且可以解決待測目標遮擋重合問題。但是，計算復雜且運算量巨大，除非有特殊的硬件支持，否則光流法很難滿足對視頻進行實時處理的要求，同時由于在計算中采用假設具有局限性，使得光流法對噪聲比較敏感。在未來的算法開發中，將各種方法結合的融合算法及較高級的背景建模方法無疑將成為研究的熱點。

在物體識別算法方面，基于傳統模板物體識別方法可以看作“演繹法”，即由人輸入物體的明確特征，當計算機檢測出與這些特征相似度高的物體時即完成識別。這種方式當運動物體特征明確時可以起到很好的效果，且不需要太多的原始樣本作為算法的支撐。但是，當待識別物體特征不是很明顯或者不容易用機器語言表示清楚時，此種算法便行不通了。而基于統計學習的物體識別方法可以看作“歸納法”，在識別過程中無需向計算機輸入任何規則，只需要為其提供大量的真實世界產生的具有代表性的樣本，算法即可自主提取出特定的規則，進而完成識別。此種算法可以提取待測物體高級的、抽象的特征，在實踐中有很好的適應性及準確性。但缺點為需要大量的訓練數據，以及大量的計算，對設備的要求很高。

3.2 未來展望

近幾年，智能視頻監控技術發展迅速，在智能電網中的應用也日益增多，但是存在著誤報率高、應用面窄、不能完全智能識別出相應故障，仍需要人為干預等缺點。同時在技術角度分析，智能視頻監控系統必將朝著以下幾個方向發展：

1）具備更好的適應性。只有提高算法的適應性，才能使智能視頻監控更加適應復雜多變的環境。

2）可以識別出更多種異常情況，且具有更高的準確率。目前應用的模式識別方法可以具備很高的準確性，但是基于深度學習的方法因為需要較多的正負樣本導致準確率并不高，如何提升此種方法的識別準確性將是智能視頻監控技術未來研究的方向。

3）智能視頻監控裝置也必將向著產品形式的多樣化發展，目前普遍采用的多為外置架設攝像頭有線傳輸的方式，為適應多樣的工作環境，智能視頻監控裝置也將朝著便攜手持式、車載式、遙控式等多種終端形式及無線視頻傳輸方向發展。

4 結論

智能視頻監控技術是一項十分具有實際應用價值的研究。而且隨著我國電力系統自動化程度的不斷提高，智能視頻監控技術被越來越多地應用于異物入侵檢測、設備狀態檢測及安防報警當中。目前針對視頻信息的移動目標檢測技術已經逐漸成熟，在實際中的應用也越來越多。但是移動目標的自動識別技術仍處于不斷探索研究的階段。想要真正設計一套適用于電力系統的智能視頻檢測、識別系統，還有很多的工作要做。相信隨著相關研究的不斷深入，智能視頻監控技術必將在電力系統中大放異彩。