基于多傳感器信息融合技術的智能視頻監控系統研究

劉鵬飛， 趙陳，王嘉永， 張潔

（1 蘭州交通大學電子與信息工程學院 蘭州 730070；2 河北師范大學匯華學院，石家莊 050091）

0 引言

在目前犯罪分子利用先進的科學技術、復雜化、職能化的犯罪手段的情況下，單一傳統的防范手段已經難以滿足重點單位、交通車站、公共場所的安全保衛工作的需要。智能視頻監控是在現有的數字視頻監控系統，加上自動數據采集及視頻分析技術，通過對攝像機拍錄的圖像序列進行自動分析來對動態場景中的目標進行定位、識別和跟蹤，對可疑行為給出實時警告，并及時、有效地存儲相關的錄像資源。

1 多傳感器信息融合技術

多傳感器信息融合是針對一個系統中多種傳感器（多個或多類）技術所展開的一種信息處理的新研究方向，它的基本原理也就像人腦綜合處理信息一樣，充分利用若干個傳感器資源，合理地采集多傳感器及其觀測信息，把多傳感器在空間或時間上可冗余和互補信息，在一定準則下加以自動分析、綜合以完成所需的決策和估計，以獲得被測對象的一致性解釋或描述[1]。

在多傳感器信息融合技術中，各種傳感器的信息可能具有不同的特征及意義，快變的或者緩變的，實時的或者非實時的，同步的或者異步的，模糊的或者確定的，相互支持或互補的，多傳感器信息融合與經典信號處理方法之間也存在本質的區別，其關鍵在于數據融合所處理的多傳感器信息具有更復雜的形式，而且可以在不同的信息層次上出現（見圖1），這些信息抽象層次包括數據層、特征層和決策層(即證據層)。所以多傳感器系統是信息數據融合的硬件基礎，多源信息是數據融合的加工對象，協調優化和綜合處理是信息數據融合的核心[2]。

圖1 多傳感器信息融合的一般體系

2 系統的構建及組成

多傳感器的智能監控系統主要由設在特定的保護區上的傳感器裝置、視頻監控攝像頭及設在監控中心室的控制主機組成。通過集成多普勒微波雷達傳感器、紅外傳感器、CCD視頻傳感器等組成的智能監控系統，實現外來者非法穿越周界保護區的及時檢測報警及視頻跟蹤等功能，各傳感器將立即將探測信號發送到系統平臺，系統能夠及時地將外來者進行智能識別檢測，并對可疑的行為進行告警和視頻監控，以便保衛人員的調動和對事故的及時處理。系統的結構組成如圖2所示。

（1）微波-雷達傳感器安裝于周界保護區的中心位置，兩兩對射，距離大約為50～100m 左右。其原理為：多普勒理論是以時間為基礎的，當無線電波在行進過程中碰到物體時該電波會被反射，反射波的頻率會隨碰到物體的移動狀態而改變。如果無線電波碰到的物體的位置是固定的，那么反射波的頻率和發射波的頻率應該相等；如果物體朝著發射的方向移動，則反射回來的波會被壓縮，就是說反射波的頻率會增加；反之反射回來的波的頻率會隨之減小。

（2）被動紅外傳感器主要對自然界中的人體輻射的紅外線產生檢測，例如人體、火焰等物體都會放射出紅外線，只是其發射的紅外線的波長不同而已。人體的溫度為36℃～37℃，可輻射出中心波長為9～10μm的紅外線。當紅外傳感器接受到波長7～10μm以上的紅外線時，便做出檢測，以上就是對人體敏感的紅外線傳感器。

（3）CCD視頻傳感器是指運用CCD攝像頭采集的視頻圖像，通過DSP芯片對幀圖像進行處理檢測，采用了背景減除的方法對圖像內的運動物體進行識別檢測，從而對保護區內的可疑物體及人的運動方向和移動位置進行及時的預判，并準確的采集保護區內的視頻信息，傳遞到后端控制中心。

圖2 多傳感器信息融合系統結構圖

以上這3種傳感器從人體輻射的紅外線、多普勒的頻率的改變和運動物體的圖像檢測等不同入侵的情況，消除了單一傳感器的報警漏報和誤報率，同時克服了因傳感器個別故障產生的系統報警偏面性。

3 系統的多傳感器信息融合方法

在多傳感器系統中，各傳感器提供的環境信息都具有一定程度的不確定性，對這些不確定信息的融合過程實質是一個不確定性推理過程。由于模糊邏輯技術和神經網絡技術各自獨到的特點，將模糊技術和神經網絡有機結合組成模糊神經網絡控制系統，可實現模糊規則自動提取及模糊函數。模糊神經網絡是將模糊理論和神經網絡融合在一起，以便發揮兩者的功能。兩者的融合形態多種多樣，本文給出一種串聯結構的模糊神經網絡，該網絡由兩部分組成，前一部分為模糊量化部分，后一部分為神經網絡部分。

如圖3所示，不難發現在整個網絡圖中，第一層XYZ為輸入層，其中共分為3個節點，其中每個節點數由傳感器的輸入信號數量決定。其輸入量分別為微波雷達的不同頻率、輻射紅外線的波長、模擬的視頻圖像。

圖3 模糊神經網絡信息融合結構圖

各種傳感器傳到下一層的各個輸入變量信號經過不同類別地濾波和算法檢測，根據實際情況及經驗值的不同系統將得到第二層的X1X2、Y1Y2、Z1Z2等模糊量化值。第三層為神經網絡隱含層，神經網絡的不同模糊量化值經過Sigmoid函數映射到輸出量的集合中。其中隱含節點數可根據實際情況決定，采取2n+1個（本系統中，n=3個輸入節點數），隱含函數為

在決策層中，Q1Q2Q3Q4每一個輸出節點代表了不同的決策判斷，其中大致分為報警錄像、錄像、正常、非正常。結合實際情況函數的輸出值不能為負，Sigmoid作用函數將采用：f(x) =1(1+e-x)。

4 仿真研究

考慮到復雜的實際監控環境以及各種傳感器自身易受干擾、壽命長短等影響，根據經驗知識，我們發現在日常安防系統中的單一的電子設備系統并不是達到理想的工作狀態。如：紅外線探測器常常受到探測區域暖氣流的影響而產生誤報、微波雷達探測器往往受到周圍環境的電磁波干擾而產生誤報、視頻圖像檢測則易受光線不良和大霧天氣的影響而產生漏報等。為此將對以上傳感器輸入信號進行假設與實驗。設：紅外傳感器的誤報率為0.5%，微波雷達探測的誤報率0.5%、漏報率0.5%，視頻檢測的誤報率0.5%、漏報率0.5%。通過MATLAB實驗設定網絡輸入：p=[0.95,0.05,0.05,0.95;0.05,0.05,0.95,0.95;0.05,0.05,0.95,0.95]，輸出：t=[0.05,0.3,0.5,0.95]。采用神經向前網絡traindx函數訓練以上樣本，選擇期望誤差為0.001，當網絡在經過74次迭代后收斂，如圖4所示。

圖4 traindx函數訓練結果

其中仿真輸出結果為a =0.0697 0.3015 0.4822 0.8995。以上樣本診斷值基本與樣本輸出結果一致，同時說明了診斷結果具有一定的可信性。

[1]高巖,熊建設.周界防越報警數據融合系統的實現方法[J].安防科技，2007(06).

[2]林月芳,吉海彥.基于多傳感器信息融合技術的防盜報警系統[J].微計算機信息,2003(10).

[3]朱鳳春,戴炬.多機器人系統傳感器融合技術應用研究[J].微計算機信息,2006(35).

[4]李圣怡,吳學忠,范大鵬.多傳感器融合理論及在智能制造系統中的應用[M].長沙: 國防科技大學出版社,1998.

[5]Hall L D, Linas J.Handbook of Multi-sensor Data Fusion[M].Boca Raton, FL, USA: CRC Press,2001.

[6]滕召生,羅隆福,童調生.智能檢測系統與數據融合[M].北京：機械工業出版社，2001.

[7]Ruud M.A Hampapur Face Cataloger: Multi-Scale Imaging for Relating Identity to Location[M].2003.

[8]朱大奇,劉永安.故障診斷的信息融合方法[J].控制與決策,2007（22）.