基于物聯網和視頻分析技術的監獄智能監控系統*

奚 吉,蔣銀忠

(1.常州工學院計算機信息工程學院,江蘇 常州 213002;2.江蘇省投資管理有限責任公司,南京 210005)

?

基于物聯網和視頻分析技術的監獄智能監控系統*

奚 吉1,蔣銀忠2*

(1.常州工學院計算機信息工程學院,江蘇 常州 213002;2.江蘇省投資管理有限責任公司,南京 210005)

提出了一種基于物聯網和視頻分析技術的監獄智能監控系統。該系統主要由監控終端子系統以及犯人活動網絡定位監測子系統組成,并利用視頻分析技術對囚犯進行智能行為監控。實驗結果表明:所提出的的透視變換及SVM的行為識別及目標分類方法可以有效監控罪犯行為,將監控人員從“緊盯屏幕”的低級監控模式中解放出來,能夠很好地提高監控有效性,實現“人防、技防、物防”三位一體的最佳結合。

物聯網;視頻分析;識別;運動檢測;RFID;Zigbee

監獄是關押、改造犯人的場所,是重要的國家機器之一。監獄的安全防范,是社會穩定、國家安寧的重要保證。鑒于本身的功能要求,監獄對于安防系統在安全可靠性方面的要求要明顯高于其他行業。然而傳統的監獄安防存在兩個主要方面的缺陷,主要表現在[1]:①信息孤島。監獄安防由于系統涉及的領域很廣,包括網絡通信技術,信息技術,電子傳感入侵檢測,視等多個子系統。但系統與系統之間的運行都相對獨立,信息無法共享,相互之間沒有關聯,形成信息孤島。一旦出現緊急事件,各系統之間無法及時關聯聯動,監控圖像和其他安防資源不能共享,造成管理方不能直觀對應,浪費人力、物力,造成管理效率低下。②被動監視。國內監獄廣泛使用的閉路監控系統采用矩陣主機控制,通過電視墻監視前端監控畫面,采用長延時模擬錄像機進行錄像和回放。此類傳統的視頻監控模式屬人為操控,工作人員需要監視的視頻畫面數量,已經遠遠超出人的接受能力,導致實際監控效果低下[2]。

因此,針對傳統的監獄安防系統的缺陷,本文提出了一套基于物聯網和視頻分析技術的罪犯監控系統。該系統利用物聯網技術將各個子系統有機地形成一個網絡整體,確保信息的有效暢通,避免信息孤島的出現。另外通過智能視頻分析技術的應用解決了傳統視頻監控系統所一些固有的缺陷,實現了監控方式由被動到主動的轉變,從而更好地能夠滿足監獄安防系統對于安全的要求[3-4]。

1 系統總體方案

針對監獄犯人行為識別與健康狀況信息采集的實際應用,我們采用了如圖1所示的組網結構。整個系統分4個層次:信息采集層,信息處理層,服務器層,管理和決策層。其中信息采集層如圖2,是整個系統的最底層,主要功能是實現數據的采集,將數據傳輸到上一層進行處理。此層獲取的信息暫有:犯人健康狀況、犯人行為狀況以及犯人所在區域;信息處理層主要以Intel提供的EPCM-505C-ESDC嵌入式主板為核心,充分利用該板的資源,設計出一款多功能的犯人監控終端。該層利用視頻分析、支持向量機等技術對從信息采集層采集得到的基礎進行分析、處理,然后將獲取的數據根據自定義規范統一的數據包格式,提交給服務器層;最后兩層主要是方便PC端用戶之間的溝通、交流,實時了解發生異常的區域,查看行為異常犯人的圖片,使獄警做好應對突發情況的緊急措施。

圖1 系統總體框架圖

圖2 基于嵌入式系統的犯人信息采集終端

2 系統設計

2.1 硬件設計

2.1.1 主電路設計

本系統的硬件部分主要集中在犯人監測終端,監測終端以EPCM-505C-ESDC嵌入式主板為核心,擴展了系統所需的各種外圍設備,包括:電源模塊、攝像頭、Zigbee模塊、閱讀器模塊、移動硬盤存儲模塊、鍵盤以及顯示器模塊等。總體接口框圖如圖1所示。

2.1.2 zigbee模塊硬件電路設計

圖3 總體接口框圖

本系統利用Zigbee構建起一個無線傳感器網絡,Zigbee模塊類似于移動網絡基站。在整個網絡范圍內,每一個Zigbee網絡數據模塊之間可以相互通信,每個網絡節點間的距離可以從標準的75 m無限擴展。基于Zigbee技術的無線傳感器網絡可最多容納65 000個設備[5],且網絡的自組織、自愈能力強,通信可靠,每個Zigbee網絡節點不僅本身可以作為監控對象,其所連接的傳感器直接進行數據采集和監控,還可以自動中轉別的網絡節點傳過來的數據資料。在Zigbee網絡中,包含3種節點類型:網關節點、網絡協調節點、終端節點[6-7]。

Zigbee模塊硬件電路包含Zigbee終端節點模塊和Zigbee網關節點模塊。Zigbee終端節點模塊采集犯人健康信息,通過無線傳感器網絡將信息傳給Zigbee網關節點模塊,最后通過串口將信息傳給終端。整個模塊包含傳感器模塊、電源模塊、Atmega16最小系統模塊和Zigbee節點。各部分原理圖如下圖4和圖5所示。

圖4 Zigbee終端節點模塊原理圖

圖5 Zigbee網關節點模塊原理圖

2.2 軟件設計

2.2.1 軟件整體結構

系統軟件設計思想為模塊化設計思想,采用Microsoft公司的Visual Studio2008調用底層API函數開發系統所需底層軟件模塊,主要以DLL和OCX為封裝形式。應用軟件主要采用C#編程和Microsoft公司的SQL Sever2008數據庫等開發工具實現了系統的各項功能。其軟件架構圖如圖6所示。

圖6 系統軟件架構圖

2.2.2 終端軟件設計

終端軟件主要功能主要有兩個:顯示和控制。

控制界面(圖7)被分成了3部分:視頻控制區、RFID及無線傳感網控制區、服務器連接控制區,這3個控制區域功能相互獨立。界面簡單操作方便,可以通過LCD觸控完成所有操作。

視頻控制區能夠打開關閉任意一路攝像頭,可以對攝像頭的參數進行簡單的設置,可以選擇圖像的來源。

RFID及無線傳感網控制區的主要功能是設置波特率,端口等基本的串口通信信息。

服務器連接控制區主要是負責連接服務器的,設置端口號以后選擇連接就能夠使終端連接到服務器。在終端的運行過程中,參數以及圖像等信息就能夠通過網絡傳送至服務器。

圖7 終端控制界面

2.2.3 客戶端軟件設計

主操作界面主要組成有整體區域地圖、警報顏色提示、警燈提示、警報聲提示、系統時間、快捷工具欄、工作人員身份信息顯示、監控實時信息顯示等幾個部分。其中主要部分為整體區域地圖、警報顏色提醒兩個部分。整體區域地圖是導入某大學的地圖用來模擬監獄地圖,并預先設定幾個區域,同時將幾個區域的邊界的坐標獲取存儲。在系統工作時,如遇到異常警報,客戶端根據終端發送的警報信息,獲取警報區域,根據該區域的坐標采用C#語言中的GDI繪圖和Timer控件對區域進行周期為2 s的顏色填充、清除。并將服務器發送過來的異常信息在監控信息發布平臺窗口顯示。同時根據接收到的異常情況自動彈出異常信息窗體,顯示對應的異常信息,并更新服務器發送過來的異常信息。

3 圖像處理關鍵技術

3.1 透視變換

現實生活中的景物,由于觀察距離及方位不同在視覺上會引起不同的反映,這種現象就是透視現象。透視變換為三維空間中的物體到像平面的投影關系,是圖像上點的位置與空間物體表面對應點的幾何投影關系,是由成像系統的幾何投影模型所決定[7-8]。

圖8 客戶端軟件主操作界面

圖9 重投影示意圖

透視變換采用中心投影法,投影中心稱為視點,投影面置于視點與立體之間,將立體上與視點相連接所得的投影線與投影面的交點即為三維立體上相應點的透視變換結果,透視變換常用于圖像的校正,可以反映成像時場景平面與成像平面不平行帶來的梯形失真和線性調頻現象[8-9]。

攝像機拍攝立體圖像時,由于攝像機的俯仰旋轉,攝像機的成像面與理想攝像機的成像面存在重投影關系,所以可以使用重投影變換將實際成像面變換為攝像機理想成像面。在透視投影中,將原圖像重新投影到另一個成像面上,稱為重投影變換,并將映射后得到的圖像稱為重投影圖像。

3.2 基于支持向量機的行為識別及目標分類

人的行為識別和理解是計算機視覺研究領域一個備受關注的前沿方向,由于其在智能監控、人機交互、運動員輔助訓練、病人監護、虛擬現實等方面有著廣泛的應用前景而成為研究熱點。通常涉及到運動檢測、目標分類、人的跟蹤及行為理解等幾個過程。目前行為識別與目標分類的方法很多,有基于神經網絡方法,基于動態時間調整DTW方法,基于隱含馬爾可夫模型HMMs方法,基于句法技術方法,基于非確定論有限自動機NFA方法,基于狀態空間方法等等[10]。

在基于神經網絡的方法中,支持向量機SVM由于具有較好的性能在人的行為識別與分類得到了廣泛的研究和應用。支持向量機是一種前饋網絡的線性機,主要思想是建立一個超平面作為決策曲面,使得兩類模式向量分開的間隔最大,支持向量機是結構風險最小化方法的近似實現,在模式分類問題上提供較好的泛化性能。

圖10 支持向量機的體系結構

4 系統測試

4.1 行為識別測試

測試目的:測試算法對人行為的類型判斷的準確性。

測試內容:對人的不同的行為的類型判斷的準確率。

測試次數:每個的7種不同行為各20次,共4人。

測試方法:不同的人員的進行不同的行為演示進行多次測量,對于每一個人,演示7種不同的行為,其中包括多人同時演示。

測試環境:實驗室模擬環境、光線柔和、背景穩定。

測試結果:如表1所示。

測試結果分析:通過本項測試發現,在正常情況下程序算法對于走路、坐或蹲著、倒地、攀爬等行為異常能夠進行準確的判斷,在握手、打架斗毆、人群等行為異常的測試過程中判斷準確性相對比較低。

表1 行為識別測試結果

4.2 進出邊界事件測試

測試目的:測試人員邊界進出異常的捕獲的準確性。

測試內容:區域內外進出邊界的捕獲的準確率。

測試次數:演示人員進出模擬區域邊界各50次。

測試方法:演示人員自區域中間走出去與邊界直到監控敏感區外,再走進區域,進行多次測量。

測試環境:室外模擬環境、晴朗、環境穩定。

測試結果:如下表2所示。

表2 進出邊界事件監測結果

測試結果分析:通過本項測試發現,在正常穩定環境背景下程序算法對于邊界進出異常的捕獲基本準確。

5 總結

本文提出了一套基于物聯網和視頻分析技術的罪犯監控系統。該系統綜合利用物聯網技術將各個子系統有機地形成一個網絡整體,避免信息孤島的出現。

另外通過智能視頻分析技術的應用解決了傳統視頻監控系統所一些固有的缺陷,通過實驗驗證了所提出的的透視變換及SVM的行為識別及目標分類方法的有效性和可靠性,通過上述方法的應用,可以有效監控罪犯行為,將監控人員從“緊盯屏幕”的低級監控模式中解放出來,提高監控有效性,有助于進一步加強監獄內部正規管理、保障監獄持續安全穩定,應對各類突發事件。因此本系統對維護社會和諧穩定、促進經濟平穩較快發展有著非常重要的社會意義和應用價值[11]。

[1]王玉夫. 監獄數字視頻監控報警系統概述[J]. 中國公共安全,2009(8):52-58.

[2]張伯虎,楊金柱,陳建莉. 智能視頻監控系統分析與應用[J]. 安防科技,2006(11):68-73.

[3]李鑫. 監獄的智能化安防系統[J]. 智能建筑與城市信息,2008(4):34-38.

[4]張華林,黃以平. 基于嵌入式的Internet遠程監控系統[J]. 計算機系統應用,2009(8):49-52.

[5]楊君,詹林. 基于ZigBee無線傳感網絡的井下定位系統[J]. 計算機與現代化,2013(9):132-136.

[6]王志偉,錢承山,李俊,等. 基于無線傳感網絡的智能移動監控系統設計[J]. 電子器件,2013(6):25-29.

[7]宋利利. 基于嵌入式系統的圖像采集和預處理裝置設計[J]. 哈爾濱理工大學學報,2010(3):42-47.

[8]王彪,王成儒,王芬芬. 固定場景下的多目標運動檢測與跟蹤[J]. 計算機工程與設計,2008,10(8):178-182.

[9]牛彥. 關于透視變換的研究[J]. 計算機輔助設計與圖像學報,2001,8(6):550-552.

[10]葉世偉,史忠植. 神經網絡原理[M]. 北京:機械工業出版社,2004:199-242.

[11]張俊芳. 智能視頻監控技術在監獄中的應用[J]. 價值工程,2010,35:97-103.

奚吉(1977-),男,漢族,江蘇常州人,東南大學博士,河海大學講師,主要研究方向為智能信號處理等,xijie952611@gmail.com;

蔣銀忠(1969-),男,工學碩士,東南大學動力工程及工程熱物理專業畢業,研究方向為熱能動力工程及物聯網技術等,jiangyinzhong@jsgx.net。

ASmartMonitoringSystemBasedonInternetofThingsandVideoAnalysisTechnologyforPrison*

XIJi1,JIANGYinzhong2*

(1.School of Computer Information and Engineering,Changzhou Institute of Technology,Changzhou Jiangsu 213002,China;2.Jiangsu Provincial Investment and Management Corp.,Nanjing 210005,China)

An intelligent monitoring system is presented based on the prison IOT and video analysis technology. The system mainly consists of the monitoring terminal subsystem based on embedded platform,positioning monitoring subsystem which is based on the activities of prisoners networking technology. Video analysis technology is used for intelligent behavior monitoring of prisoners. Experimental results show that,the proposed perspective transformation and SVM classification method can effectively monitor the behavior of the prisoners,which free the monitors from the low-level monitoring mode and can improve the efficiency of monitoring to achieve the best combination of "air defense,anti-technology,anti-matter".

internet of things;video analysis;recognition;motion detection;RFID;ZIGBEE

項目來源:國家自然科學基金項目(61273266)

2014-04-08修改日期:2014-05-02

TP273

:A

:1005-9490(2014)06-1183-06

10.3969/j.issn.1005-9490.2014.06.035