湯荻
1 引言(Introduction)
隨著3G移動通信能力的提升以及家用安防監控設備的普及,智能移動終端在家用安防監控方面的應用已經成為了一個必然趨勢,家用安防監控系統正處于從模擬時代進入數字時代的轉型時期。數字安防監控系統[1-3]最主要的特征是智能化,即將被動取證用的錄像方式轉化為實時視頻分析處理,并向相關人員及時發送險情以最大化降低損失。目前在入侵檢測、人臉識別、姿勢識別等領域國內外已經有了大量的研究并取得了輝煌的成績,現有的安防系統針對盜竊搶劫等刑事犯罪的防御能力已經取得了斐然的成績,然而對于弱勢群體出現危險的情況(例如,摔倒、病發等)卻措手不及,每年因為老人的心臟病高血壓中風等情況發作、摔傷,由于搶救不及時而帶來的家庭傷痛不計其數,而社會節奏的加快使得國家建設的主力軍們缺乏時間去照料這些弱勢群體。
本課題在普通家用監控系統中增加一部分軟件處理功能,通過互聯網(通過手機郵箱與App即時推送)與一個額外的GSM Modem進行結合,在檢測到有弱勢群體摔倒的時候立刻向相關監護人報警并傳送截圖或實時監控影像,為監護人在第一時間做出正確的反應,及時為處理措施提供可視化的數據支撐。本課題研究內容適用于居家,社區以及醫療機構病房看護等方面的應用,可以配合現有監控設備或系統進行擴充,是數字社區、智慧城市[4-9]建設的一部分,為忙于工作無暇照料家中老人、病患等的上班族群體提供了便利。本課題的研究主要分為上層監控服務軟件系統部分和下層的家用嵌入式多媒體服務設備兩塊內容,分別可以實現公共資源的接入訪問與私有資源的存儲訪問。本課題研究的主要內容和整體設計如圖1所示。
圖1 系統整體構架圖
Fig.1 The overall system architecture diagram
2 智慧社區監控服務系統(Distributed video
surveillance systems intelligence community )
隨著數字化城市戰略的普及推廣,越來越多的居民住宅社區引入了全套的數字化安防設備,互聯網與社區局域網的帶寬不斷升級,現在已經全面進入千兆光纖時代,同時3G無線網絡帶寬的升級,使得視頻信息能夠流暢傳輸。本課題基于現有的監控設備與局域網之上,增加開發一套安防監控服務軟件系統,該系統可實現用戶隨時隨地查看所需的實時或錄像視頻信息的目的(例如停車場的私家車,散步的老人或者玩耍的兒童以及大門外的訪客等)。用戶需使用物業中心實名注冊的賬號密碼進行訪問,以保障用戶信息的真實性與合法性,方便物業管理,增強系統安全性。
3 家用嵌入式多媒體服務中心(Household
embedded multimedia service center)
該模塊主要將ARM芯片作為核心處理器,基于Linux系統,可以實現多種功能:
(1)配合無線模塊作為家用無線路由器
目前家庭用戶有多臺設備(數字電視、電腦、筆記本、平板或手機等,以及智能家電)需要接入網絡,傳統的解決方式是采用一個無線路由器作為WLAN的wifi熱點。在本課題的研究方案中可以讓一臺運行中的監控服務器加入無線路由功能,將獨立的設備集成到一起。
(2)配置硬盤陣列作為家用多媒體存儲服務器
傳統的家用視頻監控存儲是采用一個網絡嵌入式DVR(Digital Video Recorder)作為存儲中心,配合多個IP Camera將監控視頻存入硬盤中,其缺點在于存儲空間占用量大,缺乏智能分析檢測等功能。本課題研發的家用嵌入式多媒體中心,結合了移動物體檢測技術,通過背景差值法檢測,只在有物體移動的時候存儲有效的視頻錄像,節約了大量的存儲空間。除此之外,家用嵌入式多媒體中心還可作為家用多媒體服務器,用戶可以將喜歡的電影音樂等資源存儲在該服務器上,各個設備可以共享多媒體資源,更加節約存儲空間。
(3)智能報警功能
該模塊結合溫度傳感器、瓦斯傳感器和移動物體檢測技術,當家中出現煤氣泄漏、火災等情況時可以即時將警報信息發送給戶主和物業;當家中無人(上班,旅游等情形)時可啟動自動值守功能,在戶主解除家中無人值守模式之前,若檢測到持續活動的移動物體可以判定為入室盜竊,及時將家中的視頻或截圖傳輸給戶主的手機,此外通過GSM modem發送短信,以免當用戶手機網絡質量不好時不能收到及時的提醒。
4 技術路線(Technical route)
4.1 基于背景幀間差值法的移動目標輪廓檢測
采用ARM11芯片(6410)作為主處理器,運行Linux系統,可以讓用戶通過直接聯網console方式手動設定配置,開發相應的軟件配合DSP進行圖像背景差值法計算移動物體檢測判定。移動目標檢測在國內外已經取得了諸多成績,然而在視頻中對移動目標的檢測是一項非常有挑戰性的工作,由于應用場景的千差萬別,一個很好的算法可能在另一個場景中誤差較大。灰度漂移算法是課題組最近在研究高斯混合模型的過程中提出的一種消除背景差分法檢測的移動目標存在過多噪聲雜點的算法,可以非常有效地消除由于微震動、空氣擾動等原因導致的像素灰度在鄰近區域發生漂移的現象;多顏色空間信息融合就是利用多個顏色空間中的一些互補分量共同確定移動目標。
圖2 移動目標站立與跌倒檢測結果
Fig.2 Result of stand and fall on detection of
moving targets
本課題借鑒國內外許多專家和學者的研究經驗,針對居家環境調整參數,以適應背景和光照強度等參數,精簡算法的運算量以減輕安防系統的運算負荷,結合單高斯模型,利用灰度漂移算法和多顏色空間的信息融合有效消除差分后圖像中虛假目標點引起的多種噪聲。移動目標站立與跌倒檢測結果對比如圖2所示。endprint
4.2 判定行為模式的設計
通過對實時監控視頻的處理,將移動物體的相關參數存入內存,把正常的行走、休息等正常居家行為與跌倒、與歹徒搏斗等情況的參數進行對比,我們可以認定在異常情況發生時,在短時間 內參數的變化十分劇烈,通過相應的實踐,本課題通過大量的實驗積累數據找到一個合適的閾值區間(具體靈敏度可以通過調整閾值來實現)當超越閾值時即認為觸發報警條件,可能出現了危險。根據課題組的初步實驗,模擬各種情況,變化劇烈程度由低到高分別如圖3所示,閾值的設置應該在正常居家活動之上,危險行為之下,以確保報警信息觸發準確。
圖3 各種行為的模擬圖
Fig.3 All kinds of behavior simulation diagram
4.3 無線路由、視頻存儲服務器的設計
前期工作需要在帶有DPS、無線模塊和磁盤驅動模塊的ARM開發板上調通相應的功能,后期工作需要根據需要裁減或增加相應的電路和功能芯片,以及外殼,按鍵和紅外遙控器等。家用嵌入式多媒體中心功能模塊抽象圖如圖4所示。
圖4 家用嵌入式多媒體中心功能模塊抽象圖
Fig.4 Abstract figure of household embedded
multimedia center function module
4.4 分布式智慧社區視頻服務系統的設計
系統的用戶分為五種權限類別:居民用戶、物業用戶、管理員用戶、警務/市政用戶和預留種類用戶。其中居民用戶可以訪問公共資源和自己的私有資源,物業用戶可以訪問公共資源和居民的部分信息(屏蔽視頻以保護隱私,可以接受報警請求)并可以受理用戶的各種請求以及用戶的添加修改刪除繳費、續費等操作,管理員用戶可以查看所有非視頻類賬戶信息,警務人員用戶在申請得到授權的情況下可以查看到所有可以訪問的信息。預留用戶作為將來系統發展所需的備用,暫不使用。系統將記錄各用戶使用的記錄和IP以系統日志方式備案。此外,由于用戶的私有視頻存儲在自家服務器中,本系統僅作為一個地址映射(系統并不會保存用戶的私人視頻信息以保障隱私權),由用戶的家用嵌入式多媒體服務中心通過合法賬號登陸到系統進行連接。系統需分布式多媒體服務器來存儲社區各個位置的攝像頭錄像,作為公共視頻資源分布存儲在服務器集群中,系統也只作為一個地址映射,當用戶請求操作時,合法用戶的合法請求將得到批準,將權限內的內容反饋給用戶。
4.5 客戶端軟件的制作
其中包括PC客戶端和智能手持設備客戶端(iOS與Android等,可以使用跨平臺開發工具Cross Platform Tools一次開發多種平臺運行共同完成),基于用戶賬戶和密碼產生的加密密鑰,讓傳輸的視頻或圖片經過加密,保障在傳輸圖中不會被截獲而泄露隱私。此外,可以根據用戶的網絡帶寬狀況判定合適的傳輸模式(由低到高分別是:單張圖片的方式/連續圖片/壓縮視頻/實時視頻)。這樣,當用戶網絡狀況不好時可以收到單張截圖以節約流量傳輸時間,當PC端用戶擁有高速的局域網時可以直接查看實時高清視頻等。
4.6 信息推送服務設計
通信方式有三種,其中第一種為主模式:通過軟件,在觸發報警條件時,截取相關的媒體信息并直接向手機郵箱發送截圖附件。該模式可以保障用戶在第一時間可以看到手機關聯的信息,就算是一臺能上網的非智能手機也可以看到相關的截圖信息,目前滿足功能的手機普及程度相當高。第二種為從模式,是一種被動的方式,如果用戶需要查看家中實時的視頻情況,可以通過電腦或者智能手機的APP訪問網絡,需驗證戶主的賬戶密碼(以保障家中隱私)并且在帶寬允許的情況才可以訪問家中的實時視頻信息。第三種為可選的后備模式,如果用戶需要,可以增加一個額外的GSM Modem發送短信,由于GSM短信的信息量小、信號覆蓋廣、傳送速度快等特點,這樣在互聯網或者3G網絡情況達不到要求的情況下也可以直接通過短信告訴監護人用戶出現險情,但看不到圖像信息,需要監護人用戶自行確認。
5 結論(Conclusion)
在智慧城市建設的政策支持下,現有智能住宅建設相關配套的軟硬件質量與技術方面參差不齊,本課題研究依據可靠的監控硬件設備,以及國外先進的輪廓檢測算法,結合具體實際應用,在安防監控軟件SDK之上進行二次開發,使原有的硬件產品配合智能的軟件,使系統更加智能化,并可以通過3G網絡與手持移動設備進行即時消息通信實現報警與控制。
參考文獻(References)
[1] 孫君頂,等.基于顏色和形狀特征的彩色圖像檢索方法[J].中
國圖象圖形學報.2004,9(7):820-827.
[2] Huang J.Image indexing using color correlograms[A].In:proceeding on the IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C],San Juan,Puerto
Rico,USA,1997:762-768.
[3] Wan X,Kuo C J.A new approach to image retrieval with hierarchical color clustering[J].IEEE Transactions on Circuits and Systems for Video technology,1998,8(5):628-643.
[4] Belongie S,et al. Color-and texturebased image segmentation using EM and its application to content-based image retrieval[A]. In: Proceedings of the 6th International Conference on Computer Vision (ICCV'98)[C].Bombay,India,1998:1-7.endprint
[5] Bimbo D, Vicario E. Using weighted spatial relationships in retrieval by visual contents[A]. In: Proceedings of IEEE Workshop on Image and Video Libraries[C].Santa Barbara, California,USA,1998:75-79.
[6] Gevers T, Smeuder A W M. Evaluating color and shape invariant image indexing of consumer photograph [A]. In: Proceedings of the 1st International Conference on Visual Information Systems [C], Melbourne, Australia, 1996:254-261.
[7] Gevers T,Smeuder A W M.Content-based image retrieval by viewpoint-invariant image indexing [J ].Image and Vision Computing, 1999, 17(7):475-488.
[8] Nastar C,Mitschke M,Meihac C.Efficient query refinement for image retrieval [A].In: Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C],Santa Barbara,California,USA,1998:547-552.
[9] Smeulders A W M,et al.Content based image retrieval at the end of the early years [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):1349-1380.
作者簡介:
湯 荻(1982-),女,碩士,助教.研究領域:云計算、圖像處理.endprint
[5] Bimbo D, Vicario E. Using weighted spatial relationships in retrieval by visual contents[A]. In: Proceedings of IEEE Workshop on Image and Video Libraries[C].Santa Barbara, California,USA,1998:75-79.
[6] Gevers T, Smeuder A W M. Evaluating color and shape invariant image indexing of consumer photograph [A]. In: Proceedings of the 1st International Conference on Visual Information Systems [C], Melbourne, Australia, 1996:254-261.
[7] Gevers T,Smeuder A W M.Content-based image retrieval by viewpoint-invariant image indexing [J ].Image and Vision Computing, 1999, 17(7):475-488.
[8] Nastar C,Mitschke M,Meihac C.Efficient query refinement for image retrieval [A].In: Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C],Santa Barbara,California,USA,1998:547-552.
[9] Smeulders A W M,et al.Content based image retrieval at the end of the early years [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):1349-1380.
作者簡介:
湯 荻(1982-),女,碩士,助教.研究領域:云計算、圖像處理.endprint
[5] Bimbo D, Vicario E. Using weighted spatial relationships in retrieval by visual contents[A]. In: Proceedings of IEEE Workshop on Image and Video Libraries[C].Santa Barbara, California,USA,1998:75-79.
[6] Gevers T, Smeuder A W M. Evaluating color and shape invariant image indexing of consumer photograph [A]. In: Proceedings of the 1st International Conference on Visual Information Systems [C], Melbourne, Australia, 1996:254-261.
[7] Gevers T,Smeuder A W M.Content-based image retrieval by viewpoint-invariant image indexing [J ].Image and Vision Computing, 1999, 17(7):475-488.
[8] Nastar C,Mitschke M,Meihac C.Efficient query refinement for image retrieval [A].In: Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C],Santa Barbara,California,USA,1998:547-552.
[9] Smeulders A W M,et al.Content based image retrieval at the end of the early years [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):1349-1380.
作者簡介:
湯 荻(1982-),女,碩士,助教.研究領域:云計算、圖像處理.endprint