基于顯著性圖的監所夜間監控方法

朱杰 王晶 杜婉音等

監獄是關押和改造犯罪人員的場所，對在押犯人行為的監控是保障監獄安全必不可少的管理手段。我國各地的監獄一般都建立了模擬閉路電視監控系統來監控犯人的行為。由于模擬閉路電視監控系統的錄像的圖像分辨率不高，圖像的清晰度較差，尤其是在夜間光線比較暗的情況下更加難以分析監控區域的具體情況。此外，視頻處理的效率也是阻礙視頻實時分析的難點之一。實時的視頻處理需要大量的計算，為了有效的進行實時視頻分析，我們提出了一種基于顯著性圖的

快速視頻分析方法。

基金支持： 2014年中央司法警官學院院級科研項目，基于顯著性圖的監所夜間監控方法，課題編號：XYY201402。2014年保定市科學技術研究與發展指導計劃項目，項目編號：14ZS006。

監獄是國家司法體系的重要組成部分，擔負著教育改造犯罪人員的重要職責。鑒于本身的功能要求，監獄對于安防系統在安全可靠性方面的要求要明顯高于其他行業[1]。傳統的視頻監控模式，把視頻存儲在硬盤當中，只能于事后取證，無法起到預防、預警的作用。隨著監控系統圖像路數的增加，傳統的依靠人工監控的方式就更難于即使發現并解決問題。

近年來安全監控應用日益廣泛，如行人檢測、車輛檢測等，目前目標檢測有多種方法，但多對白天光照情況良好的情況下的圖像進行分析，極少針對夜間圖像。夜間光源不足，圖像的視覺質量會大大降低，拍攝到的監控圖像畫面昏暗、特征不清晰。如何在這種情況下準確的判斷出犯人的位置是我們研究的重點。

針對上述問題，國內外研究機構提出了許多解決方法。本文提出了一種基于顯著性圖（saliency map）的視頻分析方法。首先，我們把視頻按照一定的時間間隔進行采樣。然后，通過顯著性圖來提取對象的輪廓。最后，顯著性圖表示的區域表示出來，進行圖像的動作判別。

2相關工作：

計算機視覺是一門研究如何使機器“看”的科學，更進一步的說，就是指用攝影機和計算機代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖像處理，用計算機處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科，計算機視覺研究相關的理論和技術，該文原載于中國社會科學院文獻信息中心主辦的《環球市場信息導報》雜志http：//www.ems86.com總第577期2014年第45期-----轉載須注名來源試圖建立能夠從圖像或者多維數據中獲取‘信息的人工智能系統。這里所指的信息指夏農定義的，可以用來幫助做一個“決定”的信息。因為感知可以看作是從感官信號中提取信息，所以計算機視覺也可以看作是研究如何使人工系統從圖像或多維數據中“感知”的科學。

對于一幅圖像來說，用戶只對圖像中的部分區域感興趣，這部分感興趣的區域代表了用戶的查詢意圖，而多數剩余的不感興趣區域則與用戶查詢意無關。顯著性圖的構造綜合考慮顏色、亮度、方向等多種特征。最后再根據顯著圖確定圖像的顯著區域。

Koch[2]等人基于生物視覺機制的啟示提出“視覺顯著圖”的概念，利用拓撲結構圖來表示一種場景的視覺顯著性；Bruce等人[3]提出基于信息最大化來計算視覺顯著性；Gao等人[4]基于判別式的顯著性假設提出了一種新的視覺顯著性判斷方法。黃提出的方法建立了一個新穎的用于檢測視覺顯著性圖像的模型，并且該模型可以應用在多種圖像相關的應用場景中，但是當圖像背景較復雜時，分類正確率較低。

3 算法介紹：

首先設定采樣時間。視頻可以看做是連續的圖像，我們每0.5s對視頻截圖進行采樣。其次，利用顯著性圖提取對象區域。然后通過無監督的方法分析對象動作，分析面部表情衣著等。最后，根據數據庫中當前時間的正常動作對比來判斷對象身份已經動作的合法性。其中數據庫中動作的比對是難點之一。我們可以把對象動作的識別認為是一個簡單的分類問題，即合法與不合法兩類動作。我們用機器學習來處理這個問題。我們采用SVM分類器進行分類。圖像表示的方法我們可以用直方圖來表示，但是傳統的直方圖表示沒有空間信息，所以我們在圖像表示的時候融入了空間上下文關系，生成了有上下文關系的直方圖。圖像表示的時候我們采用了多特征融合的直方圖表示方法，單獨用一個特征表示出來的直方圖往往不能準確的表示出對象的特征，多特征融合的表示方法可以從不同角度去表示圖像，能夠在更加廣闊的特征空間對圖像進行表示。在顯著性圖的幫助下，我們只需要提取顯著區域內的特征。我們提取的特征有顏色，形狀。其中顏色用CN和HUE兩種顏色描述子，而形狀我們用SIFT特征來描述。尺度不變特征轉換（Scale-invariant feature transform 或 SIFT）是一種電腦視覺的算法用來偵測與描述影像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量。我們將Bag-of-words模型應用于圖像表示。我們用三個步驟來實現這個過程特征檢測、特征表示和單詞本的生成。在我們的模型中，首先提取SIFT和生成的patch的顏色特征，然后用K-means算法分別進行聚類，所生成的類中心就是字典。所謂早融合就是把patch的SIFT特征和顏色特征分別提取出來，把兩種特征向量進行加權，然后連接在一起。晚融合的方法是首先對顏色形狀分別聚類，然后生成顏色和形狀的字典表示，最后對生成的兩種直方圖進行加權并且連接在一起。他們分別對自然物體和人造物體有著比較好的識別效果。

4實驗對比：

圖1：原圖和生成的顯著性圖

以上圖為顯著性圖提取的對象區域，實驗比對可以看出我們有效的找到了對象區域。其中顯著性越強即越亮的地方越有可能是對象所在的區域。通過對對象動作的分析比對，我們發現對象正在練習，通過對相關時間段的判斷分析，在這個時間警察練習是正常的動作，所以視為合法動作。

5結論

本文提出了一種利用顯著性圖來分析夜間監所情況的智能算法，我們對圖像進行分時間段采樣，并用顯著性圖來描述對象區域和動作。完備的動作庫用來對對象行為進行分析，結合時間序列和動作的變化最終確定對象行為的合法性。本方法結合了對象識別和機器學習的分類算法，能夠為監獄監控智能化的實現提供良好的理論基礎。

（作者單位：1中央司法警官學院信息管理系；2北京交通大學計算機與信息技術學院；3河北軟件職業技術學院；4河北大學管理學院 ；