基于視頻圖像處理的人員在崗檢測技術

李 釗，王元紅

（山東科技大學 計算機科學與工程學院，山東 青島 266510）

0 引言

近年來，隨著監視電子設備在各個領域的不斷普及，需要對大量監視視頻和圖像進行有效處理。同時，社會上的公司（例如銀行，證券交易所等）和營業所需要確保員工因業務需要而到達的比率。為了便于對員工準時到達或隨意離值的監控，有必要在監控的幫助下實時了解，以便對員工的出勤情況進行準確的評估[1]。除此之外，在一些場景中常常由于人員的擅自離崗，視頻監控區域發生事故沒有及時發現，導致不能及時有效的處理問題，造成較大損失或安全問題，因此，對于這些場景需要對人員在崗情況進行實時的監控，以避免因人員非法離崗而存在安全漏洞[2]。

現有的查崗，包括人工查崗、指紋查崗、RFID查崗和智能監控查崗等，但因這些脫崗查崗的方法都有不同程度的局限性，存在很多問題。

在以往的監測方法中大多采用員工觀看攝像頭以完成檢測，但是這種監測方法效率太低、也無法在準確度上到達一定水平，當缺崗、換班或值班出現瞌睡時，漏檢、誤報等現象就會發生，則需要再打開監控錄像確認情況，并且在攝像頭過多、監控畫面復雜，當出現監察人數無法滿足需求的的情況時，滿意保證能夠對全部崗位上的視頻數據有效的監測。另外他不能給出實時警告并完全避免在職員離崗的情況；指紋和 RFID技術雖然先進可靠，但是投入成本過高，效率也達不到應有的效果。智能監控查崗的方法，即在計算機視覺領域，通過位置檢測、目標檢測和圖像區域的面積變化對人員在崗情況進行監測，但是諸多情況下，背景建模和前景目標檢測的實時性和準確性無法達到要求，圖像區域受外部環境影響，導致面積發生變化，造成監測的準確率不高。因此，迫切需要一種能夠準確并及時判別監控中人員在崗情況的技術。

1 在崗檢測技術

1.1 在崗檢測技術簡介

在崗檢測是指在監控錄像中監控值班人員[3]。視頻分析在現代安全領域中起著重要作用，并被廣泛使用。隨著行為檢測算法技術的不斷進步，在崗監測技術可以完全通過計算機代替人員進行實時監控。當計算機在監控中識別出在職人員的異常情況，或值班室中沒有值班人員時，計算機將直接發出警報，與傳統的人工檢測相比，具有明顯的優勢，與指紋檢測和RFID檢測相比，可以做到24小時實時監測，操作簡單，實施成本低。 目前，它已被廣泛應用于銀行，證券交易所，營業廳等許多領域。

1.2 目前在崗檢測技術分析

在崗檢測的核心技術就是行為檢測，國內外皆有研究。例如，文獻[4]提出了一種基于關節點信息的人體行為識別的新方法，采用Kinect技術提取人體關節點坐標，以此構造3維空間向量，然后通過計算結構向量之間的角度和向量模的比值來分析人體姿態，同時以階段時間的連續的姿態序列作為行為表示特征量，最終判別測試行為模板和參考行為模板的相似情況，完成行為識別。文獻[5]提出了一種基于時間段網絡的深度行為識別算法，它結合了稀疏時間采樣策略和視頻等級監督方法，可以對整體的動作視頻有效快捷的學習。文獻[6]提出了一種基于魯棒且有效的視頻表示的動作識別方法，利用顯式相機運動估計進行改善流行密集軌跡特征，使用 SURF（Speeded up robust features）描述符[7]和密集光流提取幀之間的特征點進行匹配。

文獻[8]設計實現了一個嵌入式系統下的行為檢測系統，因采用的硬件平臺性能受限，僅僅使用硬件要求較低的的傳統檢測方法，在崗檢測系統通過定位人的頭部區域進行檢測，從人臉特征點（Facial landmarks）檢測入手，通過人臉的特征點分析人員的具體行為。除此之外，現在也可使用一些公開檢測算法，例如Dlib庫的人臉特征點檢測[9-10]、Seeta Face人臉特征點檢測[11-12]，以及劍橋大學的CLM-framework人臉跟蹤器[13]等。

2 算法總體框架

該算法的應用場景可以是值班室或辦公區域里，由攝像頭對進出值班室或辦公區域的人員進行攝像記錄，再將得到的數據流傳到計算機端，由計算機端進行處理并對值班室或辦公區域的人員在崗情況進行相應判斷，圖1實物模擬圖為實物模擬圖。

圖1 實物模擬圖Fig.1 Physical simulation diagram

計算機端的處理流程包括調用攝像頭拍攝圖像、圖像預處理、行人目標檢測、行人目標跟蹤及人數統計等多個部分。本文算法的總體框圖如圖 2算法總體框圖所示。

圖2 算法總體框圖Fig.2 General block diagram of the algorithm

3 實驗過程及結果分析

3.1 平臺選用

本文采取的是用OpenCV的工作平臺來進行算法的設計，OpenCV[14-16]是在1999年由英特爾公司開發實現的一個開源的計算機視覺庫，它能夠實現視覺和圖像處理方面的很多算法，并且它為圖像處理、模式識別、三維重建、物體跟蹤、機器學習和線性代數提供了各種各樣的算法[17]。OpenCV具有以下幾個特點：

（1）OpenCV采用 C/C++語言編寫，使得用戶能夠快速的獲取所需要的函數，幾乎支 持所有的圖片格式而且可以運行在多種主流操作系統，比如說Linux/Windows/Mac等。

（2）OpenCV作為一個開源庫可以與很多其他的開發平臺相兼容，比如說Python、Ruby、MATLAB等均可以與OpenCV相結合來實現對圖像的處理。

（3）它采用優化的C代碼編寫，能夠充分利用多核處理器的優勢。

（4）具有良好的可移植性。

3.2 實驗過程

3.2.1 圖像預處理

圖像預處理是所有視頻圖像后續工作的基礎。由于光照、陰影等多個不穩定因素的影響，采用攝像頭拍攝的視頻序列總會有噪聲的存在，而可以運用圖像的預處理技術抑制噪聲。

圖像預處理就是先讀取攝像頭所傳遞的的每一幀圖像，進而將圖像灰度化，濾波處理得到的灰度圖像。圖像預處理是進行過濾圖像的邊緣信息，更易于檢測每個圖像，這也被稱為圖像的濾波。圖像濾波的主要作用是除去光照等與檢測不相關的信息，在圖像預處理中非常重要。目前有很多濾波方法，下面主要介紹本文中所使用的高斯濾波方法，Python中OpenCV主要調用GaussianBlur函數，如下：

dst = cv2.GaussianBlur(src, ksize, sigmaX)

其中，dst表示濾波后的圖像，src表示原始圖像，ksize表示核大小，sigmaX表示X方向方差。

本算法的實現所用到的圖像預處理操作主要是引入Background Subtractor的KNN背景分割器進行背景分割，通過KNN算法從視頻流中分離出運動的物體前景；然后對分離出的運動物體前景，根據人員在監控視頻中的具體位置劃定一個ROI區域作為人員在崗情況檢測的檢測區域，并對其進行單閾值OTSU（Nobuyuki Otsu, 大津法）二值化處理、形態學處理，實時檢測動態前景。單閾值OTSU二值化處理的計算方式如下：

設一幅圖像的像素點數為N，它有L個灰度級(0,1,,1) L-…，灰度級為i的像素點數為in，那么直方圖表示為概率密度分布：

假設閾值t將圖像分成兩類 C0和 C1（物體和背景），即C0和C1分別對應具有灰度級{0,1,…,t}和的像素。設σ2B( t)表示直方圖中閾值為 t時的類間方差，那么最優閾值可以通過求σ2B ( t)的最大值而得到，即：

3.2.2 行人目標檢測

行人目標檢測部分主要分為兩個階段：

第一階段采用BING方法，運用分類器一生成候選區域，其中分類器一由NG特征和SVM訓練得到；第二階段是在候選區域中，運用分類器二來分類并定位行人，從而完成行人目標檢測，其中分類器二由俯視行人頭部HOG特征和SVM訓練得到。

3.2.3 行人目標跟蹤

行人目標跟蹤部分分為兩個階段：行人運動軌跡跟蹤和數據關聯。

行人運動軌跡跟蹤就是在監控區域內對行人檢測的結果進行跟蹤，即對第k幀已存在的行人軌跡進行跟蹤，得到它們在第k+g幀（g≥1）的跟蹤結果；然后運用數據關聯算法，對已存在的行人軌跡的跟蹤結果和當前幀的行人檢測結果進行數據關聯，從而確定當前幀的行人軌跡。

此處的數據關聯算法即是根據視頻開始處的檢測結果建立初始行人軌跡。由于任意時刻都可能有行人進出監控區域，需要對已存在的行人軌跡和當前幀的檢測結果進行數據關聯，判斷是否有行人進出監控區域；為進入的行人建立軌跡，并將走出的行人對應的軌跡刪除。將當前幀中一個假設的行人軌跡，用一組｛DK,TL｝進行組合（或關聯）。其中DK為當前幀的檢測結果，TL已存在的行人軌跡在當前幀的跟蹤結果。

根據空間最近鄰原則，采用歐式距離對DK與TL進行數據關聯，DK與TL的歐式距離為：其中：kx和ky、lx和ly分別表示KD和LT的窗口中心坐標。

據行人在監控區域中的實際運動速度，設定一個距離閾值eT，當edT＞時判定當前行人運動軌跡不成立，重新建立一條新的運動軌跡，結束當前的目標跟蹤；反之，認為當前行人運動軌跡成立，則繼續認為連續兩幀中的運動行人為同一人，繼續行人目標跟蹤。

3.2.4 人員在崗情況檢測

進行人員在崗情況檢測，首先對值班室或者辦公區域的人員進行計數，分別判斷出進入、離開值班室或者辦公區域的人員數目，然后進行一個差值計算，只要進入的人員數目大于離開的人員數目路，或者說只要進入、離開的數目不相等，則判定人員在崗，反之認為人員不在崗，并進行報警。

期指其中計數部分采用虛擬線設置技術，在監控區域內合理設置虛擬計數線，通過分析行人軌跡是否越過虛擬計數線，來對行人進行計數。由于行人在監控區域內行為的隨意性，如果采用單虛擬線計數，則無法對行人的運動方向、行人在監控區域內滯留等情況進行準確判斷，因此，本文提出采用雙虛擬線計數方法，虛擬線設置如圖3雙虛擬計數線示意圖所示。

圖3 雙虛擬計數線示意圖Fig.3 Schematic diagram of double virtual counting lines

本文規定當值班室或者辦公區域的人員運動軌跡依次越過計數線A、B，則對人員進行“進入”人數統計；當值班室或者辦公區域的人員運動軌跡依次越過計數線B、A，則對人員進行“離開”人數統計；當值班室或者辦公區域的人員運動軌跡出現在監控區域，卻連續多幀未跨過兩條計數線，則不做相應處理。

3.3 實驗結果

本文設計的在崗檢測算法，對通過對攝像頭拍攝的圖像中的行人分別檢測以及跟蹤，完成進入、離開值班室或者辦公區域的人員數目的統計計數，對這兩個數據作差即為值班室或者辦公區域的人員在崗數目，進而判斷其人員在崗情況。

通過實驗仿真，采用某間宿舍作為模擬值班室或者辦公區域的場所，得到其中某一幀的截圖結果，如圖4實驗結果圖所示。

圖4 實驗結果圖Fig.4 Experimental results

經過一段時間的監測結果如表1所示。由此可以判斷，通過本文的在崗檢測方法得到的結果與實際的情況相差不大，能夠很好地代替工作人員的職責。

表1 檢測情況Tab.1 Test situation

4 總結

在一些特定場景及時發現人員擅自離崗情況，既可以監督員工的工作狀況，更可以及時發現視頻監控區域發生的事故，并及時有效的處理問題，避免造成較大損失或安全問題。為此，本文設計提出一種基于視頻圖像處理的人員在崗檢測技術，通過對值班室監控視頻中的人員進行運動跟蹤檢測，提出了基于歐式距離的數據關聯算法，建立當前幀的人員運動軌跡，進而判斷出進入和離開值班室的人員數目，二者做差進而對值班室里的人員在崗情況進行判斷，檢測效率和準確度高，具有良好的實時性能。雖然該方法還存在一些缺陷，比如對遮擋人員的檢測效果不是很理想，但是對檢測人員的在崗情況也起到了很好的作用，能夠很好地避免產生較大損失或安全問題。