全天候復雜光線條件下的遺留物檢測方法

張 琍，單海婧，常 青，王子亨，穆 森

（中國航天科工集團第二研究院706所，北京100854）

0 引 言

目前主流的遺留物檢測方法為基于背景消除的方法［1－4］，核心思想是通過建立兩個不同更新頻率的高斯背景模型獲得場景中暫時靜止的目標物體，根據暫時靜止目標物體的顏色輪廓以及先驗知識來進行遺留物分析，檢測出遺留物，并進行遺留物標記報警。上述遺留物檢測方法主要存在如下的問題：①考慮到在全高清視頻圖像中，每幅圖像幀包含1920＊1080個像素點，每個像素點包含3個顏色通道，每個顏色通道又包含多個待更新的高斯參數，直接采用混合高斯模型進行背景建模，計算量大、復雜度高，很難滿足遺留物檢測算法的實時性，特別是在高清視頻監控系統中該限制表現的更加明顯；②陰影檢測方法效果較差，特別是在全天候復雜光線變化條件下無法將運動目標和其投射的運動陰影較好的分離開來；③遺留物檢測中沒有對干擾的目標 （取走物、行人等）進行嚴格全面的剔除，造成遺留物的誤檢率過高。

為了保證全天候復雜光線條件下高清視頻監控系統中遺留物檢測的實時性、準確性、魯棒性，本文提出了一種遺留物實時檢測方法?？紤]到混合高斯模型在背景建模過程中尤其適合室外有復雜光線變換的情況，但是其計算復雜，不僅對背景建模，也對前景建模，實時性較差。本文的方法采用一種快速的混合高斯模型改進算法，在提高全天候復雜光線條件下遺留物檢測的準確性前提下，提高了檢測算法的運算速度；采用混合高斯陰影模型對前景中的陰影進行建模，對陰影抑制效果較好，能將全天候復雜光線變化條件下運動目標和其投射的運動陰影較好分離開來；采用嚴格的剔除方法，消除干擾目標 （噪聲、取走物、靜止行人）對遺留物的影響，提高算法的準確度，減少漏檢率和誤檢率。本文的遺留物檢測算法流程如圖1所示。

圖1 全天候復雜光線條件下的遺留物檢測算法流程

1 快速的混合高斯雙背景建模

本文采用一種快速的混合高斯模型改進算法對背景建模，分別建立一個長周期背景模型和一個短周期背景模型，當前視頻幀分別減去長短周期背景模型得到長周期前景和短周期前景。

高斯背景建模［5］是由Stauffer等提出的一種基于背景建模的自適應經典算法，其基本原理是用圖像灰度的高斯概率密度函數來估計圖像中像素的灰度值。混合高斯背景建模方法用K（3～5）個高斯概率密度函數來表示圖像中每個像素點的顏色特征值，其中每個高斯概率密度函數又包含3個參數：權重ω、均值μ、方差δ2，之后每獲得一幀新圖像都需要對背景模型中各個高斯概率密度函數的參數進行更新，最后將當前圖像幀和混合高斯背景模型中相對應的每個像素點進行匹配，匹配成功則該像素點為背景，否則為前景。為了能夠更好的適應復雜環境，如風吹物體的擺動、光照強弱的變換等，K 的取值越大，建立的背景模型越精確，目標檢測精度越高。由此可看出，直接采用混合高斯模型進行背景建模，計算量大、復雜度高，很難滿足遺留物檢測算法的實時性要求。

一種快速的混合高斯模型改進算法，在提高全天候復雜光線條件下，通過建立適應性強的背景模型，不僅提高遺留物檢測的準確性，而且考慮到無需每幀都對混合高斯背景模型中數量龐大的待更新參數一一進行更新，減少了參數更新頻率，進而提高了檢測算法的運算速度。注意到每個監控壞境下，背景模型中大部分區域是固定不變的，只有少部分區域是動態變化的，可將背景劃分為靜態區域和動態區域。

根據靜態區域特征，靜態區域像素點的背景參數模型不需要每幀都進行更新，當該像素點每次新獲得的像素值與背景模型中某一高斯分布函數匹配度大于閾值Tb1，則在接下來即將處理的N 幀圖像中該像素點所對應的參數不再進行更新，經過N 幀后，重新把該像素點的高斯分布參數調整到較平等狀態下重新開始更新學習，直至又有新獲得的像素值與高斯分布函數匹配度大于閾值Tb1，反復循環。

根據動態區域的特征，像素點值按一定的統計規律總是對應到幾個重復出現的值，對該區域內的背景模型經過不斷重復的訓練后，發現該區域內的像素點每次新獲得的像素值總是與兩三個高斯分布函數相匹配，當這兩三個高斯分布函數權重之和大于閾值Tb2，則接下來的M 幀圖像內該像素點的背景模型的各個高斯分布參數都不再更新，并將這幾個高斯分布的均值表示該像素點的背景值，在M 幀后，重新把該像素點的高斯分布參數調整到較平等狀態下重新開始更新學習，直至又有新獲得的像素值與高斯分布函數權重之和大于閾值Tb1，反復循環。

某一像素點的高斯分布權值ωi，t按如下規則設置到較比較平等的狀態：

ωi，t／σi，t值最大的高斯分布所對應的權重值設為

其余的高斯分布所對應的權值均設為

2 遺留物分析檢測

通過對長周期前景和短周期前景進行分析并檢測出遺留物，標記出遺留物并進行報警。采用基于混合高斯模型的陰影檢測方法，分別抑制長短周期前景中的運動陰影；通過分析長短周期前景，獲得疑似遺留物的目標物體；采用基于目標輪廓與目標中心外圍區域顏色直方圖的方法剔除疑似遺留物中的取走物；采用基于HOG （histogram of gradient）和膚色特征方法剔除疑似遺留物中的暫時靜止的行人，獲得候選遺留物的目標物體；對候選遺留進行跟蹤統計，檢測出遺留物，并標記報警。

2.1 陰影抑制

基于混合高斯的陰影抑制算法［6］采用基于HSV 顏色空間的陰影檢測算法獲得當前長短周期前景中的候選陰影，即將前景像素劃分為候選陰影像素和運動目標像素；用候選陰影對應的像素值分別對混合高斯陰影模型中各個高斯概率密度函數的參數進行更新；根據混合高斯陰影模型對候選陰影進行最終判斷，匹配該候選陰影對應的像素點與混合高斯陰影模型中對應的每個像素點，匹配成功則該候選陰影為陰影，否則為運動目標。基于混合高斯的陰影抑制算法更有效地抑制陰影對運動目標檢測的影響，對弱陰影檢測效果好，能很大程度上檢測出強陰影，具有較強實時性。

采用基于HSV 顏色空間［7］的陰影檢測算法來檢測長短周期前景中的疑似陰影的決策公式如下

式中：IH（x，y）、IS（x，y）、IV（x，y）分別表示當前新獲得的視頻圖像幀中像素點（x，y）處像素值I（x，y）對應的H、S、V 分量，SH（x，y）、SS（x，y）、SV（x，y）分別表示背景模型中像素點（x，y）處背景像素值S（x，y）對應的H、S、V 分量。參數0≤αS≤βS ≤1，αS是控制陰影強度的參數，當背景中產生的運動陰影越強時，αS對應的值越小；βS 是為了保證當前視頻圖像幀的背景和亮度差異化明顯，提高算法對噪聲的魯棒性。參數τS和τR是一些控制參數，τS小于零，τR依據經驗調試。其中，若SP（x，y）值為1，則I（x，y）為候選陰影，若SP（x，y）值為0，則I（x，y）為運動目標像素。

長短周期背景建模算法與基于混合高斯的陰影抑制算法中均采用了混合高斯模型，這兩種方法采用的混合高斯模型方法區別在于，前者對當前圖像幀中所有的像素點值進行更新學習，而后者只對當前圖像幀中候選陰影所對應的像素點值進行更新學習。最終確定候選陰影是否為陰影的決策公式如下

式中：上標S 表示混合高斯陰影模型，i＝1，2，…，Kt。如果I（x，y）被判定為運動陰影，則該點掩模SPP（x，y）置為1，否則SPP（x，y）置為0。即若候選陰影It和當前像素點所對應的陰影分布均值μSi，t－1 差的絕對值小于等于標準差σSi，t－1的DS倍，則It被判為運動陰影，否則被判為運動目標。

2.2 疑似遺留物檢測

分別對消除陰影后的長短周期前景進行二值化處理，得到長周期前景二值圖和短周期前景二值圖。首先對長短周期前景二值圖進行閉操作運算，根據不同的 “結構元素”填充目標物體內的微小縫隙，對目標物體的邊界進行平滑，并不明顯改變目標物體的面積，保證目標物體的完整性。然后采用區域標記的方法消除長短周期前景二值圖中小面積目標。最后通過分析長短周期前景二值圖的特點，對前景中的目標進行分類，獲得疑似遺留物的目標物體Ocur。分類的規則如下：①F′L（x，y）＝1且F′S（x，y）＝1，（x，y）點像素屬于運動目標；②F′L（x，y）＝1且F′S（x，y）＝0，（x，y）點像素屬于Ocur；③F′L（x，y）＝0且F′S（x，y）＝1，（x，y）點像素屬于場景變化目標或噪聲；④F′L（x，y）＝0 且F′S（x，y）＝0，（x，y）點像素屬于背景目標。

其中，F′L代表長周期前景二值圖，F′S代表短周期前景二值圖。

2.3 取走物抑制

采用目標輪廓與目標中心外圍區域顏色直方圖相結合的方法檢測取走物［8］，消除取走物對前景中目標的影響，剔除疑似遺留物的目標物體中的取走物?，F有遺留物檢測方法中判斷取走物主要根據目標的輪廓特征，但在背景輪廓比較復雜的情況下，邊緣匹配的方法并不能很好的去除虛警，目標中心外圍區域顏色直方圖分析的方法可以彌補邊緣匹配顏色信息丟失的缺點。

提取疑似遺留物的目標物體中的ROI邊緣點，以及當前視頻幀中的ROI邊緣點，并統計疑似遺留物的目標物體前景中每個ROI的邊緣像素點的總數Ncur，以及當前視頻幀中的相應的ROI邊緣像素點的總數Ntemp。根據目標輪廓特征判斷候選取走物OEtemp的決策公式如下

其中，Te是判斷取走物的邊緣像素點差值的閾值。

根據目標中心外圍區域顏色直方圖特征判斷候選取走物OHtemp的決策公式如下其中，Td是判斷取走物的距離閾值，若D 越小說明兩個直方圖越相似，檢測為取走物的可能性就越大，反之檢測為暫時靜止物體的可能性越大。計算D 值的公式如下

其中，HE和HC分別表示外圍區域AE和中心區域AC的灰度直方圖，兩個直方圖的灰度級相同，并且在計算前都進行了灰度歸一化。

判斷取走物的決策公示如下

2.4 靜止行人抑制

采用基于HOG［9，10］和膚色特征的行人檢測算法檢測行人，消除運動一段距離后突然靜止的行人對前景中目標的影響，剔除疑似遺留物的目標物體中的靜止行人?；贖OG 和膚色特征的行人檢測算法不僅充分利用了HOG 特征的優良特性，而且克服了HOG 向量維數大、計算慢的問題，加入膚色特征使得檢測精度明顯提高，降低了行人的誤檢率和漏檢率。

提取暫時靜止的目標物體的HOG 和膚色特征描述子的算法步驟如下：

（1）將每個目標物體看作一個當前幀的ROI，對ROI進行灰度化；

（2）利用Gamma校正方法對每個ROI的顏色空間進行歸一化，可以抑制噪聲、局部陰影和光照變化造成的影響，還可調節圖像的對比度；

（3）提取每個ROI中像素的梯度特征向量，包含大小和方向信息，獲得目標輪廓特征，可以弱化光照變化對結果產生影響；

（4）將ROI劃分成多個小的細胞單元；

（5）對各個細胞單元的梯度直方圖進行統計，生成各個細胞單元的特征向量描述子；

（6）將每幾個細胞單元組成一個塊，一個塊內所有細胞單元的特征描述子串聯起來得到該塊的HOG 特征描述子。為提高計算速度，在計算HOG 特征時引入積分向量圖，避免由于塊的重疊造成的重復計算，提高計算速度；

（7）以維直方圖形式統計各個塊中Cb和Cr空間像素點個數，每個塊可用一個2＊n維的膚色特征向量描述子表示，即在每個塊內加入一個表示膚色的2＊n 維向量。人臉的膚色在YCrCb空間具有很好的聚類性，膚色信息主要集中在一個特定范圍，可據此特點將膚色與背景信息分開；

（8）在ROI內的所有塊中，選取一些分類能力較強的塊作為最后特征，將這些被選取的塊的HOG 和膚色特征描述子串聯起來得到該ROI的HOG 特征描述子。該ROI的HOG和膚色特征描述子是最終可供分類使用的特征向量。

2.5 遺留物跟蹤檢測

通過對疑似遺留物檢測中的干擾目標 （取走物、行人）進行剔除后，得到候選遺留物。對每個候選遺留物的目標物體進行團塊跟蹤，并對每個候選遺留物持續停留的幀數Numi分別進行統計，當某個物體累計停留的幀數超過一定的閾值Tnum時，即Numi＞Tnum，該候選遺留物的目標物體標記為遺留物，觸發遺留物報警。并根據該遺留物的邏輯位置在源圖像中標出遺留物的外接矩形區域。

3 實驗結果與分析

為了驗證算法的有效性和實時性，我們采用了某風景名勝景點的真實視頻監控數據做實驗，對全天候復雜光線條件下的遺留物的檢測進行實驗。我們所采用的視頻數據的分辨率為1920＊1080 像素，幀率25 幀／s。實驗設備為主頻2.93GHz的Intel雙核處理器，2G 內存的微處理器。算法基于C＋＋語言和OpenCV2.4.3實現的。

實驗中，采用間隔10 幀抽幀的方式處理實時視頻圖像，在快速的混合高斯模型建模時，相關參數設置如下K＝5，N＝20，M＝8，長周期背景模型的學習率為0.001，短周期背景模型的學習率為0.01。在遺留物分析檢測時，高斯陰影模型所對應的K＝3，判斷取走物的邊緣像素點差值的閾值為40，判斷取走物的距離閾值為0.15。圖2為白天室外場景檢測過程圖，圖2 （a）是行人剛開始丟棄遺留物的圖像幀，圖2 （b）是檢測到遺留物的結果圖，圖中標的白色大邊框是實驗中所截取的感興趣區域，檢測過程只針對感興趣區域進行，讓檢測算法更加靈活可控，感興趣區域內白色小邊框標記的即為檢測到的遺留物。圖2 （c）長周期背景感興趣區域對應的前景二值圖，圖2 （d）短周期背景感興趣區域對應的前景二值圖，圖2 （e）感興趣區域內疑似遺留物對應的前景二值圖。

圖2是一系列不同攝像頭下不同光線條件下檢測到的結果，圖3 （a）是在白天室內環境下遺留電腦包檢測的結果，圖3 （b）是在夜晚室外環境下遺留凳子的檢測結果，在白天室外環境下依次遺留下一個電腦包和一個紙箱，圖3（c）是先檢測到的遺留電腦包檢測結果，圖3 （d）是后檢測到的遺留紙箱檢測結果。

4 結束語

本文提出了一種全天候復雜光線條件下的遺留物實時檢測方法。采用一種快速的混合高斯模型算法對視頻圖像進行背景建模，分別建立一個長周期背景模型和一個短周期背景模型，通過當前視頻幀分別與兩個背景模型差分運算得到長周期前景和短周期前景；對長周期前景和短周期前景進行分析，檢測標記出遺留物，進行報警。該方法解決現有的遺留物檢測方法在全天候復雜光線變化條件下效果差的問題，提供一種高效遺留物檢測方法，適用于全天復雜光線條件下全高清視頻監控系統中的遺留物檢測。

圖2 白天室外場景檢測過程

圖3 不同環境下遺留物檢測結果

［1］TANG Yiping，FU Jiyong，CHEN Yaoyu.A System of abandoned objects detection based on omni－directional computer vision ［J］.Computer Measurement ＆Control，2010，18 （3）：517－519 （in Chinese）.［湯一平，富吉勇，陳耀宇.基于全方位計算機視覺的遺留物檢測系統 ［J］.計算機測量與控制，2010，18 （3）：517－519.］

［2］ZHANG Chao，WU Xiaopei，ZHOU Jianying，et al.An abandoned object detection algorithm based on improved GMM and short－term stability measure ［J］.Signal Processing，2012，28 （8）：1101－1111 （in Chinese）. ［張超，吳小培，周建英，等.基于改進混合高斯建模和短時穩定度的遺留物檢測算法 ［J］.信號處理，2012，28 （8）：1101－1111.］

［3］ZHANG Chao，XIAO Tan，LI Xuli，et al.Abandoned object detection method and apparatus ［P］.Chinese Patent：CN 102509075A，2012－06－20 （in Chinese）. ［張超，肖坦，李煦麗，等.一種遺留物檢測方法及裝置 ［P］.中國專利：CN 102509075A，2012－06－20.］

［4］HU Bin，WANG Feiyue，XIONG Gang，et al.Real－time detection method of abandoned object and removed object based on embedded systems ［P］.Chinese Patent：CN103714325A，2014－04－09 （in Chinese）.［胡斌，王飛躍，熊剛，等.基于嵌入式系統的遺留物和遺失物實時檢測方法 ［P］.中國專利：CN103714325A，2014－04－09.］

［5］HUANG Xinjuan，ZHOU Jiemin，LIU Boyang.Moving objects detection approach based on adaptive mixture Gaussian background model ［J］.Journal of Computer Applications，2010，30 （1）：71－74 （in Chinese）.［黃鑫娟，周潔敏，劉伯揚.自適應混合高斯背景模型的運動目標檢測方法 ［J］.計算機應用，2010，30 （1）：71－74.］

［6］ZHANG Hongying，LI Hong，SUN Yigang.Shadow removal algorithm based on Gaussian mixture model［J］.Journal of Computer Applications，2013，33 （1）：31－34 （in Chinese）.［張紅穎，李鴻，孫毅剛.基于混合高斯模型的陰影去除算法［J］.計算機應用，2013，33 （1）：31－34.］

［7］DONG Rong，LI Bo，CHEN Qimei.Research and improvement on shadow detection in expressway videos using HSV color model［J］.Journal of Image and Graphics，2009，12 （14）：1006－8961 （in Chinese）.［董蓉，李勃，陳啟美.路況視頻中HSV 彩色不變量陰影檢測法研究與改進 ［J］.中國圖象圖形學報，2009，12 （14）：1006－8961.］

［8］Tian Yingli，Feris Rogerio，Hampapur Arun.Real－time detection of abandoned and removed objects in complex environments［C］／／VS，Marseille，2008.

［9］YAO Xueqin，LI Xiaohua，ZHOU Jiliu.Pedestrian detection method based on edge symmetry and HOG ［J］.Computer Engineering，2012，32 （5）：179－182 （in Chinese）. ［姚雪琴，李曉華，周激流.基于邊緣對稱性和HOG 的行人檢測方法［J］.計算機工程，2012，32 （5）：179－182.］

［10］ZHOU Ke.Research and implementation of human body detection technology based on HOG characters ［D］.Wuhan：Huazhong University of Science and Technology，2008 （in Chinese）.［周柯.基于HOG 特征的圖像人體檢測技術的研究與實現 ［D］.武漢：華中科技大學，2008.］