一種基于深度信息的人頭檢測方法

張姍姍，景文博，劉學，王曉曼，朱海忱

（1.長春理工大學　電子信息工程學院，長春　130022；2.長春理工大學　光電工程學院，長春　130022）

?

一種基于深度信息的人頭檢測方法

張姍姍1，景文博2，劉學1，王曉曼1，朱海忱1

（1.長春理工大學電子信息工程學院，長春130022；2.長春理工大學光電工程學院，長春130022）

摘要：針對目前人頭檢測方法對光線變化敏感和易受陰影干擾的問題，提出了一種基于深度圖像的人頭檢測方法。首先通過運動目標檢測，得到運動人員所在區域；然后對該區域使用改進的立體匹配算法，該匹配算法對傳統的WTA匹配算法進行改進，只對強紋理點進行匹配，對弱紋理點只進行視差驗證，并根據三角投影原理計算出深度圖。由于深度圖中人員與周圍場景的深度分布不同，根據深度分布將人頭區域提取出來，得到候選區域，最后將候選區域經過形態學運算并根據區域輪廓的特征來判斷是否為人頭。實驗結果表明：該方法在不同光線環境條件下的檢測正確率為94%以上，誤檢測率僅為5.77%，檢測精度高，對光線和陰影的抗干擾性良好，能夠很好地適應復雜環境。

關鍵詞：人頭檢測；運動目標檢測；立體匹配；深度圖

隨著計算機圖像處理能力和技術的提高，基于計算機視覺和圖像處理的行人流量監測系統成為研究人員關注的熱點，由于人頭頂部形狀和特征相對固定，因此人頭檢測成為行人流量監測的有效方法。

常用的人頭檢測方法有基于人頭和人臉輪廓特征的檢測方法、基于顏色的檢測方法兩大類。其中趙軍偉等人［1］提出的基于人頭發色模型和區域分割，區域篩選相結合的人頭檢測方法，檢測方法實時性較好，但是對光變換敏感，識別率不理想；徐超等人［2］提出的根據人頭HOG特征，通過SVM訓練樣本得到行人分類器實現人頭檢測，該檢測方法具有較好的穩健性，正確率也較高，但是分類器的訓練比較耗時。劉輝等人［3］提出的基于人頭輪廓檢測和發色檢測結合的檢測方法，該方法實時性好，但是對于發色多樣，有遮擋的情況穩健性差。上述方法主要的問題就是易受陰影影響，且對于遮擋和外形與人頭部相似的物體時，容易出現誤判，識別率不理想。

針對以上問題，提出了一種基于深度圖像的檢測方法，通過對雙目相機采集的圖像進行運動目標檢測，獲得目標區域；然后對左右視圖進行立體匹配進而獲得目標區域的深度圖。根據人體特征對深度圖分層，再通過進一步的輪廓檢測就可以提取人頭信息。由于雙目視覺具有精度高，對光線不敏感等優點，而且利用深度信息能夠一定程度上避免虛假人頭的出現，降低了誤判率，實現了復雜場景下的人頭檢測。

1　雙目立體視覺成像原理

雙目立體視覺系統由左右兩部攝像機組成，按照光軸平行放置，如圖1所示是一套無畸變、行對準的標準立體成像系統。圖中雙目相機視場交匯的三角區域為檢測有效區，相機的視角為70°。成像系統圖如圖2所示，在雙目視覺系統中，行人各個部分的高度是不同的，相機從上向下拍攝時目標三維信息不同。

圖1　雙目立體成像系統

圖2　雙目視覺成像原理

圖中O1和O2分別為相機光軸與成像平面的交點，基線距b是兩相機光心O1和O2的連線距離；相機焦距為f。空間中某點P投影在左圖像和右圖像上的相應坐標分別為P1（u1，v1），P2（u2，v2），由于校正后的圖像滿足極線定理，因此點P在左右視圖上成像點的縱坐標是相同的，即v1=v2，橫坐標u1和u2的差值d即為視差。由三角關系得到：

則視差為d=u1-u2，由此可得P點在相機坐標系下的深度信息z：

由上式可知，只要將左圖像上像素點在右視圖上找到對應的匹配點，就可以計算出該像素點的視差，從而計算出該點的深度信息。

2　基于深度信息的人頭檢測方法

2.1運動目標檢測

運動目標的檢測，就是把圖像中的前景目標從背景中分離出來［4］。對于檢測算法來說，所要提取的是運動目標，而背景不僅會對人頭的檢測造成干擾，而且會增加立體匹配的時間。因此運動目標的檢測是整個檢測方法中不可缺少的一步。

本文使用改進的幀差法對目標進行檢測。首先采集前N幀圖像，對N幀圖像中每一個對應位置的像素點按照灰度值大小進行排序，去除最大值，最小值，剩下的值取平均得到B（x，y），并將其作為原始背景圖像：

式中：Ik（x，y）表示輸入的第k幀圖像，max，min像素集合中排序后最大值，最小值。

為防止圖像中光線變化較大時對檢測結果造成影響，運用式（4）對背景圖像進行更新。

式中，Bk（x，y）是當前求得的背景圖像；Bk-1（x，y）是上次更新后背景圖像；B（x，y）為更新的背景圖像。α是更新系數；

對背景圖像和當前幀圖像做差分，以閾值T對差分圖像二值化處理，就可以得到運動目標區域。

算法框圖如圖3所示。

2.2基于深度特征的目標區域提取

首先需要進行立體匹配求視差，使用傳統的WTA立體匹配算法［5］時，需要對每一個像素點都進行匹配，耗時大，實時性不理想。且由于人頭目標的紋理往往很弱，會造成誤匹配。為了提高算法的準確性和實時性，使用一種改進的立體匹配算法。

圖3　運動目標檢測算法示意圖

首先對提取的目標區域進行Canny邊緣檢測，提取強紋理點。基于視差的分段連續性，由于場景中大部分區域的視差都是連續的，因此只對強紋理點進行匹配求視差d。對非強紋理點只作簡單的視差驗證，減少了匹配的時間。采用SAD作為相似性測度函數。

對特征點進行匹配求視差：以該點為中心，取一個n×n的窗口，分別計算中心點和其在另一個視圖中視差范圍0～dmax內的匹配代價CSAD（x，y，d），取匹配代價最小的d為dnew。

SAD相似性測度函數表示為：

對非紋理點，先進行簡單的視差驗證，驗證的方法就是將上一個點的視差dlast代入式（2），計算出左右圖像在此視差值下的CSAD（x，y，d）值，然后與Tth進行對比，若小于閾值Tth說明視差是連續的，則不做處理。若大于閾值Tth說明視差存在跳變，需要再次對該點進行SAD匹配，計算視差。匹配結果可以表示為：

算法流程如圖4所示。

通過上述方法得到視差圖后，通過三角原理得到能夠反映距離信息的深度圖。深度圖像是灰度圖像，灰度值的大小反應了目標與相機的距離信息。如圖5所示。

圖4　改進的立體匹配算法示意圖

圖5　深度圖分層

圖5中Z1，Z2，Z3為圖中對應點計算的深度；I1，I2，I3為深度圖中對應的灰度值。深度圖呈現了目標區域的整體深度信息，灰度值越小距離越遠，灰度值越大距離越近。由圖5可知，深度圖分層效果十分明顯。根據圖中人體的特征，人的頭部是距離相機最近的，像素值最大，因此可以通過深度分層能夠將含有頭部信息的區域提取出來。

2.3人頭輪廓提取

經過深度分層后圖像存在著許多連通區域，這些區域往往帶孔洞和毛刺，有時兩區域會出現粘連現象［6］。這將嚴重影響后續的頭部輪廓篩選。根據人頭的類圓形特征，可以對圖像采用具有圓形特征的結構元進行膨脹、腐蝕操作，這樣不僅可以去除孔洞和毛刺，還可以使處理后的區域類圓形特征更加明顯，如圖6所示。

圖6　人頭區域提取

下一步是對處理后的區域進行篩選。篩選的參數主要有三個［7，8］：區域圓度C，面積S，輪廓矩形占空比M。

由于人頭區域具有類圓形特征，可以用圓度參數C來評價候選區域的類圓特征，并以此判斷該區域是否為目標區域：

式中，dmax表示為區域中距離中心最遠的距離。C的值在0～1之間。C的值越趨于1，表明該區域越趨于圓形。

人頭區域的面積S是有一定范圍的，該值的設定是根據實驗情況來決定的，在本次實驗中S閾值為100，如果該區域面積不在規定面積范圍內，則該區域可以排除。

輪廓矩形占空比M指目標輪廓面積與其所在外接矩形區域面積的比值［7］。人頭目標是一個凸多邊形，因此這個值不應過小，否則認為該候選區域不是目標。當檢測區域符合這3個指標就被判定為人頭。候選區域如圖6（a）所示，3號和4號的C值過小被排除，5號和6號面積S過小被排除，1號區域和2號區域判定為人頭區域。由圖6（c）可知，篩選區域準確，檢測效果良好。

基于深度信息的人頭檢測方法整體框圖如圖7所示。

圖7　基于深度信息的人頭檢測方法框圖

3　實驗結果與分析

采用兩部Lumenera LM135M型相機為雙目成像設備，像元尺寸為4.65um×4.65um，焦距為8mm，圖像分辨率為1392×1040。

實驗中將雙目相機相距60mm分別安裝在實驗室房頂上，相機距離地面3m，并保持兩相機光軸平行，使其自上而下拍攝圖像。

為了驗證本文檢測方法在不同光照環境下的有效性，進行了大量實地實驗，從多方面驗證本文算法的有效性，以下為兩組對比實驗詳情。

圖8　在弱光照環境下的人頭檢測

如圖8所示，在弱光照環境下，目標區域與周圍環境的對比度較差，干擾了運動目標檢測，結果如圖（c），圖中的目標區域出現了粘連、孔洞和不完整的問題。但是根據深度圖提取的人頭區域仍十分準確，如圖（e）所示。對目標區域進行膨脹，腐蝕操作并按照文中的三項指標對圖中的候選區域進行篩選得到圖（g）。以每個區域的外接矩形的對角線為直徑畫圓，得到最終檢測結果如圖（h）。由檢測結果可知，本文提出的人頭檢測方法在弱光照環境下，克服了圖像對比度差的問題，準確地檢測到了人頭區域，檢測效果良好。

圖9　強光照環境下的人頭檢測

如圖9所示，強光照環境下，圖（a）、（b）中行人的影子比較明顯。這對人頭的準確檢測造成干擾，如圖（c）為運動目標檢測得到的目標區域，影子和目標區域完全粘連在一起，難以分離。圖（d）是進行立體匹配后得到的深度圖，可以看到明顯的分層效果。根據深度圖提取的人頭區域，得到圖（e），圖中人頭區域已經比較明顯，而且也完全濾除了影子對后續處理的干擾。由檢測結果可知，本文檢測方法克服了強光照和陰影的干擾，準確有效地檢測出了人頭區域，檢測效果良好。

對比檢測結果可知，本文提出的人頭檢測方法對光線變化和陰影有良好的抗干擾能力，對于復雜場景中的人頭能夠有效地檢測。

為了測試本文方法的有效性，分別在強光照和弱光照模擬環境下，利用本文基于深度信息的人頭檢測算法，對實驗室的人員進行檢測，并與傳統的基于Hough變換的人頭檢測方法進行對比，取其中30組實驗數據，對比結果如圖10和圖11所示。

圖10　強光照環境下的檢測結果對比

圖11　弱光照環境下的檢測結果對比

由圖10和圖11可以看出，本文檢測方法檢測結果與傳統Hough檢測方法相比與實際結果更為接近。

為了直觀對比兩種方法的優劣，對本文檢測方法在不同條件下檢測的準確性和誤檢測率進行統計并與傳統Hough檢測進行對比。如表1和表2所示。

表1　不同條件人頭檢測的準確率

表2　不同干擾下的誤檢率

由表1可知，在強光照和弱光照情況下，人頭檢測準確率差別不大，且都達到94%以上，對比傳統方法提高了檢測準確率，表明本文檢測方法能夠在不同的光線環境下完成精準的人頭檢測。表2反映了本文的檢測算法對于環境良好的抗干擾能力。誤識別率僅為5.77%，是傳統Hough變換檢測方法誤檢率的一半，說明本文方法對光線和陰影的抗干擾性良好，能夠很好適應復雜環境。

4　結論

本文采用改進的立體匹配算法將圖像分為強紋理點和非強紋理點分別進行處理，克服了人頭區域紋理較弱的缺點，提高深度計算的準確度。且利用深度圖像中人體與環境的深度分布不同的特點，克服了光照和陰影等對于檢測造成的干擾，實現了在不同光照環境下對于人頭的精準檢測。由實驗結果可知：本文檢測方法能夠準確確定頭部位置，誤檢測率低，抗干擾能力強，準確率可達95.69%。對于復雜場景中的人頭能夠有效地檢測。在大型商場和客車站等公共場所的行人流量統計方面有重要的應用意義。

參考文獻

［1］趙軍偉，侯清濤，李金屏，等.基于數學形態學和HSI顏色空間的人頭檢測［J］.山東大學學報：工學版，2013，43 （1）：5-10.

［2］徐超，高夢珠，查宇鋒，等.基于HOG和SVM的公交乘客人流量統計算法［J］.儀器儀表學報，2015，36（2）：446-452.

［3］劉輝，朱闖，張天永，等.一種基于頭部特征的人頭檢測方法［J］.光電子技術：工學版，2014，34（1）：21-25.

［4］鄭佳，李江勇.基于背景差分和信息熵的運動目標檢測算法［J］.激光與紅外，2014，44（5）：563-566.

［5］王逸林，馬玫.基于區域匹配算法的雙目立體匹配技術的研究［C］.大連海事大學，2012.

［6］于海濱，劉濟林.應用于公交客流統計的機器視覺方法［J］.中國圖像圖形學報，2008（15）：716-722.

［7］徐培智，徐貴力，黃鑫.基于隨機Hough變換的人頭檢測［J］.計算機工程，2012，38（1）：199-200.

［8］Munozib，Molina P J，Galilea J L L.Embedded vision modules for tracking and counting people［J］. IEEE Transactions on Instrumentation and Measurement，2009，58（9）：3004-3011.

A Head Detection Method Based on Depth Information

ZHANG Shanshan1，JING Wenbo2，LIU Xue1，WANG Xiaoman1，ZHU Haichen1
（1.School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022；2.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the problem head detecting method is sensitive to changing light and vulnerable of shadow interference，a head detection method based on the depth map is proposed. Firstly，get moving target region by the moving target detection. Then a improved stereo matching algorithm is used to the target area，a matching algorithm based on the traditional WTA matching algorithm，we just need to match strong texture point by stereo matching algorithm，verify disparity of weak texture point and we can calculate the depth map. Because the depth distribution between people and surrounding scene is different in the depth map，we can extract the head region depend on the depth distribution，and then get candidate region through expansion and corrosion operation. Determine whether the region is the head with the characteristic of the head. Experimental results show that the method tested under different environmental conditions is 95.69%，error detection rate is 5.77%，high precision，strong anti-interference performance to light and shadow and applicable to complex environment.

Key words：head detection；moving target detection；stereo matching；depth map

中圖分類號：TP391.41

文獻標識碼：A

文章編號：1672-9870（2016）02-0107-05

收稿日期：2015-09-10

作者簡介：張姍姍（1989-），女，碩士研究生，E-mail：ass0987@163.com

通訊作者：景文博（1980-），男，博士，副教授，E-mail：wenbojing@sina.com