雨天環境基于HOG-SIFT特征稀疏表示的行人檢測

陶 春，陳淑榮

(上海海事大學 信息工程學院，上海 201612)

雨天環境基于HOG-SIFT特征稀疏表示的行人檢測

陶 春，陳淑榮

(上海海事大學 信息工程學院，上海 201612)

針對雨天環境下監控視頻因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現的目標行人漏檢誤檢情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測算法。通過直方圖均衡化降低雨水噪聲；提取圖像HOG-SIFT融合特征表征視頻圖像中的行人信息，減少輪廓特征的丟失；利用稀疏表示降低融合特征的維數，減小計算量并保留有效的行人特征，結合AdaBoost分類器降低漏檢率和誤檢率。實驗結果表明，該算法在雨天環境下有效地提高了行人檢測的準確率。

HOG特征；SIFT特征；稀疏表示；行人檢測

0 引言

行人檢測是計算機視覺領域備受關注的前沿方向和研究熱點。常用特征主要有方向梯度直方圖(HOG)[1]、Haar特征[2]、尺度不變特征(SIFT)[3]、加速魯棒特征(SURF)[4]等。參考文獻[5]利用非負矩陣分解和方向梯度直方圖生成HOG-NMF特征的快速行人檢測方法，降低了特征維數，對線性支持向量機的分類效果提高顯著，但易受光照環境影響。文獻[6]提出一種顏色自相似度特征與AdaBoost級聯分類器結合的行人檢測方法，加快了檢測速度，但漏檢誤檢情況較高。文獻[7]采用快速SIFT算法匹配相鄰幀人的身體，結合AdaBoost級聯分類器檢測行人信息，該算法適用于復雜場景下的行人檢測但是實時性差。上述文獻中所提到的檢測方法能夠運用在較多場景，但在雨天環境下，監控視頻圖像灰度值削弱導致行人輪廓特征丟失，出現大量行人漏檢誤檢情況。

在光線昏暗的雨天環境下，針對視頻圖像的灰度值削弱問題，本文采用圖像的HOG-SIFT融合特征描述行人信息，可以減少其輪廓特征的丟失。利用稀疏表示對圖像HOG-SIFT融合特征進行降維，得到強輪廓特征，通過AdaBoost分類器的級聯強分類性來提高雨天環境下行人檢測的準確率。

1 算法原理

實驗中首先提取雨天環境下監控視頻的每幀圖像，進行直方圖均衡化處理降低雨水噪聲影響，再變換為灰度圖像并歸一化。通過提取圖像HOG特征和SIFT特征，串行組合成HOG-SIFT融合特征，表征圖像中的行人特征。利用稀疏表示降低融合特征維數，得到強輪廓特征，并減少弱噪聲影響。通過AdaBoost級聯分類器檢測目標行人。算法流程如圖1所示。

圖1 算法流程圖

1.1 HOG特征提取

HOG特征是圖像處理中檢測行人或物體的一種特征描述子。提取測試樣本圖像的HOG特征，需將圖像分成小的細胞單元(cell)，采集cell中各像素點梯度和邊緣的方向直方圖，再組合起來構成測試樣本圖像的HOG特征。圖像中像素點(x,y)梯度為：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

式中Gx(x,y)，Gy(x,y)，H(x,y)分別表示輸入圖像中像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值和梯度方向分別為：

(3)

α(x,y)=tan-1(Gy(x,y)/Gx(x,y))

(4)

實驗中對樣本圖像進行HOG特征提取，圖像歸一化為64×128。將圖像分割成16×16像素的cell，每2×2個cell組成一個塊。將梯度方向平均劃分為9個區間，統計cell里每個區間中像素的梯度方向直方圖，得到一個9維的特征向量。計算出每個塊內有4×9=36個特征向量，用塊對樣本圖像進行掃描，掃描步長為一個單元。將所有塊的特征串聯起來，構成完整的HOG特征。圖2是雨天視頻圖像HOG特征的提取。

圖2 HOG特征的提取

圖2(a)為原始圖像，(b)為根據提取的HOG特征還原的圖像。HOG特征是統計每個cell中像素的梯度直方圖，而還原圖像的像素點受到雨天光線變暗、圖像灰度值削弱的影響，使圖2(b)中的行人輪廓出現明顯的丟失,在檢測時易造成漏檢誤檢情況。因此，利用單一HOG特征在雨天環境下檢測行人的準確率較低。

1.2 SIFT特征提取

SIFT特征能保持圖像的尺度與旋轉不變性，對光照變化有較好的穩定性。通過對樣本圖像分別提取HOG和SIFT特征，串聯組合成HOG-SIFT融合特征，能夠有效描述雨天視頻圖像中行人輪廓的特征信息，提高在雨天環境下的行人檢測準確率。提取SIFT特征首先要構造圖像的尺度空間，對每層尺度空間進行關鍵點檢測和方向分配，再通過歸一化生成關鍵點描述子。尺度空間和關鍵點的算法描述如式(5)～式(7)。

I(x,y)是輸入的圖像信號，G(x,y,σ)是尺度可變高斯函數，則函數L(x,y,σ)是一幅圖像的尺度空間，如式(5)：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(5)

其中，σ是尺度因子，σ越小，表征圖像的信息越多；σ越大，表征圖像的信息越少。關鍵點在(x,y)處梯度的模值和方向，其公式如式(6)和(7)：

(6)

θ(x,y)=atan2(L3-L4)/(L1-L2)

(7)

式中各變量L1=L(x+1,y)，L2=L(x-1,y)，L3=L(x,y+1)，L4=L(x,y-1)。

實驗對樣本圖像進行SIFT特征提取，圖像歸一化為64×128，利用高斯函數對每一幅圖像構造尺度空間，通過高斯差分卷積對尺度空間中的關鍵點進行檢測。本文選用16×16大小的檢測窗口，每個窗口檢測到的關鍵點為4×4=16個，利用式(6)、(7)確定關鍵點的位置、尺度和方向后，用高斯窗口對其進行加權運算，得到具有8個方向的關鍵點，一個窗口有4×4×8=128維特征描述子，一幅64×128大小的圖像有128×32=4 096維SIFT特征。圖3是雨天視頻圖像中行人SIFT特征關鍵點的提取。

圖3 SIFT特征關鍵點提取

圖3(a)為原始圖像，(b)為SIFT特征關鍵點提取。SIFT特征通過高斯函數構造圖像中目標行人的多層尺度空間，利用檢測窗口檢測出人體輪廓的關鍵點，將關鍵點串聯得到人體的SIFT輪廓特征。在光線昏暗的雨天環境，SIFT特征通過關鍵點描述出行人輪廓特征，減少雨天環境下行人的局部輪廓特征丟失。因此，通過構造HOG-SIFT融合特征將有效提高雨天環境中行人目標檢測的準確率。

1.3 HOG-SIFT特征的稀疏表示

稀疏表示能夠降低HOG-SIFT融合特征的維數、減少計算量，使HOG-SIFT融合特征有效表征行人輪廓信息，減少噪聲特征的影響。實驗首先對行人數據庫中選出的訓練樣本提取融合特征構造字典，將訓練樣本分為k類，提取到的特征向量為Si,j，第i類訓練樣本用特征向量表示為Ai，將Ai擴展到整個訓練樣本集，則可以構成字典A，如式(8)所示：

A=[A1,A2...Ak]=[S1,1,S1,2...Sk,n]∈R

(8)

(9)

實驗對待測的雨天視頻圖像提取HOG-SIFT融合特征，利用式(9)對該融合特征進行稀疏表示。通過已經構造出的字典A和需要稀疏的融合特征向量y，利用正則化參數求解出參數λmax，根據式(9)可以求解特征向量y的系數矩陣x，通過其表征圖像中行人的輪廓特征。圖4是對雨天視頻圖像提取的HOG-SIFT融合特征的稀疏表示。

稀疏表示是通過一組系數矩陣來表示圖像特征，系數矩陣可以通過稀疏字典還原圖像的特征信號，相較于傳統PCA降維法不需要計算協方差矩陣，縮短了特征降維的時間，同時經過稀疏表示后的HOG-SIFT融合特征對雨天環境下視頻圖像中行人輪廓表征更清晰，減少了弱噪聲特征影響。

1.4 AdaBoost分類器

AdaBoost是一種迭代算法，針對同一個訓練集訓練不同的弱分類器，并將弱分類器級聯成一個強分類器。在雨天環境下，AdaBoost通過多次構造弱分類器檢測出錯誤的樣本，利用級聯強分類性再次檢測出錯誤的樣本，提高了分類器檢測的準確率，有效減少了雨天環境下圖像灰度值削弱而出現的行人漏檢誤檢情況。因此，本文選用AdaBoost作為實驗的最終分類器。

2 算法步驟

本文算法步驟如下：

(1)選取一段雨天環境下的監控視頻，提取視頻幀圖像，對圖像進行直方圖均衡化處理，降低雨水噪聲的影響。

(2)將圖像轉為灰度圖像，并做歸一化處理。

(3)對圖像分別提取HOG特征和SIFT特征，得到兩個特征集合α、β，并且通過串行特征組合方法構造HOG-SIFT融合特征集C。

(4)利用融合特征C構造待檢測圖像的字典A，用稀疏算法對融合特征C進行稀疏表示，得到圖像的稀疏融合特征向量C′。

(5)通過AdaBoost分類器對稀疏融合特征向量C′分類檢測，得到雨天環境下視頻幀圖像中的目標行人。

3 實驗結果及分析

為了驗證算法有效性，在MATLAB 2014a環境下進行實驗，計算機配置為2.1 GHz CPU和4 GB內存，數據庫為INRIA數據庫和Daimler數據庫。實驗驗證雨天環境下視頻監控中行人檢測的漏檢誤檢情況。首先從兩個數據庫中選擇2 100個包含行人圖片的正樣本集和3 200個無行人圖片的負樣本集訓練AdaBoost分類器。測試樣本為雨天環境下的一段監控視頻，提取500幅幀圖像作為最終的測試樣本集，且圖像大小歸一化為128×64。

實驗將本文算法與傳統HOG檢測算法和HOG-紋理-顏色融合特征檢測算法進行檢測對比，檢測結果如圖5所示。

圖5 雨天環境下三種算法的行人檢測結果

圖5(a)為傳統HOG+SVM算法檢測的結果,(b)為HOG-紋理-顏色+SVM算法檢測的結果，(c)為本文算法HOG-SIFT+稀疏表示+AdaBoost算法檢測的結果。在圖(a)、(b)中已用箭頭標注出漏檢情況，在圖(c)中本文算法正確檢測出目標行人。

針對雨天環境下行人檢測的漏檢誤檢情況，將本文算法與傳統HOG特征檢測算法、HOG-紋理-顏色融合特征檢測算法進行比較。圖6是在晴天環境下3種算法的檢測情況比較，圖7是在雨天環境下3種算法的檢測情況比較。其中漏檢率(MissRate)和誤檢率(FPPW)如式(10)和式(11)所示：

圖6 晴天環境

圖7 雨天環境

(10)

(11)

式中，FN(False Negatives)是正樣本被錯誤檢測為負樣本的數量；TP(True Positives)是正樣本被正確檢測為正樣本的數量；FP(False Positives)是負樣本被錯誤檢測為正樣本的數量；TN(True Negatives)是負樣本被正確識別為負樣本的數量。

實驗結果表明，晴天環境在誤檢率相同的情況下，本文算法的漏檢率比傳統HOG算法和HOG-紋理-顏色融合特征算法稍低，其準確率為93.5%，傳統HOG算法的準確率為89%，HOG-紋理-顏色融合特征算法的準確率為90.6%。雨天環境在誤檢率相同情況下，本文算法的漏檢率明顯比另兩種算法低，其準確率為90.3%，傳統HOG算法的準確率為80.1%，HOG-紋理-顏色融合特征算法的準確率為83.2%。

針對雨天環境下行人目標的檢測時間，將本文算法與傳統HOG特征檢測算法和HOG-紋理-顏色融合特征檢測算法對相同維數的雨天視頻圖像特征進行檢測比較。結果如表1所示。

表1 3種檢測算法檢測時間比較

表1中是3種算法對一組2 800維的雨天視頻圖像特征進行行人檢測的時間比較，包括不同算法下特征的訓練時間、分類檢測時間和行人目標檢測的準確率。本文算法提取的HOG-SIFT融合特征經過稀疏表示將邊緣弱特征忽略掉，保留行人輪廓的強特征，從而降低了特征的維數，簡化了計算量。因此，本文算法大大減少了樣本的訓練時間和檢測時間，提高了行人檢測的準確率。

4 結論

針對雨天環境下監控視頻中因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現行人漏檢誤檢的情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測算法。利用HOG-SIFT融合特征表征雨天環境下圖像的行人特征；減少輪廓信息丟失；通過稀疏表示對融合特征降維、簡化計算，并保留有效的行人特征;利用AdaBoost分類器的級聯強分類性降低行人的漏檢誤檢情況。實驗表明本文算法提高了雨天監控視頻中行人目標檢測的準確率，為雨天視頻監控系統實施行人檢測方法提供了理論依據。

[1] DALAL N,TRIGGS B.Histograms of oriented gradients for human detection [C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,1:886-893.

[2] LOWE D G.Distinctive image feature from scale-invariant key points[J].International Journal of Computer Vision, 2004, 60(2):91-110.

[3] OJALA T,PIETIKAINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,19(3):51-59.

[4] 顧志航，陳淑榮.一種基于HOG和LSS融合的行人檢測算法[J].微型機與應用，2016，35(8)：37-39.

[5] 孫銳，陳軍，高雋.基于顯著性檢測與HOG-NMF特征的快速行人檢測方法[J].電子與信息學報，2013,35(8)：1921-1926.

[6] 曾波波，王貴錦，林行剛.基于顏色自相似度特征的實時行人檢測[J].清華大學學報，2014，52(4)：571-574.

[7] 杜金輝，管業鵬，時勇杰.基于快速SIFT匹配的行人信息檢測[J].電子器械，2012，35(5):601-606.

A pedestrian detection algorithm based on HOG-SIFT feature sparse representation in rainy environment

Tao Chun,Chen Shurong

(Information Engineering College,Shanghai Maritime University,Shanghai 201612,China)

In rainy environment, the rain noise and the weakened gray value of the image will make the pedestrian contour feature lost, which leads to the misdetection and error detection of surveillance video.Given this,the paper puts forward a kind of a pedestrian detection algorithm based on HOG-SIFT feature sparse representation.The histogram equalization is applied to reduce rain noise and the HOG-SIFT fusion feature is used to characterize pedestrians in video image to cut the loss of contour features.And it takes advantage of the sparse representation to reduce the dimension of the fusion feature and the amount of computation, retain valid pedestrian features and reduce misdetection and error detection combined with AdaBoost classifier.Experimental results show that the proposed method can effectively improve the accuracy of pedestrian detection in rainy environment.

HOG feature;SIFT feature;sparse representation;pedestrian detection

TP317.4

A

10.19358/j.issn.1674- 7720.2017.07.012

陶春，陳淑榮.雨天環境基于HOG-SIFT特征稀疏表示的行人檢測[J].微型機與應用，2017,36(7)：39-42.

2016-12-15)

陶春(1992-)，男，碩士研究生，主要研究方向：模式識別與圖像處理。

陳淑榮(1972-)，女，碩士，副教授，主要研究方向：視頻分析與處理、現代通信網絡及控制技術。