基于RGB-D多通道特征的行人檢測

林 晶, 謝伙生

(福州大學數學與計算機科學學院， 福建 福州 350116)

基于RGB-D多通道特征的行人檢測

林 晶, 謝伙生

(福州大學數學與計算機科學學院， 福建 福州 350116)

針對行人檢測易受物體遮擋以及光照變化干擾的問題， 提出一種融合顏色與深度信息的多通道特征行人檢測方法. 首先， 顏色采用ChnFtrs方法中的通道， 深度在其基礎上引入法向量方向通道， 并用快速圖像特征金字塔來加速顏色和深度的通道特征的計算. 其次， 通道特征作為級聯(lián)AdaBoost的候選特征點集輸入， 分別訓練得到顏色和深度分類器， 按一定比例權重融合顏色和深度信息進行檢測. 實驗表明， 該方法提高了檢測精度， 對光照變化、 物體遮擋具有較好的魯棒性.

行人檢測； RGB-D； 級聯(lián)AdaBoost； 多通道特征

0 引言

行人檢測即判斷給定圖片序列有無直立的行人， 是計算機視覺領域內的一項重要工作. 在智能視頻監(jiān)控、 機器人、 汽車輔助駕駛、 游戲娛樂等方面都有廣泛的應用.

近年來， 行人檢測在速度和精度上都有了很大的提高. Dalal[1]提出的梯度方向直方圖(histogram of oriented gradients， HOG)是至今廣泛使用的行人特征描述子， 通過在檢測窗口內劃分單元格(cell)分別統(tǒng)計梯度直方圖， 分塊(2×2 cell)規(guī)范化cell， 連接窗口內所有塊構成描述子. 針對HOG特征維度高、 計算慢等特點， Zhu等[2]利用積分直方圖技術[3]和構建級聯(lián)AdaBoost分類器來快速計算訓練HOG特征. Wojek等[4]則在GPU上并行實現HOG， 達到實時的行人檢測. Dollar等[5]提出了積分通道特征的概念， 它實現了特征的快速計算， 并從不同的角度集成各種不同的特征信息提高了檢測精度. 文獻[6-8]都是在通道特征基礎上進行的進一步研究工作. 基于RGB圖像的檢測方法， 多數采用基于梯度的特征， 較好地描述了邊緣信息， 但檢測性能受物體遮擋和光照變化等因素干擾影響較大.

深度圖作為一種新型的數據描述方式， 不僅保存了物體大量空間位置信息， 而且不受光照變化影響. 隨著深度攝像機技術的發(fā)展， Kinect傳感器的出現大大降低了硬件成本， 實現了實時同步獲取高分辨率彩色和深度圖像， 使得利用深度信息的研究方向成為熱點. 文獻[9]從TOF相機獲取的深度信息， 提取關系深度相似性特征(RDSF)， 利用深度空間信息有效解決部分遮擋問題. 文獻[10]則是利用深度信息構建二維和三維頭部的模型， 模型匹配提取出行人輪廓. 文獻[11]把深度信息轉為三維空間點云， 類似HOG流程構造法向量方向直方圖(histogram of oriented normal vector， HONV)， 得到特征描述子. 由于深度相機獲取深度范圍有限， 容易產生無效值， 若沒有合適的圖像修復算法， 則單獨的深度信息檢測滿足不了應用需求. 目前利用3D距離數據進行行人檢測還是較新的問題. Spinello等[12]提出基于RGB-D的行人體檢測算法， 利用HOG和深度方向(histogram of oriented depth， HOD)描述子進行聯(lián)合檢測， 不需要依賴于地平面假設. 文獻[13]提出新的二階深度算子PDSS， 較好地克服HOD算子的不足， 聯(lián)合HOG描述子提高了檢測精度. 多分類器聯(lián)合檢測一方面提高了檢測精度， 但另一方面檢測速度往往達不到實時要求.

深度圖包含了大量空間信息， 如何充分利用這些信息在保證檢測速度的前提下提高檢測算法性能是本文要研究的方向. 本研究在ChnFtrs[5]方法的通道特征基礎上， 引入深度法向量方向作為深度通道， 利用圖像特征金字塔快速尺度化[14]加速計算RGB-D多通道特征， 并構造級聯(lián)分類器聯(lián)合顏色和深度信息快速檢測行人.

1 RGB-D多通道特征

1.1 RGB多通道特征

圖1 RGB通道示例

如圖1所示， RGB特征通道分別由LUV(L代表亮度信息， U和V代表色度信息)三通道、 梯度幅值以及梯度方向直方圖的六個通道構成， 是目前性能較好的ChnFtrs[5]方法所采用的顏色通道特征組合.

RGB顏色空間是一種非均勻的顏色空間， 即相等的顏色差別在色度圖中并不對應相等的距離. 相比RGB空間， LUV空間各分量相關性小， 更適于進行圖像處理， 為此將RGB轉換到LUV均勻顏色空間， 并統(tǒng)一規(guī)范化到[0, 1]區(qū)間作為RGB圖像的顏色通道. 在LUV空間計算梯度幅值與梯度方向：

式(1)通過一階微分近似估算像素點(x,y)處水平方向梯度Gx(x,y)與垂直方向梯度Gy(x,y)， 式中I(x,y)表示該點的像素值. 點(x,y)處的梯度幅值和方向為：

分別按式(2)計算該點處L、U、V三通道的梯度幅值G(x,y)， 選取最大值作為該點的幅值. 最大值對應的Gx(x,y)和Gy(x,y)代入式(3)， 得到梯度方向φ(x,y)， 規(guī)范化到[0, π]區(qū)間， 區(qū)間均等分為6個方向，φ(x,y)量化后決定選擇哪個方向， 幅值決定權重， 即Hθ(x,y)=G(x,y)·f[Θ(x,y)=θ]， 其中Θ(x,y)表示φ(x,y)量化后的值，θ表示6個方向中的某個方向.f[Θ(x,y)=θ]表示函數： 當Θ(x,y)與θ相等， 取值1， 反之為0；Hθ(x,y)表示直方圖相對應的方向通道.

1.2 深度(Depth)多通道特征

圖2 深度通道示例

如圖2所示， 本文深度圖的特征通道由深度圖本身深度值、 深度梯度幅值、 深度梯度方向直方圖和深度法向量方向等九個通道構成.

深度圖每個像素點d(x,y)， 表示的是物體與傳感器之間的距離， 經預處理后作為深度通道. 深度梯度幅值與梯度方向直方圖的計算與RGB多通道特征類似， 只需將I(x,y)替換為d(x,y).

為更好地利用深度空間信息， 本文引入法向量方向通道[11]， 將深度圖每個像素點表示為三維空間的點P=(x,y,d(x,y))， 假設三維空間上點P的x和y方向梯度向量Gx(P)和Gy(P)構成的平面為該點的切面， 如圖3(a)所示， 則法向量N計算如下：

(5)

球坐標(θ,φ,r)能更好地描述法向量方向信息， 將法向量從笛卡爾坐標轉換到球坐標， 如圖3(b)所示. 式(4)中法向量的第三維是常數， 二維空間的法向量可以一一映射到二維平面上. 取z=1平面，θ和φ計算公式如下所示：

(a) 三維空間上某點法向量 (b) 法向量與夾角

2 行人檢測

圖4所示為本文方法流程圖， 首先輸入RGB-D圖像對， 簡單預處理降低噪聲影響， 然后分別計算彩色圖像和深度圖像的多尺度多通道特征， 同時構建深度尺度列表S， 最后搜索深度尺度空間， 聯(lián)合彩色和深度分類器進行檢測得到最終結果.

圖4 行人檢測方法流程圖

2.1 多尺度多通道特征計算

2.2 深度尺度空間搜索

大多數基于RGB圖像檢測方法都是采用滑動窗口法在圖像尺度空間中搜索可能的目標， 對于一張分辨率為640×480的圖像， 滑動窗口大小128×64， 滑動步幅4， 尺度為1時需要搜索的窗口數就有(640-128)/4·(480-64)/4=13 312個， 不利于快速檢測. 對于深度圖、 深度值表示的是實測距離和尺度一一對應， 利用深度尺度空間搜索， 所需檢測的滑動窗口數可以減少一個數量級.

深度值d映射到尺度s的關系如下所示:

式中:Fy是紅外攝像頭的垂直焦距(m);Hm是訓練數據集中人的實際平均高度(m);Hw是檢測窗口在尺度為1時的高度(單位像素)， 本文為128.

計算深度圖每個像素點對應的尺度s， 并進行量化， 由深度圖所有尺度s構成尺度列表S， 分類器只檢測列表中相關尺度搜索到的窗口. 采用積分直方圖加速搜索， 每個尺度對應一張二值圖(像素點對應尺度與給定尺度相等時為1， 否則為0)， 由二值圖構建N張積分圖，N為S中的尺度個數， 每幅圖只需構建一次積分直方圖. 選定S中的某個尺度搜索窗口時， 先查找對應尺度的積分圖， 然后通過3次加減運算得到窗口覆蓋的矩形區(qū)域所有像素點值的和， 當和大于0時， 表明該窗口對應圖像區(qū)域包含該尺度， 則送入分類器進行檢測， 否則放棄這個窗口， 繼續(xù)搜索下一個窗口. 深度圖與彩色圖上的點一一對應， 因此彩色圖也可通過深度尺度空間搜索可能的目標， 從而檢測時不必計算所有尺度的所有滑動窗口.

2.3 聯(lián)合檢測

為降低誤檢率， 聯(lián)合彩色與深度分類器進行檢測. 訓練時， 彩色分類器的訓練樣本統(tǒng)一重采樣為128×64， 則有128/4·64/4·10=5 120個特征候選點， 將這些多通道特征集成一維向量， 采用2 048個弱分類器(深度為2的決策樹)級聯(lián)成的AdaBoost分類器進行訓練， 深度分類器采用同樣的訓練過程. 分類器中的每個弱分類器設置一個閾值， 分類時可以快速排除明顯不符合要求的窗口. 級聯(lián)的過程中不斷增加更多的強分類器， 在檢測前期就能大量排除背景區(qū)域， 節(jié)約時間用于對更有可能是行人的區(qū)域進行計算.

3 實驗結果與分析

3.1 數據集

本文RGB-D數據集采用文獻[12]的數據集， 數據集包含3 000多對由Kinect傳感器同步采集的RGB-D圖像， 深度范圍1～10 m. 數據集包含3種不同背景， 光線強弱不一致， 行人間有遮擋并在服飾、 行為動作上有很大差異. 該數據集沒有提供標注， 實驗前采用Dollar[15]提供的源碼對數據集處理， 手動標注行人.

彩色和深度訓練集都是采用1 133張彩色圖片包含2 035人體正樣本和10 000不包含人體的負樣本， 負樣本是在原圖上摳去正樣本后隨機采樣得到. 測試集包含691對圖像， 共1 447人體. 實驗環(huán)境： CPU為IntelCore i5-3470 ， 主頻3.2 GHz， 內存16 G， Win7 64位操作系統(tǒng).

3.2 預處理

(a)原始圖 (b)預處理后

Kinect獲取的深度數據保存了大量的空間信息， 但在人體邊界、 反光地面、 遠距離和吸收紅外光的物體表面等一些情況下會產生無效區(qū)域， 無法返回深度值， 因此實驗前需要對數據進行簡單的預處理. 深度圖中無效區(qū)域的值為0， 如圖5(a)中所示的黑色部分， 把0當做數據缺失， 對圖像缺失的部分進行模板的最近鄰插值. 圖5(b)所示為插值后的效果圖.

3.3 結果與分析

本文實驗采用(detection error tradeoff, DET)評價方法， 即豎軸漏檢率對橫軸誤檢率曲線， 曲線越靠近左下方越好. 如圖6所示是在雙對數坐標系上的實驗結果曲線， 圖例中方括號內對應的是各方法的對數平均漏檢率和平均檢測時間. (aggregate color multi-channel feature, ACCF)和(aggregate depth multi-channel feature, ADCF)分別是本文彩色多通道特征方法和深度多通道特征方法， ACDF0為不包含法向量方向通道的深度多通道特征方法， 所有方法都基于級聯(lián)AdaBoost分類器進行實驗比較.

圖6(a)是不同的深度特征間的比較實驗， 從實驗結果可以看出本文ADCF0和ADCF方法明顯優(yōu)于HOD方法， 因為前兩者在HOD的基礎上補充了深度的空間信息， 而相比ADCF0方法， ADCF方法不是單純地利用深度值， 而是構建三維曲面法向量， 平均漏檢率更低. ADCF0與ADCF方法都采用了快速特征金字塔， 檢測時所花費的時間相差不大， 平均檢測時間約為41 ms， 比HOD方法檢測速度要快.

圖6(b)中， 精度上： ACCF方法相比傳統(tǒng)的HOG方法增加了顏色通道， 所以ACCF的漏檢率低于HOG. 由于光線條件的影響以及物體遮擋的干擾， 基于彩色的分類方法表現的不是很好， 基于深度的分類方法的平均漏檢率要比彩色的低. 融合顏色和深度信息的分類器， 檢測效果明顯優(yōu)于單獨的分類器. 本文方法(ACCF+ADCF)相比文獻[12]的聯(lián)合算法(HOG+HOD)漏檢率降低了約4%. 速度上： 基于彩色的分類特征通道多于深度分類器方法, 特征計算時間更長. 彩色與深度分類過程采用并行技術計算， 本文聯(lián)合檢測方法的平均檢測時間約為102 ms， 比文獻[12]的方法快， 相比單獨分類器的時間消耗代價并不是很大， 但在精度上有較大的提高， 總體改善了性能.

(a)基于深度特征方法比較 (b)各種分類方法比較

如圖7所示是ACCF+ADCF方法檢測比較結果， 其中第一行是ACCF檢測結果， 第二行是ADCF檢測結果， 第三行是融合兩種信息ACCF+ADCF的檢測結果.

圖7 檢測結果示例

圖7中： 第一列中圖(a)ACCF因光線較暗， 漏檢行人， 圖(d)ADCF不受光照影響正確檢測出行人， 但是由于kinect采集的深度圖邊緣都是一些無效的深度值， 深度圖實際較遠(大于10 m)的地方缺失深度值， 出現漏檢， 圖(g)結合ACCF+ADCF方法正確檢測出行人； 第二列圖(b)、 (e)、 (h)表明聯(lián)合彩色與深度分類器在行人部分遮擋的情況下也能很好地檢測出行人； 第三列圖(c)、 (f)、 (i)當ACCF分類器出現誤檢， 依靠ADCF檢測， 聯(lián)合ACCF及ADCF檢測很好地抑制了錯誤.

4 結論

本文提出將深度法向量方向和梯度方向直方圖作為深度通道， 利用圖像特征金字塔快速計算RGB-D多尺度多通道特征， 并構造級聯(lián)分類器聯(lián)合顏色和深度信息快速檢測行人. 實驗結果表明， 在深度分類器上， 引入法向量方向通道， 比深度梯度方向直方圖在同一誤檢率下漏檢率更低. 在保證實時檢測前提下， 本文的多分類器方法(ACCF+ADCF)， 相對于單信息的分類器檢測， 漏檢率明顯降低了， 相對于經典HOG+HOD融合方法， 漏檢率降低了4%. 對于彩色和深度分類器的檢測性能， 還有可提升的空間. 未來進一步研究級聯(lián)分類器的融合方法， 以及如何更快速準確自適應地融合這兩種信息.

[1] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2005: 886-893.

[2] Zhu Qiang, Yeh M C, Cheng Kwang-Ting,etal. Fast human detection using a cascade of histograms of oriented gradients[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2006: 1 491-1 498.

[3] Porikli F. Integral histogram: a fast way to extract histograms in cartesian spaces[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2005： 829-836.

[4] Wojek C, Schiele B. A performance evaluation of single and multi-feature people detection[C]//Pattern Recognition: 30 th Dagm Symposium. Munich: Springer, 2008: 82-91.

[5] Dollár P, Tu Zhuowen, Perona P,etal. Integral channel features[C]//The British Machine Vision Conference. London: [s.n.],2009: 1-5.

[6] Benenson R, Mathias M, Timofte R,etal. Pedestrian detection at 100 frames per second[C]//IEEE Conference on Computer Vision and Pattern Recognition. Providence: IEEE, 2012: 2 903-2 910.

[7] Dollár P, Appel R, Belongie S,etal. Fast feature pyramids for object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(8): 1 532-1 545.

[8] Yang Bin, Yan Junjie, Lei Zhen,etal. Aggregate channel features for multi-view face detection[C]// IEEE International Joint Conference on Biometrics. [s.l.]: IEEE, 2014: 1-8.

[9] Ikemura S, Fujiyoshi H. Real-time human detection using relational depth similarity features[C]//The 10th Asian Conference on Computer Vision. Berlin: Springer, 2011: 25-38.

[10] Lu Xia, Chen Chia-Chih, Aggarwal J K. Human detection using depth information by kinect[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. [s.l.]: IEEE, 2011: 15-22.

[11] Tang Shuai, Wang Xiaoyu, Lyu Xutao,etal. Histogram of oriented normal vectors for object recognition with a depth sensor[C]//The 11th Asian Conference on Computer Vision. Berlin:Springer, 2013: 525-538.

[12] Spinello L, Arras K O. People detection in RGB-D data[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco: IEEE, 2011: 3 838-3 843.

[13] Wang Ningbo, Gong Xiaojin, Liu Jilin. A new depth descriptor for pedestrian detection in RGB-D images[C]// International Conference on Pattern Recognition.Tsukuba: IEEE, 2012: 3 688-3 691.

[14] Dollár P, Belongie S, Perona P. The fastest pedestrian detector in the west[C]// The British Machine Vision Conference. Aberystwyth: [s.n.], 2010: 2， 3， 7.

[15] Dollár P, Wojek C, Schiele B,etal. Pedestrian detection: an evaluation of the state of the art[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743-761.

(責任編輯： 林曉)

Pedestrian detection based on RGB-D multi-channel feature

LIN Jing, XIE Huosheng

(College of Mathematics and Computer Science, Fuzhou University, Fuzhou， Fujian 350116, China)

As pedestrian detection is vulnerable to the interference of occlusion andillumination changes, we prorosed a novel pedestrian detection approach based on RGB-D multi-channel feature. First of all, RGB image adopt the channel that ChnFtrs used, while depth image introduce normal vector as channel.They both take fastimage feature pyramids to compute muti-channel feature.Then the cascade AdaBoostis trained with RGB and depth muti-channel feature respectively.Finally, we combine the color and depth information with certain weight proportion for last detect.The experiment shows that the proposed approach improves the detection accuracy, and has good robustness on illumination changes and occlusion.

pedestrian detection; RGB-D; cascade AdaBoost; multi-channel feature

2014-10-08

謝伙生(1964-)， 副教授， 主要從事智能圖形圖像處理、 數據挖掘等研究， xiehs@sina.com

福建省自然科學基金資助項目(2014J01229)

10.7631/issn.1000-2243.2015.06.0746

1000-2243(2015)06-0746-07

TP391

A