基于卷積神經網絡的固定群體中目標人物分類

劉惠彬,陳 強,吳 飛,趙 毅

隨著視頻監控的普及,利用計算機技術實現人物分類的方法在社會安全、生產生活等方面發揮了重要的作用.近年來,很多基于圖像特征的人物分類方法被提出.例如通過直方圖、尺度不變特征變換(scale-invariant feature transform,SIFT)等方法提取圖像特征,然后計算圖像間的相似度來實現人物的分類[1-2],以及通過人臉識別技術實現對監控視頻中人物的分類[3-4].但是,上述方法都需要對分類圖像進行大量的前期處理,并且對圖像的質量有較高的要求.為了解決上述問題,本工作提出了一種基于卷積神經網絡的人物分類方法.

神經網絡[5]是一種模仿生物神經網絡進行分布式并行信息處理的數學模型,通常用于解決分類和回歸問題.反向傳播(back propagation,BP)神經網絡在1986年被提出,但由于當時沒有無監督的預訓練,其性能比淺層神經網絡差,而且受到當時軟硬件條件的限制,隱層的數量被限制在1～2層.2006年加拿大多倫多大學的Hinton教授[6-8]指出:多隱層的人工神經網絡具有優異的特征學習能力,學習得到的特征對數據有更本質的刻畫,有利于可視化或分類;深度神經網絡在訓練上的難度可以通過“逐層初始化”來有效地克服,且逐層初始化可通過無監督學習實現.實質上,深度學習就是一種基于無監督特征學習和特征層次結構的機器學習方法,該方法通過構建包含多個隱含層的模型和海量訓練數據,來學習更有用的特征,從而最終提升分類或預測的準確性.近年來,大數據技術的飛速發展使深度學習成為研究熱點.作為深度學習的重要分支,卷積神經網絡在圖像識別、圖像分類等方面應用廣泛,并且取得了重大成功[9].

本工作對固定人物群體中的個體目標進行視頻采集,然后利用直方圖的歸一化互相關方法從視頻中截取幀間差超過閾值的圖片,并將這些圖片作為進入卷積神經網絡的訓練圖片,再用未參加訓練的圖片與訓練模型匹配,得到其與每個人匹配的相似度,其中預訓練和目標匹配都在快速特征嵌入卷積神經網絡框架Caあe中實現.將人物個體作為分類目標在深度神經網絡中進行訓練,避免了傳統圖像處理技術的弊端,這里因為傳統技術在分類前需要對原始圖像的視覺特征進行采集,而且選取的特征對分類的準確率起關鍵性作用.沒有選擇人臉識別技術,則是因為人臉識別需要的訓練圖片是人臉數據[3],要求將采集到的視頻圖像進行分割,而且實驗用攝像頭的性能無法保證人類圖像的清晰度.

1 卷積神經網絡及其工具

1.1 神經網絡與深度學習

一個神經網絡由多個神經元連接組成.神經網絡的整體功能不僅取決于單個神經元的特征,更取決于神經元之間的相互作用和相互連接.神經元可以表示不同的對象,例如特征、字母、概念等.神經網絡的處理單元可以分為3類,其中輸入層單元連接外部的信號和數據,輸出層單元實現系統處理結果的輸出,隱含層單元則處于輸入層和輸出層之間,系統外部無法觀察.神經元之間的連接權重控制單元間的連接強度,而整個系統的信息處理過程就體現在神經網絡各處理單元的連接關系中.圖1為包含一個隱含層的神經網絡示意圖.

神經網絡是機器學習的一個龐大的分支,有幾百種不同的算法,深度學習就是其中的一類算法.深度學習的訓練過程分為兩個階段.

(1)自下而上的無監督學習.圖2為深度學習的逐層調參過程.由圖可以看出,在這一階段,從輸入層開始逐層構建單層神經元,每層采用認知和生成兩個階段對算法進行調優,每次僅調整一層,逐層調整.在認知階段,通過下層的輸入特征和向上的編碼器權重初始值產生初始抽象表示,再通過解碼器權重的初始值產生一個重建信息,然后計算輸入信息和重建信息殘差,并使用梯度下降修改層間的解碼器權重值.在生成階段,首先通過初始抽象表示和向下的解碼器權重修改值,生成下層的狀態,再利用編碼器權重初始值產生一個新的抽象表示;然后利用初始抽象表示和新建抽象表示的殘差,并利用梯度下降修改層間向上的編碼器權重;最后利用修改后的編碼器權重得到輸入層的抽象表示(即隱含層).由上可知,在深度學習神經網絡中每個隱含層可以看作下一個隱含層的輸入.

圖1 包含一個隱含層的神經網絡結構示意圖Fig.1 Structure diagram of neural network with one hidden layer

圖2 深度學習的逐層調參過程Fig.2 Process of tuning parameters layer by layer for deep learing

(2)自頂向下的監督學習.深度學習的第一階段實質上是一個網絡參數初始化過程.第二個階段是在第一階段學習獲得各層參數的基礎上,在最頂的編碼層添加一個分類器,然后通過帶標簽數據進行有監督的學習,并利用梯度下降法微調整個網絡參數,即自頂向下重新調整所有層間的編碼器權重.

與傳統神經網絡初值隨機初始化不同,深度學習模型通過無監督學習輸入數據的結構得到,因而這個初值更接近全局最優,因而能夠取得更好的效果.典型的深度學習結構有卷積神經網絡(convolutional neural network,CNN)、遞歸神經網絡(recursive neural network RNN)和長短時記憶單元(long short-term memory,LSTM),其中卷積神經網絡在圖像識別和目標檢測領域中的應用非常成功[10].

1.2 卷積神經網絡

卷積神經網絡[11]是為識別二維形狀而設計的一個多層神經網絡,主要有5個特征.

(1)局部感知.在圖像的空間聯系中,距離較近的像素聯系較為緊密,而距離較遠的像素相關性比較弱.因此,神經元沒有必要對全局圖像進行感知,而只需要感知相鄰的局部圖像,然后在更高層進行全連接得到全局信息.

(2)權值共享.在局部連接中,每個神經元與上一層的連接方式可以看作特征提取的方式,且該方式與位置無關.因此,在某部分學習的方式可以用在該圖像所有位置上,實現權值共享,即利用同一個卷積核在圖像上做卷積,如圖3所示.權值共享和局部感知均可以使CNN模型參數的數量大幅減少.

(3)多卷積核.只用一個卷積核進行特征提取是不充分的,可以通過增加卷積核的個數使網絡學習更多的特征,其中每個卷積核都會將圖像生成為另一幅圖像.

(4)池化.卷積之后得到的卷積特征向量較多,而在一個圖像區域有用的特征極有可能同樣適用于另一個區域.因此為了描述較大的圖像,可以對不同位置的特征進行聚合統計,既可以降低統計特征的維度,又不容易過擬合.池化分為平均池化和最大池化兩種方式.

(5)多個卷積層.一個卷積層學到的特征往往是局部的,層數越高學到的特征越全局化,因此,在實際應用中通常采用在網絡中添加多個卷積層,然后再使用全連接層進行訓練的方法.

圖3 卷積神經網絡中的卷積過程Fig.3 Convolution process of convolutional neural network

1.3 Caあe框架

快速特征嵌入卷積神經網絡框架(convolutional architecture for fast feature embedding,Caあe)[12]由畢業于加州大學伯克利分校的賈揚清博士開發,具有快速、可擴展、開放性等特征,是目前炙手可熱的一個深度學習工具.Caあe是純粹的C++/CUDA架構,支持命令行、Python和Matlab接口,可以在CPU和GPU之間無縫切換.本工作在進行目標匹配時直接通過Caあe的Python接口實現.在Caあe中,層的定義由層屬性與層參數兩部分組成.層屬性包括層名稱、層類型以及層連接結構(輸入和輸出).層參數的定義非常方便,可以隨意設置相應參數,例如調用GPU進行計算時,只需要將solver mode直接設置成GPU.安裝Caあe前,需要先安裝Cuda,VS以及Opencv,Boost,Protobuf等第三方庫.

在Caあe中實現目標匹配需要按以下步驟操作.

第1步 利用convert imageset命令調整圖片大小,并生成leveldb格式或lmdb格式訓練文件.

第2步 根據模型要求選擇是否需要利用computeimage mean命令生成圖像的均值文件.

第3步 根據訓練圖片個數和訓練周期的要求,在solver和train val中調整訓練參數.

第4步 利用Caあe的train命令進行訓練,產生訓練模型caあemodel文件.

第5步 利用Caあe的Python或者Matlab接口實現目標圖片的匹配,并給出目標圖片與每一類圖片的相似度.

2 固定群體中的個體目標匹配

本工作的研究對象限定于固定人物群體,首先將某個辦公室中的所有人物圖片進行訓練,產生訓練模型,然后將群體中某個人物的圖片在模型中進行匹配,并通過匹配結果得出該人物的身份,最后對多次匹配的結果進行統計,得出該人物的出現頻率.

2.1 固定群體中訓練模型的產生

(1)采集固定群體視頻.本工作涉及的實驗都是在固定單源攝像頭拍攝的情況下獲得的固定群體人物的視頻,在Python中調用OpenCV的VideoCapture函數獲取,并將實時視頻寫入文件.

(2)構建訓練圖片集.在視頻采集過程中,首先將第一幀圖像保存為關鍵圖片,然后以此為基準依次計算新的視頻幀與關鍵圖片的幀間差,當幀間差超過一定閾值后將當前幀保存為下一個關鍵圖片.循環計算得到所有滿足與當前關鍵圖片幀間差超過閾值的下一個關鍵圖片,直到視頻采集結束.

關鍵圖片的幀間差通過比較直方圖的相關性得到,其中直方圖利用OpenCV的calcHist函數得到.幀間差通過cv2.compareHist(hist1,hist2,cv2.cv.CVCOMP CORREL)實現,其中第三個參數CVCOMP CORREL控制用直方圖的歸一化互相關方法計算幀間差,且有

圖4 固定群體中目標人物的部分關鍵圖片Fig.4 Key Frames of individual object

(3)產生訓練模型.CNN中典型的圖像分類模型有AlexNet,GoogleNet等.實驗證明,在訓練數據有限的情況下,利用GoogleNet模型訓練得到的準確率并不優于AlexNet模型,并且當卷積神經網絡規模變大時,需要對網絡進行壓縮以解決參數量大和計算復雜度高等問題[13].因此,本工作采用AlexNet模型產生訓練模型.AlexNet模型有5個卷積層和3個全連接層,如圖5所示[14].

通過卷積(Conv)和池化(Pool)降低網絡參數,并利用激活函數(ReLu)縮小無監督學習和監督學習之間的差距,不僅提高訓練速度,也進一步通過局部響應標準化(local response normalization,LRN)和Dropout層提高了網絡的泛化能力.為了減少訓練時間,本工作利用較少的訓練圖片快速產生訓練模型,同時在調參時將訓練網絡的最大迭代次數由450 000降低到250 000,在保證訓練質量的情況下,縮短訓練時長,并根據圖片數量和機器配置設置base lr,testiter和batchsize等參數.

2.2 目標分類

(1)選取驗證圖片.驗證圖片一部分從參與訓練的監控視頻截取圖片中選取驗證圖片,另一部分從重新拍攝的監控視頻中獲得,且在進行驗證前將圖片尺寸調整為256×256像素.

(2)目標分類.利用Caあe提供的Python接口,調用classify.py將jpg格式的驗證圖片在前期預訓練產生的訓練模型中進行匹配,并給出該目標匹配固定群體中每個目標的相似度.

(3)行為統計.目標匹配后,根據需求可在較大的時間周期(以周或月為單位)內給出個體目標的行為統計報告,如每周出勤情況、非工作時間返回辦公室的次數及時間、單獨進入機要室的次數及時間、黑名單人物進入場景的報警等.

圖5 AlexNet模型結構Fig.5 Architecture of AlexNet model

3 實驗結果與分析

采用戴爾n5110筆記本電腦(內存8 GB,主頻2.10 GHz)進行視頻采集和圖片分類,在臺式機內存4 GB,NVIDIA GTX 960顯卡,顯存4 GB上進行訓練,訓練時間為30 h.圖片分類時間毫秒級別,而訓練時間則主要依賴于顯卡顯存的容量.固定群體中個人目標為4人,其中成人3人,幼兒1人,每個目標訓練圖片400張,測試圖片50張,驗證圖片10張.

另外,本工作還構建了其他兩種驗證圖片集:同一環境不同拍攝角度下的目標人物照片(圖片集2)和不同環境下不同季節的目標人物照片(圖片集3),并將這兩種驗證圖片集與第一種圖片集的準確率進行比較,結果如表1所示.

表1 目標人物驗證圖片集的準確率Table 1 Accuracy of diあerent verif i ed image sets for individual object %

實驗結果表明,利用卷積神經網絡框架Caあe能夠實現固定群體中的目標人物分類.當訓練圖片和分類圖片由同一拍攝源得到時,成人的分類準確率達到100%,而幼兒的準確率僅為50%.究其原因可能有兩種:①攝像頭固定的情況下,幼兒目標較小,占據圖片的比例較小,不能較好地參與訓練;②幼兒受控性較差,在拍攝硬件條件不高的情況下,幼兒圖片質量不高.為了提高幼兒圖片的分類準確率,根據拍攝環境特點,利用imcrop函數從圖片的左、上、右3個方向對圖片進行裁剪,增大幼兒占整幅圖片的比例.經過多次實驗發現,當幼兒占圖片的比例達到20%以上時,準確率可達到90%.綜上可以推斷,當目標人物占據圖片的比例增大時,準確率將提高.由表1可知,通過擴大訓練圖片的數量或在訓練圖片中添加更多環境下的目標人物照片,將大幅提高圖片集2和圖片集3的準確率.

本工作中的目標人物分類方法在圖像預處理、分類時間周期兩方面與傳統的方法不同,具體如表2表示.

表2 兩種目標人物分類方法的比較Table 2 Comparison of two kinds of classif i cation methods for individual object

4 結束語

深度學習在2006年之后得到了非常廣泛的應用,包括谷歌、百度、臉書等大型技術公司都成立了相應的研發部門,力求在深度學習領域提高自身的技術性能,并將其應用到實際工作中.特別是在2015年ImageNet計算機識別挑戰賽(ImageNet large scale visual recognition competition,ILSVRC)期間,微軟亞洲研究院視覺計算組[15]將對象識別分類錯誤率降低至3.570%,超越了人眼辨識的錯誤率5.100%,而在ILSVRC 2016期間,對象識別分類錯誤率又被刷新到2.991%.這預示著深度學習已從理論成熟走向實踐成熟,未來幾年將會大放異彩.

[1]明安龍,馬華東,傅慧源.多攝像機監控中基于貝葉斯因果網的人物角色識別[J].計算機學報,2010,33(12):2378-2386.

[2]寧波,宋硯.基于無監督方法的視頻中的人物識別[J].計算機與現代化,2014(12):49-53.

[3]ZHONG Y,SULLIVAN J,LI H B.Face attribute prediction with classif i cation CNN[EB/OL].(2016-02-04)[2017-09-01].https://arxiv.org/abs/1602.01827v2.

[4]尹萍,趙亞麗.視頻監控中人臉識別現狀與關鍵技術課題[J].警察技術,2016(3):77-80.

[5]聞新,李新,張興旺.應用MATLAB實現神經網絡[M].北京:國防工業出版社,2015.

[6]HINTON G E,SALAkHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[7]BENGIO Y,LAMBLIN P,POPOVICI D,et al.Training of deep networks[M].Massachusetts:MIT Press,2007:153-160.

[8]RANZATO M A,POULTNEY C,CHOPRA S,et al.Eきcient learning of sparse representations with an energy-based model[C]//Advances in Neural Information Processing Systems.2006.

[9]KRIZHEVSkY A,SUTSkEVER I,HINTON G E.ImageNet classif i cation with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems.2012.

[10]LI D,DONG Y.Deep learning:methods and applications[M].Boston:Now Publishers,2014.

[11]LECUN Y,BENGIO Y,HINTON G.Deep learning[J].Nature,2015,521(7553):436-444.

[12]Caあe[EB/OL].(2017-08-30)[2017-10-10].http://caあe.berkeleyvision.org.

[13]LIN S H,JI R R,GUO X W,et al.Towards convolutional neural networks compressing via global error reconstruction[C]//Preceedings of the 25thInternational Joint Conference on Artif i cial Intelligence.2016.

[14]KRIZHEVSkY A,SUTSkEVER I,HINTON G E.Imagenet classif i cation with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems.2012.

[15]HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition[EB/OL].(2015-12-10)[2017-09-21].https://arxiv.org/abs/1512.03385.