多聚點子空間下的時空信息融合及其在行為識別中的應用

楊天金 侯振杰, 2 李興 梁久禎 宦娟 鄭紀翔

人體行為識別是計算機視覺領域和模式識別領 域的一個重要的分支,應用范圍十分廣泛,在智能監控、虛擬現實等應用中表現十分優秀[1-5].傳統的人體行為識別使用的是彩色攝像機[6]生成的RGB圖像序列,而RGB 圖像受光照、背景、攝像器材的影響很大,識別穩定性較差.

隨著技術的發展,特別是微軟Kinect 體感設備的推出,基于圖像序列的人體行為識別研究得到了進一步的發展.相比于彩色圖像序列,深度圖序列更有優勢.不僅可以忽略光照和背景帶來的影響,還可以提供深度信息,深度信息表示為在可視范圍內目標與深度攝像機的距離.深度圖序列相較于彩色圖序列,提供了豐富的人體3D 信息,胡建芳等[7]詳細描述了RGB-D 行為識別研究進展和展望.至今已經探索了多種基于深度圖序列的表示方法,以Bobick等[8]的運動能量圖(Motion energy images,MEI)、運動歷史圖(Motion history images,MHI)作為時空模板的人體行為識別的特征提取方法,提高了識別的穩健性;蘇本躍等[9]采用函數型數據分析的行為識別方法;Anderson等[10]基于3 維Zernike的圖像數據嘗試行為分類,并且該分類對于具有低階矩的行為是有效的;Wu等[11]基于3 維特征和隱馬爾科夫模型對人體行為動作進行分類并加以識別;Wang等[12]從深度視頻中提取隨機占用模式(Random occupancy pattern,ROP)特征,并用稀疏編碼技術進行重新編碼;Zhang等[13]使用梯度信息和稀疏表達將深度和骨骼相結合,用于提高識別率;Zhang等[14]從深度序列中提取的動作運動歷史圖像(Sub-action motion history image,SMHI)和靜態歷史圖像(Static history image,SHI);Liu等[15]利用深度序列和相應的骨架聯合信息,采用深度學習的方法進行動作識別;Xu等[16]提出了深度圖和骨骼融合的人體行為識別;Wang等[17-19]采用卷積神經網絡進行人體行為識別；Yang等[20]提出了深度運動圖(Depth motion maps,DMM),將深度幀投影到笛卡爾直角坐標平面上,生成主視圖、俯視圖、側視圖,得到三個2 維地圖,在此基礎上差分堆疊整個深度序列動作能量圖生成DMM.DMM雖然展現出人體行為豐富的空間信息,但是無法記錄人體行為的時序信息.針對現有深度序列特征圖時序信息缺失的問題,本文提出了一種新的深度序列表征方式,即深度時空圖(Depth space time maps,DSTM).

DMM 側重于表征人體行為的空間信息,而DSTM 側重于表征人體行為的時序信息.通過融合空間信息與時序信息進行人體行為識別,可以提高人體行為識別的魯棒性,其中融合算法的可靠性直接影響了識別的精確度.在一些實際應用中,多模態數據雖然通過不同方式收集,但表達的是相同語義.通過分析多模態的數據,提取與融合有效特征,解決快速增長的數據量問題.常見的融合方法有子空間學習,例如Li等[21]將典型性相關分析(Canonical correlation analysis,CCA)應用于基于非對應區域匹配的人臉識別,使用CCA 來學習一個公共空間,測量兩個非對應面部區域是否屬于同一面部的可能性;Haghighat等[22]改進CCA 提出的判別相關分析(Discriminant correlation analysis,DCA);Rosipal等[23]將偏最小二乘法(Partial least squares,PLS)用于執行多模態人臉識別;Liu等[24]的字典學習(Dictionary learning method)廣泛應用于多視圖的人臉識別;Zhuang等[25]使用基于圖的學習方法(Graph-based learning method)進行多模態的融合;Sharma等[26]將線性判別分析(Linear discriminant analysis,LDA)和邊際Fisher 分析(Marginal Fisher analysis,MFA)擴展到它們的多視圖對應物,即廣義多視圖LDA (Generalized multi-view LDA,GMLDA)和廣義多視圖MFA(Generalized multi-view MFA,GMMFA),并將它們應用于跨媒體檢索問題;Wang等[27]對子空間學習進行改進,同樣將它們應用于跨媒體的檢索問題.本文提出多聚點子空間學習算法以用于融合空間信息與時序信息進行人體行為識別.

1 相關工作

1.1 深度序列特征圖

1.1.1 運動能量圖和運動歷史圖

Bobick等[8]通過對彩色序列中相鄰幀進行圖片差分,獲得人體行為的區域,在此基礎上進行二值化后生成二值的圖像序列D(x,y,t),進一步獲得二值特征圖MEI,計算式為

其中,Eτ(x,y,t)為視頻序列中t幀處的能量,由τ幀序列生成的MEI.

同時,Bobick等[8]在MEI的基礎上,為了表示出行為的時序性,提出了MHI.在MHI 中像素亮度是該點處運動的時間歷史函數.MHI 通過簡單的替換和衰減運算獲得,計算式為

其中,Hσ(x,y,t)的初始像素亮度為σ,D(x,y,t)為整個圖像序列.

1.1.2 深度運動圖

Yang等[20]提出將深度序列中的深度幀投影到笛卡爾直角坐標平面,獲取3D 結構和形狀信息.在整個過程中提出了深度運動圖(DMM)描述行為,每個深度幀在投影后獲得主視圖、側視圖和俯視圖三個2 維投影圖,表示為mapv.假設一個有N幀的深度圖序列,DMMv特征計算式為

其中,i表示幀索引,表示第i幀深度幀在v方向上的投影,f表示主視圖,s表示側視圖,t表示俯視圖.

1.2 典型性相關分析

子空間學習的本質是龐大的數據集樣本背后最質樸的特征選擇與降維.子空間學習的基礎是Harold Hotelling 提出的典型性相關分析(CCA)[15],CCA的主要思想是在兩組隨機變量中選取若干個有代表性的綜合指標(變量的線性組合),這些指標的相關關系來表示原來的兩組變量的相關關系.假設有兩組數據樣本X和Y,其中X為x1×m的樣本矩陣,Y為x2×m的樣本矩陣,對X,Y做標準化后CCA的計算式為

其中,a,b分別為X,Y的投影矩陣,X′=aTX,Y ′=aTY,cov為協方差,cov(X′,Y ′)協方差和方差的計算式為

CCA的優化目標計算式為

以CCA 為基礎的子空間學習將大規模的數據樣本進行優化,但它的計算復雜度很高,無法消除階級間的相關性并無法限制類內的相關性.

2 深度時空圖

針對DMM 時序信息的缺失的問題,本文提出一種深度圖序列表示算法DSTM.DSTM 反映的是人體3D 時空行為在空間直角坐標軸上的分布隨著時間變化的情況,人體所在空間直角坐標系三個軸分別為寬度軸(w)代表寬度方向、高度軸(h)代表高度方向、深度軸(d)代表深度方向,圖1 為DSTM的流程圖.

如圖1 所示,首先將深度幀投影在三個笛卡爾正交面上,獲得主視圖、側視圖和俯視圖三個2 維投影圖,表示為mapv,v∈{f,s,t}.然后根據每個2 維投影圖得到兩個軸的行為分布情況.任選兩個2 維投影圖即可得到寬度軸、高度軸、深度軸的行為分布情況.

圖1 DSTM 流程圖Fig.1 DSTM flowchart

對a軸上的投影列表為

其中,a∈{w,h,d},W,H分別表示2 維投影圖的寬度和高度.suma表示2 維投影圖序列在a軸上投影列表.對2 維投影圖序列在a軸上的投影列表進行二值化,即

其中,lista表示對2 維投影圖序列在a軸上的投影列表進行二值化,a∈{w,h,d},ε表示二值化的閾值.假設有N幀投影,DSTM的計算式為

最后對DSTM進行感興趣區域(Region of interest,ROI)處理,根據感興趣區域的主旨,對圖片進行裁剪、大小歸一化處理.

3 多聚點子空間學習

子空間學習存在著計算復雜度高,無法消除階級間相關性的缺陷,本文提出了多聚點子空間學習的方法,在約束平衡模態間樣本關系的同時,通過構建同類別各樣本的多個投影聚點,疏遠不同類別樣本的類間距離,降低了投影目標區域維度.多聚點子空間學習算法的思想可表示為

其中,Xp表示未經投影各模態樣本,即原空間樣本;Up,p=1,···,M表示各模態樣本的投影矩陣;表示經投影后各模態樣本,即子空間樣本;L表示類別總數;Y為子空間內目標投影矩陣,由各類別樣本目標投影聚點yi組成;Gc為多個各模態同一類別樣本新建目標投影點矩陣;λ1,λ2,λ3為各項超參.

3.1 聚點與子空間學習

本文將傳統子空間學習稱為單聚點子空間學習.多聚點子空間學習與單聚點子空間學習的主要區別是聚點個數的不同,具體定義如下:

1)單聚點子空間學習.通過學習每種模態數據的投影矩陣,將不同類別數據投影到公共子空間.投影矩陣的學習通常是最小化投影后樣本與各類數據唯一主聚點的距離得到,計算式為

其中,Y為子空間內目標投影矩陣,由各類別樣本目標投影聚點yi組成,可表示為Y=[y1,y2,···,yN]T,

圖2 為單聚點子空間學習.通過最小化子空間樣本與各類別投影聚點之間距離來減少樣本的類內距離.

圖2 單聚點子空間學習Fig.2 Subspace learning

2)多聚點子空間學習.多聚點子空間學習是對單聚點子空間學習的優化,都是通過學習每種模態數據的投影矩陣,將不同類別數據投影到公共子空間.不同的是,投影矩陣的學習由同時最小化投影后樣本與各類數據唯一主聚點以及與多個副聚點的總距離得到,計算式為

其中,Gc為各類別樣本的第c個副投影聚點集合矩陣.副投影聚點為其他類別投影聚點關于當前類別目標投影聚點的對稱聚點.Gc的構建算法步驟如下.

算法 1.Gc的構建算法

圖3 為多聚點子空間學習.通過為各類別樣本構建多個投影聚點并使用模態內、模態間數據相似度關系,使得子空間樣本向多個投影目標點附近的超平面聚攏,有效增大了子空間樣本之間的距離,降低了投影目標區域的維度,使投影目標區域從n維的超球體變為n-1 維的超平面,同類別的子空間樣本更為緊湊,從而有效地提高了算法的特征優化效果.因此結合使用數據模態內、模態間相似度關系的多聚點子空間學習可表示為

圖3 多聚點子空間學習Fig.3 Multi-center subspace learning

3.2 超參計算

本文以式(14)第1 項為基準確定式中各項超參,設定子空間樣本與目標投影聚點之間約束程度等同于同類別子空間樣本之間約束程度.第1 項中子空間樣本與目標投影點之間約束共有F1個,F1計算式為

其中,M為模態數,N為樣本數.

式(14)第3 項中子空間樣本之間約束共有F2個,其中同一模態子空間樣本相似度的約束共有Fa個,不同模態同一類別的子空間樣本之間的相似度的約束共有Fb個,F2,Fa,Fb計算式為

式(14)第4 項中子空間樣本與目標投影聚點之間約束共有F3個,F3計算式為

在子空間樣本與目標投影聚點之間約束程度等同于同類別子空間樣本之間約束.根據F1,F2,F3比例關系,可以確定式(14)的第3 項和第4 項超參的計算式為

最后本文通過實驗,以最終識別率為依據,確定λ1.

3.3 公式優化與投影矩陣求取

對于式(16)中的幾項可進行優化,式(16)中的第2 項是對各模態的數據樣本投影矩陣的約束項,防止算法過擬合.第2 項中含有l2,1范數,它是非平滑且不能得到的一個閉式解[28].對于投影矩陣,其l2,1范數定義為

式(14)中第3 項是不同模態同一類別的子空間樣本之間的約束.第3 項可以通過如下方式進行推導

本節通過下述算法步驟求解線性系統問題來計算式(26)的最優解.

算法 2.計算子空間學習的最優解

通過算法2 進行求解,先計算出拉普拉斯矩陣,然后求解出并代入式(27)進行重復求解,直至收斂.

4 實驗結果與分析

4.1 數據庫

文獻[30]對數據集進行了詳細的研究，本文采用的是由Kinect 攝像頭采集的MSR-Action3D[31]數據庫和UTD-MHAD[32]數據庫.

MSR-Action3D (MSR)數據庫由10 個人20個動作重復 2～3 次,共計557 個深度圖序列,涉及人的全身動作.詳情如表1 所示.

表1 MSR 數據庫中的人體行為Table 1 Human actions in MSR

UTD-MHAD (UTD)數據庫由8 個人(4男4 女)27 個動作重復4 次,共計861 個深度圖序列.詳情如表2 所示.

表2 UTD 數據庫中的人體行為Table 2 Human actions in UTD

為了驗證時序信息在人體行為中的重要性,本文將與原深度圖序列順序相反的行為稱為反序行為.本文中的反序行為是通過將正序行為的深度圖序列進行反序排列操作得到新數據庫D1,D2,其中D1 為MSR 數據庫及MSR 反序數據庫,D2 為UTD 數據庫及UTD 反序數據庫.D1 正反高拋動作如圖4 所示.

圖4 正反高拋動作Fig.4 Positive and negative high throwing action

4.2 實驗設置

本文采用10×10 像素的圖像單元分割圖像,每2×2 個圖像單元構成一個圖像塊,以10 像素為步長滑動圖像塊來提取圖像的方向梯度直方圖(Histogram of oriented gradient,HOG)[26]特征.采用采樣半徑為2,采樣點數為8的參數設置來提取圖像局部二值模式 (Local binary patterns,LBP)[33]特征.尺寸歸一化后DMMf大小為320×240,DMMs大小為500×240,DMMt大小為320×500,所以DMM-HOG的特征數量為120 924.DMMLBP的特征數量為276 800.同樣尺寸歸一化后DSTMw大小為320×60,DSTMh大小為240×60,DSTMd大小為500×60,所以DMM-HOG的特征數量為18 540.DMM-LBP的特征數量為63 600.

實驗中分為兩個設置.設置1 在MSR 數據庫上將20 個行為分為3 組(AS1、AS2、AS3)[33],行為分布情況如表1,其中AS1 和AS2 組內相似度較高,AS3 組內相似度較低.如表3 所示.

表3 MSR-Action3D 數據分組Table 3 MSR-Action3D data grouping

設置2 在MSR 數據庫和UTD 數據庫上選取全部的動作.

在設置1 和設置2 中可采用4 種測試方法.測試1:1/3 作為訓練數據,2/3 作為測試數據;測試2[12]:1/2 作為訓練數據,1/2 作為測試數據;測試3:2/3 作為訓練數據,1/3 作為測試數據;測試4:采用5 折交叉驗證

4.3 參數設置

在本文提出的人體識別的模型中,首先要確定參數λ1,λ2,λ3的值.在進行子空間學習的時候,參數對于結果有著巨大的影響,需要優先估計最優的參數.通過選擇不同的參數,并以識別率作為評判標準.識別率=預測正確測試樣本數/總測試樣本數.通過采用設置1 測試1的方法和HOG 特征進行實驗.根據式(20)和式(21)分別可以得到λ2=1/13 847,λ3=1/19.根據圖5 可知,當λ1=20時,本文算法具有較高的人體識別性能.

圖5 參數選擇Fig.5 The parameter of selection

4.4 實驗結果分析

4.4.1 分類器選擇

對同一種特征圖而言,采用不同的分類器識別效果會有較大的差異.為了選擇對特征圖識別效果較好的分類器,本實驗通過比較DSTM 在不同的分類器的識別效果,最終以識別率作為標準,采用設置1 測試3的方法,如圖6 所示.

從圖6 中可以發現HOG 特征采用了不同的分類器,得到的識別率差異較大,不同特征圖采用同一分類器,與同一特征圖采用不同分類器,支持向量機(Support vector machine,SVM)的識別效果較好,下面實驗均采用SVM 作為分類器.

圖6 DSTM 在不同分類器識別效果Fig.6 DSTM recognition of different classifiers

4.4.2 特征選擇

為了篩出空間信息和時序信息的特征圖,采用設置1,在MSR 數據庫上使用測試1、測試2、測試4的方法進行實驗,并且對3 組實驗結果設置了平均值;采用設置2,在UTD 數據庫上使用測試1、測試2、測試3的方法進行實驗.通過個體識別率和平均識別率來篩出空間信息和時序信息的特征圖.

表4 和表5 使用HOG 和LBP 兩個特征圖序列.由表4 中的單個識別率或平均識別率以及表5中所有動作的識別率可以得出結論:在同一特征圖中,HOG 特征較LBP 特征有著更高的識別率.LBP 特征反映的是像素周圍區域的紋理信息;HOG 特征能捕獲輪廓、弱化光照,對于深度圖有著更佳的表現,有著更好的識別效果.就本文實驗而言.HOG特征更適合于本實驗.

在表4 和表5 中選擇同為HOG 特征的特征圖,從表中的識別率可以得出,DMM 和DSTM 與MEI 和MHI 相比有更高的識別率.主要原因是MEI 將深度幀二值化后進行疊加,掩蓋了時序圖中每張圖的輪廓信息,丟失了時序圖自身的深度信息,但反映出一定的輪廓信息,保留了一定的空間信息;MHI 雖然通過圖像的亮度衰減,增加了一部分時序信息,但由于人為干預圖像的亮度,導致了圖像自身的深度信息的丟失.

表4 MSR 數據庫上不同特征的識別率(%)Table 4 Different of feature action recognition on MSR (%)

表5 UTD 數據庫上不同特征的識別率(%)Table 5 Different of feature action recognition on UTD (%)

使用DSTM 和DMM的優勢主要有以下幾點:1)DMM 是將深度幀投影到笛卡爾直角坐標平面上,生成主視圖、俯視圖、側視圖三個2 維地圖,在此基礎上差分堆疊整個深度序列動作能量圖.相較于MEI,DMM 充分地使用了時序圖的深度信息,豐富了特征中的空間信息,很大程度上保留了輪廓信息,并且從三個方向上可以很明顯地看出行為動作,充分展現了空間信息.2)DSTM 是將深度幀投影到笛卡爾直角坐標平面上,生成主視圖、俯視圖、側視圖三個2 維地圖,提取任意兩個2 維地圖投影到3 個正交軸上獲取三軸坐標投影,將獲得的坐標投影二值化后按時間順序進行拼接.DSTM 將深度幀的時序信息很好地保留了下來,相較于MHI 有了很大程度上的改善.DSTM 較好地保存了時序信息.

時序信息在行為識別中有著重要的作用.對比DMM,DSTM 蘊含著重要的時序信息.本文在D1和D2 數據庫上采用設置2,使用測試1的方法

通過對比表6的識別率和表7的時間復雜度,在D1 與D2 數據庫的實驗證明,DMM 由于未含有時序信息，與DSTM 識別率差異較大.另外DMM相較于DSTM 時間復雜度較高,DSTM的時序信息在行為識別中起著重要的作用.

表6 DMM 和DSTM 對比實驗結果(%)Table 6 Experimental results of DMM and DSTM (%)

表7 DMM 和DSTM 平均處理時間(s)Table 7 Average processing time of DMM and DSTM (s)

4.4.3 特征選擇實驗結果

本文選取的深度運動圖代表的空間信息與深度時空圖代表的特征圖使用多聚點子空間學習的算法(簡稱本文方法).為了表征本文方法對于單一特征有著更高的識別率以及本文方法對于融合方法同樣有著更高的識別率,將本文方法與當前主流單一算法和融合算法進行比較.在MSD-Action3D 上采用設置2 測試2、設置2 測試4的方法;在UTD-MHAD上采用設置2 測試4的方法.

表8 均采用文獻[12]方法中的實驗設置，其中文獻[34-40]方法使用了深度學習的模型框架.識別率最高為91.45.本文的識別率達到了90.32%，接近文獻[34]中的最優結果,主要原因是:本文提出的DSTM 算法可以將深度幀的時序信息很好地保留下來，獲得的特征信息更加豐富和完善.多聚點子空間的方法構建了多個投影聚點并使用了模態內、模態間數據相似度關系,使得子空間樣本向多個投影目標點附近的超平面聚攏,有效增大了子空間樣本之間的距離,所以在行為識別中表現出了較為優越的性能.表9 和表10 在多聚點子空間學習加單個特征圖的識別率有一定的提升，但相較于融合DSTM 特征和DMM 特征圖略有不足.本文在采用不同的融合方法時,識別率也有一定提升.本文方法的識別率在MSR 數據庫達到98.21%和UTD數據庫達到98.84%.為了更深層次的了解本文方法的識別效果,本文給出了本文方法的每個動作識別效果的混淆矩陣.

表8 M SR-Action3D1 上的實驗結果Table 8 Experimental results onMSR-Action3D1

表9 M SR-Action3D2 上的實驗結果Table 9 Experimental results onMSR-Action3D2

表10 UTD-MHAD 在設置2 測試4 上的實驗結果Table 10 Experimental results on UTD-MHAD

本文通過融合DMM的空間信息和DSTM的時序信息的兩種特征圖后,得到空間時序特征.多聚點子空間學習是通過為各類別樣本構建了多個投影聚點.圖7(a)和圖7(b)為MSR的混淆矩陣.其中,MSR-Action3D1采用設置2 測試2;MSR-Action3D2采用設置2 測試4.從中可以看出整體識別率,圖中顯示本文方法將畫叉識別成畫圈,將發網球識別成了畫勾.兩類動作差異性小,因此較容易出錯.圖7 (c)為UTD的混淆矩陣,圖中顯示本文方法將慢跑變成走路.出現錯誤原因是動作行為軌跡相似性較大.

圖7 混淆矩陣Fig.7 Confusion matrix

5 結束語

針對現有的深度圖序列特征圖冗余過多、時序和空間信息缺失等問題,本文提出一種新的深度序列表示方式DSTM 和多聚點子空間學習,并在此基礎上進行了人體行為識別研究.深度幀投影二值化后按時間順序進行拼接生成DSTM,對每張DSTM 提取HOG 特征以獲得時序信息.對DMM提取HOG 特征以獲得空間信息.多聚點子空間學習,在約束平衡模態間樣本關系的同時,構建同類別各樣本的多個副投影聚點,疏遠不同類別樣本的類間距離,降低了投影目標區域維度,最后送入分類器進行人體行為識別.本實驗表明本文提出的DSTM 和多聚點子空間學習的方法能夠減少深度序列的冗余,保留豐富的空間信息和良好的時序信息,有效地提高行為識別的準確性.