人體行為特征融合與行為識別的分析

摘 要：伴隨著信息技術的快速發展，人體行為識別技術逐漸被引入到各領域中，如安防監控、運動分析、醫學輔助診斷和智能人機交互等，而技術實現的關鍵在于借助相關的特征融合方法。文章對人體行為識別的相關技術以及興趣點提取方法、尺度混合特征模型與MKL方法的應用進行分析，以期對人體行為識別技術的發展起到推動作用。

關鍵詞：人體行為識別；特征融合；興趣點提取；多核學習

人體行為識別是近年來學術界研究的焦點，因此有大量相關的識別方法和表達方法不斷涌現出來，如行為表達方法中常見的局部時空特征，或于概率潛在語義分析模型中引入幾何信息等。值得注意的是，假若在高層語義環境下進行人體行為分析，僅通過底層信息的獲取很難保證辨別力，這就要求將融合特征作為分析方案，通過高層特征信息的提取達到識別目標。因此，本文對人體行為識別中特征融合方法的應用分析，具有十分重要的意義。

1 人體行為識別相關技術分析

1.1 人體行為特征提取

關于人體行為特征提取，其目的在于服務于行為識別模型構建，由于不同模型構建在特征提取方式上有一定差異，所以需做好行為特征提取分析。常見的行為特征提取模型主要可細化為：（1）全局特征模型。該模型在檢測對象上以整個運動人體為主，又包括不同階段，如人體結構模型、外觀模型與運動特征模型。其中在人體結構模型上，強調檢測與跟蹤人體關鍵部位，通過參數化描述各部位姿態；而外觀模型，要求在光流法或多幀差分法應用下對人體行為區域檢測，可獲得更多行為信息；運動特征模型，其可解決前兩種方法應用下的計算復雜度高、過多依賴圖像處理等問題，更注重借助運動時空興趣點分析。（2）局部特征模型。該模型下提取的人體行為識別，要求檢測與識別運動人體變化顯著的部位，包括腿、腳、膝蓋等，常見的方式為興趣點提取，獲取的行為識別效果較為理想。

1.2 人體行為特征融合

在人體行為特征融合方面，提取中既可從時域、空域上著手，同時也能在多傳感器應用下進行不同特征的獲取。具體表現為：（1）時域視角下的人體行為特征。其注重對人體相關的顏色、紋理、外形與輪廓特征提取，如輪廓方法、剪影方法等。（2）空域視角下的人體行為特征。該方法需對人體歷史信息、行為深度提取，可通過對運動興趣點周圍信息分析，實現人體細節特征信息獲取目標。（3）人體行為多特征融合。這種方式需結合多種特征，如多底層特征融合、多渠道提取特征融合等，可將單一特征分析人體行為中的不足進行彌補[1]。

1.3 人體行為特征識別

在人體行為信息提取中，需借助上述特征提取與特征融合方式，但在進行行為所屬類別判斷中則需通過人體行為識別與分類實現。常見的識別方式主要以模板匹配、詞袋模型統計分類和狀態空間分類等方法為主。如模板匹配方法，亦可被稱之為直接分類方法，可借助近鄰分類器完成行為模式分類；而對于詞袋模型，側重于通過概率潛在語義分析模型，完成統計分類；另外，在狀態空間分類方法上，需對各靜態姿勢定義為狀態，在切換狀態中形成概率關系，最終得到的聯合概率可作為分類的根據[2]。

2 人體行為識別中興趣點提取方法的運用

2.1 興趣點提取

興趣點識別方法應用下，主要利用興趣點局部特征，如肢體部位便可作為某一興趣點，而不同行為動作在興趣點上有一定差異，可利用這些差異完成人體行為識別過程。具體進行興趣點提取中，本文主要結合相應的時空興趣點檢測方法，具體表現在：（1）Harris 3D檢測器。由Laptev提出，應用原理表現為在Harris算子應用下，借助自相關函數，使圖像某一像素點自相關矩陣被給出，這樣所得出的特征值便可用于函數一階曲率推測，若函數中X，Y方向都有較高的曲率值，說明該特征值為興趣點。（2）Dollar檢測器。作為時空興趣點檢測方法，可彌補Harris 3D檢測方法應用下的可靠興趣點數量不足情況，操作流程體現為時間域上Gabor濾波器的構建、響應函數的構造、結合響應值進行時空興趣點的篩選。（3）Bregonzio檢測器。由于Dollar檢測器應用中有背景噪聲、人體遮擋等影響，所獲取的結果易出現偽興趣點，此時便引入Bregonzio檢測器，操作中能夠進行噪聲處理，得到可靠的興趣點[3]。

2.2 特征描述

在興趣點行為識別方法中，對于人體行為特征描述，可從3方面表現出來：（1）以外觀形狀特征進行描述。該方法在既往研究資料中多有體現，強調對人體的外觀表現進行描述，原理在于以人的身體軀干比例進行行為分析，如跑步行為、揮手行為，兩種行為所展示的長寬比例關系有明顯差異，利用該差異可達到特征描述目標；（2）運動特征描述。這種方式主要借助運動信息進行特征描述，如運動速率、運動軌跡等；（3）多特征融合描述。該描述方法在原理上表現為利用不同特征相互補充，如將人體外觀姿態、人體運動方向、人體運動軌跡等融合，這樣可對特征間的不足進行彌補。

2.3 行為識別

在興趣點行為識別中，采用的人體行為識別分類方法，通常體現為直接分類與詞袋模型兩種方法。以直接分類識別方法為例，一般借助K-最近鄰分類器（K-Nearest Neighbor，KNN）實現，或引入其他相關向量機（Relevance Vector Machine，RVM）、支持向量機（Support Vector Machine，SVM）。而詞袋模型，最初應用中體現在文本分類上，將人體行為視頻作為文本，這樣整個文本所展示的行為便可被識別，識別效果明顯。

3 人體行為識別中尺度混合特征模型的運用

盡管興趣點識別方法應用下可獲取顯著的識別效果，但需注意這些方法應用中所采用的詞袋模型等，強調對局部時空描述符的辨別力依賴，其余如興趣點分布情況被忽略，這樣一旦其中有潛在價值的興趣點被遺忘，便會影響平滑運動信息的捕捉。對此，可考慮引入尺度混合特征融合應用下進行人體行為識別。

3.1 尺度混合特征融合

該方法應用中，所考慮的因素以運動周期、運動延時為主，特征描述中除對單幀興趣點觀察外，也結合多幀興趣點，這樣可使動作延時、運動周期辨識度更加清晰，其中的幀便可稱之為尺度。對于尺度混合特征融合，其實現的流程表現為：輸入數據；全局外觀比例、多尺度興趣點以及相鄰幀速度獲取；特征融合；直接分類；分類結果輸出。

3.2 尺度混合特征提取

尺度混合特征融合提取中，需配以相應的提取算法，以SV-PDI尺度混合特征提取算法為例，具體步驟為：（1）將Bregonzio時空興趣點檢測器引入，計算每幀圖像；（2）以人體行為區域、興趣點位置作為依據，進行人體最小外接矩形、興趣點最小外接矩形的計算；（3）在尺度大小選定后，對各尺度下興趣點外接矩形相關特征，如密度、速度與形狀進行計算；（4）做V-PDI值、多尺度下特征值計算，得出尺度特征結果，最后將所有結果合并并更新，完成提取過程。

4 人體行為識別中MKL方法的運用

除興趣點、尺度混合特征方法為，人體行為識別中也可引入多核學習（Multiple Kernel Learning ，MKL）方法，其應用下旨在支持向量機分類中函數最優組合選擇問題得以解決。從該方法應用原理看，主要表現為在不同核函數應用下確定權重，在此基礎上做組合分類，考慮到核函數線性組合下，操作中有信息丟失可能，所以應以多核線性組合方式為主。對于MKL算法，在流程上表現為輸入數據、特征空間與核空間數據獲取、合成核空間中的加權求和核、SVM分類器分類以及分類結果輸出。

5 結語

人體行為識別技術在當前許多生活領域中應用都極為廣泛，但其實現卻需依托于特征融合。本文在明確人體行為識別相關技術的基礎上，提出基于興趣點、尺度混合特征以及MKL等方法，可被應用于人體行為識別中，對人體行為識別技術的發展起到推動作用。

作者簡介：趙雄偉（1991— ），男，河北石家莊，碩士；研究方向：模式識別與人工智能方向。

[參考文獻]

[1]方達.人體行為特征融合與行為識別研究[D].南京：南京師范大學，2016.

[2]吳冬梅，謝金壯，王靜.基于多特征融合的人體行為識別[J].計算機應用與軟件，2015（11）：171-175.

[3]邵延華，郭永彩，高潮.基于特征融合的人體行為識別[J].光電子·激光，2014（9）：1818-1823.

Abstract： With the rapid development of information technology， human behavior recognition technology has been gradually introduced into various fields， such as security monitoring， motion analysis， medical assistant diagnosis and intelligent human-computer interaction， and the key to technology realization is to use the corresponding feature fusion method. This paper analyzed the related technology of human behavior recognition and the method of interest point extraction， scale mixed feature model and application of MKL， with a view to promot the development of human behavior recognition technology.

Key words： human behavior recognition； feature fusion； interest point extraction； multiple kernel learning