基于傅里葉-隱馬爾科夫模型的人體行為識別方法研究

胡煒

（延安大學體育學院，陜西延安716000）

人類歷史文明悠久，不斷發展，創造了文明，在推動社會進步的過程中，由于自身能力有限和對生產效率的追求，創造了許多機器輔助工作，促進人類社會的發展。在計算機研究領域，當前主動識別和判斷外界信息功能成為熱點，通過計算機自動甚至主動識別，滿足人類的信息服務需求，實現計算機視覺領域的轉變。從“觀察人”到“理解人”的轉變是一個活躍的研究主題，通過計算機視覺技術，從圖像序列中，對人進行檢測、跟蹤和識別，理解和描述人的行為，擺脫傳統人機交互的方式，進一步發展相關技術，使計算機能夠進行自動分析，獲取人體信息，實現計算機系統的人性化和智能化，促進計算機系統的發展。以視覺為基礎的人體行為分析，逐漸受到人們的關注。人體運動視覺分析的最終目的，是使計算機像人一樣，能夠觀察和理解世界。但計算機很難準確提取軌跡特征，本文以傅里葉-隱馬爾科夫模型為基礎，探究人體行為識別方法。

1 運動目標檢測

在序列圖像中，從背景圖像提取變化區域，采用背景減除法分割運動目標，就是運動目標檢測的主要目的。背景圖像和當前幀圖像相減，差值高于某一閥值，運功目標中就會出現像素。在研究中，背景建模利用高斯建模的方式。受各種因素的影響，運功區域內部有小縫隙，二值圖像有小部分噪聲，需要特殊處理消除噪聲區域，提高圖像效果，使圖像符合實際人體輪廓，提高信息的真實性。

采用形態學可以消除噪聲。開運算、閉運算、膨脹、腐蝕等都是形態學的基本運算。

2 人體行為圖像識別

2.1 提取圖像特征

獲取人體行為二值圖像輪廓是人體行為序列圖像識別的基礎。首先要了解傅里葉理論，為方便計算，采用輪廓圖像中心距，了解變換后特征，轉化特征向量序列，方便圖像的提取。識別人體的行為，主要采用隱馬爾可夫模型（HMM）分類器。以傅里葉-隱馬爾科模型為基礎，探究人體行為識別方法。首先提取圖像特征，然后進行矢量量化，接著進行分類識別。傳統的傅里葉描述子要進行一維序列轉化，將XY平面的輪廓曲線，轉化成UV復平面，成為一維序列。有序點集為（xi，yi），一維序列為zi=xi+jyi，i=1，2，…，N。輪廓像素數為N。對zi取離散傅里葉變換得到：。

傳統的傅里葉變化法在計算中，有不同的采樣點數目，并且采集間隔小，復數運算多，運算量很大。因此，以中心距為基礎，進行傅里葉變換運動，對人體的行為特征進行描述，可以避免復數運算。采樣方法采用等間隔的長度，保證相互比較的圖像中，輪廓點數相同，采樣圖像的輪廓。將人體的邊界輪廓線分成N等份，N通常為2的平方，本次研究中N為128。假設人體輪廓坐標（xi，yi），i=1，2，……，N，為輪廓像素點數，輪廓重心坐標（xe，ye），其中xe=同時。

從人體輪廓上的任意一點到中心的距離是ri，ri=，所有的距離構成的特征矢量是R=（r1，r2，…，rN）。R的傅里葉變換公式為：

2.2 矢量量化

提取圖像輪廓后，進行矢量量化，開始數據計算，然后根據隱馬爾可夫模型進行分類。在矢量量化中，符號序列為特征向量序列轉化。采用K均值聚類算法，聚類行為特征向量的序列，并編號，將人體行為序列，轉化成符號序列，進行計算機的有效識別。

2.3 隱馬爾科目模型

在人體行為識別中，采用無跨越左右型的隱馬爾科夫模型。改進傳統的隱馬爾可夫模型，減少計算的復雜度，提高人體行為的識別率。模型的拓撲結構如圖1所示。

圖1 HMM模型拓撲結構圖

確定HMM模型的初始參數十分重要，初始參數直接影響識別結果。描述本模型采用參數λ=（π，A，B），A是狀態的轉移矩陣，B是狀態輸出概況矩陣，π是初始狀態的概率分布矩陣。根據無跨越左右型HMM的結構特性，設置的初始狀態概率矩陣為：

矩陣A中，每一行的總和是1，在數值計算中假設a11=a12，a22=a23，…。

離散模型中每個狀態都有M個輸出概率，M是每類行為的碼本大小。N行，M列的狀態輸出矩陣為B，B初始參數為。碼本大小為M，bj(k)為在B矩陣中，第j行的k列的元素。訓練模型參數采用使用已知的人體行為觀察值序列，確定初始模型。采用Baum-Welch算法的方式，進行參數訓練，訓練每一個HMM模型。由于數據庫比較小，采用固定訓練次數。識別人體行為，輸入觀察符號序列O，O=v1v2……vT，其中T表示時間長度。在隱馬爾可夫模型中，輸入待識別的觀察符號輸，計算輸出概率，采用前向算法進行計算。最終識別樣本的所屬類別，是最大概率對應的HMM的行為。

3 試驗結果

人體行為識別模型，采用背景減除法計算二值圖像序列，獲得人體輪廓，如下圖，圖2是當前幀的圖像，圖3是前景目標，圖4是根據順序獲得的輪廓數據重構人體的輪廓圖。傅里葉變換后，振幅和能量是正相關，振幅越大，能量越高。經過傅里葉變換，通過中心距構成特征的矢量R，結果顯示，低頻部分是大部分能量聚集地區，通過30維低頻分量，就可以對人體行為的大體形狀進行描述。

圖2 當前幀

圖3 前景目標

圖4 輪廓圖

檢驗采用N=4，M=10的HMM模型，檢測不同不同行為，跑、彎腰、做和蹲、走。布置簡單的背景，測試人體行為的視頻序列，每種行為分別執行四次，采集視頻序列長度為50幀到100幀。將所有數據分成4種類型，每種類型有10個人執行，10個人分別對5種行為執行一次。兩類數據作為測試，兩類數據作為訓練。測試每種模型對未知行為序列的識別情況，訓練每種行為的HMM模型。設置每種行為碼本為10，矢量量化特征向量總標號50。根據向前法計算行為模型的序列概率，概率最大所對應的模型，作為待識別行為的所屬類型，所有行為被識別情況如下表。平均94%的行為都可以被正確分類，也有小部分行為分類錯誤。

表1 待識別行為的分類情況

4 應用分析

人體形狀可以通過運動進行人體檢測，獲得圖像。但是需要采用定量或者定性分析，判別運動的人體行為。人體行為識別的關鍵是人體形狀特征的描述，通過良好的特征提取，就能提高人體行為識別的效果。傅里葉描述子是傅里葉變換后的系數，是對物體邊緣曲線信號的頻域空間分析，對封閉的物體形狀邊緣曲線進行傅里葉變換。離散傅里葉變換是可逆變換，不會有信息的增減。以傅里葉描述子為基礎，提取運動人體的輪廓線，需要利用當前圖像和背景圖像的差分和二值化，對人體區域進行檢測。經過形態學處理，獲取純粹的物體圖像。然后利用邊緣跟蹤算法，提取運動人體的輪廓。人的行為是許多靜態姿態組成，依據八鄰域邊緣跟蹤方法提取輪廓屬于二維形狀，轉成一維能夠降低識別的復雜性。傅里葉描述子將圖像轉特征，變換為一維的特征向量，通過一維轉換，方便輪廓的獲取，而且頻譜頻率主要集中在低頻區域，在實際計算中，傅里葉變換后的能量，只需要集中記錄低頻部分序列，在30維低頻分量，就可以描述人體輪廓大致信息。傳統的傅里葉變換方法，需要大量的復數運算，計算麻煩，需要耗費較多時間，本次采用中心距的變換方法，描述人體的行為特征，可以避免復數運算。在刻畫人體輪廓結構，以及動態信息中，傅里葉描述子能夠有效壓縮數據。傅里葉描述的低頻部分，決定輪廓的大體形狀，高頻部分基本上決定輪廓的細節，高頻部分對匹配的作用不大，甚至增加計算量。

隱馬爾可夫模型是一種統計模型，由馬爾科夫鏈發展而來，適用于動態過程的時間序列建模，應用廣泛，具有堅實的數學理論基礎，。隱馬爾可夫模型能夠表示觀察值和狀態間的概率依賴關系，以及狀態間的概率轉化關系，是良好的描述現實問題的工具，引入隱馬爾可夫模型，進行人體識別，有利于提高識別概率。馬爾科夫過程描述的是重要的隨機過程，在馬爾科夫鏈模型中，觀察值和狀態一一對應。隱馬爾可夫模型并不是一一對應，不能直接看到狀態，只能看到觀察值，需要得知觀察值在狀態中的初始概率、分布情況、狀態轉移概率矩陣，才能得到實際的狀態序列。在實際應用中，一個對象控制的二層序列模型如果能夠被一個可見狀態受隱狀態描述，就能采用隱馬爾可夫模型的方式，根據可見序列分類識別隱序列。要在實踐中成功運用隱馬爾可夫模型，需要解決估值問題、解碼問題和學習問題。當前，隱馬爾可夫模型已經應用多種領域中，比如圖像、語言識別、手寫字識別、通訊盲平衡中等，人體行為識別領域是其新的應用領域。在體育運動中，尤其是體育競賽、體育教學等活動中，通常需要人體行為識別，更好地判斷體育中人體的行為，或者更好地引導教學，利用傅里葉-隱馬爾科夫模型建立人體行為識別方式，都能夠滿足體育活動的需要。

5 結束語

文中基于傅里葉-隱馬爾可夫模型，建立人體行為識別系統，識別性能良好，通過傅里葉描述子，提取人體輪廓特征，分析人體行為的形狀特征，與隱馬爾可夫模型相結合，進行人體行為分類識別，實驗人體行為識別過程，證明該模型的有效性。本次研究從特定角度提取了人體行為的部分特征，對于多角度、多特征相融合的人體行為分析，需要進一步研究特征提取方法，設計更好的動態模式識別分類器。

參考文獻：

[1]楚國玉，姜瑛，趙宏.基于隱馬爾科夫模型的移動應用端行為模式識別[J].價值工程，2016，35（19）:173-175.

[2]尹坤陽，潘偉，謝立東，等.一種基于深度學習的人體交互行為分層識別方法[J].廈門大學學報：自然版，2016，55（3）:413-419.

[3]李思岑.基于高階隱馬爾科夫模型的人體行為識別研究[D].成都：西華大學，2016.

[4]王忠民，曹洪江，范琳.一種基于卷積神經網絡深度學習的人體行為識別方法[J].計算機科學，2016，43（s2）:56-58.

[5]楚國玉，姜瑛，趙宏.基于隱馬爾科夫模型的移動應用端行為模式識別[J].價值工程，2016，35（19）:173-175.

[6]唐超，王文劍，李偉，等.基于多學習器協同訓練模型的人體行為識別方法[J].軟件學報，2015，26（11）:2939-2950.

[7]姜楓，張麗紅.基于隨機Dropout卷積神經網絡的人體行為識別方法研究[J].測試技術學報，2016，30（1）:17-22.

[8]張偉.智能空間下基于非視覺傳感器數據的人體行為識別方法研究[D].濟南：山東大學，2015.

[9]孫巖.基于隱馬爾可夫模型的動作識別的研究與實現[D].沈陽：沈陽航空航天大學，2015.

[10]瞿濤，鄧德祥，劉慧，等.多層獨立子空間分析時空特征的人體行為識別方法[J].武漢大學學報：信息科學版，2016，41（4）:468-474.

[11]趙欣，周海英.一種結合深度信息的人體行為識別方法[J].科學技術與工程，2017（1）:244-249.

[12]王忠民，屈肅.一種極速學習機人體行為識別模型遷移方法[J].西安郵電大學學報，2015，20（1）:49-54.

[13]吳冬梅，謝金壯，王靜.基于多特征融合的人體行為識別[J].計算機應用與軟件，2015，32（11）:171-175.

[14]張愛輝，孫克輝.PCRM的改進及其在人體行為識別中的應用[J].計算機工程與設計，2016，37（9）:2515-2519.

[15]茍濤.基于可穿戴式三軸加速度傳感器的人體行為識別[J].自動化應用，2015（12）:61-62.

[16]王魯昆，唐功友，張健，等.連續時變自編碼機在人體行為識別中的應用[J].上海交通大學學報，2016，50（7）:1065-1070.