基于智能手機傳感器和SC-HMM算法的行為識別

孫冰怡,呂 巍,李文洋

(吉林大學 計算機科學與技術學院,長春 130012)

大部分智能手機都有記錄聲音、影像和位置等功能,其中的應用程序可通過多感官數據流實現情景感知服務、健康監測和生活記錄.生活記錄是一個漫長的過程,它通過用戶佩戴特定設備收集感知數據,并將其存儲于表格中以便后期瀏覽、注釋和查詢[1-2].如果生活記錄系統能從低層次的感官數據流中識別出高級別的用戶經歷,且無需用戶手動注釋大量的數據,則將十分有意義.為捕捉用戶的日常經歷,本文提出一個生活記錄系統,用手機收集多感官數據流,并為日常活動自動標注高級標簽.

自動注釋在嵌入式、手機系統、傳感器網絡、多媒體、智能系統和機器學習等領域應用廣泛,且與行為識別緊密相聯[3-4].傳統行為識別研究大部分使用定制的貼身傳感器和嵌入式系統[5],或使用外接傳感器如監視照相機/麥克風、object-attached傳感器和RFID標簽[6]等.目前,人們開始關注使用智能手機平臺[7],它能從用戶每天不間斷的日常活動中收集到自然數據.產生這樣環境的活動范圍十分廣泛,用戶通過控制環境執行動作的原子集,如姿勢/運動類型(坐、臥、行走、跑步、站立、上/下樓梯等).

本文在獲取智能手機傳感器信號的基礎上,提出一種新的行為識別算法SC-HMM,該算法的整體框架如圖1所示.先使用譜聚類算法對各類手機傳感數據的時序序列進行聚類,然后對聚類結果訓練HMM模型,以實現行為的自動識別.本文利用自愿者42天的記錄評估SC-HMM方法,并對比了多種相關方法,實驗結果表明本文算法性能良好.

圖1 SC-HMM算法的框架流程Fig.1 Flow chart of the framework for SC-HMM algorithm

1 手機傳感器的數據采集

在數據采集過程中,通過智能手機應用程序可獲得如下時序序列：

V={V1,V2,…,VT},

(1)

其中:T為采樣次數;Vt為t時刻的采集信息,表示如下：

Vt=(at,Pst,rssit),

(2)

式中:at表示加速度;Pst表示位置信息;rssit表示接收的信號強度指示.

對于加速度a,由于通過手機得到的采樣數據是隨時間變化的不連續數據,因此本文只選取連續的數據集進行實驗,實際速率在實驗可接受的范圍內.采用Freescale的MMA7455L三軸加速度傳感器,其具有調理信號、低通濾波、檢測脈沖和快速運動的功能,最大采樣為16 Hz,2.4～3.6 V的電壓適合于在手機運動檢測中應用.文獻[8]對行為識別進行了時序特性(均值、方差、過零率和自相關等),特別是頻域特性(FFT譜熵等)的研究.本文也將3個軸的加速信號進行樣本處理,將波形從時域信號變換到頻域信號,實驗選取16個樣本,最終獲得27維原始特征序列.

GPS(global positioning system)主要利用多個衛星對協作配合的接收器節點進行定位,可得到較高的地理坐標定位,但GPS目前針對室內或有密度較大遮擋物的位置很難定位,因此本文將盲區內的信號視為丟失數據,得到的GPS坐標為

Pst=(Xst,Yst).

(3)

本文還采用RSSI(received signal strength indicator)技術定位,將接收到的信號通過強弱的測定判斷信號點與接受點的距離.RSSI技術是在反向通道基帶接收濾波后進行的.在定位前,根據經驗模型先選擇若干個測試點,記錄每個測試點基站收到信號的強度,并建立離散線性數據庫集(x,y,t1,t2,t3,t4,t5),實際定位中,通過智能手機應用程序獲得

rssit=(th1,th2,th3,th4,th5),

(4)

其中thi(i∈[1,5])信號按從小到大順序減弱,依次記錄每個點的位置和信號強度.將測得信號與實際定位信號進行比較,將均方差最小點的坐標作為節點坐標,并獲取WIFI熱點名稱N.

將上述采集的數據Vt=(at,Pst,rssit)作為將要進行譜聚類時的數據集合V={V1,V2,…,Vn}的子集.

2 譜聚類算法

數據采集后,即形成一個活動時間序列數據庫,可將這些活動序列聚成幾個組,通過聚類等無監督方式學習這些活動序列.為獲得無監督學習活動時間序列,本文檢測時間序列間的相似性并采用聚類算法.

2.1 LCSS序列距離

活動時間序列的長度并不一定相等,其依賴于活動屬性.盡管相同的活動,時間序列也未必相等,因為狀態的持續時間、速度和采樣頻率不同.為了度量兩個活動時間序列Vi和Vj的相似度,即需要對不等長的Vs距離度量.

最長公共總序列(longest common subsequence,LCSS)[9]對不等長的時間序列是個有效的距離度量工具,LCSS對噪聲健壯且可進一步處理異常.行為時間序列的LCSS距離為

(5)

其中:Ti和Tj分別為兩個活動時間序列的長度;LCSS(Vi,Vj)為Vi和Vj之間匹配點的數量.LCSS定義為

(6)

可通過動態規劃有效地計算匹配點在一定的距離參數ε和可接受的時間窗口δ之內.

2.2 譜聚類

譜聚類可有效地計算,并比傳統聚類算法提高了性能.譜方法不需在數據點分布上做任何假設,而依賴于近似優先圖劃分相似矩陣的特征分解.對活動時間序列的譜聚類算法如下.

算法1活動時間序列的譜聚類.

1) 構造相似圖S={sij};

2) 計算正規化的Laplace矩陣L=I-D-1/2SD-1/2;

3) 計算L的前K個特征向量;

4) 令U∈N×K為由特征向量作為列構造的正規化矩陣;

5) 用k均值對U的行進行聚類.

用Gauss核函數由LCSS活動時間序列構造相似矩陣S={sij},表示完全連接圖的相鄰矩陣:

(7)

其中參數σ描述活動時間序列的相鄰,σ值越大活動時間序列有越高的相似值,同時σ值越小會產生一個更稀疏的相似矩陣.從相鄰矩陣形成Laplace矩陣:

L=I-D-1/2SD-1/2,

(8)

其中D表示S中相同行元素之和的對角矩陣.由L的前K個特征向量作為列構成一個新的N×K矩陣U.U的每行作為訓練活動時間序列V的一個新特征向量表示,用k-means將活動時間序列聚成K個相似活動時間序列組.

3 基于HMM的動作識別

有監督活動學習系統大多數用HMM(hidden Markov model)作為分類器.本文對行為的分類也采用HMM模型進行學習分類.圖2為HMM模型用于手機行為識別的一個實例.一個HMM模型可表示為λ=(A,B,π0),其中:λ表示時間序列V作為觀察值的活動模型;A表示狀態轉移概率矩陣；B表示觀察概率分布；π0表示初始狀態分布.HMM模型由以下參數[10]決定.

圖2 HMM應用于智能手機行為識別實例Fig.2 Example of HMM applied in activity recognition of smart phone

1) 模型的狀態數Q.為方便,Q是固定的,但估計一個合適的數是可能的;

2)Q×Q狀態轉移概率矩陣A={aij},其中

aij=p(qt+1|qt);

(9)

3) 觀察概率分布B=bj(f),其中

bj(f)=G(f,μj,Σj)

(10)

表示每個j=1,2,…,Q狀態的未知均值μj和方差Σj的Gauss流f分布;

4) 初始狀態分布π0={πj}有

πj=p(q1=j).

(11)

對每個k=1,2,…,K(K是譜聚類得出的類個數)行為表示為λk=(Ak,Bk,π0),其中π0對每個行為有

(12)

其中C是保證有效概率的歸一化常數.該定義允許行為開始于任意狀態.αp的選擇不嚴格,只要對每個狀態有非零概率即可.

4 實驗結果與分析

4.1 實驗數據

實驗采用真實的傳感器數據評估本文系統.從平時攜帶智能手機的自愿者中收集生活記錄,這些生活記錄提供了實驗用的數據及標簽.共獲得195 h,連續42 d的多傳感器記錄數據集合.在42 d中共收集自定義片段390張,平均每天收集9.3個片段,其中每個片段上的時間節點都包含加速度、GPS和RSSI等信息,且每個片段均對應一個日常動作的標簽.該數據集合共包含行走、站立、跑步、上樓、下樓、乘上行電梯和乘下行電梯等在內的7個日常動作.

4.2 實驗結果

為有效地評估本文方法,在實驗中對比了一些常用的行為方法,包括SVM(支持向量機)[11]、CRF(條件隨機場)[11]和SVM-HMM(支持向量機隱Markov)[12].

采用十折交叉驗證的方式計算每種方法下各類別的分類精度.先將實驗數據集隨機分為10個大小相同的子集,依次選擇其中1個子集作為測試數據集,剩下的9個子集作為訓練集,并計算正確識別率.共執行10次,并將10次獲得的平均正確率作為最終分類精度.

表1列出了不同識別方法得到的分類精度.由表1可見,本文提出的基于SC-HMM的日常動作識別方法具有最高的識別正確率,平均高達93.48%,其中在“跑步”、“乘上行電梯”和“乘下行電梯”等3個類中的分類精度均超過97%.而其他幾種方法中,SVM-HMM的效果最好,平均接近92.94%,但其區分“上下樓”和“乘上下行電梯”時表現不理想.實驗結果表明,本文提取的手機傳感器的加速度、GPS和RSSI信息能有效反應用戶的行為特征,如“乘電梯”這個行為獲得的RSSI信號要遠小于其他類別的信號,這對于實現正確的識別具有顯著作用.此外,本文提出的基于SC-HMM的日常動作識別方法也能有效挖掘不同時間片段間的關聯性,從而有效提高動作識別的正確率.

表1 不同方法的分類精度Table 1 Classification accuracy of different methods

綜上所述,本文在智能手機傳感器信號的基礎上,提出了基于譜聚類和HMM算法的行為識別方法,該方法能有效地挖掘不同傳感器信號間的關聯,提高行為識別的正確率.以真實的用戶智能手機數據集進行了實驗,并對比了多種相關方法.實驗結果表明,本文方法在7個日常動作識別中能取得較好的的分類精度(平均0.934 8),均高于其他方法.

[1] Hamm J,Stone B,Belkin M,et al.Automatic Annotation of Daily Activity from Smartphone-Based Multisensory Streams [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2013:328-342.

[2] Chennuru S,CHEN Peng-wen,ZHU Jiang,et al.Mobile Lifelogger-Recording,Indexing,and Understanding a Mobile User’s Life [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2012:263-281.

[3] HU Hong-yu,WANG Qing-nian,QU Zhao-wei,et al.Spatial Pattern Recognition and Abnormal Traffic Behavior Detection of Moving Object [J].Journal of Jilin University:Engineering and Technology Edition,2011,41(6):1598-1602.(胡宏宇,王慶年,曲昭偉,等.運動目標空間模式辨識與異常交通行為檢測 [J].吉林大學學報:工學版,2011,41(6):1598-1602.)

[4] YIN Jian-qin,WANG Jing-jing,LI Jin-ping.New Space-Time Interest Point Detection Scheme Based on Cumulative Entropy Difference [J].Journal of Jilin University:Engineering and Technology Edition,2012,42(3):754-758.(伊建芹,王晶晶,李金屏.新的時空特征點檢測方法 [J].吉林大學學報:工學版,2012,42(3)：754-758.)

[5] Altun K,Barshan B.Human Activity Recognition Using Inertial/Magnetic Sensor Units [C]//Human Behavior Understanding.Berlin:Springer,2010:38-51.

[6] GU Tao,WANG Liang,WU Zhan-qing,et al.A Pattern Mining Approach to Sensor-Based Human Activity Recognition [J].IEEE Transactions on Knowledge and Data Engineering,2011,23(9):1359-1372.

[7] Bieber G,Voskamp J,Urban B.Activity Recognition for Everyday Life on Mobile Phones [C]//Universal Access in Human-Computer Interaction.Intelligent and Ubiquitous Interaction Environments.Berlin:Springer,2009:289-296.

[8] Lester J,Choudhury T,Borriello G.A Practical Approach to Recognizing Physical Activities [C]//PERVA SIVE’06 Proceedings of the 4th International Conference on Pervasive Computing.Berlin:Springer,2006:1-16.

[9] Cormen T H,Leiserson C E,Rivest R L.Introduction to Algorithms [M].Cambridge:MIT Press,1990.

[10] Morris B T,Trivedi M M.Trajectory Learning for Activity Understanding:Unsupervised,Multilevel,and Long-Term Adaptive Approach [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2287-2301.

[11] Lafferty J D,McCallum A,Pereira F C N.Conditional Random Fields:Probabilistic Models for Segmenting and Labeling Sequence Data [C]//Proceedings of the Eighteenth International Conference on Machine Learning.San Francisco:Morgan Kaufmann Publishers Inc，2001:282-289.

[12] Altun Y,Tsochantaridis I,Hofmann T.Hidden Markov Support Vector Machines [C]//Proceedings of the Twentieth International Conference of Machine Learning (ICML 2003).Washington DC:AAAI Press,2003:3-10.

(責任編輯：韓 嘯)

研究簡報