一種基于遷移極速學習機的人體行為識別模型

支周+屈肅

摘 要：為了解決由于每個用戶的行為都有自身的特點和習慣，加之手機放置位置和方向的不確定性及多樣性所導致的通用模型識別率低的問題，文章提出了利用TrELM（Transfer Extreme Learning Machine）算法實現遷移學習，并基于智能手機中內置的加速度傳感器進行信息采集并通過機器學習方法構建人體行為識別模型。該方法是一種基于參數遷移的方法，通過對ELM的目標函數進行修改，引入一個可以表示兩域差異的遷移學習量，從而實現ELM模型的遷移學習。實驗結果表明，該模型可以有效的提高新用戶的行為識別正確率。

關鍵詞：遷移學習;人體行為識別;極速學習機;機器學習

中圖分類號：TP391 ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ?文章編號：2095-1302（2015）09-00-03

0 ?引 ?言

基于智能手機進行人體行為識別是移動情景識別的一個重要研究方向，在健康監控、行為檢測、老年人監管等方面有廣泛應用[1]。在構建行為識別模型時，利用智能手機中內置的三軸加速度傳感器，對人們多種日常行為的加速度數據進行采集，并通過機器學習的方法，構建用戶行為識別模型[2]。

由于每個用戶的行為都有自身的特點和習慣，加之手機放置位置和方向的不確定性及多樣性，導致不同用戶的行為加速度數據特征的數據分布差異較大，以至于識別模型的不適用性大大增加。為了解決識別模型的自適應性問題，并且以最小的代價獲得較大收獲，這就需要利用遷移學習對通用模型進行修改。

為了解決通用行為模型在面對新用戶時的不適用問題，本文提出了TrELM算法實現遷移學習。該方法是一種基于參數遷移的方法，通過對ELM的目標函數進行修改，引入一個可以表示兩域差異的遷移學習量，實現ELM模型的遷移學習。利用TrELM算法實現通用模型的遷移，首先利用ELM分類器構建通用行為識別模型，可以得到源域中識別模型的輸出權值向量βS;之后通過對新用戶的少量行為樣本進行學習，修改通用模型的輸出向量為βt，實現對通用模型的修改，完成具有遷移學習功能的行為識別模型。

1 ?已有研究

Dai提出了一種TrAdaBoost方法[3]，該方法的假設前提為源域和目標域實例數據的特征和標記相同，但數據分布不同。該方法利用AdaBoost方法構建了一個數據樣本權值自動調整的機制，在迭代過程中對源域和目標域的數據采取不同的權重調整機制，進而可以實現減少有害數據對目標域學習的影響。該方法雖然可以借助源域的部分數據樣本作為輔助數據來在目標域進行學習，但是當源域和目標域的數據樣本相似性較差時，負遷移效果會增加。Jiang等在文獻[4]中的處理辦法是對源域數據樣本進行領域適應性的轉變，將產生負遷移效應的源域樣本刪除后再進行賦值，增加其在目標域中的權值大小，最終可以利用具有預測標簽的目標域樣本對源域樣本的質量進行提升。

Dai等人在文獻[5]中提出翻譯特征遷移學習方法，該方法是一種較為基礎的特征遷移學習方法，主要通過對跨領域的特征進行學習，用以解決訓練數據和測試數據所屬特征空間不同的問題，利用不相關的數據幫助目標分類和聚類學習。

Lawrence在文獻[6]中提出了一種高效算法MT-IVM，該方法構建了多任務的高斯過程，在其特性上獲取知識，以實現知識共享。Bonilla在文獻[7]中也研究了高斯過程下的多任務學習，提出了基于任務間自由形式的協方差矩陣，進而模擬交互任務的依賴性，最終利用高斯過程中知識對任務間的相互關系進行學習。Schwaighofer等人構建了基于高斯過程和貝葉斯算法的統一模型，以解決多任務學習問題[8]。在文獻[9]中，Evgeniou提出了一種以分層貝葉斯模型為前提的規則化框架，并實現了在遷移學習中的應用，解決了多任務學習的問題。該方法的實現基于如下假設，即在面臨每個任務時，將SVMs中的特征分為兩部分，一部分是所有任務都具有的共同體，另一部分是針對某個任務的專有部分，這種方法適用于具有較多樣本，且源域和目標域樣本較為單一的情況。

Mihalkova在文獻[10]中提出了TAMAR算法，通過馬爾科夫邏輯網絡在相關聯領域間遷移相關知識。在馬爾科夫模型中，關聯領域的實體通過預測表現出來，他們的關聯性可由一階邏輯表示。該方法基于這樣一個事實，若兩個域是相關的，則存在一種從源域到目標域的實體之間及關系的映射。TAMAR算法分為兩個階段，首先構造一個基于加權的對數似然度的從源域到目標域的映射;之后利用FORTE算法修正目標域的映射結構，修改后的馬爾科夫邏輯網絡可以用作目標域的關聯模型來使用。此外，Davis等人構建了二階馬氏邏輯，實現相關知識的遷移學習，該方法根據反相馬爾科夫鏈的形式實現源域中某一樣本的架構構造，進而可以在目標域中獲取該樣本的公式。

本文所提出的TrELM算法結合了參數遷移方法，實現了ELM在模型層面上的遷移學習功能。

2 ?基于遷移極速學習機的行為識別模型

目前，針對ELM遷移學習方法的研究主要是基于實例遷移學習方法，基于參數的遷移學習大多是在SVM結構中實現的。遷移學習算法TL-SVM通過對SVM分類器進行深入研究，從判別函數f（x）=wTx+b中發現不同域間的差異體現在其w值上。通過構造可以體現兩域間差異的項μ‖wt-wS‖2，將其添加至SVM目標式中，根據一系列運算規則，即可實現不同域間的遷移學習。

用ELM構建模型，會得到輸出權值向量β，針對數據分布不同的領域，在其上訓練的ELM模型中的β向量必然不同，雖然模型構建時輸入節點加權值向量以及偏差向量均是隨機賦值的，但其模型構建理論可以說明，以不同域數據樣本構建的多個ELM分類模型間的差異，可以用輸出權值向量β表示。

鑒于SVM及ELM的相關性以及基于SVM的遷移學習研究，構造TrELM（Transfer Extreme Learning Machine）算法模型。通過在ELM的目標式中增加μ‖βt-βS‖2項，可以表示兩個域間的差異，通過嚴密的數學公式推導求解后，可以得到目標域內的ELM目標式，進而實現兩域間的遷移學習。其中，‖βt-βS‖2表示兩域分類器之間的差異程度，該值越大則分類器間的差異越大，反之越小;參數μ控制懲罰程度。TrELM算法原理如圖1所示。

圖1 ?TrELM算法原理

3 ?實驗結果

項目組是以智能手機為背景的行為識別模型的遷移學習，將九名測試者p1至p9按其年齡分布分為A、B、C三組，其中，A組成員為p1-p3，年齡分布為20-30歲，相應樣本集記DA;B組成員為p4-p6，年齡分布在31-40歲，相應樣本集記DB;C組成員為p7-p9，年齡分布在41-50歲，相應樣本集記DC。上述每個樣本集均按比例（1：3）分為兩部分，即DA1、DA2，DB1、DB2和DC1、DC2。

為了論證方法的有效性，實驗將分為遷移學習前和遷移學習后模型的適應性統計兩部分。第一部分分別以DA、DB和DC作為訓練集，構建ELM通用行為識別模型，之后對其余兩個樣本集進行測試，統計測試集正確率，以衡量未遷移學習時的模型適應性;第二部分是在第一部分的基礎上，以其余樣本集中較少部分作為遷移學習訓練樣本集，對模型進行TrELM算法的自適應性修改，以測試集正確率作為遷移學習后的模型適應性能力進行統計。每組實驗均進行20次，統計正確率的平均值。

在構建通用行為識別模型時，由于ELM算法的輸入權值向量是隨機賦值的，故只需要確定隱藏層節點數即可。目前統一規范確定隱藏層數量，只能靠經驗值確定。選取隱藏層參數為100，以達到構建最優網絡的目的。

另外，在ELM的輸出函數中，C的取值范圍[2^（-10）， 2^（25）]，選取分類器性能最優時的C值為2^（18）。

在遷移學習過程中，假設TrELM算法的性能是由其相關參數μ和Ct確定的。令μ的取值范圍為[0，1]，Ct的取值范圍為[2^（-5）， 2^（20）] 。統計遷移訓練集20次實驗的平均正確率如圖2所示。圖2中所示為三軸坐標，坐標系中每個點表示取該點所在的Ct和μ值時，模型在遷移訓練集上所得到的正確率。由圖2可知，在保證TrELM算法性能最優的前提下，取μ為0.4，Ct為2^（10）。

圖2 ?TrELM算法的相關參數關系圖

表1至表6為各交叉用戶組在模型遷移學習前后的行為識別準確率平均值的統計，上述兩部分實驗的相關樣本集及正確率統計結果分別列于各表中的第一行和第二行。

表1 ?新用戶組遷移學習前后的行為識別正確率

（A為已知用戶組，B為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DA DB2 78.68

遷移學習后 DA+DB1 DB2 82.19

表2 ?新用戶組遷移學習前后的行為識別正確率

（A為已知用戶組，C為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DA DC2 69.35

遷移學習后 DA+DC1 DC2 87.37

表3 ?新用戶組遷移學習前后的行為識別正確率

（B為已知用戶組，A為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DB DA2 76.44

遷移學習后 DB+DA1 DA2 83.77

表4 ?新用戶組遷移學習前后的行為識別正確率

（B為已知用戶組，C為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DB DC2 72.16

遷移學習后 DB+DC1 DC2 82.92

表5 ?新用戶組遷移學習前后的行為識別正確率

（C為已知用戶組，A為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DC DA2 64.75

遷移學習后 DC+DA1 DA2 89.38

表6 ?新用戶組遷移學習前后的行為識別正確率

（C為已知用戶組，B為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DC DB2 68.59

遷移學習后 DC+DB1 DB2 80.19

通過上述表格的第一行可以看出，對于所構建的通用行為模型，在面臨新用戶時，行為識別正確率較低，平均值最低為64.75%，說明了對新用戶進行行為識別時，通用模型的不適應性以及遷移學習的必要性。通過對比各表格中第一二行的測試集正確率，可以看出，利用新用戶的行為數據進行了基于TrELM算法的模型遷移學習后，行為識別正確率有了明顯提高，表5中正確率的增加幅度最大，為24.63%，說明了TrELM算法可以有效達到遷移學習的目的。

另外，表2和表5中測試集正確率增加值要大于其余四個表，這是由于當所遷移到的目標域用戶組年齡組成與源域訓練組差異較大時，兩組行為特征值的數據分布也會有較大不同，通用模型的不適應性增大，在這種情況下進行遷移學習，可以得到更好的效果，識別正確率也會有較大提高。

4 ?結 ?語

為了解決通用行為模型在面對新用戶時的不適用問題，本節提出了TrELM算法實現遷移學習。該方法是一種基于參數遷移的方法，是通過對ELM的目標函數進行修改，引入一個可以表示兩域差異的遷移學習量，實現ELM模型的遷移學習。利用TrELM算法實現通用模型的遷移，首先利用ELM分類器構建通用行為識別模型，可以得到源域中識別模型的輸出權值向量βS;之后通過對新用戶的少量行為樣本進行學習，修改通用模型的輸出向量為βt，實現對通用模型的修改，完成具有遷移學習功能的行為識別模型。實驗在真實數據集上進行，結果表明，該模型可以有效提高新用戶的行為識別正確率。

參考文獻

[1]張爍，段富.基于智能移動平臺的情景感知技術研究[J].計算機應用與軟件，2013，30（8）： 166-169.

[2]徐川龍，顧勤龍，姚明海.一種基于三維加速度傳感器的人體行為識別方法[J].計算機系統應用，2013，22（6）：132-135.

[3] Dai Wenyuan，Yang Qiang，Xue Guirong，et al.Boosting for transfer learning[Z]. Proceedings of the 24th international conference on Machine learning ACM International Conference Proceeding Series， 2007：193-200.

[4] Dai W，Chen Y，Xue G，et al.Translated Learning：Transfer Learning across Different Feature Spaces[Z].In Advances in Neural Information ?Processing Systems，2008.

[5] Lawrence N D，Platt J C.Learning to Learn with the Informative Vector Machine[Z].In Proceedings of the International Conference in Machine Learning，2004.

[6] Bonilla E V， Chai K M A， Williams C K I. ?[Z].Nips，2008.

[7] Schwaighofer A，Tresp V，Yu K.Learning Gaussian Process Kernels via Hierarchical Bayes[J].In Advances in Neural Information Processing Systems， 2004： 1209-1216.

[8] Evgeniou T，Pontil M.Regularized multi-task learning[J].In Proceedings of 17th SIGKDD Conf[J]. on Knowledge Discovery and Data Mining，2004，28（1）：109-117.

[9] Mihalkova L，Huynh T，Mooney R J. Mapping and revising Markov logic networks for transfer learning[C].National Conference on Artificial Intelligence-volume：AAAI Press，2007，608--614.

[10] Davis J， Domingos P. Deep Transfer via Second-Order Markov Logic[J]. Proceedings of the Aaai Workshop on Transfer Learning for Complex Tasks， 2009.