多場景下基于傳感器的行為識別

安 健，程宇森，桂小林，戴慧珺

(1.西安交通大學 計算機科學與技術學院，陜西 西安 710049；2.西安交通大學 陜西省計算機網絡重點實驗室，陜西 西安 710049)

0 引 言

隨著傳感器的發展，大多數家庭都將在房間中部署無接觸的行為識別系統，以保證家庭成員的安全、健康以及運動監測等[1，2]。在行為識別場景中，預訓練的活動識別模型面臨著感知偏差、設備異質性以及人類行為固有可變性的挑戰[3]，首先是智能房間中布置的環境傳感器發生異動，從而導致標注數據失效，這將使得模型的性能降低；其次，新識別場景中的有標注的行為樣本稀缺，導致在原環境中構建的行為識別模型不能在新場景中進行識別，模型的可擴展性弱。這些都將導致行為識別模型的場景轉換能力弱，同時，由于行為識別模型將同一物理空間下的環境傳感器數據視為整體，則某個傳感器因故障等原因獲取數據受限時，將使得整體數據發生較大波動，從而導致數據分布差異巨大[4，5]。基于上述挑戰，在現實應用中需要為每個房間都單獨地記錄詳盡的有標記的訓練數據以保證模型能夠在多場景下進行有效行為識別。同時，需要預先經過人工訓練模型才具備識別能力，這將花費大量人力物力，且無法與已有的傳感器設備進行配合。

因此，本文的研究目標是借助遷移學習能夠以較低的成本學習相似領域或不同領域的特征的優勢，通過利用大量未標記數據或少量標記數據，來解決標記數據太少而無法構建好的行為識別模型的問題，使模型對場景有較強的自適應能力，從而提高行為識別模型在多場景下的適應性和可擴展性。

1 國內外研究現狀

行為識別模型對應用場景的適應性和可擴展性是行為識別應用領域中持續存在的問題，該問題主要是由于缺乏大量標記的訓練數據和難以收集相同的數據從而對深度學習模型構成了挑戰。

近年來，基于遷移學習的行為識別技術得到了廣泛的研究，Ramin等[6]提出了一種無信息遷移學習算法，該算法能夠最大限度地減少跨學科的差異，從而擴大人類行為識別范圍，具體是提出將標簽信息從源域轉移到目標域以識別無標簽活動，并假設目標域中存在大量具有相似活動的無標簽數據樣本，以此提高模型的適用范圍。Khan等[7]提出了UnTran行為識別框架，使用遷移學習識別未標記數據的未見活動。該框架通過融合源域中經過訓練的模型和目標域中的兩個活動模型的決策，從而減少了對帶注釋的活動樣本的需求，上述模型則是基于原始和深度特征的活動模型的。Niu等[8]提出了一種基于一個有標注數據的家庭和一個未標注數據的家庭中的常見傳感器生成可轉移表示(transferable representations，TRs)的方法，之后構建人類行為識別模型并將其從標記的家庭轉移到使用TRs的未標記家庭。但是在某些情況下，使用TRs會導致性能下降，這意味著發生了負遷移。為了避免負遷移，該作者[9]在2020年的工作中采用了多個標記的房屋來構建更通用的人類行為識別模型，以使其能夠適應更多的房屋，但該研究僅支持較少類別的傳感器設備。張鵬等[10]基于“學習者-監督者”的間接學習機制，提出多階段監督的軟遷移學習方法來實現跨網絡結構學習，使神經網絡對人體行為的建模能力能在不同結構的網絡中傳遞和重用。婁曉光等[11]利用多源域遷移學習算法解決跨被試情感識別中正確率低的問題。本文基于現實智能房間中的傳感器種類多樣，提出了一種可在現實環境應用的遷移方法以提高行為識別模型在多場景下的適應性和擴展性。

2 多場景遷移模型

為實現從源房屋到目標房屋的知識遷移，且使得模型相對獨立于外部環境，將個性化解決方案擴展為普適性解決方案主要需要解決兩個問題：第一，在環境傳感器發生數量或位置變化時，如何使得模型具有較強的魯棒性。第二，基于房屋布局的不同，如何處理傳感器網絡的差異。

針對智能房間內環境傳感器的異動問題，本文借鑒區塊鏈思想，提出了一種基于環境傳感器的動態感知算法(dynamic perception algorithm，DPA)，其是通過相關傳感器設備投票出異動設備的偽數據值以進行行為識別的手段，從而保證行為識別模型的魯棒性。

對于不同智能房間的特征空間差異，是由于房屋構造布局的不同，而造成的傳感器網絡具有不同的配置，從而導致生成不同的特征空間。例如，一所房子可能有一個單獨的廁所和浴室，而另一個房間可能將兩者建立在同一物理空間下，這將導致所使用的傳感器在數量和功能上都會有所差異。針對該問題，我們基于DPA，進一步提出了自適應場景的行為識別遷移方法(adaptive scene human reco-gnition，AHR)，以使得行為識別模型具有場景轉換的能力。具體的多場景遷移模型如圖1所示。

圖1 多場景遷移模型

2.1 基于環境傳感器的動態感知算法

為解決房間內環境傳感器的數量增減、位置變動所導致的模型失效問題，提高行為識別模型的魯棒性，本文提出了基于環境傳感器的動態感知算法。以使得模型在多用戶場景下的行為識別能力盡可能少地依賴傳感器設備的位置、數量等外界條件，以期望使模型獲得較強的魯棒性和自適應能力。

DPA算法的核心思想是依據物理空間將問題動態分割為多個子問題后，異動傳感器設備交由子空間內的相關傳感器判定，判定過程借鑒區塊鏈思想，基于距離原則設定投票權重，最終由該子空間內的設備投票決定該異動傳感器的數據值，從而進行模型的遷移。

在該問題下令異動傳感器為di， 所屬子問題為Dj， 該子問題下其余傳感器為Dj=(df，dg，…，dn)j。 在某子空間下的設備感知到有環境傳感器發生異動時，將觸發動態感知算法，以保證行為識別模型在外部條件發生劇烈變化時，仍具有穩定、持續的行為識別能力。模型在觸發動態感知算法后，會將大量的計算資源對模型進行穩定性遷移，為了在中央算力有限的條件下保證模型對行為識別的持續性、實時性，動態感知算法動態地將模型的遷移過程設計為兩階段，第一階段為行為識別階段，第二階段為模型遷移階段。

在傳感器di失效情況下，由di所屬子問題Dj中的其余傳感器以對應權重投票決定出該時刻下異動傳感器di的數值，以此數據值作為該傳感器的偽標簽，將該數據值整合后得到符合模型需要的輸入，模型將以此輸入進行行為識別。該情況下的行為識別過程具體為：考慮到環境傳感器皆為二進制數據，數據值為0或1，因此基于該子問題Dj下的傳感器維度n，設計使用n個SVM分類器，使Dj下的傳感器設備對異動傳感器的數值di進行投票預測，并依據對應權重進行統籌計算。依據空間相關理論，距離更近的兩實體，具有更強的相關性，因此，我們設計以某傳感器與異動傳感器di的相對距離計算投票權重，最終計算出di偽數值，并以該數值作為真實值使用行為識別模型進行識別，以獲得有效的識別結果。投票權重計算公式如下

(1)

其中，Distn表示序號為n的傳感器與異動傳感器di的相對距離，Disttotal表示該子空間下的所有傳感器與di的相對距離的總和。

當新增加傳感器di時，計算新增di前的行為向量，將其稱為源行為向量cs， 同時計算新增傳感器di后的行為向量，并稱其為目標行為向量ct。 該情形下的行為識別過程具體是在行為識別階段中使用源行為向量cs作為合法的模型輸入向量，使模型依靠此輸入向量繼續提供可靠的行為識別服務，同時，將識別出的用戶行為作為后續模型遷移階段的真實標簽，以支持模型的遷移。

接下來是模型遷移階段，具體將其分為兩種情況：在傳感器失效情景下，將刪除傳感器di數值后的數據作為訓練數據，以識別階段的識別結果作為訓練數據的標簽，據此進行模型的遷移；另外，在新增傳感器情景下，將目標行為向量ct作為新的訓練數據，把識別過程中的得到的行為標簽作為對應的真實標簽ltruth， 以此組合為新的訓練數據，對模型進行遷移。模型遷移完成之后由新模型繼續完成行為識別任務。

2.2 自適應場景的行為識別遷移方法

人類行為識別的場景遷移任務特點是源域和目標域有相關性，其存在一些共同的參數或變量會影響實測的數據，且由于不同用戶的行為習慣具有較大差異，從而造成源域和目標域的數據分布不一致[12-14]。為解決人類行為識別任務中的場景變換的問題，本文結合行為識別場景特點，在DPA的基礎上，進一步提出了AHR方法。該方法是將目標域的傳感器數量維度歸并到與源域傳感器相同數量維度，從而保證了數據維度的一致性，并映射到同一特征空間，之后再盡可能地縮小兩種特征分布的距離，特別是邊緣分布概率和條件分布概率，最終以實現模型識別能力的遷移，以保證模型在新環境中仍然具有高精度的識別性能，從而在保證模型具有強普適性的前提下，大幅減少訓練新模型所要付出的成本。具體為：

令源房屋中的樣本數據集為DS={xs，ys}， 由于目標房屋中用戶的行為數據未標注，因此目標房屋的yt不存在，則目標房屋中的樣本數據集為DT={xt}， 其中xs=d1，…，dt-1，dt，dt+1，…，dT， 目標房屋的數據集xt=d1，…，dn-1，dn，dn+1，…，dN。 基于智能房間的異構性以及傳感器的特性，現實中大部分情況下T≠N。 然而，在使用基于改進的JDA遷移方法來對源域和目標域數據進行逼近時，需要滿足xs=xt以及ys=yt， 考慮到用戶居家行為種類基本一致，則該任務下模型所要識別的行為類別一致，也就是滿足ys=yt前置條件。因此，我們需使得xs和xt的數據維度一致，也就是要滿足T=N， 則需要對源房間和目標房間的數據維度進行歸并處理。我們依據目標域數據維度對源域數據進行對齊，對齊方式為剔除或增加排在末尾的傳感器設備數據，當傳感器數量發生變化時，將由異動傳感器組內設備觸發動態感知算法，依靠該算法將源房間的數據動態生成與目標房間數據維度一致的新數據，并以此新數據作為源域的訓練數據，在執行模型遷移策略的同時縮小源房屋和目標房屋的數據分布，具體有邊緣分布概率和條件分布概率兩種。

在減小邊緣概率分布的差異方面，我們采用最大均值差異(maximum mean discrepancy，MMD)來衡量源房間和目標房間的邊緣概率分布差異，由MMD可知

(2)

為了避免直接求解上式而導致的陷入局部極值點等問題，進一步引入了核函數，由核函數的性質可知，k(xi，xj)=ATx′si×ATxti， 則上式可化為

(3)

(4)

(5)

其中，kx=[k(x1，x)，…，k(xn+m，x)]T， 則可得

dist(DS，DT)=tr((KAATK)L)=tr(ATKLKTA)

(6)

其中，A就是變換矩陣，K是源域和目標域的合并數據。

此時，可將式(3)轉換為

mindist2(DS，DT)=mintr(AAT)+μtr(ATKLKTA)
s.t.ATKCKTA=I

(7)

mindist2(DS，DT)=mintr(ATKCKTA)AT(I+μKLKT)

(8)

至此，我們已經將源房間和目標房間之間的邊緣概率分布差異縮小。接下來盡可能優化條件概率分布。令Ps(xs) 為DS的邊緣概率分布，PT(xt) 為DT的邊緣概率分布，Qs(ys|xs) 表示為DS的條件概率分布，QT(yt|xt) 為DT的條件概率分布。為了減小源房間和目標房間行為數據的條件概率分布，需要通過計算得到合適的變換矩陣A使得Qs(ys|xs) 和QT(yt|xt) 的距離最小，但由于目標房間中用戶的行為沒有標簽yt， 因此無法使用MMD來求目標房間的條件分布概率。

依據統計學的充分統計量，若樣本質量好，且其中有未知數據，則可通過選擇統計量來近似地代替要估計的分布[15]。因此，我們通過使用樣本數據 (xs，ys) 來訓練一個分類器，對目標房間的用戶行為數據xt進行預測以得到偽標簽yt， 這樣我們擁有了再依據偽標簽計算。同樣，依據貝葉斯公式，P(yt|xt)=p(yt)p(xt|yt)， 則可以使用Qs(xs|ys) 和QT(xt|yt) 來分別近似Qs(ys|xs) 和QT(yt|xt)。

在行為類別的標簽空間 {1，2，…，c} 中任取一類別c， 在類別c上計算條件概率分布Qs(xs|ys=c) 和QT(xt|yt=c)之間的MMD距離，則類別c上源房間和目標房間的行為數據的條件概率分布可表示為

(9)

其中，nc和mc分別代表源房間和目標房間中第c類行為的數量。同樣地，我們引用核函數計算得到如下公式

(10)

其中，Mc為

(11)

(12)

簡化計算后的式子為

(13)

其中，I為單位矩陣，使用拉格朗日算法，最后表達式為

(14)

其中，Φ為拉格朗日乘子。

但由于其在計算中使用的標簽為偽標簽，其信任值低，導致遷移精度也較低，因此，我們設計使用弱分類器迭代的手段來提高遷移精度。同時，基于源房間的行為識別模型，在進行遷移學習時，為了減少特征映射所存在的差異，本文借助模型的注意力機制，依據源房間的功能分類，與目標房屋對應功能的房間對應進行遷移，以提高模型遷移后的識別能力。

3 實驗分析

3.1 數據集及評估指標

對于智能房間中行為識別模型遷移能力的驗證實驗，我們選擇了CASAS中的HH107和HH121兩個標準數據集來評估AHR的有效性。圖2、圖3展示了數據集CASAS中HH107和HH121兩個房間的結構構造，包括其在房間中布置的環境傳感器的位置、數量、類型等。

圖2 HH107智能房間的平面圖

圖3 HH121智能房間的平面圖

在實驗評估過程中，我們使用準確率和F1等指標來驗證模型的有效性。準確率是正確樣本占總樣本的比率，準確率的計算公式如下所示

(15)

精確率則表示為被分為正例的示例中實際為正例的比例，召回率用來度量覆蓋面的，其計算公式如下所示

(16)

(17)

其中，N是行為類別的數量，TPi，FPi和FNi是行為類別i中的真陽性、假陽性和假陰性率。

考慮到準確率和召回率可能會出現矛盾，因此使用綜合平均指標(F-Measure)進行評價，該值是精確率和召回率的加權調和平均值。F1的計算公式為

(18)

我們進行實驗以回答以下兩個問題：第一，本文提出的動態感知算法能否應對傳感器的異動；第二，使用本文提出的場景遷移方法從單一固定場景遷移模型到新場景中，性能能否保持穩定、高效。

3.2 實驗結果

DPA方法解決的是模型對外界環境的依賴性，因此我們首先對標準數據集的數據進行預處理，以適應該目標場景的需求。設D為數據集中對應的傳感器數據量，具體的預處理手段是：針對新增環境傳感器場景，屏蔽0.2*D(向上取整)的傳感器數值，在CASAS數據集中D被設定為37，向上取整后屏蔽7個傳感器數據，具體屏蔽的傳感器id由隨機算法決定。使用處理過后的數據訓練模型，以使得模型在該場景下具有優秀的行為識別能力。針對傳感器失效等場景，使用完整數據對模型訓練后，使用隨機算法屏蔽不同數量、位置、功能的傳感器數據，屏蔽傳感器數量的閾值為0.2*D(向上取整)。在依次屏蔽傳感器數據后都觸發基于環境傳感器的動態感知算法，使模型在外界環境復雜情形下仍能保證優秀的識別能力。

如圖4、圖5所示，在新增環境傳感器場景下，隨著增加傳感器數量的變化，模型的識別性能也隨之而改變。具體是在CASAS數據集中我們初始使用30個傳感器數據進行模型訓練，得到較高的識別性能，之后依次遞增傳感器設備，遞增步長為1，每次增加傳感器設備后都使用原有模型以及執行過遷移算法的模型對數據集的用戶行為進行識別。由圖可知，具有遷移算法的模型在傳感器設備新增后都能保持高且穩定的識別精度，而未帶有遷移學習的模型其精度均有不同程度的下滑，這可能取決于新增傳感器設備的位置、功能以及用戶發生動作的物理空間等。

圖4 HH107-R1的新增傳感器數量與行為識別準確率

圖5 HH107-R2的新增傳感器數量與行為識別準確率

由于環境傳感器在增加時，等價于模型自動生成新的有標注的數據集，且該標注的準確率等同于模型的識別率，因此，標注數據的準確率逐步下降，模型的識別準確率也會隨之降低。但是在算法層面上，單次增加一個傳感器設備或多個傳感器設備并不會影響最終的識別效果。由此為了得到更多的可信服的數據，我們皆采用單次增加一個設備的手段對其進行實驗，以使實驗結果更可理解。

基于環境傳感器的動態感知算法在環境傳感器失效等場景下會基于其余傳感器設備投票得出失效傳感器的數據值，因此，單次刪除一個傳感器設備和多個傳感器設備對模型的影響具有本質的不同。因此，我們設置單次刪除不同規模的傳感器設備，以驗證模型對外界環境的容忍度。

如圖6、圖7所示，隨著單次失效傳感器數量的遞增，模型對用戶行為識別的識別能力也隨之降低，相比之下，通過動態感知算法能夠有效減緩模型識別能力的下降速度，在單次5個傳感器失效時，遷移后的模型最高仍具有77.35%的準確率，而遷移前的模型在傳感器發生失效后，其識別精度銳減，當單次5個傳感器失效時，遷移前模型的識別精度甚至只有一半。因此，可驗證基于傳感器的動態感知算法能夠使得模型在外界環境發生一定程度變化時，相比于未遷移的模型，其具有較為優秀的性能，驗證了模型的魯棒性和適應性。

圖6 HH107-R1和R2的新增傳感器數量與識別準確率

圖7 HH121-R1和R2的新增傳感器數量與識別準確率

綜上，通過依次增加環境傳感器的數量，以驗證模型的可擴展性，證實了模型在實際應用中的可行性；同時，通過以不同步長來減少環境傳感器數量，來驗證模型對外界環境的容忍度，以此驗證了基于環境傳感器的動態感知算法的有效性。

由數據集的房間構造圖可知，采集用戶行為的兩個房間構造及傳感器設備的位置、類別等都不相同，兩者互為新房間，因此，我們利用本文提出的AHR方法將模型在兩個房間中相互遷移以驗證該方法的有效性。由于一般行為識別模型在行為識別中將考慮了用戶個人習慣等，具有較為明顯的個人特征，而HH107和HH121兩個數據集的用戶是相同的，具有一致的行為習慣和活動周期，因此使用這兩個數據集進行實驗可以更多屏蔽無關因素，更有說服力。

圖8展示的是基于HH107數據集訓練的分治動態記憶網絡模型[16](divide and conquer dynamic memory network，DC-DMN)在使用本文提出的自適應場景的行為識別遷移方法后，對HH121數據集中相同用戶的行為識別效果。由圖可知，DC-DMN模型在HH107房間中的識別準確率為92.65%，在使用AHR方法將其遷移到具有不同房間構造、傳感器數量、布置的房間中時，其仍然能夠保持83.86%的準確率，遷移后的行為識別仍然具有高于GRU、HMM等網絡模型的識別精度，具體為HH107遷移到HH121發生了8.79%的識別精度損失。同理，圖9展示的是基于HH121數據集訓練的行為識別效果以及遷移后的識別精度，由圖可知，在遷移前后識別準確率的損失為6.37%，且遷移后的識別效果同樣優于其余基礎神經網絡模型的識別效果。

圖8 HH107遷移到HH121后的識別效果

圖9 HH121遷移到HH107后的識別效果

由實驗結果可知，使用AHR方法遷移時兩房間的識別效果都發生了一定的精度損失。這主要是兩個因素導致的，第一，由于HH121房間中的客廳與餐廳沒有明確的隔離，難以界定用戶數量；第二，用戶一些客廳活動有一定概率發生在餐廳，同樣餐廳活動也可能發生在客廳，給判定兩功能房的物理空間范圍帶來了難度，針對該問題可通過設計多空間組合進行優化完善。

綜上，我們分別對HH107和HH121兩個房間進行遷移學習，都取得了較高的識別準確率以及較小的精度損失。由此可以驗證本文提出的遷移方法能夠有效的在不同的缺少標注數據的房間中進行遷移學習，并保持較高的性能。因此其能在實際場景中應用。

上述實驗已經驗證了本文提出的遷移方法在多場景下具有較好的遷移效果，能夠有效屏蔽房間構造以及傳感器的差異。接下來，為了確認使用AHR方法的有效性，我們將本文提出的遷移方法與現有的一些經典域適應遷移方法進行了比較實驗，結果如圖所示。

針對橫向比較部分的實驗分為兩個模式，一個是從HH107遷移到HH121房間，另一個是從HH121遷移到HH107。圖10表示的是不同的遷移方法將模型從HH107遷移到HH121的識別準確率和F1值。

圖10 不同遷移方法將HH107遷移到HH121的識別效果

由圖10可知，本文基于JDA提出的AHR遷移方法相比JDA基準方法遷移后的識別準確率高6.39%，且精度損失更小。AHR方法效果最高可高于基準方法12.57%。

圖11表示的是不同的遷移方法將模型從HH121遷移到HH107的識別準確率和F1值。由圖可知，AHR遷移方法相比JDA基準方法遷移后的識別準確率高14.2%，該數據集下AHR方法效果最高可高于基準方法18.61%。基于此可驗證本文提出的AHR方法的遷移效果明顯優于基準方法，對于行為識別模型的遷移具有顯著效果。

圖11 不同遷移方法將HH121遷移到HH107的識別效果

4 結束語

為提高模型的魯棒性和可擴展性，本文引入區塊鏈思想，設計了基于環境傳感器的動態感知算法以解決環境傳感器發生異動所造成的模型性能不穩定的問題。同時，基于動態感知算法進一步地提出了自適應場景的行為識別遷移方法，通過模型自適應地屏蔽多種源域數據維度地差異，以適配于實現更好的遷移學習。最后，使用標準數據集驗證了本文提出的模型能夠增強模型在人類行為識別模型的魯棒性和可擴展性。

本文提出的模型未考慮到不同用戶習慣的標注數據的稀缺。我們未來的工作將致力于分析不同用戶行為之間的關聯，設計相應的遷移方法，進一步減少模型的限制條件，擴大適用場景。