一種基于電視機(jī)頂盒的室內(nèi)人員感知系統(tǒng)

湯善武 鄭 鑫

（作者單位：成都凱騰四方數(shù)字廣播電視設(shè)備有限公司）

1 研究綜述

觀看電視仍然是我國老年人群的主要娛樂消遣方式之一。隨著寬帶業(yè)務(wù)的普及，我國多數(shù)家庭都安裝了寬帶電視。與之相對應(yīng)，電視機(jī)頂盒成為家庭的必備設(shè)備，它具備同時提供Wi-Fi網(wǎng)絡(luò)和電視信號的功能。而對于獨(dú)居生活的老人，感知他們的活動狀態(tài)，是及時發(fā)現(xiàn)隱患的前提。本文致力于以電視機(jī)頂盒為設(shè)備基礎(chǔ)，以Wi-Fi網(wǎng)絡(luò)的信道狀態(tài)信息的信號處理方法為技術(shù)基礎(chǔ)，將兩者相結(jié)合實(shí)現(xiàn)電視機(jī)頂盒的遞延功能——室內(nèi)人員活動感知，從而為廣播電視行業(yè)的遞延服務(wù)提供新的應(yīng)用參考和技術(shù)支撐。

一般來講，觀察室內(nèi)人員狀態(tài)的經(jīng)典手段是采用視頻監(jiān)視，但視頻監(jiān)測存在泄露家庭隱私的風(fēng)險。而CSI信號（Wi-Fi網(wǎng)絡(luò)的信道狀態(tài)信息Channel State Information, CSI）則可以避開視頻畫面的尷尬，它只存在無線電數(shù)據(jù)，可極大地保護(hù)個人隱私。目前較多學(xué)者對CSI展開了相應(yīng)研究，如王冬子等人研究了基于CSI的室內(nèi)定位技術(shù)，其核心思想是把CSI信號數(shù)據(jù)同聚類、深度神經(jīng)網(wǎng)絡(luò)相結(jié)合，通過學(xué)習(xí)建模來確定目標(biāo)的位置[1-4]。戴歡等人研究了通過CSI信號來檢測呼吸頻率或心跳頻率[5]。這些研究的共同之處是都使用到了小波變化方法來分解信號，初步提取呼吸或心跳所處的頻率區(qū)間。余鑫等人還進(jìn)一步利用了深度神經(jīng)網(wǎng)絡(luò)來確定具體頻率[6-7]；陶志勇等人利用CSI信號識別人的行為[8-9]；劉苗苗等人進(jìn)一步研究了家居行為識別，其主要的貢獻(xiàn)在于在網(wǎng)絡(luò)中使用了基于注意力的雙向長短時記憶模型提高識別的準(zhǔn)確率[10]。這些研究多是從算法層面來探討各種生命體征的檢測和各種行為的識別，與居家場景的具體條件和設(shè)施設(shè)備的關(guān)聯(lián)研究不足。本文主要研究在家庭環(huán)境中進(jìn)行CSI人員檢測的核心算法，以及算法各步驟在具體設(shè)備上的分工。

2 系統(tǒng)架構(gòu)

基于電視機(jī)頂盒的室內(nèi)人員感知系統(tǒng)的完整結(jié)構(gòu)如圖1所示，包括室內(nèi)感知單元、云上數(shù)據(jù)分析單元和手機(jī)應(yīng)用程序終端三部分。室內(nèi)感知單元是本監(jiān)測系統(tǒng)的關(guān)鍵所在，室內(nèi)感知的過程類似于雷達(dá)探測物體的工作過程：信號發(fā)射機(jī)就是Wi-Fi路由器；信號接收機(jī)就是加裝了Wi-Fi信號接收模塊的機(jī)頂盒。路由器和機(jī)頂盒也可以根據(jù)需要定制在一起，但是在工作邏輯上是分為信號的發(fā)射和接收兩部分。發(fā)射機(jī)發(fā)射無線通信的信號，信號遇到物體后產(chǎn)生反射，接收機(jī)收到信號。

圖1 監(jiān)測系統(tǒng)組成

通過對接收信號的分析可以判斷是否存在人員。本文有兩種假定條件及方法：第一種是人員在室內(nèi)有行走、坐下、起身等幅度明顯的運(yùn)動，因此可以通過檢測房間內(nèi)是否有明顯運(yùn)動信號來判斷；第二種是室內(nèi)有人，但運(yùn)動幅度很小，如呼吸運(yùn)動，這需要做精細(xì)化的檢測。雖然室內(nèi)有運(yùn)動信號不等于室內(nèi)有人，但大多數(shù)情況下這種推導(dǎo)是成立的。區(qū)分這兩種條件還有個好處是便于系統(tǒng)分而治之，這兩種假設(shè)對應(yīng)的處理方法及其需要的算力資源有差異：第一種作粗放型檢測，算力要求低；第二種需要作精細(xì)化檢測，算力要求高。但是，對于居家人員來說，大多數(shù)時候是符合第一種假設(shè)的。因此，對于第一種假設(shè)場景，可以依靠機(jī)頂盒嵌入式處理器的算力作快速檢測，以判斷是否存在人員。而對于第二種需要作精細(xì)化分析的場景，可依托機(jī)頂盒和廣電網(wǎng)絡(luò)把CSI信號數(shù)據(jù)上傳到云服務(wù)器，利用云上算力資源進(jìn)行更加復(fù)雜的信號分析運(yùn)算。

3 人員活動檢測流程

由于本系統(tǒng)涉及的檢測為運(yùn)動檢測，所以系統(tǒng)以CSI信號的幅度變換為依據(jù)作檢測。本文設(shè)計的室內(nèi)人員活動檢測流程包括CSI子載波的選擇、濾波、基于時間序列的活動信號檢測、精細(xì)化的人體特征頻率提取等4個環(huán)節(jié)。子載波選擇、濾波、時序檢測對算力的要求相對較低，可以在機(jī)頂盒中利用嵌入式處理器完成從而實(shí)現(xiàn)快速的本地檢測，這種檢測在絕大多數(shù)場景下也是準(zhǔn)確有效的。而精細(xì)化的人體特征頻率提取對算力的要求較高，若在機(jī)頂盒中實(shí)現(xiàn)復(fù)雜運(yùn)算則會增加機(jī)頂盒的成本，可利用云服務(wù)器算力資源實(shí)現(xiàn)。

人員活動檢測流程可用以下公式序列表示：第一，對CSI信號進(jìn)行Hampel濾波以去除噪聲；然后對濾波后的信號作基于時序滑窗的標(biāo)準(zhǔn)差計算以反映運(yùn)動幅度；通過門限檢測確定是否存在運(yùn)動；第二，對Hample后的信號做7層小波分解，提取其中的低頻部分，呼吸信號就隱藏在這部分低頻信號中；對低頻信號進(jìn)一步做傅里葉變換提取其頻率能量；對多個子載波的多個時變換結(jié)果進(jìn)行能量累積，在0.2～0.5 Hz范圍內(nèi)存在顯著波峰，即認(rèn)為是人體呼吸信號，對應(yīng)頻率為人體呼吸頻率。

3.1 子載波選擇

典型的802.11n可以有64個子載波，在實(shí)際應(yīng)用時某些子載波可能為空。本文選擇多個子載波數(shù)據(jù)作分析。之所以選擇多個子載波作，是為了防止某個子載波對某一區(qū)域或某一類型運(yùn)動反應(yīng)不敏感，導(dǎo)致處理結(jié)果出現(xiàn)偏差。不失一般性，本文選擇其中4個不為空的子載波數(shù)據(jù)作分析，記為：

式（1）中，xi表示選擇的第i個子載波（i=1、2、3、4），形式上是一個向量，為第i個子載波的滑窗數(shù)據(jù)。考慮到應(yīng)用目標(biāo)、設(shè)備數(shù)據(jù)處理能力，Xi的采樣頻率約為100 Hz，長度為1 000點(diǎn)，大約對應(yīng)最近10秒的采樣的1 000個數(shù)據(jù)。X為這4個子載波組成的矩陣。

3.2 Hampel濾波

Hampel濾波是一種基于中位數(shù)的濾波方法，其主要原理是通過將數(shù)據(jù)樣本中的異常值替換為中位數(shù)來去除噪聲。與傳統(tǒng)的平均值濾波方法相比，Hampel濾波的健壯性更強(qiáng)，能夠有效地處理數(shù)據(jù)中的異常值和離群點(diǎn)。本文選擇Hampel濾波來對每個子載波的時序幅度值進(jìn)行濾波，設(shè)濾波處理后的子載波矩陣為Y，記為：

其中，yi=Hampel(xi)

式（2）中，yi表示對式（1）的第i個子載波Xi作Hampel濾波（i=1,2,3,4）。

3.3 基于時序的運(yùn)動信號檢測

如果室內(nèi)沒有活動物體，那么接收信號經(jīng)濾波處理后是穩(wěn)定的。如果存在運(yùn)動物體，那么信號表現(xiàn)出不穩(wěn)定的特征。運(yùn)動越明顯，不穩(wěn)定性越強(qiáng)。因此，本文計算信號時序數(shù)據(jù)Y的標(biāo)準(zhǔn)差，當(dāng)大于設(shè)定門限時認(rèn)為室內(nèi)存在明顯活動，即人的活動。檢測過程描述為：

Z=［z1,z2,z3,z4］ , 其中zi=std(yi) ，i=1,2,3,4

式（3）中，zi為每個子載波時序數(shù)據(jù)yi的標(biāo)準(zhǔn)差；t為檢測門限，具體房間情況不統(tǒng)一，該值可以有差異，可人為在應(yīng)用時設(shè)定。只要有子載波產(chǎn)生大于判決門限的波動，即為房間里存在人員活動，即運(yùn)動屬性（M）為真（T），否則為假（F）。

上述處理步驟（1）（2）（3）對算力的要求不高，利用機(jī)頂盒的嵌入式處理器即可完成，在絕大多數(shù)場景下也是適用和有效的。若人員在室內(nèi)不存在明顯的活動，則式（3）可能會判決為F，即無人，此時應(yīng)進(jìn)一步作人體特征頻率提取以確定是否存在人員。

3.4 人體特征頻率提取

在人體典型特征頻率中，呼吸運(yùn)動較心跳和脈搏運(yùn)動等更明顯，因此本文選擇提取呼吸頻率特征來檢測室內(nèi)是否有人。小波分解技術(shù)可以得到信號在不同頻率范圍內(nèi)的特征，因此本文選用小波分解來計算呼吸頻率。由于本文CSI信號采樣率約為100 Hz，人體正常呼吸次數(shù)為每分鐘為16～20次，在情緒緊張或運(yùn)動后可達(dá)30次以上，因此本文認(rèn)為分布范圍為0.2～0.5 Hz。依據(jù)小波理論，對CSI信號作7層小波分解，取其低頻信號分量，其頻率表達(dá)范圍為0～0.78 Hz，可以覆蓋人的呼吸頻率范圍。這一過程描述為：

式（4）中，yi即是第（2）步中對第i個子載波作Hampel濾波的結(jié)果；算子Wave表示對yi作7層小波分解，得到低頻分量Ai和高頻分量Di；Ai中可能存在呼吸信號。

需要指出的是，根據(jù)菲涅爾區(qū)相關(guān)理論，由于呼吸運(yùn)動太微弱，如果呼吸運(yùn)動發(fā)生的位置或胸腔運(yùn)動的方向，與CSI的發(fā)射機(jī)、接收機(jī)相互位置不恰當(dāng)，Ai中還是很難體現(xiàn)信號。本文的解決辦法是依靠冗余數(shù)據(jù)，該數(shù)據(jù)記為：

式（5）中，i為子載波序號，總共有優(yōu)選出的4個子載波；j為采樣時間序號；N表示時間序號的最大值，反映歷史數(shù)據(jù)量；yij 為j時刻的第i個子載波上作Hampel濾波的結(jié)果；Y就是包含不同時刻不同子載波的冗余數(shù)據(jù)集。

對Y集合中的每個數(shù)據(jù)yij 作傅里葉變換提取其頻率特征曲線。若在0.2～0.5 Hz存在明顯的波峰，則認(rèn)為該信號來自人體呼吸信號，即室內(nèi)檢測到有人存在。由于人的位置和CSI信號收發(fā)位置的相互關(guān)系，并非每個yij 都能提取出呼吸頻率信號，因此本文的策略是，Y集合中只要有數(shù)據(jù)yij 能提取出呼吸信號，即認(rèn)為室內(nèi)有人存在。這一過程描述為：

式（6）中，M＇即為第（3）步中不能檢測到室內(nèi)人員時作進(jìn)一步檢測的結(jié)果。

4 實(shí)驗

本實(shí)驗環(huán)境為一房間，長寬尺寸分別為3 m和4 m。Wi-Fi信號的發(fā)送模塊和接收模塊均基于ESP32，這是當(dāng)前一種流行的Wi-Fi信號通信組件。接收模塊在收到CSI數(shù)據(jù)包后，將其轉(zhuǎn)發(fā)至PC機(jī)，PC機(jī)對其進(jìn)行信號分析。本實(shí)驗包括運(yùn)動檢測和呼吸頻率檢測兩部分內(nèi)容。

4.1 運(yùn)動檢測

此項測試檢測包括行走、起身、坐下等幅度較為明顯的運(yùn)行。按照第3節(jié)所述方法選擇4個子載波，并作濾波和基于標(biāo)準(zhǔn)差的運(yùn)動信號檢測。圖2為某子載波幅值序列信號，可以看出原始子載波存在少許噪聲點(diǎn)，但利用Hampel濾波可以遵循其基本軌跡，去除原始信號中的顯著噪聲點(diǎn)；下方的虛線為對濾波后的信號作標(biāo)準(zhǔn)差計算后的曲線。

圖2 子載波幅值曲線及其標(biāo)準(zhǔn)差

不同的子載波對于不同位置、幅度和方向的運(yùn)行，其敏感性有差異。利用4條子載波的數(shù)據(jù)作融合檢測，其依據(jù)是處理后得到的標(biāo)準(zhǔn)差時序曲線，由其可以判斷房間是否存在人員的運(yùn)動，效果如圖3所示。可以看出，在前半段4條子載波標(biāo)準(zhǔn)差平穩(wěn)，表明房間內(nèi)無動靜；后半段4條子載波標(biāo)準(zhǔn)差波動明顯，表明房間內(nèi)有動靜，即有人。只要室內(nèi)人員存在幅度較大的運(yùn)動即可被檢測到。特別在起身、跌倒瞬間變化幅度明顯。

圖3 基于4條子載波時序標(biāo)準(zhǔn)差曲線的檢測

4.2 呼吸檢測

當(dāng)室內(nèi)人員無明顯運(yùn)動時，只能通過呼吸等生命體征進(jìn)行檢測。圖4代表第3節(jié)第（4）步的處理過程，圖4（a）部分是一條含有呼吸信息的CSI子載波數(shù)據(jù)，為淺色曲線所示，以及一條經(jīng)Hampel濾波和小波變換后提取呼吸信號，為深色曲線所示；圖4（b）部分表示通過傅里葉變換提取信號頻率后發(fā)現(xiàn)0.25 Hz附近存在明顯的極大值，該頻率即可被認(rèn)定為是存在的呼吸頻率。

圖4 呼吸信號提取

需要指出的是，由于人體位置和信號的收發(fā)端存在菲涅爾區(qū)域關(guān)系，因此并非所有的子載波都能提取出呼吸信號。本文策略是只要在一段時間范圍內(nèi)存在一個子載波被檢出呼吸信息，即認(rèn)為室內(nèi)有人。該項檢測可作為實(shí)驗4.1的補(bǔ)充，但是這需要一定的算力資源，由于機(jī)頂盒算力資源有限，建議在廣電網(wǎng)絡(luò)的云端實(shí)現(xiàn)。

5 結(jié)語

本文以廣播電視機(jī)頂盒作為基礎(chǔ)設(shè)施，以居家人員感知為應(yīng)用目標(biāo)，把Wi-Fi網(wǎng)絡(luò)的CSI信號感知技術(shù)作為研究對象，探索利用廣播電視機(jī)頂盒感知室內(nèi)人員的技術(shù)方案，拓展廣播電視行業(yè)的遞延服務(wù)范圍。為此，本文系統(tǒng)梳理和研究了CSI信號的采集、濾波和檢測方法，并將其與廣播電視居家應(yīng)用和現(xiàn)有的基礎(chǔ)條件相結(jié)合，提出了活動物體檢測和呼吸特征檢測相結(jié)合的兩級方案，實(shí)驗證明該方案具有一定的可行性和有效性。本文為拓展廣播電視行業(yè)的遞延服務(wù)提供了一種新的應(yīng)用參考和技術(shù)支撐。