基于紅外陣列傳感器的人體行為識別系統研究

王召軍，許志猛，陳良琴

基于紅外陣列傳感器的人體行為識別系統研究

王召軍，許志猛，陳良琴

（福州大學 物理與信息工程學院，福建 福州 350108）

隨著人口老齡化的到來，為了避免發生意外事故，對老人日常活動行為進行識別和監測的安全監護系統的需求不斷增長。傳統的基于攝像頭拍攝或者穿戴式傳感器的活動狀態監測系統存在著隱私保護和使用不方便等不足。為此，本文設計一種基于紅外陣列傳感器的人體行為識別系統。該系統通過檢測環境中的溫度分布和變化情況識別人體行為，不需要在老人身上佩戴任何設備，尺寸小易于安裝，在黑暗環境中可正常工作，且由于采集到的是低分辨率信息，不會造成隱私泄露，對比傳統方案具有明顯優勢。從采集到的溫度分布信息中提取特征并采用K最近鄰（K-Nearest Neighbor, KNN）算法實現了“走”、“坐”和“跌倒”3種狀態的識別。實驗結果表明平均準確率可達到95%，其中跌倒準確率為97.5%，行走準確率高達100%，坐下準確率為92.5%。

行為識別；紅外陣列傳感器；多特征提取；K-近鄰算法

0 引言

隨著科學和醫療技術快速發展，人類的整體壽命逐漸延長，人口老齡化成了全球問題。隨著老人的身體機能慢慢減弱，跌倒及其引起的傷害已成為老年人健康和安全的重要威脅[1]。在中國有1.3億老年人，每年出現超過2500萬次跌倒事故[2]。如何保障老人的日常生活安全已成為家庭和社會必須面對的重大問題。因此，對于老人特別是獨居老人的健康狀態和行動安全提供監測的系統得到了廣泛關注。

現階段，針對跌倒檢測國內外主要有4類技術[3-6]：基于智能手機的跌倒檢測、基于可穿戴式設備的跌倒檢測、基于視頻的跌倒檢測以及基于聲學的跌倒檢測系統等。基于智能手機的檢測方案，利用手機內置的加速度傳感器、陀螺儀等可以實時采集使用者的狀態并通過算法判斷是否跌倒，由于該方案需要受監測對象一直攜帶手機才能正常工作的限制，使用上存在較大弊端；基于可穿戴式設備的方案與基于智能手機方案缺點類似，都要佩戴或者攜帶設備；基于視頻的檢測方案對使用者沒有太多的限制，但易受到光照影響且容易造成隱私泄露，在臥室、衛生間等場合不適合使用；基于聲學的跌倒檢測方案通過分析跌倒時對地面的撞擊，提取聲音或者地板震動等特征，但由于其他外物造成聲音干擾的情況時常發生，準確率較低。為此，日本的Jihoon Hong等人提出了使用松下Grid-eye的8×8紅外陣列傳感器設計一個跌倒檢測系統[7]，通過監測人體紅外輻射溫度分布情況識別跌倒動作。2017年，上海大學的楊任兵等人提出了基于同一款傳感器采集的紅外圖像的多特征提取的跌倒檢測算法[8]。傳統視頻監控一方面會暴露隱私，另一方面容易受到光照條件的影響造成在黑暗環境中無法正常工作，尤其在易發生滑倒的浴室、衛生間等環境中會被霧氣影響采集圖像困難無法達到監測目的。與視頻監測相比，紅外方案對物體紅外輻射溫度進行檢測能夠解決隱私保護、光照變化、陰影和夜間可視性等問題，應用場景更多；視頻圖像采用模糊化處理等技術避免隱私泄露，仍然存在硬件被破解的問題，而紅外熱電堆采集的是溫度點陣，硬件上無法獲得清晰圖像，隱私保護更安全可靠。考慮到對老人日常活動行為的監測具有防范發生意外的重要意義，雖然上述兩個基于紅外陣列傳感器的檢測系統對于意外摔倒有較好的監測效果，但尚未實現對人體坐下、行走等其他動作的識別。

為了解決以上問題，本文基于德國海曼（HEIMANN Sensor）公司的HTPA 32×32紅外陣列傳感器設計了一個人體行為識別系統。

1 行為識別系統設計

1.1 紅外陣列傳感器介紹

紅外傳感器如圖1(a)所示，其主要參數如表1所示。該傳感器內含熱電堆元件，可采集被探測物體表面紅外輻射，不受光照因素影響，在黑暗狀況下也可以探測人體的溫度分布圖像。由于該傳感器分辨率低，即使將溫度值轉換成偽色彩圖像也可以確保隱私不被泄露，如圖1(b)所示為一個手掌的紅外溫度分布圖，從圖中僅能看清目標輪廓，細節信息不會泄露。

1.2 系統構成

人體活動識別系統整體結構如圖2所示。系統主要由紅外陣列傳感器、基于樹莓派的溫度數據采集平臺和基于個人計算機（Personal Computer, PC）的動作識別平臺構成。紅外陣列傳感器吊裝在天花板上，由樹莓派通過I2C接口實現控制，實現探測區域的溫度分布信息的采集；采集到的溫度數據通過樹莓派內置的WiFi發送到PC端，PC端的識別程序從溫度分布數據中提取5種特征，分別經過K最近鄰算法[9-10]、支持向量機（Support Vector Machine, SVM）算法[11-12]和卷積神經網絡（Convolutional Neural Network, CNN）算法[13-16]進行分類，并與數據庫數據對比，判斷溫度分布數據對應人體的動作類別，進而完成人體動作的識別。

表1 傳感器的規格參數

圖1 紅外陣列傳感器

圖2 系統構成設計

Fig.2 System composition design

2 行為識別系統算法

動作識別算法流程圖如圖3所示，該算法分為3步：人體檢測，提取特征和分類。PC端接收到溫度分布數據后，計算前后兩幀或者兩幀以上的連續最大溫度分布方差：若前后連續兩幀或者兩幀以上的方差均小于溫度方差閾值，則視為此時無人；若前后連續兩幀或者兩幀以上的方差均大于設定溫度方差閾值，則此時探測區域有活動的人存在。若存在活動的人，提取數據特征與數據庫中的訓練數據對比分類，進而判斷出發生的動作。

圖3 行為識別算法流程圖

2.1 人體檢測

在室內無人活動場景下，環境溫度分布數據均勻且變化小，但有人存在且發生動作時，溫度分布數據就會發生波動，進而提取特征。

海曼HTPA 32×32紅外傳感器發出的溫度分布第幀可以表示為：

式中：a是第幀的第(,)個溫度值。通過計算時間窗寬度為10幀內的每個像素的方差判斷是否有人。

當前幀的第(,)像素的溫度方差計算公式為：

當前后連續兩幀或兩幀以上的溫度分布方差大于溫度方差閾值th時，則認為探測區域有活動的人存在并提取特征。

溫度方差閾值th的選擇會影響算法的準確率，選取太大，漏檢率升高，選取太小，增加計算量，誤判率也會提高。因此，本文閾值th的確定方法為選擇室內環境無人的情況下，運行實驗測試裝置5min，計算這段時長內的最大溫度分布方差，重復測試5次，選擇5次實驗中的最大值作為閾值th。通過實驗測試閾值選取為2。本實驗通過計算溫度方差來判斷檢測區域是否存在活動的人。溫度方差是由每幀內像素點的溫度值與滑窗內像素點平均值差值的平方和決定，因此當室內溫度升高或者降低時，每幀中像素點溫度值會增加或者降低，滑窗內像素點平均值也隨之升高或者降低，兩者的差值變化較小，溫度方差閾值受溫度值影響較小。

2.2 特征提取

探測區域有活動的人存在時，提取出5種關于人體姿態的特征。當最大溫度分布方差大于溫差閾值時，提取平均有效像素點數量、激活幀act、反應像素的最大數量max、最大溫度分布方差max、有效動作面積real等5種特征，圖4中選取部分像素點方差圖像，具體方法如下：

1）平均有效像素點數量：根據紅外熱源的等效模型[17]可知，人體可近似等效于直立的圓柱體，高度影響紅外輻射強度，且人體的上半軀干部分比下半部分紅外輻射能力強。紅外傳感器對人體敏感程度還和運動方向有關，紅外傳感器對于徑向移動反應不敏感，對于橫切方向移動最敏感。在室溫閾值為15℃的環境下，人體處于靜態時，測量出超過室溫閾值的溫度像素點的總數量除以總幀數，就是超過室溫閾值的單幀平均像素點數量，即為平均有效像素點數量，該特征可表示為：

靜態下，發生行走、坐下和跌倒時，受高度影響，行走時的單幀內平均有效像素點數量最多，跌倒時的單幀內平均有效像素點數量最少。

2）激活幀act：當前后連續兩幀或兩幀以上的最大溫度分布方差大于溫差閾值時，則該幀為人體移動的開始幀，記為第1幀；當前后連續兩幀或兩幀以上最大溫度分布方差小于溫差閾值時，則該幀為人體移動的結束幀，記為第2幀。如圖4所示，該特征可表示為：

act＝1－2＋1 (5)

該特征表示發生動作所持續的時間，若室內環境中沒有人，該特征值很小且基本不發生變化；但當有人存在并發生運動時，該特征值會變大。在發生行走、坐下、跌倒動作時，行走所花費時間最長，因此行走的激活幀的值最大。

3）反應像素的最大數量max：表示在第1幀到第2幀之間，每幀的1024個單像素點數的方差大于溫差閾值時的最大像素數量。該特征表示紅外傳感器下發生相應動作采集到的像素點的數量。在發生行走、坐下、跌倒動作時，由于高度因素，行走時的反應像素的數量最大，如圖4所示。

4）最大溫度分布方差max：表示在第1幀到第2幀之間的最大溫度分布方差。該特征表示運動趨勢的變化程度。在發生行走、坐下、跌倒動作時，跌倒屬于意外發生，運動狀態從站立狀態急劇變化成平躺狀態，運動趨勢變化最大；其次，坐下的動作變化趨勢要比行走大，因此跌倒的溫度分布方差最大，如圖4所示。

5）有效動作面積real：把人體發生動作近似輪廓化成規則矩形，計算發生動作近似面積大小即為有效動作面積。通過測得超過激活幀中每一幀內的活動像素點數量除以每平方的像素點數量即可得到該幀上采集到的實際動作發生的大致面積，該特征可表示為：

real＝/(6)

有效動作面積real不僅可以作為訓練特征，同時也可以作為校驗數據驗證算法判斷是否準確，通過有效動作面積與實際估算動作面積相比較，即可判斷出發生哪種動作。

2.3 分類算法

通過與SVM算法和CNN算法的分類效果對比，本文選擇融合多特征且識別率高的KNN算法進行分類。在分類中，將測試數據與數據庫中的訓練數據進行比較，進而判斷出發生的實際動作。KNN算法原理是如果一個樣本在特征空間中距離個最相鄰的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別，并具有這個類別上樣本的特性，一般距離用歐氏距離度量。K值的選擇會影響分類的準確性，K值太大增加算法計算時間，K值太小容易過擬合，因此，使用交叉驗證法[18]確定K值。

3 傳感器采集數據的校準

由公式(6)可知，動作識別所采用的特征涉及人體肢體在傳感器檢測數據中的面積計算。本系統采用的實驗模型及像素位置如圖5所示，從圖中可以看出，傳感器的安裝高度和角度會影響面積計算結果。為此，有必要根據傳感器的安裝高度和角度對采集到的數據進行校準。

圖4 提取的特征：Kact，Pmax和Vmax

圖5 實驗模型及像素位置

3.1 根據安裝角度的數據校準

已知紅外傳感器視野角度為33°×33°，假設紅外傳感器方向與垂直地面方向的夾角為，且0°＜＜57°，傳感器安裝存在夾角的情況下，特征值中使用到的探測面積有地面探測面積d和頭部高度探測面積head兩種。計算公式如下：

d＝22tan33°[tan(＋33°)－tan(－33°)] (7)

式中：表示紅外傳感器距離地面的垂直高度。

根據模型角度得出移動的人體頭部高度模型探測面積的計算公式如下：

head＝2(－)2tan33°[tan(＋33°)－tan(－33°)] (8)

式中：表示人的身高。

通過公式(6)計算有效動作面積real，可以得出：

式中：根據探測的是頭部還是地面的面積，分別為head和d。

將人體發生對應動作占地面積矩形化可知跌倒估算面積大約為0.9～1.14m2，實際坐下估算面積大約為0.25～0.48m2，實際行走估算面積大約為0.04～0.1m2。通過將公式(7)、(8)代入公式(9)中，可以計算出發生動作的有效動作面積，將有效動作面積和實際估算面積對比，即可判斷出發生哪種動作。

3.2 根據安裝高度的數據校準

在固定紅外傳感器高度時受到房間高度因素的影響，一般不超過3m，結合一般人體身高因素，選擇2m、2.5m和3m試驗校正，人體身高選擇1.8m（人體身高的選擇按照一般情況計算）。

當紅外傳感器方向與垂直地面方向的夾角為0°，紅外傳感器固定高度分別為3m、2.5m和2m時：通過公式(7)和(8)計算可知探測的地面最大面積分別約為15.2m2、10.5m2和6.7m2，因此每平方米的像素點數量分別約為68、97和151個。同理可計算出人體頭頂高度平面上可探測的最大面積分別約為2.4m2、0.83m2和0.0675m2，計算出此時的每平方米的像素點數量大約為420、1238和15175個。通過測得在溫度方差超過方差閾值th的[1,2]區間內像素點除以每平方的像素點數量即可得到該實際動作有效動作面積。由實驗測得在紅外傳感器高度分別為3m、2.5m和2m時人行走時的像素點數量大約320～400、400～450和450～500個，跌倒時的像素點數量大約120～130、130～150和150～200個，因此可計算出實際行走時有效動作面積大小分別約為0.76～0.95m2、0.32～0.36m2和0.029～0.033m2，實際跌倒時的有效動作面積大小分別約為1.76～2.94m2、1.3～1.5m2和0.99～1.32m2。

綜上所述，當紅外傳感器高度為2m時有效動作面積與實際估算面積最為符合，因此紅外傳感器安裝高度為2m。

紅外傳感器經過安裝角度及高度的校準，將人體發生有效動作面積與實際估算面積對比，即可判斷出發生哪種動作。

4 實驗

4.1 實驗裝置

實驗使用德國海曼公司HTPA32×32紅外陣列傳感器；樹莓派使用3B型號，其系統基于Linux，有SD/MicroSD卡、內存、硬盤，主板上有USB接口和以太網接口，HDMI高清視頻輸出接口、GPIO接口，WiFi通信模塊，實驗裝置如圖6(a)所示。

圖6 實驗模擬圖

4.2 實驗環境

本實驗的實驗環境選擇室內普通辦公房間，室溫15℃左右，實驗測試場景如圖6(b)、(c)、(d)所示。實驗裝置為一個傳感器垂直吊裝在天花板上，高度為2m。被測實驗人員需要根據要求完成行走、坐下和跌倒3種動作。

4.3 獲取測試數據

本文使用KNN算法和SVM算法實驗時，測試8名人員（4男4女），要求被測人員在檢測區域依次完成行走、坐下和跌倒3種動作，每種動作重復10次，然后保存每次實驗數據，最后獲得240組數據，其中SVM算法進行分類時，訓練集為122組，測試集為118組，SVM模型含有兩個重要的參數和，其中為懲罰參數取值范圍為2－2～24，為選擇徑向基函數（Radial Basis Function, RBF）后自帶的參數，取值范圍為2－4～24，調整和，當準確率最高時參數為5，參數為1.8。使用Keras和CNN構建分類器，搭建的VGGNet結構包括5層卷積層、3層池化層和1層全連接層，其中卷積層使用線性整流函數（Rectified Linear Unit, ReLU）為激活函數，全連接層使用Softmax分類器，訓練輪數與每次訓練批次數量的乘積要大于圖片數量，所以網絡訓練總次數設定為500輪，每個訓練批次數量為32，依次改變學習率的大小0.1、0.05、0.01、0.005、0.001、0.0005以及0.0001，統計行為動作識別準確率，最后選擇識別率最高時的學習率0.001。使用CNN算法識別姿體動作實驗時，測試6名人員（4男2女），總保存11420張圖片，其中訓練集11120張，測試集300張，實驗行為動作模擬結果如圖7所示。

圖7 姿態動作模擬圖

4.4 KNN算法最優K值的選擇

本文使用交叉驗證法確定最優值，一般值大小不超過10。將實驗測得的240組數據集，按照不同比例分成訓練集和測試集，以3為初始值，2為步長依次選取不同值進行分類計算相對應的準確率，選擇準確率最高的作為最優值。如表格2所示，可得出最優值為3。

表2 交叉驗證結果

4.5 實驗算法對比及結果

實驗將KNN算法、SVM算法和CNN算法準確率結果進行對比，如表3所示。

表3 3種算法準確率結果對比

由KNN算法、SVM算法和CNN算法的實驗分類識別結果可知，KNN算法識別準確率比SVM算法和CNN算法準確率高。但KNN算法中坐下的識別率較行走和跌倒低，這是因為坐下和跌倒兩種動作易造成錯誤分類。

5 結論

本文提出了一種基于紅外陣列傳感器的人體行為識別系統，通過提取監測區域溫度分布信息的特征，并使用KNN算法測得行走、坐下和跌倒的檢測準確率分別為100%、92.5%和97.5%，3種人體行為的平均識別準確率為95%。該系統在老年人生命健康安全監護領域具有很高的應用價值。未來，可進一步結合步態識別技術分析檢測到的動作對應的人員身份，以便在系統檢測到異常行為動作時可以做出更加準確的處理方案。

[1] 蔡倫, 林岑, 周鼒, 等. 老年人跌倒的公共衛生研究進展[J]. 中國老年學雜志, 2018, 38(9): 222-225.

CAI Lun, LIN Cen，ZHOU Zi，et al. Advances in public health research on falls of the elderly[J]., 2018, 38(9): 222-225.

[2] 呂汶聰, 張志靜. 老年人跌倒現狀及護理對策[J]. 現代醫學與健康研究電子雜志, 2018: 119-119.

LV Wencong, ZHANG Zhijing. The current situation of elderly fall and nursing countermeasures[J]., 2018: 119-119.

[3] 吳志強, 曹蕾, 王凱, 等. 基于智能手機的人體跌倒檢測系統設計[J]. 計算機工程與設計, 2014, 35(4): 1465-1470.

WU Zhiqiang, CAO Lei, WANG Kai, et al. Design of human body fall detection system based on smart phone[J]., 2014, 35(4): 1465-1470.

[4] 左常玲. 基于視頻的自動摔倒檢測研究與實現[D]. 合肥: 安徽大學, 2012.

ZUO Changling. Research and implementation of video-based automatic fall detection[D]. Hefei: Anhui University, 2012.

[5] 王剛. 基于多傳感器的可穿戴跌倒檢測系統的設計與實現[D]. 北京: 北京工業大學, 2015.

WANG Gang. Design and implementation of wearable fall detection system based on multi-sensor[D]. Beijing: Beijing University of Technology, 2015.

[6] 李仲華, 臧春華, 楊剛. 基于噪聲嵌入的跌倒檢測系統的設計[J].微機處理, 2017(2): 74-76.

LI Zhonghua, ZANG Chunhua, YANG Gang. Design of fall detection system based on noise embedding[J]., 2017(2): 74-76.

[7] Mashiyama S, Hong J, Ohtsuki T. A fall detection system using low resolution infrared array sensor[C]//, 2014: 2109-2113.

[8] 楊任兵, 程文播, 錢慶, 等. 紅外圖像中基于多特征提取的跌倒檢測算法研究[J]. 紅外技術, 2017, 39(12): 1131-1138.

YANG Renbing, CHENG Wenbo, QIAN Qing, et al. Research on fall detection algorithm based on multi-feature extraction in infrared image[J]., 2017, 39(12): 1131-1138.

[9] LIU Chienliang, LEE Chiahoang, LIN Pingmin. A fall detection system using k-nearest neighbor classifier[J]., 2010(37): 7174-7181.

[10] 張舒雅, 吳科艷, 黃炎子, 等. 基于SVM_KNN的老人跌倒檢測算法[J]. 計算機與現代化, 2017(12):5 3-59.

ZHANG Shuya, WU Keyan, HUANG Yanzi, et al.Old man fall detection algorithm based on SVM_KNN[J]., 2017(12): 53-59.

[11] 陳瑋, 周晴, 曹桂濤. 基于SVM和閾值分析法的摔倒檢測系統[J].計算機應用于軟件, 2017(7): 182-187.

CHEN Wei, ZHOU Qing, CAO Guitao. Fall detection system based on SVM and threshold analysis method[J]., 2017(7): 182-187.

[12] Nadi M, Elbendary N, Hassanien A E, et al. Falling Detection System Based on Machine Learning[C]//, 2016: 71-75.

[13] Adhikari K, Bouchachia H, Nait-Charif H. Activity recognition for indoor fall detection using convolutional neural network[C]//2017, 2017: 81-84.

[14] FENG P, YU M, Naqvi S M, et al. Deep learning for posture analysis in fall detection[C]//2014()., 2014: 12-17.

[15] Vidigal M, Lima M, Neto A D A. Elder Falls Detection Based on Artificial Neural Networks[C]//, 2015: 226-230.

[16] Kerdegari H, Mokaram S, Samsudin K, et al. A Pervasive Neural Network Based Fall Detection System on Smart Phone[J]., 2015, 7(2): 221-230.

[17] Linhong Wang. Human infrared signal recognition using single PIR detector[C]//2011 4th, 2011: 2664-2668.

[18] 李洪奇, 楊中國, 朱麗萍, 等. 基于數據集特征的KNN最優K值預測方法[J]. 計算機應用與軟件, 2013, 33(6): 54-58.

LI Hongqi, YANG Zhongguo, ZHU Liping, et al. KNN optimal K-value prediction method based on data set features[J]., 2013, 33(6): 54-58.

Human Behavior Recognition System Based on Infrared Array Sensors

WANG Zhaojun，XU Zhimeng，CHEN Liangqin

(College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China)

With the increase in the aging population, the demand to identify and monitor the daily activities of the elderly is growing. A monitoring system can effectively prevent accidents of elderly people. The traditional activity monitoring system based on the use of camera or wearable sensors has issues, such as privacy violations and inconvenience of use. Therefore, this study designs a human behavior recognition system based on infrared array sensors. The system recognizes activities on different temperature distributions in the environment. There is no need for the sensor to be worn by the elderly. The sensor is small in size, easy to install indoors, and can work in the dark. In addition, the data acquired by the sensor have a low resolution; therefore, there is no privacy violation. The designed system has significant advantages over the traditional systems. The features are extracted from the obtained temperature data, and the K-nearest neighbors algorithm is used to identify the three poses of “walking,” “sitting,” and “falling.” The experimental results show that the average accuracy can reach 95%, of which the accuracies for falling, walking, and sitting are 97.5%, 100%, and 92.5%, respectively.

activity recognition, infrared array sensor, multi-feature extraction, KNN algorithm

TP391.4

A

1001-8891(2020)05-0231-07

2019-05-09；

2020-01-07 .

王召軍（1993-），男，碩士研究生，研究方向：無線感知。E-mail:1678022616@qq.com。

許志猛（1980-），男，副教授，主要從事無線感知、無線通信與網絡技術研究。E-mail:zhmxu@fzu.edu.cn。

國家自然科學基金資助項目（61401100）；福建省自然科學基金資助項目(2018J01805)；福州大學人才基金（GXRC-18083）；福州大學科研啟動基金（GXRC-18074）。