基于多源異構數據融合的人體跌倒檢測研究進展

姜珊 劉勇國 李巧勤 陶文元 朱斌 邢萍

(1電子科技大學信息與軟件工程學院中醫知識與數據工程實驗室，四川 成都 610054；2成都市第八人民醫院；3四川省中醫藥科學院)

跌倒是指由于各種原因導致人體無意識、非自主的體位變化，從而倒在地面或更低位置所造成的意外事件〔1〕。世界衛生組織報告人體跌倒主要受生物因素、行為因素、環境因素和社會經濟學因素等相互影響〔2〕。據預測，中國60歲及以上的老年人口2025年將達3億，2035年超過4億〔3〕。隨著年齡增長，人體功能和平衡控制能力下降，導致跌倒風險增加。研究顯示，30%的65歲及以上老年人每年均發生意外跌倒〔2〕，導致身體受傷，如骨折、顱腦損傷、扭傷及拉傷等，嚴重者甚至導致死亡，對老年人正常生活造成嚴重威脅。2008年美國和英國老年人因跌倒導致1 480億元人民幣(233億美元)和138億元人民幣(16億英鎊)的醫療費用，中國老年人每年因跌倒所致直接費用超50億元人民幣，巨額醫療費用給家庭和社會造成沉重的經濟負擔〔4〕。因此，有效防控人體跌倒已成為公共衛生領域的重要研究問題〔5〕。

人體跌倒防控包含3個方面：跌倒事件前預警、跌倒事件中檢測及跌倒事件后施救與傷害評估。人體跌倒后的跌倒狀態保持時間是決定傷害程度的關鍵因素之一，及時發現跌倒行為并報警可顯著減少跌倒事件對人體的不良影響〔6〕。人體跌倒行為檢測包含數據采集、數據預處理、特征提取及跌倒檢測。Mubashir等〔7〕根據傳感器類型將跌倒檢測系統分為3類：基于可穿戴傳感器、基于環境傳感器和基于視覺傳感器的跌倒檢測系統。Igual等〔8〕將視覺傳感器歸屬于環境傳感器類型，將跌倒檢測系統劃分為基于可穿戴傳感器的跌倒檢測系統和基于環境感知的跌倒檢測系統，前者通常將可穿戴傳感器放置于人體胸部、腰部、手腕、大腿等部位感知人體，如加速度計感知人體方位變化，陀螺儀探測人體行為角動量變化等〔9，10〕。基于環境感知的跌倒檢測系統通常采用紅外傳感器、震動傳感器、麥克風、雷達和視頻傳感器等設備放置于室內對人體進行定位與跟蹤。研究人員發現，基于單一傳感器的跌倒檢測系統由于單一數據類型不能完整表征人體跌倒時身體姿態變化，造成檢測精度不足〔11〕，故引入多傳感器通過多源異構數據融合技術提高人體跌倒檢測系統的檢測性能〔12〕。多源異構數據融合是將多傳感器數據進行關聯與組合，實現多源信息準確全面地推斷和估計〔13〕。根據融合方式可分為集中式融合和分布式融合〔14〕，集中式融合將多傳感器的測量數據傳輸至融合中心，進行統一數據預處理與特征提取；分布式融合是單一傳感器根據測量數據進行局部狀態估計并發送至融合中心，根據特定融合標準生成全局最優或次優狀態估計。根據節點處理層次可分為數據層融合、特征層融合和決策層融合〔15，16〕，數據層融合將多傳感器采集數據經最小程度處理(如加權平均或卡爾曼濾波等)后直接進行融合提取特征；特征層融合將各傳感器進行目標觀測，提取代表性特征并對特征矢量進行融合；決策層融合根據各傳感器的局部狀態估計綜合分析后進行決策。人體跌倒行為檢測系統將多傳感器的多源異構信息進行全面綜合，形成相對完整的人體感知描述，實現準確識別人體跌倒行為〔6〕。本文從傳感器類型出發，通過可穿戴融合、環境感知融合、可穿戴與環境感知結合融合三方面綜述國內外基于多源異構信息融合的人體跌倒行為檢測相關研究工作。

1 基于可穿戴傳感器數據融合的跌倒檢測

基于可穿戴傳感器的跌倒檢測系統通過可佩戴或附著于人體表面的可穿戴設備采集人體日常行為數據，經過預處理和特征提取生成樣本集進行跌倒檢測模型訓練〔17～19〕。可穿戴傳感器主要包括加速度計、陀螺儀、磁強計、肌電傳感器等。基于單一可穿戴傳感器的人體跌倒檢測由于單一數據源無法全面反映人體跌倒時的姿態變化規律，研究人員開展可穿戴傳感器融合的跌倒檢測研究〔20～24〕。

胡雙杰等〔25〕利用三軸加速度計、陀螺儀和方向計提出一種基于長短期記憶(LSTM)循環神經網絡(RNN)的跌倒檢測算法，利用滑動時間窗獲取傳感器數據，經歸一化處理后采用數據層融合作為網絡學習模型輸入進行迭代學習，通過softmax分類器進行跌倒行為識別，通過MobiAct和SisFall數據集進行測試，檢測精度達99.68%和99.58%。

Yi等〔26〕利用加速度計和心電傳感器開展人體跌倒檢測，將兩個三軸加速度計置于測試者胸部與大腿前側，通過閾值法估計人體姿勢，心電信號通過QRS信號處理技術計算心率以監測心臟活動，采用分布式融合方法通過SVM分類方法實現前向、后向、左右側跌倒的行為檢測。

李坤等〔13〕將陀螺儀和加速度計置于人體腰部設計跌倒行為檢測系統，通過中值、均值濾波進行數據預處理，采用數據級融合提取人體加速度及其動態量、靜態量、身體姿態角等特征，設計基于閾值法的跌倒檢測方法，通過前倒、后倒、側倒及日常行為(如行走、站立、坐下等)實驗測試，算法靈敏度和特異性達96%和97%。

Felisberto等〔27〕利用加速度計、陀螺儀和磁力計研制跌倒行為檢測系統應用于老年人日常監控與康復訓練，通過對比數據級融合、特征級融合、決策級融合方式，分別研究擴展卡爾曼濾波器、直接余弦矩陣、控制算法等3類融合方法，將傳感器集成模塊置于胸前、臀部和大腿外側進行實驗，發現擴展卡爾曼濾波器數據級融合方式獲得98%的最佳準確率。

2 基于環境感知傳感器數據融合的跌倒檢測

可穿戴傳感器數據融合方法促進跌倒行為識別率顯著提升，由于人體可穿戴設備數量明顯增加，造成現實場景應用困難，研究人員開展非接觸式環境感知傳感器條件下的人體跌倒檢測研究。環境感知傳感器主要包括視頻、紅外線、音頻等，基于環境感知傳感器的跌倒行為檢測通過傳感器數據采集、數據預處理和特征提取，進行跌倒行為識別〔28，29〕。單一環境感知傳感器信息類型單一，無法完整表征人體跌倒時的姿態變化，研究人探索多環境感知傳感器融合的跌倒檢測研究〔30〕。

Zigel等〔31〕采集人體跌倒沖擊地面的振動與聲音信號開展跌倒行為檢測，其中包括跌倒事件檢測和分類。跌倒事件檢測通過提取跌倒沖擊的振動和聲音信號能量特征，根據閾值法提取可疑跌倒事件；事件分類采用特征層融合提取時間特征，即從振動和聲音信號提取時間長度與振幅平方特征，此外，從振動信號提取沖擊響應譜特征并從聲音信號提取梅爾頻率倒譜系數特征，通過順序浮動前向搜索算法進行特征選擇，采用最大似然估計識別跌倒行為，其檢測靈敏度和特異性為97.5%和98.6%。

Li等〔32〕采用三軸加速度計和深度視頻傳感器，設計基于閾值法和支持向量機分類的跌倒協同檢測平臺，采用基于邏輯規則和D-S證據理論的決策級融合開展跌倒行為檢測，閾值法的檢測準確率達84.17%，支持向量機法的準確率達97.08%，協同檢測的準確率達98.00%。

Chen等〔33〕提出紅外超聲傳感器數據融合方法檢測老年人跌倒行為，紅外陣列傳感器用于熱點檢測，超聲波傳感器用于范圍檢測，根據閾值法估計受試者位置，通過數據層融合采用支持向量機分類識別跌倒行為，針對站、坐、彎腰等日常行為動作和前倒、側倒等跌倒動作開展實驗，檢測精度達91.3%。

3 融合可穿戴和環境感知傳感器的跌倒檢測

可穿戴傳感器適宜于晝間戶外環境的人體跌倒檢測，不適合室內休息和私密環境下使用；環境感知傳感器適合室內條件，不宜推廣于戶外環境應用〔34〕。研究發現將可穿戴傳感器和環境感知傳感器結合使用，可實現多場景、多信號通道的跌倒行為檢測，提高跌倒檢測精度和適應性〔35，36〕。

Poi Voon等〔37〕設計基于加速度計和音頻傳感器的跌倒檢測系統，提出基于模糊邏輯的決策層融合跌倒檢測算法處理加速度計和音頻傳感器信號，首先對人體加速度數據通過閾值法進行識別，再以跌倒音頻閾值法再次識別，最終通過模糊邏輯識別人體跌倒，針對前倒、后倒、側倒及日常行為(步行、上下樓梯、坐下、站立、蹲下等)開展實驗，跌倒檢測率達95%。

Xu等〔38〕根據人體運動中上下肢協調運動關系，提出基于協調運動融合的助行機器人系統，采用力感電阻傳感器獲取上肢握力，激光測距儀獲取人體腿部行走速度，基于模糊邏輯控制和卡爾曼濾波器的協調運動融合算法預測人體行走狀態下的運動意向，通過支持向量機進行跌倒檢測，實現提前5.8 s檢測人體跌倒。

Daher等〔39〕利用地磚下壓力傳感器和內嵌三軸加速度計針對老年公寓環境開展人體跌倒行為檢測，提取地磚表面最大壓力和壓力持續時間以閾值法確定人體姿勢(行走、站立、坐/跌倒)，基于負載地磚數量區分人體坐下與跌倒行為，對三軸加速計與壓力傳感器進行數據級融合以閾值法識別人體平躺與跌倒動作，根據模糊邏輯分類實現人體跌倒行為檢測，對人體步行、坐和站立條件下的跌倒情況進行實驗，檢測準確率分別達90.0%、94.1%和92.3%。

4 問題與展望

當前，研究人員已將多源異構數據融合技術引入人體跌倒行為檢測研究，取得多個研究成果。但研究工作仍存在以下問題：①現有研究工作關注人體日常行為的三軸加速度、角速度傳感信息和紅外、音頻等環境信息，缺乏人體生理體征信息(如血壓、心率等)以開展全維度跌倒行為檢測；②跌倒行為檢測中決策層數據融合將傳感器數據作為局部狀態估計，缺乏考慮估計結果的關聯二義性問題，導致準確性降低；③現有研究工作多在試驗條件下進行且設定統一的跌倒行為檢測參數，較難精準感知用戶的動態個性化行為。

針對上述問題，人體跌倒行為檢測后續可在以下方面開展相關研究：①開展異構多模態傳感數據的無監督表征學習，獲取血壓、心率、肌電等人體生理表征數據，自適應關聯日常行為信息，基于深度對抗學習人體跌倒時空場景并實現全維度人體跌倒檢測；②基于深度共現圖卷積構建多元模型決策框架，建立多源數據決策點，根據決策點二義性生成相鄰決策邊，引入動態規劃機制觸發決策共現性，聚合共現決策點實現多源異構傳感數據的決策級融合；③基于增量學習方法面向用戶動態個性化數據對模型進行持續更新與自適應調整，結合統計學習理論的精準泛化能力和單隱層神經網絡的高效計算速度，實現漸進個性化、跌倒感知的智能化。

綜上，隨著我國老齡化進程加快，人體跌倒成為老年群體面臨的主要危險因素之一，跌倒檢測是有效防控人體跌倒的重要研究內容。由于單一傳感器數據不能準確表征人體跌倒時身體姿態變化，基于多傳感器多源異構數據融合的人體跌倒檢測成為研究熱點。