龔江濤,初夢迪,李金,郭凱敏,宗柯宇,舒心,周谷越,聶再清
【專題:面向智能家居的理論與實踐創新】
智能家居場景下的非接觸式生理感知計算
龔江濤,初夢迪,李金,郭凱敏,宗柯宇,舒心,周谷越,聶再清
(清華大學 智能產業研究院,北京,100084)
通過對智能家居中非接觸式生理感知計算技術和應用的研究現狀進行梳理和分析,為生理計算與智能家居的結合提供技術和方法的支撐。遵循3階段綜述方法論:第1階段從交叉學科的視角對家居環境中交互的智能性出發,確定了綜述的研究計劃;第2階段從中國知網CNKI、Web of Science、IEEE、ACM、ScienceDirect等核心文獻庫中檢索智能家居、生理計算相關關鍵詞獲取相關文獻,并通過相關文獻引用網絡進一步擴展綜述的文獻集合;第3階段通過文獻研讀與主題歸納總結了可應用于智能家居場景的常見生理信號與非接觸式感知技術。非接觸生理感知計算技術有廣泛的應用前景,將非接觸生理感知計算技術與智能家居結合能夠擴展家居系統的人機交互維度,對智能家居的舒適度、交互體驗、健康管理、安全隱私等方面帶來提升。
非接觸生理感知;生理計算;智能家居
在國家政策的大力支持下,“明確數字家庭服務功能”“強化數字家庭工程設施建設”“完善數字家庭系統”被納入智能家居行業的重點發展方向,國內智能家居行業和市場均呈現積極的發展趨勢[1];與此同時“復雜動態場景感知與理解”“新型感知芯片與系統”等技術被認定為新一代人工智能關鍵共性技術[2],為家居智能化發展提供有力支撐。在智能家居場景中,提升家居產品的感知和聯通能力,開發具有情感交互功能、能準確理解人的需求的智能助理產品,實現情感交流和需求滿足的良性循環,有極大的社會價值和影響力。
在智能家居的發展歷程中,研究者們一直在積極探索如何使智能家居更好地感知用戶與環境,并做出自適應的調整,如佐治亞理工學院的Aware Home[3],麻省理工學院的House_N[4],葡萄牙的未來互動之家[5]。近年來,隨著生理感知技術、生理心理學等生理計算領域的發展,生理信號逐漸被納入人機交互系統中。本文圍繞非接觸生理感知技術和其在智能家居中的應用現狀進行系統性綜述,為讀者更好地把握非接觸式生理感知計算和智能家居的現狀提供幫助。
伴隨泛在環境智能與普適計算的發展,智能家居交互體驗正在向更自然、無感、隱式的形式轉變。這也要求智能系統對于用戶數據的獲取與分析要更加全面和細致。因此,智能家居交互系統對用戶的多維度數據感知提出了新的需求。隨著生理感知技術、生理心理學等生理計算領域的發展,生理信號逐漸被納入智能人機交互系統中[6]。人體生理信號主要由自主神經系統調節,能夠真實客觀地反映出人體的內在狀態,具有客觀性和實時性的優勢[7]。通過傳感器實時測量和分析生理信號,有助于打開計算機和用戶之間的隱式溝通渠道。結合生理計算,智能系統能夠以隱式的方式監測、分析用戶的生理心理活動,并作出合適的交互反饋[8],并且用戶在與智能系統的交互過程中,不必有意識地發出指令和控制,便能夠隱式的與智能系統進行通訊,從而提高人機交互的性能和效率。
生理計算作為機器理解人類的重要技術之一,在智能家居中有重要應用前景。將生理信號引入家居系統,擴寬了人機系統的通信渠道,能夠提升智能系統的自適應能力,降低用戶交互過程中的認知負荷,提供更愉快的交互體驗[9]。特別是非接觸式生理感知技術,可以通過無感隱式方式提供交互輸入,例如利用非接觸熱像儀可自然無感地獲取人體溫度信息,從而幫助家居系統計算用戶熱舒適度,動態的調整室內環境[10],毫米波雷達可在家居空間中對用戶進行自然無感的生命體征監測和睡眠狀態監測輔助日常健康管理[11],Wi–Fi信號可用于推導用戶特定的呼吸特征,使智能系統以隱式的形式進行用戶識別,提升家居系統的安全性[12]。
目前非接觸生理感知技術和其在智能家居中的應用現狀尚缺乏系統性的綜述,故本文擬圍繞非接觸式生理感知計算與智能家居系統融合,從非接觸式生理信號類型、非接觸式感知計算技術的分類和其在智能家居中的應用情況進行調研和綜述。
本文遵循了被廣泛應用的3階段方法[13]對家居場景下的非接觸式生理感知計算研究現狀,以及國內外最新進展進行綜述,見圖1。首先,第1階段規劃審查以交叉學科的視角從家居環境中交互的智能性出發,確定了家居場景下非接觸生理感知計算領域的研究問題與綜述方向。第2階段主要從5個數據庫進行文獻檢索。其中英文文獻以Web of Science、ScienceDirect、IEEE和ACM數據庫為主要來源;中文文獻以中國知網CNKI為主要來源;Google Scholar搜索引擎用于文獻補充檢索,以確保收據收集的全面性。隨后確定了生理感知計算類關鍵詞、非接觸技術類關鍵詞以及智能家居類關鍵詞,并組合不同類別關鍵詞在數據庫中進行檢索,見圖2。第3階段通過文獻研讀與主題歸納梳理了可應用于智能家居場景的常見生理信號與非接觸感知技術,并對非接觸生理感知計算在智能家居中的應用、最新進展和趨勢挑戰進行分析總結,形成最終綜述報告。

圖1 綜述方法及流程

圖2 檢索關鍵詞
隨著泛在的生理信號檢測傳感技術與智能計算技術的發展,生理信號逐漸得到人機交互領域的關注。研究者們嘗試將生理信號作為智能系統的輸入,幫助系統感知用戶、理解用戶,以此來擴展系統的智能性,并增強交互體驗[14]。目前生理信號的感知技術按檢測方式可分為植入式、接觸式和非接觸式[15]。植入式和接觸式檢測通常需要使用電極或傳感器接觸生物體來獲取生理信號,沉重繁瑣的傳感設備會導致用戶行動受限,阻礙交互任務的執行,不適合在日常環境下使用。相比于植入式和接觸式的生理信號檢測方式,非接觸式生理感知技術能夠在不接觸人體的情況下,間隔一定距離或介質來探測生理信號[16],從而對廣泛空間內的用戶進行長時間連續穩定的自然監測,為生理信號與家居智能系統的結合提供了新的可能性,見圖3。文中將重點關注可通過非接觸式方式感知的生理信號及其功能應用。通過文獻研究與歸納,梳理了人機交互領域中三類常見的非接觸生理體征信息(呼吸信息、體溫信息和心血管系統活動信息),見表1。

圖3 智能家居場景下的非接觸生理信號
表1 常見非接觸式生理信號及其應用案例

Tab.1 Physiological signals and their applications
呼吸活動所產生的呼吸信號是人體重要的生理體征信息之一,常見的呼吸信號指標有呼吸頻率、呼氣量、呼吸氣體分析等[17]。人體在呼吸過程中會伴隨胸腔的起伏,通過測量人體胸腔的周期性變化能夠獲取人體呼吸頻率、呼吸深度等信息[18]。常見的非接觸式呼吸測量技術有基于計算機視覺的RGB相機或RGB–D深度相機探測,以及基于無線射頻信號的生物雷達探測、Wi–Fi探測等[17]。除胸腔起伏外,人體呼吸活動過程中口鼻區域呼出氣體的溫度濕度變化,也能夠反應人體呼吸信號,并能夠通過非接觸式的感知技術探測,例如紅外熱成像技術[19]、呼吸氣體探測等[20]。
呼吸信號能夠反應人體自主神經系統的調節過程[21]。呼吸信號的感知能夠幫助智能系統了解人體身體狀態與心理狀態,并作出合適的響應。目前呼吸信號已被應用于呼吸系統疾病監測[22]、睡眠狀態監測[23-24]、壓力監測[25]、認知負荷監測[26-27]、焦慮與抑郁狀態分析[28]等。在健康領域,Bai等[29]利用紅外傳感器探測老年人胸部起伏來進行睡眠呼吸暫停監測。Liao等[30]提出一種支持呼吸調節和放松的多媒體系統。該系統利用2個深度攝像機對用戶進行非接觸式呼吸檢測,同時利用多媒體裝置音視頻反饋對用戶進行呼吸引導,幫助用戶緩解精神壓力。在智能家居領域,有研究人員發明了一套分析室內空間人體呼吸氣體成分的系統,該系統可應用于智能家居中,通過分析呼吸氣體,觸發室內空氣情節裝置來改善環境空氣[31]。
人體體溫分為核心溫度與體表溫度,其中核心溫度指人體胸腔、腹腔和中樞神經的溫度;體表溫度指人體最外層的皮膚溫度[32]。體溫的變化與局部血流量及新陳代謝的變化有關,能夠反映人體交感神經系統的活動情況[33]。非接觸式體溫測量技術大多基于紅外輻射原理,探測儀器通過接收人體輻射的能量從而獲取人體溫度信息[34]。
體溫監測在智能家居中常用于判斷人體的熱舒適度,以幫助系統動態調整室內溫度[35-36]。Franken-berg等[37]提出了一種名為LATEST的基于個人熱舒適度的室內溫度控制模型,該模型利用機器學習分析用戶心率和體溫判斷用戶熱舒適度偏好來生成個性化的溫度控制模型,并且研究人員對3名受試者進行了為期6周的驗證,評估結果表明與手動室內溫度調節相比,LATEST使用戶減少了79%的室溫控制操作頻率,同時增加9%的熱舒適度。此外也有研究證明人體溫度能夠反映豐富的高階用戶狀態,如認知負荷[38-39]、工作量[40]、壓力水平[41]、情緒狀態[42]等。Abdelrahman等[38]利用紅外熱成像相機獲取用戶面部溫度,通過計算用戶額頭和鼻子之間的溫差來實時判斷用戶認知負荷的變化。他們指出,此類非接觸式的技術能夠隱式的監測推理用戶認知狀態,來幫助智能系統實時調整交互任務的難度與復雜性,從而動態地適應用戶當前的認知能力。Bao等[43]通過比較人體手腕、前額、入耳處的體溫來評估用戶清醒時的困倦程度;Wei等[44]利用人體手腕處的溫度來識別用戶的睡眠狀態;Tag等[45]通過分析人體面部的溫度變化來判斷用戶的積極情緒和愉悅感。利用此方法,研究人員可以將觸發用戶積極狀態的影響因素作為智能系統的輸入,來誘導用戶在交互過程中保持積極性和愉悅感。
人體心臟活動、血液循環和呼吸活動會聯合引起心血管系統生理信號的變化[46]。文中將對常見的可通過非接觸式方式感知的心血管系統生理信號進行概述,分別為心率、心率變異性、血壓、血氧飽和度,以及脈搏信號。
心率指人的心臟節律,是重要的人體生理檢測指標。常見的非接觸式心率測量方法主要有,探測皮膚血液反射光變化與探測人體心臟跳動的物理起伏。在心率信號的應用方面,Lee等[47]提出了一種基于心率的人體代謝率估計算法,該算法可幫助智能家居系統監測用戶活動水平和代謝率,從而控制家用電器如室內溫度系統和照明系統,為用戶提供更舒適的環境;Kawasaki[48]利用心率估計用戶的專注程度、嗜睡度和疲勞度,并在時間為10 min的滑動窗口中取得了最高的模型識別精確度;Hotta等[49]則通過分析用戶長期心率特征和實時心率特征來判斷用戶的進食和消化狀態;Kalam等[50]通過監測用戶心率判斷情緒喚醒水平,結合情感反饋調整室內環境從而提升智能家居系統的舒適度。
心率變異性指竇性心律在一定時間內的周期性波動,反應了心臟自主神經調節的作用[51]。研究者們探索了不同的傳感器證實了心率變異性非接觸式測量的可行性[52-53]。心率變異性也被認為是大腦與心血管系統復雜相互作用的體現,能夠反應心理認知相關的神經系統活動[54-55],它的應用已被多個領域的研究者探索,例如分析認知負荷與注意力[56-57]、情緒調節[58-59]、渴望狀態與成癮性[60],以及焦慮抑郁等精神健康狀態評估[61-62]。孔令琴等[63]利用成像式光電容積描記技術提取人體心率變異性信息。并結合表情信息使用支持向量機進行訓練來進行心理壓力監測;Hwang等[64]提出了一個基于心率變異性的日常壓力監測系統,該系統可從用戶HRV數據中提取壓力水平,并將壓力水平與用戶日常生活情景進行匹配,從而探索誘發用戶壓力的因素,幫助用戶在日常環境中減輕壓力。
血壓指血液在體內循環時施加在血管壁上的壓力,常被用于心血管系統健康評估[65]、睡眠質量評估[66]、認知負荷與精神壓力評估[67-68]等。傳統血壓的測量多基于接觸式血壓式的方法,如電子血壓計和水銀血壓計。近年來有研究者在探索非接觸式的血壓測量方法[69],例如Guo等[70]開發了一種適用于典型辦公環境的新型非侵入式血壓監測系統OfficeBP,通過獲取人體面部脈沖信號和指尖脈沖信號,來計算測量一次心跳從動脈近端傳播到遠端部位的脈沖傳輸時間,從而判斷人體血壓,幫助用戶進行日常血壓監測,提升健康管理意識,降低疾病風險。
血氧飽和度的測量可用來評估人體血液攜帶氧氣的能力,同時可反映新陳代謝水平[71]。人體的呼吸作用能夠使氧氣與血液中的血紅蛋白結合,從而引起血液顏色的變化。血氧飽和度已被應用于呼吸系統及心血管系統疾病監測[72-74]、睡眠狀態檢測[75]、認知負荷[76]等。
脈搏信號是由心臟周期性收縮、舒張推動血液沿血管運行引起的動脈管壁周期性波動,其強度、節拍、速率受心臟活動、血管狀態以及血液黏性的影響,能夠綜合反應心血管系統的生理特性[77]。常見的脈搏信號有壓力脈搏信號、容積脈搏波、脈搏傳導時間、脈搏波速度等。脈搏信號已被應用于疾病診斷[78]、用戶身份驗證[79]、心理狀態評估[80]等。例如,Kim等[81]設計了一款容積脈搏波信號的馬桶來計算用戶心率,這種將生物傳感與家居物品結合的智能產品,適合在家居場景下長期、持續地檢測用戶,并進行長期的用戶建模與健康護理。
非接觸式生理感知技術因其對生物體約束性低、可擴展性強、應用場景廣,近年來得到研究界的充分關注[82]。文中參考現有文獻中對非接觸式生理感知技術的分類法[17, 82-84],針對可在家居環境下實現無源、無感、無用戶端硬件限制的生理探測技術進行歸納。按照感知技術原理與獲取數據的形式,將常見非接觸式生理感知技術主要分為基于圖像數據的感知技術,以及基于無線信號的感知技術。其中基于圖像數據的生理感知技術分為基于RGB圖像和基于紅外熱成像兩類技術;基于無線信號的生理感知技術總結了基于雷達信號、Wi–Fi信號和聲學信號三類方法,見表2。
表2 非接觸式生理信號技術

Tab.2 Non-contact physiological technologies
3.1.1 RGB相機
1)成像光電容積圖(IPPG)。成像光電容積技術(Image Photoplethysmography,IPPG)通過監測皮膚血管反射光的周期性變化來獲取人體容積脈搏波信號(Blood Volume Pulse,BVP)。脈搏波信號包含許多重要的人體生理信息,如血壓、血氧、脈搏信號、呼吸信號等,是研究人體生理信號的重要數據[85-87]。IPPG可通過測量人體含血管的皮膚組織的透射光或反射光來計算容積脈搏波信號[85-86],常用的檢測區域有前額、臉頰、嘴鼻等面部區域,以及手部腿部等身體皮膚區域[88-89]。傳統光電容積脈搏(photoplethys-mo-graphy,PPG)的測量通常需要皮膚和傳感器之間的直接接觸。相比于PPG,IPPG采用攝像機代替接觸式測量的PPG光電二極管,來捕捉人體皮膚血管的散射光實現生理參數的監測,能夠以非接觸的形式從視頻數據中監測人體容積脈搏波信號,為遠程大面積采集人體生理數據帶來了可能。但由于可靠的IPPG信號的獲取需要充足的光照條件,并且要求用戶被監測的皮膚區域沒有遮擋,因此IPPG技術對環境光線與用戶位置有一定要求,不適用于昏暗環境檢測[90]。在IPPG的應用研究方面,Patil等[91]利用普通網絡攝像頭在自然環境光條件下記錄人臉前額區域的視頻數據,從中提取容積脈搏波信號,并結合神經網絡來估計人體血壓,該方法在20名受試者身上進行了測試取得了超過85%的準確性;Verkruysse等[92]使用環境光和簡單的消費級數碼相機遠程測量容積描記信號,以計算心率和呼吸頻率,該方法降低了IPPG信號探測對硬件設備的要求,提升了技術的可及性。
2)基于圖形位移的生理感知。
基于圖形位移的視覺生理感知技術,主要是利用圖像采集設備收集由生理活動引起的人體特定部位的微弱位移信息,利用圖像處理算法從中計算呼吸與心率信號。Massaroni等[93]利用攝像機記錄人體呼吸時鎖骨部位頸窩處的變化提取人體呼吸模式;Lin[94]通過分析視頻中人體胸部微弱位移來提取呼吸信息。與其他基于圖像的生理感知技術類似,基于圖形位移的心率與呼吸信號提取方法存在一定缺陷,如容易造成監測對象隱私泄露,并且對周圍環境中的光線等因素較為敏感,并且無法越過障礙物探測用戶。
3)紅外熱成像。人體是天然的紅外輻射源,通過探測人體的紅外輻射波可計算人體體表溫度[83]。紅外熱成像儀能夠將人體的紅外輻射波轉換為人眼可見的圖像數據,來無創、生態和無接觸地測量體表溫度。此外,由于紅外光具有穿透性能夠避免煙霧環境的干擾[95],紅外熱成像設備能夠在夜間、光線昏暗的環境下使用。但目前紅外熱成像技術仍存在硬件設備體積大、障礙物穿透性差等缺點[96]。除傳統的體溫探測外,利用紅外熱像儀也可獲取其他類型生理信號。Fei等[97]利用熱成像技術利用小波分析,提取用戶鼻孔區域熱信號中所攜帶的呼吸信息,該方法能夠以無感的方式長期監測用戶呼吸,可用于家居環境中的慢性疾病診斷、睡眠監測和新生兒護理;Lee等[98]利用紅外熱成像技術通過分析人體呼吸余熱進行呼吸模式識別,并開發了一套的非接觸式呼吸交互系統,來幫助用戶在無需使用雙手的情境下與外界物體或界面實現隔空自然交互。此外,紅外熱像儀也能夠在不接觸人體皮膚的情況下清晰顯示受試者的手臂血管圖像,以此來獲取與心血管系統相關的生理數據。Pavlidis等[99]使用紅外攝像機感知人體面部生物熱信息,并進行建模來計算血流、心跳、呼吸等生理信號,同時基于探測到的生理信號提出了桌面端壓力監測系統和睡眠習慣監測系統。多維生理數據的感知能力使紅外熱成像技術常被應用于推斷受試者的高階心理狀態,如研究壓力、恐懼、焦慮、痛苦、快樂、認知負荷等[100]。
3.2.1 雷達
近年來,雷達在非接觸式生理信號檢測中的應用逐漸得到了研究者的廣泛關注,已被應用于醫療健康、生命探測、國防及智能家居中。利用雷達技術能夠獲取人體呼吸頻率、心率、心率變異性、呼吸性竇性心律、主動脈壓力等生理信號[101]。并且雷達信號具有良好的穿透性,能夠穿透非金屬介質遠距離探測人體生理信息[102],適合家居空間下的泛在生理體征監測。目前雷達信號主要有3種調制技術,分別為連續波雷達多普勒雷達、調頻連續波雷達和超寬帶雷達[17]。
連續波多普勒(CW)雷達能夠測量目標移動速度,并且可通過相位監測獲得物體的微動信息。向人體方向發射固定頻率的連續波信號,其接收器可以捕捉到由呼吸或心跳引起的身體微動信號,以此來獲取人體的呼吸信息與心臟活動信息,見圖4。該雷達功耗低且結構簡單,具有良好的速度分辨率,但不利于區分雜波和多目標[101]。在多目標監測場景下,需采用多天線CW雷達進行分辨。此外,CW雷達檢測準確度受雷達朝向與人體體位影響較大,對雷達空間放置位置與被檢測人的位置有一定要求[103]。
超帶寬(UWB)雷達具有大帶寬的特點,相比于其他雷達UWB雷達發射信號的帶寬較大,具有良好的距離分辨率與抗干擾能力,能夠在較大空間范圍內進行多目標生理信號監測[101,103]。該雷達可通過監測呼吸、心跳活動引起的人體微小運動來計算相關生理信號。
調頻連續波(FMCW)雷達可以發射固定帶寬、重復線性脈沖周期的信號,并具有UWB雷達對距離的分辨率與CW雷達對速度的分辨力。FMCW雷達可同時分辨多個人體目標,并提取每個目標的人體生理活動引起的微動信息,為了獲得精準的生理信號識別率,雷達需要采用較大的天線帶寬;此外,相比于其他雷達,FMCW雷達制造工藝及信號處理更為復雜,成本相對較高[101]。在其應用方面,Wang等[104]使用FMCW雷達實現了多個人體目標的呼吸與心跳信號的檢測;Matkovic等[105]利用FMCW雷達構建了Wi–Mind系統,該系統通過監測用戶的呼吸心跳信號分析用戶完成任務時的認知負荷,提升智能系統的自適應響應能力。

圖4 無線生理信號感知原理
3.2.2 WI–FI
人體的存在會對Wi–Fi信號的傳輸產生影響,通過對Wi–Fi信號中的擾動信息進行分析,可計算出人體生理體征的變化。目前基于Wi–Fi的生理信號探測技術分為基于接收信號強度(Received Signal Strength,RSS)的提取方法和基于細粒度的通道信息(Chanel State Information,CSI)的提取方法[106]。RSS探測方法對用戶位置與Wi–Fi設備的距離有一定要求,并且受障礙物干擾影響大。同時,由于Wi–Fi信號的全向傳播特性,一個信號可以在一個室內空間里被多個人反射,這使基于RSS的Wi–Fi信號中提取多目標生命體征變得困難,相比于RSS,CSI探測方式可以穿透障礙物在較遠的距離內探測用戶生理信息,更適合長期穩定的生理信號監測[101]。Wang等人[107]通過研究利用菲涅耳模型和 Wi–Fi 無線電傳播特性探索了用戶呼吸深度、身體位置、方向等因素對基于CSI的Wi–Fi呼吸信號監測準確度的影響。
目前Wi–Fi信號的應用已不再局限于網絡通訊媒介,已有眾多研究者嘗試將Wi–Fi信號運用到人類活動識別[106]、生理感知[108]、環境推理[109]、用戶身份驗證[110]等方面。同時Wi–Fi技術具有信號觸達空間廣、設備簡單易安裝、成本可控等特點,適合在智能家居中推廣。對Wi–Fi信號應用的探索為智能家居交互體驗的提升帶來了新的機會[111]。林海燕等[112]研發了一套基于Wi–Fi網絡的人體睡眠生理特征監測系統,該系統可實時監測用戶的多項睡眠指標如呼吸、心率、身體動作等,可幫助用戶進行睡眠質量評估和健康預警;Liu等[113]設計了Wi–Sleep系統,該系統可通過Wi–Fi信號探測用戶的呼吸信息與睡眠姿勢,Wi–Sleep能夠在低光環境下穩健監測用戶的睡眠狀態,而且不涉及隱私問題。
3.2.3 聲學信號
近年來基于聲學信號的非接觸式生理體征監測引起了研究界的極大關注。聲學生理信號探測主要分為基于超聲信號的生理探測和基于人體聲學的探測。基于超聲信號的生理體征探測原理與基于雷達、Wi–Fi等無線信號的生理體征監測原理類似,即傳感系統通過發射信號和接受反饋信號,來分析聲波中蘊含的由生命體征活動觸發的人體微動信息,并計算相關生理信號。在其應用領域,Wang等[114]提出了SonarBeat系統,該系統利用智能手機發出的超聲信號探測人體呼吸頻率,并在不同室內環境下實現了較高的準確性。此外,有研究者探索使用聲波設備進行溫度測量。Cai等[115]使用雙麥克風設備制作了一款聲波溫度計,該溫度計依據聲波傳遞速度與介質溫度之間的關系來計算溫度,該系統實現了較高的時間分辨率和空間分辨率,且成本低廉,為構建大規模分布式熱傳感系統提供了可能性。
基于人體聲學的探測,主要通過計算機聲學技術分析人體生理體征活動產生的微弱聲音,來提取相關生理信號。Palaniappan等[116]通過對人體呼吸聲音進行聲學分析,從呼吸音中提取呼吸聲音的時域和頻域特征來計算呼吸信息。Luo[117]通過無線聲音傳感器采集用戶睡眠時的呼吸音提取呼吸信號,來研究用戶呼吸與睡眠狀態的關系。Chatterjee等[118]利用手機聲學傳感器構建了mLung++系統,該系統可通過分析用戶肺部活動聲音提取異常聲音,來實現對慢性肺病患者的長期健康檢測,并在131名用戶身上進行了驗證,達到了93.4%的異常檢測準確度。此外,有研究證明人體喉部與內循環系統具有間接關聯,人體發聲時的聲帶頻率特征蘊含一定生理信息[107]。Mesleh等人[119]通過從人體發聲的元語音信號中提取特征,來獲取人類心臟活動信息,利用傅里葉變換監測元音語音共振峰最大峰值來估計心率,該系統實現了95%的平均準確率,并可穩健地在嘈雜環境中運行。
智能家居旨在提升人類居環境的智能化水平及生活品質[120]。Alam等總結了智能家居的3個重要屬性:舒適度、健康管理和安全性[121],其中舒適度指智能家居系統能夠準確感知人類活動并提供體驗良好的自動化服務,同時能夠基于用戶遠程控制的能力;健康管理要求智能家居系統向用戶提供家庭日常健康監測及遠程醫療的服務;安全性指通過用戶身份識別驗證,以及識別授權提升智能家居系統的安全性,并保護數據隱私。智能家居系統的舒適、健康、安全,這三類屬性已在較多文獻中被提及[122-124],文中將參考Alam等的分類,對非接觸生理感知計算在智能家居中舒適度與交互體驗提升、健康管理提升、家居安全性提升,三方面進行綜述。

圖5 智能家居服務分類
未來的智能家居系統被期望具有自主性和適應用戶的能力,并智能地響應用戶需求,人與家居系統的交互方式也在向更加自然、更加契合人類認知與直覺的方向發展[125]。生理信號與家居智能系統的結合,能夠使用戶以更自然的方式與家居環境進行交互,縮短用戶與家居設備的交互路徑,使家居智能系統為用戶提供更舒適的交互服務及建議[126]。并且非接觸的感知形式符合智能家居傳感控制系統向個性化、直觀和不易察覺方向發展的趨勢。非接觸生理感知計算能夠幫助家居智能系統以無感的方式長期、穩定、連續地獲取用戶生理信息,解碼用戶短期和長期的習慣、偏好,以更好地解讀用戶狀態生成個性化的響應,從用戶狀態感知、意圖推理和用戶建模等方面提升家居系統交互體驗。
生理信號能輔助智能系統獲取用戶實時生理狀態,或通過計算用戶偏好度、情緒、認知注意力等來動態調整家居系統的交互響應,使智能家居系統更好地向用戶提供服務。例如Dimitrov等[10]利用非接觸熱像儀可自然無感地獲取人體溫度信息,幫助家居系統計算用戶熱舒適度從而動態調整室內環境;有研究者設計了一套兼具環境感知與用戶情緒感知的智能種植系統。該種植系統可根據用戶喜好調整植物的生長進程與開花時間[127];Henriquez等[128]開發了一款多感官智能鏡,該智能鏡能夠以非接觸形式感知用戶的健康水平、情緒狀態、疲勞狀態和生理體征信號,來增強用戶在日常生活中的自我感知,并指導他們提升生活方式;Mohammad等將用戶生理信號與精神喚醒度作為輸入,來提升智能家居系統的情境感知能力[129]。
除準確的用戶感知外,精準的預測用戶行為、偏好、交互意圖,并為用戶提供精準個性化的服務是提升家居智能系統交互體驗的關鍵[130]。傳統家居環境下的用戶預測研究大多基于環境感知與人類活動識別,此類推理方法僅依據物理環境與人類表現出的外在行為,并不能充分的推理預測用戶。非接觸生理感知技術可幫助智能系統獲取更豐富的影響用戶意圖與行為的內在信息,如心理狀態、認知負荷、情緒水平等,擴展了用戶預測的維度與方法。此外,智能家居系統被期望與能夠主動記憶用戶的生活習慣并生成用戶模型[131]。生理數據具有良好的連續性,可用于分析短期或長期的用戶狀態,在用戶建模分析中有加大應用前景[132]。生理信號擴展了用戶建模數據的多樣性,有助于建立更加豐富、廣泛的用戶模型,同時非接觸的探測方式能夠長時間穩定地檢測用戶數據,以進行長期用戶建模,增強智能家居系統對人的理解能力。
智能家居將在用戶日常健康護理方面發揮至關重要的作用,并被期望能夠提升用戶的健康水平,實現更健康的生活方式,逐漸成為傳統醫療服務的延伸。非接觸生理感知技術與智能家居技術的結合為醫療服務居家化,健康監測日常化提供了新的可能性,如幫助用戶獲得個性化診療服務,進行主動健康管理[127]等。
健康狀況的監測是非接觸式生理感知技術應用最為廣泛的場景之一。非接觸生理感知技術能夠收集人類健康數據,且收集過程不會給用戶生活來帶任何不便,能夠實現長時間自然連續性的健康監測。Yang等[133]利用60 GHz毫米波雷達研發了mmVita生命體征和睡眠監測系統。mmVital可同時測量多名用戶在不同姿勢下的呼吸頻率和心率,并且還可檢測人類睡眠時的中樞性呼吸暫停、低呼吸等風險狀態并作出提醒。Adib等[134]開發了一款名為“Vital–Radio”非接觸式呼吸心率測量系統,Vital–Radio能夠在8 m的空間范圍內跟蹤用戶探測呼吸心率以進行無意識、高舒適性的長期健康監測。
除身體健康管理外,非接觸生理感知技術有助于家居情境下的心理健康關懷。結合非接觸生理感知技術與生理心理計算,智能家居系統能夠實現對用戶心理健康的日常監測及正向干預。Jarvis[135]開發了一款智能家居壓力輔助系統,該系統通過改變用戶的物理環境(如光線、溫度、聲音和氣味)來幫助輕度創傷性腦損傷和創傷后應激障礙軍人進行實時的正向干預,降低他們的壓力水平。另外也有學者在探索生理感知與生物反饋技術的結合,從而幫助用戶調節生理狀態以促進健康水平,例如Yu等[136]設計了一個家庭環境光生物反饋系統,該系統通過感知用戶生理狀態調節家居環境燈光來幫助緩解慢性壓力;Morales等[137]提出了一個基于環境智能的生物反饋自適應模型,該模型根據實時采集的用戶生理數據與環境數據,對反饋刺激進行參數調整,如聽覺刺激或視覺刺激,為用戶進行個性化的生物反饋訓練,以達到疾病治療和健康管理的目的。
智能家居系統中,用戶身份信息識別與認證是保護用戶安全隱私的重要方法[138]。用戶生理信息能夠反應用戶生理特征,能夠在身份識別、數據驗證等方面提升智能家居系統的安全性。非接觸式生理感知技術能夠實現連續性的用戶認證,相比于一次性的身份驗證方法(如指紋、密碼和面部識別),非接觸技術減少了個人信息被盜用的風險[139-140]。Yang等[141]探索了基于手背靜脈透射成像的非接觸式心率檢測的身份認證方法,該方法能夠準確、穩定地提供實時認證信息,在安全系統中具有很好的應用前景和發展機遇。Islam等[142]使用多普勒雷達實現了一種基于呼吸信息的用戶驗證方法。他們使用傅里葉變換和支持向量機,從雷達捕獲的用戶呼吸信號中提取特征來進行用戶識別。該非接觸的用戶識別方法具有連續性和高精度的特點。Liu等[12]提出了一個基于用戶呼吸特征的持續性用戶驗證系統,該系統從Wi–Fi的信道狀態信息中提取與呼吸相關的信號,通過分析呼吸信號的波形,利用模糊小波變換,推導出用戶特定的呼吸特征以進行用戶身份識別,這種基于呼吸信號用戶驗證方法不依賴于特定的場景和用戶行為,能夠以隱式的方式進行用戶識別,并且該系統可以輕松集成到任意的Wi–Fi設備中。Lin等[140]利用連續波雷達對用戶心臟運動進行掃描,實現了一種可信賴的、連續的、非接觸式的用戶身份驗證方法。每個人的心臟運動具有獨特性,利用雷達獲取用戶心臟活動的幾何特性可識別不同的用戶。該方法在78名受試者進行了驗證,獲得了98.61%的平衡準確度。
1)傳感技術提升與數據優化。傳感設備是非接觸式感知技術的硬件基礎。伴隨技術發展及硬件設備創新,新型的傳感技術將會帶來更可靠、更便捷的生理信號探測方式。例如硅基技術的發展能夠在單芯片上實現多通道毫米波雷達,提升了傳感系統的靈活性與便利性[143]。紅外熱成像感知元件技術的發展使熱成像設備向更小體積、更高便攜性的方向發展[144],為日常生活中無感隱式的用戶感知提供了可能性。研究者們也在探索更豐富的非接觸式生理感知技術。Rastogi等[145]提出了一種數字全息技術來測量人手皮膚的溫度,該方法利用數字全息干涉儀探測人體周圍空氣與環境空氣折射率的相位差來獲取用戶體溫,并實現了與紅外熱成像相似的準確度,而且不受用戶與傳感器之間距離變化的干擾。感知準確性的提升離不開硬件設備的創新與發展,探索新型傳感技術提升硬件感知能力,是非接觸生理感知計算領域的熱點趨勢。此外在實際生活中,由于非接觸技術在進行長期用戶生理感知時,通常會遇到較多的噪聲干擾,如用戶活動與環境干擾等意外情況,如何提升收集到的原始數據精確度,提煉高質量的訓練數據也是未來需要探索的重要問題。
2)多模態融合算法提升。非接觸生理感知技術尚處于發展階段,相較于接觸式或植入式的醫療級生理感知技術,其精確度與可靠性仍需要提升。使用單一非接觸傳感器與探測單一生理信號的方法具有一定上限,難以滿足復雜多樣化的感知需求。研究者們正在探索融合多維度感知技術、多模態生理數據的方法來提升非接觸生理感知系統的準確度。例如,Ricciuti[146]將RGB相機數據與雷達探測信號結合,實現了更高準確性的心率探測。Kobiela等[147]通過融合人體皮膚溫度、心率與心率變異性3種信號的特征來提升用戶熱舒適度感知模型的準確性。Jaiswal等[148]使用PPG信號與呼吸信號區分用戶低認知負荷與高認知負荷,他們的試驗結果表明,僅使用呼吸信號時分類準確度為76.8%,將呼吸信號與PPG信號結合時,分類準確度可達81.8%,提升了5%。
3)數據安全與隱私保護。生理數據的感知擴充了智能家居的數據獲取邊界,然而生理數據作為用戶高度敏感的數據存在數據濫用、泄露等風險。例如,基于視覺的非接觸式生理感知技術的數據采集包含了較多的與生理信號提取無關的信息,如用戶面部信息、肢體行為等[149],冗余的數據獲取可能帶來更大的隱私泄露風險。此外,基于無線信號的非接觸式生理感知技術所獲取的數據,也可挖掘較多的個人敏感信息,如位置或用戶身份[111]。有多項研究表明對隱私和數據安全的擔憂已經成為智能家居使用的關鍵障礙[150-152]。眾多用戶報告了對日常生活被監控[153]、個人信息會泄露給無權訪問的人或組織[154-155]和被網絡攻擊[156]等風險的擔心。因此在提升智能系統數據獲取維度與感知能力的同時,如何增強系統的數據安全與隱私保護是叩待探索的重點方向。
4)人機關系。生理數據具有客觀性、無干擾性、隱含性、連續性等優點[132]。將生理數據用于智能家居系統的用戶感知推理、自動化提升與智能化控制、健康管理、安全驗證等方面具有重要前景,但也隨之帶來用戶接受度[155]、參與度和決策權[157]、人機權限與責任分配[158]等人機關系問題的探討。例如在用戶接受度方面,不同用戶對自身生理數據信息的監控和采集有著不同的傾向和接納程度,如何確定用戶信息的獲取程度是一個待討論和量化的問題。此外,將生理數據用于家居系統的交互智能性與自動化程度的提升,促進了用戶在多維度場景中的交互效率,使用戶從日常瑣碎交互任務中解放出來[159]。但家居系統自主性的提升也可能需要用戶主動適應智能家居控制系統的決策機制,降低了用戶主觀的參與度和相關決策權[160]。如何實現和諧的人機關系,是將非接觸生理感知計算納入智能家居系統時需要考慮的重要問題。
非接觸式生理感知技術的發展為家居環境下無感自然、持續性的長期監測用戶生理數據提供了可能性,擴展智能家居產品的數據感知維度,實現在復雜的家居場景中對用戶動態進行感知、建模、理解和推理,預測并響應居住者的需求,促進他們的舒適、方便、健康和安全。本文通過三階段的文獻調研方法,系統性地梳理了3種常見的非接觸式生理信號類型和生理原理,以及兩大類非接觸式生理感知技術。然后在交互體驗、健康管理、安全管理三方面總結了生理信號在智能家居的應用情況。最終討論和展望了智能家居中非接觸式生理感知技術的研究熱點及發展趨勢。未來在智能家居中非接觸式生理感知計算領域將會持續產生更多的新型傳感及芯片,更加準確的多模態人工智能算法,但與此同時,需要更加謹慎地關注家居環境中的數據安全與隱私保護,并進一步地探究人與智能的協作關系,使生理感知技術與家居環境更加和諧。
[1] 徐宇辰. 發揮央企優勢,建設數字家庭[J]. 中國發展觀察, 2021(17): 38-41.
XU Yu-chen. Give Full Play to the Advantages of Central Enterprises and Build a Digital Home[J]. China Development Observation, 2021(17): 38-41.
[2] 焦利敏, 李紅偉, 孟永哲, 等. 第三代人工智能時代智能家電技術、標準的研究和應用[J]. 中國標準化, 2021(19): 107-113.
JIAO Li-min, LI Hong-wei, MENG Yong-zhe, et al. Research on and Application of Intelligent Appliance Technology and Standard in the Third Generation Artificial Intelligence Era[J]. China Standardization, 2021(19): 107-113.
[3] KIENTZ J A, PATEL S N, JONES B, et al. The Georgia Tech Aware Home[C]// CHI EA '08: CHI '08 Extended Abstracts on Human Factors in Computing Systems. New York: ACM, 2008: 3675-3680.
[4] INTILLE S S. Designing a Home of the Future[J]. IEEE Pervasive Computing, 2002, 1(2): 76-82.
[5] ALVES J, MARQUES M, SAUR I. Role of Networking in Innovation Promotion and Cluster Modernization: "House of the Future" Case[C]//44th Congress of the European Regional Science Association: "Regions and Fiscal Federalism". Portugal: European Regional Science Association (ERSA), 2014.
[6] COWLEY B U, FILETTI M, LUKANDER K, et al. The Psychophysiology Primer: A Guide to Methods and a Broad Review with a Focus on Human? Computer Interaction[J]. The Psychophysiology Primer: A Guide to Methods and a Broad Review
[7] GOUVEIA C, TOMé A, BARROS F, et al. Study on the Usage Feasibility of Continuous-Wave Radar for Emotion Recognition[J]. Biomedical Signal Processing and Control, 2020, 58: 101835.
[8] FAIRCLOUGH S H. Fundamentals of Physiological Computing[J]. Interacting With Computers, 2009, 21(1-2): 133-145.
[9] DIRICAN A C, G?KTüRK M. Psychophysiological Measures of Human Cognitive States Applied in Human Computer Interaction[J]. Procedia Computer Science, 2011, 3: 1361-1367.
[10] DIMITROV K, DZHEDZHEV K, MITSEV T. Enhancing smart-home environments using infrared arrays[C]// 2018 IX National Conference with International Participation (ELECTRONICA). Sofia: IEEE, : 1-3.
[11] YANG Zhi-cheng, PATHAK P H, ZENG Yun-ze, et al. Vital Sign and Sleep Monitoring Using Millimeter Wave[J]. ACM Transactions on Sensor Networks, 2017, 13(2): 14.
[12] LIU Jian, CHEN Ying-ying, DONG Yu-di, et al. Continuous user verification via respiratory biometrics[C]// IEEE INFOCOM 2020 - IEEE Conference on Computer Communications. TorontoIEEE, : 1-10.
[13] TRANFIELD D, DENYER D, SMART P. Towards a Methodology for Developing Evidence-Informed Management Knowledge by Means of Systematic Review[J]. British Journal of Management, 2003, 14(3): 207-222.
[14] ALLANSON J, FAIRCLOUGH S H. A Research Agenda for Physiological Computing[J]. Interacting With Computers, 2004, 16(5): 857-878.
[15] 趙津發, 柴榮軒, 陳煒. 非接觸式視覺生理體征參數檢測研究[J]. 電子技術與軟件工程, 2021(15): 136- 139.
ZHAO Jin-fa, CHAI Rong-xuan, CHEN Wei. Research on Non-Contact Visual Physiological Sign Parameter Detection[J]. Electronic Technology & Software Engineering, 2021(15): 136-139.
[16] 王健琪, 薛慧君, 呂昊, 等. 非接觸生理信號檢測技術[J]. 中國醫療設備, 2013, 28(11): 5-8.
WANG Jian-qi, XUE Hui-jun, LV Hao, et al. Non- Contact Detection Technology for Physiological Sig-nals[J]. China Medical Devices, 2013, 28(11): 5-8.
[17] WANG XUYU, SHAO DANGDANG. Human Physiol-ogy and Contactless Vital Signs Monitoring Using Ca-mera and Wireless Signals[M]. 城市: 出版社, 2022.
[18] 單禹皓, 陳通, 溫萬惠, 等. 呼吸信號的非接觸式測量[J]. 計算機科學, 2015, 42(10): 43-44, 75.
SHAN Yu-hao, CHEN Tong, WEN Wan-hui, et al. Remote Sensing Respiration Signals[J]. Computer Science, 2015, 42(10): 43-44, 75.
[19] HU M H, ZHAI G T, LI D, ET AL. Synergetic Use of Thermal and Visible Imaging Techniques for Contactless and Unobtrusive Breathing Measurement[J]. Journal of Biomedical Optics, 2017, 22(3): 036006.
[20] LI Xi-fang, ZHUANG Zhuang, QI Duo, et al. High Sensitive and Fast Response Humidity Sensor Based on Polymer Composite Nanofibers for Breath Monitoring and Non-Contact Sensing[J]. Sensors and Actuators B: Chemical, 2021, 330: 129239.
[21] 孫興國. 生命整體調控新理論體系與心肺運動試驗[J]. 醫學與哲學(A), 2013, 34(3): 22-27.
SUN Xing-guo. New Theoretical System of Holistic Control and Regulation for Life and Cardiopulmonary Exercise Testing[J]. Medicine & Philosophy, 2013, 34(3): 22-27.
[22] DAS S, PAL M. Review—Non-Invasive Monitoring of Human Health by Exhaled Breath Analysis: A Compre-hensive Review[J]. Journal of the Electrochemical Society, 2020, 167(3): 037562.
[23] KEAYS B, ROTHMAN A, HANRAHAN C, et al. Sobriety Monitoring System: US, 9417232[P]. 2016-08- 16.
[24] LUO Yu-zhou, WANG Ping, YU Kai-jun, et al. Using Sleep Monitoring System for Estimating and Analysing the Sleep Stages[J]. Pakistan Journal of Zoology, 2021, 53(6):2491-2495.
[25] TONACCI A, SANSONE F, PALA A P, et al. Exhaled Breath Analysis in Evaluation of Psychological Stress: A Short Literature Review[J]. International Journal of Psychology: Journal International De Psychologie, 2019, 54(5): 589-597.
[26] BRUMBACK H K. Investigation of Breath Counting, Abdominal Breathing and Physiological Responses in Relation to Cognitive Load[C]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2017: 275-286.
[27] GRASSMANN M, VLEMINCX E, VON LEUPOLDT A, et al. Respiratory Changes in Response to Cognitive Load: A Systematic Review[J]. Neural Plasticity, 2016(1): 8146809.
[28] CROCKETT J E, CASHWELL C S, TANGEN J L, et al. Breathing Characteristics and Symptoms of Psychological Distress: An Exploratory Study[J]. Counsel-ing and Values, 2016, 61(1): 10-27.
[29] BAI Ying-wen, TSAI C L, WU S C. Design of a breath detection system with multiple remotely enhanced hand-computer interaction devices[C]// 2012 IEEE 16th International Symposium on Consumer Electronics. Harrisburg: IEEE, 2012.
[30] LIAO W C, LIN Han-hong, RUO He-lin, et al. A Multimedia System for Breath Regulation and Relaxation[J]. International Journal of Advanced Computer Science and Applications, 2015, 6(12): 56-63.
[31] MAROTTE J, GEBAUER S, SCHECK K,LEICHT S. Method for Analyzing Breathing Air in Room or Building, Implemented in Smart Home System, Involves Recording Meas-ured Value of Breathing Air, and Changing Environmental Conditions Based on Value of Environmental Condition: German, WO2021116307-A1[P]. 2021-06-17.
[32] 劉博, 唐曉英, 劉偉峰, 等. 人體核心溫度的測量方法研究進展[J]. 中國生物醫學工程學報, 2017, 36(5): 608-614.
LIU Bo, TANG Xiao-ying, LIU Wei-feng, et al. Review on Human Core Body Temperature Measurement Me-thod[J]. Chinese Journal of Biomedical Engineering, 2017, 36(5): 608-614.
[33] 李松林. 非接觸人體表面溫度測量方法的研究[D]. 天津: 天津大學, 2005.
LI Song-lin. A Study on the Method of Non-Contact Skin Temperature Measurement[D]. Tianjin: Tianjin Uni-versity, 2005.
[34] 蘇建奎, 桂星雨. 醫用紅外體溫測量儀的現狀與發展[J]. 醫療衛生裝備, 2016, 37(1): 110-112, 129.
SU Jian-kui, GUI Xing-yu. Present Status and Trend of Medical Infrared Temperature Measuring Instrument [J]. Chinese Medical Equipment Journal, 2016, 37(1): 110-112, 129.
[35] CHIN J. Design and Implementation of an Adaptive Wearable Thermal Comfort Data Acquisition Prototype[C]// UbiComp/ISWC'15 Adjunct: Adjunct Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2015 ACM International Symposium on Wearable Computers. New York: ACM, 2015: 585-590.
[36] YOSHIKAWA H, UCHIYAMA A, NISHIKAWA Y, et al. Combining a Thermal Camera and a Wristband Sensor for Thermal Comfort Estimation[C]// UbiComp/ ISWC '19 Adjunct: Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. New York: ACM, 2019: 238-241.
[37] VON FRANKENBERG N, RUOFF P, BRUEGGE B, et al. LATEST: A Learning-Based Automated Thermal Environment Control System[C]// UbiComp-ISWC '20: Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers. New York: ACM, 2020: 573-579.
[38] ABDELRAHMAN Y, VELLOSO E, DINGLER T, et al. Cognitive Heat: Exploring the Usage of Thermal Imaging to Unobtrusively Estimate Cognitive Load[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017, 1(3): 33.
[39] LARMUSEAU C, VANNESTE P, CORNELIS J, et al. Combining Physiological Data and Subjective Measurements to Investigate Cognitive Load during Complex Learning[J]. Frontline Learning Research, 2019, 7(2): 57-74.
[40] KODAMA R, TERADA T, TSUKAMOTO M. A Context Recognition Method Using Temperature Sensors in the Nostrils[C]// ISWC '18: Proceedings of the 2018 ACM International Symposium on Wearable Computers. New York: ACM, 2018: 220-221.
[41] KYRIAKOU K, RESCH B, SAGL G, et al. Detecting Moments of Stress from Measurements of Wearable Physiological Sensors[J]. Sensors (Basel, Switzerland), 2019, 19(17): 3805.
[42] PARK M W, KIM C J, HWANG M, et al. Individual emotion classification between happiness and sadness by analyzing photoplethysmography and skin temperature[C]// 2013 Fourth World Congress on Software Engineering. Hong Kong, China: IEEE, 2013: 190-194.
[43] BAO Jie, HAN Jia-wen, KATO A, et al. Sleepy Watch: Towards Predicting Daytime Sleepiness Based on Body Temperature[C]// UbiComp-ISWC '20: Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers. New York: ACM, 2020: 9-12.
[44] WEI Jing, ZHANG Jin, BOGER J. What wrist temperature tells us when we sleep late: A new perspective of sleep health[C]// 2018 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation (SmartWorld/SCALCOM/UIC/ ATC/CBDCom/IOP/SCI). Guangzhou. IEEE, 2018: 764-771.
[45] TAG B, CHERNYSHOV G, KAI Kun-ze. Facial Temperature Sensing on Smart Eyewear for Affective Com-puting[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 209-212.
[46] STEFANOVSKA A. Physics of the Human Cardiovascular System[J]. Contemporary Physics, 1999, 40(1): 31-55.
[47] LEE J K, KIM H J, LEE S, et al. Estimation of metabolic rate for heart rate-based self-adaptive home appliance[C]// 2014 IEEE 3rd Global Conference on Consumer Electronics. Tokyo: IEEE, 2014: 368-371.
[48] KAWASAKI Y, HOSSAIN T, YOKOKUBO A, et al. Estimating the Degree of Mental State Using Heart Rate while Studying[C]// UbiComp '21: Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers. New York: ACM, 2021: 126-130.
[49] HOTTA S, MORI T, UCHIDA D, et al. Eating Moment Recognition Using Heart Rate Responses[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 69-72.
[50] KALAM A M, AZAD M, CHOWDHURY S J. Prototype smart home environment with biofeedback[C]// 2020 IEEE Region 10 Symposium. Dhaka, Bangladesh: IEEE, 2020: 449-452.
[51] 冀曉沖, 管琳, 李文一, 等. 心率變異性臨床應用研究進展[J]. 中西醫結合心腦血管病雜志, 2020, 18(17): 2809-2811.
JI Xiao-chong, GUAN Lin, LI Wen-yi, et al. Research Progress in Clinical Application of Heart Rate Variability[J]. Chinese Journal of Integrative Medicine on Cardio- Cerebrovascular Disease, 2020, 18(17): 2809-2811.
[52] 張驍, 路國華, 荊西京, 等. 基于微波傳感器的非接觸心率變異性檢測方法[J]. 醫療衛生裝備, 2012, 33(4): 10-11, 24.
ZHANG Xiao, LU Guo-hua, JING Xi-jing, et al. Contact-Free Measurement of Heart Rate Variability via Microwave Sensor[J]. Chinese Medical Equipment Journal, 2012, 33(4): 10-11, 24.
[53] 張弛, 袁琳, 陳詩惠, 等. 基于非接觸式測量的極短時心率變異性分析[J]. 航天醫學與醫學工程, 2020, 33(2): 134-142.
ZHANG Chi, YUAN Lin, CHEN Shi-hui, et al. Very Short-Term Heart Rate Variability Analysis Based on Non-Contact Measurement[J]. Space Medicine & Medical Engineering, 2020, 33(2): 134-142.
[54] ERNST G. Heart-Rate Variability-more than Heart Beats? [J]. Frontiers in Public Health, 2017, 5(1): 240.
[55] MULCAHY J S, LARSSON D E O, GARFINKEL S N, et al. Heart Rate Variability as a Biomarker in Health and Affective Disorders: A Perspective on Neuroimaging Studies[J]. NeuroImage, 2019, 202(1): 116072.
[56] HIDALGO-MU?OZ A R, MOURATILLE D, MAT-TON N, et al. Cardiovascular Correlates of Emotional State, Cognitive Workload and Time-on-Task Effect during a Realistic Flight Simulation[J]. International Journal of Psychophysiology, 2018, 128: 62-69.
[57] DURANTIN G, GAGNON J F, TREMBLAY S, et al. Using near Infrared Spectroscopy and Heart Rate Variability to Detect Mental Overload[J]. Behavioural Brain Research, 2014, 259: 16-23.
[58] GROSS J J, JAZAIERI H. Emotion, Emotion Regulation, and Psychopathology[J]. Clinical Psychological Science, 2014, 2(4): 387-401.
[59] BRIDGETT D J, BURT N M, EDWARDS E S, et al. Intergenerational Transmission of Self-Regulation: A Multidisciplinary Review and Integrative Conceptual Framework[J]. Psychological Bulletin, 2015, 141(3): 602-654.
[60] MAIER S U, HARE T A. Higher Heart-Rate Variability is Associated with Ventromedial Prefrontal Cortex Activity and Increased Resistance to Temptation in Dietary Self-Control Challenges[J]. The Journal of Neuroscience: the Official Journal of the Society for Neuroscience, 2017, 37(2): 446-455.
[61] WILLIAMS D P, CASH C, RANKIN C, et al. Resting Heart Rate Variability Predicts Self-Reported Difficulties in Emotion Regulation: A Focus on Different Facets of Emotion Regulation[J]. Frontiers in Psychology, 2015, 6(1): 261.
[62] THAYER J F, ?HS F, FREDRIKSON M, et al. A Meta-Analysis of Heart Rate Variability and Neuroimaging Studies: Implications for Heart Rate Variability as a Marker of Stress and Health[J]. Neuroscience & Biobehavioral Reviews, 2012, 36(2): 747-756.
[63] 孔令琴, 陳飛, 趙躍進, 等. 融合心率變異性與表情的非接觸心理壓力檢測[J]. 光學學報, 2021, 41(3): 68-77.
KONG Ling-qin, CHEN Fei, ZHAO Yue-jin, et al. Non-Contact Psychological Stress Detection Combining Heart Rate Variability and Facial Expressions[J]. Acta Optica Sinica, 2021, 41(3): 68-77.
[64] HWANG C, PUSHP S. A Mobile System for Investigating the User's Stress Causes in Daily Life[C]// UbiComp '18: Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers. New York: ACM, 2018: 66-69.
[65] KENDALL L, MORRIS D, TAN D. Blood Pressure beyond the Clinic: Rethinking a Health Metric for everyone[C]// CHI '15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM, 2015: 1679-1688.
[66] 張攀登. 基于外周連續血壓信號的自適應中心動脈壓重建方法的研究[D]. 深圳: 中國科學院大學(中國科學院深圳先進技術研究院), 2019.
ZHANG Pan-deng. A Study of Self-Adaptive Method for the Reconstruction of Central Aortic Pressure Using Continuous Peripheral Arterial Blood Pressure[D]. Shenzhen: Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, 2019.
[67] LYU Yong-qiang, LUO Xiao-min, ZHOU Jun, et al. Measuring Photoplethysmogram-Based Stress-Induced Vascular Response Index to Assess Cognitive Load and Stress[C]// CHI '15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM, 2015: 857-866.
[68] 嚴璘璘, 駱宏, 危靜, 等. 心理壓力的測量方法及新技術[J]. 應用心理學, 2019, 25(1): 32-47.
YAN Lin-lin, LUO Hong, WEI Jing, et al. The Measurements of Mental Stress and New Methodologies[J]. Chinese Journal of Applied Psychology, 2019, 25(1): 32-47.
[69] 范強. 心血管生理參數非接觸式檢測關鍵技術研究[D]. 武漢: 武漢大學, 2017.
FAN Qiang. Study on Key Techniques of Non-Contact Detection of Cardiovascular Physiological Parameters[D]. Wuhan: Wuhan University, 2017.
[70] GUO Ming-zhe, NI Hong-bo, CHEN A Q. OfficeBP: Noninvasive Continuous Blood Pressure Monitoring Based on PPT in Office Environment[C]// UbiComp- ISWC '20: Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers. New York: ACM, 2020: 29-32.
[71] 戴明, 王琪, 吳萬慶. 一種低功耗脈搏血氧飽和度測量系統的設計[J]. 電子技術應用, 2014, 40(10): 53-56.
DAI Ming, WANG Qi, WU Wan-qing. Development of a Low-Power Pulse Oximeter System[J]. Application of Electronic Technique, 2014, 40(10): 53-56.
[72] LIM C S, FOONG P S, KOH G H C, et al. A Case Study of User Experience Design in a Disrupted Context: Design and Development of a Vital Signs Self-Monitoring System[C]// CHI EA '21: Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2021: 1-7.
[73] AKINSIKU A, AVELLINO I, GRAHAM Y, et al. It’s not Just the Movement: Experiential Information Nee-ded for Stroke Telerehabilitation[C]// CHI '21: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2021: 1-12.
[74] WANG E J. Tracking Anemia Ubiquitously, Frequently, and Predictively[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 371- 375.
[75] SLYUSARENKO K, FEDORIN I, LEE W. Sleep Stages Classifier with Eliminated Apnea Impact[C]// UbiComp/ISWC '19 Adjunct: Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. New York: ACM, 2019: 210-213.
[76] TAG B, AUGEREAU O. From the Laboratory into the Wild: Eyewear in Cognitive-Aware System Studies[C]// UbiComp '18: Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers. New York: ACM, 2018: 974-979.
[77] 張永會, 高長青, 王嶸. 脈搏波分析方法及其應用[J]. 北京生物醫學工程, 2019, 38(3): 319-326.
ZHANG Yong-hui, GAO Chang-qing, WANG Rong. Methods of Pulse Wave Analysis and Its Application[J]. Beijing Biomedical Engineering, 2019, 38(3): 319-326.
[78] JOVANOV E, MILENKOVIC A, BASHAM S, et al. Reconfigurable intelligent sensors for health monitoring: a case study of pulse oximeter sensor[C]// The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Francisco. IEEE, 2004: 4759-4762.
[79] MARTINOVIC I, RASMUSSEN K B, ROESCHLIN M, et al. Pulse-Response: Exploring Human Body Impedance for Biometric Recognition[J]. ACM Transactions on Privacy and Security, 2017, 20(2): 6.
[80] ZHANG Hui-ling, LIU Guang-yuan. Research of emotion recognition based on pulse signal[C]// 2010 3rd International Conference on Advanced Computer Theory and Engineering(ICACTE). Chengdu: IEEE, 2010: 3-506.
[81] KIM J S, CHEE Y J, PARK J W, et al. A New Approach for Non-Intrusive Monitoring of Blood Pressure on a Toilet Seat[J]. Physiological Measurement, 2006, 27(2): 203-211.
[82] Nouman M, Khoo S Y, Mahmud M A P, et al. Recent Advances in Contactless Sensing Technologies for Mental Health Monitoring[J]. IEEE Internet of Things Journal, 2021, 9(1): 274 - 297.
[83] 楊曉丹, 楊冰磊, 王梓涵, 等. 非接觸式生命體征監測技術臨床應用研究進展[J]. 醫學信息, 2018, 31(18): 41-44.
YANG Xiao-dan, YANG Bing-lei, WANG Zi-han, et al. Progress in Clinical Application of Non-Contact Vital Signs Monitoring Technology[J]. Medical Information, 2018, 31(18): 41-44.
[84] KRANJEC J, BEGU? S, GER?AK G, et al. Non-Con-tact Heart Rate and Heart Rate Variability Measure-ments: A Review[J]. Biomedical Signal Processing and Control, 2014, 13: 102-112.
[85] ARMANFARD N, KOMEILI M, MIHAILIDIS A. Development of a smart home-based package for unobtrusive physiological monitoring[C]// 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Honolulu: IEEE, 2018: 4444-4447.
[86] ALLEN J. Photoplethysmography and Its Application in Clinical Physiological Measurement[J]. Physiological Measurement, 2007, 28(3): R1-R39.
[87] 田樹香, 朱健銘, 陳真誠, 等. 一種新的人體呼吸波采集方法與實現[J]. 中國醫學物理學雜志, 2014, 31(5): 5169-5173, 5179.
TIAN Shu-xiang, ZHU Jian-ming, CHEN Zhen-cheng, et al. A New Human Respiratory Wave Acquisition Method and Implementation[J]. Chinese Journal of Medical Physics, 2014, 31(5): 5169-5173, 5179.
[88] HASSAN M A, MALIK G S, SAAD N, et al. Optimal source selection for image photoplethysmography[C]// 2016 IEEE International Instrumentation and Measurement Technology Conference Proceedings. Taipei, China. IEEE: 2016: 1-5.
[89] FALLET S, MOSER V, BRAUN F, et al. Imaging photoplethysmography: what are the best locations on the face to estimate heart rate? [C]// 2016 Computing in Cardiology Conference (CinC). Computing in Cardiology, 2016: 463-477.
[90] SELVARAJU V, SPICHER N, WANG Ju, et al. Continuous Monitoring of Vital Signs Using Cameras: A Systematic Review[J]. Sensors (Basel, Switzerland), 2022, 22(11): 4097.
[91] PATIL O R, GAO Yang, LI Bo-rui, et al. CamBP: A Camera-Based, Non-Contact Blood Pressure Monitor[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 524-529.
[92] VERKRUYSSE W, SVAASAND L O, NELSON J S. Remote Plethysmographic Imaging Using Ambient Light[J]. Optics Express, 2008, 16(26): 21434-21445.
[93] MASSARONI C, LOPES D S, LO PRESTI D, et al. Contactless Monitoring of Breathing Patterns and Respiratory Rate at the Pit of the Neck: A Single Camera Approach[J]. Journal of Sensors, 2018, 2018: 4567213.
[94] LIN Kuan-yi, CHEN Duan-yu, TSAI W J. Image-Based Motion-Tolerant Remote Respiratory Rate Evaluation[J]. IEEE Sensors Journal, 2016, 16(9): 3263-3271.
[95] LI Ning, EEDUGURALA N, LEEM D S, et al. Organic Upconversion Imager with Dual Electronic and Optical Readouts for Shortwave Infrared Light Detection[J]. Advanced Functional Materials, 2021, 31(16): 2100565.
[96] 陳宇杰, 王健琪, 路國華. 非接觸式生命信息檢測技術的綜述[J]. 醫療衛生裝備, 2006, 27(3): 32-33.
CHEN Yu-jie, WANG Jian-qi, LU Guo-hua. Estimation of Non-Contact Detection Technologies for Life Parameters[J]. Chinese Medical Equipment Journal, 2006, 27(3): 32-33.
[97] FEI Jin, PAVLIDIS I. Thermistor at a Distance: Unobtrusive Measurement of Breathing[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(4): 988- 998.
[98] LEE K, LEE S H, PARK J I. Hands-Free Interface Using Breath Residual Heat[C]// Human Interface and the Management of Information. Interaction. Cham: Visualization, and Analytics, 2018: 204-217.
[99] PAVLIDIS I, DOWDALL J, SUN N, et al. Interacting with Human Physiology[J]. Computer Vision and Image Understanding, 2007, 108(1-2): 150-170.
[100] IOANNOU S, GALLESE V, MERLA A. Thermal In-frared Imaging in Psychophysiology: Potentialities and Limits[J]. Psychophysiology, 2014, 51(10): 951-963.
[101] 劉炳文, 何密. 非接觸式醫療監測雷達研究進展[J]. 醫療衛生裝備, 2015, 36(5): 107-111.
LIU Bing-wen, HE Mi. Researchprogress of Radar for Non-Contact Medical Monitoring[J]. Chinese Medical Equipment Journal, 2015, 36(5): 107-111.
[102] VARANINI M, BERARDI P C, CONFORTI F, et al. Car-diac and respiratory monitoring through non-invasive and contactless radar technique[C]// 2008 Computers in Cardiology. Bologna: IEEE, 2008: 149-152.
[103] PISA S, BERNARDI P, CICCHETTI R, et al. Comparison between UWB and CW radar sensors for breath activity monitoring[C]// SPIE Defense + Security. Proc SPIE 9077, Radar Sensor Technology XVIII, Baltimore: SPIE, 2014: 325-329.
[104] WANG Yong, SHUI Yu-zhu, YANG Xiao-bo, et al. Multi-Target Vital Signs Detection Using Frequency- Modulated Continuous Wave Radar[J]. EURASIP Jour-nal on Advances in Signal Processing, 2021, 2021(1): 103.
[105] MATKOVI? T, PEJOVI? V. Wi-Mind: Wireless Mental Effort Inference[C]// UbiComp '18: Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers. New York: ACM, 2018: 1241-1249.
[106] 魯勇, 呂紹和, 王曉東, 等. 基于WiFi信號的人體行為感知技術研究綜述[J]. 計算機學報, 2019, 42(2): 1-21.
LU Yong, LV Shao-he, WANG Xiao-dong, et al. A Survey on WiFi Based Human Behavior Analysis Technology[J]. Chinese Journal of Computers, 2019, 42(2): 1-21.
[107] WANG Hao, ZHANG Da-qing, MA Jun-yi, et al. Human Respiration Detection with Commodity WiFi Devices: Do User Location and Body Orientation Matter? [C]// UbiComp '16: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York: ACM, 2016: 25-36.
[108] WANG Xu-yu, YANG Chao, MAO Shi-wen. On CSI- Based Vital Sign Monitoring Using Commodity WiFi[J]. ACM Transactions on Computing for Healthcare, 2020, 1(3): 12.
[109] MENG Z, LU J. A Rule-Based Service Customization Strategy for Smart Home Context-Aware Automation[J]. IEEE Transactions on Mobile Computing, 2016, 15(3): 558-571.
[110] CHENG Lin-song, WANG Ji-liang. Walls Have no Ears: A Non-Intrusive WiFi-Based User Identification System for Mobile Devices[J]. IEEE/ACM Transactions on Networking, 2019, 27(1): 245-257.
[111] JIANG Hong-bo, CAI Chao, MA Xiao-qiang, et al. Smart Home Based on WiFi Sensing: A Survey[J]. IEEE Access, 6: 13317-13325.
[112] 林海燕, 鄧心茹, 梁梓豪, 等. 基于WIFI裝置的睡眠生理特征檢測[J]. 信息技術與信息化, 2020(6): 214- 216.
LIN Hai-yan, DENG Xin-ru, LIANG Zi-hao, et al. Detection of Sleep Physiological Characteristics Based on WIFI Device[J]. Information Technology and Informatization, 2020(6): 214-216.
[113] LIU Xue-feng, CAO Jian-nong, TANG Shao-jie, et al. Wi-sleep: Contactless sleep monitoring via WiFi signals[C]// 2014 IEEE Real-Time Systems Symposium. Rome: IEEE, 2014: 346-355.
[114] WANG Xu-yu, HUANG Run-ze, MAO Shi-wen. Sonar-Beat: sonar phase for breathing beat monitoring with smartphones[C]// 2017 26th International Conference on Computer Communication and Networks (ICCCN). Van-couver, BC: IEEE, 2017: 1-8.
[115] CAI Chao, PU Heng-lin, HU Meng-lan, et al. SST: Software Sonic Thermometer on Acoustic-Enabled IoT Devices[J]. IEEE Transactions on Mobile Computing, 2021, 20(5): 2067-2079.
[116] LUO Yu-zhou, JIANG Zhong-wei. A Simple Method for Monitoring Sleeping Conditions by All-Night Breath Sound Measurement[J]. Journal of Interdisciplinary Mathematics, 2017, 20(1): 307-317.
[117] CHATTERJEE S, RAHMAN M M, NEMATI E, et al. MLung++: Automated Characterization of Abnormal Lung Sounds in Pulmonary Patients Using Multimodal Mobile Sensors[C]// UbiComp/ISWC'19 Adjunct: Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. New York: ACM, 2019: 474-481.
[118] MESLEH A, SKOPIN D, BAGLIKOV S, et al. Heart Rate Extraction from Vowel Speech Signals[J]. Journal of Computer Science and Technology, 2012, 27(6): 1243-1251.
[119] MENNICKEN S, VERMEULEN J, HUANG E M. From Today's Augmented Houses to Tomorrow's Smart Homes: New Directions for Home Automation Research[C]// UbiComp '14: Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York: ACM, 2014: 105- 115.
[120] ALAM M R, REAZ M B I, ALI M A M. A Review of Smart Homes: Past, Present, and Future[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1190-1203.
[121] ZAIDAN A a, ZAIDAN B B. A Review on Intelligent Process for Smart Home Applications Based on IoT: Coherent Taxonomy, Motivation, Open Challenges, and Recommendations[J]. Artificial Intelligence Review, 2020, 53(1): 141-165.
[122] LUPTON D, PINK S, HORST H. Living In, with and beyond the ‘Smart Home': Introduction to the Special Issue[J]. Convergence: the International Journal of Research into New Media Technologies, 2021, 27(5): 1147-1154.
[123] ALAA M, ZAIDAN A a, ZAIDAN B B, et al. A Review of Smart Home Applications Based on Internet of Things[J]. Journal of Network and Computer Applications, 2017, 97: 48-65.
[124] WANG K J, MAO Zhi-hong. LAZYnergy: controlling smart home devices as lazily as possible using human and environment behavioral synergies in daily activities[C]// 2021 IEEE International Conference on Consumer Electronics-Asia. Gangwon, Korea, Republic of. IEEE, 2021: 1-4.
[125] KATZ D, HAFSIA L B, SALEM O, et al. Intelligent remote control of smart home devices using physiological parameters[C]// 2015 17th International Conference on E-health Networking, Application & Services (HealthCom). Boston, MA, USA. IEEE, 2015: 280-285.
[126] DEFRANCO J F, KASSAB M. Smart Home Research Themes: An Analysis and Taxonomy[J]. Procedia Com-puter Science, 2021, 185: 91-100.
[127] HENRIQUEZ P, MATUSZEWSKI B J, ANDREU- CABEDO Y, et al. Mirror Mirror on the Wall.. an Unobtrusive Intelligent Multisensory Mirror for Well- being Status Self-Assessment and Visualization[J]. IEEE Transactions on Multimedia, 2017, 19(7): 1467- 1481.
[128] UL ALAM M A. Context-aware multi-inhabitant functional and physiological health assessment in smart home environment[C]// 2017 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops). Kona, HI, USA. IEEE, : 99-100.
[129] HEGDE R M D, KENCHANNAVAR H H. A Survey on Predicting Resident Intentions Using Contextual Modalities in Smart Home[J]. International Journal of Advanced Pervasive and Ubiquitous Computing, 2019, 11(4): 44-59.
[130] RASHIDI P, COOK D J. Keeping the Resident in the Loop: Adapting the Smart Home to the User[J]. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 2009, 39(5): 949-959.
[131] 張曉煒. 心理生理可計算建模理論與方法的研究[D]. 蘭州: 蘭州大學, 2016.
ZHANG Xiao-wei. Research of Modeling Theory and Method in Computational Psychophysiology[D]. Lanzhou: Lanzhou University, 2016.
[132] BENNETT J, ROKAS O, CHEN Li-ming. Healthcare in the Smart Home: A Study of Past, Present and Future[J]. Sustainability, 2017, 9(5): 840.
[133] LI Chang-zhi, LUBECKE V M, BORIC-LUBECKE O, et al. A Review on Recent Advances in Doppler Radar Sensors for Noncontact Healthcare Monitoring[J]. IEEE Transactions on Microwave Theory and Techniques, 2013, 61(5): 2046-2060.
[134] YU Bin, HU Jun, FEIJS L. Design and Evaluation of an Ambient Lighting Interface of HRV Biofeedback System in Home Setting[C]// Ubiquitous Computing and Ambient Intelligence. Personalisation and User Adapted Services. Cham: Springer International Publishing, 2014: 88-91.
[135] MORALES A, CIBRIAN F L, CASTRO L A, et al. An Adaptive Model to Support Biofeedback in AmI Environments: A Case Study in Breathing Training for Autism[J]. Personal and Ubiquitous Computing, 2021: 1-16.
[136] 王基策, 李意蓮, 賈巖, 等. 智能家居安全綜述[J]. 計算機研究與發展, 2018, 55(10): 2111-2124.
WANG Ji-ce, LI Yi-lian, JIA Yan, et al. Survey of Smart Home Security[J]. Journal of Computer Research and Development, 2018, 55(10): 2111-2124.
[137] ISLAM S M M, BORI?-LUBECKE O, ZHENG Yao, et al. Radar-Based Non-Contact Continuous Identity Authentication[J]. Remote Sensing, 2020, 12(14): 2279.
[138] LIN Feng, SONG Chen, ZHUANG Yan, et al. Cardiac Scan: A Non-Contact and Continuous Heart-Based User Authentication System[C]// MobiCom '17: Proceedings of the 23rd Annual International Conference on Mobile Computing and Networking. New York: ACM, 2017: 315-328.
[139] YANG Shu-qiang, CHENG De-qiang, WANG Jun, et al. Non-Contact Heart Rate Detection Based on Hand Vein Transillumination Imaging[J]. Applied Sciences, 2021, 11(18): 8470.
[140] ISLAM S M M, RAHMAN A, PRASAD N, et al. Identity authentication system using a support vector machine (SVM) on radar respiration measurements[C]// 2019 93rd ARFTG Microwave Measurement Conference (ARFTG). Boston: IEEE, 2019: 1-5.
[141] LIU Bing, MA Kai-xue, FU Hai-peng, et al. Recent Progress of Silicon-Based Millimeter-Wave SoCs for Short-Range Radar Imaging and Sensing[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(6): 2667-2671.
[142] MEEM M, BANERJI S, MAJUMDER A, et al. Broadband Lightweight Flat Lenses for Long-Wave Infrared Imaging[J]. Proceedings of the National Academy of Sciences of the United States of America, 2019, 116(43): 21375-21378.
[143] RASTOGI V, KUMAR V, DUBEY S K, et al. Noncontact Temperature Measurement of Human Hand Skin Using Volume Phase Holographic Optical Element Based Digital Holographic Interferometer[J]. Optics and Lasers in Engineering, 2022, 151: 106886.
[144] KOBIELA F, SHEN Rong-rong, SCHWEIKER M, et al. Personal Thermal Perception Models Using Skin Temperatures and HR/HRV Features: Comparison of Smar-t-watch and Professional Measurement Devices[C]// ISWC '19: Proceedings of the 23rd International Symposium on Wearable Computers. New York: ACM, 2019: 96-105.
[145] JAISWAL D, CHOWDHURY A, BANERJEE T, et al. Effect of mental workload on breathing pattern and heart rate for a working memory task: A pilot study[C]// 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Berlin: IEEE, 2019: 2202-2206.
[146] SHAO Dang-dang, LIU Chen-bin, TSOW F. Noncontact Physiological Measurement Using a Camera: A Technical Review and Future Directions[J]. ACS Sensors, 2021, 6(2): 321-334.
[147] HONG A, NAM C, KIM S. What will be the Possible Barriers to Consumers’ Adoption of Smart Home Services? [J]. Telecommunications Policy, 2020, 44(2): 101867.
[148] RHEE J H, MA J H, SEO J, et al. Review of Applications and User Perceptions of Smart Home Technology for Health and Environmental Monitoring[J]. Journal of Computational Design and Engineering, 2022, 9(3): 857-889.
[149] CHUNG J, THOMPSON H J, JOE J, et al. Examining Korean and Korean American Older Adults' Perceived Acceptability of Home-Based Monitoring Technologies in the Context of Culture[J]. Informatics for Health & Social Care, 2017, 42(1): 61-76.
[150] BOISE L, WILD K, MATTEK N, et al. Willingness of Older Adults to Share Data and Privacy Concerns after Exposure to Unobtrusive In-Home Monitoring[J]. Gerontechnology: International Journal on the Fundamental Aspects of Technology to Serve the Ageing Society, 2013, 11(3): 428-435.
[151] ZHENG S, APTHORPE N, CHETTY M, et al. User Perceptions of Smart Home IoT Privacy[J]. Proceedings of the ACM on Human-Computer Interaction, 2018, 2(CSCW): 200.
[152] BALTA-OZKAN N, DAVIDSON R, BICKET M, et al. Social Barriers to the Adoption of Smart Homes[J]. Energy Policy, 2013, 63: 363-374.
[153] FR?HLICH P, BALDAUF M, MENEWEGER T, et al. Everyday Automation Experience: A Research Agenda[J]. Personal and Ubiquitous Computing, 2020, 24(6): 725-734.
[154] BRUSH A J B, LEE B, MAHAJAN R, et al. Home Automation in the Wild: Challenges and Opportunities[C]// CHI '11: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, 2011: 2115-2124.
[155] ROGERS Y. Moving on from Weiseru2019s Vision of Calm Computing: Engaging UbiComp Experiences[C]// Lecture Notes in Computer Science. Berlin, Heidelberg: Springer Berlin Heidelberg, 2006: 404-421.
[156] ALAN A T, COSTANZA E, RAMCHURN S D, et al. Tariff Agent: Interacting with a Future Smart Energy System at Home[J]. ACM Transactions on Computer- Human Interaction, 2016, 23(4): 25.
Non-contact Physiological Technologies in Smart Home
GONG Jiang-tao, CHU Meng-di, LI Jin, GUO Kai-min, ZONG Ke-yu, SHU Xin, ZHOU Gu-yue, NIE Zai-qing
(Institute for AI Industry Research, Tsinghua University, Beijing 100084, China)
This research aims to provide technical and methodological support for the combination of physiological computing and smart home by sorting out and analyzing the research status of non-contact physiological sensing computing technology and application in the smart home. The review followed a three-stage review methodology, relevant details are as following: In the planning stage, from an interdisciplinary perspective, this paper defined the research plan of the review on the intelligence of interaction in the home environment. In the conducting stage, keywords related to smart home and physiological computing were retrieved from CNKI, Web of Science, IEEE, ACM, ScienceDirect and other core literature libraries, and the literature collection was further expanded through relevant literature reference networks. In the reporting stage, the final review report was formed by combing and summarizing common physiological signals and non-contact sensing technologies that could be applied to smart home scenarios through literature research and theme induction. In conclusion, non-contact physiological computing technology has a broad application prospect. The combination of non-contact physiological perception computing technology and smart home can expand the human-computer interaction dimension of the home system to improve the comfort, interactive experience, health management, security, and privacy of the smart home.
non-contact physiological perception; physiological computing; smart home
TB472
A
1001-3563(2022)16-0010-17
10.19554/j.cnki.1001-3563.2022.16.002
2022–02–06
國家自然科學基金(62172252)
龔江濤(1990—),女,博士,助理研究員,主要研究方向為人機交互、多模態人因場景理解。
聶再清(1972—),男,博士,教授,主要研究方向為大數據與人工智能。
責任編輯:陳作