面部視頻非接觸式生理參數(shù)感知

嵇曉強，劉振瑤，李炳霖，饒 治，李貴文，粟立威

（長春理工大學(xué) 生命科學(xué)技術(shù)學(xué)院，吉林 長春 130022）

1 引 言

心率、呼吸率、血氧飽和度(Oxygen saturation，SpO2)作為衡量人體生理狀況的重要生理信號，是心血管疾病預(yù)防及臨床診斷的重要指標(biāo)[1-3]，目前常用的測量手段通常是接觸式，不適用于疫情等對接觸測量有限制的場合，而且在小兒重癥監(jiān)護病房和燒傷燙傷患者中使用更容易引發(fā)交叉感染。

近年來，通過視頻對人體生理各項參數(shù)進行非接觸測量受到了廣泛關(guān)注。視頻非接觸式檢測原理基于血液中的血紅蛋白對光具有吸收作用[4]，且吸收量與血紅蛋白濃度成正比。隨著心臟的跳動，血紅蛋白濃度隨血管內(nèi)血液容積發(fā)生周期性改變，其反射光的強度也呈現(xiàn)周期性改變，表現(xiàn)為皮膚表面微弱的顏色變化，通過分析檢測到的這種顏色變化，便可直觀地監(jiān)測心臟的跳動周期。

2014年，Tarassenko等人[5]使用一臺高質(zhì)量的攝像機，在1 m遠(yuǎn)的位置對患者進行長時間拍攝，通過自回歸模型和極點消除的方法估算患者的心率、呼吸頻率和SpO2。2015年，Bal Ufuk[6]用雙樹復(fù)小波變換的去噪算法從人臉視頻圖像中獲取了受試者的心率和SpO2。2018年，Casalino Gabriella等人[7]通過裝有攝像頭的鏡子，采集人體面部視頻，使用光電容積描記術(shù)處理視頻幀，估算出人體心率、呼吸頻率和SpO2。同年，榮猛等人[8]借助CCD相機在環(huán)境光下對人臉進行視頻拍攝，通過視頻進行處理后得到的脈搏波信號計算心率、呼吸頻率及SpO2等相關(guān)參數(shù)的值。2020年，李曉媛等人[9]使用普通攝像頭采集志愿者的人臉視頻圖像，通過顏色空間轉(zhuǎn)換提取出Cg通道的光電容積脈搏波信號，利用 Morlet復(fù)小波作為母波繪制出信號的小波能量譜，從而計算隨時間變化的心率參數(shù)；Luguern Duncan等人[10]通過使用連續(xù)小波變換獲取了最大化信噪比的呼吸信號，以此獲得12名成人志愿者的呼吸頻率；Rahman Hamidur等人[11]利用RGB和IR相機同時記錄受試者的10 min面部視頻，通過多感興趣區(qū)域(Region of Interest，ROI)選擇方法和改進的最小均方自適應(yīng)濾波器算法提取出受試者的心率、節(jié)拍間隔、心率變異性和SpO2。2021年，戴陽等人[12]使用網(wǎng)絡(luò)攝像頭，利用歐拉放大技術(shù)對人臉視頻的色度信息進行放大，借助盲源分離等方法提取出遠(yuǎn)程光電容積描記信號進而估算出心率值。

目前，基于視頻的非接觸生理參數(shù)檢測存在的問題一是采集設(shè)備過于復(fù)雜，采集時間相對較長，限制了日常生活的應(yīng)用；二是檢測的生理參數(shù)相對單一。針對以上問題，本文選取經(jīng)過歐拉放大技術(shù)處理后視頻中人臉的鼻子附近區(qū)域作為感興趣區(qū)域，提取出高質(zhì)量的成像式光電容積（Imaging photoplethysmography，IPPG)脈搏波源信號，設(shè)計了基于小波變換(Wavelet Transform,WT)-主成分分析(Principal Component Analysis,PCA)-盲源分離(Blind Source Separation, BSS)的信號處理方法，估算出受試者在一段時間內(nèi)的心率、呼吸率、SpO2均值。最后，本文從兩個角度驗證了所提算法性能：一方面將本文估算結(jié)果與其他文獻(xiàn)方法的計算結(jié)果進行對比；另一方面分析了不同光照場景下的估算結(jié)果，與標(biāo)準(zhǔn)儀器測量結(jié)果間的一致性。

2 生理參數(shù)估算模型

2.1 面部視頻圖像處理

生理參數(shù)估算模型主要分為面部視頻圖像處理、IPPG源信號處理和非接觸式生理參數(shù)結(jié)果估算3部分，其中面部視頻圖像處理流程如圖1所示。

圖1 視頻圖像處理流程圖Fig.1 Flow chart of video image processing

面部視頻圖像處理首先將錄制的人臉面部視頻(圖1(a))進行歐拉視頻放大處理(圖1(b))，旨在對心跳引起的微弱顏色變化進行放大[13-15]，以放大前、后綠色通道獲取的IPPG源信號為例，如圖2所示（彩圖見期刊電子版），從圖中可以看出經(jīng)過歐拉視頻放大后人體面部顏色信息的變化被明顯放大，信號幅度相對放大前明顯升高。為去除視頻圖像的背景噪聲，使用人臉檢測器框選出人臉區(qū)域(圖1(c))；由于鼻子及其附近的臉頰區(qū)域毛細(xì)血管旺盛，不受到眨眼、抿嘴等不自主動作的影響，所以本文選取該區(qū)域作為最后提取IPPG源信號的ROI(圖1(d))[16]；最后，將ROI內(nèi)R、G、B顏色通道分離，對各通道內(nèi)像素強度進行平均得到三通道的IPPG源信號。

圖2 放大前、后IPPG源信號對比Fig.2 Comparison of IPPG source signals before and after amplification

2.2 基于WT-PCA-BSS算法的IPPG源信號去噪

經(jīng)區(qū)域均值后獲得的一維IPPG源信號通常還包含由體溫調(diào)節(jié)、自主神經(jīng)系統(tǒng)調(diào)節(jié)引起的不自主的運動而造成的低頻噪聲，所以為了獲取信噪比高的信號，需要進行去噪處理。本文提出了一種“小波變換-主成分分析-盲源分離”相結(jié)合的去噪算法，其流程如圖3所示。

圖3 IPPG源信號處理流程圖Fig.3 Flow chart of IPPG source signal processing

本文選取db8小波基對三通道IPPG源信號進行分解去噪，不同的分解尺度對應(yīng)不同的頻帶分解，選擇分解尺度的原則是在該尺度下處理后既能有效減少噪聲又能盡量保留有用信息[17-18]。由于普通手機的成像幀頻為30 Hz，則IPPG源信號的頻率范圍為0～15 Hz，對IPPG源信號進行6層小波分解，脈搏波信號和呼吸信號主要集中在CD3、CD4、CD5、CD6頻帶范圍內(nèi)。

接下來對集中脈搏波信號和呼吸信號頻段的各層分解分量進行PCA主成分提取[19]，這里保留貢獻(xiàn)率大于90%的成分[20-21]，如圖4所示，經(jīng)PCA降維后分量數(shù)量降為3個。PCA運算大致可以歸納為以下步驟(假設(shè)有m條n維數(shù)據(jù))：

(1)將原始數(shù)據(jù)按列組成n行m列矩陣X。

(2)將X的每一行進行中心化處理，Xi←。

(3)計算協(xié)方差矩陣XXT。

(4)求出協(xié)方差矩陣的特征值及對應(yīng)的特征向量。

(5)將特征向量按對應(yīng)特征值大小從上到下按行排序，選擇其中最大的k個。提取其對應(yīng)的k個特征向量組成特征向量矩陣W。

(6)Y=WX即為降維到k維后的數(shù)據(jù)。

圖4 PCA降維后各成分信號Fig.4 The signal of each component after PCA dimensionality reduction

最后，對PCA主成分提取出的3個分量采用盲源分離和FASTICA算法從3個分量中分離出獨立信號s1(t)、s2(t)、s3(t)，如圖5所示，從圖中可以看出，經(jīng)過FASTICA處理，s3(t)獨立成分相比較其他兩個獨立成分信號更加平滑。

圖5 盲源分離出的獨立源信號Fig.5 Independent source signal separated by a blind source

由于個體信號存在差異性，為了適應(yīng)不同的信號情況，本文使用標(biāo)準(zhǔn)化的選取方式對獨立成分進行提取。即：將各分離信號與PCA貢獻(xiàn)率最大的成分進行相關(guān)性分析，提取出相關(guān)系數(shù)最大的獨立成分作為下一步計算的獨立分量。使用皮爾森相關(guān)系數(shù)來分別計算s1(t)、s2(t)、s3(t)與PCA貢獻(xiàn)率最大的成分的相關(guān)系數(shù)，計算公式為

其中，r表示皮爾森相關(guān)系數(shù)，r越大，表明兩者越相關(guān)，n為 樣本數(shù)量，Xi、Yi表示第i個 樣本，X、Y為樣本均值，SX、SY為樣本標(biāo)準(zhǔn)差。相關(guān)系數(shù)大，說明兩者線性相關(guān)程度更大，因此本文選取最大相關(guān)系數(shù)所對應(yīng)的獨立成分作為估算心率、呼吸率、SpO2的分解源信號。

2.3 非接觸式心率、呼吸率、血氧飽和度估算

2.3.1 心率值估計

研究發(fā)現(xiàn)[22]，含氧血紅蛋白吸收綠色光的能力超過紅色，且綠光的穿透能力比藍(lán)光更強，所以本文選用綠色通道處理后的信號進行心率和呼吸率的估計。由于盲源分離后提取的信號包含感興趣范圍之外的頻率分量，本文將感興趣的靜息心率值范圍設(shè)置為42～180次/min，所以使用截止頻率 [0.7, 3] Hz的帶通濾波器對提取信號進行濾波，圖6為帶通濾波后得到的信噪比改善的脈搏波信號。之后，對此脈搏波信號進行快速傅立葉變換[23-27]，將信號由時域轉(zhuǎn)換到頻域，得到其對應(yīng)的功率譜圖。選取功率譜圖中功率最大處對應(yīng)頻率的值fmax進行心率的估計，如圖7所示，則心率值為60乘以fmax。

圖6 經(jīng)帶通濾波后的脈搏波信號Fig.6 Pulse wave signal after bandpass filtering

圖7 傅立葉變換頻譜圖Fig.7 Fourier transform spectrogram

2.3.2 呼吸率估計

本文將感興趣的靜息呼吸頻率范圍設(shè)置為12～25次/min，由于小波分解后直接去除了頻率較低的分量，所以這里使用截止頻率為0.42 Hz的低通濾波器對綠色通道提取信號進行濾波，圖8為低通濾波之后的呼吸信號。

圖8 濾波后呼吸信號Fig.8 Respiration signal after filtering

再利用波峰檢測算法檢測整段視頻時間內(nèi)的呼吸信號中波峰的數(shù)量N，結(jié)合式(2)估算出呼吸率值，其中M表示采集視頻的總幀數(shù)，F(xiàn)表示采集視頻的幀率[23]。

2.3.3 血氧飽和度值估計

在傳統(tǒng)的脈搏血氧儀中，通常使用光強變化率比值法計算血氧飽和度，計算公式如下：

其中，A和B是根據(jù)經(jīng)驗確定的系數(shù)，Iac和Idc分別是波長λ1和λ2的透射(或反射)光的脈搏跳動交流和直流分量的振幅。一般情況下，波長λ1和λ2常選擇為660 nm的紅光和940 nm的近紅外光。

本文使用截止頻率為[0.7, 3] Hz的帶通濾波器處理后的紅、藍(lán)通道信號進行血氧飽和度的估算，其中藍(lán)色通道代表傳統(tǒng)脈搏血氧儀中使用的紅外波長。兩通道信號所有脈動周期中峰谷高度的標(biāo)準(zhǔn)差作為交流分量(Iac)，所有波峰高度的均值作為直流分量(Idc)。然后，通過脈搏血氧儀測得的SpO2值，與紅、藍(lán)通道的光強變化率比值R，擬合出最佳的線性方程來確定常數(shù)A、B的值。

3 實驗與討論

3.1 實驗裝置與過程

本實驗選取35名身體健康21天內(nèi)沒有服用藥物的志愿者開展實驗驗證，其中18名男性，17名女性；年齡范圍在18～45歲之間，膚色類型為Ⅲ、Ⅳ、Ⅴ型。在測試之前，使志愿者了解實驗的全部過程，本著自愿原則。設(shè)定了兩組實驗，第一組實驗采集了35名志愿者在自然光下的面部視頻；第二組實驗隨機選取20名志愿者，在自然光、白熾燈（色溫在3 000～4 000 K）和日光燈（色溫在6 000～6 500 K）的環(huán)境下進行拍攝。采集設(shè)備為小米MIX3后置攝像頭，像素分辨率為544 pixel×960 pixel，幀頻為30 frame/s，采集時長為30 s左右。采集過程中要求志愿者靜坐在正對手機攝像頭并與之水平相距70 cm 左右的位置，采集裝置如圖9所示。兩組視頻采集過程中志愿者默數(shù)記錄下呼吸次數(shù)(一呼一吸為一次)，同時由透射式手指脈搏血氧儀(DB12，飛利浦投資有限公司)顯示并記錄受試者的心率和SpO2值，這些數(shù)據(jù)作為標(biāo)準(zhǔn)參考值。

圖9 實驗采集示意圖及裝置圖Fig.9 Schematic diagram and real diagram of the experimental acquisition device

3.2 實驗結(jié)果與討論

為驗證本文所提方法的性能，本文做了以下兩種對照實驗：一是在自然光場景下，利用本文提出的方法獲得的各生理參數(shù)估算結(jié)果與其他文獻(xiàn)提出的檢測方法獲得的結(jié)果進行對比；二是將自然光、日光燈、白熾燈3種場景下獲得的心率、呼吸率、SpO2的估算結(jié)果與其參考值進行對比，并采用Bland-Altman散點圖對所有場景下非接觸式測量方法的估算結(jié)果與其參考值進行一致性評估。

同時，本文采用以下幾種評價指標(biāo)對比各方法性能：(1)平均絕對誤差|Me|，如式(4)所示，式中Est表示估算值，Ref表示參考值，N表示所有數(shù)據(jù)個數(shù)；(2)平均誤差Me；(3)誤差的標(biāo)準(zhǔn)差SDe；(4)誤差的均方根誤差RMSE，如式(5)所示；(5)平均誤差率Mer，如式(6)所示。部分方法對比時加入了相關(guān)性分析Cor，來衡量非接觸式估計值與接觸式參考值的相關(guān)密切程度，由于各文獻(xiàn)之間計算的指標(biāo)不統(tǒng)一，所以具體的評價指標(biāo)將以參考文獻(xiàn)為主。

3.2.1 自然光下性能對比

(1)心率、呼吸率估算性能對比

心率檢測性能對比如表1所示，比較發(fā)現(xiàn)，3種方法的|Me|均小于5次/min， 滿足中華人民共和國醫(yī)藥行業(yè)規(guī)定的誤差標(biāo)準(zhǔn) (誤差≤5次/min)，SDe、RMSE均小于4次/min，Mer均小于4%，表明在自然光下，這幾種方法都具有良好的性能。但與文獻(xiàn)[12]相比，本文方法的|Me|、SDe、RMSE均小于2次/min，Mer比其低約0.5%；與文獻(xiàn)[6]相比，本文所選志愿者的靜息心率從60次/min到85次/min不等，人數(shù)相對較多，年齡不同，且相關(guān)性系數(shù)高于文獻(xiàn)[6]。呼吸率檢測性能對比如表2所示，比較發(fā)現(xiàn)，兩種方法的平均誤差均小于1次/min，估算結(jié)果與參考值之間的相關(guān)性都約為0.6；本文方法的SDe、RMSE比文獻(xiàn)[10]均約小2次/min。

表1 自然光下各心率檢測算法性能比較Tab.1 Performance comparison of various heart rate detection algorithms under natural light

表2 自然光下各呼吸率檢測算法性能比較Tab.2 Performance comparison of various respiratory rate detection algorithms under natural light

從算法的時間復(fù)雜度分析，本文在MECHREVO Z3(i7-10870H，GTX1650Ti)筆記本平臺上，從IPPG源信號的處理到估算出心率、呼吸率的值所用平均時間約2 s。綜上，本文所提出的方法對于心率、呼吸率的估算更具有優(yōu)勢。

(2)SpO2估算性能對比

本文根據(jù)式(3)，利用手指脈搏血氧儀獲取的參考值與紅、藍(lán)通道的比率R之間找到最合適的線性方程，估算出式中A和B的數(shù)值，最佳擬合線性方程為：

根據(jù)此方程估算出各場景中志愿者SpO2的值。SpO2檢測性能對比如表3所示，比較發(fā)現(xiàn)，3種方法的SDe都在1%左右，RMSE都在3%以下；本文的Me相比于文獻(xiàn)[11]小0.73%，Mer比文獻(xiàn)[8]約小1.88%，整體的SpO2估算值與參考值更接近，準(zhǔn)確率相對更高。

表3 自然光下各SpO2檢測算法性能比較Tab.3 Performance comparison of SpO2 detection algorithms under natural light

3.2.2 不同光照條件下的一致性分析

本文從35名志愿者中隨機選取了20名進行自然光、日光燈、白熾燈環(huán)境下的人臉視頻采集實驗，分別對比了3種場景下心率、呼吸率、SpO2結(jié)果的差異性。為了表征3種環(huán)境下實驗結(jié)果的一致性，選用統(tǒng)計學(xué)中的 Bland-Altman 分析方法，設(shè)定置信區(qū)間為95%作為估算值與參考值是否具有一致性的界限。

(1)心率估算結(jié)果一致性分析

心率一致性分析結(jié)果如圖10所示，各場景的|Me|、SDe、RMSE均小于2.2次/min。此外，自然光、白熾燈、日光燈場景下的Mer分別為：2.54%、2.58%、2.76%，均小于2.8%，相關(guān)性Cor分 別 為：0.966 8、0.965 9、0.954 1，均 大于0.95；自然光場景下的各評價指標(biāo)比其他兩場景更有優(yōu)勢。如圖11所示，繪制了所有場景下非接觸式心率估計結(jié)果與手指脈搏血氧儀測量結(jié)果的Bland-Altman散點圖，橫坐標(biāo)為Ref與Est的平均值，縱坐標(biāo)為Ref與Est的差值。在3種光照環(huán)境下，兩種方法偏差的SDe為1.980 7次/min，95%置信區(qū)間為[-3.357 1，4.459 5]，僅有一個點在一致性界限之外。

圖10 3種場景下心率估算結(jié)果比較Fig.10 Comparison of heart rate estimation results in three scenarios

圖11 3種場景下心率結(jié)果Bland-Altman 一致性分析Fig.11 Bland-Altman consistency analysis of heart rate results in three scenarios

(2)呼吸率估算結(jié)果一致性分析

呼吸率一致性分析結(jié)果如圖12所示，各場景的|Me|、SDe、RMSE均小于2.2次/min。此外，自然光、白熾燈、日光燈場景下的Cor分別為0.595 7、0.499 5、0.525 6，白熾燈下的Cor相比于其他兩個場景略低。圖13為所有場景下非接觸式呼吸率估算結(jié)果與志愿者默數(shù)的呼吸次數(shù)的Bland-Altman散點圖，兩種方法偏差的SDe為1.961 8次/min，95%置信區(qū)間為[-4.503 1，3.238 8]，有兩個點在一致性界限之外。

圖12 3種場景下呼吸率估算結(jié)果比較Fig.12 Comparison of respiratory rate estimation results in three scenarios

圖13 3種場景下呼吸率結(jié)果Bland-Altman 一致性分析Fig.13 Bland-Altman consistency analysis of respiratory rate results in three scenarios

(3) SpO2估算結(jié)果一致性分析

SpO2一致性分析結(jié)果如圖14所示，各場景的所有評價指標(biāo)均小于1.6%，各場景之間的同一評價指標(biāo)最大差值不超過0.5%；自然光場景下的各指標(biāo)在3個場景中最好，日光燈場景下的最差。3個場景下SpO2估算結(jié)果與脈搏血氧儀測量結(jié)果的Bland-Altman一致性散點圖如圖15所示，兩種方法偏差的SDe為1.240 4%，95%置信區(qū)間為[-2.721 9，2.173 2]，有兩個點在一致性界限之外，但距離一致性界限都相對較近。

圖14 3種場景下SpO2估算結(jié)果比較Fig.14 Comparison of SpO2 estimation results in three scenarios

圖15 3種場景下SpO2結(jié)果Bland-Altman 一致性分析Fig.15 Bland-Altman consistency analysis of SpO2 results in three scenarios

3.2.3 討論

從表1～3的對比結(jié)果可以看出，本文所提出的非接觸式生理參數(shù)計算與其他文獻(xiàn)方法相比具有一定的優(yōu)勢，其主要原因如下：與文獻(xiàn)[6]、[11]所提出的方法相比，本文考慮到采集到的人臉視頻信號較微弱，為避免脈搏波信號被其他噪聲淹沒，借助歐拉放大算法對視頻中變化的色度信息進行放大；與文獻(xiàn)[8]、[10]、[12]相比，本文針對小波分解后的信號，又進行了主成分分析，去除了一些突變噪聲的干擾，重構(gòu)出更加平穩(wěn)的脈搏波信號。從圖10、12、14的數(shù)據(jù)對比結(jié)果可以看出，盡管在不同的光照場景下，同一評價指標(biāo)之間的最大差值不超過0.5，各指標(biāo)基本趨于一致；但與自然光相比，在其他兩種場景下的結(jié)果相對較差，主要原因是由于光照環(huán)境的改變，導(dǎo)致提取的人臉I(yè)PPG源信號引入了多余的噪聲。從圖11、15的Bland-Altman散點圖一致性分析結(jié)果可以看出，在不同的光照環(huán)境下非接觸式估算結(jié)果與接觸式脈搏血氧儀的檢測結(jié)果具有較強的一致性。綜上，本文所提出的心率、呼吸率、SpO2估算方法具有良好的穩(wěn)定性和普適性，可以在日常生活中作為輔助性檢測儀器進行各生理參數(shù)的常規(guī)檢測。

4 結(jié) 論

心率、呼吸率、SpO2作為人體重要生理體征，是心血管疾病預(yù)防及臨床診斷的重要指標(biāo)。本文借助手機攝像頭錄制人臉視頻，在歐拉放大算法的基礎(chǔ)上對IPPG源信號進行WT-PCABSS的去噪，獲取到信噪比高的脈搏波信號和呼吸信號進行心率、呼吸率、SpO2的估算。通過計算不同光照條件下非接觸式與傳統(tǒng)接觸式測量結(jié)果之間誤差的評價指標(biāo)，結(jié)果如下：心率各場景的|Me|、SDe、RMSE均小于2.2次/min，Mer均小于2.8%，相關(guān)性Cor均大于0.95；呼吸率各場景的|Me|、SDe、RMSE均小于2.2次/min；SpO2各場景的所有評價指標(biāo)均小于1.6%，各場景之間的同一評價指標(biāo)最大差值不超過0.5%。另外，還繪制了所有非接觸式估算結(jié)果與其參考值之間的Bland-Altman散點圖，其中：心率值偏差的SDe為1.980 7次/min，僅有一個點在一致性界限之外；呼吸率值偏差的SDe為1.961 8次/min，有兩個點在一致性界限之外；SpO2偏差的SDe為1.240 4%，有兩個點在一致性界限之外。證明本文提出的非接觸式方法的測量結(jié)果同標(biāo)準(zhǔn)儀器的測量結(jié)果具有較強的一致性。這種非接觸式的檢測方法可以讓受試者在舒適的、非接觸的環(huán)境下進行自身心率、呼吸率、SpO2的檢測，彌補了以往文獻(xiàn)方法中提取生理參數(shù)相對單一的缺陷，為日常生活中基本生理參數(shù)的檢測提供一種便利途徑。

當(dāng)然，本文算法也具有一定的局限性，在劇烈運動和多人出現(xiàn)的場景下，本文所提方法不能進行各參數(shù)的準(zhǔn)確估算。在未來的工作中，將進一步改善在劇烈運動時獲取信號差的問題，以及多人場景下不能同時估算生理參數(shù)的局限；還將補充血壓、脈搏波傳導(dǎo)速度等其他生理參數(shù)測量，從而構(gòu)建全面的視頻非接觸式生理測量模型。