基于面部視頻分析的生命體征檢測

陳輝，鄭秀娟，*，倪宗軍，張昀，楊曉梅

（1.四川大學 電氣工程學院，成都 610065； 2.西安交通大學 電子與信息學院，西安 710049）

近年來視頻監控技術快速發展，針對監控視頻的智能分析需求深入到公共空間和私人生活的各個方面，涉及了如交通監控、犯罪預防、人群監控、身份認證以及居家監護等多種不同應用場景［1］。由于視頻中的人臉包含有最為豐富的個人特征信息，因此針對面部視頻的智能分析方法也受到廣泛的關注。早在20世紀60年代Bledsoe就提出了基于人臉的幾何特征的人臉識別方法［2］；He等也在2015年提出了一種基于局部二值模式（Local Binary Patterns，LBP）關鍵面部區域中的表情特征融合方法進行面部表情識別［3］；2004年，Ahonen等利用LBP人臉單個特征直方圖實現人臉識別［4］；2016年，Lenc和Král提出利用一組Gabor濾波器實現對基準點的自動選擇，解決了在使用LBP進行人臉識別時的基準點的位置和數量是固定的問題［5］。隨著計算機視覺理論和技術的發展，人臉檢測與識別技術日臻完善。在面部視頻分析領域中，之前的許多研究都圍繞人臉結構特征展開了深入研究，但忽略了隱含于視頻中的與生命體征相關的生理信號。近年來，越來越多的研究開始關注對視頻及圖像序列中的生命體征相關生理信號的提取和分析工作［6-7］，這將為充分利用監控視頻中隱含的人體信息進行活體識別以及智能行為分析提供思路，有助于豐富監控視頻智能分析的應用場景。

2000年，Wu等提出成像式光電容積描記法（imaging Photoplethysmography，iPPG）及其技術框架實現了從視頻中獲得人體的心率參數估計［8］。iPPG技術是根據面部視頻中的皮下淺層血管血流灌注變化導致的皮膚顏色輕微變化，從而通過分離血容量脈沖（Blood Volume Pulse，BVP）信號來得到相應的生命體征估計。此后，多項研究均以iPPG技術為基礎實現基于視頻的遠距離生命體征參數檢測工作［9-10］。然而由于視頻中隱含的BVP信號成分十分微弱，且容易受到環境光照和運動的影響，產生低頻基線漂移與高頻噪聲污染［11］，從而使得iPPG方法進行生命體征檢測的精準度不穩定。

為抑制噪聲對iPPG技術的干擾，2010年Poh等使用獨立成分分析法（Independent Component Analysis，ICA）處理面部視頻中RGB三通道信號，來獲取視頻中0.5～2 Hz之間的頻率成分，之后重構BVP信號，進而獲得心率的估計［12］。隨著現代信號處理技術的發展，2009年，雷恒波等采用經驗模態分解（Empirical Mode Decomposition，EMD）來自適應處理非平穩信號，將原始信號分解成一系列不同頻率成分的本征模態函數（Intrinsic Mode Functions，IMF），從而重建純凈的BVP信號并用于檢測相應的生命體征［13-14］；2018年，Zhao等提出使用改進的EMD方法（Comp lete Ensemble Empirical Mode Decomposition，CEEMD）來重建純凈的BVP信號［15］。2019年，Favilla等提出使用帶通濾波器來獲取高幀率視頻，并且使用快速ICA方法將BVP信號與噪聲分離，從而得到準確的生命體征的估計值［16］。

這些信號處理方法都主要解決消除或減弱由運動或光照影響造成的偽影誤差，但當視頻存在人臉丟失，或者無法準確識別人臉感興趣區域（Region of Interest，ROI）時，仍會使獲取的BVP信號質量下降，從而影響到生命體征估計的準確率。

由此本文以面部視頻中人臉檢測為基礎，提出了一種新型面部視頻分析方法實現自適應非接觸生命體征檢測。該方法可在面部視頻分析時，對存在環境光影響和人頭部運動的面部視頻給出較為精確的心率與呼吸頻率的估計。

1 本文方法

本文以人臉檢測為基礎，使用集合經驗模態分解（Ensemble Empirical Mode Decomposition，EEMD）算法［17］與信號質量檢測提高基于面部視頻的生命體征檢測方法的準確性。本文提出的聯合集合經驗模態分解算法和信號質量檢測的面部視頻分析方法由5個主要步驟構成，流程如圖1所示。

圖1 本文方法流程Fig.1 Flowchart of proposed method

1.1 基于人臉檢測的感興趣區域獲取

為了更好地檢測并跟蹤視頻中的人臉，本文使用具有3個深層卷積網絡的級聯架構MTCNN（Multi-Task Convolutional Neural Networks）［18］和非極大值抑制策略［19］得到人臉識別框與面部標簽，同時實現人臉檢測與對齊。在確定人臉的范圍之后，調用Dlib庫［20］定位人面部特征點。根據面部特征點定位鼻子及額頭區域的最大內接矩形可以跟隨頭部運動實現面部感興趣區域的自適應獲取，如圖2所示。圖中：實心點為68個特征點（粗略ROI）；矩形框為精細ROI，包括鼻子和前額區域。

圖2 面部ROI選擇Fig.2 Facial ROI selection

1.2 初始BVP信號提取

在確定面部ROI后，對ROI內像素點進行灰度歸一化處理，再進行瑞利分布匹配，去除灰度值落在瑞利分布之外的像素點從而抑制噪聲干擾。接著采用CHROM 模型［17］構建ROI像素點色彩模型以降低運動帶來的噪聲影響，即將RGB三通道的信號進行線性組合得到初始BVP信號。

1.3 集合經驗模態分解

為了避免EMD算法的模態混合問題，本文采用EEMD算法［21］將初始BVP信號分解為真實的IMF函數組合。

因此初始BVP信號先由EMD算法分解為N個IMF函數，所有的IMF函數和殘差r（t）可以重構輸入信號x（t）。

根據EEMD算法原理，初始BVP信號x（t）分解步驟如下：

步驟1在原始信號x（t）中加入均值為0、標準差為原始信號標準差0.2倍的高斯白噪聲w（j），即x（j）=x（t）+aw（j）（j=1，2，…，N），其中的白噪聲的幅度大小為a=0.2。

步驟2計算x（j）（j=1，2，…，N）的EMD算法得到本征模態，其中k=1，2，…，K為模態。

步驟3將作為x（t）的第k階模態均值，通過將相應的求平均得到。

當得到所有的IMF函數后，應該舍去與噪聲相關的IMF函數。由人體血流循環可知，BVP信號主要受心肺頻率的調制，而呼吸成分頻率范圍為0.1～0.5Hz，心率成分頻率范圍為0.7～4 Hz。為了去除偽影，計算各IMF函數的頻譜并確定其主頻率，即獲得最大幅度的頻率。根據各IMF函數的主頻率將其歸入對應的心肺信號頻率范圍，即將IMF函數分為心率組和呼吸頻率組。為最終從BVP信號中得到準確的心率和呼吸頻率等生命體征的估計，將心率組和呼吸頻率組的IMF函數通過正交變換，將存在相關性的IMF函數轉換為一些線性不相關的變量，即為主成分（Principal Component signal，PCs）。將主成分進行排序，第一主成分含有所選IMF函數中存在的大部分變化。因此，在心率組中的IMF函數上得到的第一主成分對應著心率，同樣，呼吸組中的第一主成分對應著呼吸頻率，如圖3所示。

圖3 用EEMD-PCA技術從BVP信號中提取心率和呼吸頻率的主成分的步驟Fig.3 Steps of using EEMD-PCA technique to extract principal component signal of heart rate and respiratory rate from BVP signals

1.4 基于方差特征序列的信號質量檢測

在實際的面部視頻分析中，初始BVP信號質量往往受到諸多外界因素的干擾，即使經過EEMD分解后獲得的主成分也會存在信號質量不高的問題。因此，在得到心率主成分Xhr（t）和呼吸頻率主成分Xbr（t）后，需要檢測主成分信號質量來提高生命體征檢測的準確性。本文采用方差特征序列（Variance Characterization series，VCs）［22］進行主成分信號的頻譜質量檢測，以處理心率主成分Xhr（t）為例（呼吸頻率主成分Xbr（t）處理方法同理），具體步驟如下：

步驟1根據峰值檢測算法挑選出Xhr（t）所有局部最大值Mi（i=1，2，…）以及局部最小值mi（i=1，2，…）。

步驟2將每個局部最大值Mi和后續的7個局部最大值進行方差計算，記為σMi。以相同方法處理局部最小值，得到方差記為σmi。當計算最后7個局部值的方差時，以最后1個數復制填充至8個再進行計算。

步驟3計算方差特征序列：

式中：δMi和δmi分別為局部最大值下的方差特征序列和局部最小值下的方差特征序列；loc（*），*∈（Mi，Mi+1，mi，mi+1）為在時間序列Xhr（t）中的局部最大值和局部最小值對應的索引值。

設定的8個局部值計算方差有利于減少基線漂移，由式（3）、式（4）可以得到Xhr（t）的2個方差特征序列。原始主成分信號以及對應的方差特征序列如圖4所示。圖中：三角表示主成分信號的局部最大值（無單位），圓點表示主成分信號的局部最小值（無單位）。可以看到，當不同主成分的波形變化時，方差特征序列的變化情況。

圖4 原始主成分信號及對應的方差特征序列表示Fig.4 Original principal component signals and corresponding variance characterization series representation

根據獲得的方差特征序列，基于2個準則來判斷Xhr（t）質量：

1）δMi的值遠大于閾值T。

2）第i+4個最大值和第i個最大值之間的距離遠小于D1或者第i+2的最大值和第i的最大值之間的距離D2。

上述準則中，閾值T由先驗的無干擾BVP信號計算給定，且D1和D2則由前一時間窗估計的心率（Hpre）和采樣頻率ρ給定，即

式中：Hpre為按照上述同樣方法在前一個時間窗的計算值，180 bpm與60 bpm分別為人體在靜坐情況下的心率上限值與下限值。

1.5 自適應生命體征估計

若根據1.4節計算得出對應的主成分信號質量為不合格，即說明在頻譜分析時，會出現大量不符合生理特征區間的頻譜高峰值，此時對經過1.3節處理之后的主成分信號Xhr（t）與Xbr（t）使用頻譜跟蹤算法來獲取生命體征的估計值，如圖5所示，仍以處理Xhr（t）為例（Xbr（t）同理），其具體的步驟如下：

圖5 頻譜跟蹤算法流程圖Fig.5 Flowchart of spectrum tracking algorithm

步驟1使用三次樣條插值平滑處理，以及對主成分信號Xhr（t）進行三階的巴特沃斯帶通濾波提取相應的頻率成分，進一步消除因為環境光照變化和頭部運動帶來的噪聲。

步驟2計算將平滑后的主成分Xhr（t）頻譜，選取前2個最大的頻率值f1、f2，并且計算對應心率數值為HR1和HR2。

步驟3將這2個數值HR1和HR2與上一個時間窗估計的頻率fpre對應的心率HRpre作對比。

1）當2個估計值與HRpre差值均控制在10 bpm之內，且與HRpre差值的絕對值均不相等，即選取最為接近HRpre的心率估計值作為此次的最終的心率估計值HRfinal。

2）當2個心率估計值與HRpre差值均相等且控制在10 bpm之內，將時間窗縮短計算各個時間窗之內的數值，依次判斷心率變化的趨勢。當心率為上升趨勢時選取比較大的心率估計數值作為HRfinal，反之，則選取較小的心率估計值作為HRfinal。

3）當2個估計值與HRpre差值，一個小于10 bpm，另一個大于10 bpm，那么，即選取小于10 bpm對應的估計值作為HRfinal。

4）若2個心率估計值與HRpre的差值均大于10 bpm，即說明該主成分信號質量不高，不能使用頻譜分析，則改為使用時域計數方式獲取的心率估計值作為最終的心率估計值HRfinal。

如果方差特征序列滿足1.4節中2個基本準則，代表此時獲得的主成分信號Xhr（t）與Xbr（t）質量合格，受到的干擾少，可以直接使用巴特沃斯帶通濾波后進行頻譜分析，即可得到相應的心肺頻率fhr、fbr，通過式（7）和式（8）獲得最終心率和呼吸頻率的估計值。

至此完成了根據主成分信號不同質量情況的自適應生命體征估計。

2 實驗結果及分析

2.1 實驗數據集

為控制實驗變量的單一性，本文使用公開的多模態數據庫DEAP數據集［23］進行對比實驗。DEAP數據集中包含有32名受試者（年齡分布為19～37歲）在觀看情緒激發視頻時的1分鐘面部視頻以及同步多通道生理信號，其中由呼吸帶測得的呼吸頻率和指尖PPG信號測得的心率將作為本文生命體征估計的標準值。

2.2 實驗結果對比

為了驗證本文方法的心率和呼吸頻率檢測的準確率，使用估計誤差的平均絕對誤差（Mean Absolute Error，MAE）、平均誤差百分比（Mean Error Percentage，MEP）以及P相關系數（Pearson correlation coefficient）這些統計指標進行驗證分析。選取較早研究中常用的信號處理方法ICA［24］（2011年）、AR［25］（2014年）和近年提出的改進方法CEEMD［15］（2018年）、FastICA［16］（2019年）進行對比實驗，驗證本文方法性能的有效性。

所有方法都基于同一個實驗數據進行，視頻預處理方法保持一致，所有的預處理參數保持一致，面部視頻時間窗寬30 s。對比方法保留已報道的參數設定值，ICA［24］選擇的獨立成分數為3，AR［26］使用的回歸參數設定為3，CEEMD［15］不用設置其他參量。本文方法中使用的EEMD算法也不用特別進行參量設置。

表1列出了本文方法與4種比較方法在心率估計的準確度比較結果（面部視頻時間窗寬為30 s）。與ICA、AR、CEEMD、FastICA 4種方法做比較時，本文方法的心率估計結果MAE最小，控制在3 bpm之內，同時MEP控制在4%左右，P相關系數大于0.9。表2列出了本文方法與4種比較方法在呼吸頻率估計的準確度比較結果（面部視頻時間窗寬為30 s）。與其他方法相比，本文方法獲得了最低的呼吸頻率估計MEP，約為7.8%，同時MAE約為3 bpm，P相關系數達到0.8以上。由上述結果可見，由面部視頻獲得的呼吸頻率的準確度低于心率的準確度，其原因為呼吸相關信號通常為低頻成分，更容易受到外界因素干擾，不容易從視頻中將其精確分離。

表1 不同方法的心率比較Table 1 Com parison of heart rate am ong differentm ethods

表2 不同方法的呼吸頻率比較Tab le 2 Com parison of respiratory rate am ong differentm ethods

2.3 結果討論

當從面部視頻中獲取的生理信號足夠穩定，使用以傅里葉變換為基礎的頻譜分析獲得的生命體征估計具有較高精確度。然而，通常得到的視頻信號，尤其是監控視頻，常常受到諸多外界因素的干擾，如環境光變化、人體運動等。這些都會給面部視頻中隱含的生理信號帶來強烈的噪聲。因此使用ICA和時域濾波相結合的方法可以在一定程度上抑制外界干擾引入視頻的噪聲，但使用ICA方法進行信號盲源分離，設定的盲源數量為3。而監控視頻中存在的光源和運動噪聲源的數量難以確定，因此在實際應用中該方法所獲得的生命體征檢測結果也不理想。

AR模型常用于時間序列的分析，但要求信號平穩，因此即使引入了背景興趣區作為環境光噪聲參考來提高該方法對光照變化的穩定性，但仍然無法抑制運動噪聲干擾。因此，在對比實驗中AR［25］方法相較于ICA［24］方法所得到的生命體征估計結果的準確度有所提高，但低于CEEMD［15］和FastICA［16］方法獲得的估計精確度。

使用基于EMD方法以及該類型的拓展方法，如EEMD和CEEMD［15］方法，其優勢在于不需要考慮盲源數量，也無需設定任何基函數，便可以將復雜信號分解為有限個IMF組合，并且各IMF分別包含了原信號的不同時間尺度下的局部特征信號。但同一時間尺度成分由EMD分解成不同的IMF時，會產生模態混疊這一現象。EEMD 與CEEMD都是通過改變極值點的分布抑制模態混疊問題，采用的是在原信號中加入白噪聲來使真實信號分量在分解的過程逐步顯現。使用EEMD時，剩余噪聲會隨著集成平均的次數逐漸減少，而在使用CEEMD時的剩余噪聲一直維持在一個較小的程度，在保證了較小的剩余噪聲干擾的情況下，能夠節省計算時間。在針對面部視頻分析時，本文使用EEMD方法無需針對復雜的干擾情況預先設定視頻中噪聲源數量。同時，本文方法使用信號質量檢測和頻譜跟蹤算法，可以有效處理視頻中面部數據缺失或質量降低的問題，來提高生命體征估計的準確度。

最后，本文方法仍然無法高效地抑制劇烈運動干擾的影響。因此，在未來的工作中，需要提高本文方法的泛化能力，進一步針對監控視頻特點提高視頻中生命體征檢測的準確度。

3 結 論

本文基于面部視頻分析給出了一種人體生命體征檢測方法，并通過公開數據集的對比實驗驗證得出如下結論。

1）為了提高視頻中生命體征檢測的準確度，抑制外界環境光及頭部運動的干擾，提出以人臉檢測與跟蹤為基礎，聯合EEMD算法與信號質量檢測方法進行面部視頻分析，并給出了心率和呼吸頻率檢測的具體流程與算法。

2）通過公開數據集驗證了所提方法從面部視頻中獲得心率和呼吸頻率的準確度，所得估計值與標準值的相關系數分別高于0.9和0.8。

3）所提方法不僅為實時活體檢測提供了思路，而且也有助于豐富監控視頻的智能分析的應用場景。