基于多區域分析的非接觸式熱紅外視頻心率檢測方法*

陸磊，成娟

(合肥工業大學生物醫學工程系， 合肥 230009)

1 引 言

心率是人體一項重要的生命體征參數，心率檢測已經廣泛應用于健康監護、情緒感知、疲勞駕駛和睡眠監測等領域。目前，心率檢測方法分為接觸式和非接觸式兩種。傳統接觸式心率檢測方法的測量結果準確可靠，但是長時間佩戴易引起不適，且并不適合一些特殊場合的使用。例如，身體大面積燒傷、傳染病人、新生兒監護等[1]。

基于圖像光電容積描技術(imaging photo plethysmography，iPPG)的非接觸式心率檢測技術一般采用可見光攝像頭，由于其低成本、使用廣泛等特點逐漸成為研究熱點[2-3]。但是，當環境昏暗或黑暗時，該技術檢測效果不佳甚至不可用。由于熱紅外視頻可以實時反映面部像素值由于心臟周期性搏動時血液循環引起的溫度變化而產生相應的變化，可實現非接觸式心率的檢測，故可以作為基于視頻的非接觸式心率連續檢測的補充方案，特別是昏暗或黑暗的情況。

熱紅外視頻心率檢測最早是由Garbey等[4]提出的，采用自適應濾波和快速傅里葉變換的方法來實現人體心率的測量。Gault等[5]利用熱成像中溫度的變化，檢測在正常、輕度疼痛、輕度運動三種狀態下的熱視頻心率，采用前額區域的60%的血管段結合小波分析的方法測試了人在正常、輕度疼痛、輕度運動狀態下的心率，得到85%測量精度的結果。

Hamedani等[6]將歐拉放大方法應用到熱紅外視頻心率提取，從而實現了心率的檢測。Hu等[7]提出利用熱紅外成像儀和近紅外攝像機來搭建雙攝像頭成像系統。對面部感興趣區域(region of interest，ROI)進行像素均值時間序列提取，之后用時域信號分析方法檢測心率。梁智敏等[8]對靜態熱紅外視頻檢測，將熱紅外圖片轉化為灰度圖片，通過對ROI灰度均值變化提取，然后經過小波分析和帶通濾波處理后，最后利用小波包重構實現心率的實時檢測。Hessler 等[9]使用小波變換過濾信號，計算傳感器和熱紅外視頻信號波形之間的相似性，實現了對熱紅外視頻的心率和呼吸率的提取，達到了很好的相關性。以上研究中，基于熱紅外視頻的心率提取研究也有與iPPG類似的技術。如歐拉放大的方法已經運用到熱紅外的心率檢測中[6,10]。兩者從根本上來說，均是心臟周期性收縮和舒張，引起面部像素值的相應變化。

近年來，基于iPPG的非接觸式心率檢測技術研究表明，通過同步分析多個不同的面部感興趣區域的信號來提升心率檢測的性能。Kumar等[11]通過剔除有噪聲的面部區域，并使用剩余區域的信噪比作為權重，挑選出信噪比高的面部區域的綠色通道信號作為原始信號的來源，可以獲得準確的心率估計值。Favilla等[12]選取了單色人臉視頻中的前額，左右兩側臉頰這三個不同的感興趣區域作為研究對象，得到相對應的三個單通道信號，將三個單通道信號經預處理后進行獨立成分分析，得到相應的獨立分量，最后用快速傅里葉變換提取頻率范圍內振幅最大的信號為心率信號，達到了心率檢測的目的。Guo等[13]對多個面部感興趣區域使用聯合盲源分離的方法，應用獨立向量分析聯合分析多個面部感興趣區域產生的多個顏色通道信號，得到測量的心率更加可靠更加準確。Wei等[14]提出通過對兩個面部感興趣區域中獲得的六通道信號，應用二階盲源分離技術來測量心率的方法，具有較強的魯棒性。Qi等[15]采用聯合盲源分離的方法對多個面部區域中顏色通道信號形成的多維數據集，篩選出接近真實心率的信號，從而實現了對心率的準確的檢測。

對于熱紅外視頻，單個ROI僅能生成單通道像素均值時間序列，在相對靜止的環境下，多個面部ROI區域共同包含的信息主要為心率信息，故本研究擬借鑒iPPG技術中的多區域分析技術，形成多通道像素均值時間序列。一方面，提出多區域獨立成分分析方法，同時，將單通道集合經驗模態分解算法擴展為多通道的多變量經驗模態分解，從而驗證這兩種多區域分析方法進行熱紅外視頻心率檢測的有效性。另一方面，與傳統的單區域分析方法進行性能比對。

2 方法

2.1 多區域獨立成分分析

盲源分離是指在沒有關于信號混合過程先驗信息的前提下，從一組觀測到的混合信號中提取未觀測到的信號即潛在的源信號的過程。通常情況下，觀測信號由一系列傳感器獲取，每個傳感器接受的信號由不同的源信號所構成。設x(t)=[x1(t),x2(t),...,xm(t)]是在t時刻的m維的源信號向量，其分量是相互獨立的，設y(t)=[y1(t),y2(t),...yn(t)]T是n維觀測信號向量，每個觀測信號分量都是m個獨立的源信號的線性組合，即：

y(t)=Ax(t)

(1)

這里A為n×m的混合系數矩陣。盲信號分離是研究從給定的混合信號中y(t)重構出源信號x(t)，獨立成分分析(independent component analysis，ICA)是一種最常用的盲源分離技術。ICA的目標是找到一個對觀測信號y(t)做線性變換的m×n矩陣W,使得y(t)經變換后的x′(t)各個分量之間盡可能獨立，即:

x′(t)=Wy(t)

(2)

2.2 多變量經驗模態分解

經驗模態分解(empirical mode decomposition，EMD)是由Huang等提出的一種信號分析方法，分解的原理是它根據原始信號本身的時間尺度特征將其分解為若干本征模態函數(intrinsic mode function，IMF)。EMD方法尤其適用于處理非平穩和非線性數據方面具有明顯優勢。但是實際中，原始信號通常包含了大量復雜的噪聲信息，這就可能出現模態混疊現象。為此，Wu等[16]提出一種噪聲輔助分析方法，即集合經驗模態分解(ensemble empirical mode decomposition，EEMD)，有效減少了模態混疊現象的發生。但是，EMD和EEMD都是對一維信號進行分析處理。

多變量經驗模態分解法(multivariate empirical mode decomposition，MEMD)是EMD的一種擴展，實現多元信號的多通道同步聯合分析[17-18]。利用MEMD來同時提取多個單通道之間的共同模式，可避免處理單個通道的信息而忽視了多個通道之間相互依賴的信息，將多個通道的信號分解為多個本征模式分量。對于輸入信號x(t)=[x1(t),x2(t),...,xm(t)]，其算法具體步驟如下：

(1)在一個球面上，選擇合適的m-1個采樣點，可以得到m維空間的方向向量集nQk;

(6)通過d(t)=x(t)-m(t)，求得d(t)，如果d(t)滿足IMF的停止條件，則為一個IMF，否則從步驟(2)開始執行。則MEMD最終會分解出M個IMF，即

(3)

式中，Cm(t)為第m個IMF，r(t)為殘余量。

IMF停止條件為極大值點與極限值點個數之和與過零點的個數的差不超過1；極大值點與極小值點構成的包絡的平均值應處處接近于0。

3 實驗與結果

熱紅外視頻心率檢測實驗流程，見圖1。首先，利用熱紅外攝像機采集人體面部視頻；其次，對視頻圖像幀確定N個ROI區域，分別計算每個ROI區域內的像素均值，構成時間序列；然后，分別采用MRICA和MEMD方法提取包含心率信息的獨立分量和本征模態函數；最后，通過功率譜分析、篩選得到最佳的獨立分量和本征模態函數，其主頻即為心率頻率。同時，為了驗證多區域分析方法的優越性，還對比了單區域分析方法的性能，包括單通道濾波和集合驗模態分解算法。

圖1 熱紅外視頻心率檢測實驗流程圖Fig.1 The flow chart of heart rate detection with thermal infared video

3.1 視頻數據采集

數據采集見圖2。研究中使用高德C400熱紅外攝像機拍攝受試者的面部區域，尺寸為140 mm×206 mm×114 mm，波長為8～14 μm，圖片分辨率為640×480，拍攝的熱紅外視頻幀率為25 fps，溫度靈敏度是0.1℃。使用康泰cms50d指夾式脈搏血壓儀記錄受試者的心率數據，脈率顯示范圍為25～250 bpm，誤差為±1 bpm，幀率為60 fps。

圖2 數據采集示意圖Fig.2 Data acquisition schematic diagram

在房間內，每位受試者均坐在椅子上，盡量保持靜止。固定好高德攝像頭正對受試者，人臉距離攝像頭約為0.5 m，每位受試者只拍攝一次，每次拍攝時間不低于1 min。脈搏血壓儀夾在受試者手指上，提取心率數據，與高德攝像頭同步采集熱紅外視頻。有30位受試者自愿參與本研究，24名男性和6名女性，年齡在20～28歲。心率的檢測時間為20 s，研究中讀取前60 s的視頻，分為不重疊的3段，共得到90個視頻片段，其心率分布直方圖見圖3，心率的分布范圍主要為60～90 次/min。

圖3 心率分布直方圖Fig.3 Histogram of heart rate distribution

3.2 面部感興趣區域確定

選擇鼻子作為感興趣區域時會引入呼吸帶來的運動干擾；選擇嘴唇、眼睛作為感興趣區域時會由于說話或眨眼造成的噪聲而難以提取心率信號[19]。通常，研究人員會選擇毛細血管分布豐富，且皮膚區域分布平整的臉頰和額頭作為感興趣區域，有助于高質量心率信號的獲取。

首先，手動選取第一幀圖像，確定3個ROIs，見圖4。臉頰兩側、額頭的ROIs是以鼻子所在的兩條直線相互對稱的，其中x=50，d=160，臉頰兩側的ROIs的像素大小為50×50，到對稱中心距離為80；額頭ROI到對稱中心距離為240，像素大小為160×50。之后，計算每幀圖像、每個面部感興趣區域內所有像素點的均值，構成三通道像素均值時間序列。采用單區域分析方法進行對比時，單通道像素均值時間序列為這三個感興趣區域內所有像素的平均。

圖4 感興趣區域的確定Fig.4 Region of interest

3.3 實驗結果和分析

3.3.1基于多區域獨立成分分析的視頻心率檢測 對多通道像素均值時間序列進行預處理，包括歸一化和濾波[20]。本研究使用4階巴特沃斯濾波，頻率范圍為0.75～2.5 Hz，即對應于心率值45～150次/min。

MRICA是通過假設三通道信號為包含心率成分的脈沖信號，以及運動和其他信號等多種成分的線性組合。采用獨立成分分析處理后可以得到三個獨立分量，選擇幅值占比最大的信號作為心率信號。最后由最佳信號的功率譜圖最大幅值對應的頻率可以估算出檢測的心率。選擇第7個受試者20～40 s數據做分析。三個獨立分量時域圖及頻譜圖見圖5。最后通過三個獨立分量的頻譜圖選取能量占比最大的信號為最佳候選信號。由計算得能量占比P1=0.045，P2=0.077，P3=0.095，第三個信號能量占比最大即為最佳候選信號，其主頻為f=1.2 Hz，得到HR=f×t=1.2×60 =72 bpm，參考信號參考值也為72 bpm。

圖5 獨立分量Fig.5 Independent component

3.3.2基于多變量經驗模態分解的視頻心率檢測 將歸一化的多通道像素均值時間序列，經MEMD分解后，分解為多個本征模式分量，同時提取3個信號通道之間的共同模式。IMF的個數和信號的長度有關，由于研究中的20 s數據有500幀圖像，可以得到9個IMF，3個通道共有27個IMF，我們將其記為IMF1，IMF2，...，IMF27。當IMF主頻落在感興趣的心率頻率范圍0.75～2.5 Hz之間，即對應于心率值45～150次/min，則我們便將其選定為候選的IMF。每個通道均至少有一個候選IMF，在這些候選IMF中選擇主頻能量占比最大的IMF作為最佳本征模式分量，得到對應的頻率和心率檢測值。選擇受試者4的第41～60 s數據進行分析，得到IMF4、IMF5、IMF1、IMF22為候選IMF，圖6是確定的候選IMF時域圖和頻譜圖，計算4個候選IMF的能量占比，分別為P1=0.090，P2=0.072，P3=0.063，P3=0.087。我們發現IMF4的能量占比最大，即為最佳候選IMF，其主頻為1.51 Hz，最終得到HR=f×t=1.51×60=90.6 bpm，而相應時間段內的參考心率為91.6 bpm。

圖6 候選IMFFig.6 IMF candidates

3.3.3基于多區域分析的視頻心率檢測結果 為了驗證基于多區域分析方法的有效性，將基于單區域分析的單通道濾波和EEMD算法進行對比。四種方法的結果見表1，以4個評價指標來展現，分別為平均絕對誤差MAE、標準差SD、均方根誤差RMSE、皮爾遜相關系數r[21]。

表1 不同方法的心率檢測性能對比Table 1 Comparison of heart rate detection performance of different method

由表1可知，MRICA方法的心率檢測結果最好，平均絕對誤差為3.17 bpm，標準差為2.93 bpm，均方根誤差為4.3 bpm，相關系數為0.87。對比MRICA和MEMD，以及EEMD和單通道濾波方法的結果，可知多區域分析方法得到心率檢測的結果優于單區域分析方法。其中單通道濾波效果最差，主要原因為信號本身微弱，單純做濾波處理，心率信號易淹沒在噪聲中。EEMD的結果要優于單通道濾波，EEMD方法有一定的去噪效果，但仍有一些包含心率信號的IMF淹沒在噪聲之中。MEMD是將三個通道數據分解為多個IMF，同時提取三個信號通道之間的共同模式，減少了心率信號的淹沒，得到更多包含心率信息的IMF。MRICA是通過假設三通道信號為包含心率成分的脈沖信號等多種成分的線性組合，可以達到較好的心率檢測結果。

為了更好的展現算法性能，本研究采用Bland-Altman和散點圖來分別進行一致性和相關性分析。圖7為不同方法在數據庫上的心率檢測結果Bland-Altman圖。由于單通道濾波算法性能較差，后續僅與采用EEMD算法的單區域分析方法進行對比。

圖7 不同方法的Bland-Altman圖Fig.7 The Bland-Altman plots of different methods

由圖7可知，MRICA方法的心率差值均值為0.2 bpm，一致性界限為-8.3～8.7 bpm。MEMD方法的心率差值均值為-1.6 bpm，一致性界限為-13.2～10 bpm。EEMD方法的心率差值均值為-2.8 bpm，一致性界限為-35.9～30.3 bpm。相較于EEMD，多區域分析方法的一致性界限范圍明顯縮小，落在一致性界限范圍外的點也大幅減少，具有更好的一致性。

圖8為不同方法在數據庫上心率檢測結果的散點圖。其中橫軸表示從參考信號中獲取的心率真值，縱軸表示不同算法獲得的心率測量值。可以看出，EEMD算法的散點圖中，點的分布較為分散，這說明心率估計誤差相對較大。而MRICA和MEMD方法的散點圖中點的分布更加集中于基準線y=x附近，這說明多區域分析方法所獲得的的心率測量值與心率真值之間具有很強的相關性，性能更好。

圖8 不同方法的散點圖Fig.8 The scatter plots of different methods

4 總結

本研究利用相對靜止環境下，面部多個感興趣區域共同包含的主要為心率信息這一特點，分別采用多區域獨立成分分析和多變量經驗模態分解算法進行心率檢測，實驗結果表明，多區域分析方法相比于單區域分析方法，更能表征潛在的心率信息成分，且多區域獨立成分分析方法性能最佳，平均絕對誤差3.17 bpm，均方根誤差2.93 bpm，標準差4.30 bpm，相關性達到0.87，為基于視頻的非接觸式心率的24 h連續檢測提供解決方案。同時，本研究尚存在不足，目前只是探究了相對靜止環境下熱紅外視頻的心率檢測研究，未進行實時檢測心率，如何減少實際環境中的運動干擾及實時檢測心率是亟需探索的方向。而一些基于神經網絡的方法已經可以提取普通攝像頭的視頻心率。未來，一些基于神經網絡的方法在熱紅外視頻心率的提取也是探索的方向[22-23]。