非接觸式心率測量研究初步

馮 軍 湯文明 曹劍劍 余 瑛#?

（江西中醫藥大學計算機學院，南昌 330004）

非接觸式心率測量研究初步

馮 軍1湯文明2曹劍劍3余 瑛1#?

（江西中醫藥大學計算機學院，南昌 330004）

基于Matlab軟件平臺，通過圖像光電容積脈搏波描記法（iPPG），提取心率波信號。結合人臉檢測與跟蹤技術，選取臉部三角區域作為感興趣區域（ROI），從中分析提取iPPG信號，然后采用快速傅里葉變換計算出心率。通過對20名志愿者的實驗，結果顯示在不同顏色通道（R、G、B）提取出的心率信號的信噪比不同，其中G通道的心率信號最強。分析數據顯示，與醫用心電測量儀相比，該方法測量的平均誤差為1.73 beat/min。采用光容積成像技術檢測方法，可進一步實現血液灌注三維可視化，能檢測動脈血氧飽和度、呼吸率、神經系統的生理活動和新生兒監護，甚至能應用于家庭移動醫療、運動檢測等大眾場合，提高便捷性，降低醫療成本。

圖像光電容積脈搏波描記法（iPPG）；非接觸；心率；人臉檢測；跟蹤

引言

心率是人體最重要的生理參數之一，在臨床診斷與病人的健康監護上起很大作用。心率異常是多種心血管疾病的高危因素，通過監測心率，可以提前預防很多心血管疾病的發生［1］。同時，心率也是指導體育鍛煉的重要指標，運動科學研究表明，心率是生理變化較為靈敏的參數之一［2］。在刑偵手段（如測謊）中，心率也有重要應用。傳統的心率測量設備大部分都需要直接接觸人體才能運行，對被測量者有很大的束縛性，并且有些設備價格昂貴，遠遠無法滿足大眾對健康監測的需求。基于此，本研究提出了一種非接觸式、輕量化的心率監測方法，使健康的檢測更為方便。

目前，基于視覺設備的非接觸感知在許多領域的應用越來越廣泛，如機器視覺、視頻監控、車輛或人臉的識別與跟蹤、體感游戲等［3］。圖像光電容積脈搏波描記法（imaging photoplethysmograph，iPPG）技術，通過采集人體皮膚顏色的細微變化，實現心率測量［4］。皮膚的光學屬性主要是由皮下水分、血紅蛋白、黑色素等對光的吸收所引起，相比之下，血液對光的吸收高于其他吸收因子［5］。當光線進入皮下組織時，血液的周期性灌注會影響光線反射的強度，其中血液灌注形成光信號的交流成分，周圍組織、血管反射的光線形成直流成分［6］。通過成像設備對光線的捕捉，可觀察到毛細血管網反射的光信號變化［7］；分析其中的交流成分，可獲取人體相關的生理參數，如心率、血壓等［8］。

在iPPG領域的早期研究中，Wu、Blazek和Schmitt［8］使用 660、810 和 940nm 的窄頻段光波對前臂皮膚照射，解析出了反射光信號的心率成分，在頻譜上與手指的PPG信號相似，同時伴有低頻的呼吸率［9］。Wieringa、Mastik、和 Van der Steen 等首次在時域和頻域上同時對比了ECG、手指的iPPG與PPG信號的差異，結果表明iPPG在臨床上的應用還有待突破［10］。幾乎同時，Humphreys、Ward 和Markham用760和880nm波長的激光對手臂皮膚進行照射，提出使用Bland-Altman的分析方法，使iPPG信號與手指的PPG信號有很高的吻合度［11］。Poh、Mc Duff和Picard做了更多復雜的研究，通過對圖像的R、G、B三顏色通道進行獨立成分分析，提高了iPPG信號的質量［12-13］。目前對iPPG的研究主要集中在解決一些實際問題上，如圖像質量［14］、幀率［15］、ROI的選取［16］、運動偽差［17］和在臨床的試驗與應用［18-20］。由于iPPG信號來源于皮膚毛細血管對光的反射，所以不可避免地會受到運動所造成的偽差影響，以及光源不穩定造成的信噪比低。在以往的研究中，并無明顯降低此類偽差的相關研究。

1 材料和方法

1.1 實驗設計

實驗操作流程如圖1所示。邀請20位志愿者，平均分為2組，分晝夜兩個時期進行實驗，包括3個步驟。

圖1 實驗流程概要（包括等待與測量2個階段）Fig.1 Thesummaryofexperimentalprocess，including 2 parts between waiting and measurement

步驟1：詳細地向志愿者介紹實驗流程，按規范連接心電測量儀的電極片，引導志愿者靜坐于攝像頭前1 m處，平靜呼吸。實驗場景如圖2所示。

圖2 實驗場景Fig.2 The scene of the experiment

步驟2：啟動心電測量儀與Matlab測量程序，等待至顯示結果同步并且穩定。

步驟3：間隔5 s同時記錄1次志愿者的iPPG數據與心電圖數據，每人記錄10組數據。

繼續對其他的志愿者進行上述實驗，直到所有志愿者都測試完畢，并在白天與晚上對兩組志愿者進行相同的測試。

1.2 材料

iPPG是借助皮膚反射光檢測人體組織中血液容積變化的一種無創檢測方法。本研究采用羅技公司生產的CMOS相機（Logitech HD 720p）作為捕光設備，設置相機采樣幀率為10 fps，分辨率為640像素×480像素，返回RGB顏色空間，顏色深度為12位，各參數恒定，并使用自然光作為入射光源。

心率信號的采集采用BLOCK IMAGING公司的心電采集設備Cardiac Trigger Monitor 3100，按參考圖連接人體，用于檢測人體的心電圖。

采集的iPPG信號通過USB數據線輸入電腦（Window10，64 位系統），使用 MathWorks公司的Matlab軟件進行在線處理。

1.3 預處理操作

預處理操作是將原始視頻圖像轉化為一維離散的iPPG信號，該信號包含了皮膚血液灌注的特征信號。通過人臉檢測與跟蹤算法，準確定位圖像中人臉的位置；按照人體面部“三庭五眼”的比例關系，設置算法自動選取含豐富毛細血管的三角區域作為ROI（是一種自適應選取）；將ROI的G顏色分量分解，并做空間均值處理，獲得iPPG信號。由于使用人臉檢測與跟蹤技術，從而使信號具有更高的信噪比。預處理操作流程如圖3所示。

圖3 預處理的詳細算法流程Fig.3 A detailed algorithmic flow chart for preprocessing

1.4 心率信號提取

通過采集裝置，對志愿者進行iPPG信號與心率信號的同步采集，獲得實驗數據。采樣模式一般設置為連續不斷采集，并從中截取10 s的數據用于數據分析。采用歸一化函數premnmx，對iPPG信號進行歸一化，去除信號中的高斯噪聲和直流分量。同時，針對信號的低頻與高頻干擾現象，采用目前較為普遍的巴特沃斯濾波器進行帶通濾波處理，獲得0.7～4 Hz的通帶信號。對截取的iPPG信號進行頻譜分析，并在頻域中尋找信號峰值，表示為

式中，xac（t）為歸一化后的信號，F（ω）為iPPG的頻域顯示，cord為模擬頻率，value為坐標值，HR為心率。

采集到的iPPG信號如圖4所示，心率提取的詳細算法流程如圖5所示。

圖4 原始iPPG信號處理。（a）加矩形窗；（b）時域xac（t）；（c）頻域 F（ω）Fig.4 The process of the original IPPG signal.（a）Adding the window of rectangle.（b）The time-domin xac（t）.（c）The frequency-domin F（ω）.

圖5 心率提取的詳細算法流程Fig.5 A detailed algorithmic flow chart for heart rate extraction

2 結果

如圖6所示，無論是從G通道構造出的iPPG信號，還是從R、B通道構造出的iPPG信號，在波形上都有一定的相似性，但從中可以初步判定，從G通道構造出的iPPG信號具有更高的信噪比，更有利于心率的估算及相關的信號分析。

圖6 R、G、B三通道分離Fig.6 The separation of channels of R，G，B

將采集得到的心率與計算得到的心率進行對比，得到分析結果見表1。可以看出，從心電測量儀采集的心率與從iPPG信號中計算的心率具有良好的一致性，其絕對誤差在允許范圍之內，且平均絕對誤差僅為1.73 beat/min。

3 討論

目前，臨床上采用的心電圖法成本較高，操作繁瑣。若從iPPG信號中提取出心率信號，將會使心率監護更加便捷。近年來，利用iPPG信號提取出心率的相關信息，進行了大量的研究。由于iPPG信號受光線與運動的影響較大，欲從中獲得穩定強健的心率信號一直是目前研究的難點。因此，本研究加入了新的技術——人臉檢測與跟蹤算法，提高了iPPG信號的魯棒性和信噪比。對第一幀視頻圖像進行人臉檢測，并以此為參考追蹤后續視頻中的人臉，從中提取臉部三角區作為ROI，選擇G通道構造出iPPG信號，使用快速傅里葉變化計算出心率，然后對計算獲得的心率與采集獲得的心率進行對比。實驗數據表明，該方法對心率信號有良好的提取效果，并且與心電測量儀采集的心率信號有較高的一致性。在實驗數據中，計算的白天第4組與第9組的誤差較大，這是由于志愿者在測量過程中面部不自主運動所導致的。研究證明，該方法能適當提高心率信號的信噪比，并且由于人臉圖像的像素變化能直接反映iPPG信號的變化，如果能對圖像像素變化進行追蹤，將極大改善iPPG信號的信噪比。下一步的研究重點是：如何追蹤人臉圖像像素的變化，如何對不均勻的光線進行補償，并考慮各種場合下不同通道iPPG信號的信噪比。

表1 iPPG與ECG采集結果Tab.1 The result of iPPG and ECG

4 結論

本研究試圖從iPPG信號中提取出心率，并采用人臉檢測與跟蹤技術來提高iPPG信號的信噪比，然后采用快速傅里葉變換計算出心率。實驗數據分析的結果表明，該方法能有效地從iPPG信號中提取出心率，且計算出來的心率與原始的心率有很高的一致性，其平均誤差為1.73 beat/min。同時，由于皮膚圖像的像素變化能直接反映iPPG信號的變化，使提高iPPG信號信噪比的研究有了新的突破口，這對于臨床中非接觸式生理信號測量具有指導意義。

［1］ Kannel WB，Kannel C.Heart rate and cardiovascular mortality［J］.American Heart Journal，1987，113（6）：1489-1494.

［2］ Fjortoft I，Kristoffersen B，Sageie J.Children in schoolyards：tracking movement patterns and physical activity in schoolyards using global positioning system and heart rate monitoring.［J］.Landscape ＆ Urban Planning，2009，93（3-4）：210-217.

［3］ 李鵬飛，陳朝武，李曉峰.智能視頻算法評估綜述［J］.計算機輔助設計與圖形學學報，2010，22（2）：352-360.

［4］ Zheng J，Hu S，Chouliaras V，et al.Feasibility of imaging photoplethysmography ［C］ //International Conference on Biomedical Engineering＆ Informatics.Sanya：IEEE，2008，2：72-75.

［5］ Allen J.Photoplethysmography and its application in clinical physiological measurement. ［J］.Physiological Measurement，2007，28（3）：R1-R39.

［6］ Wukitsch MW，Petterson MT，Tobler DR，et al.Pulse oximetry：analysis of theory，technology，and practice.［J］.Journal of Clinical Monitoring and Computing，1988，4（4）：290-301.

［7］ Wu T，Blazek V，Schmitt HJ. Imaging：A new photoplethysmography noninvasive and noncontact method for mapping of the dermal perfusion changes［J］.Proc Spie，2000，4163：62-70.

［8］ Zhu H，Zhao Y，Dong L.Non-contact detection of cardiac rate based on visible light imaging device［J］.Proc Spie，2012，8498：06.

［9］ Wieringa FP，Mastik F，AfVDS. Contactless multiple wavelength photoplethysmographic imaging：a first step toward“SpO2 camera＂ technology［J］. Annals ofBiomedical Engineering，2005，33（8）：1034-1041.

［10］ Takano C，Ohta Y.Heart rate measurement based on a timelapse image ［J］.Medical Engineering ＆ Physics，2007，29（8）：853-857.

［11］ Humphreys K，Ward T，Markham C.Noncontact simultaneous dual wavelength photoplethysmography：A further step toward noncontact pulse oximetry［J］.Review of Scientific Instruments，2007，78（4）：44304.

［12］ Poh MZ，Mcduff DJ，Picard RW.Advancements in noncontact，multiparameter physiological measurements using a webcam［J］.IEEE Transactions on Biomedical Engineering，2011，58（1）：7-11.

［13］ Cardoso JF，Souloumiac A.Blind Beamforming for non Gaussian Signals［J］.Radar＆ Signal Processing Iee Proceedings F，1993，140（6）：362-370.

［14］ Sun Y，Papin C，Azorin-Peris V，et al.Use of ambient light in remote photoplethysmographic systems：comparison between a high-performance camera and a low-cost webcam.［J］.Journal of Biomedical Optics，2012，17（3）：37005.

［15］ Sun Y，Hu S，Azorin-Peris V，et al.Noncontact imaging photoplethysmography to effectively access pulse rate variability［J］.Journal of Biomedical Optics，2013，18（6）：61205.

［16］ Lempe G，Zaunseder S，Wirthgen T，et al.ROI Selection for Remote Photoplethysmography ［M］//Berlin：Springer Berlin Heidelberg，2013：99-103.

［17］ Wang W，Stuijk S，De HG.Exploiting spatial redundancy of image sensor for motion robust rPPG［J］.IEEE transactions on Biomedical Engineering，2015，62（2）：415-25.

［18］ De Haan G，Jeanne V.Robust pulse rate from chrominance-Based rPPG［J］.IEEE Transactions on Biomedical Engineering，2013，60（10）：2878-2886.

［19］ Aarts LA，Jeanne V，Cleary JP，et al.Non-contact heart rate monitoring utilizing camera photoplethys-mography in the neonatal intensive care unit-A pilot study. ［J］.Early Human Development，2013，89（12）：943-948.

［20］ Tarassenko L，Villarroel M，Guazzi A，et al.Non-contact videobased vital sign monitoring using ambient light and autoregressive models. ［J］.Physiological Measurement，2014，35（5）：807-831.

A Preliminary Study on Non-Contact Heart Rate Measurement

Feng Jun1Tang Wengming2Cao Jianjian3Yu Ying1#?
Jiangxi University of Traditional Medicine，Nanchang330004，China）

imaging photoplethysmograph（iPPG）；non-contact；heart rate；face detection；tracking

R318 文獻標志碼：D 文章編號：0258-8021（2017）05-0627-05

10.3969 /j.issn.0258-8021.2017.05.017

2017-04-01，錄用日期：2017-09-03

江西中醫藥大學校級課題（2014jzzdxk021，2014jzyb-3，2016jzgy-06）

?通信作者（Corresponding author），E-mail：59920079@qq.com

（致謝：誠摯感謝參加實驗的20位志愿者提供的幫助）