視頻中提取光電容積脈搏波的盲信號估計方法

王 楠，王 霞，付曉靜，王蒙軍

（河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津300401）

視頻中提取光電容積脈搏波的盲信號估計方法

王 楠，王 霞，付曉靜，王蒙軍

（河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津300401）

從人臉彩色視頻圖像序列中能夠分離出光電容積脈搏波（PPG）信號，進(jìn)而提取人體的心率值，為了保證提取心率值的實時性和準(zhǔn)確性，降低對外界光照環(huán)境的依賴性，研究使用對角累積量算法和Robust ICA算法用于彩色視頻提取PPG信號，并轉(zhuǎn)化成人體心率。通過對角累積量算法、Robust ICA算法與傳統(tǒng)視頻提取心率算法，即聯(lián)合近似特征對角化（JADE）算法的彩色視頻提取心率結(jié)果的對比分析實驗，得出對角累積量算法提取的心率結(jié)果與實際心率的誤差更小，準(zhǔn)確率更高，Robust ICA算法提取心率的運(yùn)行時間達(dá)到0.2 s以內(nèi)，實時性更強(qiáng)。

光電容積脈搏波；心率檢測；對角累積量算法；聯(lián)合近似特征對角化；Robust ICA

無創(chuàng)、長時間監(jiān)測人體生理信號是家庭健康醫(yī)療的重要方向之一。傳統(tǒng)的心率測量儀器，往往要使用探針和傳感器，長期的佩戴會引起身體上的不適，也會增加傳播感染的風(fēng)險[1]，利用普通攝像頭采集人臉視頻提取心率是一種無接觸，低成本的方法，它通過檢測人臉的膚色變化提取光電容積脈搏波信號，再通過快速傅里葉變換轉(zhuǎn)換成人體心率。這種基于視頻的心率提取方法有著重要的研究價值。

通過面部視頻檢測PPG信號最早是由Pavlidis[2]等人假設(shè)提出的，并通過面部熱視頻分析后證實。2010年，Poh[3-4]等人利用網(wǎng)絡(luò)攝像頭和獨立成分分析(ICA)算法成功提取出血液脈搏波，并轉(zhuǎn)換成心率值。ICA從某種程度上可以減少運(yùn)動所帶來的噪聲影響。2012年，Kwon[5]等人利用智能手機(jī)的攝像頭非接觸的實現(xiàn)了心率的檢測。Lan Wei[6]等人提出了基于非線性混合假設(shè)的拉普拉斯特征值的方法從視頻中提取光電容積脈搏波，并通過計算心搏間期（IBIs）來提取心率，實驗證明該方法優(yōu)于ICA、主成分分析（PCA）等方法，對IBIs的過濾和預(yù)處理可以提高心率結(jié)果的準(zhǔn)確性。2013年，法國的Bousefsaf[7]實現(xiàn)了從網(wǎng)絡(luò)攝像頭獲取人臉視頻通過小波變換實時的檢測人體心跳。

文中使用3種盲信號估計算法，即JADE、對角累積量和Robust ICA算法，從彩色視頻中提取PPG信號。JADE[8-10]算法是通過四階累積量矩陣的聯(lián)合對角化來最大化概率密度函數(shù)的峭度。對角累積量[11]算法是一種自適應(yīng)盲源分離算法，通過監(jiān)控分離矩陣的變化，明確的控制分離是否成功的執(zhí)行。Robust ICA[12]是一種基于最優(yōu)步長的算法，該算法在求解最優(yōu)步長過程中利用數(shù)學(xué)方法直接求出方程的根，避免了復(fù)雜的迭代求解過程，運(yùn)算效率明顯提高，分離特性好。文中使用這3種方法對視頻中提取的心率結(jié)果作了詳細(xì)的對比分析，討論了實驗結(jié)果的準(zhǔn)確性和時間復(fù)雜度。

1 PPG信號的提取實驗

人臉彩色視頻中膚色隨時間變化的信號即為觀察信號，提取觀察信號的步驟如圖1所示。

圖1 提取膚色觀察信號框圖

假設(shè)觀測信號是原始PPG信號的線性組合，可恢復(fù)的源信號的數(shù)量等于觀測信號的數(shù)量，盲源分離的目的是找到解混矩陣，最大化每個源信號的非高斯性，分解出獨立分量。對觀察信號分別使用JADE、對角累積量和Robust ICA算法進(jìn)行盲源分離，得到估計的PPG信號。提取PPG信號的過程如圖2所示。

圖2 采用盲信號估計方法盲源分離過程

對三組估計的PPG信號成分進(jìn)行FFT變換得到其功率譜，在心率范圍（正常心率范圍在[0.75，4] Hz，即[45，240]次/分鐘）內(nèi)最大功率譜所對應(yīng)的頻率即為估計的心率。

2 心率結(jié)果的對比分析

針對同一段長為30s的視頻，分別使用JADE、對角累積量和Robust ICA算法估計PPG信號，采用長為15 s的滑動窗口，以1秒的增量對估計信號進(jìn)行FFT變換，求取心率。同時使用脈搏血氧儀記錄下人體的心率作為參考心率值。

在不同波長的光照下，血液吸收的光和反射光會有細(xì)微的變化，表現(xiàn)為PPG信號振幅的變化[13]。血液對波長為550 nm的光的吸收能力最強(qiáng)，對應(yīng)綠光或黃光，對紅色、藍(lán)色的光吸收能力相對較弱，其中，血液對紅色光的吸收能力最弱，因此R、G、B傳感器采集到的觀察信號中，紅色通道的信號信噪比較小，由于盲源分離之后得到的估計脈搏波信號是無序的，且信號振幅發(fā)生變化，為篩選出最佳的PPG信號將盲源分離后的估計信號分別與觀察信號中的紅色分量混合信號進(jìn)行相關(guān)性分析，判斷各個估計信號分量與紅色分量觀察信號的相似性，篩選出與其相似性最小的估計信號分量，作為后續(xù)提取心率的信號。計算信號之間的相關(guān)性系數(shù)。以一組數(shù)據(jù)為例做相關(guān)性分析，得到的相關(guān)性系數(shù)的絕對值分別為0.758 2，0.517 8，0.396 2，由此可見，與紅色通道的觀察信號相似性最低的是估計信號的第三個分量。采用JADE、對角累積量和Robust ICA 3種方法提取的人體心率與參考心率值的對比結(jié)果如圖3所示。采用盲源分離方法提取出的心率值在圖中用符號‘+’標(biāo)出，脈搏血氧儀記錄的參考心率值用‘o’標(biāo)出。

圖3 采用3種盲源分離方法提取的人體心率與參考心率值的對比

從圖3中，可以看出使用JADE算法恢復(fù)出的心率值與參考心率值重合的點是9個，與參考心率誤差在±2范圍內(nèi)的點有4個；使用對角累積量算法恢復(fù)出的心率值與參考心率值重合的點是9個，與參考心率誤差在±2范圍內(nèi)的點有6個；使用Robust ICA算法恢復(fù)出的心率值與參考心率值重合的點是9個，與參考心率誤差在±2范圍內(nèi)的點有4個。由此可見，對角累積量篩選出來的估計PPG信號恢復(fù)出的心率值與實際心率更接近。

采用統(tǒng)計的方法，分析使用3種盲源分離算法得到心率值的統(tǒng)計特征，根據(jù)心率值與脈搏血氧儀測得的參考心率值差的絕對值，計算出均值（M），標(biāo)準(zhǔn)方差（SD）和均方根誤差（RMSE）。為了對比3種方法恢復(fù)心率的平均性能，統(tǒng)計數(shù)據(jù)包括估計出的全部信號分量，不做篩選。分別在上午、中午、下午時段，針對3個人錄制4段視頻，表1到表4為4段視頻提取心率結(jié)果的統(tǒng)計特征。

表1 視頻1估計心率值的統(tǒng)計參數(shù)結(jié)果

表2 視頻1估計心率值的統(tǒng)計參數(shù)結(jié)果

利用Bland-Altman圖的差值法[14]分析4段視頻的提取心率結(jié)果，每段視頻測量出3組數(shù)據(jù)，每組數(shù)據(jù)包含16個心率值，4段視頻一共有192對結(jié)果，如圖4所示。圖4中表示采用盲源分離算法提取的心率值與參考心率值的差值，Sd是差值的標(biāo)準(zhǔn)差用來表示的變異情況，假設(shè)差值的分布服從正態(tài)分布，則95%的差值應(yīng)該位于dm-1.96Sd和dm+1.96Sd之間，這個區(qū)間稱為95%的一致性界限，大多數(shù)的差值應(yīng)該位于該區(qū)間。

從圖4中可以看出在95%的置信區(qū)間內(nèi)，JADE算法恢復(fù)出的心率值與參考心率值的差值浮動范圍是從-50到50 bpm，對角累積量算法對應(yīng)差值的浮動范圍是從-20到20 bpm，浮動范圍明顯減小。Robust ICA算法對應(yīng)差值的浮動范圍是從-40到50 bpm。由此可以看出，對角累積量算法恢復(fù)出的心率值與參考心率值表現(xiàn)出更好的一致性。3種方法的估計運(yùn)行時間如表5所示。

表3 視頻3估計心率值的統(tǒng)計參數(shù)結(jié)果

表4 視頻4估計心率值的統(tǒng)計參數(shù)結(jié)果

圖4 采用3種盲源分離方法提取視頻心率結(jié)果的Bland-Altman一致性分析

表5 3種盲源分離算法方法的運(yùn)行時間

從表5中可以看出，Robust ICA算法的時間復(fù)雜度最低，對角累積量的運(yùn)行時間相對較長，但是通過調(diào)整參數(shù)值，可以使對角累積量算法迭代快速收斂，收斂的迭代次數(shù)可從幾千次下降到幾百次，而結(jié)果的準(zhǔn)確性變化不大，通過選擇合適的參數(shù)，可使對角累積量算法的時間復(fù)雜度控制在1 s之內(nèi)，基本滿足快速實時提取心率的要求[15]。

3 結(jié)束語

研究從可見光譜視頻中用盲源分離方法提取光電容積脈搏波，再通過FFT變換轉(zhuǎn)化成人體心率。本文從心率準(zhǔn)確性和時間復(fù)雜性上對比了JADE、對角累積量和Robust ICA算法。得出以下結(jié)論：提取心率的精度從高到低排序所使用的算法依次是對角累積量算法，Robust ICA算法，JADE算法。而計算速率從高到低排序依次是Robust ICA算法，JADE算法，對角累積量算法。由此可見，3種方法在視頻提取心率問題上表現(xiàn)出不同的優(yōu)點，實際應(yīng)用中，可以根據(jù)具體情況，具體要求，選擇3種算法其中之一。

[1]Haan G de，Jeanne V，Robust pulse-rate from chrominance-based rPPG[J],IEEE Transaction on Biomedical Engineering,2013，60（10）:2878-2886.

[2]Pavlidis I，Dowdall J，Sun N，et al.Interacting with human physiology[J].Computer Vision and Image Understanding,2007，108（1）:150-170.

[3]Poh M Z，McDuff D J，Picard R W.Non-contact, automated cardiac pulse measurements using video imaging and blind source separation[J].Optics Express,2010，18（10）:10762-10774.

[4]Poh M Z，McDuff D J，Picard R W.Advancements in noncontact,multiparameter physiological measurements using a webcam[J].Biomedical Engineering，IEEE Transactions on,2011，58（1）:7-11.

[5]Kwon S，Kim H，Park K S.Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone[C].The 2012 IEEE Annual International Conference of Engineering in Medicine and Biology Society（EMBC），2012: 2174-2177.

[6]Wei L，Tian Y，Wang Y，et al.Automatic webcambased human heartrate measurements using laplacianeigenmap[M].Computer Vision-ACCV 2012.Springer Berlin Heidelberg,2013:281-292.

[7]Kwon S，Kim H，Park K S.Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone[C].The 2012 IEEE Annual International Conference of Engineering in Medicine and Biology Society（EMBC），2012: 2174-2177.

[8]Peng F，Zhang Z，Gou X，et al.Motion artifact removal from photoplethysmographic signals by combining temporally constrained independent component analysis and adaptive filter[J]. Biomedical engineering online，2014，13（1）:50.

[9]BousefsafF，MaaouiC，PruskiA.Continuous wavelet filtering on webcam photoplethysmographic signals to remotely assess the instantaneous heart rate[J].Biomedical Signal Processing and Control, 2013，8（6）:568-574.

[10]Cardoso J F.High-order contrasts for independent component analysis[J].Neural computation,1999，11（1）:157-192.

[11]劉琚，孫建德，許宏吉.盲信號處理理論與應(yīng)用[M].北京:科學(xué)出版社，2013.

[12]Zarzoso V，Comon P.Robust independent component analysis by iterative maximization of the kurtosis contrast with algebraic optimal step size[J].IEEE Transactions on Neural Networks,2010，21（2）: 248-261.

[13]Humphreys K，Ward T，Markham C.Noncontact simultaneousdualwavelength photoplethy-smography:a further step toward noncontact pulse oximetry[J].Reviewofscientificinstruments，2007，78（4）:044-304.

[14]Bland J M，Altman D G.Statistical methods for assessing agreementbetween two methodsof clinical measurement[J].International Journal of Nursing Studies，2010，47（8）:931-936.

[15]王蒙軍，王楠，王霞，等.由可見光譜視頻中提取心率的對角累積量法[J].光學(xué)精密工程，2015，23（9）:2698-2707.

Extracting Photoplethysmography from video based on blind signal estimation algorithm

WANG Nan，WANG Xia，F(xiàn)U Xiao-jing，WANG Meng-jun
（School of Information Engineering，Hebei University of Technology，Tianjin 300401，China）

Photoplethysmography（PPG）signal can be extracted from an image sequence of human face in color video，and then human's heart rate is extracted.In order to ensure real-time and accuracy，make less dependence on external light conditions，research on using diagonal cumulant algorithm and robust ICA algorithm for extracting PPG from color video，and transformed into human heart rate.By comparative analysis experiment of the heart rate results using diagonal cumulant algorithm，robust ICA algorithm and the traditional algorithm，i.e.the joint approximate diagonalization algorithm for extracting PPG from color video，the error between heart rate results using diagonal cumulant algorithm and the actual heart rate is smaller，thus higher accuracy，the running time of robust ICA algorithms to extract heart rate less than 0.2s，thus more real-time.

Photoplethysmography；heart rate detection；diagonal cumulant algorithm；JADE；Robust ICA

TN929.1

：A

：1674－6236（2017）03-0176-05

2016-01-19稿件編號：201601162

國家自然科學(xué)基金（ZD20131043）

王 楠（1988—），女，天津人，碩士研究生。研究方向：數(shù)字圖像處理。