基于視頻分析的呼吸檢測算法

潘今一，李 杰，申 瑜(浙江工業大學 信息工程學院，浙江 杭州 310023)

基于視頻分析的呼吸檢測算法

潘今一，李 杰，申 瑜
(浙江工業大學 信息工程學院，浙江 杭州 310023)

針對傳統視頻監控蒙被子時無法進行呼吸判斷的問題，提出一種改進的歐拉影像放大算法(Eulerian video magnification，EVM)進行呼吸檢測，并結合運動歷史圖(Motion history image，MHI)和網格標記法來去除干擾影響.該算法核心是利用改進的EVM獲得有運動前景目標，利用MHI來檢測圖像中的大運動，并用網格標記法除去手、頭等外部運動干擾.結果表明：該方法實現簡單，實時性好，可以有效除去呼吸以外運動對正常呼吸的干擾.

歐拉影像放大算法；呼吸檢測；運動歷史圖 ；網格標記法 ；干擾

隨著視頻監控的逐漸普及，視頻智能行為分析越來越受到人們的重視.針對特殊環境下的重點監控如監獄等，被重點看護人員的一舉一動隨時都要在人們的監控中.特別是被重點看護人員接受不了當下的環境、壓力或者這種毫無盡頭的日子，他們甚至會產生自殺的沖動.當被重點看護人員生病就診時，他們躺在病床上休息尤其是蒙在被子中休息時，普通監控下無法判斷此人是否在正常休息，因此呼吸檢測顯得格外重要.當重點被看護人員每分鐘呼吸次數處在正常人每分鐘呼吸次數范圍內，此時判斷為正常呼吸，看護人員不用時時查看病人以致影響他們的休息；當呼吸不處于此范圍時，此時判斷為異常呼吸，看護人員需要及時查看，以防災難的發生.

關于呼吸檢測的研究，國內外呼吸檢測主要以非接觸式為研究重點.文獻[1-2]提出無線傳感式的呼吸檢測，其設備復雜，環境影響大，無法使用到重點看護的日常應用中；文獻[3]運用呼吸面積特征進行呼吸檢測，其無法排除外部干擾運動的影響；文獻[4]提出了基于光流的呼吸檢測，光流法不可排除速度慢有規律的運動，而處理速度較慢；最近關于智能手環的呼吸乃至睡眠檢測比較流行，且廉價、便攜，但維護麻煩、易丟失.為解決此問題，提出了一種基于視頻的呼吸檢測系統.以數字圖像處理[5-6]為基礎，用EVM[7-8]檢測并放大運動來獲得運動前景[9-10]，用運動歷史圖[11-12]和網格標記法來除去運動前景中外部運動的干擾，統計呼吸時人體肚子區域上下起伏時的周期，通過一系列的周期判斷呼吸是否有異常.

1 基于EVM的呼吸統計

EVM假設整幅圖像都在不斷變化，只是這些變化信號具有不同的振幅以及頻率特性，而將要研究的變化信號就隱藏其中.在這種思路下，對于這些微弱的變化的放大實質上就是擇出并且增強所要研究的頻段.

EVM核心思想總結：1) 找出“變”的部分.假設所研究的整個場景都在不斷發生變化，然而我們所感興趣的微弱變化信號就隱藏在整個場景中，通過相應的方法找出“變”的部分；2) 放大“變”的部分.利用相應的圖像信號處理技術，分解“變”的部分，然后通過相應的技術進行增強.

1.1 空間濾波

空間濾波將視頻序列進行拉普拉斯金字塔[13]多分辨率分解，下面介紹高斯—拉普拉斯金字塔.

高斯金字塔的產生可以表達為

GaussIi=[ω*GaussIi+1]↓2

(1)

式中：GaussIi為高斯金字塔的第i層；↓為下采樣；*為卷積算子；ω為高斯核，和為1.

拉普拉斯金字塔式通過高斯金字塔中兩層圖像之間的差異獲得的.為獲得兩層圖像之間的差異，必須把低分辨率的圖像進行上采樣，使其尺寸大小和高分辨率的圖像一樣.令i代表拉普拉斯金字塔的第i層，則有

LapIi=GaussIi-PyrUp(GaussIi+1)

(2)

式中：PyrUp為高斯金字塔上采樣；GaussIi為高斯金字塔的第i層；LapIi為拉普拉斯金字塔的第i層.

1.2 時域濾波

不同空間頻率的基帶通過空間濾波獲得，時域濾波則是對空間濾波后每個基帶進行帶通濾波，目的是獲取感興趣信號.獲取感興趣信號需要選擇合適的帶通濾波器以及感興趣信號的頻率特征，提取的感興趣信號將會在后面進行放大.人體呼吸信號通常是視頻序列中的某一部分頻段，所以采用二階IIR帶通濾波器對得到的經過多分辨率分解后的視頻序列進行濾波.二階IIR帶通濾波器對振鈴現象具有很好的抑制作用.二階IIR帶通濾波器的形式為

Yn=b0×Xn+b1×Xn-1+b2×Xn-2-a1×Xn-1-a2×Xn-2

(3)

式中：a1,a2,b0,b1,b2為二階濾波器IIR系數；Xn,Xn-1,Xn-2為輸入圖像；Yn為輸出圖像.

1.3Y通道提取

YIQ顏色空間是NTSC制式電視機系統所采用的顏色空間，Y表示的是彩色電視或者是黑白電視的亮度信號，I表示彩色由橙色一直到青色，Q表示色彩由紫色一直到黃綠色.采用此顏色空間可以方便在后期使用一個衰減因子來減少噪聲：對于只想放大動作變化的情況，顏色就應該不發生太大變化，因此用這個衰減因子來減小放大后的I和Q兩個分量值.

提取YIQ顏色空間的拉普拉斯金字塔圖像最底層Y通道圖像，Y通道是亮度信號，可以除去顏色信息對運動的干擾.經放大函數將Y通道圖像進行放大，放大后經高斯濾波及閾值化處理獲得二值化圖像，從而獲得呼吸運動的前景點.二值化是為了除去圖像自身攜帶的小噪聲對呼吸檢測的影響.

1.4 自更新的周期統計

統計提取的前景點灰度值之和，運用統計獲得呼吸的周期.人的正常呼吸本身屬于有周期的運動，Y通道圖像經過二值化后，前景點會出現周期性的變化.正常人呼吸時周期都是在一個范圍內，不同人在不同時刻會有不同的呼吸周期，系統實時的自更新當前正常呼吸平均值為

(4)

式中：Ns為當前平均呼吸；Ni為最近第i次正常周期；Nn為正常統計總數；i∈[1,…,12].

第i次呼吸判斷公式為

(5)

式中：Mi為第i次呼吸判斷；Ns為當前平均呼吸；T為平均呼吸閾值；Ci為第i次呼吸周期；Th為正常周期高閾值；Tl為正常周期低閾值；i∈[1,…,12].

呼吸判斷公式為

(6)

式中：Np為呼吸判斷；Mi為第i次呼吸判斷；Nc為周期統計數；Tb為呼吸正常周期百分比.

2 基于MHI和網格標記法的干擾去除

在前面的周期統計中只是統計有運動的前景點，而實際呼吸檢測中存在外部運動或者被檢測者頭部、手部等身體某部分的一些小的運動對呼吸檢測造成不可去除的干擾，如圖1所示.當有外人揮動手臂時，外部運動干擾也會生成運動歷史圖，如圖1(b)所示.未經干擾去除的前景點存在很多的干擾，如圖1(c)所示.利用MHI和網格標記法可有效去除呼吸以外的運動的干擾，如圖1(d)所示.

圖1 外部手運動干擾去除過程圖Fig.1 The processing of hand interference

2.1 運動歷史圖(MHI)

MHI是灰度圖像，其值為標量值.MHI體現的是運動歷史時間函數，越近發生的運動在此處的灰度值越大，相反，越早發生的運動其灰度值越小.Bina(x,y)表示二值化運動圖像，每一點的像素值在MHI圖像為

(7)

式中τ為運動持續時間，τ賦值相對較大，是為了盡可能的排除運動留下的干擾.

由式(7)可以看出：MHI是標量圖像，敏感于物體的運動方向，并且當前行為的運動方向用灰度變化趨勢來表示.因此，MHI圖像既包含運動的空間特征也包含運動的時間信息，在空間上，它描述了運動發生的區域，在時間上，它描述了運動發生的方式.

MHI轉換為0～255的灰度圖像，并對灰度圖像二值化，計算過程為

(8)

(9)

式中：Mhi(x,y)為MHI圖；τ為運動持續時間；Binary(x,y)為二值化圖像；Gray(x,y)為灰度圖像；T為二值化閾值常數.

當檢測到的前景點總個數超過給定的閾值，則認為圖像整體運動過大，如當人離開或者翻轉身體等，此時系統重新進行初始化.

2.2 網格標記

網格標記是將原始圖按一定大小的網格去重新劃分，然后遍歷每個網格，統計網格中有運動的前景點，若前景點數大于給定閾值，則該網格標記有運動目標.

先判斷當前網格是否有大的前景運動，計算公式為

(10)

式中：W為圖像寬；H為圖像高；Gw為網格寬；Gh為網格高；Count為MHI的網格前景點；ForeGround(x,y)為網格運動判斷函數；?為網格比值.

當網格內有大運動時，對其后微小運動有較大的干擾，因此需對此網格進行延遲統計，公式為

(11)

式中：ForeGround(x,y)為網格運動判斷函數；Count(x,y)為網格延遲統計數；n為初始延遲數.

統計所有網格Count(x,y)為0中的前景點，并由點構成的波形圖的峰峰值時間差表示當前呼吸周期.當周期在正常范圍時，刪除周期鏈表中最早值，并把當前周期加入到鏈表中，由鏈表平均值表示當前周期，公式為

(12)

網格的大小選取適宜，不可過大也不可過小，過小會除去呼吸的前景點去，過大會保留運動干擾.閾值的選取也要適中，太小會使呼吸前景點除去，太大則會保留干擾點.常數不宜太大也不宜太小，太小則運動造成的干擾還沒完全去除就又被統計，太大則會影響到后面圖像正常運動的統計.

3 實驗結果與分析

測試PC機的處理器是奔騰E2180，主頻為2.0 GHz，測試視頻為25 幀/s，分辨率為1 280×960，每四幀平均耗時110 ms，可以滿足系統的實時性要求.

每四幀輸出一個統計點，將輸出點連成曲線，波形的峰峰值時間差表示一個周期.肚子、肺部因呼吸上下起伏周期范圍為2～4 s，呼吸包括向上和向下兩次達到最大值，因此，波形圖正常周期為25～50，實際取值范圍為24～54.

3.1 外部手干擾的呼吸檢測

左下角有外部運動干擾，如2(a)所示.手部運動遠遠大于呼吸運動，生成的MHI如圖2(b)所示，實際呼吸運動前景點如圖2(c)所示.經MHI和網格標記法去除干擾后，統計呼吸周期性如圖2(d)所示.由當前波形圖計算得到當前波形周期的平均值為32，在正常取值范圍內，因此判斷為正常呼吸.

圖2 外部手運動干擾下呼吸檢測圖Fig.2 Breath detecting with hand interference

3.2 蒙被子下的呼吸檢測

蒙被子下的呼吸檢測，如圖3所示.普通方法對蒙被子情況時的呼吸是無法檢測的，運用此方法仍然能有效的檢測呼吸，圖3(b)為實際呼吸前景圖，圖3(c)顯示為呼吸波形圖.由當前波形圖計算得到當前波形周期的平均值為48，在正常取值范圍內，因此判斷為正常呼吸.

圖3 蒙被子下呼吸檢測圖Fig.3 Breath detecting in the quilt

3.3 急促呼吸下的異常呼吸

急促呼吸下的呼吸檢測，如圖4所示.急促呼吸下人體的呼吸比較紊亂，從圖4(b)呼吸波形中也可以看出：呼吸比較紊亂無規律可循，經過一段時間系統會用暗淡波形表示報警.異常判斷是在一定的時間累積下判斷，所以，暗淡波形是在一定的紊亂統計后才開始出現.

圖4 異常呼吸檢測圖Fig.4 Abnormal breath detecting

對身邊不同性別不等年齡30人，每人約2 min靠近相機的正常呼吸進行測試，結果如表1所示；對身邊不同性別不等年齡30人，每人約2 min靠近相機的異常呼吸進行測試，結果如表2所示.

表1 正常呼吸檢測結果Table 1 The result of normal breath detecting

表2 異常呼吸檢測結果Table 2 The result of abnormal breath detecting

表1，2均進行了30次測試，該方法能夠實時有效地檢測特定場所下的呼吸檢測，特別是對紋理性較強的目標檢測，效果會更好.

4 結 論

通過改進的歐拉影像放大算法和MHI進行運動檢測，并結合雙層標記的網格法，它可以自適應的除去呼吸以外的運動干擾，并實時更新當前呼吸頻率.相對于一般方法，它滿足實時性與準確性，并且對硬件設備要求較低，對呼吸檢測提供了一種可靠的檢測方法，可應用于特定場合.由于相機遠端的目標圖像過小，目前主要是對相機近端目標進行測試，接下來可以通過仿射變換對遠端目標進行仿射放大進行改進.

[1] 許會,任建,李邦宇,等.應用于超寬帶呼吸檢測的壓縮感知算法研究[J].儀器儀表學報,2015,36(1):56-62.

[2] 范霖,陳向東,李寧.基于快速響應濕度傳感器的無線呼吸檢測系統[J].傳感器與微系統,2015,34(3):84-86.

[3] 朱偉興,唐亮,李新城,等.基于面積特征算子的豬呼吸頻率檢測[J].信息技術,2014(1):73-77.

[4] 趙凱旋,何東健,王恩澤.基于視頻分析的奶牛呼吸頻率與異常檢測[J].農業機械學報,2014,45(10):258-263.

[5] RAFAEL C, GONZALEZ R E, WOODS.數字圖像處理[M].阮秋琦,阮宇智，譯.3版.北京:電子工業出版社，2007.

[6] BRADSKI G, KAEHLER A.Learning openCV[M].于仕琪，劉瑞禎，譯.北京:清華大學出版社,2009.

[7] WU H Y, RUBINSTEIN M, SHIH E, et al. Eulerian video magnification for revealing subtle changes in the world[J]. ACM transactions on graphics，2012,31(4):13-15.

[8] LIU C, TORRALBA A, FREEMAN W T, et al. Motion magnification[J]. ACM transactions on graphics，2005,24(24):519-526.

[9] 王為，姚明海.基于計算機視覺的智能交通監控系統[J].浙江工業大學學報,2010,38(5):574-579.

[10] 鄭莉莉，黃鮮萍，梁榮華.基于支持向量機的人體姿態識別[J].浙江工業大學學報,2012,40(6):670-675.

[11] 史久根,陳志輝.基于運動歷史圖像和橢圓擬合的手勢分割[J].計算機工程與應用,2014(22):199-202.

[12] BRADSKI G R, JAMES W，DAVIS. Motion segmentation and pose recognition with motion history gradients[J]. Machine vision and applications,2002,13(5):174-184.

[13] 裴仁靜.基于拉普拉斯金字塔的圖像細節增強[J].計算機光盤軟件與應用,2012(3):168-168.

(責任編輯：陳石平)

Breathing detecting algorithm based on video analysis

PAN Jinyi, LI Jie, SHEN Yu
(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

In the case of that in the traditional video surveillance, it is hard to judge wether the breathing under the quilt is normal or not, an improved Eulerian Video Magnification (EVM) is proposed to detect breathing in this paper. The Motion History Image (MHI) and marked grid method are combined with to remove interferences. The core of algorithm is to get foreground moving object with improved EVM, capture substantial motions with Motion History Image (MHI) and remove interferences coming from the movements of hands or head with marked grid method. Results show that the method is simple, has good real-time performance. It can effectively remove the interferences of other movements expect normal breathing.

EVM; breathing detecting; MHI; marked grid method; interferences

2016-06-26

潘今一(1959—)，男，浙江湖州人，教授，研究方向為模式識別與數字圖像處理，E-mail：jinyi.pan@eutrovision.com.

TP391

A

1006-4303(2017)02-0163-05