基于峰值搜索和模板匹配的心電監(jiān)護儀數(shù)值提取方法*

鄺又新,姚歡,婁昊,龔安民

(1.河南省人民醫(yī)院國際醫(yī)療中心(鄭州大學人民醫(yī)院),河南省護理醫(yī)學重點實驗室,鄭州 450002;2.武警工程大學,西安 710086)

0 引言

在醫(yī)院,心電監(jiān)護儀作為廣泛使用的醫(yī)療設備,護士需定時通過其記錄患者的生命體征數(shù)據(jù),提交醫(yī)生分析、判斷患者的健康狀況[1-4]。傳統(tǒng)的心電監(jiān)護儀為模擬式顯示輸出,需要護士投入大量時間和精力,定時觀察并記錄數(shù)據(jù)。近幾年推出的數(shù)字式心電監(jiān)護儀具備心電信息采集、存儲和智能分析功能,可實現(xiàn)動態(tài)監(jiān)測預警,顯著提高心電數(shù)據(jù)采集的及時性、精準性;通過加裝聯(lián)網(wǎng)功能,可實現(xiàn)在護士站或者數(shù)據(jù)中心遠程動態(tài)采集所有患者的心電數(shù)據(jù),降低護士采集信息的復雜度,還可對信息進行電子化管理和大數(shù)據(jù)分析[5-9]。然而將醫(yī)院的大批傳統(tǒng)心電監(jiān)護儀全部更換為數(shù)字式網(wǎng)絡心電監(jiān)護儀,需要一次性投入大額資金,增加了醫(yī)院采購成本,尤其對欠發(fā)達地區(qū)醫(yī)院負擔較重。為此,本研究提出了一種傳統(tǒng)心電監(jiān)護儀的數(shù)字化方法,即在心電監(jiān)護儀上加裝光學攝像頭,實時獲取心電監(jiān)護儀的視頻影像,利用圖像處理的方法定時提取心電監(jiān)護儀上的典型數(shù)值,并進行數(shù)據(jù)存儲與處理。

由于本研究提出的心電監(jiān)護儀數(shù)字化方法僅需要固定攝像頭對心電監(jiān)護儀畫面信息進行提取,其核心是對特定區(qū)域的圖像進行預處理、提取感興趣區(qū)域和數(shù)值識別[10-13]。基于此,本研究提出一種基于峰值搜索和模板匹配的心電監(jiān)護儀數(shù)值提取方法。其主要過程為:首先,對圖像進行預處理,并在去除冗余部分后,搜索峰值、鎖定感興趣區(qū)域(regions of interest, ROI);然后,對字符進行分割,歸一化后采用模板匹配方法進行字符識別,最后整理數(shù)據(jù)并進行存儲。

1 心電監(jiān)護儀數(shù)字化方法

心電監(jiān)護儀顯示器上的輸出信息主要包括數(shù)值區(qū)域和圖形區(qū)域。其中,數(shù)值區(qū)域包括心率(ECG或者RCG)、血氧飽和度(SPO2)、呼吸頻率(RESP)、血壓(NIBP)4項,圖形區(qū)域一般包含心電圖、脈搏容積和呼吸波形3項。心率為65次/分;血氧飽和度正常范圍是90%～100%;圖中呼吸頻率為21次/分;血壓為130/72 mmHg。其中,心電圖是圖形區(qū)域核心內(nèi)容,圖1顯示了二通道心電圖;脈搏容積(PLETH)表示心率和脈搏的強度;呼吸波形(Imped)為RESP的連續(xù)輸出。

圖1 心電監(jiān)護儀顯示器輸出

在心電監(jiān)護儀旁或病房內(nèi)合適位置加裝光學攝像頭,即可獲取心電監(jiān)護儀的視頻輸出;然后根據(jù)實際需要,按一定時間間隔提取關鍵視頻幀;再對單個圖像處理并提取圖像中的典型值,實現(xiàn)心電監(jiān)護儀的數(shù)字化。其中光學攝像、關鍵視頻幀提取較易實現(xiàn),本研究對提取的視頻圖像進行圖像預處理、圖像分割和圖像識別等操作,最后獲得圖像中的典型數(shù)值,其工作流程見圖2。

圖2 圖像數(shù)字化流程

2 算法設計與實現(xiàn)

2.1 圖像預處理

為利于后續(xù)字符識別,本研究首先對圖像進行銳化處理,將灰度變化明顯的地方進行增強,使輪廓更為清晰。

由于系統(tǒng)處理彩色圖像的數(shù)據(jù)量和運算量比處理灰色圖像大得多,而本研究關注的主要信息為心電監(jiān)護儀顯示的數(shù)據(jù),與顏色無關。為減輕計算壓力,提升運算速度,采用加權平均算法將圖像進行灰度化處理。通過計算 R、G和B分量的加權和,將RGB值轉換為灰度值:

gray=0.298 9R+0.587 0G+0.114 0B

(1)

2.2 圖像分割

由于心電監(jiān)護儀不僅有數(shù)據(jù)顯示區(qū),還有心電圖區(qū)等。為準確提取數(shù)據(jù),需要獲取感興趣區(qū)域,對數(shù)據(jù)區(qū)域進行定位和分割。步驟如下:

(1)圖像邊緣檢測。選用Roberts邊緣檢測算子,用互相垂直方向上的差分來計算梯度,從而檢測圖像邊緣。對圖像做差分:

(2)

其中,f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分別表示對應位置的灰度值。梯度幅值計算為:

(3)

選取適當門限Th,可得到邊緣圖像R1(i,j):

(4)

(2)圖像矯正。針對圖像傾斜問題,對圖像進行Radon變換,獲取傾斜角度θ,然后根據(jù)傾斜角度對心電監(jiān)護儀圖像進行矯正。

(3)形態(tài)學運算,獲取感興趣區(qū)域。為獲取圖像的ROI并進行分割,首先對圖像進行腐蝕操作并進行形態(tài)學閉運算,填補輪廓上的縫隙使區(qū)域閉合。隨后采用掃描線種子填充算法對連通區(qū)域進行填充,使之完全覆蓋ROI,得到ROI1,即得到二值化圖像:

ROI?ROI1

(5)

為去除二值圖像中非ROI的小面積對象,需計算各連通區(qū)域的像素大小。根據(jù)掃描線填充算法確定圖像邊界生成連通區(qū)域Cloi,Rij表示該區(qū)域第j行左邊界的縱坐標;Lij表示該區(qū)域第j行右邊界的縱坐標;Lij-Rij+1則表示該區(qū)域第j行的像素個數(shù),通過累加可得該連通區(qū)域的像素大小:

(6)

隨后將像素值小于K的連通區(qū)域去除,得到ROI2為:

(7)

(4)對圖像進行峰值搜索,分割提取ROI。考慮到心電監(jiān)護儀數(shù)字在縱向分布比較密集,因此,先對ROI2進行列遍歷,用Yj表示ROI2中第j列的像素大小累積和,找到其最大元素Ymax,其列數(shù)記為m。沿m分別向左、右檢索,設置門限K,當YL

確定ROI的列范圍后,根據(jù)YL、YR的數(shù)值對ROI2進行裁切,得到ROI3。隨后對ROI3進行同樣的行搜索,用YF表示ROI上側行邊界,YD表示ROI下側行邊界。最終根據(jù)(YF:YD,YL:YR)范圍對原圖像進行切割,得到ROI。此外,為提高后續(xù)識別率,將面積較小的區(qū)域直接濾除。

2.3 字符識別

為識別出數(shù)據(jù)區(qū)域的具體數(shù)值,需將每個待識別字符分割出來,再逐一進行識別。具體步驟如下:

(1)首先采用加權平均算法將分割后的圖像進行灰度化處理,然后設置閾值,將圖像二值化。隨后對圖像進行均值濾波和形態(tài)學閉運算,得到二值化圖像。

(2)采取先切割為行,再切割為字符的方式進行分割。首先對二值圖像每一行的元素進行遍歷相加,得到每一行的數(shù)據(jù)量。以數(shù)據(jù)量為零的行為界,對圖像進行分割,切割為字符行。然后再對字符行的二值圖像中每一列的元素進行遍歷相加,得到每一列的數(shù)據(jù)量。以數(shù)據(jù)量為零的列為界,對字符行進行分割,切割為字符。

(3)基于模板匹配進行字符識別,根據(jù)模板匹配模型的規(guī)則得出結果并進行存儲。

在一定范圍內(nèi),若兩個元素差異性最小,則可判定為同一元素。對于一個未知的字符圖像,首先根據(jù)目標字符的形態(tài)特征,生成一套與之相匹配的二值化字符模板,然后將目標字符圖像轉為二值圖并進行歸一化,采用立方卷積插值算法將圖像縮放到模板大小,最后將其與字符模板進行比較,找到差異性最小的字符。計算如下:

(8)

其中,M為圖像高度,N為圖像寬度,f(i,j)為歸一化的目標字符圖像,fk(i,j)為模板字符圖像,k為模板字符圖像的序號。

3 實驗結果及分析

3.1 實驗過程

為驗證本研究方法的實用性,選取一段某高清攝像頭拍攝的時長為9 s的心電監(jiān)護儀視頻,圖像分辨率為1 920×1 080,幀速率為25 fps進行驗證。

3.1.1提取視頻幀 首先讀取視頻并獲取視頻的總時長和幀速率,然后以1 s為間隔,對視頻進行等間隔提取幀,提取整數(shù)張照片,單次提取9張照片。

3.1.2圖像預處理 對圖像進行銳化、灰度化處理,結果見圖3。

圖3 圖像預處理Fig.3 Image preprocessing

3.1.3圖像邊緣檢測及矯正 對圖像進行Roberts算子邊緣檢測,進行Radon變換,并矯正圖像傾斜角度。效果見圖4、5。

圖4 圖像邊緣檢測Fig.4 Image edge detection

圖5 圖像傾斜調整Fig.5 Image tilt adjustment

3.1.4感興趣區(qū)域獲取 采用峰值搜索算法進行圖像切割。首先進行整體搜索,再進行小區(qū)域的去除,獲取數(shù)值區(qū)域的ROI,見圖6。最后將感興趣區(qū)域與原始圖像匹配,進行二次定位剪裁,見圖7。

圖6 感興趣區(qū)域獲取

3.1.5字符分割 先將圖像二值化,然后對字符進行分割。本研究按先行后列的方式,先按不同的行劃分為4組,然后按照單個數(shù)字分割,見圖8。

3.1.6字符識別 本研究采取模板匹配的方法對每張圖片中的字符進行識別,并根據(jù)實際情況整理數(shù)據(jù),最后將結果導出,見圖9。其中,ECG、SpO2、SBP、DBP、MAP分別表示心率、血氧飽和度、呼吸頻率、血壓收縮壓、血壓擴張壓和最高動脈血壓。

3.2 實驗分析

3.2.1室內(nèi)光線對實驗的影響 在實際拍攝過程中,病房內(nèi)的光線變化可能會影響拍攝效果,進而影響識別效果。經(jīng)驗證發(fā)現(xiàn),即使心電監(jiān)護儀屏幕上存在部分反光,但經(jīng)邊緣檢測和平滑處理后,仍可較清楚地識別出數(shù)據(jù)區(qū)域,見圖10。因此,正常光線對識別效果的影響較小。

3.2.2攝像角度對實驗的影響 圖10中的圖像存在約5°的水平傾角,由圖10可知,本研究方法對較小的攝像角度有一定適應性。但對于較大傾角的拍攝,需要進一步更新算法,即在第2.2節(jié)步驟4后增加字符調整環(huán)節(jié)。首先按現(xiàn)有方法提取感興趣區(qū)域中的行,結果見圖11(a);其次,根據(jù)數(shù)字傾斜程度,將切出來的行再進行一定角度的旋轉,便于垂直切割,結果見圖11(b);最后,將切出來的數(shù)值進行分割與提取,結果見圖11(c),即可實現(xiàn)對較大傾角下拍攝的數(shù)值提取。

圖7 定位剪裁后的圖像

圖8 字符分割

圖9 數(shù)據(jù)導出結果

3.2.3運行情況分析 根據(jù)調查,在醫(yī)院通常每30～60 min記錄一次心電監(jiān)護儀的數(shù)據(jù)信息。對采集到的110段視頻進行測試,經(jīng)統(tǒng)計,平均每張圖片運行時長為2.02 s;平均每張圖片提取時長為0.03 s;單次運行最大錯誤率為0.5%;平均錯誤率為0.3%。由實驗結果可知,每次提取幀后大約需要2 s的處理時間。由于在臨床中,記錄數(shù)據(jù)的間隔最高為30 min,因此,采取本研究方法對視頻進行處理,完全可以滿足實際需要。

圖10 屏幕反光圖像數(shù)值提取過程Fig.10 The process of extracting numerical values from screen reflective images

圖11 較大傾角拍攝的圖像感興趣區(qū)域定位與數(shù)值提取Fig.11 Localization and numerical extraction of regions of interest in images taken at large angles

4 結束語

本研究提出了一種傳統(tǒng)心電監(jiān)護儀的數(shù)字化方法,通過將實時獲取的心電監(jiān)護儀視頻影像進行分割、識別感興趣區(qū)域,并采用模板匹配方法對字符進行識別,定時提取心電監(jiān)護儀上的典型數(shù)值,以實現(xiàn)心電監(jiān)護儀的數(shù)字化。實驗表明,該方法適應環(huán)境能力較強,可滿足心電監(jiān)護儀的數(shù)字化改進。針對攝像角度問題,通過圖像處理可消除其對屏幕圖像內(nèi)容識別準確性的影響。此外,隨著具有微光夜視等功能攝像頭的出現(xiàn),后續(xù)本研究將在微弱光線下的數(shù)據(jù)采集方面進行深入研究。