基于二維圖像與遷移卷積神經網絡的心律失常分類

陳 敏,王嬈芬

(上海工程技術大學 電子電氣工程學院,上海 201620)

0 概述

據世界衛生組織的統計數據顯示,心血管疾病已經成為居民死亡的頭號殺手,每年有超過1 770萬人死于心血管疾病[1]。心律失常是心血管疾病的一種重要表現形式,有房顫、早搏、室顫和心動過速等類型。醫院里心臟專家通過對心電圖的視覺觀察識別心電信號的異常,而隨著家用可穿戴設備的逐漸普及[2],通過計算機對心電信號進行自動檢測和分類成為近年來的研究熱點。

傳統的心電信號分類主要研究選擇更優的特征[3-5]及分類器[6]等。而隨著深度學習的快速發展,研究者們將研究重心轉移到深度神經網絡結構的設計去實現特征的自動提取與分類。深度學習在圖像分割、圖像分類等領域有著優異表現,將心電信號有效地轉換為二維圖像也是研究熱點之一。文獻[7]提出使用卷積方法將心電信號轉換為二維卷積圖像,但是生成的圖像比較模糊,因此作者又融合了時域特征作為最后的特征。文獻[8]將心電信號的頻譜圖作為二維圖像送入設計的二維卷積神經網絡,但是頻譜圖只能反映心電信號的頻域信息,沒有考慮信號在時域方面的特點。因此,如何有效地將心電信號轉換為二維圖像并盡可能多地保留其圖像信息是一個值得思考的問題。

卷積神經網絡是深度學習領域重要的網絡結構。傳統的特征提取方法雖然也能夠提取到合適的特征,但整個過程耗時較多且不一定有好的魯棒性。因此,部分學者設計出各種卷積神經網絡對心電信號進行自動提取特征并分類。文獻[9]設計了一個8層的卷積神經網絡對心電信號進行四分類,總準確率達到92.7%,文獻[10]以10 s數據作為輸入,設計了一個16層的卷積神經網絡,對MIT-BIH數據庫中17種心電信號類型進行分類,得到90.13%的總準確率。以上深度學習方法均是將一維信號送入設計的深度神經網絡進行自動分類,其中模型結構的設計及參數的調整需要通過多次實驗迭代確定,整個過程復雜且耗時較多。

針對以上問題,本文提出使用格拉姆角場(Gramian Angular Field,GAF)將一維心電信號轉換為二維圖像,并借鑒深度學習中遷移學習的方法,設計一個遷移卷積神經網絡(Transfer Convolutional Neural Network,TCNN)對心電信號進行分類。

1 本文算法

1.1 格拉姆角場

在笛卡爾坐標系中,心電信號是典型的二維信號。其中,x軸方向表示采樣點或時間值,y軸方向表示采集的心電電壓值,單位一般為毫伏(mV)。在極坐標系中對心電信號進行表示,具體過程如下:

1)X={x1,x2,…,xi,…,xn}為心電信號的時間序列表示,將X歸一化到[-1,1]的范圍內:

(1)

(2)

G=[cos(φi+φj)]=

(3)

G(i,j||i-j|=k)通過對方向值φ求和,保留了相對于時間間隔k的時間相關性。主對角線Gi,i是k=0的特殊情況,包含著原始值的信息。

對于長度為n的原始時間序列,得到的格拉姆矩陣的大小為n×n。當n過大時會造成G過大,此時采用分段聚合近似(Piecewise Aggregate Approximation,PAA)方法對時間序列進行降維。PAA的原理是:利用時間序列在短期內數據變化較小的特性,把一個時間序列分成固定長度的小區間,并計算各個區間內數據的均值來表示整個區間內的數據。最后得到的G就是一維信號轉為二維圖像的矩陣表示。

利用格拉姆角場對信號進行轉換有兩個優勢:

1)一維信號與二維圖像之間是雙映射關系,這樣不會丟失一維信號的任何信息[11]。

2)保持了信號的時間依賴性,信號的時間隨著位置從矩陣的左上角到右下角的移動而增加。

1.2 遷移卷積神經網絡

1.2.1 VGG16卷積神經網絡

卷積神經網絡是一種典型的神經網絡結構,在自然語言處理[12-13]、圖像分類[14]、醫藥發現[15]、災難氣候發現[16]等領域都有廣泛應用。本文設計的遷移卷積神經網絡基于遷移學習的思想,使用了2014年ILSVRC比賽獲得冠軍的VGG16網絡模型。該模型由牛津大學視覺幾何組開發,目前仍被認為是優秀的圖像分類模型。

VGG16網絡模型共16層,包括13個卷積層、5個池化層(池化層一般不計算在層數內)和3個全連接層。在圖1所示的VGG16結構中,conv為卷積層,maxpool為池化層,fc為全連接層。整個網絡結構的輸入為244×244的彩色圖像,每個卷積層使用3×3的卷積核,步長為1。每組卷積后進行一個2×2的最大池化。全連接層神經元的數量依次為4 096,4 096,1 000。前面的卷積部分雖然很深,但由于共享卷積核的原理,參數量不大,參數量主要消耗在最后3個全連接層。在深度學習Keras框架中,帶有全連接層權重的文件大小為526 MB,沒有全連接層權重的文件大小為56.1 MB。

圖1 VGG16網絡模型結構Fig.1 VGG16 network model structure

1.2.2 基于VGG16的遷移卷積神經網絡

遷移學習是機器學習領域的一個重要組成部分,其目的是將源領域學習到的信息推廣應用到目標領域的學習過程中去[17]。尤其是在缺乏大規模樣本的醫學圖像領域,常在現有的大規模數據集上進行預訓練,得到模型的初始化參數,再遷移到目標數據集上進行微調訓練。VGG16就是在ImageNet數據集(包含120萬幅自然圖像和1 000多種不同類別)上訓練得到的。

基于遷移學習的思想,本文設計了一種結構簡單、參數量少、訓練時間短的TCNN網絡。該結構的前13層是VGG16模型的結構,每層神經元的數量和訓練好的權重均不改變。在其后去掉了VGG16模型的3層全連接層,添加了包含512個神經元的卷積層Conv、同樣包含512個神經元的全連接層FC和Softmax層。心電圖像經過模型前13層的過程可看作特征提取過程,其后的卷積層和全連接層對輸入的特征進行重新整合并進行參數的微調,最終通過Softmax層對心電圖像進行自動分類。

(4)

利用Softmax分類器的代價函數可得到最終的分類結果:

(5)

其中,l{·}為示性函數。代價函數中對k個可能值進行累計,把輸入值分為第j類的概率在假設函數中給出,進而對代價函數求導,通過最小化代價函數,實現對心電信號的分類。

2 心律失常分類實驗

本文提出的心律失常分類流程如圖2所示。心電信號進行心拍分割后,使用SMOTE算法進行心電數據不平衡處理。通過格拉姆角場將心拍轉換為二維圖像后,用訓練集訓練設計的TCNN網絡進行心律失常自動分類,最后在驗證集上驗證模型的有效性。

圖2 心律失常分類流程圖Fig.2 Flow chart of arrhythmia classification

2.1 實驗數據來源

本文實驗數據來自美國麻省理工學院與Beth Israel醫院合作建立的MIT-BIH心律失常標準數據庫。該數據庫對47個個體的動態心電數據進行采集,生成了48個時長約為30 min的心電記錄文件。該數據庫包含15種心律失常類型。本文對其中常見的4種心律失常疾病,即左束支傳導阻滯(Left Bundle Branch Block,LBBB)、右束支傳導阻滯(Right Bundle Branch Block,RBBB)、房性早搏(Artial Premature Contraction,APC),室性早搏(Premature Ventricular Contraction,PVC)和正常(Normal,N)心電信號進行分類,選擇的數據編號及樣本數量如表1所示。

表1 數據編號及樣本數量Table 1 Data number and sample size

2.2 心電信號去噪及心拍分割

心電信號是一類微弱的生理電信號,信噪比較低。其噪聲來源主要是50 Hz的工頻干擾、低頻的基線漂移和肌電干擾。由于心電信號頻率范圍集中分布在1 Hz～45 Hz,因此本文使用巴特沃斯高通濾波器濾除0.7 Hz以下的基線漂移,使用45 Hz的巴特沃斯低通濾波器濾除工頻干擾和大部分肌電干擾。

濾除噪聲后要將連續的心電信號分割為單個的心拍。本文使用MIT-BIH官網的WFDB工具箱實現對心拍最高點(QRS波群)的檢測。之后在QRS波群位置前取100個點,后取150個點進行心拍分割。整個過程如圖3所示。

圖3 心拍分割過程Fig.3 Process of heart beat cutting

2.3 心拍數量不平衡處理

將心電信號分割成單個心拍實現了樣本數量的增多,有利于使用深度學習進行自動分類,但仍然存在類別之間樣本不平衡的問題。在醫學領域,疾病類型樣本的數量總是遠遠少于正常樣本的數量。如在表1中,正常心電信號的樣本數量明顯多于其余4種心律失常類型樣本的數量,這樣容易造成樣本較少那一類的高錯分率。因此,需要對樣本數量進行不平衡處理。在對Normal樣本隨機降采樣為7 000個后,本文采用一種新的過采樣方法——SMOTE方法,使LBBB、RBBB、APC和PVC的樣本數量與Normal的樣本數量相同。該算法的特點是:通過在少數類樣本與其K個最近鄰樣本之間線性內插的方法合成新的樣本,合成公式如下:

Xnew=Xi+gif×(Xi,j-Xi)

(6)

其中,Xnew為新少數類樣本,Xi為第i個少數類樣本,Xi,j為第i個少數類樣本的第j個近鄰樣本,gif∈[0,1],為內插時的隨機概率數。

2.4 一維信號到二維圖像的轉換

將平衡處理后的所有樣本通過格拉姆角場轉換為二維圖像,像素分辨率為434×434。在編號為100、109、118、232和106的數據中分別選取一個樣本進行生成圖片的展示,如圖4所示,左邊為預處理后的心電信號,右邊為經過格拉姆角場轉換得到的二維圖像。

圖4 5種心電信號的二維圖像轉換圖Fig.4 Two-dimensional image conversion diagrams of five kinds of ECG signals

2.5 TCNN訓練

將數據集圖像隨機分為兩部分:訓練集30 000張和測試集5 000張,其中,訓練集的20%作為驗證集。得到的圖像樣本首先進行預處理,裁剪為(224,224)的大小,并減去每個像素點顏色的平均值,然后送入設計好的模型進行訓練。因為VGG16模型的結構和權重均不改變,因此將VGG16前面的模型鎖住。圖像樣本經過VGG16網絡的過程類似于特征提取過程,輸出的值送入卷積層進行進一步特征提取,接著送入全連接層進行進一步學習,最終送入Softmax分類器進行分類。全連接層的神經元數量為512,設置dropout值為0.5,即每次訓練時,隨機停止一半的神經元工作,剩余的一半用來訓練,防止網絡結構的過擬合。

2.6 評價指標

采用總準確率(Total Accuracy,TA)、靈敏度(Sensitivity,Se)和特異性(Specificity,Sp)3種方法對心律失常分類效果進行分析和評估,計算公式如下:

(7)

(8)

(9)

其中,TP表示當前心拍類型正確分類的心拍個數,FP表示不屬于當前心拍類型被錯分為當前心拍類型的心拍個數,TN表示屬于當前心拍類型而被錯分為其他類型的心拍個數,FN表示不屬于當前心拍類型且被錯分為其他類型的心拍個數。

3 實驗結果與分析

本文模型在ASUS STRIX GL504,Intel i7 CPU,NVIDIA GTX 1060 GPU上訓練,使用Keras框架。每次epoch訓練時間平均為10 min,單張測試時間平均約為0.05 s。數據的去噪和心拍分割使用Matlab2017a實現。

經過10次epoch的模型訓練,得到圖5的訓練結果。從圖5可以看出,驗證集的損失值和精確率在第2次迭代后已十分平穩且均優于訓練集的損失值和精確率,說明模型已經訓練得很好且沒有發生過擬合。

圖5 訓練過程中損失值和精確率的變化Fig.5 Changes of loss value and accuracy rate during training

使用訓練好的模型對測試集樣本進行分類,得到的混淆矩陣如圖6所示。其中,橫縱坐標0～4分別表示心電信號類型Normal、LBBB、RBBB、APC和PVC。矩陣中對角線上的元素個數為正確分類的樣本數量。從圖中可以看出,5種心電信號類型都達到了近乎完全正確的分類,有4個正常心拍被錯分為APC和PVC,這可能是由于正常心拍的P波和異位心拍的P波之間細微的形態差異造成的[18]。

圖6 分類結果的混淆矩陣表示Fig.6 Confusion matrix representation of classification results

通過混淆矩陣計算分類的總準確率、靈敏度和特異性,得到表2所示的評價指標結果。從表2可以看出,除正常心拍的靈敏度外,其他指標均達到99.80%以上,這驗證了本文提出方法的有效性。

表2 心律失常分類的評價指標結果Table 2 Results of evaluation index of arrhythmia classification %

將本文使用的ELMD方法與文獻[19-20]中的方法進行比較。文獻[19]方法將心電信號轉為灰度圖,并使用基于AlexNet的遷移學習網絡結構進行心電信號的自動二分類和五分類,其中五分類得到94.95%的分類準確率;文獻[20]方法將心電信號進行小波分解(Wavelet Packet,WT),將得到的小波分量送入LSTM神經網絡進行分類,得到99.39%的準確率。通過對比可以發現,本文使用的方法分類精確度99.82%更高,這驗證了本文方法的優越性。

4 結束語

針對心電信號心律失常分類問題,本文提出一種利用格拉姆角場將心電信號轉換為二維圖像的方法。通過對心電信號進行數學變換,得到其格拉姆矩陣并轉換為二維圖像,同時保留信號信息的完整性和原始信號的時間依賴性。在此基礎上,設計基于遷移學習的遷移卷積神經網絡模型對心電信號進行分類,其中VGG16部分無需調整參數即可提取心電圖像的有效特征,模型結構簡單且訓練用時較少。實驗結果表明,該模型分類的總準確率達到99.82%,可實現對心律失常的有效分類。下一步將使用其他模型實現對更多心律失常類型的自動分類,并且在更多數據庫的心電信號數據上進行驗證,以提高分類方法的實用性。