改進(jìn)殘差神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)心音分類*

張俊飛,張貴英

(1.廣州醫(yī)科大學(xué)信息與現(xiàn)代教育技術(shù)中心,廣東 廣州 511436;2.廣州醫(yī)科大學(xué)基礎(chǔ)醫(yī)學(xué)院,廣東 廣州 511436)

1 引言

心音信號是由心肌收縮、心臟瓣膜開閉和血液流動撞擊等引起的振動所產(chǎn)生的聲音。心音信號包含大量心臟生理信息，心音檢測結(jié)果可以比其他檢測結(jié)果更早表現(xiàn)器質(zhì)性心臟病體征[1]，因此對心音信號的有效分析有助于心臟疾病無創(chuàng)診斷。

當(dāng)前深度學(xué)習(xí)在心音分類領(lǐng)域已經(jīng)得到大量的應(yīng)用。根據(jù)當(dāng)前心音分類領(lǐng)域深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型組合方式和訓(xùn)練方法，深度學(xué)習(xí)應(yīng)用在心音分類領(lǐng)域的模式可分為以下3種：(1)一種或多種神經(jīng)網(wǎng)絡(luò)模型組合。許春冬等[2]通過構(gòu)造心音功率譜密度特征矩陣，利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)心音分類，基于2016年P(guān)hysioNet/CinC挑戰(zhàn)賽(簡稱CinC2016)數(shù)據(jù)的分類準(zhǔn)確率、靈敏度和特異度分別為84.72%,77.63%和94.63%。李偉等[3]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)分別提取心音的頻域和時域特征進(jìn)行訓(xùn)練，基于CinC2016數(shù)據(jù)的分類準(zhǔn)確率為85.70%。Noman等[4]基于心音原生數(shù)據(jù)和梅爾頻率倒譜系數(shù)MFCC(Mel-Frequency Cepstrum Coefficient)特征利用一維卷積和二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行心音二分類，基于CinC2016數(shù)據(jù)的分類準(zhǔn)確率、靈敏度和特異度分別為89.22%,89.94%和86.35%。Li等[5]將傳統(tǒng)的特征工程方法與設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，對心音進(jìn)行自動分類，基于CinC2016數(shù)據(jù)的分類準(zhǔn)確率、靈敏度和特異度分別為86.80%,87.00%和86.60%。Zabihi等[6]從原生心音數(shù)據(jù)的時間、頻率和時頻域維度提取特征，利用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，基于CinC2016數(shù)據(jù)的分類平均準(zhǔn)確率、靈敏度和特異度分別為85.90%、86.91%和84.90%。(2)機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)模型組合。Potes等[7]從原生心音數(shù)據(jù)124個時頻特征和4個頻帶特征2個維度，分別應(yīng)用AdaBoost分類器和一維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后結(jié)合決策，其基于CinC2016數(shù)據(jù)的分類平均準(zhǔn)確率、靈敏度和特異度分別為86.02%,94.24%和77.81%。韓威等[8]改進(jìn)文獻(xiàn)[7]分類模型中的一維卷積為二維卷積，其準(zhǔn)確率、靈敏度和特異度分別為91.08%±1.79%,93.03%±3.12%和89.14%±1.92%。(3)輔助模塊參與的深度學(xué)習(xí)心音分類。Chen等[9]參照ECG信號利用隱馬爾可夫模型尋找心音信號中S1、S2、收縮期和舒張期確切位置，再進(jìn)行心音分段并輸入到卷積神經(jīng)網(wǎng)絡(luò)中，基于CinC2016數(shù)據(jù)的分類平均準(zhǔn)確率、靈敏度和特異度分別為94.00%,95.00%和93.00%。Han等[10]首先對心音數(shù)據(jù)進(jìn)行分段并提取每段MFCC特征，再在神經(jīng)網(wǎng)絡(luò)模型中引入輔助閾值映射心音段類別到心音實(shí)例類別，基于CinC2016數(shù)據(jù)的分類平均準(zhǔn)確率、靈敏度和特異度分別為91.50%,98.33%和84.67%。

深度學(xué)習(xí)摒棄了傳統(tǒng)機(jī)器學(xué)習(xí)的特征工程環(huán)節(jié)，為心音分類提供了簡單便捷的端到端模式，因此特征工程方式、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)組合使得心音特征獲取、網(wǎng)絡(luò)模型結(jié)構(gòu)過于復(fù)雜；輔助模塊的參與明顯提升了心音分類的準(zhǔn)確度，但是輔助模塊需要更多的運(yùn)算，也使模型變得復(fù)雜，偏離了深度學(xué)習(xí)理念。秉承特征獲取簡易、網(wǎng)絡(luò)模式簡單和分類準(zhǔn)確率高的需求，本文利用ResNet152模型對CinC2016數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，應(yīng)用CBAM(Convolutional Block Attention Module)注意力機(jī)制到心音特征提取中，使得特征更加有效；利用Focal Loss損失函數(shù)緩解心音數(shù)據(jù)不均衡帶來的分類不準(zhǔn)確問題，同時有利于心音難例分析；利用多尺度心音特征使得心音信號表達(dá)更加準(zhǔn)確。

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)介紹

本文采用2016年P(guān)hysioNet/CinC挑戰(zhàn)賽中的比賽數(shù)據(jù)。該數(shù)據(jù)共由6個數(shù)據(jù)庫(A～F)組成，總計(jì)3 240個心音記錄，其中正常心音2 575個、異常心音665個。

2.2 數(shù)據(jù)重采樣

心音數(shù)據(jù)重采樣的目的是保留有效心臟活動聲音信號，減少數(shù)據(jù)量和后期運(yùn)算時間。正常心音頻率一般在50 Hz到800 Hz[11]，根據(jù)奈奎斯特采樣定理，本文采用2 000 Hz采樣頻率完整保留原始信號有效信息。

2.3 數(shù)據(jù)去噪

對于正常心音頻率區(qū)域外的高頻、低頻噪音信號，先由5階巴特沃斯帶通濾波器去噪；對于區(qū)域內(nèi)的噪音信號，采用小波閾值去噪。

5階巴特沃斯帶通濾波頻帶設(shè)為50～800 Hz，由其頻率響應(yīng)(圖1)可知，基本保留了0.05～0.8 kHz區(qū)間信號。圖2展示了一條心音信號濾波前后頻譜對比，濾波后的心音數(shù)據(jù)在50 Hz之前和800 Hz之后均有所衰減。

Figure 1 Frequency response diagram圖1 頻率響應(yīng)圖

Figure 2 Spectrum comparison圖2 頻譜對比圖

小波閾值去噪選取Db8小波基，并采用軟閾值函數(shù)法對噪聲小波系數(shù)進(jìn)行過濾。軟閾值函數(shù)計(jì)算見式(1)，其中,w是小波系數(shù);λ是閾值;wλ是施加閾值后的小波系數(shù)。λ值利用固定閾值估計(jì)法確定,具體如式(2)所示，其中,σ是噪聲標(biāo)準(zhǔn)差;Lsignal是信號長度。本文通過信噪比計(jì)算驗(yàn)證小波閾值的有效性。信噪比RSN如式(3)所示:

(1)

(2)

(3)

其中,S′為濾波后的信號;S為濾波前的信號。

2.4 心音特征圖

MFCC特征目前被廣泛應(yīng)用到心音處理，它首先把心音信號轉(zhuǎn)化為短時平穩(wěn)數(shù)據(jù)，再向人耳聽覺機(jī)理方面轉(zhuǎn)化從而提取心音特征。文獻(xiàn)[12,13]表示在卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用中，梅爾頻率譜系數(shù)MFSC(Mel-Frequency Spectrum Coefficients)相對MFCC減少了離散余弦變換，使得特征表達(dá)更加豐富。心音信號是一維數(shù)據(jù)，為符合卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)數(shù)據(jù)格式，本文把心音信號的MFSC特征圖及其一階差分(Δ)和二階差分(Δ-Δ)合并成3通道二維數(shù)據(jù)格式,如圖3所示。

Figure 3 Heart sound feature map圖3 心音特征圖

2.4.1 計(jì)算MFSC

本文提取MFSC特征的步驟如下所示：

(1)預(yù)加重。將心音信號進(jìn)行高通濾波，提升高頻頻帶使心音頻譜變得平坦，且突出高頻共振峰。

(2)分幀和加窗。利用漢寧窗函數(shù)對信號進(jìn)行加窗和分幀處理，使得心音信號變得短時平穩(wěn)，方便后期研究。使用漢寧窗函數(shù)減少了2幀之間變化引起的能量泄露，同時削弱了后期傅里葉變換引起的柵欄效應(yīng)。分幀窗口長度為1 024，幀移為512，2幀之間50%的重疊保證了參數(shù)過渡自然。分幀數(shù)fn計(jì)算如式(4)所示:

fn=(N-Noverlap)/Ninc

(4)

其中，N為幀長;Noverlap為2幀重疊部分;Ninc為幀移。

(3)計(jì)算譜線能量。相較于在時域視角下表征，心音信號在頻域視角通過能量分布進(jìn)行表征更為直觀，便于觀察，故對分幀和加窗后的各幀信號進(jìn)行快速傅里葉變換，得到各幀的頻譜X(i,k)，并對其取模平方得到語音信號的譜線能量E(i,k)，其計(jì)算如式(5)所示：

E(i,k)=|X(i,k)|2

(5)

其中,i為心音的幀數(shù);k為譜線的頻率序號。

(4)計(jì)算Mel濾波能量。通過Mel濾波器計(jì)算每幀譜線的濾波能量。把每幀的譜線能量乘以Mel濾波器的頻域響應(yīng)并相加。Mel濾波能量的計(jì)算如式(6)所示：

(6)

其中,S(i,m)為心音第i幀對應(yīng)的第m個Mel濾波器的能量;Hm為第m個Mel濾波器頻率響應(yīng);n為心音第i幀n條譜線。

(5)Mel能量取對數(shù)得到MFSC。人耳感知是非線性的，通過對每幀Mel能量取對數(shù)來模擬非線性關(guān)系，描述人耳對心音判斷的感知特性。

2.4.2 構(gòu)建心音特征圖

心音信號是連續(xù)的時序數(shù)據(jù)，分幀提取的特征信息具有時序局部性，為了保留心音時序特征增加了前后幀信息，采用一階差分(Δ)和二階差分(Δ-Δ)實(shí)現(xiàn)。心音數(shù)據(jù)集每個心音長度不一致，導(dǎo)致MFSC特征長度不一，為了對齊特征，將梅爾濾波器個數(shù)設(shè)為200，截取心音信號前200幀，去掉總幀數(shù)不夠的心音數(shù)據(jù)，最終得到大小為200×200的二維心音MFSC特征。對齊的MFSC特征取一階和二階差分，保留了心音信號時域連續(xù)性特征。將MFSC特征圖和一階、二階差分特征圖組織成3通道的三維數(shù)據(jù)格式，其大小為200×200×3。

3 CBAM注意力機(jī)制

對于輸入特征圖F大小為HⅹWⅹC(H為高度，W為寬度，C為通道數(shù)),CBAM依次推導(dǎo)出通道注意力圖Mc∈R1×1×C和空間注意力圖Ms∈RH×W×1,整體的注意力圖計(jì)算過程如式(7)和式(8)所示：

F′=Mc(F)?F

(7)

F″=Ms(F)?F′

(8)

其中，?為逐元素相乘，F(xiàn)′為F施加通道注意力掩碼后的輸出，F(xiàn)″為F先后施加通道注意力和空間注意力掩碼后的輸出。

CBAM可以無縫集成到任何CNN架構(gòu)，強(qiáng)調(diào)或抑制輸入特征圖，并細(xì)化其局部特征，在保持較小開銷的前提下提升基線網(wǎng)絡(luò)性能。Woo等[14]通過消融實(shí)驗(yàn)證明了對輸入特征圖先施加通道注意力后施加空間注意力運(yùn)算，能夠更好地提取目標(biāo)特征,且空間注意力卷積核大小為7×7時，效果更好。

3.1 通道注意力

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))=

(9)

3.2 空間注意力

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))=

(10)

4 Focal Loss損失函數(shù)

衡量2個分布的差異，經(jīng)常使用交叉熵CE(Cross Entropy) 損失函數(shù)，針對二分類問題CE損失函數(shù)計(jì)算如式(11)所示。其中，p表示預(yù)測樣本屬于1的概率;y表示真實(shí)標(biāo)簽。為了表示簡便，用pt表示樣本屬于真實(shí)類別的概率，其表達(dá)如式(12)所示。由式(11)和式(12)，可知CE函數(shù)表達(dá)如式(13)所示。在式(13)基礎(chǔ)上得到Focal Loss損失函數(shù)表達(dá)如式(14)和式(15)所示。其中，參數(shù)α解決了正負(fù)樣本之間的平衡問題，通過α值，調(diào)節(jié)標(biāo)簽為1的樣本對損失的貢獻(xiàn)度；通過調(diào)節(jié)參數(shù)γ，使得樣本越易分類(pt值越大)，損失貢獻(xiàn)越小，難例則相反。

(11)

(12)

CE(p,y)=CE(pt)=-log (pt)

(13)

(14)

FL(pt)=-αt(1-pt)γlog(pt)

(15)

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)準(zhǔn)備

本文分別選取數(shù)據(jù)集中正常心音和異常心音的10%作為測試集(Test)。在剩下的90%數(shù)據(jù)中，分別選取正常心音和異常心音數(shù)據(jù)的80%作為訓(xùn)練集(Train)，20%作為驗(yàn)證集(Validation)。數(shù)據(jù)劃分具體見表1。

Table 1 Data partitioning表1 數(shù)據(jù)劃分

5.2 實(shí)驗(yàn)環(huán)境

本文采用TensorFlow深度學(xué)習(xí)框架。訓(xùn)練服務(wù)器參數(shù)為：CPU(3.2 GHz)、GPU(TITAN RTX 24 GB)、RAM(13 GB)。

5.3 網(wǎng)絡(luò)模型及實(shí)驗(yàn)設(shè)計(jì)

5.3.1網(wǎng)絡(luò)模型

ResNet152[15]以跨層連接瓶頸結(jié)構(gòu)進(jìn)行組合，解決了深層網(wǎng)絡(luò)梯度消失的問題。CBAM注意力機(jī)制通過改進(jìn)瓶頸結(jié)構(gòu)中殘差支路輸出，實(shí)現(xiàn)殘差特征圖細(xì)化，使得部分特征得到強(qiáng)調(diào)或抑制。瓶頸結(jié)構(gòu)改進(jìn)模型如圖4所示。當(dāng)輸入X與輸出F″大小相同和不同時，瓶頸結(jié)構(gòu)改進(jìn)算法分別如式(16)和式(17)所示，為了簡便公式，忽略了偏差參數(shù)。

y=CBAM(F(X,{Wi}))+X

(16)

y=CBAM(F(X,{Wi}))+WsX

(17)

其中，CBAM(·)表示通道注意力和空間注意力機(jī)制運(yùn)算;F(X,{Wi})表示瓶頸結(jié)構(gòu)中的3個卷積操作，卷積核分別為1×1,3×3和1×1;Wi為需要訓(xùn)練獲得的權(quán)重矩陣;Ws為需要訓(xùn)練獲得的使輸入X和輸出F″大小相同的卷積操作矩陣。

Figure 4 Improved bottleneck圖4 改進(jìn)的瓶頸結(jié)構(gòu)

淺層卷積操作可以獲取更多心音細(xì)節(jié)特征，深層卷積操作可以獲取更多心音包絡(luò)宏觀特征，多尺度特征可以更好地表征心音信號。多組不同通道數(shù)瓶頸結(jié)構(gòu)組成4個網(wǎng)絡(luò)層，分別包含的瓶頸結(jié)構(gòu)數(shù)為3,8,36和3，每層瓶頸結(jié)構(gòu)卷積核1×1,3×3和1×1對應(yīng)的通道數(shù)分別為(64,64,256),(128,128,512),(256,256,1 024)和(512,512,2 048)。4個網(wǎng)絡(luò)層輸出特征進(jìn)行串聯(lián)即為心音多尺度特征。

模型采用ReduceLROnPlateau學(xué)習(xí)率策略，每10次迭代后，如果驗(yàn)證集損失沒有減少則初始學(xué)習(xí)率乘以系數(shù)0.8；更改ResNet152網(wǎng)絡(luò)分類層為二分類和激活函數(shù)為Sigmoid；利用Adam優(yōu)化器和Focal Loss損失函數(shù)(其中α為0.25、γ為2)進(jìn)行模型編譯；網(wǎng)絡(luò)訓(xùn)練批次大小設(shè)置為100，迭代500次。

5.3.2 實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證CBAM注意力機(jī)制、Focal Loss損失函數(shù)和多尺度特征可以促進(jìn)ResNet152模型正確分類心音數(shù)據(jù)，共設(shè)計(jì)5組對比消融實(shí)驗(yàn)。通過與先前學(xué)者的心音分類效果橫向?qū)Ρ确治?，來?yàn)證改進(jìn)后ResNet152模型的有效性。

5.4 實(shí)驗(yàn)評價指標(biāo)

本文采用靈敏度Se(Sensitivity)、Sp特異度(Specificity)和準(zhǔn)確率Acc(Accuracy)作為分類評估指標(biāo)，其計(jì)算如式(18)～式(20)所示:

(18)

(19)

(20)

其中，TP表示陽性心音樣本判別為陽性的心音數(shù)，F(xiàn)N表示陽性心音樣本判別為陰性的心音數(shù)，F(xiàn)P表示陰性心音樣本判別為陽性的心音數(shù)，TN表示陰性心音樣本判別為陰性的心音數(shù)。

5.5 實(shí)驗(yàn)結(jié)果與分析

表2為5組對比消融實(shí)驗(yàn)在測試集上的測試結(jié)果，對其分析如下：

(1)實(shí)驗(yàn)2和實(shí)驗(yàn)1對比可知，CBAM注意力機(jī)制提高了基線網(wǎng)絡(luò)ResNet152的分類準(zhǔn)確率，但幅度不大。

(2)實(shí)驗(yàn)3和實(shí)驗(yàn)1對比可知，F(xiàn)ocal Loss損失函數(shù)使基線網(wǎng)絡(luò)分類靈敏度提高2.55%，但特異度和準(zhǔn)確率提高效果不太明顯。

(3)實(shí)驗(yàn)4和實(shí)驗(yàn)1對比可知，多尺度特征使得基線網(wǎng)絡(luò)分類靈敏度和準(zhǔn)確率分別提高了2.7%和2.64%，特異度提高效果不太明顯。

(4)5個實(shí)驗(yàn)對比可知，CBAM注意力機(jī)制、Focal Loss損失函數(shù)和多尺度特征共同使用達(dá)到基線網(wǎng)絡(luò)最好的分類效果，相對基線網(wǎng)絡(luò)，靈敏度、特異度和準(zhǔn)確率分別提高了2.85%,3.35%和3.89%。

Table 2 Experimental results表2 實(shí)驗(yàn)結(jié)果 %

基于CinC2016心音數(shù)據(jù)，橫向?qū)Ρ葘?shí)驗(yàn)5與其他學(xué)者采用深度學(xué)習(xí)方法實(shí)現(xiàn)的心音分類研究成果，因準(zhǔn)確率計(jì)算公式不同，故只進(jìn)行Se和Sp標(biāo)準(zhǔn)比較，結(jié)果如表3所示。

Table 3 Comparison of classification results 表3 分類結(jié)果比較 %

通過比較實(shí)驗(yàn)5與3種深度學(xué)習(xí)心音分類模型的分類結(jié)果，可知：

(1)相對于模式1，實(shí)驗(yàn)5分類結(jié)果靈敏度比較高，能夠更準(zhǔn)確判斷異常心音；實(shí)驗(yàn)5特異度除了比文獻(xiàn)[2]中的模式1分類結(jié)果低3%，比其他都高，因此實(shí)驗(yàn)5在保證高分類靈敏度的同時，能夠?qū)崿F(xiàn)對正常心音信號的正確判斷。

(2)相對于模式2，實(shí)驗(yàn)5分類靈敏度偏低，但分類特異度相對于Potes等和韓威等的方法分別提高了13.82%和2.49%。由此可知，機(jī)器學(xué)習(xí)與深度學(xué)習(xí)模型組合、利用特征工程獲取心音特征可以提高心音分類準(zhǔn)確度；利用CBAM注意力機(jī)制、Focal Loss和多尺度特征等技巧優(yōu)化深度學(xué)習(xí)模型，同樣可以達(dá)到不錯的心音分類效果。

(3)相對于模式3，實(shí)驗(yàn)5分類整體效果有些遜色。Chen等利用ECG信號準(zhǔn)確分段心音信號，增強(qiáng)了心音段信號的有效性，但需要額外計(jì)算S1、S2、收縮期和舒張期確切位置；Han等引入閾值映射心音段類別到心音實(shí)例類別，增廣數(shù)據(jù)集的基礎(chǔ)上，還需額外訓(xùn)練閾值，使得網(wǎng)絡(luò)模型變得復(fù)雜。由此可見，數(shù)據(jù)集的有效增強(qiáng)、增廣可以更好地實(shí)現(xiàn)心音信號分類，但實(shí)驗(yàn)5滿足了特征獲取簡易、網(wǎng)絡(luò)模式簡單、分類準(zhǔn)確率較高的需求。

6 結(jié)束語

以心音特征獲取簡易、深度學(xué)習(xí)網(wǎng)絡(luò)模型簡單為依據(jù)，本文改進(jìn)了ResNet152殘差網(wǎng)絡(luò)對CinC2016心音數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，利用CBAM注意力機(jī)制改進(jìn)殘差網(wǎng)絡(luò)中的瓶頸結(jié)構(gòu)，使用Focal Loss損失函數(shù)獲取心音多尺度特征。通過5組消融實(shí)驗(yàn)證實(shí)了CBAM注意力機(jī)制增強(qiáng)了提取特征的有效性；Focal Loss損失函數(shù)減弱了心音數(shù)據(jù)不均衡帶來的影響，同時促進(jìn)了心音難例分析；多尺度特征提高了心音分類的準(zhǔn)確度。與先前學(xué)者心音分類研究成果相比，本文設(shè)計(jì)的心音分類網(wǎng)絡(luò)具有較好的靈敏度和特異度，且具有特征獲取簡易、網(wǎng)絡(luò)模型簡單等特點(diǎn)。