基于改進(jìn)ResNet50的心音分類算法研究

李嘉琪 全星日

摘要：心音自動(dòng)分類算法廣泛使用淺層卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，針對其特征提取能力較弱、感受野大小單一的不足，提出了基于改進(jìn)ResNet50的心音分類算法。使用ResNet50網(wǎng)絡(luò)作為分類模型，并引入空間注意力機(jī)制SK conv（Selective Kernel convolution）和混合空洞卷積（HDC， Hybrid Dilated Convolution）方法。使用經(jīng)短時(shí)傅里葉變換提取的時(shí)頻圖作為輸入，在PhysioNet Challenge2016數(shù)據(jù)集上進(jìn)行正常與異常心音分類測試。實(shí)驗(yàn)結(jié)果表明，與ResNet50網(wǎng)絡(luò)相比，該方法獲得了更高的分類精度，平均準(zhǔn)確率達(dá)到92.6%。

關(guān)鍵詞：心音分類;ResNet50;Selective Kernel convolution;混合空洞卷積

中圖分類號：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1009-3044（2022）21-0076-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

心血管疾病嚴(yán)重危害著人們的健康，對其防治變得日益重要。心音信號中包含著心臟運(yùn)動(dòng)的生理信息，利用心音對心血管病患者進(jìn)行初期篩查是有效的手段，心音自動(dòng)分類算法受到了廣泛關(guān)注。

隨著人工智能技術(shù)的發(fā)展，各種性能優(yōu)異的分類模型層出不窮。在機(jī)器學(xué)習(xí)發(fā)展的早期，心音分類算法主要利用傳統(tǒng)機(jī)器學(xué)習(xí)對心音分類，但有耗時(shí)長、特征工程復(fù)雜等不足之處。隨著深度學(xué)習(xí)快速發(fā)展后，心音分類算法引入卷積神經(jīng)網(wǎng)絡(luò)（CNN）與循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等算法，對于卷積神經(jīng)網(wǎng)絡(luò)來說，以淺層卷積神經(jīng)網(wǎng)絡(luò)[1]和基于淺層卷積神經(jīng)網(wǎng)絡(luò)的混合網(wǎng)絡(luò)[2]為主，但有特征提取能力較弱，感受野大小單一的缺點(diǎn)。自殘差網(wǎng)絡(luò)誕生以來，深度卷積神經(jīng)網(wǎng)絡(luò)依靠強(qiáng)大的特征學(xué)習(xí)能力在計(jì)算機(jī)視覺領(lǐng)域大展拳腳。Nassralla M等人[3]引入ResNet50網(wǎng)絡(luò)作為心音自動(dòng)分類算法的分類模型，但其也存在感受野大小單一的問題。以往的研究，多是通過改變淺層卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)或優(yōu)化心音信號特征提取方法，本研究使用ResNet50網(wǎng)絡(luò)，在其中引入SK conv，使得網(wǎng)絡(luò)能夠根據(jù)輸入數(shù)據(jù)特點(diǎn)自適應(yīng)改變感受野大小，應(yīng)用混合空洞卷積， 增加網(wǎng)絡(luò)感受野大小的多樣性，以獲取心音時(shí)頻圖的多尺度上下文信息。

1分類模型

1.1 ResNet50網(wǎng)絡(luò)

隨著社會(huì)不斷發(fā)展，淺層卷積神經(jīng)網(wǎng)絡(luò)的性能已經(jīng)不能滿足一些領(lǐng)域的需要，研究趨向于通過增加網(wǎng)絡(luò)深度來提高性能。但發(fā)現(xiàn)隨著網(wǎng)絡(luò)深度增加，其性能卻出現(xiàn)了退化，由何凱明等人[4]提出，基于殘差思想的ResNet網(wǎng)絡(luò)解決了這個(gè)難題。

通過簡單堆積卷積構(gòu)成的網(wǎng)絡(luò)在訓(xùn)練時(shí)，非線性層直接擬合期望的基礎(chǔ)映射。如圖1所示，ResNet利用殘差學(xué)習(xí)思想引入短路連接（shortcut connection），使得非線性層擬合殘差映射。在殘差模塊中，當(dāng)使用[x]表示輸入，[Hx]表示期望的基礎(chǔ)映射時(shí)，那么非線性層學(xué)習(xí)的是殘差[Fx=Hx- x]。一般來說，殘差比期望的基礎(chǔ)映射小，更容易學(xué)習(xí)，有效降低了網(wǎng)絡(luò)的訓(xùn)練難度。當(dāng)網(wǎng)絡(luò)中某層殘差模塊難以訓(xùn)練，學(xué)不到新的信息時(shí)，殘差模塊只需要做恒等映射[x]，即[Fx=0]，這樣至少不會(huì)導(dǎo)致網(wǎng)絡(luò)性能退化。

考慮到計(jì)算的成本，在實(shí)現(xiàn)ResNet網(wǎng)絡(luò)時(shí)，根據(jù)網(wǎng)絡(luò)深度不同，設(shè)計(jì)了兩種殘差模塊。ResNet50網(wǎng)絡(luò)使用的是bottleneck模塊，bottleneck模塊為1×1 +3×3 +1×1的卷積結(jié)構(gòu)，相較于block模塊，bottleneck模塊通過先使用1×1卷積降維，再利用1×1卷積還原維度，在保證精度的同時(shí)，降低了計(jì)算量。

1.2混合空洞卷積

空洞卷積對于標(biāo)準(zhǔn)卷積的改進(jìn)方法與插值操作類似，在標(biāo)準(zhǔn)卷積核的像素間，插入值為0的行列，在不增加計(jì)算量的同時(shí)，增加了卷積的感受野大小。空洞卷積的尺寸計(jì)算方法如公式（1）所示，其中[x]表示空洞卷積的尺寸，[ r]表示空洞卷積的膨脹率，即在原像素間插入的行列數(shù)，[k]表示原卷積核大小：

[x = k + k+1×r-1]? ? ? ? ? ? ? ? ? （1）

當(dāng)網(wǎng)絡(luò)中連續(xù)使用膨脹率相同的空洞卷積時(shí)，該方法會(huì)損失原特征圖信息的連續(xù)性;利用間隔采樣設(shè)計(jì)的空洞卷積是為了獲取長距離信息，而間隔采樣會(huì)丟失細(xì)節(jié)信息。針對這兩個(gè)問題，Wang Panqu等人[5]提出了混合空洞卷積。它是根據(jù)膨脹率計(jì)算公式（2）設(shè)計(jì)的鋸齒狀空洞卷積序列 [r1， …，ri， …，rn]， 能夠?qū)崿F(xiàn)感受野覆蓋全圖的目的，小膨脹率空洞卷積提取基礎(chǔ)信息，大膨脹率空洞卷積提取長距離信息，在獲取更寬闊的區(qū)域信息的同時(shí)，又能在保持接收野大小不變的情況下提高信息利用率。公式中[ri]是第[i]層的膨脹率，而[Mi]是指第[i]層最大膨脹率。

[Mi=maxMi+1-2ri，Mi+1-2Mi+1-ri，ri]? （2）

1.3 Selective Kernel convolution

李翔等人[6]提出的SK conv結(jié)合了通道注意力機(jī)制SENet、分組卷積和多支路設(shè)計(jì)的思想。李翔等人共分為Split、Fuse和Select三步。Split是對輸入特征圖分別作不同卷積核大小的完整卷積操作（包括分組卷積、Batch Normalization和激活函數(shù)ReLU），按照圖4所示，一組為3×3的標(biāo)準(zhǔn)卷積，一組為3×3的空洞卷積（膨脹率r=2），然后將生成的兩個(gè)特征圖[U]和[U]按照相應(yīng)通道元素相加，得到特征圖U;Fuse首先是對特征圖U做全局平均池化操作，得到特征向量s，其中每一數(shù)值代表著相應(yīng)通道的全局信息。然后經(jīng)過一個(gè)簡單全連接層，得到緊湊特征向量z，用于精確和調(diào)整的選擇，同時(shí)進(jìn)行了降維處理。Select是讓特征向量z分別經(jīng)過一個(gè)全連接層，再對得到的結(jié)果進(jìn)行softmax操作，從而得到兩個(gè)支路的權(quán)重a與b（a+b=1），將特征圖[U]和特征圖[U]與各自權(quán)重a與b分別相乘后再相加，得到最終的特征圖V。

2基于改進(jìn)ResNet50的心音自動(dòng)分類算法

2.1預(yù)處理與特征提取

心音信號的預(yù)處理是整個(gè)心音自動(dòng)分類算法的基礎(chǔ)。先對原始信號進(jìn)行1000 Hz重采樣，用來消除不同子數(shù)據(jù)庫采樣頻率不一致的影響，之后通過巴特沃斯帶通濾波器對心音記錄在25Hz～400Hz范圍之間帶通濾波，最后使用D.Spring等人[7]提出的方法去除心音中的毛刺。

心音信號是一種非平穩(wěn)信號，通過使用短時(shí)傅里葉變換技術(shù)，獲取能夠很好地表征心音信號時(shí)頻特性的時(shí)頻圖。為了在時(shí)頻圖中體現(xiàn)心音信號的完整信息，將心音記錄按3.2秒截取。

2.2改進(jìn)的ResNet50網(wǎng)絡(luò)

李翔等人經(jīng)過在驗(yàn)證SK conv可行性時(shí)發(fā)現(xiàn)，當(dāng)SK conv應(yīng)用在網(wǎng)絡(luò)前半部分時(shí)，網(wǎng)絡(luò)會(huì)根據(jù)特征圖特點(diǎn)自適應(yīng)的選擇卷積核大小，而SK conv應(yīng)用在網(wǎng)絡(luò)末尾時(shí)，網(wǎng)絡(luò)沒有明確的傾向去選擇更大或更小的卷積。因此只在ResNet50中con2_x與con3_x層使用，將con2_x與con3_x層中的卷積核大小為3×3的標(biāo)準(zhǔn)卷積替換為SK conv。

通過在ResNet50網(wǎng)絡(luò)的con4_x層使用空洞卷積，彌補(bǔ)原網(wǎng)絡(luò)感受野大小單一的不足，捕獲特征圖的多尺度上下文信息，進(jìn)一步提高網(wǎng)絡(luò)特征學(xué)習(xí)能力。為了避免空洞卷積計(jì)算時(shí)丟失特征圖細(xì)節(jié)信息和損失信息的連續(xù)性，使用公式（2）來確定con4_x層各bottleneck模塊中空洞卷積的膨脹率。ResNet50網(wǎng)絡(luò)的con4_x層由6個(gè)bottleneck模塊組成，第一個(gè)bottleneck模塊輸入的特征圖大小為28×28，其余五個(gè)輸入的特征圖大小均為14×14，由于該層的特征圖尺寸較小，在此使用的鋸齒狀空洞卷積序列為[1、2、3、1、2、3]。

3 實(shí)驗(yàn)結(jié)果分析

3.1 運(yùn)行環(huán)境

實(shí)驗(yàn)的仿真平臺(tái)為Pycharm，利用Pytorch框架對網(wǎng)絡(luò)進(jìn)行了訓(xùn)練和測試。GPU為RTX2080Ti（11G），操作系統(tǒng)為Windows10，編程語言為Python3.6。實(shí)驗(yàn)選用Adam優(yōu)化器，損失函數(shù)為交叉熵?fù)p失函數(shù)，初始學(xué)習(xí)率設(shè)為0.001。對PhysioNet Challenge 2016公開數(shù)據(jù)集，所有方法均進(jìn)行60次迭代訓(xùn)練，批次大小為16。

3.2實(shí)驗(yàn)數(shù)據(jù)集與數(shù)據(jù)平衡

實(shí)驗(yàn)數(shù)據(jù)集使用PhysioNet Challenge 2016公開數(shù)據(jù)集，由六個(gè)不同的數(shù)據(jù)庫組成，共3240條心音記錄，其中包括訓(xùn)練集2939條（正常心音記錄2425條和異常心音記錄514條）和挑戰(zhàn)測試集301條（正常心音記錄150條和異常心音記錄151條），心音記錄時(shí)長在5秒到120秒之間。

在PhysioNet Challenge 2016公開數(shù)據(jù)集的訓(xùn)練集中，正常心音記錄數(shù)量大約是異常心音記錄的5倍，數(shù)據(jù)不平衡會(huì)影響網(wǎng)絡(luò)訓(xùn)練，為了避免這種情況，從正常心音記錄中心位置截取一段3.2秒心音，而將異常心音記錄每3.2秒截取一次，不足3.2秒的心音片段舍去，再從中隨機(jī)抽取與異常心音片段相同的數(shù)量。將4850個(gè)心音片段根據(jù)來源按照8：2隨機(jī)抽取，分別為訓(xùn)練集與驗(yàn)證集，其數(shù)據(jù)均不同源，應(yīng)用PhysioNet 2016心音挑戰(zhàn)賽中所用測試集作為測試數(shù)據(jù)。

3.3評價(jià)指標(biāo)

對實(shí)驗(yàn)結(jié)果的評估應(yīng)用PhysioNet2016心音挑戰(zhàn)賽使用的評價(jià)指標(biāo)，包括敏感度（Sensitivity）、特異性（Specificity）和平均準(zhǔn)確率。在公式（3）～（5）中，TP表示將正常心音信號預(yù)測為正常的數(shù)目，F(xiàn)P表示將異常心音信號預(yù)測為正常的數(shù)目，TN表示將異常心音信號預(yù)測為異常的數(shù)目，F(xiàn)N表示將正常心音信號預(yù)測為異常的數(shù)目。

3.4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證改進(jìn)方法對正常與異常心音分類任務(wù)的有效性，在ResNet50網(wǎng)絡(luò)上分別引入SK conv和HDC方法構(gòu)建ResNet50+HDC網(wǎng)絡(luò)和ResNet50+SK conv網(wǎng)絡(luò)，將與SK conv和HDC方法同時(shí)使用，得到最終改進(jìn)的ResNet50網(wǎng)絡(luò)進(jìn)行比較。本實(shí)驗(yàn)在PhysioNet2016心音挑戰(zhàn)賽的公開數(shù)據(jù)集上，對ResNet50網(wǎng)絡(luò)和三個(gè)改進(jìn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，得到的結(jié)果如表1所示，可以看出，單獨(dú)引入空間注意力機(jī)制和混合空洞卷積都能夠有效提升網(wǎng)絡(luò)性能，但前者方法更好，而在ResNet50中同時(shí)引入注意力機(jī)制和混合空洞卷積的方法與之相比，能夠更加有效地對正常與異常心音信號分類。

4結(jié)論

本研究使用ResNet50網(wǎng)絡(luò)作為識(shí)別正常與異常心音信號的分類模型，并結(jié)合空間注意力機(jī)制和混合空洞卷積的優(yōu)勢，將原網(wǎng)絡(luò)中的感受野大小增加且多樣化，還使網(wǎng)絡(luò)可以根據(jù)輸入數(shù)據(jù)特點(diǎn)自適應(yīng)的改變感受野大小，提高網(wǎng)絡(luò)特征學(xué)習(xí)效率。通過在PhysioNet Challenge 2016公開數(shù)據(jù)集上評估，得到敏感度為0.929、特異性為0.923和平均準(zhǔn)確率為0.926的指標(biāo)。該網(wǎng)絡(luò)具有一定的優(yōu)異性，能夠?qū)π囊粜盘栠M(jìn)行有效分類。

參考文獻(xiàn)：

[1] Cheng X F，Huang J Z，Li Y Y，et al.Design and application of a laconic heart sound neural network[J].IEEE Access，7：124417-124425.

[2] 李偉，楊向東，陳懇.基于CNN和RNN聯(lián)合網(wǎng)絡(luò)的心音自動(dòng)分類[J].計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（1）：46-51.

[3] Nassralla M，Zein Z E，Hajj H.Classification of normal and abnormal heart sounds[C]//2017 Fourth International Conference on Advances in Biomedical Engineering （ICABME）.October 19-21，2017，Beirut，Lebanon.IEEE，2017：1-4.

[4] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[5] Wang P Q，Chen P F，Yuan Y，et al.Understanding convolution for semantic segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision.March 12-15，2018，Lake Tahoe，NV，USA.IEEE，2018：1451-1460.

[6] Li X，Wang W H，Hu X L，et al.Selective kernel networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：510-519.

[7] Springer D B，Tarassenko L，Clifford G D.Logistic regression-HSMM-based heart sound segmentation[J].IEEE Transactions on Bio-Medical Engineering，2016，63（4）：822-832.

【通聯(lián)編輯：唐一東】