基于CNN和RNN聯合網絡的心音自動分類

李 偉，楊向東，陳 懇

(清華大學 機械工程系，北京 100084)

0 引 言

心音由心臟發出，包含其活動的豐富信息，因此對心臟疾病的診斷具有重要指示作用，通常被醫生作為初步診斷的主要依據。然而目前心音診斷通常只能在醫院由經驗豐富的醫生進行，這些限制不利于人們及時發現心臟異常并進行有效的預防和治療。隨著大數據和機器學習的發展，自動的心音診斷逐漸成為研究熱點，研究者們嘗試使用人工神經網絡、支持向量機、k近鄰、決策樹[1,2]等對心音進行自動分類，使人們可以更方便的進行心音聽診，從而幫助發現心臟疾病并進行提前預防。目前心音自動分類的方法可分為兩類，一類是兩階段方法，它們首先對心音數據進行分割然后將各段的特征送入分類器進行判斷。這些方法使用的心音分割方法各不相同，比如有人使用k近鄰和濾波的方法來分割心音，而Kay等[3]使用基于隱馬爾科夫模型的方法，分割心音后研究者們如Michael等[4]進一步提取各階段的梅爾倒譜系數和小波系數等作為特征，構造合理的分類器并訓練，最后得到一個自動分類心音的模型。還有研究者在心音分割后使用簡單的CNN或RNN提取特征，結合其它網絡和規則器共同分類，達到了目前效果最好的86.0%的分類準確率[5]。另一類是單階段方法，這類方法直接對完整心音數據提取特征然后進行分類[6,7]，這類方法中最好的結果是85.2%[7]。由于單階段的方法不存在心音分割過程，卷積結構可以更好提取全局特征，因此也有研究者使用CNN直接處理心音數據變換得到的聲譜圖，利用卷積結構對圖像特征的強大提取能力，即使沒有特別的選擇特征，這些方法的平均準確率也可達到80%[8-10]。整體來講，單階段方法流程簡單，與心音分割方法解耦，然而目前效果略差于兩階段方法，考慮到未經分割的心音數據保留了更多的全局信息，若可以充分挖掘其中的信息，可能會對分類產生較大幫助。因此為進一步提升分類準確率，本文專注于未經分割的心音數據，構造一個同時包含CNN和RNN的新型網絡，直接對完整心音數據提取特征并做分類，達到了目前單階段方法中的最好效果。

1 方法介紹

為從完整心音中提取更多的有效信息來做分類，同時簡化心音分類的整體流程，本文提出一種基于CNN和RNN聯合網絡的單階段自動分類方法。目前的兩類方法中，兩階段方法過于復雜，分類之前需要額外的心音分割過程，這里心音分割是指將一個完整的心音周期根據不同特性劃分為4個時期，分別是第一心音期、收縮期、第二心音期和舒張期。分割后從各個時期提取特征再做分類，這與醫生聽診的過程更加相似，因此準確率相對較高。單階段方法直接對未分割的心音做分類，雖然減少了各時期的監督信息，但完整的心音又增添了全局的特征，如果能使用有效的特征提取手段利用這些信息，必將得到更好的分類結果。目前單階段方法中提取特征的過程比較簡單，直接導致分類結果較差。因此本文構造具備強大能力的網絡進行特征提取并分類。

隨著深度學習和大數據的發展，CNN和RNN在圖像及語音方面發揮著越來越重要的作用，依托于強大的特征提取能力，它們能夠自動學習到有效特征，從而使研究者擺脫手動構造特征的繁瑣過程。一般來講，CNN使用堆疊的卷積核逐層的提取特征，每個卷積核只專注于一種特征，它們在圖像各處共享權值，相較于全連接的神經網絡，CNN提高了特征提取效率并極大減少了計算量，能夠高效處理網格化的數據；而RNN采用循環單元作為結構的核心，每個單元都接收當前時間步的輸入和上個時間步處理后的狀態作為輸入，由于增加了各個時間步之間的關聯，RNN可較好處理具有時序關系的序列。它們已經成功的應用到諸多領域，比如目標檢測，語音識別和機器翻譯等。然而目前利用深度學習進行心音自動分類的方法只是單獨使用最樸素的CNN或者RNN，并沒有充分發揮這些網絡的優勢。另外，從之前的研究來看，無論是單階段還是兩階段方法，一般效果較好的模型都是同時利用時域和頻域特征，因此本文充分利用CNN和RNN的特性，提出使用CNN提取頻域特征，使用RNN提取時域特征，然后將兩組特征融合后再做分類的方法，為了減輕模型的過擬合現象，本文還特別地使用了音頻增強的方法，使得模型更加魯棒。總體來講，本文提出了一個單階段心音分類方法，利用精調參數的CNN和RNN分別來提取時頻特征并輔以音頻增強的方法進行訓練，相對于單獨使用CNN或RNN的模型，平均分類準確率有較大的提升。這里的平均分類準確率作為評價指標指的是分類器對正常和異常樣本預測準確率的平均值，相對于總的準確率，該指標對于不平衡的樣本分布有更好的指示作用。

本文提出的單階段心音分類方法，構建了同時包含CNN和RNN的新型分類網絡，精細的調整網絡結構，并在訓練時輔以音頻數據增強，避免模型出現過擬合現象。基于以上創新點，本文最終得到了目前單階段方法中分類效果最好的模型。文中使用的數據來源于PhysioNet Challenge 2016的數據集，其專門為研究者提供各種現實場景下的心音數據，主要包括異常、正常兩大類，同時還包含少量的不確定樣本，目前被研究者廣泛使用。上述文獻的諸多方法也都使用了該數據集，這使得各實驗結果具有可比性。這部分本文將從數據預處理、分類網絡構建、數據增強訓練及樣本預測4個方面來詳細介紹提出的心音自動分類方法。

1.1 數據預處理

從PhysioNet中獲取的數據包含一些長度不等的心音片段和相應的類別標簽，其中心音數據的采樣頻率是2000 Hz，長度為20 s到60 s不等。為了保證輸入網絡的數據維度固定，本文將一段心音數據以5 s為間隔進行劃分，根據醫學專家的經驗，5 s的時間至少包含了一個完整的心音周期，因此該劃分不會破壞心音的全局信息，依舊保持單階段方法的特性。另外，原始心音數據的振幅分布在-5000到5000之間，為使后續網絡訓練快速收斂，需要用下式將它歸一化到標準的(0，1)分布

(1)

其中，μ代表均值，σ代表方差。最后將數據變換為CNN和RNN要求的輸入形式，對于RNN的輸入，本文將5 s的心音數據劃分為20個時間步(圖1)。對于CNN的輸入，本文采用短時傅里葉變換(STFT)將其轉化為聲譜圖(圖2)，具體計算方法如下

(2)

其中，w代表窗函數，一般選擇矩形窗，m和k分別代表時間和頻率。變換后的數據粗略包含了心音在各時刻的頻率信息，而它所具備的網格化形式恰好是CNN最擅長處理的。

圖1 RNN輸入

圖2 CNN輸入

1.2 分類網絡構建

此處建立的分類模型是本文的一個重要創新點，利用CNN和RNN強大的特征提取能力，直接從原始數據出發做心音正常和異常的分類，省略了復雜的心音分割和特征提取步驟，充分利用心音數據的全局特性并同時提取頻域和時域信息，最終得到了單階段心音分類方法中的最好效果。具體來講，本文的分類模型可以被劃分為3個模塊，分別是CNN頻域特征提取模塊、RNN時域特征提取模塊和全連接分類模塊，在訓練的過程中這3個模塊可以同時更新參數，協同做好心音自動分類任務，其整體結構如圖3所示。接下來分別介紹3個模塊。

圖3 方法整體結構

1.2.1 CNN頻域特征提取模塊

此模塊的輸入是聲譜圖，主要用來提取心音的頻率信息，其結構見表1，其中s，c分別代表卷積的步幅和輸出通道數，數據維度中的4個量分別代表樣本數量、圖像寬、高以及輸出通道數。卷積操作中除了第一層采用了5×5的卷積核，大多采用的是3×3的卷積核。考慮到聲譜圖特殊的紋理結構，這里還特別的添加了1×3和3×1的卷積核，這樣既減少了參數量和計算量，又使得網絡加深，增強網絡的非線性和擬合能力，后續實驗也說明這樣的網絡結構確實對分類有幫助。除此之外，在最后的全連接層，本文還添加了dropout結構，以避免網絡出現過擬合現象。最終網絡通過一系列操作輸出維度為8的頻域特征向量。

表1 CNN模塊結構說明

1.2.2 RNN時域特征提取模塊

此模塊的輸入是經過處理的振動波形，主要用來提取心音的時域信息，其結構見表2，其中sequence用來標識循環單元對每個時間步是否都有輸出，數據維度的3個量分別代表樣本數量、時間步數和特征維度。本文采用具有長短期記憶的循環單元(LSTM)作為該模塊的基本結構，它是RNN的改進版本。相比之下，LSTM添加了門控單元調整信息流的傳遞過程，解決了RNN固有的梯度消失和梯度爆炸的問題，從而保證信息可在多個時間步共享，效果更好。這里采用兩層堆疊的LSTM，為了保證網絡能快速收斂且具有更強的泛化能力，還特別添加了batch norm，同時在LSTM內部也增加了dropout以緩解過擬合現象。最終網絡輸出的是維度為8的時域特征向量。

表2 RNN模塊結構說明

1.2.3 全連接分類模塊

此分類模塊相當于多層感知機，輸入是上述兩模塊產生的特征向量拼接后的特征，經過由8個神經元組成的隱藏層，最終輸出該樣本屬于正常的概率，模型結構如圖4所示。

圖4 全連接網絡

通過建立以上3個模塊，即可得到本文的分類模型。其數學模型可簡單表示如下

feat1=H1(stft(data))
feat2=H2(split(data))
pre=H3(feat1,feat2)

(3)

其中，H1，H2，H3分別是CNN模塊，RNN模塊以及全連接分類模塊代表的變換函數；stft和split代表將原始數據變換成網絡輸入的操作，即短時傅里葉變換和波形分割操作。模型訓練是通過梯度下降法更新3個模塊的參數，使式(4)代表的損失函數降到最低

(4)

1.3 音頻數據增強

經過預處理得到的數據集，正負樣本的比例大概在 4∶1，屬于不平衡樣本的情況，訓練時使用過采樣方法使得每批正負樣本大致保持在1∶1，這樣可以有效提高分類器對于負樣本的判斷能力。另外，考慮到原始數據樣本有限，本文采用了類似在圖像分類時使用的數據增強方法，對原有的心音數據進行擴充，以進一步減輕網絡的過擬合現象。為了不改變心音數據的原有標簽，本文使用3種方法進行音頻數據增強。第一，添加微弱白噪聲，如式(5)所示，此操作有利于減輕模型的過擬合，同時可以模擬心音數據質量稍差的情形

xp=x+white_noise

(5)

其次是將心音數據左移或右移，類似數據的位移操作，但需要將數據溢出邊界的部分補充到數據的另一端。除此之外還可在音頻首端或尾端添加一段0振幅數據，以模擬某些時刻心音數據只是大部分完整，而首端或尾端沒有記錄的情況。考慮實際的效率和效果，本文將前兩個增強操作作用在分割為5 s片段前，最后一個作用在分割為5 s片段后。

1.4 樣本預測方法

訓練好的模型具備對一段固定長度為5 s的心音數據進行分類的能力。當對一個完整心音樣本進行分類，首先要按照上述的數據預處理方法得到多個心音片段，接著利用訓練好的模型對各個片段進行預測，最后根據設定的規則將這些結果轉化為最后對樣本的判斷結果。此處的規則可以有多種設定方式，可以采用投票機制，即選擇這些片段的多數類別作為最終的樣本類別，也可采用平均各片段分類概率的方法，把平均后的結果當作這個樣本屬于正常的概率，然后根據分類閾值確定樣本的最終類別結果。獲取一個樣本類別結果的規則一般都是人為設定，上述兩個規則各有利弊，對最終的結果影響不大，本文選擇平均各段的結果得到樣本的類別概率。后續如果研究者找到更合理的規則設定，更改此處預測樣本類別的規則將有利于提升整體的分類準確率。

2 結果與討論

本文首先將PhysioNet 2016上的所有心音數據劃分為訓練集和測試集，訓練集和測試集分別占比為90%和10%。其中，測試集用于最終測試模型的性能，為確保結果的合理性，須嚴格保證訓練時不可見。接著將用于訓練的各心音分割為長度為5 s的片段，把所有的片段再劃分為訓練集和驗證集，兩者分別占比為80%和20%，這里額外構造驗證集是為了避免模型出現過擬合，同時可以挑選更優的模型超參數。這部分通過展示一些實驗結果，驗證本文采用的網絡結構確實具有優越性。

2.1 CNN結構實驗

針對CNN模型的結構，考慮到長條形的卷積更符合聲譜圖帶狀的特點，其提取特征的效果可能更好，因此本文比較了3×3和1×3，3×1的卷積的效果，為了實驗簡單快速，此處只利用CNN特征進行分類，在計算量和參數量幾乎相同的情況下，模型訓練5輪，兩者的比較結果見表3，對照組采用3×3的卷積直接輸出64通道的特征圖，實驗組采用先使用3×3的卷積輸出32通道的特征圖，然后再經過3×1和1×3的長條形卷積輸出64通道的特征圖。由于每個心音樣本的預測準確率直接依賴于分割后各心音片段的預測準確率，因此這里的評價標準直接使用模型在驗證集的判斷準確率(下同)。通過比較準確率可知，添加長條形的卷積在心音的聲譜圖上確實有更好的表現。

表3 CNN結構比較

2.2 RNN結構實驗

通常研究者在使用RNN時很少添加額外的結構，本文嘗試在RNN模塊中添加一些常見的有效單元，并驗證它們是否可以提升模型的效果。本文主要比較了添加batch norm、dropout以及不添加的兩種結構，batch norm有利于模型各層之間的解耦，加速訓練過程并提升分類準確率；而dropout單元在訓練時可隨機屏蔽一些神經元，起到正則化的作用從而避免模型過擬合。它們在全連接網絡中作用顯著，但在RNN上的效果學界還未有定論。從表4的結果可以看出，在添加較少計算量的情況下，這些結構確實可在本文的RNN模塊上起作用，它們減弱了模型的過擬合，同時提高了模型準確率。關于這些結構是否對于其它的RNN模型都起作用，值得研究者們繼續探討研究。

表4 RNN結構比較

2.3 各方法比較

音頻數據增強是本文的另一個重要創新點，雖然從表5得知它并沒有大幅提高分類準確率，但它可以使得模型學習到更多的合理數據從而減輕過擬合現象，隨著更大的模型在音頻數據上使用，音頻數據增強必定是一個重要的研究方向，本文采用的音頻增強操作比較簡單，希望可以為研究者們提供一些方向和思路。

在本次實驗中，本文從已有的心音樣本中隨機選擇10%當作測試樣本，這部分不參與訓練。訓練好模型后，采用對完整心音樣本進行預測的方法對心音進行分類，最終得到平均分類準確率為85.7%，達到了目前單階段心音分類方法的最好效果，并且與最好的兩階段分類方法也非常接近，表5比較了多個單階段心音自動分類方法的性能。

表5 各方法性能比較

總結來說，本文提出的直接從心音數據出發的自動分類方法，不依賴于心音分割，同時使用CNN和RNN提取頻域和時域特征，并且更加精細調整網絡結構和超參數，如使用長條形的卷積、設置dropout和batch normalization結構等，并輔以音頻數據增強進行訓練，使網絡充分學習了數據與標簽的潛在函數關系，達到了目前單階段分類方法中的最好效果。本文提出的方法，將有助于打破心音聽診只能在醫院進行的限制，但要使心音自動聽診真正走進家庭，研究者們還需進一步提升心音分類的準確率。

3 結束語

隨著生活水平的提高，人們對自身健康越來越關注，心音診斷作為監測心臟相關疾病的重要手段自然也引起人們的廣泛關注。通常的心音診斷活動只能在醫院由經驗豐富的醫生進行，而心音自動診斷能夠幫助人們在各個場所方便的進行心音異常檢測，從而更加有效地保障人們的心臟健康。借助于深度學習和大數據的發展，本文在之前方法的基礎上，提出了一種不依賴于分割的自動心音判斷方法，充分利用心音的全局信息，使用CNN和RNN自動提取的時頻特征并輔以數據增強的方法進行訓練，最后得到了較高的分類準確率。這對心音輔助聽診會有不小的幫助，有利于人們及時準確的發現心臟異常并提早預防。在本文研究的基礎上，研究者可進一步開發利用CNN或者RNN的結構，采用更加合理有效的模塊和超參數或者更多的音頻數據增強操作來提升分類準確率，另外，如果對心音聽診有更好的理解，還可以通過設置更加合理的心音片段判斷結果到心音樣本判斷結果的轉換規則來提升模型的分類效果。總體來講，本文認為利用深度學習的視角和思路來研究心音異常判斷方法將會是一個非常有潛力的方向。