基于HSMM與CRNN的心音分類研究

陳濤　周升超　劉曉軍

摘 要：心音是可以反映人體心臟及血管瓣膜狀態的一種體征信號，正常與異常心音分類在心臟類疾病的研究中具有重要作用。目前的深度學習心音分類研究大多采用無分割的方法，本研究通過PhysioNet心音數據庫獲取的心音信號，進行一系列預處理，基于HSMM（Hidden semi-Markov Model）分割心音結合CRNN（Convolutional Recurrent Neural Network）分類，與未進行心音分割的分類方法對比，本研究采用的方法在F1分數和非異常類的敏感度有所提高，能夠根據心音信號對正常、異常心音分類。

關鍵詞：CRNN;HSMM;心音分割;心音分類

中圖分類號：R318.04 文獻標識碼：A 文章編號：1674-1064（2022）03-0-03

DOI：10.12310/j.issn.1674-1064.2022.03.004

心音信號中蘊含了大量的心臟生理信息，其中包含心臟各心腔、瓣膜以及血管的運行狀態[1]，是診斷心血管疾病常用的醫學信號之一，可以揭示許多病理性心臟狀況，如心律失常、瓣膜疾病、心力衰竭等。

心音給心臟疾病的評估提供重要線索，可以作為初步診斷的依據，在心血管疾病的早期檢測中發揮重要作用。通過心音聽診可以分析心臟狀態，只有擁有豐富聽診經驗的醫生，才能得出較為準確的診斷結果。據《2020年中國心血管健康與疾病報告概要》數據顯示，我國心血管患病率處于持續上升階段。據我國疾病死亡人數最新統計報告顯示，我國每年發生心源性猝死的人數約為54.4萬。隨著心臟疾病患者不斷增多，快速并準確地診斷心臟疾病患者是相關醫療人員面臨的重大問題。因此，通過計算機輔助診斷有助于心臟類疾病患者的早期診斷與治療。

由于以往的研究在進行心音分類時很少進行分割預處理，會導致精確度不高、可靠性低等問題。因此，本研究采用HSMM分割心音結合CRNN對心音信號分類。

1 心音分割與特征提取

1.1 基于HSMM的心音分割

HMM是一個雙重隨機過程，一個隨機過程描述的是狀態之間的轉移，另一個隨機過程描述的是狀態與觀測值之間的統計對應關系。在HMM中不能直接觀測到真實狀態，只能通過觀測值推斷出隱藏狀態。隱馬爾可夫模型能夠很好地描述動態短時平穩信號的平穩性和可變性，其動態時間序列建模能力很強，在訓練和識別時計算量小。因此，HMM符合心音序列的統計模型，能夠較好地描述心音序列的短時平穩性及整體的非平穩性[2]。

一般來說，HMM可以簡化為公式（1）：

（1）

其中，π為初始狀態概率分布，A為狀態轉移概率矩陣，B為觀察值概率矩陣。隱藏狀態序列由π和A決定，B決定了觀察序列。

在HMM中，模型在一個狀態停留的時間d的概率為：

（2）

其中，aii為轉移概率。由于上述公式是指數分布，概率P隨著時間的增長呈指數下降，這顯然不適用于心音分析。

當利用HMM分割心音信號時，給定一段心音信號，則心音信號或者心音信號的特征值可作為觀測序列，隱藏狀態序列則是W={W1，W2，W3，W4}。W1是S1（第一心音），W2為收縮期，W3是S2（第二心音），W4為舒張期。

假設t時刻的狀態為St，觀測序列為O={O1，O2，O3，…，Ot}，則狀態轉移矩陣A={aij}，aij是Wi轉移到Wj的概率：

（3）

心音的狀態必定是按照S1→收縮期→S2→舒張期→S1轉移，所以，a12=a23=a34=a41=1。

觀察值概率矩陣B={βj（Ot）}，βj（Ot）是j狀態在t時刻輸出Ot的概率，初始狀態概率π是模型在初始時刻某個狀態出現的概率，在心音采集上各狀態πi=0.25（1≤i≤4）。

通常來說，HMM會使用維特比算法求解心音信號的最優狀態序列，δt（j）是t時刻隱藏狀態為j所有可能的狀態轉移路徑j1，j2，...jt中的概率最大值，通過公式（4）可以計算得到δt（j），通過公式（5）可以得到δt（j）的最大值。

（4）

（5）

計算出時刻T最大的δT（j），即最優隱藏狀態序列出現的概率，時刻T最大的Ψt（j）即時刻T最優的隱藏狀態。如公式（8）所示，利用局部狀態Ψ（i）回溯最終得到最優隱藏狀態序列it*。

（6）

（7）

（8）

可以由HMM（隱馬爾可夫模型）擴展而來的HSMM在Markov鏈中加入狀態駐留概率分布p={Pi（d）}，p表示在持續時間d內狀態為i的概率，可以把預測的狀態由某一時間點擴展到一個時間段，有效解決用HMM來分割心音的局限性。因此，可以記HSMM為：

（9）

則適合HSMM的維特比解碼算法需要加入持續時間密度，表達式如公式（10）所示。

（10）

1.2 心音分割

MB Malarvili等人提出通過參考心電信號標注[3]提高分割精度，然而，當心電信號異常的時候[4]，使得依靠ECG信號標注分割心音的方法不可行。雖然通過人工標注心音的方法，其精度會略低于參考ECG信號的方法，但是其操作簡單，標記的誤差在容忍的范圍之中，所以成為本研究的首選標注方法。

訓練分割模型需要大量的心音數據。本研究選取心音數據庫中（PhysioNet）的1 000條正常心音數據與1 000條異常心音數據共2 000條心音信號。將原始數據集按照8∶1∶1的比例拆分為訓練集、驗證集和測試集，分別用于訓練和評估心音分割的模型。

從訓練集中的PCG記錄中得到同態包絡，希爾伯特包絡，功率譜密度包絡，離散小波變換包絡等特征值，并對訓練集PCG記錄中的第一心音（S1）和第二心音（S2）位置進行了人工標注，經過訓練得到HSMM分割模型。CD542A59-97E9-4ADB-9841-AE76403D50F2

測試心音分割結果如圖1、圖2所示。

1.3 FBank特征提取

隨著卷積神經網絡（Convolutional neural networks，CNN）[5-6]逐漸應用到音頻領域，研究表明，人耳對聲音頻率的感知是非線性的，具有對低頻音頻信號敏感度高、對于高頻信號敏感度低的特點，Mel刻度更符合人耳的聽覺特性，將心音信號的頻域變換到人耳感知頻域中，可以更好地模擬出人耳的效果。

其中，頻率與Mel刻度的轉換如公式（11）所示：

（11）

FBank是模擬人耳聽覺特性提出的參數，隨著深度學習的發展，作為二維特征的FBank頻譜特征逐漸成為能夠利用的音頻特征，與梅爾頻率倒譜系數（Mel-Frequency Cepstral Coefficients，MFCCs）相比，Fbank沒有進行離散余弦變換（discrete cosine transform，DCT）。因為DCT造成音頻信號的高度非線性成分丟失嚴重，所以FBank特征包含更多信息，并且提取的FBank特征更符合聲音信號的本質，可以作為心音分類的特征使用。實驗已經證明，MFCCs在對高度相關信息不敏感的神經網絡中的效果不如FBank。

因此，本研究選用FBank特征替代傳統的MFCCs作為卷積神經網絡的輸入特征。FBank特征的提取流程如圖3所示。

2 卷積循環神經網絡架構

2.1 CRNN

CNN是由多個卷積層、池化層以及全連接層組成的前饋神經網絡。CNN模型網絡在處理圖像信息上具有很好的效果。近幾年，使用頻譜圖作為深度學習的輸入已經得到了廣泛的應用[7]。

由于心音信號本身是一種時間序列，FBank頻譜圖含有時域的前后相關的一些特征，其橫軸為時間軸，縱軸表示該時間上不同的FBank特征值，CNN中的卷積層可視作對感受野區域的特征提取，采用n*1維的卷積核可對同一時間內的特征進行提取，隨后的池化層采用最大池化層，由于心音信號相鄰的兩層相差較小，采用最大池化層不僅可以減少網絡的參數，增加訓練速度。

由于使用CNN處理頻譜圖時不能完全挖掘出與時間相關的信息，在CNN之后加上RNN網絡結構可以解決這個問題。RNN模型網絡結構適合處理時序相關信息，當前序列會受到之前序列的影響，考慮到了位置信息，因此，可以通過RNN網絡結構分析CNN的輸出，充分利用FBank頻譜圖中的信息，完成CRNN分類模型建立。心音分類網絡結構圖如圖4所示。

2.2 數據預處理

一個完整的心動周期不會超過5 s。因為PhysioNet數據庫中的心音長度不一，為了保證以固定維數的數據輸入網絡，在分類前要切分心音。本研究對已經分割的心音按照5 s間隔劃分，并提取FBank特征值。

正常與異常心音的FBank特征如圖5、圖6所示。

3 實驗設計

3.1 實驗評價指標

本研究使用靈敏度（Sensitivity）、精確率（Precision）和F1分數作為評價指標。TP表示正常信號預測為正常的樣本數量。TN表示異常信號預測為異常的樣本數量。FP表示異常信號預測為正常的樣本數量。FN表示正常信號預測為異常的樣本數量。敏感度表示所有正常信號被正確分類的比例，其值等同于召回率（Recall），精確率表示所有被預測為正常信號的樣本中，被正確分類為正常信號的比例，F1分數是用來衡量二分類模型精確度的指標。

召回率、精確率和F1分數計算如公式（12）、公式（13）、公式（14）所示。

（12）

（13）

（14）

3.2 分類算法對比

對經過分割后數據集按照訓練集、測試集4∶1的比例隨機分配并提取FBank特征，然后使用以下分類方法比較：第一，CNN分類;第二，CRNN分類;第三，基于HSMM心音分割的CRNN分類。分類方法的比較如表1所示。

4 結果與討論

心音分類在心臟疾病診斷方向有著重要的作用，是心臟疾病輔助診斷領域的研究熱點。針對現有的基于深度學習的心音分類算法很少使用分割預處理，本研究通過構建HSMM心音分割模型，采用具有時頻域信息的FBank特征頻譜圖作為CNN的特征輸入，提出了一種結合HSMM分割心音與CRNN模型的心音分類方法。通過與單獨使用CNN或CRNN模型分類方法對比，該方法具有更高的F1分數與敏感度，獲得了更好的分類效果，也為計算機輔助心音診斷研究提供了一個很有潛力的方向。

參考文獻

[1] 成謝鋒，李偉.基于心音窗函數的心音圖形化處理方法的研究[J].物理學報，2015（5）：393-403.

[2] 許春冬，周靜，應冬文，等.基于DHMM的低心率變異性心音的分割方法[J].數據采集與處理，2019，34（4）：605-614.

[3] MALARVILI M B，KAMARULAFIZAM I，HUSSAIN S，et al.Heart sound segmentation algorithm based on instantaneous energy of electrocardiogram[C].Computers in Cardiology.Thessaloniki Chalkidiki，2003：327-330.

[4] 孫樹平，吳越，黃婷婷，等.基于STMHT算法的心音分割研究[J].中國醫學物理學雜志，2020，37（12）：1553-1559.

[5] Lecun Y ，Boser B ，Denker J ， et al. Backpropagation Applied to Handwritten Zip Code Recognition[J].Neural Computation，2014，1（4）：541-551.

[6] 林景棟，吳欣怡，柴毅，等.卷積神經網絡結構優化綜述[J].自動化學報，2020，46（1）：24-37.

[7] Cummins N，Amiriparian S，Hagerer G，et al.An Image-based Deep Spectrum Feature Representation for the Recognition of Emotional Speech[C].ACM，2017：478-484.

基金項目：中南民族大學中央高校基本科研業務費專項資金資助（CZY18028）;中南民族大學教學研究項目（JYX19081）。

通訊作者：劉曉軍，博士后，副教授。CD542A59-97E9-4ADB-9841-AE76403D50F2