基于全連接LSTM的心肺音分離方法

雷志彬 陳駿霖

?

基于全連接LSTM的心肺音分離方法

雷志彬 陳駿霖

（廣東工業大學）

心肺音分離；非負矩陣分解；長短時記憶網絡

0 　引言

據世界衛生組織統計，2015年全球約有2160萬（約55％）的非傳染性疾病死亡與心肺疾病有關[1]。心肺疾病已成為嚴重威脅人類生命健康的主要疾病之一，而對心肺系統快速準確的診斷可及早發現病情，幫助患者早日康復。臨床對心肺系統診斷的方式有心電圖、胸透和聽診等。相較于其他診斷方式，聽診因具有快速、非侵入和低成本的優點而被廣泛應用于心肺系統的早期診斷。然而，通過聽診器采集到的心音和肺音常混疊在一起，給臨床診斷帶來干擾。因此，從心肺音混合信號中分離出干凈的心音和肺音，對提高聽診質量和協助臨床診斷具有重要的現實意義。

由于心音和肺音在60 Hz~320 Hz頻帶存在相互干擾，傳統的帶通濾波[2]無法將它們完全分離。為解決這一問題，國內外學者提出許多方法，包括基于自適應濾波的方法[3-5]、基于小波濾波的方法[6-8]和盲源分離方法[9-12]等。

深度學習方法因具有出色的挖掘輸入與目標之間非線性映射關系的能力而受到關注，廣泛應用于語音識別[13]、語音增強[14]和語音分離[15]等領域。目前尚未有人采用深度學習方法來實現心肺音分離。長短時記憶（long short time memory，LSTM）神經網絡具有學習輸入數據時序相關性的能力，與心肺音信號的特性相符。本文提出一種基于LSTM的深度神經網絡分離心肺音，同時為減少網絡優化參數，提高網絡收斂速度，在LSTM層中采用全連接網絡結構。

1　心肺音混合模型

在安靜環境下，通過電子聽診器采集到的心肺音混合信號可用以下線性混合模型表示[12]：

隨著電子技術的發展，通過電子聽診器采集的信號中白噪聲很弱，且可以通過預處理方法[16]去除。文獻[12]認為預處理后的心肺音混合信號只含有心音和肺音，可用以下數學模型表示：

2　基于全連接LSTM的心肺音分離模型

本文提出的基于全連接LSTM的心肺音分離模型如圖1所示。其中，心肺音混合信號的時頻譜作為特征輸入到全連接LSTM神經網絡，網絡輸出心音和肺音的時頻掩碼。心音和肺音的時頻掩碼與混合信號的時頻譜做點乘，從而獲得分離出來的心音和肺音時頻譜。分離的心音和肺音時頻譜與原始真實的心音和肺音時頻譜做比較，得到心音和肺音的分離誤差項，這2個誤差項的和即為全連接LSTM神經網絡的代價函數。

圖1 基于全連接LSTM 的心肺音分離模型

2.1　全連接LSTM神經網絡

在傳統的神經網絡中，用LSTM記憶塊替換傳統神經元組成LSTM網絡。LSTM記憶塊由1個記憶單元和3個門控單元組成，其結構如圖2所示。記憶單元的狀態受3個門控單元（輸入門、遺忘門和輸出門）的控制。輸入門將當前數據選擇性地輸入到記憶單元；遺忘門調控歷史信息對當前記憶單元狀態值的影響；輸出門用于選擇性地輸出記憶單元的狀態值。３個門控單元和獨立記憶單元的設計，使得LSTM網絡具有學習輸入信號時序相關性的能力，并且避免了網絡訓練過程中梯度消失和梯度爆炸的問題。

圖2 　LSTM記憶塊[17]

在時刻，LSTM記憶塊的狀態通過以下3個步驟進行更新。

3）輸出信息。由輸出門控制信息輸出，用Sigmoid函數決定要輸出的記憶單元狀態信息；用tanh函數處理記憶單元狀態，2部分信息相乘得到輸出值。

本文提出的基于全連接LSTM的神經網絡框圖如圖3所示。

圖3 　基于全連接LSTM的神經網絡框圖

心肺音混合信號的時頻譜作為網絡的輸入，經過一個全連接層的映射后，輸出到一個具有3層全連接結構的LSTM網絡中；全連接LSTM網絡的輸出再經過一個全連接層的映射輸出心音和肺音的時頻掩碼。這里的全連接是指當前層的輸入和輸出拼接起來作為下一層的輸入。通過全連接結構，可減少網絡參數，加快網絡收斂速度[18]。

2.2 　時頻掩碼

在語音分離中，時頻掩碼常用作估計源信號時頻譜的中間媒介。本文采用時頻掩碼為相位敏感掩碼[19]，定義為

2.3　代價函數

基于全連接LSTM神經網絡的代價函數[20]為

3　實驗和結果分析

3.1　實驗設置

在一個自構的心肺音數據集上評估本文提出的基于全連接LSTM的心肺音分離方法性能。該數據集來源于公開數據集[21-28]，含有111條干凈的心音信號和36條干凈的肺音信號。由于從不同的公開數據集中篩選出來的信號具有不同的信號長度和采樣頻率，本文通過截取和降采樣將信號調整為10 s，2 kHz采樣頻率。仿真實驗的輸入信號為0 dB信噪比的心肺音混合信號，其合成方法為將干凈的心音和肺音信號按1:1能量比線性混合。通過計算分離得到的心音和肺音信號SNR來評估心肺音分離性能。SNR越高，表示心肺音分離性能越好。

實驗中，STFT采用窗長為128個采樣點的漢寧窗，窗口的移動步長為32個采樣點。心肺音混合信號經過STFT后得到的時頻譜一幀一幀地輸入到基于全連接LSTM的心肺音分離網絡中，每一幀含有129個頻率特征。網絡第一層為含有64個神經元的全連接層；接著的3層全連接LSTM層分別含有64，128和256個神經元；最后一層為含有129個神經元的全連接層，網絡輸出心音和肺音每一幀的時頻掩碼。

本文使用三重交叉驗證評估網絡的心肺音分離性能。將111條心音信號和36條肺音信號平均分成3份，在每一重交叉驗證中，其中1份用于測試，另2份用于訓練，最后通過平均三重交叉驗證結果獲得最終的評估結果。為比較線性與非線性方法的心肺音分離性能，實驗中監督非負矩陣分解法（SNMF）采用作基線方法。為了檢驗利用時序信息是否能夠加強心肺音分離效果，本文設計了一個基于全連接的神經網絡（F-NN），用全連接層替代F-LSTM網絡中的LSTM層，并保持其他模型參數與F-LSTM網絡一致。

3.2　實驗結果和分析

表1比較了F-LSTM，F-NN和SNMF的心肺音分離性能。與SNMF相比，F-NN和F-LSTM具有更優的心肺音分離性能。F-LSTM分離出來的心音和肺音信噪比分別提高了1.69 dB和1.73 dB，驗證了在心肺音分離中，非線性心肺音分離模型優于線性模型。與F-NN相比，F-LSTM分離出來的心音和肺音信噪比分別提高了0.67 dB和0.76 dB，驗證了利用時序信息能夠進一步加強心肺音分離效果。綜上所述，本文提出的F-LSTM網絡取得了較優的心肺音分離性能。

表1 　實驗結果對比

4 　結語

本文將LSTM網絡應用于心肺音分離，以處理心肺音成分的非線性混疊情況，并捕捉心肺音成分的時序相關性，加強分離效果。為了減少網絡參數，提高訓練收斂速度，文中LSTM網絡采用了全連接網絡結構。在公開心肺音數據集上的仿真結果表明：相較于線性心肺音分離模型，非線性分離模型取得更優的分離效果，并且利用心肺音成分的時序相關性能進一步提高心肺音分離的性能。

[1] World Health Statistics 2017: monitoring health for the SDGs, Sustainable Development Goals[R]. World Health Organization, Tech. Rep., 2017.

[2] Gavriely N, Palti Y, Alroy G. Spectral characteristics of normal breath sounds[J]. Journal of Applied Physiology, 1981,50(2): 307–314.

[3] Sathesh K, Muniraj N J R. Real time heart and lung sound separation using adaptive line enhancer with NLMS[J]. Journal of Theoretical and Applied Information Technology, 2014, 65(2):559–564.

[4] Ruban Nersisson, Mathew M Noel. Heart sound and lung sound separation algorithms: a review[J]. Journal of Medical Engineering and Technology, 2017,41(1):13–21.

[5] Ruban Nersisson, Mathew M. Noel. Hybrid Nelder-Mead search based optimal least mean square algorithms for heart and lung sound separation[J]. Engineering Science and Technology, 2017,20:1054–1065.

[6] Liu Feng, Wang Yutai, Wang Yanxiang. Research and implementation of heart sound denoising[J]. Physics Procedia, 2012,25:777–785.

[7] Gradolewski D, Redlarski G. Wavelet-based denoising method for real phonocardiography signal recorded by mobile devices in noisy environment[J]. Computers in Biology and Medicine, 2014,52:119–129.

[8] Mondal A, Saxena I, Tang H, et al. A noise reduction technique based on nonlinear kernel function for heart sound analysis[J]. IEEE Journal of Biomedical and Health Informatics, 2017, doi:10.1109/JBHI.2017.2667685.

[9] Chien J C, Huang M C, Lin Y D, et al. A study of heart sound and lung sound separation by independent component analysis technique[D]. in 28thAnnual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBS’06). IEEE, 2006:5708–5711.

[10] Ayari F, Ksouri M, Alouani A T. Lung sound extraction from mixed lung and heart sounds FASTICA algorithm[D]. in 16th IEEE Mediterranean Electrotechnical Conference (MELECON). IEEE, 2012:339–342.

[11] Makkiabadi B, Jarchi D, Sanei S. A new time domain convolutive BSS of heart and lung sounds[D]. in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2012:605–608.

[12] Shah G, Koch P, Papadias C B. On the blind recovery of cardiac and respiratory sounds[J]. IEEE Journal of Biomedical and Health Informatics, 2015,19(1):151–157.

[13] 張舸,張鵬遠,潘接林,等.基于遞歸神經網絡的語音識別快速解碼算法[J]. 電子與信息學報, 2017, 39(4): 930-937.

[14] 韓偉,張雄偉,閔剛,等.基于感知掩蔽深度神經網絡的單通道語音增強方法[J].自動化學報,2017,43(2):248-258.

[15] 王燕南.基于深度學習的說話人無關單通道語音分離[D]. 合肥:中國科學技術大學,2017.

[16] Chen P Y, Selesnick I W. Translation-invariant shrinkage/ thresholding of group sparse signals[J]. Signal Process, 2014,94:476–489.

[17] 任智慧,徐浩煜,封松林,等.基于LSTM網絡的序列標注中文分詞法[J].計算機應用研究,2017,34(5):1321-1324,1341.

[18] Huang G, Liu Z, Maaten L V D, et al. Densely connected convolutional networks[J]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2017: 2261–2269.

[19] Erdogan H, Hershey J R, Watanabe S, et al. Deep recurrent networks for separation and recognition of single channel speech in non-stationary background audio[J]. New Era for Robust Speech Recognition: Exploiting Deep Learning. Berlin, Germany: Springer, 2017.

[20] Kolbaek M , Yu D , Tan Z H , et al. Multi-talker speech separation with utterance-level permutation invariant training of deep recurrent neural networks[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2017,25 (10): 1901–1913.

[21] Bentley P, Nordehn G, Coimbra M, et al. The PASCAL Classifying heart sounds challenge[DB/OL]. (2011-11-01) [2018-12-20]. http://www.peterjbentley.com/heartchallenge.

[22] PhysioNet. Classification of normal/abnormal heart sound recordings: the physionet/computing in cardiology challenge 2016[DB/OL]. (2018-08-13) [2018-12-20]. https://physionet. org/challenge/2016.

[23] Welch Allyn. Student clinical learning[DB/OL]. (2018-12-20) [2018-12-20].https://www.welchallyn.com/content/welchallyn/ americas/en/students.html.

[24] Easy Auscultation. Heart and lung sounds reference guide[DB/OL]. (2018-12-20) [2018-12-20]. https://www. easyauscultation.com/heart-sounds.

[25] Open Michigan. Heart sound and murmur library[DB/OL]. (2015-04-14) [2018-12-20]. https://open.umich.edu/find/open- educational-resources/medical/heart-sound-murmur-library.

[26] East Tennessee State University. Pulmonary breath sounds[DB/OL]. (2002-11-25) [2018-12-20]. http://faculty. etsu.edu/arnall/www/public_html/heartlung/breathsounds/contents.html.

[27] Medical Training and Simulation LLC. Breath sounds reference guide[DB/OL]. (2018-12-20) [2018-12-20]. https://www.practicalclinicalskills.com/breath-sounds-reference-guide.

[28] PixSoft. The R.A.L.E. Repository[DB/OL]. (2018-12-20) [2018-12-20]. http://www.rale.ca.

Cardiorespiratory Sound Separation Method Based on Fully Connected Long Short-Time Memory Network

Lei Zhibin Chen Junlin

(Guangdong University of Technology)

In order to address the interference of cardiac sounds and respiratory sounds, researchers proposed a method for separating the cardiorespiratory sound based on non-negative matrix factorization (NMF). However, this method assumes that the cardiac sounds and respiratory sounds are mixed in a linear method in the time-frequency domain, and it didn’t utilize the temporal correlation of cardiorespiratory sounds. Therefore, in this paper we applied the long short-time memory (LSTM) network to the separation of cardiorespiratory sounds to deal with the nonlinear mixing of cardiorespiratory sounds and capture the temporal correlation to enhance the separation performances. In order to reduce the network parameters and improve speed of training, LSTM were constructed in a fully connected structure. The experimental results show that the LSTM network achieves better performances of cardiorespiratory sound separation than the supervised NMF method.

Cardiorespiratory Sound Separation; Non-Negative Matrix Factorization; Long Short-Time Memory Network

雷志彬，男，1994年生，碩士研究生，主要研究領域：模式識別，機器學習，生物信號處理。E-mail:leizhibin_er@163.com