基于LBP 和Mixup 數據增強后的肺音識別*

古依聰 郭 濤 李 成 劉啟明 石 帥

（1.中北大學電子測試技術國家重點實驗室 太原 030051）（2.中國航天科技集團有限公司中國運載火箭技術研究院 北京 100000）

1 引言

肺音聽診是診斷肺病的有效方法之一，但是，肺音中包含了非平穩信號，使用傳統的聽診技術很難將肺音分離和分析［1］，并且還受到醫生經驗、聽力水平等因素的影響，導致結果的誤差。將肺音聽診智能化，對所檢測到的數據進行實時分析，能夠對可能出現的健康問題進行提示，保護人們的健康［2］。

肺音中的異常的肺音可以分為兩類，分別是以連續性為代表喘息音和斷續性為代表的水泡音［3］。其中，喘息音持續時間為250ms 左右，頻率在200Hz～600Hz。水泡音持續時間為20ms左右，頻率在100Hz～300Hz，正常肺音是在100Hz～1000Hz［4］。本文將分類結果分為四類，分別是正常音、喘鳴音、水泡音、喘鳴水泡混合音。文本通過LBP 和Mixup進行數據增強后，采用CNN-RSM 混合模型將肺音進行分類，相較于其他使用同一數據庫的作者，本文識別準確率提高10.31%。

2 肺音特征提取介紹

由于本文篇幅有限，著重介紹準確率最高的特征提取辦法——梅爾譜圖特征提取。其他特征提取方法的最終結果，將在后文進行進行對比的時候體現。

梅爾倒譜系數是聲音信號處理方面常用的特征參數，以及由它引出的梅爾譜圖特征提取辦法。人耳所能聽到的頻率范圍是在20Hz～20000Hz，1000Hz 以下的人的主觀頻域感知和頻率是線性關系，1000Hz 以上的時候呈現對數關系［5］，而梅爾頻譜圖則是根據人耳的此特征來進行設計的，在頻帶內按照臨界帶寬的大小設置一組濾波器，對信號進行濾波，低頻分布密集，高頻分布稀松［6］。將每個濾波器的功率作為信號的基本特征，經過進一步處理，則可成為神經網絡的輸入參數。

獲得的梅爾譜圖特征，如圖1 所示。水泡音持續時間短，而且頻率在100Hz～300Hz 之間，而喘鳴音在200Hz～600Hz 之間。同時可以看出梅爾譜圖的低頻信息十分豐富，對信號的低頻信息更敏感，這是由于梅爾濾波器組對低頻分辨率有更好的分辨率。所以適合對肺音這個低頻信號進行分析。

圖1 梅爾譜圖

3 數據增強

由于數據庫中的的6898 個肺音周期，正常肺音為3642 個周期，占比為53%。喘鳴音、水泡音及兩者的混合音只占47%。這種不平恒的數據對于訓練的神經網絡的泛化能力有較大的影響，而且容易造成過擬合，因此我們需要進行數據增強，以此改善數據結構。

本文使用Mixup 的數據增強辦法［7］，隨機抽取同一類中的兩個樣本或者不同類中的兩個，按照一定的權值將其拼接起來，產生新的樣本，擴充樣本數量，增加樣本間的線性表現，從后邊的分類結果來看，還能增強樣本的魯棒性。在訓練樣本（xi，yi）與（xj，yj）的混合鄰域分布中隨機抽樣生成新的特征目標向量：

式中λ可以是［0，1］中的固定值。

在將譜圖特征輸入深度學習網絡之前，為了更好地表現譜圖特征，還需要對譜圖進行進一步優化，使用局部二值模式（Local Binary Pattern，LBP）可以提取到譜圖的局部紋理特征［8］。并且LBP 具有計算簡單且旋轉不變性和灰度不變性的優點，可以降低深度學習網絡過擬合的風險［9］，同時使得神經網絡具有更好的魯棒性。標準的LBP 算法是一個非參數的3*3 的核，它根據每個像素與其周圍的8 個像素的強度值作比較，當相鄰像素強度值較高時賦值為1，否則為0，當這個像素與周圍8 個值作比較后產生8位數二進制數，即為此點的LBP值［10］。

LBP 二進制由于數值只是0 和1 構成，且可以轉化為十進制數，即一個十進制數就可以簡潔明了地反映該區域的紋理信。濾波后的肺音經過Mel特征提取后，進行數據增強，再輸入深度學習模型，最終得到分類結果如圖2所示。

10時40分，他跟科長請假說回家做飯，便回到家里。他轉了一圈兒，又找幾個同學聊聊，以便日后給他作證，接著，又回到屋里干活。11時05分，他騎著自行車來到林業俱樂部門前，把車放下后，打一輛出租車來到學校附近停下。這時已是11時10分了。

圖2 分類分類流程圖

4 并行池化CNN模型

本次研究中卷積神經網絡的輸入是對原始信號進行降噪過后的肺音信號，再將信號利用前文所提到的Mel、WT、CQT、STFT 得到的譜圖，輸入到神經網絡中［11］，在后續的分類中進行比較，尋找最優結果。

設計的CNN模型共16層，由數據輸入層、卷積層、ReLU層、池化層和全連接層構成。通過增加模型中的層數，增加的非線性可以得出目標函數的近似結構，擁有更好的特征表達，但是模型的復雜程度也增加了，使得模型更難優化且容易過擬合。選擇CNN 模型合適的層數就非常重要了。將已經提取到的譜圖作為CNN 神經網絡的輸入，進行訓練。數據輸入層主要是針對我們的輸入圖像進行預處理，包括去均值、歸一化、PCA/白化。最終構建好的神經網絡中選用了4 個卷積層，其中一個為大小5*5 數量64 的卷積核，3 個為3*3 數量為32 的卷積核進行運算。如圖3所示。

圖3 CNN結構圖

5 CNN-RSM混合模型

隨機子空間法（Random Subspace Method，RSM）的主要目的是在特征空間修改訓練數據。給定訓練數據集X 以及p 維的特征向量Xi，計算方法如下所示：

式中n是實例總數，從p維數據集中隨機選擇r個特征，從而得到了原始特征空間r 維隨機子空間以及r維的特征向量，表達式如下：

6 研究結果

6.1 分類結果評估方法

本文采用按比例隨機抽取測試集的方法進行分類。訓練集比例為總數據的85%，測試集為15%。因為訓練集結果存在過擬合和欠擬合的情況，并不能具有代表性，而測試集代表了實際使用中的真實情況，具有魯棒性和泛化能力更好。所以本文將測試集結果的矩陣作為最終結果進行評估。

在評估深度學習網絡模型時，針對混淆矩陣進行評估的主要計分公式有準確率（Accuracy）、靈敏度（Se）、特異度（Sp）、和ICBHI得分（score）［12］四種評估指標。四種評估指標的公式如下：

6.2 肺音識別結果評估

首先本文對Mel、WT、STFT、CQT 四種特征提取方式進行評估，將四種譜圖特征輸入CNN 模型進行分類，并將測試集結果進行對比，判斷不同特征提取方式對結果的影響，其結果如表1所示。

表1 特征提取方式結果對比

由表中可以看出，四種特征提取方式中，Mel譜圖的準確率達到72.38%、靈敏度達到35.9%、ICBHI 得分達到61.85%，都為最高，特異度比最高的WT譜圖低了3.22%。靈敏度代表對異常肺音判斷的準確率，特異度代表著對正確肺音判斷的準確率。實際使用中異常肺音的判斷比正常肺音的判斷更重要，且Mel 譜圖靈敏度最高，所以綜合來看Mel譜圖最優。本文將Mel譜圖作為本文的特征提取辦法。

再確定了最優的特征提取方式后，接著使用最優的特征提取方式，將數據增強前后的分類結果進行對比分析，將比未確定最優的特征提取方式之前直接進行四種特征提取方式數據增強前后進行對比更加簡潔且具有說服力。常用Mel 譜圖特征提取方式進行分類的數據增強前后對比如表2所示。

表2 數據增強前后對比

由表中可以看出，數據增強后靈敏度、特異度、ICBHI得分都有提升，尤其是靈敏度提升了11.3%，提升明顯，這表明數增強明顯的對肺音數據進行了優化，在一定程度上平衡了數據，增加了異常肺音的占比，使整個數據庫變得均衡，這對于CNN 模型的泛化能力有了一定提升。但我們也注意到數據增強之后的特異度降低了1.3%，這是由于數據庫中異常肺音數量的增加，同時可以看到特異度與靈敏度的差值由原來的64.5%降低到51.9%，使得官方測試集靈敏度與特異度差值過大的現象得到了一定緩解，數據準確率也提升了2.25%，證明了數據增強的重要性，同時也肯定了Mixup 和LBP 的效果。

在選取了最優的特征提取方式和對數據增強效果進行驗證后，將數據集輸入CNN 模型及CNN-RSM 模型中進行訓練，訓練結果如表3 所示，并將訓練結果和使用一樣數據庫ICBHI 2017 的論文結果進行比對，對比結果表明，本文采用的數據增強后的CNN-RSM 混合模型的綜合評比結果最佳。

表3 各模型訓練結果及對比

由表中加黑的數據可以看出準確率最高的結果為CNN-RSM 模型的結果，準確率達到了76.01%，同時相較于單獨的CNN 模型，結果的準確率、靈敏度、特異度、ICBHI 得分都有提升，其中準確率提升了3.63%，靈敏度提升了7.17%。這說明在CNN模型的最后一步將350各特征分類得到的4個特征的效果不如RSM，將CNN 善于提取復雜特征的特點和RSM 針對訓練對象的數量和維度較小時分類效果明顯的優點相結合起來，發揮各自優勢的CNN-RSM模型為所用方法中的最優結果。

7 結語

對比相同數據的其他作者所做的結果，本文所做的模型在準確率方面優勢明顯，這對于肺音的判別至關重要，特異度提升了11.7%，ICBHI得分方面也相較與其他作者提升有0.68%，雖然提升較小，但綜合四種評估標準來看，本文的CNN-SVM 模型具有較大優勢，這取決于我們對于原始肺音種的降噪、譜圖特征提取方式的選擇、CNN 與RSM 各自優點的結合。在進行對比分析后，CNN-RSM 的準確率達到76.01%、靈敏度43.07%、特異度89.07%、ICBHI得分66.38%，肺音識別的四種評分標準的得分都較為優秀，能夠在一定程度上滿足肺音識別的需求。