基于聲譜圖紋理特征的蛋雞發聲分類識別

杜曉冬 滕光輝 TOMAS Norton 王朝元 劉慕霖

(1.中國農業大學水利與土木工程學院， 北京 100083； 2.魯汶大學生物科學工程學院， 魯汶 3001)

0 引言

畜禽動物的發聲可以反映其個體的健康狀況以及個體需求，可作為評價動物福利、動物舒適度的一種輔助方法[1-2]。國內外學者對畜禽動物發聲進行了一系列研究，例如：羊咳嗽聲監測[3]、羊采食聲音識別[4-5]、蛋雞發聲檢測和分類識別[6-8]、肉雞啄食聲監測[9-11]、牛呼吸道疾病監測[12-13]、豬咳嗽聲監測[14-16]等研究。

動物聲音特征的選取大多是沿用傳統語音信號處理的方法，例如：對聲音信號分幀、加窗，提取每幀信號的特征值(持續時間、共振峰、功率譜估計、能量譜包絡、線性預測倒譜系數等特征參數)。除上述傳統方法之外，基于聲譜圖的聲音分類識別方法是近年來研究熱點之一。聲譜圖可以將聲音的一維特征序列轉變為二維特征序列來可視化地呈現，相比于傳統方法而言，它可以同時體現聲音信號的時域和頻域內容，直觀性強，且能保留聲音信號的更多細節信息。動物發聲分類識別本質是辨識不同類型聲音的音色特點，而音色本身是一種主觀感受，目前尚未有對應的客觀指標[17]。美國國家標準學會針對音色的定義給出了解釋，認為音色與頻譜形狀和時域特征均有重要關系[18]。據觀察，蛋雞發聲聲譜圖的時頻結構在方向和局部細微程度上有顯著的不同。此外，養殖環境中存在的背景噪聲大多為機械噪聲，其聲譜圖的時頻結構變化單一，聲譜圖中聲紋分布較均勻。

本文擬將圖像處理和聲音處理技術相結合，對蛋雞聲音中的時域和頻域信息進行可視化，進而分析其聲譜圖中所呈現的聲紋特征，來實現海蘭褐蛋雞發聲的分類識別，并為后期研究蛋雞福利的評價系統提供理論基礎和可行方案。

1 聲音信號處理方法

1.1 聲譜圖

聲音信號有著類似指紋的屬性，1962年,美國Bell實驗室首次提出了“聲紋”(Voiceprint)的概念，利用語譜圖，驗證了以語音識別說話人的可行性，且聲紋具備穩定性和特異性[19]。聲紋是表現在聲譜圖中各種紋路構成的時頻結構。聲譜圖是描述聲音信號的一種三維感知圖，由時間、幅值和頻率3個維度信息構成，信號中不同頻率分量大小(振幅或功率)在圖像中一般用不同灰度和顏色來表示，聲音信號的不同頻率分量在任一給定時刻用聲譜圖中的不同灰度和顏色來表示。

對于經過預處理的蛋雞聲音信號從時域波形轉換到時頻域的聲譜圖時，需要對聲音信號進行短時傅里葉變換(Short-time Fourier transform, STFT)，算法借鑒Matlab軟件中的Spectrogram函數[20]。此外，為了減少邊緣效應和頻譜泄漏，需要為測量的聲音信號增加滑動窗，本文選取漢明窗(Hamming)進行分幀，幀長為512個采樣點，滑動窗步長為256個采樣點，相鄰幀之間的重疊率為50%[6]。

1.2 紋理特征

Gabor函數可以在時域和頻域獲取信號的最佳局部信息，多用于圖像紋理識別研究。圖像中紋理是其灰度或色彩在空間上的變化或重復，聲譜圖中聲紋的紋理特征可以借鑒Gabor濾波器來提取[21]。多尺度、多方向的2D-Gabor特征描述得到越來越多的關注，同時，Gabor特征在指紋識別、人臉識別等研究中已經得到了廣泛應用[22-23]。本研究選用2D-Gabor濾波器對蛋雞發聲的聲譜圖中聲紋特征進行提取，Gabor函數調用Matlab軟件擴展函數庫中的gaborKernel2d函數，并在原函數基礎上進行二次開發，將其嵌入LabVIEW聲譜圖功能模塊中進行特征分析[24]。gaborKernel2d函數參數計算公式為

(1)

x′=xcosθ+ysinθ

(2)

y′=-xsinθ+ycosθ

(3)

(4)

(5)

式中λ——余弦函數的波長，λ>2

δ——核函數中高斯函數的標準差

b——半響應空間頻率帶寬

θ——核函數中平行條帶方向，0°<θ<360°

φ——余弦函數的相位角，-180°<φ<180°

γ——核函數的橢圓度

x、y——圖像像素點的坐標值

本文研究選取的各參數值為theta(θ)=[0 π/4 π/2 3π/4]，lambda(λ)=4，phi(φ)=0，gamma(γ)=1，bandwidth(b)=[0.5 0.75 1 1.25]，生成的相應2D-Gabor濾波器如圖1所示。

圖1 2D-Gabor濾波器模板Fig.1 2D-Gabor filter template

1.3 分類模型

采用反向傳播神經網絡(Back propagation neural network，BPNN)建立特征輸入的分類識別模型，選取各類別的聲音樣本片段合計1 500個，每個片段時長截取為1 s，統一聲譜圖的尺寸(628像素×371像素)，其中隨機選取50%的樣本片段作為訓練集建立分類模型，其余50%的樣本片段作為測試集，用于驗證該模型的識別率。

圖2 反向傳播神經網絡示意圖Fig.2 Schematic of BPNN

圖2所示的神經網絡結構主要由3部分組成：①輸入層，提取特征創建輸入向量，輸入至輸入層。②隱藏層，根據經驗預先設定隱藏層的數目，通常由試驗和誤差決定，并進一步對具體問題進行優化。③輸出層，輸出訓練集中設定的不同類別。

BPNN算法的基本原理是：學習過程由兩個步驟組成，即信號正向傳播和誤差反向傳播。當信號正向傳播時，輸入樣本通過輸入層傳遞至網絡中，經過每個隱藏層后傳輸到輸出層。如果實際輸出與預期的輸出不匹配，則進入誤差反向傳播階段。反向傳播時，將輸出以某種形式通過隱藏層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。誤差函數的定義是期望輸出和實際輸出之差的平方和，計算公式為[25]

(6)

式中e——誤差函數

yp——實際輸出參數值

qp——期望輸出參數值

p——輸出向量的索引值

m——輸出向量的數量

訓練數據集用來優化分類，使預測分類和真實類別之間的誤差最小化。采用梯度下降函數和自適應學習速率對權重進行調整[26]。本文設置最大迭代次數為1 000和最小步長為0.001。

1.4 評價方法

蛋雞發聲分類識別性能采用靈敏度S(Sensitivity)和精確度P(Precision)兩個指標來評價，計算公式為[12]

(7)

(8)

式中TP——被模型預測為正的正樣本數

FP——被模型預測為正的負樣本數

FN——被模型預測為負的負樣本數

2 試驗設計

試驗于2016年10—11月，在中國農業大學上莊實驗站模擬雞舍進行。研究對象為六羽海蘭褐蛋雞，35～36周齡，飼養模式為網上平養，飼養空間為1.50 m(長)×1.35 m(寬)×1.80 m(高)。試驗平臺如圖3所示，包括飲水線、產蛋箱以及料槽等，雞只隨意采食和飲水，光周期由光照控制器控制。試驗階段光期為06:00—22:00，模擬雞舍的環境溫度處于15.0～18.0℃之間。

圖3 試驗平臺示意圖Fig.3 Schematic of test platform1.飲水線 2.尼龍網 3.Kinect設備 4.USB數據線 5.工控機 6.料槽

聲音數據采集平臺選用美國微軟公司的Kinect for Windows V1型嵌入式麥克風陣列(4通道同步采集、32位分辨率、16 kS/s采樣頻率)，Kinect設備安裝在飼養區域正上方高1.8 m處，錄音軟件采用美國國家儀器公司(National Instruments, NI)的LabVIEW 虛擬儀器平臺進行編寫，利用LabVIEW 2015軟件中的擴展聲音工具包模塊(Sound and vibration toolkit 2015, SVM)和Kinect for Windows SDK 1.8編寫音頻采集程序，單聲道音頻連續采樣，采樣頻率為16 kHz，32位，單個音頻文件時長為55 s，數據以.wav格式存儲，連續采集音頻片段合計308 h(約67.68 GB)。Kinect設備是通過USB數據線與小型工控機進行數據傳輸，大量數據存儲需外接2 TB USB 3.0移動硬盤。各類型聲音采用人工方式進行標記，標記方法參照文獻[12]，音頻數據利用LabVIEW軟件提供的聲音與振動工具包(SVM toolkit)、高級信號處理工具包(Advanced signal processing toolkit 2015, ASP)進行聲音信號預處理、特征提取和分類識別。

3 試驗結果分析

基于聲譜圖紋理特征檢測海蘭褐蛋雞發聲，表1和圖4分別描述了不同聲音類型的定義及其對應聲譜圖，從聲譜圖中可直觀地看出各聲音類型的特點和不同聲音之間的差異。

表1 不同類型聲音的定義Tab.1 Definition of different types of sound

圖4 各類型聲音的聲譜圖Fig.4 Spectrogram of different types of sound

蛋雞飲水聲在聲譜圖上清晰可見，呈現能量較強的沖直紋，具有瞬時峰值高、持續時間短的特點，且能量集中在前半部分，后半部分能量快速衰減(圖4a)；應激叫聲在聲譜圖上也清晰可見，呈現出較不規則的橫紋結構，具有較強的能量值，持續時間長，且能量在頻率帶中分布較均勻(圖4b)；鳴叫聲在聲譜圖上較不清晰，呈現出能量較弱的條紋結構，持續時間長，不易在背景噪聲中辨別出來(圖4c)；產蛋叫聲在聲譜圖上清晰可見，呈現出有規律的周期性水平橫紋，能量集中在低頻部分，持續時間短(圖4d)；風機噪聲在聲譜圖上清晰可見，呈現出規則的橫紋結構，較強的能量集中在風機振動的基頻部分，即低頻部分，持續時間最長(圖4e)。圖5呈現了聲譜圖經2D-Gabor濾波器濾波后的各類型聲音的聲紋特點，選取theta(θ)=π/2時清晰的紋理特征圖，對特征圖像中各行像素求平均值和歸一化處理，最終獲得371維特征向量，作為單個聲音樣本的特征輸入參數。

圖5 各類型聲音的紋理特征圖Fig.5 Textual maps of different types of sound

不同聲音類型的分類識別結果見表2，風機噪聲的靈敏度最高，為99.3%，鳴叫聲的靈敏度最低，為76.0%，分析原因可能是機械噪聲的振動發聲機理與動物發聲機理相比有較大差異，且前者聲譜圖中聲紋變化單一，比較容易區分[27]。在機器學習中尤其是統計分類中，混淆矩陣(Confusion matrix，也稱為錯誤矩陣(Error matrix))對角線位置數值為TP聲音樣本數量，矩陣的每一列表示BPNN分類器對于聲音樣本的類別預測(對角線之外的數值為FP聲音樣本數量)，每一行則表示聲音樣本的真實類別(對角線之外的數值為FN聲音樣本數量)，從表3的混淆矩陣來看，33個鳴叫聲被錯誤地分類成應激叫聲，導致應激叫聲和鳴叫聲的靈敏度較低，分析原因可能是同這兩類聲音的界定和標記音頻時人為的主觀判斷有一定關聯。此外，產蛋叫聲、風機噪聲和飲水聲的精確度較高，分別為98.6%、98.7%和97.4%，而應激叫聲和鳴叫聲的精確度較低，分別為78.9%和87.7%，導致該分類結果的原因可能是產蛋叫聲、風機噪聲和飲水聲同其他類型聲音的界定清晰，較容易實現快速、準確的音頻標記；而應激叫聲和鳴叫聲則不容易實現準確的人工標記操作，部分鳴叫聲和應激叫聲之間存在混淆。

表2 不同聲音類型的分類結果Tab.2 Classification result of different types of sound %

表3 不同聲音類型的分類混淆矩陣Tab.3 Confusion matrix of different types of sound

結果表明，本文的方法可用于蛋雞發聲分類識別研究，且具有較高的分類識別率，平均靈敏度可達92.0%，平均精確度可達92.3%。與國內外學者研究動物發聲識別結果相比具有較高的識別率，其他研究方法識別率為73%～98%[28]、66%～98%[29]、89.1%～92.5%[30]、84%[31]、41.4%～94.2%[12]。此外，神經網絡模型隱藏層的個數是影響識別準確率的關鍵因素，然而，理論上估計隱藏層數相當困難，往往根據算法多次的參數優化再確定，本文采用的隱藏層為5個[26]。

4 結束語

提出一種基于聲譜圖紋理特征檢測蛋雞發聲的方法，將圖像處理和聲音處理技術相結合，將蛋雞聲音中的時域和頻域信息進行可視化，進而分析其聲譜圖中所呈現的聲紋特征，利用2D-Gabor濾波器提取聲譜圖中紋理特征進行分類識別，平均靈敏度和平均精確度不低于92.0%；風機噪聲識別靈敏度最高，為99.3%；鳴叫聲識別靈敏度最低，為76.0%。該方法具有可視化、非侵入式等優點，在動物行為、動物福利評價研究方面具有很大的潛力。