一種基于PCA-BP神經(jīng)網(wǎng)絡(luò)的示例優(yōu)選方法

章宗標(biāo)

浙江樹人大學(xué)現(xiàn)代教育技術(shù)中心，杭州 310015

一種基于PCA-BP神經(jīng)網(wǎng)絡(luò)的示例優(yōu)選方法

章宗標(biāo)

浙江樹人大學(xué)現(xiàn)代教育技術(shù)中心，杭州 310015

1 引言

隨著網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)的迅猛發(fā)展，多媒體數(shù)據(jù)的信息量呈現(xiàn)出規(guī)模巨大，增長(zhǎng)快速，質(zhì)量參差不齊的特點(diǎn)，如何快速準(zhǔn)確地找到感興趣的內(nèi)容，為人們?cè)趭蕵?lè)、教育等方面提供更好的服務(wù)是一個(gè)研究熱點(diǎn)。在多媒體檢索中，音頻檢索就成為了一個(gè)既迫切又具有挑戰(zhàn)性的研究課題[1]，得到了廣泛關(guān)注。

目前音頻檢索可以分為兩大類：一類是基于認(rèn)知的，需要理解和抽象音頻的具體內(nèi)容，對(duì)數(shù)據(jù)源中的語(yǔ)義信息進(jìn)行識(shí)別和標(biāo)注構(gòu)建索引，例如利用語(yǔ)音識(shí)別實(shí)現(xiàn)對(duì)目標(biāo)詞匯、說(shuō)話人的檢索[2]，利用自動(dòng)音樂(lè)標(biāo)注技術(shù)識(shí)別樂(lè)曲的旋律和節(jié)拍等信息[3]；另一類是基于感知的，不需要理解和識(shí)別音頻的具體內(nèi)容，通常采用音頻例子的方式提交查詢輸入，即示例檢索（Query by Example，QBE）。其基本原理就是比較音頻例子與目標(biāo)文件的特征相似程度來(lái)判斷檢索結(jié)果[4-6]，檢索方法主要有基于距離的方法、基于直方圖的方法和兩者相結(jié)合的算法等[7]。

通常，示例檢索大多將查詢示例作為一個(gè)整體進(jìn)行直接檢索，隨著示例長(zhǎng)度的增加，特征數(shù)據(jù)量更是呈幾何級(jí)增長(zhǎng)，致使計(jì)算代價(jià)大，檢索時(shí)間長(zhǎng)，噪聲魯棒性差，嚴(yán)重影響檢索性能。考慮到音頻文件被“污染”的情況下，抗噪能力強(qiáng)即信號(hào)魯棒性高的示例比抗噪能力弱魯棒性低的檢出率高，基于此，如果能從大數(shù)據(jù)的示例中優(yōu)選出對(duì)噪聲具有較好魯棒性的部分作為查詢，可以充分發(fā)揮人在音頻內(nèi)容理解和系統(tǒng)在數(shù)據(jù)質(zhì)量評(píng)估兩方面的優(yōu)勢(shì)，確保示例在內(nèi)容合適的同時(shí)具有較高的數(shù)據(jù)質(zhì)量，有利于提高檢索的召回率，而且示例優(yōu)選后的數(shù)據(jù)量小，能減少用戶從客戶端上傳示例到檢索服務(wù)器的網(wǎng)絡(luò)傳輸代價(jià)[8-10]。

目前，從整體上看，國(guó)內(nèi)外關(guān)于示例檢索的研究主要集中在檢索的理論模型和實(shí)用算法上，與示例相關(guān)的研究很少，但在檢索系統(tǒng)的實(shí)際應(yīng)用中，有非常重要的意義。為此，本文提出一種基于主成分分析（Principal Component Analysis，PCA）和BP神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network，BPNN）的示例優(yōu)選方法（PCA-BPNN）。首先以信號(hào)的噪聲魯棒性評(píng)分為依據(jù)構(gòu)建數(shù)據(jù)集合，使用PCA方法得到片段級(jí)特征，實(shí)現(xiàn)數(shù)據(jù)降維，減少BPNN輸入變量，加快BPNN預(yù)測(cè)速度并提高預(yù)測(cè)精度；利用BPNN對(duì)保留成分進(jìn)行建模預(yù)測(cè)，實(shí)現(xiàn)示例優(yōu)選。實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)PCA篩選的輸入變量用于BPNN運(yùn)行時(shí)間大大減少，預(yù)測(cè)精度明顯提高，通過(guò)示例魯棒性預(yù)測(cè)分值的高低來(lái)進(jìn)行示例優(yōu)選是完全可行的。

2 PCA-BPNN模型

2.1 建模基本思想

音頻示例優(yōu)選是指從一段目標(biāo)音頻文件中選取最優(yōu)片段作為查詢示例，該示例在檢索數(shù)據(jù)即使存在噪聲的情況下也能獲得較高的檢出率。在進(jìn)行示例優(yōu)選時(shí)，認(rèn)為原始信號(hào)受到噪聲的干擾越小，即加噪信號(hào)和原始信號(hào)的變化越小，則信號(hào)的噪聲魯棒性越好。基于此，為了更準(zhǔn)確地反映信號(hào)的魯棒性，構(gòu)建了基于PCA-BPNN魯棒性預(yù)測(cè)模型，其基本思想如圖1所示。首先通過(guò)實(shí)驗(yàn)測(cè)試，根據(jù)不同信噪比下加噪信號(hào)和原始信號(hào)的相似度作為魯棒性打分，將打分較高的數(shù)據(jù)作為正例集合，打分較低的作為反例集合，采用PCA方法構(gòu)造片段級(jí)特征，然后利用正反例集合來(lái)進(jìn)行BPNN的學(xué)習(xí)與訓(xùn)練，建立魯棒性預(yù)測(cè)模型，最后以預(yù)測(cè)模型的打分為依據(jù)，從中選取最優(yōu)的一段作為示例優(yōu)選結(jié)果，保證了內(nèi)容代表性和系統(tǒng)召回率。

圖1 PCA-BPNN模型基本思想

2.2 數(shù)據(jù)集合的獲取

根據(jù)噪聲魯棒性分析，令示例添加不同分貝的高斯白噪聲，然后分別提取原始信號(hào)和加噪信號(hào)的MFCC特征參數(shù)，計(jì)算原始信號(hào)與加噪信號(hào)的對(duì)應(yīng)位置幀相似度。將不同信噪比的加噪信號(hào)的幀相似度均值作為該幀與原始信號(hào)的相似度，最后以相似度作為魯棒性打分依據(jù)來(lái)建立數(shù)據(jù)集合，其中打分較高的數(shù)據(jù)作為正例集合，打分較低的數(shù)據(jù)作為反例集合；相似度度量采用歐式距離。

歐式距離的計(jì)算公式：

Xi與Yi分別表示兩個(gè)做歐式距離比較的向量維數(shù)值，計(jì)算得到的歐式距離數(shù)值越小，說(shuō)明該幀數(shù)據(jù)在加噪之后受到的影響越小，噪聲魯棒性越好。

2.3 主成分分析

根據(jù)PCA方法的基本原理[11-13]，具有大變化方向的數(shù)據(jù)比有小變化方向的數(shù)據(jù)攜帶更多信息，因而只要尋找具有最大方差可稱之為主軸的方向來(lái)表征原始數(shù)據(jù)，就可以在最小均方意義下將高維數(shù)據(jù)投影到低維空間，這樣原來(lái)多維的問(wèn)題就可以得到大大的簡(jiǎn)化。

其主要算法步驟如下：

（1）利用協(xié)方差矩陣度量X中存在的冗余信息，即特征之間的相關(guān)性，X的協(xié)方差矩陣Σ為：

（3）對(duì)所有的超矢量采用式（2）進(jìn)行降維處理，得到段級(jí)特征。

2.4 PCA-BPNN模型

BP神經(jīng)網(wǎng)絡(luò)即反向傳播神經(jīng)網(wǎng)絡(luò)，是一種適用于非線性模式識(shí)別和分類評(píng)價(jià)問(wèn)題的人工神經(jīng)網(wǎng)絡(luò)，利用它來(lái)解決實(shí)際問(wèn)題不需要構(gòu)建數(shù)學(xué)模型，而是利用輸入和輸出數(shù)據(jù)通過(guò)迭代校驗(yàn)來(lái)尋找最優(yōu)解[14-15]。因此，PCA與BPNN之間存在著互補(bǔ)關(guān)系，在示例的魯棒性預(yù)測(cè)中，能夠充分發(fā)揮各自的優(yōu)勢(shì)。

根據(jù)上述建模思想的分析，構(gòu)建PCA-BPNN示例魯棒性預(yù)測(cè)模型的結(jié)構(gòu)如圖2所示。首先利用PCA構(gòu)造片段級(jí)的特征，把選擇得到的片段特征作為BPNN的輸入變量，然后根據(jù)經(jīng)驗(yàn)和多次測(cè)試來(lái)確定BPNN的隱層神經(jīng)元個(gè)數(shù)，最后計(jì)算出魯棒性預(yù)測(cè)值作為BPNN的輸出。

圖2 PCA-BPNN示例魯棒性預(yù)測(cè)模型

其中Xi=(ai1，ai2，…，aiG)表示第i段示例片段特征向量組成的超矢量集，其中ai為幀級(jí)特征；Zi=(ai1，ai2，…，aiP)表示經(jīng)過(guò)PCA處理后第i段示例片段的超矢量集；Yi表示第i段示例片段的魯棒性估計(jì)值。

3 實(shí)驗(yàn)仿真

3.1 PCA-BPNN預(yù)測(cè)模型訓(xùn)練

本文選擇50組中央電視臺(tái)的廣告為實(shí)驗(yàn)數(shù)據(jù)，其中40組作為訓(xùn)練集，用于調(diào)整模型參數(shù)，提高預(yù)測(cè)精度；10組作為測(cè)試集，用于評(píng)價(jià)準(zhǔn)確率。模型的訓(xùn)練和檢測(cè)準(zhǔn)確率采用交叉檢驗(yàn)的方法進(jìn)行驗(yàn)證。每組實(shí)驗(yàn)數(shù)據(jù)均包含12段獨(dú)立且內(nèi)容完整的廣告，1段包含此12段廣告數(shù)據(jù)的大數(shù)據(jù)音頻，12段廣告數(shù)據(jù)在此段大數(shù)據(jù)中各自出現(xiàn)很多次，且彼此之間的次數(shù)無(wú)關(guān)。對(duì)包含了12段廣告數(shù)據(jù)的大數(shù)據(jù)音頻進(jìn)行噪聲處理，分別添加0 dB、5 dB、10 dB、15 dB以及20 dB的高斯白噪聲。

在示例特征提取階段，本文提取了37維特征向量，包括13維段層次的基本特征，12維的MFCC特征值和12維的一階差分MFCC特征值。

主要訓(xùn)練步驟如下：

（1）計(jì)算加噪信號(hào)和原始信號(hào)每幀特征向量距離，將得到的向量距離按由小到大進(jìn)行排序歸為正例集合，反之歸為反例集合。

（2）將集合進(jìn)行PCA處理，根據(jù)主成分的個(gè)數(shù)和歸一化后的特征分別確定BPNN輸入神經(jīng)元的個(gè)數(shù)和輸入值，將輸入神經(jīng)元個(gè)數(shù)設(shè)為100。

（3）將輸出神經(jīng)元個(gè)數(shù)設(shè)為1，隱層神經(jīng)元的個(gè)數(shù)則由輸入和輸出神經(jīng)元的個(gè)數(shù)通過(guò)測(cè)試確定。根據(jù)迭代次數(shù)和訓(xùn)練時(shí)間，當(dāng)隱層神經(jīng)元個(gè)數(shù)為35時(shí)，訓(xùn)練誤差最小，網(wǎng)絡(luò)結(jié)構(gòu)也最為合理。

（4）根據(jù)樣本和網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)確定隱層和輸出層的傳遞函數(shù)分別為tansig和logsig，網(wǎng)絡(luò)訓(xùn)練函數(shù)采用trainlm，網(wǎng)絡(luò)學(xué)習(xí)算法采用Levenberg-Marquardt算法，訓(xùn)練次數(shù)為10 000，訓(xùn)練目標(biāo)位0.001，學(xué)習(xí)速率為0.36。

通過(guò)實(shí)驗(yàn)，PCA-BPNN預(yù)測(cè)模型的實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)如表1所示。

表1 PCA-BPNN預(yù)測(cè)模型的實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)

3.2 PCA-BPNN預(yù)測(cè)模型測(cè)試

本文在不考慮噪聲影響以及信噪比為20 dB、15 dB、10 dB、5 dB、0 dB的情況下，對(duì)基于PCA-BPNN音頻示例檢索的性能進(jìn)行測(cè)試，不同的信噪比通過(guò)加白噪聲的方式獲得。以PCA-BPNN預(yù)測(cè)模型的打分為依據(jù)，從每個(gè)廣告中選取8個(gè)抗噪能力評(píng)分不同的示例，分別在原始數(shù)據(jù)和添加了不同信噪比噪聲的音頻數(shù)據(jù)中進(jìn)行檢索。統(tǒng)計(jì)各個(gè)示例的檢出次數(shù)，如表2、表3和表4所示；計(jì)算各個(gè)示例檢出率，即各個(gè)示例在不同信噪比文件中檢出率的算術(shù)平均，如圖3、圖4和圖5所示。通過(guò)對(duì)比檢出率來(lái)判斷示例優(yōu)選方法是否有效。

表2 廣告1的示例檢出情況

表3 廣告2的示例檢出情況

表4 廣告3的示例檢出情況

圖3 廣告1的示例檢出率

表2、表3、表4和圖3、圖4、圖5是3個(gè)廣告片段的不同抗噪能力評(píng)分的示例檢出情況及檢出率，在其他廣告中的實(shí)驗(yàn)也獲得類似的結(jié)果。從中可以看出，示例抗噪能力評(píng)分不同，對(duì)應(yīng)的示例檢出率也不同，并且評(píng)分高的示例比評(píng)分低的示例有更高的檢出率，特別是優(yōu)選示例的檢出率明顯高于隨機(jī)選取的示例。因此，以PCA-BPNN預(yù)測(cè)模型的魯棒性打分為依據(jù)，從中選取最優(yōu)的一段作為示例優(yōu)化結(jié)果，這種方法是可行的。

圖4 廣告2的示例檢出率

圖5 廣告3的示例檢出率

表5 不同組合的BPNN識(shí)別效果

3.3 結(jié)果分析

為了驗(yàn)證本文提出模型的優(yōu)劣性，進(jìn)行了以下實(shí)驗(yàn)：

（1）對(duì)比各模型的BP神經(jīng)網(wǎng)絡(luò)參數(shù)，對(duì)比數(shù)據(jù)如表5所示。

結(jié)果表明，基于所有特征參數(shù)的BPNN模型輸入變量有480個(gè)，而基于PCA-BPNN模型減少到100個(gè)，大大降低了BPNN模型輸入變量數(shù)，在預(yù)測(cè)過(guò)程中，BPNN模型用時(shí)2分30秒，而PCA-BPNN模型則只用時(shí)1分，預(yù)測(cè)速度顯著提高。從預(yù)測(cè)的效果來(lái)看，基于所有因子的BPNN模型的預(yù)測(cè)精度比PCA-BPNN模型要差。

因此，PCA-BPNN模型無(wú)論是在BP網(wǎng)絡(luò)的構(gòu)造、識(shí)別率、訓(xùn)練時(shí)間強(qiáng)度以及誤差控制等方面均優(yōu)于BPNN模型，能更好地保證曲線的高度聚斂。

（2）分別在不考慮噪聲影響以及信噪比為20 dB、15 dB、10 dB、5 dB、0 dB的情況下，對(duì)檢索性能的算法進(jìn)行測(cè)試，不同的信噪比通過(guò)添加白噪聲的方式獲得。不同模型在不同信噪比情況下的平均檢出率，如表6所示。

表6 不同模型在不同信噪比情況下的平均檢出率（%）

結(jié)果表明，在無(wú)噪聲環(huán)境下，BPNN模型和PCA-BPNN模型的檢出率基本相等，而隨著噪聲的增加，BPNN模型檢出率下降較快，PCA-BPNN模型下降較為平緩，因此，PCA-BPNN模型具有較強(qiáng)的抗噪性能，魯棒性更好。

（3）對(duì)比PCA-BPNN模型的段級(jí)特征和幀級(jí)特征的平均檢出率，其中段長(zhǎng)分別為L(zhǎng)={1，2，…，8}，段移分別為G={1，2，…，8}，實(shí)驗(yàn)結(jié)果如表7所示。

由表7可見，當(dāng)段長(zhǎng)固定時(shí)，隨著段移的增加，檢出率逐漸降低；當(dāng)段移固定時(shí)，隨著段長(zhǎng)的增加，檢出率也逐漸降低；當(dāng)段長(zhǎng)、段移均為1時(shí)，等效為直接用PCA方法對(duì)幀級(jí)特征進(jìn)行變換，該特征具有較高的檢出率。結(jié)合表7的結(jié)果，兼顧檢出率和檢出速度，選取段長(zhǎng)為6，段移為4時(shí)，段級(jí)特征的模型具有較高性能。

表7 段長(zhǎng)和段移的實(shí)驗(yàn)結(jié)果（%）

4 結(jié)束語(yǔ)

以中央電視臺(tái)的廣告為實(shí)驗(yàn)數(shù)據(jù)，進(jìn)行驗(yàn)證性的測(cè)試和分析。實(shí)驗(yàn)結(jié)果表明：PCA-BPNN模型在音頻示例檢索中是高效而準(zhǔn)確的。將PCA數(shù)據(jù)分析方法與非線性BPNN模型進(jìn)行有機(jī)結(jié)合，充分利用PCA與BPNN模型的優(yōu)勢(shì)，并應(yīng)用到音頻示例檢索中，屬于全新的研究?jī)?nèi)容；而從PCA-BPNN模型理論自身所具備的特性，這一應(yīng)用是完全可行的，在實(shí)證研究中所取得的結(jié)果也充分說(shuō)明了這一結(jié)論。雖取得了較精確的結(jié)果，但其是否具有偶然性還有待于進(jìn)一步研究與探討。

[1]Foote J.An overview of audio information retrieval[J].Multimedia Systems，1999，7（1）：2-10．

[2]Chen B，Chen Y T.Extractive spoken document summarization for information retrieval[J].Pattern Recognition Letters，2008，29（3）：426-437.

[3]Fujihara H，Goto M，Kitahara T，et al.A modeling of singing voice robust to accompaniment sounds and its application to singer identification and vocal-timbre-similarity-based music information retrieval[J].IEEE Transactions on Audio，Speech and Language Processing，2010，18（3）：638-648.

[4]張衛(wèi)強(qiáng)，劉加.網(wǎng)絡(luò)音頻數(shù)據(jù)庫(kù)檢索技術(shù)[J].通信學(xué)報(bào)，2007，28（12）：152-155.

[5]Smith G，Murase H，Kashino K.Quick audio retrieval using active search[C]//Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing.New York，USA：IEEE Press，1998：3777-3780．

[6]Kashino K，Kurozumi T，Murase H.A quick search method for audio and video signals based on histogram pruning[J].IEEE Transactions on Multimedia，2003，5（3）：348-357．

[7]楊繼臣，王偉凝.一種基于隨機(jī)段的固定音頻檢索方法[J].計(jì)算機(jī)應(yīng)用，2010，1（1）：230-232.

[8]Kim K M，Kim S Y，Jeon J K，et al.Quick audio retrieval using multiple feature vectors[J].IEEE Trans on Consumer Electronics，2006，52（1）：200-205.

[9]江星華，李應(yīng).基于LPCMCC的音頻數(shù)據(jù)檢索方法[J].計(jì)算機(jī)工程，2009（11）：246-247.

[10]Hanna P，Robine M.Query by tapping system based on alignment algorithm[C]//Proceeding of the IEEE International Conference on Acoustics，Speech，and Signal Processing，2009.

[11]許新征，丁世飛，史忠植，等.煤與瓦斯突出的PCA-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型研究[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（28）：219-222.

[12]蔡則蘇，祝丁丁，何健.基于PCA特征提取和距離哈希K近鄰分類的人臉表情識(shí)別[J].智能計(jì)算機(jī)與應(yīng)用，2012，1（2）：1-4.

[13]蔡紅，陳榮耀.基于PCA-BP神經(jīng)網(wǎng)絡(luò)的股票價(jià)格預(yù)測(cè)研究[J].計(jì)算機(jī)仿真，2011，28（3）：365-368.

[14]Shi Zelin，Kang Jiao，Sun Rui.BPNN-based method for lens distortioncorrectionoflarge-fieldimaging[J].Opticsand Precision Engineering，2005，13（3）：348-353.

[15]廖凱華，徐紹輝，吳吉春，等.一種基于PCA和ANN的土壤水力性質(zhì)估計(jì)方法[J].水利學(xué)報(bào)，2012，43（3）：333-338.

ZHANG Zongbiao

Modern Education Technology Center,Zhejiang Shuren University,Hangzhou 310015,China

This paper proposes the example preferred method based on Principal Component Analysis（PCA）and BP Neural Network（BPNN）to solve computational cost,long retrieval time and poor noise robustness by the amount of example data in audio sample retrieval study.The paper builds the segment level features by principal component analysis,eliminates redundant data,and reduces the input variables,then models and predicts reserved ingredients by the BPNN.It tests the experimental data by the PCA-BPNN model confirmatory.Finally,experimental results show that the method can select optimization example from an audio accurately and efficiently.

Principal Component Analysis（PCA）;Back Propagation Neural Network（BPNN）;optimum selection of audio sample;multimedia;audio retrieval

在音頻示例檢索的研究中，針對(duì)示例數(shù)據(jù)量大而導(dǎo)致計(jì)算代價(jià)大、檢索時(shí)間長(zhǎng)和噪聲魯棒性差等問(wèn)題，提出了一種基于主成分分析（PCA）和BP神經(jīng)網(wǎng)絡(luò)（BPNN）的示例優(yōu)選方法。以信號(hào)魯棒性評(píng)分為依據(jù)構(gòu)建數(shù)據(jù)集合，使用主成分分析得到段級(jí)特征，消除數(shù)據(jù)冗余，減少輸入變量，最后利用BPNN對(duì)保留成分進(jìn)行建模預(yù)測(cè)。用PCA-BPNN模型對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了驗(yàn)證性測(cè)試和分析，結(jié)果表明，該方法可以準(zhǔn)確而高效地從一段音頻中選取魯棒性好的示例。

主成分分析；BP神經(jīng)網(wǎng)絡(luò)；示例優(yōu)選；多媒體；音頻檢索

A

TN912.3；TP391

10.3778/j.issn.1002-8331.1212-0179

ZHANG Zongbiao.Optimum selection method of audio sample based on PCA and BP Neural Network.Computer Engineering and Applications,2013,49（19）：108-111.

浙江省教育廳項(xiàng)目（No.Y201122220）。

章宗標(biāo)（1983—），男，實(shí)驗(yàn)師，研究方向：多媒體技術(shù)，計(jì)算機(jī)應(yīng)用。E-mail：answern@163.com

2012-12-14

2013-04-26

1002-8331（2013）19-0108-04

CNKI出版日期：2013-05-21http://www.cnki.net/kcms/detail/11.2127.TP.20130521.1030.014.html