β距離與圖形限制式的非負(fù)矩陣分解應(yīng)用于單信道分離的效果研究

王 鈞

（浙江警官職業(yè)學(xué)院，浙江 杭州 310018）

β距離與圖形限制式的非負(fù)矩陣分解應(yīng)用于單信道分離的效果研究

王 鈞

（浙江警官職業(yè)學(xué)院，浙江 杭州 310018）

本文通過(guò)矩陣分解，一方面將描述問(wèn)題的矩陣的維數(shù)進(jìn)行削減，另一方面也可以對(duì)大量的數(shù)據(jù)進(jìn)行壓縮和概括.引入β距離進(jìn)行單信道訊號(hào)源分離，借助β的調(diào)控，使原本固定的距離選擇變?yōu)楦拥貜椥?同時(shí)，將圖形正規(guī)限制式(Graph RegularizationConstraint)導(dǎo)入優(yōu)化問(wèn)題中，在非負(fù)矩陣分解時(shí)，保留原來(lái)數(shù)據(jù)蘊(yùn)含的幾何結(jié)構(gòu)，來(lái)增強(qiáng)單信道訊號(hào)源分離的效果.

非負(fù)矩陣分解；流形學(xué)習(xí)；訊號(hào)源分離；圖型正規(guī)

1 緒論

有人已經(jīng)將NMF應(yīng)用于盲信號(hào)分離BSS領(lǐng)域，取得一定的效果，不過(guò)其研究的BSS有非欠定的要求（即源數(shù)不大于傳感器數(shù)），且混合矩陣等都是正的.這里不過(guò)多介紹非負(fù)矩陣分解的理論，重點(diǎn)來(lái)說(shuō)說(shuō)它的應(yīng)用和實(shí)現(xiàn)，在單信道訊號(hào)原分離方法方面，目前已有許多基于非負(fù)矩陣分解的方法出現(xiàn)[2,3,9,10,13,14].大部分的方法在時(shí)頻域上進(jìn)行分離，首先將單信道的混合訊號(hào)經(jīng)過(guò)短時(shí)傅立業(yè)轉(zhuǎn)換(STFT)至?xí)r頻域，接著以絕對(duì)值主成分分析是找到給定數(shù)據(jù)的結(jié)構(gòu)信息的主要手段之一，然而對(duì)于某些特殊的輸入數(shù)據(jù)傳統(tǒng)的主成分分析,并不能真正得到問(wèn)題的主成分，這時(shí)我們?cè)诮r(shí)就需要考慮到這些特殊的結(jié)構(gòu).如下：

其中()D為一任意測(cè)度(Metric)，W、H皆為非負(fù)矩陣，W的行向量為能量頻譜的基底成分，H的列向量則表示為對(duì)應(yīng)成分在不同時(shí)間上的比例.在優(yōu)化過(guò)程中通常使用迭代更新法，分別交互更新W與H的值，當(dāng)(1)式中V與WH的測(cè)度如歐式距離(EuclideanDistance)、凱氏分歧度(Kullback–LeiblerDivergence)，其值小于事先定義的門檻值時(shí)，則停止迭代.由于不同的距離選用會(huì)得到不同的拆解結(jié)果，進(jìn)而影響分離效果.為了改善這個(gè)問(wèn)題，本論文引入了β距離(β-divergence)于非負(fù)矩陣分解，進(jìn)行單信道訊號(hào)源分離.藉由β的調(diào)控，相較于其他固定的距離，彈性地增加距離的可變動(dòng)性.乘性迭代規(guī)則，每一步都保證了結(jié)果為正數(shù)，一直迭代下去就會(huì)收斂(SparseNon-negativeMatrixFactorization,SNMF)在單信道訊號(hào)源分離上已被證實(shí)有顯著的效果[5]-[8]，故我們額外加入稀疏限制式于最佳化成本函數(shù)中，強(qiáng)迫系數(shù)矩陣H稀疏，以強(qiáng)化分離效果.另一方面，為了在進(jìn)行非負(fù)矩陣分解時(shí)，保留原來(lái)訊號(hào)的內(nèi)蘊(yùn)結(jié)構(gòu)，我們假設(shè)混合訊號(hào)在高維度空間中隱含低維度將矩陣分解為兩個(gè)低秩矩陣相乘提供一種解決此問(wèn)題的思路,兩個(gè)矩陣相乘的結(jié)果是原矩陣低維的近似.鄰近的兩點(diǎn)，在新的基底空間下亦相互鄰近，企圖進(jìn)一步增強(qiáng)上述方法的分離效果.

2 運(yùn)用β距離非負(fù)矩陣分解與圖形正規(guī)限制式進(jìn)行盲訊源分離

我們?cè)诘谝恍」?jié)扼要回顧基于β距離之非負(fù)矩陣分解；在第二小節(jié)中，講述結(jié)合圖形正規(guī)限制式的非負(fù)矩陣分解；最后，在第三小節(jié)中說(shuō)明基于β距離與圖形正規(guī)限制式的稀疏非負(fù)矩陣分解，及如何以其進(jìn)行單信道訊號(hào)源分離.

2.1 基于β距離之非負(fù)矩陣分解

考慮到在進(jìn)行矩陣分解時(shí)，固定的量度(如歐氏距離、凱氏分歧度等)無(wú)法適應(yīng)所有問(wèn)題，F(xiàn)'evotte等人[3]于2011年提出了基于β距離之非負(fù)矩陣及其算法，β為一個(gè)距離控制參數(shù)，藉由調(diào)整不同的β值，可使距離的選擇更加彈性.我們將其表示為（||(dxy，并定義β距離如下：

其中R,Rxy分別為一維的實(shí)數(shù)值，若0則β距離退化為IS距離(Itakura-SaitoDistance)，若1則為凱氏分歧度，若2則22()dxy恰為歐式距離.我們將(2)式對(duì)y微分探討其特性：

當(dāng)此分解0時(shí)，可能包含歐式距離或凱氏分歧度，原始的大矩陣V被近似分解為低秩的V=WH形式.這些方法的共同特點(diǎn)是，因子W和H中的元素可為正或負(fù)，即使輸入的初始矩陣元素是全正的，傳統(tǒng)的秩削減算法也不能保證原始數(shù)據(jù)的非負(fù)性，數(shù)學(xué)式子可表示為(||) (||)dxydxy ISIS，其中為y尺度純量.另外，當(dāng)x為較小的正數(shù)時(shí)，對(duì)應(yīng)的距離較適用于的時(shí)頻訊號(hào)的處理.其中“.”為矩陣元素點(diǎn)(Element-wise)運(yùn)算.經(jīng)過(guò)交互迭代更新基底W與系數(shù)H后，即完成基于距離之非負(fù)矩陣分解.由于上述方法在矩陣分解時(shí)并無(wú)考慮數(shù)據(jù)隱含的幾何結(jié)構(gòu)，故在下一小節(jié)中，我們將會(huì)討論以圖形正規(guī)限制式結(jié)合非負(fù)矩陣分解方法，在矩陣分解時(shí)保留原始數(shù)據(jù)的幾何結(jié)構(gòu).

2.2 圖形正規(guī)限制式結(jié)合非負(fù)矩陣分解

科學(xué)家將NMF方法用于處理核計(jì)算科學(xué)中的電子發(fā)射過(guò)程的動(dòng)態(tài)連續(xù)圖像，有效地從這些動(dòng)態(tài)圖像中提取所需要的特征[1]，Cai等人[4]但是傳統(tǒng)的常用分析方法僅僅是對(duì)詞進(jìn)行統(tǒng)計(jì)，而不考慮其他的信息.而NMF不同，它往往能達(dá)到表示信息的局部之間相關(guān)關(guān)系的效果，從而獲得更好的處理結(jié)果.Kim等人[16]提出保留流形結(jié)構(gòu)的音頻分離方法，在分離時(shí)透過(guò)保留時(shí)頻訊號(hào)的隱含幾何結(jié)構(gòu)，亦即若原坐標(biāo)點(diǎn)ix、jx在原坐標(biāo)系是鄰近的兩點(diǎn)，那么在新的基底空間下亦為鄰近的兩點(diǎn)，來(lái)提升音訊分離的效果.在本論文中，為了建立筆數(shù)據(jù)的關(guān)系，我們定義權(quán)重矩陣ijU(weight matrix)如下：

其中Rt為一距離參數(shù)，我們可以定義拉普拉斯矩陣(laplacianmatrix)LDU，D為對(duì)角矩陣，其n個(gè)元素計(jì)算方式為ijjnDU，最后，我們將圖形限制R定義如下：

藉由最小化R，我們可以觀察到再次觀察到前述的假設(shè)，若原坐標(biāo)點(diǎn)ix、jx在原本的坐標(biāo)系是鄰近的兩點(diǎn)，那么在新的基底空間下亦為鄰近的兩點(diǎn).結(jié)合圖形正規(guī)限制式與原成本函數(shù)后，優(yōu)化式子如下：

在加入了圖形正規(guī)限制式后.非負(fù)矩陣分解可以考慮高維度數(shù)據(jù)在低維空間中的緊致嵌入，并保留原始數(shù)據(jù)的幾何特性.

2.3 結(jié)合β距離與圖形正規(guī)在PCA分解中的各列之間相互正交

由于加了非負(fù)約束.與VQ的單一元素不為0不同用以解決單信道訊號(hào)源分離問(wèn)題，除了使用β距離使距離選擇更加彈性以外，我們假設(shè)混合訊號(hào)在高維度空間中隱含低維度平滑的流形分布，將圖形正規(guī)限制式導(dǎo)入優(yōu)化問(wèn)題中.此外，我們還額外加了針對(duì)系數(shù)矩陣H的稀疏項(xiàng)接下來(lái)，我們介紹如何以所提出的非負(fù)矩陣分解方法，進(jìn)行單信道訊號(hào)源分離，其分為訓(xùn)練與分離兩階段.在訓(xùn)練階段，我們的主要目的是找出音源的對(duì)應(yīng)字典，假設(shè)有兩類型的音源，在做法上，我們搜集用源訊號(hào)的時(shí)頻能量11mnsRV、22mnsRV，并利用(15)與(16)式迭代更新，求得對(duì)應(yīng)的字典矩陣1s W 1mkR、22mksRW.在分離階段，我們將混合訊號(hào)經(jīng)過(guò)短時(shí)傅立葉變換轉(zhuǎn)換至?xí)r頻域得到mnmixCV并取出其能量mnmixRV，注意，如果訊號(hào)源類型是已知狀態(tài)下，我們將分離階段稱做監(jiān)督式(Supervised)分離，監(jiān)督型字典()12mkkdicRW可以定義如下12ssdicWWW(17).

若是只知道部分音源類型，我們則稱其為半監(jiān)督式(Semi-supervised)分離，我們只可以假設(shè)(17)的部分字典為未知，并且利用(15)式從混合音源中學(xué)習(xí)出其他音源的字典.最后，我們可以透過(guò)以(17)式的字典，并透過(guò)(16)式得到混合音源對(duì)各源訊號(hào)字典的對(duì)應(yīng)系數(shù)knsR11H與knsR22H，并利用柔性屏蔽(SoftMask)完成分離：)/()..(111dicmixmixsss VVWHWH.

3 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，我們使用TIMIT數(shù)據(jù)庫(kù)[11]的男女聲進(jìn)行分離實(shí)驗(yàn)，取樣率為16000赫茲.我們隨機(jī)選取4名女性語(yǔ)者和4名男性語(yǔ)者，且每位語(yǔ)者念10個(gè)句子.我們對(duì)于每個(gè)語(yǔ)者隨機(jī)選擇一個(gè)句子建構(gòu)混合訊號(hào)，其他9個(gè)句子作為訓(xùn)練集.利用 BSS Evaltoolbox[13]去計(jì)算 SDR(Signal-to-distortion Ratio)、SIR(Signal-to-interference Ratio)、SAR(Signal-to-artifact Ratio)三種評(píng)比.本論文與稀疏非負(fù)矩陣分解[15]進(jìn)行比較，我們采用與其相同的設(shè)定.共迭代400次，參數(shù)和0.1、β=0、元素(Atom)數(shù)1024K.圖一為所提出的音源分離方法所得到的結(jié)果，我們?cè)趯?shí)驗(yàn)中進(jìn)行男聲與女聲的單通道音源分離.

在本實(shí)驗(yàn)中，我們將所提出的方法與以下兩方法較：其一為稀疏非負(fù)矩陣分解(NMF+S)、其二為基于β距離之稀疏非負(fù)矩陣分解(SNMF)[5].我們將分為兩種情況討論：1)單一訓(xùn)練：在這種狀況下，我們僅考慮一男一女語(yǔ)者去建構(gòu)字典12WWW，對(duì)于所有測(cè)試集均使用此字典，表一為五組測(cè)試句子的平均結(jié)果，實(shí)驗(yàn)結(jié)果顯示，與傳統(tǒng)非負(fù)矩陣分解與稀疏非負(fù)矩陣相比，本論文所提出的方法具有較優(yōu)的分離效果.在實(shí)際應(yīng)用中，我們無(wú)法得知所有語(yǔ)者的字典，因此單一訓(xùn)練的做法較為接近真實(shí)情況.

信息時(shí)代使得人類面臨分析或處理各種大規(guī)模數(shù)據(jù)信息的要求，如衛(wèi)星傳回的大量圖像、機(jī)器人接受到的實(shí)時(shí)視頻流、數(shù)據(jù)庫(kù)中的大規(guī)模文本、Web上的海量信息等.處理這類信息時(shí)，矩陣是人們最常用的數(shù)學(xué)表達(dá)方式，比如一幅圖像就恰好與一個(gè)矩陣對(duì)應(yīng)，矩陣中的每個(gè)位置存放著圖像中一個(gè)像素的空間位置和色彩信息.由于實(shí)際問(wèn)題中這樣的矩陣很龐大，其中存放的信息分布往往不均勻，因此直接處理這樣的矩陣效率低下，這對(duì)很多實(shí)際問(wèn)題而言就失去了實(shí)用意義.為高效處理這些通過(guò)矩陣存放的數(shù)據(jù)，一個(gè)關(guān)鍵的必要步驟便是對(duì)矩陣進(jìn)行分解操作.通過(guò)矩陣分解，一方面將描述問(wèn)題的矩陣的維數(shù)進(jìn)行削減，另一方面也可以對(duì)大量的數(shù)據(jù)進(jìn)行壓縮和概括.NMF通過(guò)尋找低秩，非負(fù)分解那些都為非負(fù)值的矩陣.這在現(xiàn)實(shí)的應(yīng)用中有很多例子，如數(shù)字圖像中的像素一般為非負(fù)數(shù)，文本分析中的單詞統(tǒng)計(jì)也總是非負(fù)數(shù)，股票價(jià)格也總是正數(shù)等等.研究指出，非負(fù)矩陣分解是個(gè)NP問(wèn)題，可以劃為優(yōu)化問(wèn)題用迭代方法交替求解U和V.NMF算法提供了基于簡(jiǎn)單迭代的求解U，V的方法，求解方法具有收斂速度快、左右非負(fù)矩陣存儲(chǔ)空間小的特點(diǎn)，它能將高維的數(shù)據(jù)矩陣降維處理，適合處理大規(guī)模數(shù)據(jù).語(yǔ)音的自動(dòng)識(shí)別一直是計(jì)算機(jī)科學(xué)家努力的方向，也是未來(lái)智能應(yīng)用實(shí)現(xiàn)的基礎(chǔ)技術(shù).語(yǔ)音同樣包含大量的數(shù)據(jù)信息，識(shí)別語(yǔ)音的過(guò)程也是對(duì)這些信息處理的過(guò)程.NMF算法在這方面也為我們提供了一種新方法，在已有的應(yīng)用中，NMF算法成功實(shí)現(xiàn)了有效的語(yǔ)音特征提取，并且由于NMF算法的快速性，對(duì)實(shí)現(xiàn)機(jī)器的實(shí)時(shí)語(yǔ)音識(shí)別有著促進(jìn)意義.也有使用NMF方法進(jìn)行音樂(lè)分析的應(yīng)用.復(fù)調(diào)音樂(lè)的識(shí)別是個(gè)很困難的問(wèn)題，三菱研究所和MIT(麻省理工學(xué)院)的科學(xué)家合作，利用NMF從演奏中的復(fù)調(diào)音樂(lè)中識(shí)別出各個(gè)調(diào)子，并將它們分別記錄下來(lái).實(shí)驗(yàn)結(jié)果表明，這種采用NMF算法的方法不光簡(jiǎn)單，而且無(wú)須基于知識(shí)庫(kù).

系統(tǒng)內(nèi)所使用的核心辨識(shí)核心Sphinx-4是由JAVA語(yǔ)言編寫而成的，擁有極具延展性、模塊化、可插拔的架構(gòu)并且有良好跨平臺(tái)能力的優(yōu)點(diǎn)，本身也提供了許多的應(yīng)用程序編程接口，可以追蹤譯碼器、運(yùn)行速度、內(nèi)存使用量等等，非常適合用于研究.因?yàn)镾phinx-4的特性使伺服端可以在任何支持JAVA的作業(yè)系統(tǒng)上運(yùn)行，而客戶端可以是計(jì)算機(jī)、手機(jī)或其它可上網(wǎng)的裝置.透過(guò)網(wǎng)絡(luò)語(yǔ)音識(shí)別的功能若能加上其它的技術(shù)就能衍生新的應(yīng)用.如加入人工智能應(yīng)用在智能型手機(jī)上，就能展現(xiàn)出更完善的功能.而在語(yǔ)料收集這個(gè)區(qū)塊目前只是單純的把音文件儲(chǔ)存在伺服端，沒(méi)有執(zhí)行分類或是過(guò)濾的動(dòng)作.

4 結(jié)論

本論文提出新穎的單信道訊號(hào)源分離方法，我們結(jié)合圖形正規(guī)限制式與基于β距離之非負(fù)矩陣分解方法，藉由β的調(diào)控，使原本固定的距離選擇變?yōu)楦拥貜椥?，而圖形正規(guī)限制式使得在非負(fù)矩陣分解時(shí)，保留原來(lái)數(shù)據(jù)蘊(yùn)含的幾何結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果算法在環(huán)境數(shù)據(jù)處理、信號(hào)分析與復(fù)雜對(duì)象的識(shí)別方面都有著很好的應(yīng)用.在未來(lái)展望方面，除了進(jìn)行相關(guān)參數(shù)的優(yōu)化(如β等)，我們還想進(jìn)一步考慮數(shù)據(jù)具有群組的特性，在各群組內(nèi)保留幾何結(jié)構(gòu)，及考慮群組稀疏性.此外，由于訊號(hào)經(jīng)由屏蔽后容易產(chǎn)生失真的情形，我們也期望未來(lái)能透過(guò)后處理的方式，來(lái)強(qiáng)化經(jīng)屏蔽后的分離結(jié)果.

〔1〕M. Belkin and P. Niyogi, “Laplacian eigenmaps for dimensionalityreduction and data representation,” NeuralComputation, 15(6)：1373-1396, 2003.

〔2〕D. D. Lee and H. S. Seung, “Algorithms for nonnegativematrix factorization,” Advances in Neural InformationProcessing Systems, Cambridge, MA, USA：MIT Press, vol.13,2001.

〔3〕C. Févotte and J. Idier, “Algorithms for nonnegativematrix factorization with the beta -divergence,” NeuralComputation, 2011.

〔4〕D. Cai, X. He, J. Han, and T. S. Huang, “Graph regularizednonnegative matrix factorization for data representation,”Pattern Analysis and Machine Intelligence,IEEE Transactions on, vol. 33, no. 8, pp. 1548-1560,Aug. 2011.

〔5〕J. L. Roux, F. Weninger, and J. R. Hershey, “SparseNMF – half-baked or well done？ ,” Mitsubishi ElectricResearch Laboratories Technical Report, Mar. 2015.

O151.21；TP391

A

1673-260X（2017）10-0003-03

2017-08-10

中國(guó)創(chuàng)新教育協(xié)會(huì)課題：計(jì)算機(jī)信息系統(tǒng)中DSS和MIS關(guān)系研究，編號(hào)：2015-005Y