用于水下目標(biāo)識(shí)別的無(wú)監(jiān)督特征選擇算法

楊宏暉，李江濤，申 昇，姚曉輝

(西北工業(yè)大學(xué)航海學(xué)院，陜西西安，710072)

用于水下目標(biāo)識(shí)別的無(wú)監(jiān)督特征選擇算法

楊宏暉，李江濤，申 昇，姚曉輝

(西北工業(yè)大學(xué)航海學(xué)院，陜西西安，710072)

隨著社會(huì)發(fā)展，海洋空間對(duì)人類變得愈發(fā)重要，對(duì)新的水下目標(biāo)自動(dòng)識(shí)別系統(tǒng)的需求也愈發(fā)迫切。在水下目標(biāo)自動(dòng)識(shí)別系統(tǒng)的構(gòu)建過(guò)程中，提取到的特征含有很多冗余特征、不相關(guān)特征和噪聲特征，影響系統(tǒng)工作效率，降低了分類識(shí)別正確率。為此，本文提出一種新的用于水下目標(biāo)識(shí)別的特征選擇算法——基于圖學(xué)習(xí)的無(wú)監(jiān)督特征選擇算法（Unsupervised Feature Selection Algorithm Based on Graph Learning，UFSGL）。該算法通過(guò)同時(shí)進(jìn)行轉(zhuǎn)換矩陣優(yōu)化和圖學(xué)習(xí)來(lái)優(yōu)化算法框架，并用正則化方法優(yōu)化加權(quán)圖中邊的光滑度，最后對(duì)轉(zhuǎn)換矩陣進(jìn)行稀疏化從而進(jìn)行特征選擇。使用UCI數(shù)據(jù)庫(kù)的sonar數(shù)據(jù)集對(duì)算法性能進(jìn)行驗(yàn)證，結(jié)果證明，UFSGL算法能夠有效減少特征子集中的特征個(gè)數(shù)，并在一定程度上提高分類識(shí)別正確率。

無(wú)監(jiān)督；特征選擇；圖學(xué)習(xí)；水下目標(biāo)識(shí)別

0 引 言

在水下目標(biāo)識(shí)別過(guò)程中，為了得到更好的分類識(shí)別效果，研究人員采用不同方法提取水下目標(biāo)信號(hào)的多域特征。特征數(shù)目的增加導(dǎo)致處理這些數(shù)據(jù)所需的時(shí)間和空間急劇增加，分類器的設(shè)計(jì)更加困難，影響了自動(dòng)識(shí)別系統(tǒng)的工作效率。且提取到的特征中多含有冗余特征、不相關(guān)特征和噪聲特征，降低了分類識(shí)別正確率。因此，對(duì)數(shù)據(jù)進(jìn)行特征選擇以選取優(yōu)化特征子集，對(duì)水下目標(biāo)識(shí)別系統(tǒng)至關(guān)重要。

根據(jù)訓(xùn)練樣本集中是否使用了類標(biāo)，可將特征選擇方法分為有監(jiān)督特征選擇方法[1–3]和無(wú)監(jiān)督特征選擇方法[4–6]。有監(jiān)督特征選擇方法通過(guò)類標(biāo)的指導(dǎo)來(lái)評(píng)價(jià)特征的重要性。無(wú)監(jiān)督特征選擇方法由于缺少類標(biāo)信息，則需要挖掘數(shù)據(jù)內(nèi)在的結(jié)構(gòu)信息，然后評(píng)價(jià)特征。在水下目標(biāo)識(shí)別過(guò)程中，水聲目標(biāo)樣本的獲取已經(jīng)比較容易，但有類標(biāo)樣本的獲取比較困難且成本較高，所獲取的樣本多為無(wú)類標(biāo)樣本，因此無(wú)監(jiān)督特征選擇對(duì)水聲目標(biāo)的識(shí)別有重要意義。

近來(lái)提出的特征選擇算法中，基于相似度保持的特征選擇框架具有良好的性能。典型方法包括拉普拉斯評(píng)分法[7]、譜特征選擇[8]、多簇特征選擇[9]、嵌入式學(xué)習(xí)和譜回歸聯(lián)合學(xué)習(xí)[10]。然而，這些方法將流形學(xué)習(xí)和譜回歸作為獨(dú)立的步驟進(jìn)行學(xué)習(xí)，預(yù)先構(gòu)建的圖可能無(wú)法滿足后續(xù)的特征選擇任務(wù)。

因此，本文中提出一種新的特征選擇算法—基于圖學(xué)習(xí)的無(wú)監(jiān)督特征選擇方法（UFSGL），該方法將圖的構(gòu)建整合到數(shù)據(jù)轉(zhuǎn)換中，得到了圖的構(gòu)建和轉(zhuǎn)換矩陣優(yōu)化的聯(lián)合框架，并采用范數(shù)對(duì)轉(zhuǎn)換矩陣進(jìn)行稀疏化。采用 UCI（University of California Irvine,UCI）數(shù)據(jù)庫(kù)中的sonar數(shù)據(jù)集對(duì)UFSGL算法的性能進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果證明了本算法的有效性。

1 相關(guān)術(shù)語(yǔ)

1.1 范數(shù)

1.2 局部保留投影

局部保留投影（Locality Preserving Pro jection，LPP）[11]通過(guò)數(shù)據(jù)的近鄰信息構(gòu)建近鄰圖。利用圖的拉普拉斯譜，通過(guò)最優(yōu)地保持?jǐn)?shù)據(jù)的局部近鄰信息，計(jì)算一種映射，將數(shù)據(jù)投影到低維子空間。LPP通過(guò)優(yōu)化以下目標(biāo)函數(shù)得到線性映射W。

LPP的基本思想是，尋找轉(zhuǎn)換矩陣W，將高維數(shù)據(jù)X轉(zhuǎn)換到低維矩陣XW，以用于最大化地保持X的局部結(jié)構(gòu)的連接，最小化式（2）以確保當(dāng)xi和xj相鄰時(shí)，和也相鄰。

2 自適應(yīng)圖學(xué)習(xí)無(wú)監(jiān)督特征選擇方法

最近的研究結(jié)果表明，保留數(shù)據(jù)的局部結(jié)構(gòu)對(duì)無(wú)監(jiān)督特征選擇有更重要的作用，而基于圖的學(xué)習(xí)方法能夠有效地保留數(shù)據(jù)的流形結(jié)構(gòu)。因此構(gòu)建一個(gè)有效的圖對(duì)后續(xù)學(xué)習(xí)算法至關(guān)重要。通常采用KNN（K NearestNeighbors）法來(lái)構(gòu)建數(shù)據(jù)的近鄰圖。

2.1 圖的構(gòu)建

式中：δ為參數(shù)；若xi和xj不互為k近鄰，則。值越大，說(shuō)明樣本xi和xj越接近，包含相同的信息越多；也在一定程度上反映了頂點(diǎn)vi和頂點(diǎn)vj的相似度。因此，權(quán)值矩陣也稱為鄰接矩陣。

2.2 目標(biāo)函數(shù)

現(xiàn)實(shí)應(yīng)用中，很難估計(jì)得到合適的近鄰大小，且不同應(yīng)用環(huán)境下的最佳近鄰大小也不相同。受到LPP算法的啟發(fā)，提出一種同時(shí)進(jìn)行圖的構(gòu)建和轉(zhuǎn)換矩陣優(yōu)化的學(xué)習(xí)框架。此外，為了更好地進(jìn)行特征選擇，采用來(lái)范數(shù)對(duì)轉(zhuǎn)換矩陣W進(jìn)行行稀疏化。因此，學(xué)習(xí)算法可以表達(dá)為如下優(yōu)化問(wèn)題：

算法目標(biāo)函數(shù)的第1項(xiàng)與LPP函數(shù)式（2）的相似，主要用于保持?jǐn)?shù)據(jù)的局部結(jié)構(gòu)，并得到轉(zhuǎn)換矩陣；第2項(xiàng)采用正則化方法優(yōu)化近鄰圖中邊的光滑度；第3項(xiàng)對(duì)轉(zhuǎn)換矩陣求范數(shù)進(jìn)行行稀疏化，轉(zhuǎn)換矩陣的第i行的值為數(shù)據(jù)集X中的第i個(gè)特征的重要性指數(shù)，在稀疏化過(guò)程中，冗余特征和噪聲特征的重要性指數(shù)逐漸降低并趨于0，重要特征的重要性指數(shù)逐漸上升，通過(guò)對(duì)轉(zhuǎn)換矩陣的每一行求范數(shù)，然后按降序排列，選出評(píng)分最大的多個(gè)特征作為最優(yōu)特征子集。

3 目標(biāo)函數(shù)的優(yōu)化

可以將目標(biāo)函數(shù)重寫為

首先，固定S，更新W和U，目標(biāo)函數(shù)等價(jià)于

式（8）是典型(的廣義特征值)分解問(wèn)題。當(dāng)U固定時(shí)，最優(yōu)解是(的)譜特征分解，即，W的最優(yōu)解應(yīng)為的最小的m個(gè)特征值所對(duì)應(yīng)的特征向量，m取值為樣本類別數(shù)。然后，固定W，通過(guò)式（6）更新U。

為了更好地學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)，對(duì)相似度矩陣S進(jìn)行更新學(xué)習(xí)，使其在當(dāng)前狀態(tài)下對(duì)算法保持最優(yōu)。采用拉格朗日乘數(shù)法對(duì)S進(jìn)行優(yōu)化。設(shè)是對(duì)應(yīng)于約束和的拉格朗日乘子，可以作式（5）的拉格朗日函數(shù)如下：

對(duì)其求偏導(dǎo)可得

由KKT（K arush-K uhn-Tucke r）條件可得，，得到

為了得到式（5）的最優(yōu)解，采用循環(huán)交錯(cuò)優(yōu)化方法。在每次循)環(huán)中，轉(zhuǎn)換矩陣W通過(guò)對(duì)特征分解進(jìn)行更新。得到新的W后，采用式（6）更新U。最后，采用式（12）更新相似度矩陣S，然后計(jì)算得到新的拉普拉斯矩陣L。

表1 UFSGL算法流程Tab.1 The processing flow of UFSGL

4 實(shí)驗(yàn)

為了驗(yàn)證所提算法的有效性，利用UCI數(shù)據(jù)庫(kù)的sonar數(shù)據(jù)集對(duì)算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。

4.1 數(shù)據(jù)介紹

本文實(shí)驗(yàn)中所用的sonar數(shù)據(jù)主要用于識(shí)別聲吶信號(hào)反射金屬圓柱和粗糙的圓柱形巖石。數(shù)據(jù)集包含138個(gè)樣本，通過(guò)在不同的角度和不同的條件下聲吶信號(hào)反射金屬圓柱殼獲得。聲吶信號(hào)是一種頻率已調(diào)制過(guò)的唧唧聲，其頻率不斷升高。該數(shù)據(jù)包含了由不同條件下生成的圓柱殼和巖石反射信號(hào)。每個(gè)樣本都包含了60個(gè)從0.0到1.0的特征值。每個(gè)值代表了一個(gè)特定頻帶范圍內(nèi)的能量，并且整合了一定的時(shí)間段。高頻信號(hào)在時(shí)間上出現(xiàn)的比較晚。因?yàn)檫@些頻率在傳輸時(shí)會(huì)有延遲。如果研究的對(duì)象是巖石，那么與每一段聲音錄制相關(guān)聯(lián)的類標(biāo)都包含了字母“R”，如果是礦山（金屬圓柱殼）則是“M”。數(shù)據(jù)說(shuō)明如表2所示。

表2 數(shù)據(jù)集說(shuō)明Tab.2 Data specification

4.2 參數(shù)設(shè)置

4.3 SVM分類實(shí)驗(yàn)及結(jié)果

由圖2可以看出，隨著特征數(shù)目的增加，SVM分類識(shí)別正確率逐漸上升，并在特征數(shù)目達(dá)到一定個(gè)數(shù)后，趨于平穩(wěn)。特征選擇后的分類識(shí)別正確率相較于特征選擇前有很大提升，特征選擇后只需13個(gè)特征就能達(dá)到特征選擇前60個(gè)特征所擁有的分類識(shí)別正確率。這說(shuō)明UFSGL算法能夠有效地排除冗余特征和噪聲特征，選出對(duì)分類識(shí)別任務(wù)最優(yōu)的特征子集，降低了運(yùn)算量，提高了分類識(shí)別系統(tǒng)的運(yùn)行效率，同時(shí)，分類識(shí)別正確率也有一定提升。

5 結(jié) 語(yǔ)

針對(duì)水下目標(biāo)識(shí)別過(guò)程中，由于數(shù)據(jù)集中存在冗余特征和噪聲特征，導(dǎo)致識(shí)別任務(wù)效率降低、性能不佳的問(wèn)題，提出了基于圖學(xué)習(xí)的無(wú)監(jiān)督特征選擇方法。該方法利用局部保留投影得到將數(shù)據(jù)從高維轉(zhuǎn)換到低維的轉(zhuǎn)換矩陣，利用正則化方法優(yōu)化近鄰圖中邊的光滑度，最后采用稀疏化方法進(jìn)行特征選擇。并采用sonar數(shù)據(jù)對(duì)算法性能進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，該方法能有效地去除冗余特征和噪聲特征，選出最優(yōu)特征子集，并提高分類識(shí)別正確率。

[1]ROBNIK?IKONJA M,KONONENKO I.Theoretical and empirical analysis of reliefF and RReliefF[J].M achine Learning,2003,53(1-2):23–69.

[2]DUDA RO,HART PE,STORK D G.Pattern classification.2nd ed[J].Pattern Analysis&App lications,2001,1(1):142–143.

[3]PENG H,LONG F,DING C.Feature selection based on m utual in fo rm ation criteria o f m ax-dependency,m axrelevance,and m in-redundancy[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2005,27(8):1226.

[4]M ITRA P,MURTHY C A,PAL SK.Unsupervised feature selection using feature sim ilarity[J].Pattern Analysis&M achine Intelligence IEEE Transactions on,2002,24(3):301–312.

[5]DY JG,BRODLEY C E.Feature selection for unsupervised learning[J].Journal of Machine Learning Research,2004,5(4):845–889.

[6]申昇,楊宏暉,袁帥.用于水聲目標(biāo)識(shí)別的互信息無(wú)監(jiān)督特征選擇[J].聲學(xué)技術(shù),2013,32(6):30–33.SHEN Sheng,YANG Hong-hui,YUAN Shuai.Unsupervised feature selection approach based onmutual information for underwater acoustic target classification[J].Technical Acoustics,2013,32(6):30–33.

[7]HE X,CA ID,N IYOGIP.Laplacian score for feature selection[C]//International Conference on Neural Information Processing Systems.MITPress,2005:507–514.

[8]ZHAO Z,LIU H.Spectral feature selection for supervised and unsupervised learning[C]//Machine Learning,Proceedings of the Twenty-Fourth International Conference.DBLP,2007:1151–1157.

[9]CAID,ZHANG C,HEX.Unsupervised feature selection for multi-cluster data[C]//ACM SIGKDD International Conference on Know ledge Discovery and Data M ining.ACM,2010:333–342.

[10]HOU C,N IE F,LIX,et al.Joint embedding learning and sparse regression:a framework for unsupervised feature selection.[J].IEEE Transactionson Cybernetics,2014,44(6):793.

[11]X NIYOGI,“Locality preserving projections,”in Neural information processing systems.M IT,2004.

Unsupervised feature selection algorithm for underwater target recognition

YANG Hong-hui,LIJiang-tao,SHEN Sheng,YAO Xiao-hui
(School of Marine Science and Technology,Northwestern Polytechnical University,Xi'an,710072,China)

With the development of society,marine space be comes more and more important to human beings,and the demand for new automatic identification system for underwater targets is becoming more and more urgent.In the construction of the underwater target automatic identification system,the extracted features contain many redundant,irrelevant and noise features,which affect the efficiency of the system and reduce the accuracy of classification and recognition.To this end,we proposed a new feature selection algorithm for underwater target recognition-Unsupervised Feature Selection Algorithm Based on Graph Learning(UFSGL).The algorithm framework is optimized the transformation matrix and graph learning at the same time,and use the regularization method to optimize the smoothness of the weighted edge.Using the sonar dataset of UCI database to verify the performance of the algorithm,the results show that UFSGL algorithm can effectively reduce the number of features in feature subsets and improve the accuracy of classification recognition to a certain extent.

unsupervised；feature selection；graph learning；underwater target recognition

TP391.4

A

1672–7649(2017)12–0091–04

10.3404/j.issn.1672–7649.2017.12.019

2017–06–30；

2017–09–01

中國(guó)船舶系統(tǒng)工程研究院水聲對(duì)抗國(guó)防科技重點(diǎn)實(shí)驗(yàn)室基金資助項(xiàng)目

楊宏暉(1971–)，女，副教授，主要從事聲信號(hào)處理及模式識(shí)別的相關(guān)研究。