張學峰 陳 渤王鵬輝 劉宏偉
(西安電子科技大學雷達信號處理國家重點實驗室 西安 710071)
一種基于Dirichelt過程隱變量支撐向量機模型的目標識別方法
張學峰 陳 渤*王鵬輝 劉宏偉
(西安電子科技大學雷達信號處理國家重點實驗室 西安 710071)
在目標識別中,對于樣本數較多且分布復雜的數據,若將所有訓練樣本用來訓練一個單一的分類器,會增加分類器的訓練復雜度,且容易忽視樣本的內在結構,不利于分類。因此人們提出了混合專家系統(ME),即將訓練樣本集劃分為多個訓練樣本子集,并在每個子集上單獨訓練分類器。但是傳統ME系統需要人為確定專家個數,并且每個子集的學習獨立于后端的任務,如分類。該文提出一種基于Dirichlet過程(DP)混合隱變量(LV)支持向量機(SVM)模型(DPLVSVM)的目標識別算法,采用DP混合模型自動確定樣本聚類個數,同時每個聚類中使用線性隱變量SVM(LVSVM)進行分類。不同于以往算法,DPLVSVM 將聚類過程和分類器的訓練過程聯合優化,保證了各個子集中樣本的分布上的一致性和可分性,而且可以利用Gibbs采樣技術對模型參數進行簡便有效的估計。基于人工數據集、公共數據集以及雷達實測數據的實驗驗證了該文方法的有效性。
目標識別;混合專家系統;Dirichlet過程混合模型;隱變量支持向量機分類器
在目標識別中,通常會處理一些樣本數較多且分布復雜的數據集,如雷達高分辨距離像數據(High-Resolution Range Profile, HRRP)。由于HRRP包含了豐富的目標結構信息而且易于獲取和快速處理,其在雷達自動目標識別領域得到了廣泛的應用[1- 4]。由于目標具有姿態敏感性[1- 4],同一目標的HRRP具有多模分布特性,尤其是隨著目標庫的增大,訓練樣本個數也會隨之增加,數據分布也變得更加復雜。若使用所有樣本來訓練一個分類器會增加分類器的訓練復雜度,而且容易忽視樣本的內在結構,不利于分類。為了克服這些問題,人們提出了混合專家(Mixture of Experts, ME)模型[5- 6],這類模型將數據集劃分成若干子集然后在各個子集上分別訓練簡單的分類器來構造全局非線性的復雜分類器,從而避免了設計復雜分類器,可以大大簡化分類器的設計。
常見的混合專家模型采用K-means等傳統聚類方法劃分樣本子集,然后在每個子集內單獨訓練分類器,稱為有限混合專家模型(finite ME)模型。這類模型存在兩個缺點:一是模型選擇問題,即如何選擇樣本子集(聚類)個數;二是樣本集的聚類過程是無監督的,獨立于后端的分類器任務,因此較難保證每個聚類中數據的可分性,從而影響全局的分類性能。近年來,貝葉斯非參數模型方法如Dirichlet過程(Dirichlet Process, DP)混合模型已經成功用于聚類問題(確定聚類個數)和概率密度估計問題(確定多模分布的模態個數)[7,8]。不同于有限模型,它可以根據數據自動確定聚類個數[7],通常稱為無限聚類模型。基于此,文獻[9]提出DPMNL模型,該模型利用DP混合模型將多個廣義線性模型MNL (MultiNomial Logit)模型構建成為一個非線性分類器,取得了良好的分類效果。由于最大間隔分類器支撐向量機(Support Vector Machine, SVM)的良好的分類和推廣性能,文獻[10]提出無限支撐向量機(infinite SVM, iSVM)模型。iSVM在用DP混合模型對訓練樣本聚類的同時在每個聚類上訓練SVM分類器。兩種模型都利用DP混合模型對樣本集進行聚類,并且通過對聚類過程和分類器學習的聯合優化,將監督信息引入了聚類過程,增強了分類性能。本文方法與iSVM最為相關,然而iSVM模型中,DP混合模型為Bayes模型,而SVM中的損失函數沒有用概率模型進行描述[10,11],因此該算法的求解過程較為復雜,每次迭代都需要涉及原始的SVM優化,從而增加了模型求解難度。
為了解決以上問題,本文將隱變量SVM(Latent Variable SVM, LVSVM)引入DP混合模型,提出了DPLVSVM模型。LVSVM是由文獻[11]基于數據增廣技術提出的,該方法通過引入隱變量將SVM用概率模型進行表達。可見DPLVSVM是在概率框架下建立的,不同于iSVM,可以采用Bayes估計算法對模型參數進行簡單有效的估計[11,12]。本文模型是一種無限混合專家模型,利用DP混合模型來自動將數據劃分為多個具有簡單分布(如高斯分布)的數據子集且不需事先確定樣本聚類個數;同時在每個子集上訓練一個形式簡單的線性LVSVM分類器。本文模型通過對數據潛在結構的挖掘,將非線性分類問題分解為多個線性可分的子問題,從而實現對整個數據的非線性分類。基于仿真和實測數據的實驗結果表明本文模型可以有效提高目標識別性能并具有良好的拒判性能。
Dirichelet過程是1973年由文獻[13]首先提出的,它是一種應用于非參數Bayes模型中的隨機過程。若G服從DP,記為G~DP(G0,α),其中Dir(·)表示Dirichlet分布,G0稱為基礎分布,α為聚集參數。DP是一種基于分布的分布,G為對DP采樣得到的一個隨機分布。本文采用D P混合模型[7- 9,14- 16],根據樣本的分布對樣本進行聚類。DP混合模型中假設觀測樣本xn的分布參數為Θn,且Θn服從分布G。基于Stick-breaking[14,15]構造的DP混合模型為其中先驗分布參數;zn是xn的指示因子,當zn=c時,樣本xn屬于第c個聚類,即xn~p( x|Θc); Mult(·)表示多項分布。

由此可見DP混合模型中,分布G為數據分布參數Θc的先驗分布。整個參數空間被劃分為無限可數的離散點集合共享同一個分布參數Θc的樣本會具有相同分布,自動成為一個聚類。為了實現參數估計,本文采用文獻[8]中的截斷Stickbreaking構造形式,即給定一個較大的值C并令p(υC)=1,所以對于任何c>C有θc(υ)=0。可見,聚類個數不會超過C個。
3.1 隱變量SVM 分類器
n
n樣本屬于正類(+1),反之樣本屬于負類(-1)。為了最大化分類間隔同時降低分類錯誤率,SVM的參數可由求解式(2)所示的優化問題來確定[11]。

文獻[11]采用數據增廣技術引入隱變量λ得到SVM參數的偽后驗分布:

從而可以采用Bayes估計算法求解SVM的參數。由于引入隱變量,本文將其稱為隱變量SVM (LVSVM)。
式(3)給出了LVSVM參數的后驗表達形式,由此可將其與一些傳統的Bayes方法如DP混合模型進行有機結合,如Gibbs MedLDA模型[12]。文獻[11]給出了采用MCMC, VB等Bayes估計算法求解參數的步驟,從中可以看出,其算法復雜度為O( N),受樣本個數的限制大大降低。
3.2 DP混合隱變量SVM模型
本文提出的DP混合隱變量模型(DPLVSVM),將大間隔分類器LVSVM與DP混合模型相結合。該模型將數據聚類和分類器學習聯合優化,從而將監督信息引入到聚類過程中,在一定程度上保證了每個聚類的可分性。
DPLVSVM模型中假設樣本服從均值和協方差矩陣均未知的高斯分布,其參數記為考慮到數據特征間的相關特性,模型中基分布G0采用normal-Wishart分布其中μ0,W0,β0,v0為給定參數。根據DP混合模型式(1)與LVSVM式(3),本文構建了DPLVSVM模型的層次化結構式(4),從而建立了各參數的相關性。

其中,wc表示第c個聚類中分類器的系數,{λn}c表示屬于第c個聚類樣本的增廣隱變量。
由模型式(4),本文可以推導出數據的概率密度函數式(5)和所有參數的聯合后驗分布式(6)。其中,數據集數據集中樣本的聚類標


3.3 模型參數估計
DPLVSVM模型采用LVSVM分類器,使得模型統一在概率框架下,從而可以通過VB或MCMC 等Bayes估計算法進行有效的參數估計。基于Gibbs采樣的MCMC算法則具有很強的可行性,一般不需要作近似處理,得到的結果相對更佳[8,14]。因此本文采用Gibbs采樣技術進行參數估計。在Gibbs采樣的每次迭代中,所有參數是從其條件后驗分布的采樣中獲取的。由參數的聯合后驗分布式(6)可以推導出所有參數的后驗分布。

聚類分布參數{μc,Σc}條件后驗分布為其中表示屬于第c個聚類的樣本個數別表示這些樣本的均值和協方差的最大似然估計值。
樣本聚類標記zn條件后驗分布為

其中Mult(·)表示多項分布。由此可以看出樣本的聚類標記不僅與每個聚類的分布有關而且與監督信息有關。
SVM系數wc條件后驗分布為

隱變量λn及Stick-breaking參數ν的條件后驗分布可分別由文獻[11]和文獻[8]得到,不再贅述。根據Gibbs采樣技術,給定所有參數初始值后,對參數的條件后驗分布進行循環采樣,得到DPLVSVM模型參數的估計值。
另外,DPLVSVM模型中對樣本的分布參數進行了估計,由此可以采用混合概率模型對數據進行描述。式(5)給出了數據的概率密度函數,通過比較樣本的概率密度函數值與拒判門限,可以判斷樣本是否為庫外樣本[18]。
圖1給出了整個識別系統的流程,可以看出整個系統包括兩部分:訓練階段(實線框內)和測試階段(虛線框內)。其中訓練階段的任務是對DPLVSVM模型進行參數估計,測試階段的任務是根據訓練得到參數計算樣本所屬聚類,然后在該聚類中進行拒判和識別任務。訓練階段和測試階段的步驟為(略去了特征提取步驟):
訓練階段:
步驟1 初始化所有待估計參數,以及預熱階段迭代次數I且令i=1;
步驟2 根據參數的條件后驗分布,采樣所有模型參數;
步驟 3 判斷終止條件:若i≤I,則令i=i+1并跳至步驟2,否則終止預熱階段繼續步驟4;
步驟4 繼續對模型參數進行循環采樣,從中抽取并存儲T0次采樣作為對參數的估計。
測試階段:
步驟 1 對于測試樣本x先判斷其所屬的聚類:在第t次采樣時,其聚類標記zt條件后驗分布為

由此可以采樣得到樣本所屬聚類的標號;
步驟2 在所有T0次采樣中,根據式(5)計算樣本的概率密度,然后與拒判門限比較[18,19]:若目標屬于庫內則用分類器進行分類,否則認為樣本屬于庫外目標并拒判之;
步驟3 當樣本屬于庫內樣本時通過式(11)判斷樣本所屬類別,計算

本節分別在人工數據集、Benchmark數據集以及實測雷達HRRP數據上進行實驗,來驗證本文方法的有效性。實驗中將本文DPLVSVM模型與4種分類器的識別性能進行了比較:線性SVM(LSVM); K-means+線性SVM(Km+SVM); DP混合模型聚類+LSVM(DP+SVM)以及DPMNL[9]。Km+SVM 與DP+SVM 分別采用K-means及DP混合模型對樣本聚類,然后每個聚類分別訓練一個LSVM,兩個過程相互獨立。實驗中在處理多類問題時采用一對多策略[17]。對所有試驗本文均采用常規的超參數設置[20]。DPLVSVM模型參數設置為:LVSVM的調和參數γ=1; DP混合模型參數中,分布參數breaking尺度參數α=0.1。DP+SVM模型中采用與之相同的DP混合模型參數。DPMNL模型參數如文獻[9]。本文實驗環境為:Intel Pentium CPU G630,主頻2.70 GHz,內存4 G, Matlab 版本為R2013a。
5.1 人工數據集
為了體現本文提出的DPLVSVM模型的監督聚類以及數據描述的特性,首先在人工數據集ToyData上進行了無監督聚類(DP+SVM)與有監督聚類(DPLVSVM)實驗對比。圖2(a)給出了ToyData的分布,該數據維數為2,類別數為2。從圖上可以看出,數據呈現多模分布,單一的線性分類器無法將各類數據有效地分開。

圖1 基于dpLVSVM模型的目標識別算法流程圖
圖2(b)給出了DP+SVM模型無監督聚類的一次采樣結果,圖示中不同記號后的數字‘i-j’表示該記號對應的樣本屬于第i個聚類中的第j類目標。可以看出數據被劃分為4個聚類,其中除第2個聚類外,其余3個聚類中的樣本均線性不可分。圖2(c)給出了DPLVSVM模型有監督聚類的一次采樣結果,可以看出數據被劃分為7個聚類,每個聚類中的樣本都具有良好的可分性。由此可見,DPLVSVM能夠保證每個聚類中的樣本具有良好的可分性,從而可以提高整體的識別性能。表1中第1行給出了對不同方法ToyData的識別結果。
DP混合模型可以估計出每個聚類的分布參數,由此可以構造出混合高斯分布來描述數據的整體分布。通過設定某個概率密度值作為拒判門限可以實現對庫外目標的拒判[18]。圖2(d)給出了兩種方法在對測試樣本檢測率為95%時得到的拒判邊界,其中拒判邊界1, 2分別對應DP+SVM和DPLVSVM。可以看出,采用DP混合模型能夠對數據進行很好的描述,能夠實現對庫外目標的拒判。本文在第5.3節實測HRRP數據上進行了拒判實驗及分析。
5.2 Benchmark數據集
本節實驗采用的數據集為從UCI Machine Learning Repository中獲取的Benchmark數據集,該數據集包含了多種不同特征維數、不同規模的數據。本文從中選取具有多模分布或者樣本數較多的Banana, German, Image, Twonorm, Waveform 5個數據集。實驗中采用原始維度數據,共重復20次,每次試驗中隨機地劃分訓練樣本集和測試樣本集且樣本個數保持不變。表1為5種不同方法分類結果。

圖2 人工數據集實驗結果

表1 Bechmark數據介紹及識別結果
從表1中的結果可以看出,相比于單個線性分類器(LSVM)以及傳統的有限混合專家模型(Km+ SVM),無限混合專家模型取得了更好的識別性能。DP+SVM模型雖然采用了DP混合模型對訓練樣本進行聚類,但是聚類過程是無監督的,較難保證每個聚類的可分性,因此其識別效果要略低于DPMNL和本文提出的DPLVSVM。比較DPLVSVM 和DPMNL的結果,可以看出DPLVSVM可以得到與DPMNL相當甚至比其更好的識別結果。
5.3 實測雷達HRRP數據
前面實驗中數據較為簡單,為了進一步評估所提模型的性能,本節實驗采用維數較高且分布相對復雜的實測雷達HRRP數據。該數據為某院的C波段雷達實測飛機的1維HRRP數據[1- 4,19]。其中雷達載頻為5.2 GHz,信號帶寬為400 MHz。數據中包含3類飛機目標(雅-42、獎狀、安-26),三者航跡在地面上的投影如圖3所示。從圖中可以看出,3類飛機的HRRP數據均被劃分成了若干段。為了檢驗本文方法的推廣性能,分別選取不同的數據段作為訓練和測試數據,其中選擇“雅-42”的第2, 5段,“獎狀”的第6, 7段以及“安-26”的第5, 6段共600個樣本作為訓練數據集,選擇其余段中2400個樣本作為測試數據集。
雷達HRRP數據具有幅度敏感性和平移敏感性[1- 4,19],這些特性對于識別是不利的。本文采用幅度2范數歸一的方法只保留信號形狀信息,消除幅度敏感性。為了消除平移敏感性,本文提取了HRRP的功率譜特征[1- 3]。為了提高計算效率,文中采用PCA算法對數據進行降維,并比較了不同維數下各個分類器的識別性能。
圖4給出了不同方法在不同特征維數下的識別結果。從圖中可以看出,帶有監督信息的無限混合專家模型DPMNL和DPLVSVM相比于LSVM識別性能大大提高。未考慮監督信息兩個模型:Km+ SVM識別性能低于LSVM; DP+SVM的識別性能相對于LSVM在大部分特征維度下有所提高,但在20維時下降較多。實驗結果進一步證明了將監督信息引入聚類過程,可以大大提高整體的識別性能;而無監督情況下較難保證全局識別性能。DPLVSVM模型在大部分特征維度下都取得了最好的識別性能,特別是當特征維數為10時平均正確識別率達到了最高的0.930。比較DPLVSVM與DPMNL可以看出,前者取得了更好的識別效果。其原因一是DPLVSVM模型假設樣本各維相關,而DPMNL模型中為了降低模型參數估計時對樣本數量的需求,假設樣本的各維之間相互獨立,從而導致其模型不夠準確;二是DPLVSVM模型采用的最大間隔分類器相比于DPMNL采用的MNL模型有更好的泛化能力。圖4同時表明維數對識別率產生一定的影響:當特征維數較小時由于損失了較多的信息,識別率較低;特征維數較大時,特征中會包含一些的冗余信息,對識別有一定干擾作用,識別率有所降低。
當觀測目標不屬于模板庫內的任一目標類別時,需要能夠對該庫外目標進行拒判。分類器的拒判性能則通常用接收機工作特性(Receiver Operating Characteristic, ROC)曲線來衡量[18,19]。ROC曲線下的面積AUC(Area Under an ROC Curve)越大,說明分類器的拒判性能越好。文獻[18]給出了基于聚類算法(K-means)以及基于數據分布的拒判方法。根據文獻[18],Km+SVM, DP+SVM, DPMNL和DPLVSVM均可以實現對庫外樣本拒判。此外,實驗中同時引入了識別領域常用的支撐向量域描述(Support Vector Domain Description, SVDD)算法[18]。為了驗證模型的拒判性能,選取了4類其它飛機目標作為庫外目標,每個目標等間隔抽取200個樣本(共800個樣本)作為庫外目標樣本。經過實驗以上5種拒判方法所得到的ROC曲線如圖5所示,圖5中同時標注了各個方法的AUC值。從中可以看出采用DP混合模型的分類模型(DP+ SVM, DPMNL以及DPLVSVM)均可以對數據的分布進行較好的描述,具有較好的拒判效果。綜合之前識別和拒判結果可見,DPLVSVM模型既能提高分類性能又有良好的拒判性能。
5.4 模型時間復雜度對比

圖3 3類飛機的航跡在地平面上投影圖

圖4 不同特征維數下HRRP識別結果

圖5 不同方法的ROC曲線及AUC值

表2 5種不同分類方法的所消耗的CPU時間(s)
本節比較了不同分類方法的時間復雜度。表2中列出了5種分類方法分別在Bechmark數據集以及HRRP數據集(特征維度為10)上的訓練時間和對所有測試樣本的測試時間。在訓練階段中,Km+ SVM需要采用交叉驗證的方法選擇聚類個數,且需要多次聚類避免初值敏感性,消耗了較多時間,然而此操作可以采用并行處理結構,因此只考慮單次訓練的時間。同樣,Km+SVM模型在測試階段也可以進行相應的并行處理。另外,在DP+SVM, DPMNL與DPLVSVM中,測試樣本根據存儲的T0組模型參數分別進行分類然后根據式(11)進行判決,也可以做并行處理(見圖1)。
采用DP混合模型的3個模型,DP+SVM, DPMNL與DPLVSVM,由于要采用Gibbs采樣算法迭代求解模型參數,所以較前兩種方法在訓練和測試上消耗了更多的時間,特別是在訓練階段。由于識別問題中,訓練階段往往是離線操作的,對訓練時間要求不高。測試階段,采用并行處理可以獲得可接受的時間復雜度。
為了處理目標識別算法中的大規模、多模分布數據,本文提出了DPLVSVM模型。不同于傳統混合專家模型,該模型能夠自動確定聚類的個數,并同時在各個聚類中訓練一個大間隔的概率模型分類器(LVSVM)用于該聚類中樣本的分類,從而將監督信息引入聚類過程。DPLVSVM模型將DP混合模型聚類以及LVSVM分類器統一在概率框架下聯合優化,不僅在一定程度上保證了各個聚類中的數據的可分性和分布上的一致性,而且通過Gibbs采樣技術可以對模型的參數進行簡單且有效的估計。通過在人工數據集、公共數據集以及雷達實測數據上的實驗表明DPLVSVM模型提高了識別性能而且有較好的拒判性能。
[1] Du L, Liu H W, Wang P H, et al.. Noise robust radar HRRP target recognition based on multitask factor analysis with small training data size[J]. IEEE Transactions on Signal Processing, 2012, 60(7): 3546-3559.
[2] 潘勉, 王鵬輝, 杜蘭, 等. 基于TSB-HMM模型的雷達高分辨距離像目標識別算法[J]. 電子與信息學報, 2013, 35(7): 1547-1554. Pan Mian, Wang Peng-hui, Du Lan, et al.. Radar HRRP target recognition based on truncated stick-breaking hidden Markov model[J]. Journal of Electronics & Information Technology, 2013, 35(7): 1547-1554.
[3] 張玉璽, 王曉丹, 姚旭, 等. 基于Bagging-SVM動態集成的多極化HRRP識別[J]. 系統工程與電子技術, 2012, 34(7): 1366-1371. Zhang Yu-xi, Wang Xiao-dan, Yao Xu, et al.. HRRPrecognition for polarization radar based on Bagging-SVM dynamic ensemble[J]. Systems Engineering and Electronics, 2012, 34(7): 1366-1371.
[4] 崔姍姍, 周建江, 朱劼昊. 基于半參數化SLC的雷達目標識別[J]. 雷達學報, 2012, 1(4): 414-419. Cui Shan-shan, Zhou Jian-jiang, and Zhu Jie-hao. Radar target recognition based on semiparametric density estimation of SLC[J]. Journal of Radars, 2012, 1(4): 414-419. [5] Collober R, Bengio S, and Bengio Y. A parallel mixture of SVMs for very large scale problems[J]. Neural Computation, 2002, 14(5): 1105-1114.
[6] Fu Z, Robles-Kelly A, and Zhou J. Mixing linear SVMs for nonlinear classification[J]. IEEE Transactions on Neural Networks, 2010, 21(12): 1963-1975.
[7] Anoniak C E. Mixtures of Dirichlet process with applications to Bayesian nonparametric problems[J]. Annals of Statistics, 1974, 2(6): 1152-1174.
[8] Blei D M and Jordan M I. Variational inference for Dirichlet process mixtures[J]. Bayesian Analysis, 2006, 1(1): 121-144. [9] Shahbaba B and Neal R. Nonlinear models using Dirichlet process mixtures[J]. The Journal of Machine Learning Research, 2009, 10(4): 1829-1850.
[10] Zhu J, Chen N, and Xing E P. Infinite SVM: a Dirichlet process mixture of large-margin kernel machines[C]. The 28th International Conference on Machine Learning (ICML-11), Belevue, WA, USA, 2011: 617-624.
[11] Polson N G and Scott S L. Data augmentation for support vector machines[J]. Bayesian Analysis, 2011, 6(1): 1-24.
[12] Zhu J, Chen N, Perkins H, et al.. Gibbs max-margin topic models with fast sampling algorithms[C]. The 30th International Conference on Machine Learning (ICML-13), Atlanta, USA, 2013: 124-132.
[13] Ferguson T S. A Bayesian analysis of some nonparametric problems[J]. The Annals of Statistics, 1973, 1(2): 209-230.
[14] 周建英, 王躍飛, 曾大軍. 分層Dirichlet過程及其應用綜述[J].自動化學報, 2011, 37(4): 389-407. Zhou Jian-ying, Wang Yue-fei, and Zeng Da-jun. Hierarchical Dirichlet process and their applications: a survey[J]. Acta Automatica Sinica, 2011, 37(4): 389-407.
[15] Sethuraman J. A constructive definition of Dirichlet priors[J]. Statistica Siniac, 1994, 4(2): 639-650.
[16] Fan W and Bouguila N. Online learning of a Dirichlet process mixture of Beta-Liouville distributions via variational inference[J]. IEEE Transactions on Neural Networks and Learning System, 2013, 24(11): 1850-1862.
[17] Jordan M, Kleinberg J, and Scholkopf B. Pattern Recognition and Machine Learning[M]. New York: Springer Scinence+ Business Media, 2008: 291-359.
[18] Tax D M J. One-class classification[D]. [Ph.D. dissertation], Delft University of Technology, The Netherland, 2001.
[19] 王鵬輝, 劉宏偉, 杜蘭, 等. 基于線性動態模型的雷達高分辨距離像小樣本目標識別方法[J]. 電子與信息學報, 2012, 34(2): 305-311. Wang Peng-hui, Liu Hong-wei, Du Lan, et al.. Linear dynamic model based radar HRRP target recognition under small training set conditions[J]. Journal of Electronics & Information Technology, 2012, 34(2): 305-311.
[20] Chen B, Polatkan G, Sapiro G, et al.. Deep learning with hierarchical convolutional factor analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1887-1901.
張學峰: 男,1987年生,博士生,研究方向為雷達自動目標識別.
陳 渤: 男,1979年生,博士,教授,研究方向為雷達目標識別、統計信號處理、統計機器學習、深度學習網以及大規模數據處理等.
王鵬輝: 男,1984年生,博士,講師,研究方向為雷達自動目標識別以及統計機器學習理論等.
劉宏偉: 男,1971年生,博士,教授,博士生導師,研究方向為雷達信號處理、雷達自動目標識別、認知雷達、協同探測等.
A Target Recognition Method Based on Dirichlet Process Latent Variable Support Vector Machine Model
Zhang Xue-feng Chen Bo Wang Peng-hui Liu Hong-wei
(National Laboratory of Radar Signal Processing, Xidian University, Xi’an 710071, China)
In target recognition community, when dealing with large-scale and complex distributed data, it is very expensive to train a classifier using all input data and the underlying structure of the data is ignored. To overcome these limitations, the Mixture-of-Experts (ME) system is proposed, which partitions the input data into several clusters and learns a classifier for each cluster. However, in the traditional ME system, the number of experts are fixed in advance and clustering procedure and the classification tasks are de-coupled. To deal with these problems, a Dirichlet Process mixture of Latent Variable Support Vector Machine (DPLVSVM) is proposed. In DPLVSVM model, the number of clusters is chosen automatically by DP mixture model, and the linear Latent Variable SVMs (LVSVM) are employed in each cluster. Different from previous algorithms, in DPLVSVM, the clustering procedure and LVSVM are jointly learned to gain infinite discriminative clusters. And the parameters can be inferred simply and effectively via Gibbs sampling technique. Based on the experimental data obtained from the synthesized dataset, Benchmark datasets and measured radar echo data, the effectiveness of proposed method is validated.
Target recognition; Mixture-of-Experts (ME) system; Dirichlet Process (DP) mixture model; Latent Variable Support Vector Machine (LVSVM) classifier
TN957.51
A
1009-5896(2015)01-0029-08
10.11999/JEIT140129
2014-01-20收到,2014-05-30改回
國家自然科學基金(61372132, 61271024, 61322103),新世紀優秀人才支持計劃(NCET-13-0945),全國優秀博士學位論文作者專項資金(FANEDD-201156)和中央高校基本科研業務費專項資金資助課題
*通信作者:陳渤 bchen@mail.xidian.edu.cn