無限最大間隔線性判別投影模型

文 偉 曹雪菲 陳 渤 韓 勛 張學峰 王鵬輝 劉宏偉

?

無限最大間隔線性判別投影模型

文 偉①②曹雪菲③陳 渤*①②韓 勛①張學峰①②王鵬輝①劉宏偉①②

①(西安電子科技大學雷達信號處理國家重點實驗室 西安 710071)②(西安電子科技大學信息感知技術協同創新中心 西安 710071)③(西安電子科技大學網絡與信息安全學院 西安 710071)

針對具有多模分布結構的高維數據的分類問題，該文提出一種無限最大間隔線性判別投影(iMMLDP)模型。與現有全局投影方法不同，模型通過聯合Dirichlet過程及最大間隔線性判別投影(MMLDP)模型將數據劃分為若干個局部區域，并在每一個局部學習一個最大邊界線性判別投影分類器。組合各局部分類器，實現全局非線性的投影與分類。iMMLDP模型利用貝葉斯框架聯合建模，將聚類、投影及分類器進行聯合學習，可以有效發掘數據的隱含結構信息，因而，可以較好地對非線性可分數據，尤其是具有多模分布特性數據進行分類。得益于非參數貝葉斯先驗技術，可以有效避免模型選擇問題，即局部區域劃分數量。基于仿真數據集、公共數據集及雷達實測數據集驗證了所提方法的有效性。

最大間隔線性判別投影；非參數貝葉斯；Dirichlet過程混合模型

1 引言

在機器學習中，數據通常具有較高的維度。而對于高維度數據的分類問題，對應的分類器通常具有較高的復雜度，為了學習得到較好的分類器，往往需要較大訓練樣本集合[1]。而在實際應用中，帶標號的訓練樣本的獲取通常具有較高的代價。為了解決這一個矛盾，數據降維是一種有效的處理方法，一方面可以有效降低特征維度，減小運算復雜度，另一方面，特征降維可以對噪聲進行抑制并減小特征冗余[2]。

根據是否利用了類別信息，降維方法可以分為非監督特征降維和監督特征降維兩類。在非監督特征降維方法中，PCA是具有代表性的一種方法，但該類方法缺乏類別信息的引導，提取的特征并不能較好地適應分類任務。

上述方法中，無論分階段的方法還是聯合的方法均存在一個共同的缺陷：均是全局的特征提取方法，即期望經過一個全局的投影矩陣進行特征降維，使得數據在隱空間中線性可分。然而，對于非線性可分的數據，尤其是具有多模分布結構的數據，全局線性投影方法由于忽略了數據隱含的結構信息，容易導致性能的損失。

針對多模數據的分類，混合專家模型是一種常用的方法。文獻[11,12]中的模型均為無限混合專家模型，其在利用Dirichlet過程(Dirichlet Process, DP)混合模型將數據劃分為“無限”個子集的同時，在每個子集上訓練一個簡單的線性分類器，以解決全局非線性分類問題。與傳統方法相比，混合專家模型不用預先確定子集個數，另外，其將子集劃分與分類任務相結合，保證了各子集的可分性，提高了全局分類性能。

基于以上分析，本文將無限混合專家模型的思想引入到MMLDP模型中，提出了一種無限最大邊界線性判別投影模型(infinite Max-Margin Linear Discriminant Projection, iMMLDP)。具體地，iMMLDP模型利用DP混合模型將數據空間劃分為“無限”個子集并且在每個子集上學習一個局部MMLDP分類器，組合各個局部MMLDP分類器，實現全局非線性的投影與分類。另外，iMMLDP模型將子集劃分、投影子空間學習及分類器學習統一在貝葉斯框架下，利用分類誤差指導子集的劃分及投影子空間的學習，較好地保證了各個局部區域的線性可分性。由于iMMLDP模型采用隱變量SVM作為分類器，整個模型是全共軛的，可以利用Bayes估計方法對參數進行簡單有效地估計。基于仿真數據集、公共數據集和實測數據的實驗結果表明本文模型可以在避免模型選擇問題的同時有效提高分類性能。

2 最大邊界線性判別投影(MMLDP)模型

MMLDP模型是一種線性監督降維方法，該方法通過線性投影獲得觀測數據的低維表示，并將其作為Bayes SVM的輸入，在Bayes框架下進行建模，對投影子空間及分類器進行聯合學習。

MMLDP模型將式(1)中最小化分類損失的問題轉化為對式(2)求最大化后驗問題。該模型在貝葉斯框架下對投影子空間及分類器進行聯合求解，利用分類誤差指導投影矩陣的學習，從而較好地保障了隱空間的分類性能。另外，該模型采用的分布均為共軛先驗分布，因而可以采用Gibbs采樣方法高效求解。

3 無限混合最大邊界線性判別投影(iMMLDP)模型

3.1 模型構建

MMLDP是一種全局的線性投影方法，能夠較好地應對線性可分數據，然而，對于非線性可分數據類型，尤其是具有多模結構數據，全局投影方法忽略了數據的隱含結構，會帶來性能的損失。iMMLDP模型將DP混合模型與MMLDP相結合，在原始數據空間對數據進行聚類，并在每一聚類中構建一個局部MMLDP分類器，組合各個子分類器，實現全局的非線性投影與分類。

DP是一種應用于非參數貝葉斯中的隨機過程[14]。假設服從參數為的先驗分布，記為，若參數服從DP，記為，其中為基分布，為聚集參數，則稱服從DP混合分布。基于Stick-breaking構造[14]的DP混合模型有如式(3)所示的結構：

(3)

可以看到，DP混合模型中，整個參數空間被劃分為無限可數(通常用較大值進行截斷)個離散點集合，共享同一個分布參數的樣本具有相同的分布，自動地劃歸為一個聚類。若假設每個聚類的樣本服從高斯分布[11,15]，則設定，其中表示均值，表示協方差矩陣，此時基分布采用Normal-Wishart分布[5]。由式(2)和式(3)，可以得到iMMLDP模型的聯合偽后驗分布為

3.2 模型推理

由所有參數的聯合偽后驗分布(式(4))可知，iMMLDP模型參數均采用共軛先驗，因而可以利用Gibbs采樣技術對參數進行估計。根據Gibbs采樣方法原理，只需對各隱變量的后驗分布進行推理，并根據后驗分布進行循環采樣，直至采平穩即可得模型參數的解。根據式(4)，可以得到所有參數的后驗分布形式，其中：

4 識別框架

如圖1，本文構建了一個基于iMMLDP的識別系統。整個系統包括兩部分：實線框內的訓練階段和虛線框內的測試階段。接下來對這兩個階段進行介紹。

訓練階段：訓練階段先對模型進行一定次數的采樣，直至采樣穩定，該過程被稱為模型預熱階段。待模型穩定后，采樣一定數量的模型參數作為模型最終的參數估計樣本，為了保證的抽樣滿足獨立性，每隔一定間隔保留一次采樣。訓練階段具體步驟如下：

圖1 基于iMMLDP模型目標識別系統框圖

測試階段：根據訓練獲得的模型參數，對測試樣本進行分類。由于測試樣本的類別標號是未知的，因而，測試階段與訓練階段有一定差異。測試階段具體步驟如下：

則模型最終的類別輸出為

5 實驗

5.1實驗設置

本文分別在人工數據集、Benchmark數據集以及實測雷達高分辨距離像(HRRP)數據上對iMMLDP模型的有效性進行驗證。實驗采用線性SVM作為基準，并將本文模型與3種全局線性投影模型：LDA+SVM, BSDR及MMLDP進行了比較。在非線性方法中，采用非線性SVM(高斯核SVM，記為KSVM)作為基準，另外選用K-means+ MMLDP(Km+MMLDP)和DPMNL模型兩個混合專家模型進行了性能對比，其中Km+MMLDP是聚類與分類解耦的方法，即先在原始空間中對數據進行聚類，再對每一個聚類單獨學習一個MMLDP模型。

5.2 人工數據集

為了對比本文所提方法相較于全局投影方法的優勢，本節先采用具有多模分布的人工數據集如圖2所示，該數據集為2維3聚類局部線性可分數據，其中不同顏色表示不同類別的樣本。

在圖3中，全局投影方法獲得的分類性能在圖中采用藍色線條表示，從圖3中可以看出，最優全局投影方法獲得的分類精度僅為0.63，在圖中采用藍色星形表示，在這個數據集上，該值是全局方法能獲得的最佳性能，因而，LDA及其變體，不能獲得比這更為優越的性能，LDA對應的分類性能在圖中采用紅色星形標示。與全局投影方法不同，iMMLDP將數據空間劃分為若干個局部區域，因而可以擺脫全局投影方法的局限。從圖3可以看出，在該數據集上，iMMLDP的性能相比于全局投影方法高出30%多。

iMMLDP模型采用貝葉斯非參的方法將數據聚成有限個聚類，每一個聚類中，學習一個獨立的MMLDP模型。由于聚類和分類是聯合學習的，因而，可以有效挖掘數據中隱藏的線性結構。在本實驗中，最大聚類數量設置為10。iMMLDP獲得的有效聚類為4個，對應的聚類效果如圖4，其中，不同顏色代表不同的聚類，類別1和類別2分別采用“●”和“○”進行區分。在這種聚類劃分下，每一個局部分類器的分類精度如表1所示。從表中可以看出，每一個聚類都能被一個線性分類器進行有效劃分，因而，通過組合各個局部分類器，全局分類性能也有較好的保證。

5.3 Benchmark數據集

本節實驗采用的數據集為從UCI Machine Learning Repository中獲取的Benchmark數據集，并從中選取了Heart, Splice, Twonorm, Waveform, Monk1, MDD-fou 6個分布較復雜的數據集。實驗中采用原始數據作為模型輸入，共重復10次，每次實驗中隨機抽取50%樣本作為訓練樣本，剩余樣本作為測試。在不同隱空間維度下，取10次的平均識別性能作為最終的識別率，并將各方法在不同隱空間維度下的最優識別性能列于表2。

圖2 人工數據集合

圖3 不同投影方法分類性能比較

圖4 iMMLDP模型聚類-分類結果

表1 iMMLDP模型在仿真數據集上聚類及性能分析

在表2中，不同數據集對應的分類性能前三采用黑體進行標記，最優分類性能采用(*)進行標記。從表中可以看出，在實驗所采用的6個數據集上，聯合的投影方法(MMLDP, BSDR)優于解耦的投影方法(LDA+SVM); Km+MMLDP, DPMNL, iSVM, IMMBPFA[18]及本文所提模型等幾個線性混合專家模型優于全局線性分類模型，其中，本文所提方法在大部分數據集(5/7)上獲得了最優的分類性能。對比Km+MMLDP與iMMLDP模型可以發現，iMMLDP模型將聚類和分類、投影聯合在一起學習，可以有效發掘數據的隱含線性結構，因而性能獲得了顯著提升。相比DPMNL模型和iSVM模型，本文所提方法通過進行特征降維，可以有效提取線性判別子空間，可以對噪聲進行抑制，從而性能獲得了較大提升。特別地，在本文所提模型中，若令投影矩陣為單位矩陣，即不進行投影操作，則本文所提模型退化為iSVM模型。相比IMMBPFA，本文方法與其相似，均為無限混合專家模型并將聚類、子空間及分類器學習在貝葉斯框架下進行聯合學習，不同的是，IMMBPFA模型在每一個局部學習一個最大間隔因子分析模型，而本文方法則采用投影方法進行特征提取。兩個方法在不同的數據集上性能差異表現不同。得益于聯合學習，兩個模型在大部分數據集上分類性能都較好。

5.4 HRRP數據集

在雷達目標識別中，尤其是基于HRRP的雷達目標識別中，通常樣本具有較高的維度，數據降維一方面可以降低模型對訓練樣本數量的需求，另一方面可以有效降低運算復雜度，因而，有效的降維方法具有重要的意義。

在本節，采用Ｃ波段雷達對3類飛機目標的實測HRRP數據。數據具體介紹見文獻[17~20]。類似于文獻[17~20]，實驗中采用模2范數歸一的方法消除HRRP的幅度敏感性，并提取功率譜特征消除其平移敏感性。為了檢驗模型的推廣性能，本文采用與文獻[17~20]相同的訓練樣本集與測試樣本集，并從中選擇600個訓練樣本和2400個測試樣本。

實驗中截棍上限設置為10, iMMLDP獲得的有效聚類數為3。在這種聚類劃分下，每一個局部分類器的分類精度如表3所示。從表中可以看出，每一個局部聚類都能獲得較好的分類，這得益于將分類，聚類聯合在一起學習，能夠較好地保證各個局部的分類性能，從而獲得全局較好的分類。相較于iSVM和DPMNL模型，本文所提方法通過局部線性投影，能夠對噪聲進行抑制，同時可以有效降低特征冗余，因而性能獲得了較大提高。

6 結束語

針對目標識別中具有多模分布特性的復雜數據，本文提出了一種iMMLDP模型。該模型將貝葉斯非參數化方法及MMLDP模型相結合，在統一的貝葉斯框架下進行建模。不同于全局的線性降維方法，iMMLDP將數據降維、聚類以及分類器學習統一在概率框架下聯合學習，不僅可以充分挖掘數據內在的分布結構，而且保證了各個聚類中樣本的可分性。通過在仿真數據集、公共數據集以及雷達實測數據上的實驗表明了所提模型的有效性。

[1] DUDA R, HART P, and STORK D. Pattern Classification (2nd ed.)[M]. New York, Wiley Interscience, 2000: 106-113.

[2] 郁道銀, 王悅行, 陳曉冬, 等. 基于隨機投影和稀疏表示的追蹤算法[J]. 電子與信息學報, 2016, 38(7): 1602-1608. doi: 10.11999/JEIT151064.

YU Daoyin, WANG Yuexing, CHEN Xiaodong,. Visual tracking based on random projection and sparse representation[J].&, 2016, 38(7): 1602-1608. doi: 10.11999/JEIT 151064.

[3] SWETS D and WENG J. Using discriminant eigenfeatures for image retrieval[J]., 1996, 18(8): 831-836. doi:10.1109/34.531802.

[4] ETEMAD K and CHELLAPA R. Discriminant analysis for recognition of human face images[J]., 1997, 14(8): 1724-1733. doi:10.1364 /JOSAA.14.001724.

[5] FISHER R. The use of multiple measurements in taxonomic problems [J]., 1936, 7(2): 179–188 doi:10.1111/j.1469-1809.1936.tb02137.

[6] CHEN B, ZHANG H, ZHANG X,Max-margin discriminant projection via data augmentation[J]., 2015, 27(7): 1964-1976. doi:10.1109/TKDE.2015.2397444.

[7] NIKOLAOS G, VASILEIOS M, and IOANNIS K. Mixture Subclass discriminant analysis[J]., 2011, 18(5): 319-322. doi:10.1109/LSP.2011. 2127474.

[8] NIKOLAOS G, VASILEIOS M, and IOANNIS K. Mixture subclass discriminant analysis link to restricted Gaussian model and other generalizations[J]., 2013, 24(1): 8-21. doi:10.1109/TNNLS.2012.2216545.

[9] 郭繼昌, 張帆, 王楠. 基于Fisher約束和字典對的圖像分類 [J] 電子與信息學報, 2017, 39(2): 270-277. doi: 10.11999/ JEIT160329.

GUO Jichang, ZHANG Fan, and WANG Nan. Image classification based on Fisher constraint and dictionary pair [J].&, 2017, 39(2): 270-277. doi: 10.11999/JEIT160329.

[10] GONEN M. Bayesian supervised dimensionality reduction [J]., 2013, 4(6): 2179-2189. doi:10.1109/TCYB.2013.2245321.

[11] SHAHBABA B and NEAL R. Nonlinear models using Dirichlet process mixtures[J]., 2009, 10(4): 1829-1850.

[12] 文偉, 曹雪菲, 張學峰, 等. 一種基于多極化散射機理的極化SAR圖像艦船目標檢測方法[J]. 電子與信息學報, 2017, 39(1): 103-109. doi: 10.11999/JEIT160204.

WEN Wei, CAO Xuefei, ZHANG Xuefeng,. PolSAR ship detection method based on multiple polarimetric scattering mechanisms[J].&, 2017, 39(1): 103-109. doi: 10.11999 /JEIT160204.

[13] POLSON N G and SCOTT S L. Data augmentation for support vector machines[J]., 2011, 6(1): 1-24. doi:10.1214/11-BA601.

[14] SETHURAMAN J. A constructive definition of Dirichlet priors[J]., 1994, 4(2): 639-650.

[15] HANNAH L A, BLEI D M, and POWELL W B. Dirichlet process mixtures of generalized linear models[J]., 2011, 12: 1923-1953.

[16] RIFKIN R and KLAUTAU A. In defense of one-vs-all classification[J]., 2004, 5(1): 101-141.

[17] DU L, LIU H W, BO Z,. Radar HRRP statistical recognition: Parametric model and model selection[J]., 2008, 56 (5): 1931-1943. doi:10.1109/TSP.2007.912283.

[18] 張學峰, 陳渤, 王鵬輝, 等. 無限最大間隔Beta過程因子分析模型[J]. 西安電子科技大學學報(自然科學版), 2016, 43(3): 13-18. doi: 10.3969/j.issn.1001-2400.2016.03.003.

ZHANG Xuefeng, CHEN BO, WANG Penghui,Infinite max-margin Beta process factor analysis model[J]., 2016, 43(3): 13-18. doi: 10.3969/j.issn.1001-2400.2016.03.003.

[19] DU L, LIU H W, WANG P H,Noise robust radar HRRP target recognition based on multitask factor analysis with small training data size[J]., 2012, 60(7): 3546-3559. doi:10.1109/TSP. 2012.2191965.

[20] 張學峰, 陳渤, 王鵬輝, 等. 一種基于Dirichlet過程隱變量支撐向量機模型的目標識別方法[J]. 電子與信息學報, 2015, 37(1): 29-36. doi: 10.11999/JEIT140129.

ZHANG Xuefeng, CHEN Bo, WANG Penghui,Atarget recognition method based on Dirichlet process latent variable support vector machine model[J].&, 2015, 37(1): 29-36. doi: 10.11999/JEIT140129.

文 偉： 男，1987年生，博士，研究方向為復雜背景下的SAR圖像目標檢測與識別.

曹雪菲： 女，1980年生，博士，研究方向為網絡與信息安全.

陳 渤： 男，1979年生，博士，教授，博士生導師，研究方向為雷達目標識別、統計信號處理、統計機器學習、深度學習網以及大規模數據處理.

韓 勛： 男，1990年生，博士，研究方向為雷達目標識別、空間目標參數估計.

張學峰： 男，1987年生，博士，研究方向為雷達自動目標識別.

王鵬輝： 男，1984 年生，博士，副教授，研究方向為雷達自動目標、識別以及統計機器學習理論等.

劉宏偉： 男，1971年生，博士，教授，博士生導師，研究方向為雷達信號處理、雷達自動目標識別、認知雷達、協同探測.

Infinite Max-margin Linear Discriminant Projection Model

WEN Wei①②CAO Xuefei③CHEN Bo①②HAN Xun①ZHANG Xuefeng①②WANG Penghui①LIU Hongwei①②

①(,,’710071,)②(,’710071,)③(,,’710071,)

An infinite Max-Margin Linear Discriminant Projection (iMMLDP) model is developed to deal with the classification problem on multimodal distributed high-dimensional data. Different from global projection, iMMLDP divides the data into a set of local regions via Dirichlet Process (DP) mixture model and meanwhile learns a linear Max-Margin Linear Discriminant Projection (MMLDP) classifier in each local region. By assembling these local classifiers, a flexible nonlinear classifier is constructed. Under this framework, iMMLDP combines dimensionality reduction, clustering and supervised classification in a principled way, therefore, an underlying structure of the data could be uncovered. As a result, the model can handle the classification of data with global nonlinear structure, especially the data with multi-modally distributed structure. With the help of Bayesian nonparametric prior, the model selection problem (e.g. the number of local regions) can be avoided. The proposed model is implemented on synthesized and real-world data, including multi-modally distributed datasets and measured radar high range resolution profile (HRRP) data, to validate its efficiency and effectiveness.

Max-Margin Linear Discriminant Projection (MMLDP); Bayesian nonparametric; Dirichlet Process Mixture (DPM) model

TN957.51

A

1009-5896(2017)12-2795-08

10.11999/JEIT170256

2017-03-29；

2017-09-21；

2017-10-27

通信作者：陳渤 bchen@mail.xidian.edu.cn

國家杰出青年科學基金(61525105)，國家自然科學基金(61201292, 61322103, 61372132)，全國優秀博士學位論文作者專項資金(FANEDD-201156)，陜西省自然科學基礎研究計劃(2016JQ6048)，航空科學基金(20142081009)，上海航天科技創新基金(SAST2015009)，航空電子系統射頻綜合仿真航空科技重點實驗室基金

: The National Science Fund for Distinguished Young Scholars (61525105), The National Natural Science Foundation of China (61201292, 61322103, 61372132), The Program for New Century Excellent Talents in University (FANEDD-201156), The Natural Science Basic Research Plan in Shaanxi Province (2016JQ6048), The Avaation Science Fund (20142081009), Shanghai Aerospca Science, Technology Innovation Fund (SAST2015009), The Key Laboratory Fund of RF Integrated Laboratory in Avionics System