基于馬氏距離的模糊聚類優化算法
2018-05-14 12:19:41祖志文李秦
河北科技大學學報 2018年2期
祖志文 李秦
摘要：為了解決以歐氏距離作為相似性準則的傳統模糊聚類算法對多維數據處理不利的問題，采用馬氏距離代替歐氏距離，對基于馬氏距離的模糊聚類算法進行優化研究，以增強基于馬氏距離的模糊聚類算法的聚類效果和能力。通過構造啟發式搜索與kmeans算法結合的初始優化方法，利用可以自動調節最佳聚類數的有效性函數，提出了一種優化算法KMFCM，并將此新算法與FCM，FCMM，MFCM聚類算法在3個標準數據集上進行了實驗。結果表明，KMFCM算法有效，聚類精度比FCM，FCMM，MFCM高，對高維數據聚類識別能力強，具有全局優化作用，并且聚類個數無需提前設定。新算法可為基于馬氏距離的模糊聚類算法的優化提供參考。
關鍵詞：算法理論；模糊聚類；馬氏距離；初始優化；聚類個數
中圖分類號：TP301.6文獻標志碼：A
收稿日期：20171224；修回日期：20180220；責任編輯：張軍
基金項目：國家自然科學基金（11262009）
第一作者簡介：祖志文（1993—），女，河北保定人，碩士研究生，主要從事智能算法方面的研究。
通信作者：李秦教授。Email：liq@mail.lzjtu.cn
祖志文，李秦.基于馬氏距離的模糊聚類優化算法——KMFCM[J].河北科技大學學報，2018，39（2）：159165.
ZU Zhiwen， LI Qin. KMFCM： A fuzzy clustering optimization algorithm based on Mahalanobis distance[J]. Journal of Hebei University of Science and Technology， 2018， 39（2）：159165.KMFCM： A fuzzy clustering optimization algorithm
based on Mahalanobis distance
ZU Zhiwen， LI Qin
（College of Mathematics and Physics， Lanzhou Jiaotong University， Lanzhou， Gansu 730070， China）
Abstract：The traditional fuzzy clustering algorithm uses Euclidean distance as the similarity criterion， which is disadvantageous to the multidimensional data processing. In order to solve this situation， Mahalanobis distance is used instead of the traditional Euclidean distance， and the optimization of fuzzy clustering algorithm based on Mahalanobis distance is studied to enhance the clustering effect and ability. With making the initialization means by Heuristic search algorithm combined with kmeans algorithm， and in terms of the validity function which could automatically adjust the optimal clustering number， an optimization algorithm KMFCM is proposed. The new algorithm is compared with FCM algorithm， FCMM algorithm and MFCM algorithm in three standard data sets. The experimental results show that the KMFCM algorithm is effective. It has higher clustering accuracy than FCM， FCMM and MFCM， recognizing highdimensional data clustering well. It has global optimization effect， and the clustering number has no need for setting in advance. The new algorithm provides a reference for the optimization of fuzzy clustering algorithm based on Mahalanobis distance.
Keywords：algorithm theory； fuzzy clustering； Mahalanobis distance； initial optimization； clustering number
聚類是數據處理的重要方法。模糊聚類建立了數據樣本對于類別的不確定性的描述，表達了樣本類屬的模糊性，能夠更客觀地反映現實世界，具有較強的聚類效果與數據表達能力。
關于模糊聚類的研究應用最廣的是基于目標函數的模糊聚類方法，此方法把聚類問題描述為一個帶約束的優化問題，通過求解優化問題的解來確定數據集的模糊劃分和聚類結果。FCM算法是最經典的基于目標函數的模糊聚類算法，但也存在一些問題，因此基于FCM算法的改進算法和應用被研究者所關注。蔡靜穎[1]為改進FCM算法不能處理非球形簇且未考慮樣本矢量各特征重要程度、處理高相關數據集時錯誤率增加的缺點，使用馬氏距離得到FCMM算法及MFFCM算法；蔡威[2]提出自適應距離度量的GK算法。NATACHA等[3]研究了用馬氏距離和閔可夫斯基距離來取代歐氏距離的模糊聚類的方法，以提高聚類檢測能力，并對聚類結果進行了可視化分析。在應用方面，張敏等[4]將馬氏距離和模糊c均值聚類結合，研究摳圖算法；康韋曉[5]將基于馬氏距離的PFCM算法應用于非線性系統故障診斷；趙泉華等[6]將馬氏距離的模糊聚類算法用于遙感圖像分割。河北科技大學學報2018年第2期祖志文，等：基于馬氏距離的模糊聚類優化算法——KMFCM 另外，通過對FCM的初始化方法的改進研究逐漸形成了山峰函數法或勢函數法[7]、減法聚類[8]等方法，進一步實現了快速減法聚類的模糊聚類算法，及基于密度函數的近似初始化方法[9]。上述文獻中基于馬氏距離的模糊聚類算法的研究多是對協方差估算方面的改進，并且已有的初始化方法對基于馬氏距離的模糊聚類算法并不適用。為此，本研究通過對經典聚類算法和馬氏距離特性的分析，提出具有新初始化方法的基于馬氏距離模糊聚類的優化算法。
1經典模糊聚類算法與馬氏距離
1.1經典模糊聚類算法（FCM）
在基于目標函數的模糊聚類算法中，模糊c均值算法（fuzzy cmeans，FCM）的理論最為完善，應用最為廣泛。FCM類型的算法最早是由“硬”聚類算法HCM導出的[10]，DUNN[11]把它的目標函數J1=∑ci=1 ∑nj=1uij‖xj-vi‖2，uij∈{0，1}擴展到隸屬度屬于模糊情形的類內加權平均誤差和函數J2=∑ci=1 ∑nj=1uij‖xj-vi‖2，uij∈[0，1]。后來BEZDEK[12]又引入了一個參數m，把J2推廣到一個目標函數的無限簇，并給出了交替優化算法，即形成了經典的模糊c均值算法。
FCM算法的核心思想如下：設X={x1，x2，…，xi，…，xn}為n元數據集合。FCM聚類方法就是把X劃分為c個子集S1，S2，…，Si，…，Sc，若用V={v1，v2，…，vi，…，vc}表示這c個子集的聚類中心，uij表示元素xj對Si的隸屬度，則FCM算法的優化目標函數為
JmFCM（U，V，X）=∑ci=1 ∑nj=1umijd2ij=∑ci=1 ∑nj=1umij‖xj-vi‖2，（1）
uij滿足如下約束條件：
∑ci=1uij=1，1≤j≤n，uij≥0，1≤i≤c，i≤j≤n，（2）
這里U={uij}為c×n矩陣，V={v1，v2，…，vi，…，vc}為s×c矩陣，dij為xj與vj的距離，經典的FCM算法里使用的是歐氏距離，推薦使用m=2。通過如上設定，最佳聚類結果可使得目標函數取得極小值。
FCM算法的具體步驟如下：
步驟1設定聚類個數c（1
步驟2根據uij=1∑ck=1（dijdkj）2m-1來計算U（L+1）。
步驟3用Vi=∑nj=1（uij）mXj∑nj=1（uij）m計算聚類中心矩陣V（L+1），令L=L+1。
步驟4判斷2次聚類中心矩陣的歐氏距離與給定閾值的大小，如果滿足終止條件：‖V（L）-V（L-1）‖≤ε，L≥1，或者迭代次數不小于給定的最大迭代次數，則迭代停止，否則，重復步驟2和步驟3。
在對比實驗中，FCM聚類的運行相對于HCM算法速度較慢，但聚錯樣本數明顯減少，并且該算法的收斂性已經得以證明。但是由于經典模糊聚類算法就是反復修改聚類中心矩陣和隸屬度矩陣的分類過程，并且FCM對聚類中心的初始化依賴，使得經典模糊聚類算法不能確保得到全局最優解。另一方面，與HCM算法一樣，需要預先指定聚類數目c，而實際中聚類數目通常都是未知的，并且使用歐氏距離只適于發現球狀類型等非凸面形狀的簇，不能處理橢球形結構簇，在處理高維數據時效果欠佳。
1.2馬氏距離
歐氏距離只適用于樣本的屬性在相互獨立的條件下同等對待每個屬性對聚類影響的情形。當屬性之間相關時，對相關的屬性計算歐氏距離時將產生重復數據，影響了聚類效果和最佳聚類數的確定。同時，歐氏距離受屬性量綱的影響，對多維數據的處理是不利的。針對樣本向量中各維特征對模式分類的不同影響，李潔等[13]提出了基于特征加權的模糊聚類新算法，但收斂速度有所下降。用馬氏距離來取代歐式距離，可以有效解決以上困擾。馬氏距離是一種有效計算2個未知樣本集相似度的方法，與歐氏距離不同的是它考慮到各種特性之間的聯系，并且是與尺度無關的。在文獻＼[14＼]中說明了當聚類算法在用于入侵檢測[15]時，馬氏距離比歐式距離具有明顯的優勢，并且馬氏距離的模糊聚類在圖像分割上也比歐氏距離的效果更優[16]。
設樣本集合為X={x1，x2，…，xi，…，xm}，共有m個樣本，xi是n維特征矢量，i∈{1，2，…，m}，令X代表m×n的輸入矩陣，每行為一個樣本，則樣本的均值、自相關矩陣和協方差矩陣可用矩陣表示為
μ=E{X}=XT（1m）m×1；S=（1m）XTX；Σ=E{（X-μ）T}=1mXTX-μμT，
其中（1m）m×1代表元素均為1m的m維列矢量。
樣本Xi到樣本總體X的馬氏距離定義為d2（Xi-X）=（xi-μ）TΣ-1i（xi-μ）。
由于對于聚類樣本的總體分布通常是未知的，而樣本協方差是總體協方差的無偏估計，常用樣本協方差矩陣代替總體協方差：Σi=1n∑ni=1（xi-）（xi-）′，=1n∑ni=1xi。若協方差矩陣是奇異的，將導致無法直接求馬氏距離，故大量文獻對基于馬氏距離的研究多是對計算其數據協方差的逆不存在的情況提出解決方案，王振麗[17]為改進馬氏距離使用加權MP馬氏距離進行研究；吳香華等[18]對馬氏距離聚類分析中協方差矩陣的估算進行改進；趙小強等[19]通過改進協方差矩陣的估計來提高馬氏距離聚類分析效率。
基于馬氏距離的聚類算法有如下特點。
1）協方差矩陣本身的意義是在多維向量之間找出一個自適應的權重，即馬氏距離的計算是建立在總體樣本基礎上的，有利于加強聚類的準確性。
2）在計算馬氏距離過程中，要求總體樣本個數大于樣本的維數，否則得到的總體樣本協方差逆矩陣不存在。
3）在實際應用中，“總體樣本個數大于樣本的維數”這個條件很容易滿足，即在絕大多數的情況下，馬氏距離是可以順利計算的，從而有關基于馬氏距離的模糊聚類的優化可以先忽略協方差問題，針對高維大樣本的數據做出優化的改進算法。但是馬氏距離的計算是不穩定的，不穩定來源于協方差矩陣，這也是馬氏距離與歐氏距離的最大差異之處，故在研究中應注意結合用加強穩定性的優化方案來彌補馬氏距離的不足。
針對以上問題，在基于馬氏距離的模糊聚類算法的研究基礎上，本研究并不側重對馬氏距離協方差問題的優化，而是另辟蹊徑，提出了新的初始化優化方法，形成一種具有全局優化性能、利于處理高維數據的、新的基于馬氏距離的模糊聚類算法。
2模糊聚類優化算法——KMFCM
2.1新的聚類初始化方法
由于基于山峰函數和減法聚類的初始化方法的實現性并不令人滿意，近幾年對初始化方法的研究出現了結合進化及生物仿生算法進行的初始化方法，李靜[20]結合粒子群算法初始聚類中心，使得聚類結果以較快收斂速度接近最優解，并且無需給定聚類數目，但其缺點是引入了其他參數；NAIK等[21]使用基于教學學習（TLBO）的優化算法，聚類結果以較快收斂速度接近最優解，但是局限于歐氏距離且需要給定聚類數目。
還有一種聚類初始化方法是將已有的復雜度低的聚類算法結果作為模糊聚類的初始聚類中心，如直接運用kmeans算法選出初始聚類中心[9]；結合概率抽樣方法的kmeans++算法[2223]是比前者初始效果更好的聚類初始化方法，但引入了一個缺乏理論支撐的參數p。
考慮到基于馬氏距離的模糊聚類算法比經典的模糊聚類算法運行速度慢，為減少算法速度負擔，在此提出的初始化方法也是將kmeans聚類算法結果作為模糊聚類的初始聚類中心。由于kmeans對聚類中心初始化敏感，易陷入局部最優且需給定聚類數，故給出基于啟發式搜索算法與kmeans算法結合的聚類初始化方法，對基于馬氏距離的模糊算法進行優化。
新的初始化方法主要思想如下。為實現全局優化并且避免重復初始聚類中心，首先考慮在一定的聚類個數范圍內用啟發式搜索聚類中心，然后利用kmeans聚類算法得出初始聚類中心。最佳聚類數通常滿足cmax≤n，n為樣本數據個數，本研究也作這樣的設定。
新的初始化方法的具體步驟如下。
第1步：求出樣本集合O中兩兩樣本之間的距離，找出距離最小的一對較小樣本x1，x2；
第2步：把x1，x2放到新的集合A1中，并將它們從樣本集合O中刪除；
第3步：計算A1中樣本的均值a1，求出a1與O中每個樣本的距離，找出O中與a1最近的較小樣本x3，將x3并入集合A1，且從O中刪除，如此重復，直到A1中樣本個數達到n3n的向下取整值；
第4步：再把O中現有樣本中距離最小的一對較小樣本x′1，x′2放入新的集合A1中，并將它們從O中刪除，重復第3步的過程，直到形成m個集合A1，A2，…，Am，m預設成比n大的值，n為數據集樣本的個數，這里設定成m=3n；
第5步：分別求出A1，A2，…，An的均值1，2，…，n，對數據集{1，2，…，n}運用kmeans算法，得到的n個聚類中心作為用于模糊聚類算法的初始聚類中心。
針對每個聚類數目進行模糊聚類時，都要重新初始化所造成的聚類數目不穩定的情況，經過算法迭代后，采用合并聚類中心的方式。這使得聚類個數自適應，無需給定聚類數目c。
2.2KMFCM算法
首先，在聚類相似性準則方面，在經典FCM算法的目標函數中用馬氏距離替代歐氏距離，并且在目標函數上引進一個協方差調節因子：-ln|Σ-1i|，得到的優化目標函數為
Jm（U，C，X）=∑ci=1 ∑nj=1umij[（xj-ci）′Σ-1i（xj-ci）-ln|Σ-1i|]，
s.t.uij∈[0，1]； ∑ci=1uij=1；0<∑nj=1uij 該優化問題的拉格朗日乘子式為 J=∑ci=1 ∑nj=1umij[（xj-ci）′Σ-1i（xj-ci）-ln|Σ-1i|]+∑nj=1λj（1-∑ci=1uij）， 最小化J，對ci，uij，Σi求偏導，并令其結果等于零，得： uij=[∑cs=1[（xj-ci）′Σ-1i（xj-ci）（xj-cs）′Σ-1i（xj-cs）]1m-1]-1，i=1，2，…，c；j=1，2，…，n， （3） ci=[∑nj=1umij]-1[∑nj=1umijxj]，i=1，2，…，c，（4） Σi=∑nj=1umij（xj-ci）（xj-ci）′∑nj=1umij，i=1，2，…，c 。 其次，在交替優化方面，結合新的聚類初始化方法，并引用文獻＼[9＼]中的利用粒度分析原理的GD有效性準則函數在算法循環中合并聚類方法，得到基于馬氏距離的模糊聚類優化算法——KMFCM。 1） 取定最大初始聚類個數cmax=data_n，data_n為樣本數據個數，模糊加權指數m=2，迭代停止閾值Lmin=1×10-5，權重因子α=0.6，最大迭代次數Lmax=100，并令迭代計數器L=0； 2） 由設定的初始聚類個數cmax，運用新的初始化方法，得到初始聚類中心結果矩陣C并輸出； 3） 用式（3）計算隸屬矩陣U； 4） 用式（4）更新聚類中心矩陣C； 5） 若聚類中心達到迭代停止閾值，則輸出模糊分類隸屬矩陣U和聚類中心C，若未達到迭代停止閾值，則令L= L+1，轉向步驟3）； 6）計算有效性函數GD（C）=αCD（C）+（1-α）1SD（C）， 其中： CD（C）=1n∑ci=1 ∑nj=1umijd2ij，i=1，2，…，c；j=1，2，…，n， SD（C）=∑ci，s=1，i≠sd2is[c（c-1）]/2，i，s=1，2，…，c， 將GD值保存起來； 7）將類間兩兩之間的距離最小的兩類合并為一類，得到c-1個聚類中心； 8）令c=c-1，若c<2，則轉向步驟9），否則轉向步驟3），直到達到最大迭代次數Lmax=100； 9）選擇最小值GD對應的聚類結果，即為最佳聚類結果，算法結束。 3結果與分析
為了證明應用本研究提出的初始化優化后的KMFCM算法比FCM算法及未優化的基于馬氏距離的模糊聚類算法FCMM[1]，MFCM[19]在多屬性的樣本聚類實驗中具有優勢，筆者將FCM，FCMM，MFCM，KMFCM算法應用于來自UCI數據庫的Iris，Wine和Pima等3個標準數據集。Iris數據集由4維空間的150個樣本組成，分為3個類別，第1類與其他2類完全分離，而第2類與第3類之間有交叉，有很多學者認為Iris數據也可以分為兩類[2425]；Wine數據由13維空間的178個樣本組成，分為3個完全分離的類別；Pima數據集由8維空間的768個樣本組成，分為2個相互交疊的類別。
分別使用FCM，FCMM，MFCM聚類算法與KMFCM聚類算法對Iris數據各進行20次實驗，取20次實驗的平均值。其中，FCM，FCMM，MFCM聚類算法設定聚類類別數，4種算法實驗中相同參數設置如下：隸屬度矩陣的指數m=2，最大迭代次數Lmax=100，迭代停止準則為Lmin=1×10-5。對3種數據集的4種聚類算法比較分別如表1，表2和表3所示。
由表1可知，KMFCM算法對低維屬性的Iris數據集進行聚類是有效的；由表2可知，在高維屬性的模糊聚類中，FCM的聚類效果明顯下降，而其他基于馬氏距離的模糊聚類算法聚類精度較高，KMFCM算法聚錯個數明顯減少；由表3可知，KMFCM算法在有交疊的、類邊界并不清晰的較大樣本Pima數據集上聚類效果依然良好。對于3個不同的數據集，從時間上來看，由于文獻＼[1＼]中的FCMM算法并未使用優化技巧，運行速度大于文獻＼[19＼]中用到數據標準化處理、總體協方差估計優化方法的MFCM算法以及本研究提出的KMFCM算法。但是，經過初始化優化的KMFCM算法聚類精度比其他3種聚類算法的聚類精度都要好，誤分個數少，具有全局優化效果，并且無需設定聚類個數。在20次實驗中，由于馬氏距離的不穩定性，并且未進行協方差奇異問題處理，KMFCM算法在有交疊樣本數據中的聚類穩定性有待進一步研究。
4結語
通過對經典聚類算法和馬氏距離特性的研究，以及觀察關于初始化方法改進的最新動態，本研究給出了適用于馬氏距離模糊聚類算法的初始化方法，提出基于馬氏距離模糊聚類的優化算法KMFCM。用馬氏距離替換經典的模糊聚類算法中的歐氏距離，采用啟發式搜索與kmeans算法結合的初始化方法，與FCM，FCMM，MFCM等3種算法在3個標準數據集上進行仿真對比實驗，驗證了新的算法的有效性和全局優化作用。研究結果可為基于馬氏距離的模糊聚類算法的優化提供參考。
參考文獻/References：
[1]蔡靜穎.模糊聚類算法及應用[M].北京：冶金工業出版社，2015.
[2]蔡威. 模糊聚類算法在數據挖掘中的應用研究[D]. 蘭州：蘭州交通大學，2012.
CAI Wei. Research on the Application of Fuzzy Clustering Algorithm in Data Mining[D]. Lanzhou：Lanzhou Jiaotong University，2012.
[3]NATACHA G， IREN V， GEORGE G， et al. Fuzzy Cmeans clustering with mahalanobis and minkowski distance metrics[J]. Procedia Computer Science， 2017，114： 224233.
[4]張敏，閔樂泉，張群，等. 基于馬氏距離和模糊C均值聚類的摳圖算法與應用[J].北京科技大學學報，2014，36（5）：688694.
ZHANG Min， MIN Lequan， ZHANG Qun， et al. Matting algorithm and application based on Mahalanobis distance and the fuzzy Cmeans clustering algorithm[J]. Journal of University of Science and Technology Beijing， 2014，36（5）：688694.
[5]康韋曉. 基于馬氏距離的PFCM算法的非線性系統故障診斷方法[D]. 哈爾濱：哈爾濱工業大學，2016.
KANG Weixiao.Fault Diagnosis Method for Nonlinear System based on PECM Algorithm with Mahalanobis Distance[D]. Harbin：Harbin Institute of Technology， 2016.
[6]趙泉華，李曉麗，趙雪梅，等. 結合馬氏距離的區域化模糊聚類遙感圖像分割[J]. 中國礦業大學學報，2017，46（1）：222228.
ZHAO Quanhua， LI Xiaoli， ZHAO Xuemei， et al. Remote sensing image segmentation algorithm with regional fuzzy cluster and Mahalanobis distance[J]. Journal of China University of Mining & Technology， 2017， 46（1）： 222228.
[7]YAGER R R， FILEV D P.Approximate clustering via the mountain method[J]. IEEE Transaction on Systems Man & Cybemetics， 2002， 24（8）： 12791284.
[8]CHIU S L. Fuzzy model identification based on cluster estimation[J]. Journal of Intelligent and Fuzzy System， 1994，2（3）：267278.
[9]陳東輝. 基于目標函數的模糊聚類算法關鍵技術研究[D]. 西安：西安電子科技大學，2012.
CHEN Donghui. Research of Key Techniques in Fuzzy Clustering Based on Objective Function[D]. Xian：Xidian University， 2012.
[10]陳新泉.聚類算法中的優化方法應用[M].成都：電子科技大學出版社，2014.
[11]DUNN J C.Wellseparated clusters and optimal fuzzy partitions[J].Journal of Cybernetics，1974，4（1）：95104.
[12]BEZDEK J C.Pattern Recognition with Fuzzy Objective Function Algorithms[M].New York：Plenum Press， 1981.
[13]李潔， 高新波， 焦李成.基于特征加權的模糊聚類新算法[J].電子學報， 2006， 34（1）： 8992.
LI Jie， GAO Xinbo， JIAO Licheng. A new feature weighted fuzzy clustering algorithm[J]. Acta Electronica Sinica， 2006，34（1）： 8992.
[14]易倩，滕少華，張巍. 基于馬氏距離的K均值聚類算法的入侵檢測[J]. 江西師范大學學報（自然科學版），2012，36（3）：284287.
YI Qian， TENG Shaohua， ZHANG Wei. Mahalanobis distancebased on Kmeans clustering algorithm for intrusion detection [J]. Journal of Jiangxi Normal University （Natural Science）， 2012， 36（3）： 284287.
[15]LIU J， CHEN H， ZHONG Z， et al. Intrusion detection algorithm for the wormhole attack in Ad Hoc network[C]// Proceedings of International Conference on Computer Science and Information Technology Advances in Intelligent Systems and Computing[S.l.]：[s.n.].2014：147157.
[16]LIU H C， JENG B C， YlH J M， et al. Fuzzy Cmeans algorithm based on standard Mahalanobis distances[C]. Proc of the 2009 international Symposium on Information Processing. Huangshan：[s.n.]， 2009：422427.
[17]王振麗. 基于加權MP馬氏距離的GS方法研究[D]. 南京：南京理工大學，2016.
WANG Zhenli. Research about GS Method Based on the Weighted MP Mahalanobis Distance[D]. Nanjing：Nanjing University of Science & Technology， 2016.
[18]吳香華，牛生杰，吳誠鷗，等. 馬氏距離聚類分析中協方差矩陣估算的改進[J]. 數理統計與管理，2011，30（2）：240245.
WU Xianghua， NIU Shengjie， WU Chengou， et al. An improvement on estimating covariance matrix during clusteranalysis using mahalanobis distance[J]. Journal of Applied Statistics and Management， 2011， 30（2）： 240245.
[19]趙小強，李雄偉. 基于改進馬氏距離的模糊C聚類研究[J]. 中南大學學報（自然科學版），2013，44（sup2）：195198.
ZHAO Xiaoqiang， LI Xiongwei. A fuzzy Cmeans clustering algorithm based on improved Mahalanobis distance[J]. Journal of Central South University （Science and Technology）， 2013， 44（sup2）： 195198.
[20]李靜. 模糊聚類算法的研究及應用[D]. 無錫：江南大學，2014.
LI Jing. Research and Application of Fuzzy Clustering Algorithm[D].Wuxi：Jiangnan University， 2014.
[21]NAIK A，SATAPATHY S C，PARVATH K. Improvement of initial cluster center of Cmeans using teaching learning based optimization[J]. Procedia Technology， 2012，6（4）：428435.
[22]CELEBI M E， KINGRAVI H A，VELA P A. A comparative study of efficient initialization methods for the kmeans clustering algorithm[J]. Expert Systems with Applications，2013， 40（1）： 200210.
[23]STETCO A， ZENG Xiaojun， KEANE J. Fuzzy Cmeans++： Fuzzy Cmeans with effective seeding initialization[J]. Expert Systems with Applications， 2015，42（21）：75417548.
[24]汪西莉， 焦李成.一種基于馬氏距離的支持向量快速提取算法[J].西安電子科技大學學報（自然科學版），2004， 31（4）：639643.
WANG Xili， JIAO Licheng. A fast algorithm for extracting the support vector on the Mahalanobis distance[J]. Journal of Xidian University， 2004， 31（4）： 639643.
[25]RUIZ A， LPEZDETERUEL P E. Nonlinear kernelbased statistical pattern analysis[J]. IEEE Trans Neural Netw， 2001，12 （1）：1632.第39卷第2期河北科技大學學報Vol.39，No.2
