微粒群并行聚類在客戶細分中的應用

收稿日期：2007-11-22；修回日期：2008-01-07

基金項目：重慶市自然科學基金資助項目(CSTC2007BB2406)

作者簡介：王華秋(1975-)，男，重慶人，副教授，博士后，主要研究方向為數據挖掘(wanghuaqiu@cqit.edu.cn);廖曉峰，男，四川人，教授，博導，主要研究方向為計算智能.*

(1 重慶大學 計算機學院，重慶400030；2重慶工學院 計算機學院，重慶 400050)

摘 要：提出了基于自適應微粒群優化的并行聚類算法，采用了任務分布方案和部分異步并行通信，降低了計算時間。這種并行自適應微粒群算法結合了并行微粒群算法的快速尋優能力和自適應參數動態優化特性，保持了群體多樣性從而避免了種群退化。最后將該算法應用于電信客戶細分中。實驗證明，該算法在并行機群上具有了較好的準確性、加速性和可擴展性。

關鍵詞：并行聚類；自適應；微粒群優化；電信客戶細分

中圖分類號：TP18

文獻標志碼：A

文章編號：1001-3695(2008)10-2987-04

Customer segmentation application of PSO parallel cluster

WANG Hua-qiu¹，2， LIAO Xiao-feng¹

(1. College of Computer， Chongqing University， Chongqing 400030， China;2. College of Computer， Chongqing Institute of Technology， Chongqing 400050， China)

Abstract:The paper presented the parallel cluster algorithm of adaptive particle swarm optimization， which adopted task parallelization and partial asynchronous communication to decrease the computing time. The proposed algorithm combined the fast search optimum ability of parallel particle swarm optimization with parameters dynamical optimization property of adaptive. It could maintain the individual diversity and restrain the degenerate phenomenon. Finally， the presented algorithm was used to analyze the telecom customer segmentation. The experiments indicate the presented algorithm on the cluster maintains pre-ferable accuracy， the speed-up and scaled-up.

Key words：parallel cluster; adaptive; particle swarm optimization; telecom customer segmentation

0 引言

客戶細分就是企業在收集和整理客戶信息資料的基礎上，依據客戶(包括消費者和分銷商)的需求特點、購買行為、購買習慣、信譽狀況等方面的明顯差異，將某一產品的客戶整體劃分為若干個客戶群的客戶分類過程[1]。在商業決策支持應用中，需要用到聚類算法計算出需要的結果。由于聚類處理對象多為海量數據庫和高維數據類型，算法計算的時間和空間復雜性很高[2]。聚類算法一般分為以下兩種：

a) 硬聚類并行算法。這類算法在統計和數據庫領域得到大量的研究和應用，早期有K-Means、K-Mediods，以后又有面向大規模數據庫系統的BIRCH算法，處理非數值屬性聚類的CACTUS算法[3]、處理空間數據的STING算法[4]、子空間聚類算法ENCLUS[5]等。這些并行聚類算法是基于共享存儲系統等低通信延遲系統的，在設計算法時沒有將通信代價作為重點來考慮。因而這些算法往往采用數據并行的設計思想，將局部聚類模式分布在各個計算節點中，以便可以并行地進行聚類模式匹配。這一過程中，匹配過程的啟動及結果的收集和比較都需要通信。也就是說，處理的每—步至少需要兩次通信。而基于TCP/IP和UDP通信協議的消息傳遞機制，通信延遲非常大，一般達到毫秒級[6]。因此在機群環境中開發并行算法時，如何有效地減少通信次數是提高算法效率的重點。文獻[7]提出了一種結合數據并行和任務并行的并行聚類算法。該算法需要多次讀取數據，其通信次數仍然較多。

b) 模糊聚類并行算法。Lamehamedi等人[8]提出了并行的FCM算法，并行算法采用主／從模式，由一個主進程控制多個從進程共同完成計算。文獻[9]提出在分布式互聯PC/工作站環境下的區間數據的并行模糊聚類算法。這些并行模糊聚類算法均采用了數據并行方式計算，將海量的數據分塊存儲在并行每個節點上，節點只需計算相應的分塊數據，并通過并行機群之間的通信相互交換計算結果，以此來縮短計算時間。但是問題是數據如何劃分直接影響到聚類效果，如果數據劃分不合理，原本屬于一類的被劃分到不同的節點上，或者原本不屬于一類的被劃分到同一節點上，這樣必然降低聚類質量。

微粒群算法是一種基于群體進化計算的算法[10]，利用這一理論特征，微粒群成為當前一個活躍的研究領域[11，12]。微粒群應用到許多實際應用中，包括求解NC難題[13]、 生物化學過程識別[14]、 電力能源調度優化[15]等。但限制求解的高效性的兩個主要障礙是經常遇到的。首先，大規模問題在計算上是經常出現的，在時間和硬件上需要大量的資源去求解；其次，多峰的局部極小和數值噪聲常常給工程優化問題帶來麻煩，這就需要使用諸如基于群體的全局尋優方法及其改進算法來得到可靠的結果。

針對第一個障礙，本文研究的微粒群優化算法是一種新的全局優化算法，它特別適合于連續變量問題。在工程學領域它常常被用于大規模計算問題，由于是基于群體的方法，容易進行并行化，本文通過利用機群技術和網絡技術，采用MPI的通信方式用于開發并行微粒群優化算法，降低了微粒群計算時間消耗。針對第二個障礙，其原因就是群體逐漸失去遷移性而停止進化，其結果是使兩代之間很相似，然而這種“過分”的相似，有較大程度的局限性，于是筆者提出了一種自適應微粒群算法用于克服局部極小問題。

本文根據客戶的自然屬性、消費模式、消費習慣、消費頻度等特征對客戶進行分類。從電信業務的需求來看，單一的客戶屬性劃分方式很難滿足市場經營和決策工作的需要，因此提出了四種不同的劃分方式：按用戶行業、區域對消費收入貢獻劃分的細分；按用戶綜合使用電信業務劃分的細分；按用戶消費構成劃分的細分；按用戶消費構成比例劃分的細分。本文根據電信客戶業務需求，利用并行自適應微粒群優化的并行聚類算法建立了電信客戶細分模型。

1 自適應微粒群算法

將微粒群算法簡化以分析微粒群優化算法的動態特性。若粒子被縮減到一維，利用向量符號粒子的軌跡將以簡單的圖線顯示出來。無須任何信息，兩個等式將被轉換為一個式子：vk+1=wvk+(p-xk)(1)其中：p是兩個最好的粒子的加權平均值;是分布在區間[0， (c1+c2)]的隨機數值，它的平均值是(c1+c2)/2。

由于數φ是隨機的，粒子準確的位置在每次迭代時改變，為了簡化計算，設置為一個常數。在加權值p達到最佳點和被設置為常數(c1+c2)/2時，粒子的軌跡能被描繪出來，并且被研究。微粒群優化算法的縮減公式如下表示：vk+1=wvk+yk，yk+1=-wvk+(1-)yk(2)其中：yk=p-xk，注意簡化模型并不意味著標準微粒群的計算環境發生了改變。一般來說，種群的大小超過1，并且很少有粒子少于一維的。

加權值p不是靜態的而是動態的，經常表現出復雜的行為來。這個簡化模型僅僅用于提供一些每個粒子如何在沒有相互作用的情況下的行為的信息。然而，基于這個模型，當p的波動被限制時，每個粒子的穩定性被精確計算出來。既然一個全局最優問題的解限制在一定的搜索空間內（可能的區域），因此p的波動也應被限制。這個模型能被用于全局優化問題求解過程中的每個粒子穩定性的演變分析。

對于這個降維后的確定性系統可以寫成vk+1

yk+1=w

-w1-vk

yk=Mvk

yk，vn

yn=Mnv0

y0(3)其中：M是系統矩陣，P-1MP=λ10

0λ2，Mn=Pλ1n0

0λn2P-1。

粒子在第k次迭代時的狀態表示如下：vk

yk=Pλk10

0λk2P-1v0

y0(4)其中：P是對角變換矩陣；λ1、λ2是M的特征值。

λ1，λ2=（w+1-±(w+1-)²-4w）/2

這個降維系統的動態特性由M決定，這樣基于線性系統的穩定性理論，每個粒子的穩定性可以被評價。根據穩定性理論，如果|λ1|＜1，|λ2|＜1，粒子的行為特性是穩定的。除了討論上述降維系統的穩定性之外，更多的細節分析（如波動周期分析）本文也作了分析。在w+1-2w＜＜w+1+2w情況下，λ成了一個復數，下面的關系成立：|λ|=w。即是說，降維系統是否穩定取決于參數w，換言之，降維系統的動態性調節僅相當于調節參數w。

本文使用一個參數0＜k1＜1，在如下條件下：w+1-2w＜＜w+1+2w，能表示如下：

=w+1-2w+4k1w(5)

當λ是復數時，它的極坐標表示如下：λk=|λ|kekθ。其中：θ為角頻率。這樣就可以由上式得出系統的波動周期：

(T=2π/θ=2π/（tan-1（Im/Re））=2π/（tan-1

（4w-(w+1-)）²/（w+1-）））(＜w+1)(6)

其中：Re=（w+1-）/2， Im=（4w-(w+1-)）²/2。通過替換w+1-=2w-4k1w，方程變為

T=2π/(tan-1(2k1-k²1/（1-2k）))

k1＜0.5

2π/（π+tan-1(2k1-k1²/（1-2k）)) k1＞0.5(7)

通過用另外一個參數0< k2<1，可得c2/c1=k2/(1-k2)，且c1=2(1-k2)， c2=2k2。

以上結果提供了第i個粒子的一個投影位置，由下式定義 vk+1ij=w×vkij+2(1-k2)×rand()×(pbestij-xkij)+2k2×

rand()×(gbestj-xkij)=w×vkij+2(1-k2)(w+1-2w+

4k1w)×rand()×(pbestij-xkij)+2k2(w+1-2w+4k1w)×

rand()×(gbestj-xkij)(8)其中:=w+1-2w+4k1wk2=c2/(c1+c2)。

通過上述研究，這樣微粒群優化算法的降維模型和參數w、k1、k2之間的搜索軌跡的定性關系可以總結出如下規律：

a) w：若0≤w<1，降維系統的收斂趨勢將隨著w減小而加強；若w>1，降維系統的收斂趨勢將隨著w增大而加強。

b) k1：根據三角函數的性質推導可知，當k1增大時，系統的角頻率θ就會增加，因此系統的波動周期T將增大；當0< k1<1時，降維系統的動態性將隨著k1增大而變得波動。

c) k2：當0

這里給出這幾個參數的選擇方法，根據各個參數的作用不同設計了w、k1、k2。w度量系統收斂趨勢；k2度量靠近局部最優解或全局最優解的程度；k1度量粒子的波動性的增加對系統收斂的影響。

在算法運行初期，由于粒子之間的差異較大，局部極值pibest和個體xi之差一般比較大，慣性因子w接近1，讓系統緩慢收斂并加強局部搜索能力。同理，全部極值gbest和局部極值pibest之差一般比較大，k2接近0，讓微粒群在局部范圍內搜索，k1的值設計得較大，使系統波動性在運行初期較強。

粒子在位置更新與速度更新的過程中，如果發現新位置優于個體極值，則將個體極值設置為新位置；同樣，如果新位置優于全局極值，則將全局極值設置為新位置gbest。微粒群在運動方程式的作用下向gbest靠攏，其間將不斷更新個體極值。

對于微粒群中的任意粒子，其最終收斂位置將是整個微粒群找到的全局極值，k1隨著迭代次數n的增加以指數下降，使得系統逐漸趨于穩定。

當算法接近收斂時，局部極值和全局極值的差距逐漸減小并趨向于0，粒子的波動性減小，慣性因子w和波動性因子k1自動調整逐漸接近0，k2逐漸接近1，使得系統盡可能收斂于全局最優位置。根據以上分析，在上述微粒群運動軌跡的約束條件下，本文采用如下自適應的方法設計了這幾個重要參數：k1=k0exp(-i/τ0)，w=1-exp(-‖pibest-xi‖²/2)，

k2=exp(-‖pibest-gbest‖²/2)(9)2 并行自適應微粒群聚類算法研究

21 并行聚類算法設計思路

聚類算法本身復雜度高，收斂速度較慢，在機群環境下的并行聚類算法筆者采用任務并行的思想。其設計思路如下：

a) 將整個任務分成若干子任務，同時保證聚類算法同數據特性的無關性，即在聚類過程中，不要求輸入某些特定的數據；輸入任何的數據都可以保證聚類過程正常地進行。否則各個節點就有可能必須通過通信來從其他節點獲得必要的數據。

b) 對每個子任務獨立進行聚類，為了保證能對每個子任務獨立地進行聚類，本文減少了聚類算法同全局聚類結構的相關性，因為要獲得全局最佳聚類結果，必須通過通信，從其他節點收集信息。所以筆者讓每個節點維護一份自己的聚類模式。

c) 最后輸出各自的聚類結構，即微粒群的適應度，比較每個進程傳遞的本地最佳適應度，得到對應于全局最佳聚類模式的全局最佳適應度，從而引導微粒群移動到最佳位置，重復以上步驟，直到收斂，這樣就得到了最佳的聚類中心。

22 并行算法同步通信方式設計

為了減少各個進程之間的通信頻率，提高并行實現的性能，本文提出了部分異步并行實現。每個處理機上運行一定數量的工作進程，這些工作進程獨立地執行順序算法的迭代過程，經過一定迭代數(假設為s)以后，所有的工作進程需要進行一次全局同步，即主進程將對全局最優軌跡進行全局更新，稱為局部/全局迭代率s。因此，在部分異步并行實現中減少了子進程之間通信頻率，從而降低了子進程間的通信費用。采用這種通信方式以后，至少在局部迭代的過程中不必進行同步和通信，因此通信的費用可以在一定程度上減少。這樣并行微粒群算法的加速比就有所增加：speedup(m，N)=O(m3)/[O(m3/N)+Tovh(m，N)/s](10)

考慮到如果局部迭代次數過多，每次局部迭代中優化解會被忽略，因此局部/全局迭代率s不能設置得過大。

23 算法步驟

在聚類算法中，設Mc為類的個數，即數據應該聚為多少類。一個粒子代表Mc個聚類中心，這樣，每個粒子xi就可以構造如下：xi=(mi1， …， mij，…， miNc)。其中：mij表示第i個粒子所代表的第Cij類的第j個聚類中心。因此，一群粒子代表了多個候選中心，微粒群的適應度很容易用量化誤差度量出來：fij∑MCj=1[∑Zp∈Cijd(zp，mj)/|Cij|]/Mc(11)其中：d是分配給某一類的樣本點與該類中心之間的Euclidean距離；Md是輸入樣本的維數；|Cij|是屬于Cij類的樣本個數，即是給定類的頻數。因此，筆者提出了一種全局優化的并行算法用于聚類。

用自適應微粒群優化算法，樣本數據可以按照如下的方法進行聚類：

a)主機master將樣本數據傳到機群的從機slaver上；

b)從機slaver初始化每個粒子，使之隨機地形成MC個聚類中心；

c)設置局部/全局迭代率s，從機slaver以部分異步并行的方式進行s次聚類

for 每個粒子i do

(a)for 每個樣本數據zpdo

計算樣本到Cij的Euclidean距離；

(b)根據d(zp，mj)=minC=1，…MC{d(zp，mij)}，分配zp到相應的類；

(c)根據式（11）計算微粒群的適應度Je；

(d)通過比較，從機slaver更新微粒群的本地最優位置xi；

(e)在從機slaver利用公式自適應參數w、k1、k2；

d)主機master執行阻塞同步以獲得所有從機slaver并行粒子的適應度結果；

e)通過比較，主機master更新全局最優位置，判斷新的全局最優位置的適應Je度是否符合迭代終止條件，若滿足，則終止計算，否則轉入下一步；

f)主機master將全局最優位置廣播從機slaver上；

g)從機slaver獲得當前全局最優粒子的位置，轉入c)。

通過從多種群并行地開始搜索，基于群體搜索技術的微粒群優化算法減少了初始條件的影響，采用并行自適應微粒群算法進行聚類計算，收斂速度較快，加快了聚類算法的計算速度。為說明其計算的快速性和準確性，本文進行了算法實驗。

3 實驗與對比分析

在Windows操作系統上，利用消息傳遞結構庫(MPI)，用于解決測試數據1和測試數據2的并行自適應粒子群優化聚類算法和通信由C/C++和MPI語言實現并執行，采用八臺聯想奔月20001G的計算機作為工作站，一臺DELL服務器作為主節點，用于獲得數值結果。筆者采用了部分異步并行實現方式，考慮到每次局部迭代中好的解可能被其他的工作進程忽略，設置局部/全局迭代率為s≤3。用于測試的聚類問題如下：這是一個二維聚類問題，有四個不同的類，這個聚類問題關注于只有一個輸入真正與一個類有關，一共有10萬條數據，約4 MB，由四個獨立的雙變量正態分布數據構成：x1，x2~N(μ-(m1 0)，σ=0.5 0.5

0.5 0.5)。其中：i=1，2，3，4；μ是平均值；m1=-3，m2=0，m3=3，m4=6；σ是協方差。

31 聚類質量和計算時間比較

通過上述并行聚類算法，各個節點保持了粒子種群的多樣性，并獨立地完成聚類過程，算法的通信代價就會很小。每個節點得到的聚類結果雖然是一個優化的聚類結果，它們也只是趨近于全局優化，而非最佳全局優化解，即ci≈C。其中：ci是各個節點所蘊涵的聚類結構，C是整個數據空間蘊涵的聚類結構。那么，節點的優化聚類結果能否體現實際的全局聚類結果，或者說任務并行聚類算法的聚類質量如何呢？下面以實驗來驗證這種并行聚類算法。

這一部分比較了用不同節點機群的并行自適應微粒群聚類算法和并行FCM[14]對上述兩種數據集進行聚類的結果，主要目的是比較各自聚類的質量，而質量的評判標準有三種：a) 量化誤差度量式（11）所定義的聚類質量；b) 簇內距離盡量小，即屬于同一簇內的數據向量之間的距離盡可能最??；c) 簇間距離盡量大，即各個聚類中心之間距離盡可能最大。

滿足后面的兩個目標可以形成緊湊的聚類。

從表1可以得出如下結論：a)隨著數據量的增大，節點的聚類結果趨近于全局優化，因為數據量越大，個別數據的影響越小。b)在聚類過程中，通過一定量的同步通信來使各個節點得到優化的聚類模式，從而改善最后的聚類質量。c)隨著機群節點的增加，內存也會相應地增加，這對改善聚類質量也會有很大幫助。所以說，采用任務并行的思想是完全可行的。

表1 幾種并行聚類算法性能比較聚類

問題并行聚類算法平均計算

時間/s聚類誤差簇內距離簇間距離測試數據8節點并行FCM2390.260.791.624節點并行APSO1100.200.621.848節點并行APSO860.160.492.16

各節點優化的聚類結果也是能夠反映實際的聚類模式的，其聚類質量是可以接受的。并行化對于算法的執行不會帶來負面影響，甚至并行計算的結果最終得到更準確的解。這說明在機群環境下，設計良好的數據并行聚類算法不但可以獲得較高的加速比，而且可以得到良好的聚類質量。

32 并行計算性能分析

3. 2. 1 相對工作、通信和閑置時間比較

表2表示部分異步方式實現并行算法中的相對工作、通信和閑置時間的關系。工作時間包含所有計算工作的時間；通信時間包含比較、發送消息和數據所需要的時間；閑置時間為工作時間和通信時間之外的時間。工作、通信和閑置時間之和構成總的執行時間。

表2 節點并行計算的時間s聚類問題平均計算

時間P=0P=2P=4P=6P=8測試

數據通信時間015212934工作時間18993725033通信比6.203.431.720.97閑置時間7111620總時間1891151049587

注：表中P=0就是指只有主節點執行串行計算。

從表2中可以看出，對于較大規模的機群，由于消息等待造成的閑置時間占據優勢，隨著機群規模的減小，工作時間所占比例顯著提高，并行實現算法降低了各個進程間的通信頻率，從而減少了閑置時間，而通信時間可以忽略不計。機群節點個數對通行比造成一定的影響。隨著機群節點個數的增加，不僅通信量在增加，節點進程的閑置時間也在增加。另一方面，由于聚類任務被各個機群節點分擔了，計算時間卻在減少，從而導致通信比下降加速。

3. 2. 2 加速比與效率比較

表3中顯示了加速比、效率與處理機數目之間的關系。從表中可以看出，對于規模較大的測試數據而言，加速比接近于優化值，即處理機數目，效率以非常慢的速度減少。這說明在并行實現算法中，工作時間隨著處理機數目的增多而減少說明其利用率降低。因此為了找到最優的處理機數目，需要在加速比增加和效率減小之間找到平衡點。

加速比=單機執行時間/n機執行時間；效率=加速比/機數

表3 節點并行算法的性能分析聚類問題并行性能P=2P=4P=6P=8測試數據加速比1.641.821.992.17效率0.820.450.330.274 并行自適應微粒群聚類的應用

從電信業務的需求來看，由于背景、收入、年齡、教育程度、行為特征的不同，客戶對電信業務的需求呈現多層次、個性化、差異化的趨勢，單一的客戶屬性劃分方式很難滿足市場經營和決策工作的需要，因此從不同的角度全方位地對客戶屬性進行劃分，以滿足電信市場經營者和管理決策者的不同需求。a)按用戶行業、區域對消費收入貢獻劃分的細分;b)按用戶綜合使用電信業務劃分的細分;c)按用戶消費構成劃分的細分;d)按用戶消費構成比例劃分的細分。

模型建立好以后，本文通過電信運營商所提供的大量現實數據加以應用，驗證了模型的合理性、有效性和實用性。列出按各種不同的分類方法實現的細分結果。

從以上幾張圖可以看到，對于不同的劃分方式都得到了五類客戶，每一類客戶所占的比例、人數，以及這一類客戶所具有的特征。從所得到的客戶特征描述可以看到，類與類之間具有顯著的差異和完全不同的特性，類與類之間沒有重復和交叉，說明了本文細分方法的合理性和可適用性。綜合電信行業的業務性質以及以不同的劃分方法得到的應用結果，該細分模型可以滿足電信市場經營者和管理決策者的不同需求。

5 結束語

數據源常常包含海量數據，聚類算法計算時需要大量的I/O開銷和足夠的內存空間，從而成為算法的可擴展性和響應時間的瓶頸。雖然已有一些并行聚類算法，但是一般采用數據并行方式計算，對數據如何合理劃分并沒有進行考慮，因此聚類質量不高。為了快速獲得計算結果和提高全局搜索的能力，本文研究了一種基于自適應微粒群優化這種全局尋優方法的并行聚類算法。利用微粒群優化算法快速優化和并行性的特征，結合自適應算法，克服了群體逐漸失去遷移性而停止進化的問題，通過利用機群技術和網絡技術，采用MPI的通信方式用于開發并行自適應微粒群優化算法，降低了微粒群計算時間消耗，提高了聚類質量，實驗證明了該算法的有效性。最后將這種算法應用于客戶細分中，由于客觀條件的限制，細分變量的選擇確定還有待進一步的研究和完善，建模所用的樣本數據具有一定的局限性。

參考文獻：

[1]KIM J， WEI S， RUYS H. Segmenting the market of west Australian senior tourists using an artificial neural network[J].Tourism Ma-nagement，2003，24(1):25-34.

[2]周兵，沈均毅，彭勤科.集群環境下的并行聚類算法[J].計算機工程， 2004， 30(4): 4-7.

[3]GANTI V，GEHRKE J， REMAKRISHNAN R. CACTUS-clustering categorical data using summaries[C]//Proc of the 5th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York:ACM， 1999: 73-83.

[4]WANG W， YANG J， MUNTZ R. STING: a statistical information grid approach to spatial data mining[C]//Proc of the 23th International Confe-rence on Very Large Data Bases. Athens: Morgan Kaufmann Publishers， 1997: 186-195.

[5]CHENG C， FU A， ZHANG Y. Entropy-based subspace clustering for mining numerical data[C]// Proc of the 5th ACM SIGKDD Confe-rence. New Work: ACM， 1999: 84-93.

[6]WARSCHKO T M， BLUM J M， TICHY W F. ParaStation: efficient parallel computing by clustering workstations: design and evaluation[J]. Journal of Systems Architecture， 1998， 44 (3): 241-260.

[7]BOUTSINAS B， GNARDELLIS. On distributing the clusteringpro-cess[J]. Pattern Recognition， 2002， 23(8): 999-1008.

[8]LAMEHAMEDI H， BENSAID A D， KEBBAL E G， et al. Adaptive programming: application to a semi-supervised point prototype clustering algorithm[C]//Proc of International Conference on Parallel and Distributed Processing Techiques. Nevada: CSREA Press，1999: 2753-2759.

[9]陸建江， 徐寶文. 區間數據的并行模糊聚類算法[J]. 東南大學學報:自然科學版， 2003， 33(4): 406-409.

[10]SHI Y， KENNEDY J. Swarm intelligence[C]//Proc of Swarm Intelligence Symposium. San Mateo: Morgan Kaufman Publishers， 2001: 50-60.

[11]CLERC M， KENNEDY J. The particle swarm-explosion， stability， and convergence in a multidimensional complex space[J]. IEEE Trans Evol Comput ， 2002， 6(1): 58-73.

[12]Particle Swarm Central [EB/OL] . (2006-11-20) [2007-10-12]. http://www.particleswarm.info/papers.html.

[13]TANDON V， EL-MOUNAYRI H， KISHAWY H. NC and milling optimization using evolutionary computation[J]. International Journal of Mach Tools Manuf， 2002， 42(5): 595-605.

[14]COCKSHOTT A R， HARTMAN B E. Improving the fermentation medium for echinocandin B production part II: particle swarm optimization[J]. Process Biochem， 2001， 36(9): 661-669.

[15]ABIDO M A. Optimal power flow using particle swarm optimization[J]. International Journal of Electrical Power and Energy Systems， 2002， 24(7): 563-571.