基于核的模糊C 均值聚類的TSK 模糊模型

王 錦

(安徽電子信息職業(yè)技術(shù)學(xué)院信息與智能工程系,蚌埠 233030)

由于模糊聚類與模糊規(guī)則之間存在著緊密的、規(guī)范的聯(lián)系,模糊聚類是一種很有吸引力的方法,它從數(shù)據(jù)中提取模糊模型規(guī)則[1]。 在輸入和輸出的乘積空間中,通過模糊聚類進(jìn)行識(shí)別的原理是近似通過將其分解成幾個(gè)局部線性子問題來解決非線性回歸問題。 每個(gè)集群可以看作是一個(gè)局部線性子模型,對(duì)應(yīng)于TSK 模糊模型的一個(gè)模糊ifthen 規(guī)則[2]。

模糊C 均值(FCM)算法既適用于輸入空間,也適用于輸出空間,但不適用于兩者。 這是因?yàn)樵赥SK 模糊模型中需要超平面形狀的集群,而在FCM 中需要超球面形狀的集群[3]。 Gustafson-Kessel (GK)聚類和Gath-Geva (GG)聚類是構(gòu)建TSK模糊模型的常用方法。 然而,它們也有一些缺點(diǎn)。GK 算法不能檢測到在體積上有很大差異的集群。GG 算法可以自動(dòng)檢測不同的體積的集群,但它假設(shè)數(shù)據(jù)集服從正態(tài)分布[4]。 這兩種算法都面臨著相同的問題,即在每次迭代中計(jì)算協(xié)方差矩陣的逆和行列式會(huì)大大降低大數(shù)據(jù)維數(shù)和大量集群[2]的算法速度。

近年來,核聚類方法越來越受到人們的關(guān)注。基于核的方法是一種通過使用適當(dāng)?shù)恼ê瘮?shù)替換內(nèi)積,隱式地將輸入數(shù)據(jù)非線性映射到高維特征空間的算法[5]。 一些基于核的聚類研究[5-7]表明,核聚類算法比傳統(tǒng)的聚類算法更準(zhǔn)確、更健壯,可以檢測不同體積和形狀的聚類。 然而,這些算法的一個(gè)缺點(diǎn)是原始輸入空間中的原型無法精確地重新構(gòu)造。 Zhang 和Chen[8]提出了具有高斯核函數(shù)的KFCM 的原始輸入空間原型。 然而,如果核函數(shù)是多項(xiàng)式核函數(shù)或S 形核函數(shù),則無法得到KFCM 的原始輸入空間原型。

本文的組織結(jié)構(gòu)如下:在下一節(jié)中,介紹具有多項(xiàng)式核函數(shù)和S 形核函數(shù)的KFCM 原始輸入空間原型的表達(dá)式;在第二節(jié)中,描述了如何使用KFCM 建立TSK 模糊模型;在第三節(jié)中,提出了一種自動(dòng)確定規(guī)則數(shù)量的方法;第四節(jié)中給出了應(yīng)用示例。 最后,在第五節(jié)中給出了一些總結(jié)性說明。

一、基于核的模糊C 均值聚類

給定一個(gè)數(shù)據(jù)集X={x1,x2,…,xN}?Rp,設(shè)Φ為輸入空間到高維特征空間H的非線性映射函數(shù)。 KFCM 通過最小化函數(shù)J[8]迭代搜索c集群:

在以下約束下,其中,uij是數(shù)據(jù)點(diǎn)xi到j(luò)集群的隸屬度,m是一個(gè)模糊性系數(shù),V是一組聚類中心(vj∈Rp),和U=(uij)c×N是一個(gè)模糊劃分矩陣

d(xi,vj)是在特征空間Φ(xi)和Φ(vj)之間的距離,d2(xi,vj)的計(jì)算為

其中,K(xi,vj)=Φ(xi)TΦ(vj)。

通過對(duì)J關(guān)于V的偏導(dǎo),我們得到

如果核函數(shù)是高斯核函數(shù),則原始輸入空間中聚類中心的更新公式[8]為

如果核函數(shù)是多項(xiàng)式核函數(shù),即Kd(x,z)=(xTz+θ)d,θ≥0,d∈Z+,我們有

將式(6)(7)代入(4)得

表示Kd-1(x,v)=(1+xTv)d-1,我們得到

如果核函數(shù)是S 形核函數(shù),即K(x,z)=tanh(axTz+b),a＞0,b＜0,我們有

根據(jù)(4),聚類中心的更新公式為

二、TSK 模糊模型

(一)TSK 模糊模型

TSK 模糊模型的第i條規(guī)則具有以下形式

Ri:如果x1是且x2是,……,xn是,則

其中,x=(x1,x2,…,xn)T是輸入變量,yi是輸出變量,i=1,2,…,c。 規(guī)則的數(shù)量由c和第i條規(guī)則的第j個(gè)先行模糊集表示。 TSK 模糊模型的清晰輸出可以寫成

(二)模型識(shí)別

給定訓(xùn)練數(shù)據(jù)集T={(x1,y1),…,(xl,yl)},xk∈Rn,yk∈Y?R,k=1,…,l,TSK 模型識(shí)別分為兩個(gè)步驟。

首先,確定規(guī)則的模糊先行詞。 如果采用高斯隸屬函數(shù),則模糊先行詞定義為

其中,是第i個(gè)聚類中心vi的第j個(gè)分量,σj決定了高斯函數(shù)的寬度。 可以通過以下形式計(jì)算

在第二步中,規(guī)則的先行詞保持固定,隨后的參數(shù)和bi通過最小二乘法(LSM)確定[9]。 全局最小二乘解是

由于我們已經(jīng)在原始輸入空間中介紹了KFCM 的聚類中心,因此可以通過具有不同核函數(shù)的KFCM 來構(gòu)建TSK 模糊模型。

三、確定規(guī)則數(shù)量的新方法

對(duì)于基于聚類的模糊模型,聚類的個(gè)數(shù)就是模糊規(guī)則的個(gè)數(shù)。 不同的集群有效性指標(biāo)被用來確定聚類數(shù)。 但是,這種方法的缺點(diǎn)是需要對(duì)不同的聚類數(shù)[9]進(jìn)行重復(fù)聚類。 為了避免這一問題,本文提出了一種去除冗余或不太重要的集群的新方法。

冗余集群和噪聲是影響規(guī)則數(shù)量的主要因素。冗余通常發(fā)生在一些集群高度重疊的時(shí)候,原因是這些聚類中心太近了。 我們利用聚類中心的距離來度量兩個(gè)集群的相似性,并提出了一個(gè)參數(shù)r0來識(shí)別冗余集群。 如果兩個(gè)中心的距離小于r0,其中一個(gè)中心是冗余的,那么我們可以排除樣本較少的集群。 在回歸問題中,噪聲有兩個(gè)特征,一是這樣的集群有更少的樣本,二是離群值分布遠(yuǎn)離目標(biāo)回歸曲線。 如果我們?cè)诤侠淼男^(qū)間內(nèi)限制輸入聚類中心的特征,聚類中心的y變化應(yīng)該是溫和的。 如果y的變化很大,則聚類中心可能無效。 模糊聚類的約簡過程如下:

(1)初始化適當(dāng)?shù)拈撝祌0、參數(shù)p0和初始聚類數(shù)cmax。

(2)使用KFCM 查找cmax聚類中心和初始劃分矩陣u0。

(3)對(duì)中心按組大小排序,排除組大小小于p0*l 的聚類中心。

(4)計(jì)算聚類中心的距離矩陣D=(dij),其中

對(duì)于聚類中心vi和vj滿足i＜j和dij＜r0,則消去聚類中心vj。

(5)計(jì)算其余聚類中心的輸入維的距離矩陣,其中

對(duì)于聚類中心vi和vj滿足i＜j和,則消去聚類中心vj。

(6)只保留最重要的聚類中心,更新并規(guī)格化分區(qū)矩陣。

該方法包括聚類、刪除冗余集群和消除離群值三個(gè)主要部分。 一是通過KFCM 得到輸入輸出乘積空間的初始模糊劃分;二是合并相似的聚類中心;三是消除受離群值影響的聚類中心。 剩下的聚類數(shù)就是模糊規(guī)則的數(shù)目。

四、實(shí)驗(yàn)結(jié)果

在一項(xiàng)關(guān)于防撞頭盔功效的實(shí)驗(yàn)中,摩托車數(shù)據(jù)包括133 個(gè)加速度計(jì)讀數(shù)。 由于種種原因,時(shí)間點(diǎn)的間隔不是很規(guī)則,而且在某些點(diǎn)上有多個(gè)觀測值。 此外,觀測結(jié)果都有誤差。 我們的目的是利用TSK 模糊模型得到回歸曲線。 對(duì)于GK 算法和GG算法,最優(yōu)聚類數(shù)為4。

圖1 至圖3 分別給出了高斯核、多項(xiàng)式核和S形核對(duì)KFM 的回歸結(jié)果。 KFM 的初始聚類數(shù)為20。 選擇的聚類中心用小圓圈表示,而初始聚類中心用小星表示。 表1 給出了不同方法訓(xùn)練集的RMSE 和最優(yōu)模糊規(guī)則數(shù),具有不同核函數(shù)的KFM的性能優(yōu)于GK-LS 和GG-LS,極值點(diǎn)對(duì)KFM 曲線影響不大。 通過消除冗余規(guī)則和噪聲,高斯核的KFM 使用4 條規(guī)則,RMSE 為21.47;多項(xiàng)式核的KFM 使用6 條規(guī)則,RMSE 為21.48;S 形核的KFM 使用6 條規(guī)則,RMSE 為21.65。 結(jié)果表明,該方法具有較好的魯棒性。

圖1 KFM-Gau 的回歸曲線

圖2 KFM-Poly 的回歸曲線

圖3 KFM-Sig 的回歸曲線

表1 還顯示了模糊模型的運(yùn)行時(shí)間。 對(duì)于GG-LS,最大聚類數(shù)為5,因?yàn)楫?dāng)集群數(shù)量大于5 時(shí),GG 無法獲得汽車數(shù)據(jù)集的分區(qū)。 對(duì)于GK-LS,最大聚類數(shù)是20。 由于我們的新方法避免了重復(fù)的集群,所以不同內(nèi)核的KFM 的運(yùn)行時(shí)間比GK-LS和GG-LS 要短得多。

表1 摩托車訓(xùn)練集的比較結(jié)果

本節(jié)提供一個(gè)摩托車數(shù)據(jù)示例來演示被稱為KFM 的方法的性能。 在這個(gè)例子中,一個(gè)真實(shí)的統(tǒng)計(jì)基準(zhǔn)數(shù)據(jù)集,使用了以下方法并進(jìn)行了比較:

(1)GK-LS:GK 聚類與LSM 的后續(xù)參數(shù)。

(2)GG-LS:GG 聚類與LSM 的后續(xù)參數(shù)。

(3)KFM-Gau:該方法具有高斯核。

(4)KFM-Poly:該方法具有多項(xiàng)式核。

(5)KFM-Sig:提出了一種基于S 形內(nèi)核的方法。

GK 和GG 的聚類數(shù)由Xie-Beni 指數(shù)[10]確定。

由于一些聚類方法對(duì)不同特征的數(shù)值范圍的差異比較敏感,因此可以將數(shù)據(jù)歸一化如下:

模型的性能由均方根誤差(RMSE)來衡量

為了利用KFCM 建立模糊模型,必須對(duì)核參數(shù)進(jìn)行調(diào)優(yōu)。 我們通過十倍交叉驗(yàn)證來選擇核參數(shù)。 從{2,22,…,28}中選擇高斯核函數(shù)的參數(shù)σ。對(duì)于多項(xiàng)式的內(nèi)核,θ=1 和d在范圍1 到10 之間變化(步長1)。 對(duì)于S形核,a=1/l和b在范圍在-3 到-0.5 之間變化(步長0.5)。 模糊系數(shù)m=2。所有實(shí)驗(yàn)均在MATLAB 環(huán)境下進(jìn)行。 運(yùn)行時(shí)間是10 個(gè)測試的平均時(shí)間,包括找出最優(yōu)聚類數(shù)的開銷。

五、結(jié)語

本文提出了一種利用KFCM 聚類建立TSK 模糊模型的方法,與通常通過集群有效性指標(biāo)確定聚類數(shù)的方法不同,其可以通過刪除冗余規(guī)則和異常值來確定規(guī)則數(shù)量。 這種約簡消除了大部分冗余的聚類中心和離群點(diǎn),同時(shí)保留了有用的聚類中心。 仿真結(jié)果表明,與傳統(tǒng)方法相比,該方法具有較好的泛化能力和魯棒性。