結構辨識和參數優化協同學習的概率TSK 模糊系統

顧曉清 倪彤光 張聰 戴臣超 王洪元

模糊推理系統(Fuzzy inference system,FIS)以模糊集合和模糊推理為基礎,能夠將自然語言直接轉譯成計算機語言,使得機器具有表達模糊語意的能力,目前被廣泛應用在時間序列分析、工業控制和故障診斷等方面[1?2].相比大多數智能模型,FIS的優勢在于:1)FIS具有很強的面向不確定系統的構建能力,能模擬人類專家知識和推理的不確定性;2)不像SVM和神經網絡等被視為一個黑箱,FIS具有良好的基于規則的解釋性;3)FIS具有強大的學習能力,能利用模糊邏輯較強的結構性知識表達,也可以像神經網絡等模型一樣利用數據集信息對模型參數進行優化學習.由Takagi,Sugeno和Kang 提出的Takagi-Sugeno-Kang (TSK)模糊系統,又稱TSK模糊模型,因其結構簡單和逼近能力強,是一種常用的FIS工具[2].TSK模糊系統使用具有解釋性的“IF-THEN”規則來定義系統的規則庫,規則庫的構建工作由2部分組成:規則結構的辨識和規則參數的優化.規則結構的辨識指為系統的輸入空間找到合適的模糊劃分;規則參數的優化則指確定模糊規則前件和后件的參數.其中,選擇合適的模糊規則數是結構辨識的核心工作[3].模糊規則數過多會導致模糊系統復雜化,易產生過擬合現象;模糊規則數過少則導致系統逼近性能不佳.

目前,確定模糊規則數最簡單的方法是基于網格的輸入空間劃分法.特征數是d的數據集,如使用固定m網格的輸入空間劃分法,共提取到md條模糊規則數.顯然這一方法不適用于高維數據[4].確定模糊規則數的另一類常用方法是聚類算法[5?6],聚類法TSK模糊系統的一大優點是能獲得較小規模的規則數,但模糊規則數往往需要預先設定,如文獻[5?7]使用交叉驗證的方法獲得模糊規則數的最優值.雖然一些聚類有效性指標如Xie-Beni指標和Mountainpotential 指標等能用于聚類數的選擇,但這些有效性指標用于確定模糊規則數時往往效果不佳[8].此外,聚類法TSK模糊系統在優化模糊規則的前件和后件參數時往往分階段計算,這種學習策略的優點是時間復雜度相對較低,但其存在一個嚴重的缺陷:無法捕捉輸入空間和輸出空間之間的內在聯系,因此得到的TSK模糊系統的逼近性能往往達不到最優.為解決這一問題,近年來一些學者開始研究前件和后件參數的聯合學習方法,如文獻[9]使用迭代線性支持向量回歸機來聯合學習前件和后件參數,文獻[10]建立了前件和后件參數聯合學習的貝葉斯推理模型,并使用Metropolis-Hastings(MH)采樣方法求解參數的最優解.然而這兩個算法仍需事先設定模糊規則數.

眾所周知,模糊理論和概率模型是常用于描述復雜問題不確定的兩類方法.但兩者的側重點不同:模糊理論能較好地描述自然語言的不確定性,即語義的不確定性;概率模型能較好地描述由系統固有偶然性或變異性帶來的隨機不確定性,即系統性能或預測結果的不確定性[11].Zadeh 在文獻[11]中首次提出了“概率和模糊互補多于競爭”這一思想,認為兩者通過協同學習可以提高系統的性能.受這一思想啟發,本文提出了一種結構辨識和參數優化協同學習的概率TSK模糊系統(Probabilistic TSK fuzzy system,PTSK).PTSK的核心思想是將數據的輸入/輸出空間、系統結構和規則參數作為一個整體來考慮,并基于概率理論使用概率模型來構建模糊回歸系統.不借助于專家經驗,基于最大后驗概率估計(Maximum-a-posteriori,MAP),PTSK使用粒子濾波方法[12]同時得到模糊規則數、規則前件/后件參數的最優解.PTSK模糊系統的優點有:1)以一種協同學習的形式構建了基于概率模型的TSK模糊系統.該系統兼具統計學和模糊邏輯的優點,能有效處理非線性回歸問題.2)不同于傳統聚類法TSK模糊系統使用“黑盒”策略(如網格搜索法)優化模糊規則數的方法,PTSK無需任何專家經驗,使用粒子濾波方法能自動學習模糊規則的所有參數.3)PTSK充分挖掘數據集的整體特征,同時考慮輸入空間和輸出空間對模糊規則參數的影響.實驗結果表明PTSK兼具強解釋性和良好逼近性能的特點.

1 相關工作

1.1 TSK模糊系統基本概念

TSK模糊系統規則庫中的第k個模糊規則可用以下形式表示:

其中x1,x2,···,xd是輸入向量x的d維分量,Ak(Ak=[Ak1,Ak2,···,Akd]T)是輸入空間的模糊子集,K是模糊規則數.令vk=[vk0,vk1,···,vkd]T,=[1,xT]T,模糊規則THEN部分的fk(x)可以寫成:

令μk(x)是第k條模糊規則的隸屬度函數,其值可由各維對應的隸屬度值通過合取操作獲得,

若引入高斯函數作為隸屬度函數,式(3)中μAki(xi)可表示為:

其中隸屬度函數的中心cki和方差δki被稱為模糊規則的前件參數.TSK模糊系統的實值輸出?y為:

1.2 聚類法TSK模糊系統的參數學習

表1比較了聚類法TSK模糊系統中常用的規則前件/后件參數學習方法.系統中每一個聚類劃分轉化為一條模糊規則.此時式(5)中的隸屬度函數中心ck為聚類中心,方差δk可由下式計算得到:

表1 聚類法TSK模糊系統中常用的模糊規則前件/后件參數學習方法Table 1 The common learning methods for the antecedent/consequent parameters in the clustering based TSK fuzzy system

其中Nk是第k個聚類中樣本的個數.若采用最小二乘法求解后件,TSK模糊系統的目標函數可寫成:

其中φ(x)=[(μ1(x)xe)T,···,(μK(x)xe)T]T,xe=[1,xT]T.后件參數矩陣V則可通過下式求解得到:

2 概率TSK 模糊系統(Probabilistic TSK Fuzzy System,PTSK)

2.1 PTSK聯合概率模型

給定輸入數據集X={xi,i=1,2,···,N,xi∈Rd}和對應的輸出集Y={yi,i=1,2,···,N,yi∈R},PTSK關于輸入/輸出數據、規則數和前件/后件參數的聯合概率表示為p(X,K,U,C,Y,V),其中4個待優化參數分別是模糊規則數K,聚類中心矩陣C,模糊劃分矩陣U和后件參數矩陣V.根據貝葉斯概率,p(X,K,UU,C,Y,V)可以表示為:

式(10)由4 個因子構成.下面對這4個因子展開敘述.

1)p(X|K,U,C,Y,V):聚類法TSK模糊系統中每一個聚類對應一條模糊規則.此時,條件似然p(X|K,U,C,Y,V)僅與聚類數K,模糊隸屬度矩陣U和聚類中心矩陣C有關,等價于p(X|K,U,C).PTSK假設xn的先驗是K個正態分布的乘積,正態分布的中心為聚類中心ck,協方差是其模糊隸屬度分量unk構成的單位陣,即

其中m是模糊指數.輸入數據X中的每個樣本都滿足獨立同分布,條件似然p(X|K,U,C,Y,V)可表示為全部樣本的正態分布先驗的乘積,即

2)p(U|K,C,Y,V):模糊劃分矩陣U僅與聚類個數K和聚類中心矩陣C有關,且每個樣本對應的模糊隸屬度相互獨立,因此U的條件似然可以寫成狄利克雷(Dirichlet)分布是一種多變量連續概率分布,其每個分量均大于0且每一維度之和為1.文獻[17]使用狄利克雷分布來構造模糊聚類的模糊隸屬度.拉普拉斯(Laplace)分布較正態分布在中心點處有較高的峰度,文獻[18]使用拉普拉斯分布來提高聚類模型的稀疏性.因此,PTSK在模糊劃分矩陣U的條件似然中同時考慮狄利克雷和拉普拉斯分布,p(U|K,C,Y,V)可以寫成:

其中α=[α1,α2,···,αK]T是狄利克雷參數,B(α)是一個正常數.第3項K維拉普拉斯分布的形式為:

其中β是拉普拉斯分布的尺度參數.因為unk在[0,1]之間且滿足化簡后其值在上式中被消去.對式(13)～(15)進行整理,p(U|K,C,Y,V)可以寫成以下形式

3)p(C,Y,V|K):在給定模糊規則數的情況下,PTSK在條件似然p(C,Y,V|K)中考慮系統在K條模糊規則上的平均估計誤差,即

4)p(K):模糊規則數是正整數,其服從離散分布.其分布可采用兩種方法:一種是假設模糊規則數服從離散均勻分布,即p(K)=discrete(K)=1/l,其中l是區間內離散值的個數.此時模糊規則數的選取等價于網格搜索法.另一種是使用泊松過程或泊松分布[12].因為離散均勻分布的區間上界不易設定,本文設定模糊規則數的先驗分布服從泊松分布:

其中λ是形狀參數,參照文獻[19],λ=lgN.

將式(12),(16),(17)和(18)相乘,得到PTSK關于數據、規則數和前件/后件參數的聯合概率模型:

對上式取自然對數,可以得到PTSK的目標函數:

從式(19)和(20)可以看成,PTSK將數據的輸入/輸出空間、規則數的識別和前件/后件參數的優化視作一個整體,得到的規則數和前件/后件參數一定是相互依賴、密切相關的.當式(20)聯合概率模型達到MAP值時,PTSK中參數{K,U,C,V}同時得到最優解.

2.2 PTSK結構辨識和參數優化的協同學習

粒子濾波方法是一種序貫蒙特卡羅方法,使用帶權值的隨機粒子按照序貫重要性采樣方法遞歸估計狀態變量的后驗概率分布.粒子濾波方法還具有噪聲容忍性強和模型初始狀態不敏感的優點.PTSK采用粒子濾波方法求得式(20)的最大后驗估計.PTSK結構辨識和參數優化的協同學習示意圖如圖1所示.

從圖1可以看出,PTSK結構辨識和參數優化的協同學習由一系列迭代過程構成.在算法初始化階段,PTSK創建一組帶權重的離散粒子WDP[r]={{K,U,C,V},ll}T(r=1,2,···,P),其中ll是式(20)對應的目標函數的值,P是粒子數.PTSK設置各粒子模糊規則數K的初值為1,模糊隸屬度矩陣U的元素初值為ui1=1(i=1,2,···,N),聚類中心矩陣C的元素初值ci1為輸入數據X的均值.PTSK創建候選最優粒子集CAND,設置CAND[1]=WDP[1].下面詳細介紹第n次迭代過程,其主要由4個步驟構成:

1)采樣.使用式(18)對模糊規則數K?進行采樣,其泊松分布的均值為當前規則數K.如果新采樣的模糊規則數K?小于當前規則數K,從聚類中心矩陣C中隨機選擇K?個中心作為當前聚類中心矩陣;如果新采樣的模糊規則數K?大于當前規則數K,則保留當前聚類中心矩陣CC,并使用d維拉普拉斯分布采樣K??K個新聚類中心

其中拉普拉斯分布的位置參數e是輸入數據X的均值,γ是尺度參數.經過大量實驗,γ取值為5.

2)參數優化.這一步驟的工作是根據采樣得到的模糊規則數K?對參數{U,C,V}進行優化.

a)優化模糊隸屬度矩陣U.隨著模糊規則數K的變化,模糊隸屬度矩陣U也相應變化.由于對模糊隸屬度的取值無先驗知識,PTSK假設模糊隸屬度服從平坦型狄利克雷(Flat Dirichlet)分布[20],此時狄利克雷分布參數α中各分量為1.狄利克雷分布能保證所采樣的模糊隸屬度元素滿足unk≥0且將其作為約束條件改造式(20)可得:

其中ηn是拉格朗日乘子.上式得到極值的必要條件為?J/?unc=0,可得unc的解析解:

當前隸屬度函數的寬度矩陣δ和后件參數矩陣V可以分別通過式(7)和式(9)計算得到.

b)優化聚類中心矩陣C.固定模糊規則數K和模糊隸屬度矩陣U,此時式(20)得到極值的必要條件為?J/?cki=0,可得cki的解析解:

圖1 PTSK結構辨識和參數優化的協同學習示意圖Fig.1 The diagram of simultaneous learning of structure identif cation and parameter optimization in PTSK

c)優化后件參數矩陣V.優化模糊劃分矩陣U和聚類中心矩陣C后,此時式(20)得到極值的必要條件為?J/?V=0,可得V的解析解的形式與式(9)相同.

d)計算粒子對應的目標函數值.在優化了每個粒子對應的參數{K,U,C,V}后,每個粒子對應的目標函數值ll可通過計算式(20)得到.

3)粒子更新.檢查粒子集WDP中的每個粒子的ll值能否提高當前模糊規則數對應的目標函數值,如果是,則將該粒子替換當前模糊規則數的候選最優粒子CAND[K],并加入到粒子集CAND中,如果不是,則保留CAND[K],即

然后使用WDP和CAND構建粒子集PS,

4)權重計算和重采樣.為了減少粒子退化的影響,PTSK根據粒子權重執行重采樣操作,更新粒子集WDP.每一個粒子的權重值wi的計算式為

其中|PS|表示粒子集PS中粒子的個數.每個粒子的重采樣概率與權重值wi成正比,從粒子集PS中重采樣P個粒子并使用它們更新粒子集WDP.這樣WDP中權重小的粒子被剔除掉,權重大的粒子被保留,甚至被多遍復制.最終,在經過若干次迭代后,粒子集WDP中最大ll值對應的粒子的參數{U,C,V}為PTSK模糊系統的最優參數.

2.3 算法描述和分析

首先給出PTSK模糊系統的構建算法描述,如算法1所示.

在重采樣步驟中,相比傳統粒子濾波方法[21]僅使用固定規模的粒子集WDP,PTSK使用不固定規模的粒子集PS,PS粒子集由2部分構成:粒子集WDP和CAND,其中CAND由采樣得到的不同模糊規則數的候選最優粒子構成,粒子數不固定.粒子集CAND的作用是進一步減小粒子退化的影響,加快算法的收斂.

接下來,我們分析PTSK模糊系統的收斂性.在實際應用中,粒子數的規模有限,系統需要在收斂速度和系統性能之間進行平衡.因此,PTSK在算法的終止條件上除了設置最大迭代次數外,還計算當前目標函數值與上一次迭代目標函數值之間的差值,若其值小于閾值ε,則統計其次數.當累計次數超過設定值miter時,算法終止.因為隨著迭代次數的增加,模糊規則數趨于固定,規則的前件/后件參數也僅在最優值附近微調,此時使用式(17)計算全部規則上的平均估計誤差幾乎不變,系統的性能趨于穩定.因此,依據文獻[22]粒子濾波方法求解系統靜態參數可得局部最優解的結論,算法1也可保證所得模糊規則數和規則前件/后件參數的最優解是局部最優解.最后,我們分析PTSK模糊系統的時間復雜度.由算法1步驟可知,PTSK模糊系統的時間復雜度主要集中在對參數{U,C,V}的優化部分.使用式(23)優化模糊隸屬矩陣U的時間復雜度是O(NK).使用式(24)優化聚類中心ccck的時間復雜度是O(NK2(d+1)).基于平均估計誤差的模糊規則后件參數的時間復雜度是O(N3).因此,算法1執行單次迭代的時間復雜度為O(P(NK+K2N(d+1)+N3)),其中N,K,d和P分別表示訓練樣本個數,模糊規則數,樣本維數和粒子數.

算法1.PTSK模糊系統的構建

//初始化

1)創建粒子集WDP,設置K=1,分別使用式(21)和(23)初始化c和u;

2)創建粒子集CAND,設置CAND[1]=WDP[1];

3)設置迭代次數t=1,r=1;

Repeatt=t+1;

Repeatr=r+1;

//采樣模糊規則數K

4)用式(25)更新K?;

//優化參數{U,C,V}

5)更新WDP[r].K=K?;

6)使用式(23)計算WDP[r].U;

7)使用式(24)計算WDP[r].C;

8)使用式(9)計算WDP[r].V;

9)使用式(20)計算WDP[r].ll;

//粒子更新

10)使用式(25)得到候選最優粒子集CAND;

11)構建粒子集PS={WDP,CAND};

Untilr >P

//權重計算和重采樣

12)使用式(27)計算PS中粒子的權重值wi;

13)以wi為重采樣概率,在PS中重采樣P個粒子,并更新粒子集WDP;

Untilt ≥tmax或者

14)選擇CAND中ll值最大的粒子,得到{K,U,C,V}最優解;

//構建模糊規則

15)使用最優解{K,U,C,V}構建模糊規則,并由式(6)得到輸出函數.

3 實驗研究

為了驗證本文方法的有效性,本節將通過28個回歸數據集對PTSK模糊系統進行分析與驗證.實驗安排如下:第3.1節對數據集和實驗的設置進行了介紹;第3.2節分析了PTSK和7 種對比算法在28個數據集上的實驗結果;第3.3節對實驗結果進行了統計分析;最后給出PTSK收斂性和參數敏感性分析.

3.1 實驗設置

表2列出了實驗中使用的28個回歸數據集的基本信息.mexihat、abalone、housing、mg 和bodyfat來自LIBSVM數據集[23],gc-s、gc-x 和gc-p數據集來自文獻[6],其余數據集來自KEEL數據集[24].實驗比較了兩類共7 種回歸算法,一類是TSK模糊系統:L2-TSK-FS[5],TSK-IRL-R[25],MOGULTSK-R[26]和B-ZTSK-FS[10].另一類是經典的回歸算法:WM-R[27],ENSEMBLE-R[28]和PSVR[29].L2-TSK-FS,B-ZTSK-FS,PSVR 和PTSK使用MATLAB2016b實現;其余方法使用KEELtoolbox軟件實現[24].實驗中各算法參數的設置如表3所示,7 種對比算法的參數設置均使用相應文獻的默認設置.參數的選取使用5重交叉驗證的方法.實驗采用3個評價指標:1)均方誤差MSE(Mean squared error)和方差;2)平均訓練時間;3)TSK模糊系統的平均規則數.同時,為了使得性能對比更具有統計意義,本文采用無參統計學方法中的Friedman 檢驗[30]和Host事后檢驗[31]進行統計測試.本文全部實驗在Intel i7-3770 CPU 3.4 GHz,16 GB RAM,Windows 7 的環境下執行.

表2 數據集基本信息Table 2 Basic information of datasets

3.2 實驗結果分析

實驗比較了PTSK和另外7 種回歸算法在28個數據集上的實驗結果,表4和表5分別顯示了各算法的MSE(標準差)和平均訓練時間,表6比較了6種TSK模糊系統得到的平均模糊規則數.

1)從表4可以看出,PTSK在所有數據集上取得了令人滿意的MSE值,PTSK在28個數據集上勝出17 次,ENSEMBLE-R、PSVR、TSK-IRL-R和WM-R 各勝出2、5、3和1次.L2-TSK-FS和BZTSK-FS采用網格搜索法求得模糊規則最優解,但設定合適的規則數搜索區域較困難,因而L2-TSKFS和B-ZTSK-FS的平均MSE值不理想.由此可知挖掘數據輸入空間和輸出空間內在聯系對TSK模糊系統的性能有著重要的影響,亦說明PTSK采用的基于概率模型的結構辨識和優化參數的協同學習機制有利于找到合適的模糊規則數.

2)從表5可以看出,8種回歸算法中MOGULR 和TSK-IRL-RPTSK訓練時間最長,PSVR 和L2-TSK-FS訓練時間最短,PTSK在樣本規模較大的數據集上訓練時間也較長.但由表3可以看出,PTSK需要尋優的參數只有1個,而L2-TSK-FS需要尋優的參數有3個,因此,在實際應用中L2-TSKFS在訓練時間上并不具備優勢.PSVR 是支持向量機算法,雖然訓練時間較短,但它不具有FIS的語義性和解釋性.另外,TSK-IRL-R,MOGUL-TSK-R,WM-R 和ENSEMBLE-R 通過KEEL toolbox平臺實現,該平臺使用Java 軟件實現.由于相同代碼在MATLAB平臺的運行時間比在Java 平臺的時間時間慢大約6倍左右[32],因此,ENSEMBLE-R和WM-R 在訓練時間上也并不比PTSK具有優勢.

表4 8種算法在28個數據集上的MSE(標準差)比較Table 4 MSE(Standard deviation)comparison of 8 algorithms on 28 datasets

表4 8種算法在28個數據集上的MSE(標準差)比較(續表)Table 4 MSE(Standard deviation)comparison of 8 algorithms on 28 datasets(Continued table)

表5 8種算法在28個數據集上的平均訓練時間(s)的比較Table 5 Comparison of the average training time (s)of 8 algorithms on 28 datasets

表6 6種TSK模糊系統在28個數據集上的平均模糊規則數比較Table 6 Comparison of the average number of fuzzy rules of six TSK fuzzy systems on 28 datasets

3)從表6可以看出,與對比的5種TSK模糊系統相比,PTSK僅需少量的模糊規則就能取得良好的分類效果,說明PTSK有較強的解釋性.盡管B-ZTSK-FS使用MH 采樣方法能夠同時學習模糊規則的前件和后件參數,但是該方法不能自動學習模糊規則數,因此B-ZTSK-FS構建的模糊規則數多于PTSK.

圖2顯示了PTSK在mexihat數據集上某一折的實驗結果,圖3對應顯示了PTSK在mexihat數據集上得到的4條模糊規則的模糊集示意圖.從圖2可以看出,PTSK取得了良好的逼近性能.我們知道,規則庫的解釋性與模糊規則數有關,另一方面,規則庫的解釋性也與模糊子集的清晰度有關.從圖3可以看出模糊集具有語義解釋性,由此可得對應的4條模糊規則也具有較高的解釋性.

3.3 算法分析

3.3.1 參數敏感性實驗和收斂性分析

首先對PTSK的參數敏感性進行分析.稀疏因子β使用5折交叉驗證的方法得到最優值.實驗設置β的搜索范圍是{1,2,···,8}.由于篇幅所限,表7 顯示了在mexihat,elevators,bodyfat和wizmir 數據集上β參數對MSE 指標和模糊規則數的影響.

圖2 PTSK在mexihat數據集上的實驗結果Fig.2 Experimental results of PTSK on mexihat dataset

由表7 的結果可以看出:1)稀疏因子β對模糊規則數起到了決定性作用.對于絕大多數數據集而言,β值越大獲得的模糊規則數越少;反之,β值越小獲得的模糊規則數越大.只有極個別數據集上的模糊規則數受β值的影響不大,其原因是該數據集在模糊空間分布較緊密且聚類劃分結果清晰.2)PTSK模糊系統的回歸性能與模糊規則數密切相關,模糊規則數較大時MSE 值達不到最優,此時易發生過擬合的現象;模糊規則數較小時MSE值也達不到最優.因此,稀疏因子β起到了平衡系統性能和復雜度的作用,對β在使用交叉驗證的方法尋優是必要的.

圖3 PTSK在mexihat數據集上得到的模糊集示意圖Fig.3 Fuzzy sets obtained by PTSK on mexihat dataset

為了考察PTSK模糊系統的收斂情況,圖4給出了PTSK在mexihat,elevators,bodyfat和wizmir 數據集上某次運行的收斂曲線(固定參數β=4).從圖中曲線可以看出,PTSK在這4個數據集上的迭代次數均小于200.此時模糊規則數和求得的規則前件/后件參數趨于最優值,系統的性能達到穩定.

3.3.2 非參數檢驗

本小節使用非參數檢驗中的Friedman 檢驗和Holm post-hoc檢驗來分析8種算法在28個數據集上MSE 值的統計學顯著性差異,設置顯著性水平α=0.05.Friedman檢驗是一種利用秩實現對多個總體分布是否存在顯著差異的非參數檢驗方法.圖5顯示了8種算法在Friedman檢驗上Friedman秩結果.實驗結果表明本文提出的PTSK模糊系統在25個數據集上取得了最佳結果.

表7 mexihat,elevators,bodyfat和wizmir數據集上β 參數敏感性實驗Table 7 Sensitivity experiments of parameterβ on mexihat,elevators,bodyfat and wizmir datasets

圖4 PTSK某次運行的收斂曲線Fig.4 Convergence curves of PTSK at a certain simulation

圖5 8種算法的Friedman檢驗結果Fig.5 Friedman results of eight algorithms

Holm post-hoc檢驗作為事后分析方法,常用于根據Friedman檢驗結果進行最優算法與其他算法的兩兩比較分析.實驗中將PTSK與另外7 種算法進行兩兩比較,如果得到的APV (Adjustedp-value)值小于顯著性水平,即p <α/i,則說明PTSK模糊系統有顯著優勢,反之則說明兩個算法的性能間沒有顯著差異.Holm post-hoc檢驗的結果如表8所示.從表8中數據可知,與對比的7 種算法相比,所提PTSK模糊系統在系統性能上具有顯著優勢.

表8 Holm post-hoc檢驗結果Table 8 Holm post-hoc results

4 結論

本文使用概率模型構建了一種新的概率TSK模糊系統PTSK.在模糊和概率理論的協同工作模式下,PTSK建立了結構辨識和參數優化的協同學習機制.該學習機制將TSK模糊系統的構建視為一個整體,能充分挖掘輸入空間和輸出空間之間的內在聯系.PTSK基于最大后驗概率估計,使用粒子濾波同時求得模糊規則數和前后件參數的最優解,解決了傳統聚類法TSK模糊系統分階段求解參數和模糊規則數需預先設定的問題.實驗結果表明PTSK的逼近性能和模糊規則數均取得了令人滿意的結果.應當指出,本文算法仍存在一些不足之處,例如,在大規模樣本的回歸問題中,PTSK的時間效率還有待提高;另外,PTSK能否有效處理帶噪聲的回歸數據亦沒有進行探討,這將作為我們近期的研究重點.