基于模糊子空間聚類的〇階L2型TSK模糊系統

鄧趙紅 張江濱 蔣亦樟 史熒中 王士同

?

基于模糊子空間聚類的〇階L2型TSK模糊系統

鄧趙紅*張江濱 蔣亦樟 史熒中 王士同

(江南大學數字媒體學院 無錫 214122)

經典數據驅動型TSK(Takagi-Sugeno-Kang)模糊系統在獲取模糊規則時，會考慮數據的所有特征空間，其帶來一個重要缺陷：如果數據的特征空間維數過高，則系統獲取的模糊規則繁雜，使系統復雜度增加而導致解釋性下降。該文針對此缺陷，探討了一種基于模糊子空間聚類的〇階L2型TSK模糊系統(Fuzzy Subspace Clustering based zero-order L2- norm TSK Fuzzy System, FSC-0-L2-TSK-FS)構建新方法。新方法構建的模糊系統不僅能縮減模糊規則前件的特征空間，而且獲取的模糊規則可對應于不同的特征子空間，從而具有更接近人類思維的推理機制。模擬和真實數據集上的建模結果表明，新方法增強了面對高維數據所建模型的解釋性，同時所建模型得到了較之于一些經典方法更好或可比較的泛化性能。

Takagi-Sugeno-Kang(TSK)模糊系統；醫療診斷；解釋性；高維數據

1 引言

模糊系統是以模糊集合[1]和模糊推理理論為基礎演變而來的一種人工智能系統，其主要特點是能夠將自然界的模糊語言轉化成與人類推理機制相似的模糊規則。目前，模糊系統已被廣泛應用于各個領域，如圖像處理、智能決策等[2,3]。與其他的人工智能技術相比，模糊系統不僅具有強大的學習能力，而且具有高度解釋性[4,5]。模糊系統憑借這一獨特優勢，在醫療診斷中被廣泛應用[6,7]。當一種智能模型在醫療診斷中被應用時，人們希望它具有強的解釋能力和良好的可靠性。模糊系統通過模糊推理機制，對某種醫學疾病建立相應的模糊規則，模擬專家診斷疾病的過程，幫助醫生解決復雜的醫學診斷問題。

在已有的幾種經典模糊系統中，Takagi-Sugeno- Kang(TSK)[8,9]模糊系統由于其輸出的簡潔性和良好的逼近性能被廣泛探討和運用[10,11]。不同于早期基于專家經驗的模糊系統構建方法，數據驅動型模糊系統正日益成為最主要的模糊系統構建方法。經典數據驅動型TSK模糊系統在模型訓練過程中，采用訓練樣本的全部特征來構建模糊規則。而對于模糊邏輯系統來說，其解釋性主要來自于模糊規則中的模糊集可對應于人類的語言描述，故經典TSK模糊系統在對高維數據進行訓練時，會因采用大量的特征而使其規則太復雜，使得清晰度和解釋性下降。在醫療診斷中，要求系統具有很強的解釋性，而大量醫學數據都具有較高的特征空間。若將經典TSK模糊系統用于醫療檢測，勢必導致系統的解釋性驟降。本文所提出的FSC-0-L2-TSK-FS模型能夠利用FSC聚類，將模糊規則映射到不同子空間。當從高維數據中獲取模糊規則時，規則前件并不需要數據的全部特征，而是采用FSC聚類所抽取的子空間特征，從而有效地降低了所建模型的復雜性，增強了規則的清晰度和解釋性。將FSC-0-L2-TSK-FS模型與醫療診斷相結合，每條模糊規則可從不同的視角(特征空間)對疾病進行醫療診斷，更符合專家診斷的推斷過程。

2 高維數據驅動的模糊系統建模

2.1 經典TSK模糊系統簡介

根據文獻[12]，經典模糊系統包括Takagi- Sugeno-Kang模糊系統模型(TSK-FS), Mamdani- Larsen模糊系統模型(ML-FS)[13]和廣義模糊系統模型(GFM)[14]。由于TSK模型的廣泛應用，本文以該模型為例探討高維數據驅動的模糊系統建模以及面臨的挑戰。對于經典TSK模糊模型，其模糊規則定義如下。

若將乘算子、加算子分別作為合取和析取操作算子，加法算子作為組合算子，同時采用重心反模糊操作，經過去模糊化之后，最終的輸出可表示為

2.2 經典TSK模糊系統高維數據之挑戰

實踐表明，經典TSK模糊系統在處理高維數據時，其解釋性和簡潔性下降嚴重，具體表現在以下兩方面。

3 基于模糊子空間聚類的〇階L2型TSK模糊系統建模

3.1模糊規則構建

根據2.2節所提出的經典TSK模糊系統之不足，本文探討了一種基于模糊子空間聚類的〇階L2型TSK模糊系統(Fuzzy Subspace Clustering based zero-order L2-norm TSK Fuzzy System, FSC-0-L2- TSK-FS)構建方法，其所對應的模糊規則如下。

與經典TSK模糊系統規則相比，該規則具有如下特色。

3.2基于模糊子空間聚類的規則前件學習

模糊子空間聚類[15](FSC)能將高維數據空間轉化到其相關的子空間中進行聚類。在模糊子空間聚類中，每一類給定權重向量，用于表示不同的特征(維度)對于該類的貢獻程度。FSC-0-L2-TSK-FS可根據FSC中特征權重思想，為規則抽取重要特征。根據文獻[16]，FSC的優化目標函數及其約束條件可寫成

FSC-0-L2-TSK-FS模型的每條模糊規則對應輸入向量的特征子空間，特征子空間又與模糊子集對應。若采用高斯隸屬函數作為模糊子集的隸屬度函數，第條規則的模糊子集的隸屬函數可以表示為

根據3.2節規則前件的特征選取以及式(3)，FSC-0-L2-TSK-FS模型的輸出可以表示成

其中

則式(10)可表示成

類似于L2-SVR[20]的學習原理，在引入結構風險項和正則化項之后，最終的優化目標函數可表示成

通過最優化理論，將式(18)轉化為對偶問題：

最終，根據3.2節獲取的FSC-0-L2-TSK-FS規則前件，以及本小節運用二次規劃理論求解得到的模糊規則后件參數，整合得到FSC-0-L2-TSK-FS模型和模糊規則庫。

4 實驗研究

4.1 實驗設置

實驗部分分別采用模擬數據集和UCI中的Heart，Breast數據集進行實驗評估和驗證。本文選取3種經典TSK模糊系統模型作為對比算法，分別為基于-不敏感損失函數的L2型TSK模糊系統[18](L2-TSK-FS)，基于IQP優化算法的-不敏感損失函數的TSK模糊系統[17](-TSK-FS(IQP))、基于LSSLI優化算法的-不敏感損失函數的TSK模糊系統[17](-TSK-FS(LSSLI))。實驗中，采用5倍交叉驗證策略對參數進行尋優。其中，模糊規則數的尋優集合為{2,3,4,5,6,7,8,9,10,11,25,32}；高斯函數尺度參數的尋優集合為；規則化參數的尋優集合為；特征選取參數的尋優集合為{0.6,0.62, 0.64,,1.2}；FSC模糊指數參數的尋優集合為{1.05,1.5,5,10,50,100,1000}。

為對各算法所得模型的泛化性能進行對比，采用分類正確率作為實驗評價指標。正確率越接近1，說明模型的性能越好。為對所構建的模糊系統的復雜度進行對比，采用指標來描述模型的復雜度。其中表示模糊規則數目，表示第條模糊規則前件所抽取的特征數目，表示第條模糊規則后件參數個數。值越小，說明模型的規則復雜度越低，清晰度越高，語言解釋性越強。

4.2模擬數據集實驗

為體現模型適宜于高維數據和解釋性強的特色，構造的模擬數據需具有如下特征：(1)具有較高的維數；(2)具有若干重要特征，并適當添加一些非重要特征和干擾項；(3)添加的重要特征需對應于不同的特征子空間。根據設置，生成400組30維4類分類數據。100組數據為一類，每類所對應的重要特征分別為1{3,7,12,18,25},2{6,7,8,9,10,11,12},3{15,17,19,21,23,24},4{2,7,12,17,22}。

算法的性能對比如表1所示。從中可以得出結論如下：(1)由于受到非重要特征強烈的干擾作用，3種經典TSK模型的系統性能下降嚴重，而FSC-0- L2-TSK-FS模型仍能保持良好的系統性能。(2)3種經典TSK模型采用模擬數據的全部特征(30個特征)來構建模糊規則。規則復雜度非常大，說明模糊規則太復雜，導致模型解釋性下降嚴重。FSC-0-L2-TSK-FS模型只為規則選取一些重要特征，規則復雜度降低至105，增強了模型的清晰度和解釋性。

表1模擬數據實驗算法性能對比

FSC-0-L2-TSK-FS模型達到最優時，為每條模糊規則抽取的子空間特征如表2所示。通過表2可以發現，規則所抽取的子空間特征與模擬數據的重要特征絕大部分是相吻合的。說明FSC-0-L2-TSK- FS模型具有準確抓取數據重要特征的能力。圖1所示為FSC-0-L2-TSK-FS模型的每條模糊規則空間特征分布情況。由圖1可以看出，FSC-0-L2- TSK-FS模型通過FSC算法得到的聚類有著明顯的子空間特征，其權值最高的幾個特征恰好與表2所對應。

表2模擬數據實驗FSC-0-L2-TSK-FS模型為每條規則抽取的特征

圖1 模擬數據在FSC-0-L2-TSK-FS模型最優時每條規則的空間特征分布情況

4.3真實數據集仿真實驗

本部分通過采用UCI機器學習庫中的Heart, Breast數據集來進行實驗。Heart數據集共有270組實驗樣本，每組樣本有13個特征(維度)。270組實驗樣本被分成兩類，分別為正常類和心臟病類。Breast數據集共有699組數據，每組數據包含10個特征(維度)。699組數據中，有458組良性乳腺瘤病例和241組乳腺癌病例。

各算法的實驗結果和評價指標如表3所示。通過表3可得出結論有：(1)與3種經典TSK模型相比，FSC-0-L2-TSK-FS模型的性能與其相差無幾，在誤差允許范圍內。(2)3種經典TSK模型無法為規則抽取重要的子空間特征，導致規則復雜度很高。FSC-0-L2-TSK-FS可為規則抽取重要子空間特征，規則復雜度分別降低至32和47，增強了規則的簡潔性和解釋性。

表3 UCI數據實驗算法性能對比

為進一步驗證FSC-0-L2-TSK-FS所構建的模型解釋性增強之特性，選取L2-TSK-FS作為對比算法，選取Breast數據作為對比數據。表4為L2-TSK- FS達到最優時為每條規則抽取的特征及其高斯隸屬函數表示和結論部分描述；表5為FSC-0-L2- TSK-FS達到最優時為每條規則抽取的特征及其高斯隸屬函數表示和結論部分描述。通過對比可得出結論：(1)規則前件。L2-TSK-FS為每條規則選用全部的特征，每一特征對應于一個模糊子集。對于模糊邏輯系統來說，其解釋性主要來自于模糊規則中的模糊集可對應于人類的語言描述。L2-TSK-FS模型因規則中含有的模糊子集太多，導致模型的解釋性下降。FSC-0-L2-TSK-FS為每條規則抽取不同的特征，并且不同規則對應不同的特征子空間。這樣可使獲取的模糊規則更加易于語言描述，也使得模糊規則從不同的視角對問題進行推理，增強了模型的簡潔性和解釋性。(2)規則后件。L2-TSK-FS的后件為特征向量的線性組合形式，使得后件繁雜，簡潔性下降；L2-TSK-FS的規則后件為常數，增強了規則后件的簡潔性。

表4 L2-TSK-FS為每條規則抽取的特征及其高斯隸屬函數表示(Breast)

表5 FSC-0-L2-TSK-FS為每條規則抽取的特征及其高斯隸屬函數表示(Breast)

5 結束語

本文通過利用FSC聚類中的特征權值矩陣，構造出一種FSC-0-L2-TSK-FS模型。新方法能運用較少的重要特征來構建模糊規則，每條模糊規則對應于數據的特征子空間；具有較強的去噪能力，能夠去除掉對系統穩定性干擾強的特征，保證了系統的魯棒性；能準確把握住數據中的重要特征，所構建的模糊規則對應于不同的特征子空間，推理的側重點不相同，更加符合人類的推理機制，增強了模型的解釋性。

目前，FSC-0-L2-TSK-FS模型仍具有一定的缺陷。若給出的訓練數據子空間特征不明顯，會因丟失特征而導致系統泛化性能下降。如何從子空間特征不明顯的高維數據中獲取具有更強解釋性的模糊系統是今后將進行的工作。

參考文獻

[1] Zadeh L A. Fuzzy sets[J]., 1965, 8(3): 338-353.

[2] 李奕, 吳小俊. 基于監督學習的Takagi Sugeno Kang模糊系統圖像融合方法研究[J]. 電子與信息學報, 2014, 36(5): 1126-1132.

Li Yi and Wu Xiao-jun. A novel image fusion method using the Takagi Sugeno Kang fuzzy system based on supervised learning[J].&, 2014, 36(5): 1126-1132.

[3] 宋恒, 王晨, 馬時平, 等. 基于非單點模糊支持向量機的判決反饋均衡器[J]. 電子與信息學報, 2008, 30(1): 117-120.

Song Heng, Wang Chen, Ma Shi-ping,A decision feedback equalizer based on non-singleton fuzzy support vector machine[J].&, 2008, 30(1): 117-120.

[4] Lughofer E. On-line assurance of interpretability criteria in evolving fuzzy systems–achievements, new concepts and open issues[J]., 2013(251): 22-46.

[5] Riid A and Rüstern E. Adaptability, interpretability and rule weights in fuzzy rule-based systems[J]., 2014(257): 301-312.

[6] Thong N T and Son L H. HIFCF: an effective hybrid model between picture fuzzy clustering and intuitionistic fuzzy recommender systems for medical diagnosis[J]., 2015, 42(7): 3682-3701.

[7] Sanz J A, Galar M, Jurio A,Medical diagnosis of cardiovascular diseases using an interval-valued fuzzy rule-based classification system[J].ng, 2014(20): 103-111.

[8] Takagi T and Sugeno M. Fuzzy identification of systems and its applications to modeling and control[J].,,1985(1): 116-132.

[9] Sugeno M and Kang G T. Structure identification of fuzzy model[J]., 1988, 28(1): 15-33.

[10] Jiang Yi-zhang, Chung Fu-lai, Ishibuchi H,. Multitask TSK fuzzy system modeling by mining intertask common hidden structure[J]., 2015, 45(3): 548-561.

[11] Fadali S and Jafarzadeh S. TSK observers for discrete type-1 and type-2 fuzzy systems[J]., 2014, 22(2): 451-458.

[12] Chung Fu-lai, Deng Zhao-hong, and Wang Shi-tong. From minimum enclosing ball to fast fuzzy inference system training on large datasets[J]., 2009, 17(1): 173-184.

[13] Mamdani E H. Application of fuzzy logic to approximate reasoning using linguistic synthesis[J]., 1977, 100(12): 1182-1191.

[14] Azeem M F, Hanmandlu M, and Ahmad N. Generalization of adaptive neuro-fuzzy inference systems[J]., 2000, 11(6): 1332-1346.

[15] Gan Guo-jun and Wu Jian-hong. A convergence theorem for the fuzzy subspace clustering (FSC) algorithm[J]., 2008, 41(6): 1939-1947.

[16] Deng Zhao-hong, Choi Kup-sze, Chung Fu-lai,Enhanced soft subspace clustering integrating within-cluster and between-cluster information[J]., 2010, 43(3): 767-781.

[17] Leski J M. TSK-fuzzy modeling based on-insensitive learning[J].,2005, 13(2): 181-193.

[18] Deng Zhao-hong, Choi Kup-sze, Chung Fu-lai,Scalable TSK fuzzy modeling for very large datasets using minimal- enclosing-ball approximation[J].,2011, 19(2): 210-226.

[19] Juang Chia-feng and Chiang Loa. Zero-order TSK-type fuzzy system learning using a two-phase swarm intelligence algorithm[J]., 2008, 159(21): 2910-2926.

[20] Tsang I W, Kwok J T Y, and Zurada J M. Generalized core vector machines[J]., 2006, 17(5): 1126-1140.

Fuzzy Subspace Clustering Based Zero-order L2-norm TSK Fuzzy System

Deng Zhao-hong Zhang Jiang-bin Jiang Yi-zhang Shi Ying-zhong Wang Shi-tong

(,,214122,)

The classical data driven Takagi-Sugeno-Kang (TSK) fuzzy system considers all the features of trained data, and faces a challenge that the interpretation is degenerated and the obtained fuzzy rule is complex when trained by high dimensional data. In this paper, a new fuzzy model,.., Fuzzy Subspace Clustering based zero-order L2-norm TSK Fuzzy System (FSC-0-L2-TSK-FS) is proposed to overcome this difficulty. The proposed fuzzy system not only reduces the feature spaces of the rule of antecedent, but also makes different rules implement the inference indifferent subspaces. The inference mechanism of the proposed fuzzy model training algorithm is very similar to the inference procedure of human.The experimental studies on the synthetic and real datasets prove that the interpretation of model constructed by the proposed method is enhanced when trained by high dimensional data and the generalization performance is better or comparative to several classical TSK fuzzy systems training methods.

Takagi-Sugeno-Kang (TSK) fuzzy system; Medical diagnosis; Interpretability; High-dimensional data

TP391

A

1009-5896(2015)09-2082-07

10.11999/JEIT150074

鄧趙紅 dzh666828@aliyun.com

2015-01-13收到，2015-05-11改回，2015-06-29網絡優先出版

國家自然科學基金(61170122)，江蘇省杰出青年基金(BK20140001)和新世紀優秀人才支持計劃(NCET120882)資助課題

鄧趙紅： 男，1981年生，副教授，碩士生導師，研究方向為計算智能和模糊計算.

張江濱： 男，1990年生，碩士生，研究方向為計算智能和模糊計算.

蔣亦樟： 男，1988年生，博士生，研究方向為人工智能和模式識別.

史熒中： 男，1970年生，博士生，研究方向為人工智能和模式識別.

王士同： 男，1964年生，教授，博士生導師，研究方向為人工智能和模式識別.