模糊積分分類器中的自適應模糊測度

李雪非，顧志華，馮慧敏

模糊積分分類器中的自適應模糊測度

李雪非1，顧志華1，馮慧敏2

（1．河北農業大學 理學院，河北 保定 071001；2．河北大學 數學與計算機學院，河北 保定 071002）

與其他分類器相比較，模糊積分分類器具有可以表示特征屬性間交互作用的特性．確定合適的模糊測度是其關鍵因素之一．模糊測度的確定方法主要有2種：專家給定和從歷史數據學習獲得．由于模糊測度自身的復雜性，模糊測度主要是從數據中學習得到．為了能夠更好地利用特征屬性在樣例空間體現出的局部特征，提出了一種用人工神經網絡實現自適應模糊測度的方法．使得模糊測度可以隨著輸入樣例的不同而變化，及時反映出在對樣例進行分類過程中各特征屬性的重要性和屬性間的交互作用的不同，從而提高分類性能．實驗證明該方法有效，可行．

模糊積分；模糊測度；分類器；交互作用；人工神經網絡

MSC 2010：28E10

在20世紀的70年代Sugeno［1］打破傳統測度的可加性以及積分的線性性質，提出了模糊測度和模糊積分——Sugeno積分，模糊測度具有不可加性，同時模糊積分也變成了非線性的．后來Murofushi和Sugeno［2］又提出了一種模糊積分——Choquet積分，Choquet積分是勒貝格積分的直接推廣，當模糊測度具有可加性時，Choquet積分完全退化為勒貝格積分，并且不斷有新的模糊積分出現［3］．因為具有不可加性，模糊測度適合于描述在分類過程中特征屬性間的交互作用，使得模糊積分分類器在存在交互作用的分類問題中具體有不可替代性．在模糊積分分類器中，確定合適的模糊測度是獲得高分類性能的關鍵因素之一．模糊測度的確定通常有2種方式：領域專家指定和從歷史數據學習．由于模糊測度自身的復雜性，使得從歷史數據中學習得到模糊測度的方法成為實際應用中的主要方法．已有許多從歷史數據中確定模糊測度的參考文獻．James［4］給出了基于混淆矩陣的確定λ－模糊測度的方法；Grabisch［5］等提出了確定模糊測度的線性規劃模型和二次規劃模型，并在文獻［6］中對二次規劃模型進行了推廣；王震源［7］等用遺傳算法、神經網絡［8］和迭代方法［9］確定模糊測度，王熙照［10］用粒子群算法確定模糊測度的方法等等．這些確定模糊測度的方法都是假設特征屬性的重要性以及交互作用在整個樣例空間是相同的．在整個樣例空間，特征屬性的重要性及其之間的交互作用具有很明顯的局部不同性，而不是全部樣例空間是一樣的，這是更合理的假設．這在現實問題中是很常見的，比如現代醫學中主要分西醫和中醫2個系統體系．西醫在手術、急診方面可能具有很好的優勢，而中醫在治療糖尿病等系統性慢性疾病更有突出的優點．因此同一特征屬性在對不同的樣例進行分類時，其重要性也不同；同樣，特征屬性之間的交互作用在樣例空間的不同區域也是不同的．為了充分體現特征的重要性以及交互作用在樣例空間的不同區域體現出的不同特性，本文提出一種自適應模糊測度，使得模糊測度可以根據待識別樣例的不同而變化，充分利用特征屬性的重要性和交互作用的局部特征．這將有助于提高模糊積分分類器的分類性能．

1 模糊積分分類器

1．1 模糊測度

模糊測度是對經典測度（即可加測度）的推廣．這里僅介紹適用于模糊積分分類器的有限集合上的模糊測度［11］．

定義1 設X＝｛x1，x2，…，xn｝為非空有限集合，P（X）為X的冪集，集函數μ：P（X）→（－∞，＋∞），若集函數μ滿足下列條件：

1）μ（?）＝0（歸零性）；

2）對任意A?X，有μ（A）≥0（非負性）；

3）對任意A?B，A?X，B?X，有μ（A）≤μ（B）（單調性），則稱μ為模糊測度，也稱為單調測度．

模糊測度是非可加的，非可加性體現為次可加性

模糊測度的非可加性恰恰可以用來表示分類問題中特征屬性間的交互作用．

當模糊測度滿足μ（X）＝1時，稱為正則模糊測度，通常在模糊積分分類器中應用的都是正則模糊測度．在模糊積分類器中經常用到一種具有特定構造性質的模糊測度——λ－模糊測度．

定義2 模糊測度μ滿足下面條件時稱為λ－模糊測度．存在常數λ＞－1，使得μ（A，B）＝μ（A）＋μ（B）＋λμ（A）μ（B），其中A?X，B?X，A∩B＝?．

λ－模糊測度具有下面2個重要的性質．

性質1 設μ為定義在P（X）上的λ－模糊測度，E1，E2，…，Em為P（X）中互不相交的m個集合，則

λ－模糊測度在單點集上的值稱為模糊密度．由性質2和性質1可知，只需知道模糊密度就可以完全確定λ－模糊測度．對于含有n個元素的集合，普通模糊測度中需要確定的參數為2n－1個，而λ－模糊測度中僅含有n個待確定參數．這使得在應用中λ－模糊測度受到很多使用者的歡迎．

1．2 模糊積分

1．3 可能性理論

可能性理論是Zadeh在模糊集理論及模糊邏輯基礎上于1978年提出的［12］．此后Dubois和Prade也在可能性理論方面做出了一定的貢獻［13］．可能性理論是處理不確定信息的一種理論工具，類似于概率論，但是不同于概率論，最突出的是可能性理論不具有可加性．概率論是通過一個可加函數表示對于知識的確定性以及不確定性．而可能性理論中，對于知識的確定性部分以及不確定性部分是通過必要性測度以及可能性測度來表示．因為沒有可加性條件限制，可能性理論在表示知識的確定性成分以及不確定性成分時，更加符合人類的語言推理邏輯．可能性理論已經成功應用于很多領域，例如區間分析、數據分析、數據查詢等．

定義4［12］設Y是一個變量，Y的可能取值為論域U，則可能性分布ΠY為定義在U上的一個模糊關系，是對Y可能取值的彈性約束．用ΠY的隸屬度函數πY如下表示：

其中，等式的左邊符號表示變量Y取值為u的可能性．πY稱為可能性分布ΠY的可能性分布函數．

πY（u）＝0表示Y不可能取值為u；πY（u）＝1表示Y完全可能取值為u（即毫不意外的、必然的）．將可能性分布對應于概率論中的概率分布，可能性分布函數對應于概率論中的概率密度函數或者概率分布律，有助于理解定義3中的內容．

1．4 模糊積分分類器

假設分類問題中的樣例o是用n個特征屬性描述，共有c個類．分類問題就是根據待分類樣例o的n個特征屬性值，將樣例o分類到最有可能的類．用函數π（Ci｜X）表示根據全部特征屬性進行分類時，樣例o屬于Ci類的可能性，那么對應最大π（Ci｜X）值的類就是樣例o的分類結果．用函數π（Ci｜xj）表示僅依據特征屬性xj，樣例o屬于Ci類的可能性．就像概率論里一樣，π（Ci｜X）相當于聯合分布，π（Ci｜xj）相當于邊緣分布．就像在概率論中一樣，聯合分布和邊緣分布是緊密聯系的．合理的假設是聯合分布與邊緣分布之間存在某種關系［14］，即

在實際分類問題中，確定邊緣分布π（Ci｜xj）比聯合π（Ci｜X）容易的多．那么找到合適的函數F（·）是關鍵之一．這里利用Choquet積分的非線性關系來表示特征屬性之間的交互作用，作為上式中的F（·）．

總結前面的討論，對模糊積分分類器做如下總結．模糊積分分類器的學習過程是根據歷史數據，先確定邊緣可能性分布函數π（Ci｜xj）；然后確定連接邊緣可能性分布函數與聯合可能性分布函數π（Ci｜X）的函數F（·），為Choquet積分確定恰當的模糊測度．模糊積分分類器用于分類的過程就是將待分類的樣例的各特征屬性值代入邊緣分布函數π（Ci｜xj），再計算聯合分布函數π（Ci｜X），最大聯合分布函數π（Ci｜X）值對應的類，作為模糊積分分類器對樣例的分類結果．接下來介紹邊緣分布函數π（Ci｜xj）的確定．

在確定邊緣分布函數π（Ci｜xj）時，僅根據訓練集中屬于Ci類的樣例，用li表示屬于Ci類中的樣例數量．先如下構建“可能性直方圖”：

將特征屬性xi的值域分成若干不相交的部分，統計Ci類的li個樣例的特征屬性xi的值在各個部分內的比例，記為類中特征屬性xi的值在第r個部分的樣例個數，即可得可能性直方圖．然后尋找一個與這個直方圖最貼近的可能性分布函數π（Ci｜xj）．如果特征屬性是離散值的，可以將每個可能性屬性值看做一個部分，此時就將pr看做是π（Ci｜xj）的值；如果特征屬性是連續的，則將取值區間分割為若干個小區間，一般選取5～15個為宜，樣例越多，可以分割的小區間的個數可以越多一些，用線性插值對這些pr插值可得π（Ci｜xj）．當然也可以利用其它插值函數，本文選擇線性插值函數．

2 自適應模糊測度

由于模糊測度直接影響模糊積分分類器的分類性能．因此，如何確定模糊測度成為模糊積分分類器中的一個重點研究問題．從歷史數據確定模糊測度的方法主要有啟發式方法［4］、優化方法［6］、進化算法［7］、群體智能算法［10］等．這些確定模糊測度的方法都是假設特征屬性的重要性以及交互作用在整個樣例空間是相同的．在整個樣例空間，特征屬性的重要性以及交互作用具有很明顯的局部特性，而不是全部樣例空間是一樣的，這是更合理的假設．同一特征屬性對不同的樣例，其重要性不同；特征屬性之間的交互作用在樣例空間的不同區域也是不同的．為了充分體現特征屬性的重要性以及交互作用在不同樣例空間的不同特性，下面詳細介紹本文所提出的自適應模糊測度方法．

將一個待分類樣例隸屬于各類的邊緣可能性記作矩陣D，即

πj，i即π（Ci｜xj），依據特征屬性xj樣例屬于Ci類的可能性．關于模糊測度在分類過程的作用，有以下結論．

命題1［15］給定c類分類問題中的樣例o，含n個特征屬性．若對任意i≠k，1≤j≤n都有其中πj，i表示僅根據特征屬性xj把樣例o分到Ci類的可能性，k表示樣例o的真實類別，則至少存在1個λ－模糊測度，使得模糊積分分類器的分類結果是正確的．

該命題說明，對某樣例，若真實類對應列的最大值大于其他任意一列的最小值，則存在λ－模糊測度，使得對該樣例的分類是正確的．命題1也表明，模糊測度具有自適應性，能夠根據待分類的樣例而變化，則分類正確率可以有很大提高．下面給出用BP人工神經網絡實現自適應模糊測度的一種算法，為每一類訓練一個神經網絡，神經網絡的輸入為待識別樣例，輸出為定義在P（X）上的一個λ－模糊測度的模糊密度，該λ－模糊測度表明了在判斷該樣例是否屬于此類時，各特征屬性的重要性以及特征屬性之間的交互作用．人工神經網絡的學習方法已有很多［16］，這里不做研究．因此提出的算法主要集中于訓練人工神經網絡的數據如何獲得．因為人工神經網絡的輸入是待識別樣例的特征屬性，因此如何得到期望輸出才是最關心的．訓練人工神經網絡的每個樣例的期望輸出都可以按照如下步驟確定．

第1步：初始化期望輸出；令每一類對應的λ－模糊測度的模糊密度均為

第4步：判斷下一個輸入樣例．

注意上面的算法是同時調整每一類所對應的模糊密度，這里利用了特征屬性間的交互作用，不能對一類的模糊密度單獨調整．這里關鍵的是第3步，其主要思想是如果存在可以使得分類結果正確的模糊測度，則通過逐步加大能夠正確分類的特征屬性的模糊密度，同時降低產生錯誤分類的特征屬性的模糊密度，迭代尋找到能夠使分類結果正確的模糊測度．

3 實驗

實驗的主要目的是對本文中提出的自適應模糊測度在模糊積分分類器中的有效性進行驗證．對自適應模糊測度方法和其他確定模糊測度方法進行比較．實驗中使用了UCI機器學習數據庫中的一些標準數據庫，這些數據的詳細信息列于表1．

表1 實驗中使用的數據Tab．1 Data used in experiment

本次實驗中，用遺傳算法［7］確定普通模糊測度和λ－模糊測度；用神經網絡來實現自適應模糊測度，為了和神經網絡分類器相區別，稱該神經網絡為自適應模糊測度神經網絡．用隨機抽取的70%樣例作為訓練集，剩余的30%作為測試集．在每個數據集上重復實驗50次，平均分類結果列于表2．

表2 各數據庫上的50次實驗的平均結果正確率Tab．2 Averaged results of 50 times on each data accuracy

從表2可以看出，用遺傳算法確定的普通模糊測度產生的分類正確率通常高于λ－模糊測度（Iris除外），這是因為普通模糊測度含有更多的參數，可以學習到更多的訓練數據中的信息，而對于Iris，訓練數據太少，造成了過學習，才使得測試正確率有所降低．而用人工神經網絡確定的自適應模糊測度產生的分類正確率是3種方法中最高的．實驗結果表明，自適應模糊測度可以實時地將特征屬性的重要性及其之間的交互作用的局部特征反映在分類過程中，從而使得分類正確率得到提高．這證實了，若特征屬性的重要性及其之間的交互作用可以隨待分類樣例的不同而變化，分類正確率可以得到進一步提高，也證實了這一設想的合理性．此外，訓練自適應模糊測度神經網絡的時間比用遺傳算法要短很多．

4 討論

在分類問題中，不同特征屬性在對一個樣例的分類過程中所起的作用是不同的，而且特征屬性間還存在交互作用，是得到普遍認同的［1－2，4－6］．一個特征屬性在分類中所起到的重要度用一個數值來刻畫，這一數值的確定是根據該特征屬性在整個樣例空間中的作用來確定的．同樣地，幾個特征屬性間的交互作用也是以整個樣例空間為依據所確定的一個數值．就像在概率中描述一個隨機變量，用一個數值來代表這個隨機變量，很自然地會選擇這個隨機變量的均值，但是均值并不能完全代替隨機變量本身．就像前面提到中醫、西醫的例子，很多實際問題中，特征屬性的重要性及其之間的交互作用在樣例空間的不同區域有不同的表現．因此在一些分類問題中，將特征屬性的重要性及其交互作用看做是隨待識別樣例而變化是合理的．而模糊測度和模糊積分恰恰可以表示重要性和交互作用，并合理地應用于分類過程中．因為普通模糊測度中的參數關于特征屬性的個數成指數級增長，對于一個普通的分類問題都會有非常大量的參數需要確定，從而需要大量的樣例，這是不可行的，因此這里選擇λ－模糊測度，使得需要確定的參數大大減少．而人工神經網絡具有很好的函數回歸能力［16］，而且經過很多學者的研究和實踐應用，積累了大量的結論和經驗，也驗證了人工神經網絡具有很強的實用性，基于此選用人工神經網絡來實現自適應λ－模糊測度．當然這不是唯一的實現方法．首先，人工神經網絡不是完美，有其自身的一些局限性，比如容易陷入局部極小．其次，人工神經網絡的訓練數據中的目標輸出的確定不是唯一的．這里的目標輸出的確定思路是逐步調整各屬性的模糊密度，能夠提供正確分類信息的特征屬性的模糊密度逐步增大，而提供錯誤分類信息的特征屬性的模糊密度逐漸減小，最終得到一個能夠使得分類結果正確的模糊密度．但是這里給出的調整公式不是唯一的．因此，尋找更好的人工神經網絡中目標函數的確定方法，以及探討人工神經網絡之外的實現自適應模糊測度的方法，都是值得進一步深入探究的．

在學習階段，這里實現自適應模糊測度的方法比確定模糊測度的一般方法：線性規劃模型和二次規劃模型、遺傳算法、粒子群更具有優勢．這可以從學習時間和計算量2個方面進行比較．在分類問題中，訓練樣例一般都比較多，這樣使得線性規劃和二次規劃、遺傳算法、粒子群都需要大量的計算，導致學習時間很長，尤其是遺傳算法和粒子群，因為這2個智能算法都需要大量的迭代過程，所以計算量更大、計算時間更長．相比較而言，人工神經網絡的計算量小而且學習時間短．在測試階段對一個樣例分類時，自適應模糊測度比普通的模糊測度多一個解多項式方程的過程，而這個計算量和需要的時間都是不大的．

5 結論

為了充分利用分類過程中各特征屬性的重要度及其之間的交互作用在樣例空間中的不同區域有不同的表現，而不是一成不變的特點，提出了自適應模糊測度的人工網絡實現方法，使得模糊測度能夠隨著待識別樣例的不同及時反映特征屬性重要性的變化和屬性間交互作用的變化．通過實驗證明了，用神經網絡實現自適應模糊測度的方法使得分類正確率有了明顯提高，該方法是有效的、簡單可行的，同時也驗證了特征屬性在樣例空間的不同區域確有不同的重要性和不同的交互作用．這為更充分利用特征屬性的重要性及其之間的交互作用來提高分類性能提供了一個新的視角，進一步探討更有效的、簡易可行的新方法來利用特征屬性的重要性和交互作用在樣例空間的局部所體現出的不同性是未來研究工作的一部分．

［1］ SUGENO M．Theory of fuzzy integrals and its applications［D］．Tokyo：Tokyo Institute of Technology，1974．

［2］ SUGENO M，MUROFUSHI T．Choquet integral as an integral form for a general class of fuzzy measures［Z］．Tokyo，Proceedings of Second IFSA Congress，1987．

［3］ 尤翠蓮，王根森．一類新的模糊積分的性質［J］．河北大學學報：自然科學版，2011，31（4）：337－340．

YOU Cuilian，WANG Gensen．Properties of a new kind of fuzzy integra［J］．Journal of Hebei University：Natural Science Edition，2011，31（4）：337－340．

［4］ JAMES M KELLER，PAUL GADER，HOSSEIN TAHANI，et al．Advances in fuzzy integration for pattern recognition［J］．Fuzzy Sets and Systems，1994，65：273－283．

［5］ GRABISCH M，SUGENO M．Multi－attribute classification using fuzzy integral［Z］．San Diego，1st IEEE International Conference on Fuzzy Systems，1992．

［6］ GRABISCH M，NICOLAS J M．Classification by fuzzy integral：performance and tests［J］．Fuzzy Sets and Sytems，1994，65：255－271．

［7］ WANG Zhenyuan，LEUNG KWONG－SAK，WANG Jia．A genetic algorithm for determining nonadditive set functions in information fusion［J］．Fuzzy Sets and Systems，1999，102：463－469．

［8］ WANG Jia，WANG Zhenyuan．Using neural networks to determine Sugeno measures by statistics［J］．Neural Networks，1997，10（1）：183－1997．

［9］ JAMES M KELLER，JEFFREY OSBORN．Training the fuzzy integral［J］．International Journal of Approximate Reasoning，1996，15：1－24．

［10］ WANG Xizhao，HE Yulin，DONG Lingcai，et al．Particle swarm optimization for determining fuzzy measures form data［J］．Information Science，2001，181（19）：4230－4252．

［11］ WANG Zhenyuan，GEORGE J KLIR．Fuzzy measure theory［M］．New York：A division of Plenum Publishing Corporation，1992．

［12］ ZADEH L A．Fuzzy sets as a basis for a theory of possibility［J］．Fuzzy Sets and Systems，1978，1：3－28．

［13］ DUBOIS D，PRADE H，SABBADIN R．Decision－theoretic foundations of possibility theory［J］．European Journal of Operational Research，2001，128：459－478．

［14］ GRABISCH M．Fuzzy integral in multicriteria decision making［J］．Fuzzy Sets and Systems，1995，69：279－298．

［15］ FENG Huimin，LI Xuefei，FAN Tiegang，et al．Some characteristics of fuzzy integrals as a multiple classifiers fusion method［Z］．LDANIEL SYEUNG，LIU Zhiqiang，WANG Xizhao，et al．Advances in Machine Learning and Cybernetics，2006：1014－1024．

［16］ MARTIN T HAGAN，HOWARD B DEMUTH，MARK BEALE．Neural network design［M］．Boston：PWS Pulishing Company，2002．

（責任編輯：王蘭英）

Self－adaptive fuzzy measure for fuzzy integrals classifiers

LI Xue－fei1，GU Zhi－hua1，FENG Hui－min2
（1．College of Science，Agricultural University of Hebei，Baoding 071001，China
2．College of Mathematics and Computer Science，Hebei University，Baoding 071002，China）

By comparison with other classifiers，fuzzy integrals classifiers are peculiar in that it can express the interaction among features of examples．It is a key to determine appropriate fuzzy measures in fuzzy integrals classifiers．There are two main methods of determining fuzzy measures：specified by domain experts and learning from history data．Because of the complexity of fuzzy measures，fuzzy measures are determined from the history data mainly．To make good use of the local character of interaction among features in examples space，this paper proposes a method to achieve self－adaptive fuzzy measures based on neural networks．The fuzzy measure could change with different examples．The different importance of features and the interaction among features can be reflected in classification in time．The classification performance will be improved．Our experiment results show that this method is effective and feasible．

fuzzy integral；fuzzy measure；classifier；interaction；neural network

O29

A

1000－1565（2012）04－0342－07

2011－04－12

河北農業大學非生命學科和新興學科科研基金項目（Fs20100802）；河北省教育廳科學技術研究計劃項目（Z2011263）；河北省自然科學基金資助項目（F2011201063）

李雪非（1978－），男，河北邯鄲人，河北農業大學講師，主要從事機器學習方面的研究．

E－mail：sxlixuefei＠hebau．edu．cn