模糊鄰域粗糙集的決策熵不確定性度量

樊雲瑞，張賢勇+，楊霽琳

(1.四川師范大學 數學科學學院，四川 成都 610066；2.四川師范大學 智能信息與量子信息研究所，四川 成都 610066)

0 引 言

模糊粗糙集采用模糊相似關系及矩陣表示，能夠系統分析模糊性與粗糙性[1-4]；鄰域粗糙集采用鄰域關系及距離函數，能夠深入探尋粒度層次結構信息[5-7]。結合模糊粗糙集與鄰域粗糙集，Wang等[8]構建模糊鄰域粗糙集，該新模型能夠有效與廣泛實施不確定性度量、半徑粒化、特征選擇等。例如，徐風等[9]融合近似粗糙度與模糊鄰域粒度，建立混合不確定性度量；任曉霞和薛凡[10]定義模糊鄰域依賴度，開發啟發式屬性約簡算法；Shreevastava等[11]采用直覺思想延伸模糊鄰域粗糙集，進行特征選擇。

不確定性度量及其粒化單調性是信息系統智能分析的基礎[12,13]，其通常具有代數表示與信息表示[14]，相關融合蘊含著更強的刻畫能力。立足經典粗糙集，Jiang等與Zhou等[15,16]將對數信息函數作用于粗糙度提出相對決策熵，再融合依賴度改進到依賴決策熵，最終實施特征選擇。模糊鄰域粗糙集的代數與信息融合度量還未見相關報道。

綜上，模糊鄰域粗糙集的不確定性度量值得深入探討。本文借鑒文獻[15,16]的決策熵建立模糊鄰域決策熵，進行信息表示與代數表示的融合與擴張，揭示關于屬性與半徑的雙重粒化單調性。所建模糊鄰域決策熵將改進文獻[9]的混合不確定性度量并推廣文獻[15,16]的決策熵，有利于模糊鄰域粗糙集環境下的不確定性魯棒處理。

1 模糊鄰域粗糙集

(1)

模糊鄰域近似精度、近似粗糙度分別為

(2)

(3)

基于模糊關系RB的模糊鄰域依賴度為

(4)

2 模糊鄰域決策熵

2.1 模糊鄰域相對決策熵與模糊鄰域依賴決策熵

模糊鄰域粗糙集具有不確定性機制與半徑粒化機制，能夠有效進行決策信息系統的信息處理與知識發現，而不確定性度量成為基礎。文獻[9]提出模糊鄰域粒結構粒度

(5)

(6)

NMMδ(B)考慮了粒度結構與粗糙度的融合，相關的粒化單調性表明了其有效性[9]。但是，NMMδ(B) 還停留在度量的代數表示，信息表示值得加入[14]。鑒于經典粗糙集中已經具有融合代數表示與信息表示的決策熵[15,16]，下面在模糊鄰域粗糙集中借鑒與推廣決策熵，構建模糊鄰域決策熵并揭示粒化單調性。

定義2[16]基于經典粗糙集，B?C相對于D的相對決策熵為

(7)

(8)

(9)

定義4[15]基于經典粗糙集，B?C相對于D的依賴決策熵為

(10)

定義5 基于模糊鄰域粗糙集，B?C相對于D的模糊鄰域依賴決策熵為

(11)

2.2 實例說明

這里提供一個實例來說明模糊鄰域決策熵。

例1：給定決策信息系統DIS=(U,C,D,V,f)， 屬性子集B?C導出模糊相似關系RB的矩陣設為

其中，元素γij表示第i個與j個對象之間的模糊相似度RB(xi,xj)。 設模糊鄰域半徑δ1=0.2， 可得對象的模糊鄰域，相關的相似關系矩陣為

首先計算模糊決策類的近似及相關度量。基于定義1

基于定義3與定義5，關于決策類有

關于決策分類有

下面說明屬性粒化單調性。設P?B?C， 由P導出的模糊(鄰域)相似關系矩陣為

類似可計算得出

以及模糊鄰域決策熵

由此可見度量單調性

最后說明半徑粒化單調性。給定新半徑δ2=0.4， 模糊鄰域相似關系矩陣為

類似計算可得

以及

由此可見度量單調性

3 不確定性度量實驗分析

下面從UCI機器學習數據庫(http://archive.ics.uci.edu/ml)選取5類數據集(見表1)進行實驗分析，從而驗證模糊鄰域決策熵進行不確定性度量的合理性與優越性。

表1 UCI數據集描述

歸一化預處理采用公式

對象xi與xj在屬性a下的模糊相似度定義為

其中，λ∈(0,1] 為給定參數，實驗中統一使用λ=0.3。 下面，γ、RDE、DRDE分別表示模糊鄰域依賴度、模糊鄰域相對決策熵、模糊鄰域依賴決策熵。為聚焦粒化單調性，首先選取自然屬性增鏈

{c1}?{c1,c2}?{c1,c2,c3}?…?C

(12)

(第g個鏈元為 {c1,…cg}=Ag)， 再聚集半徑減列

δ1>δ2>δ3>…>0

(13)

(第h個列點記為δh)， 最后綜合考慮 (Ag，δh) 二維集成粒化變化。

3.1 屬性粒化的單調性與有效性

采用式(12)的基本屬性增鏈，計算γ、RDE、DRDE這3種度量的序列值，以揭示相關粒化單調性。5種數據集采用的半徑參數分別為：0.1、0.2、0.2、0.1、0.2。基于實驗，圖1提供全部數據集的度量值折線。

圖1 5類UCI數據集關于屬性增鏈的3種度量折線

觀測圖1，隨著屬性數目的增加，γ在增加即系統不確定性在減小，此時RDE和DRDE都在減小，該結果驗證了相關的屬性粒化單調性并說明了決策熵不確定性度量的合理性。聚焦glass與wine數據集的前端鏈元可見，當屬性數目變化時，γ不變或者變化很小，而對應的RDE與DRDE要變或者變化明顯，這體現出RDE與DRDE的優越性，即它們可以比γ具有更好的分類識別能力。事實上，對比于γ，RDE和DRDE在5類數據集上都表現出更大的單調性跨度(即具有更大的變化率ΔRDE/Δg與ΔDRDE/Δg)， 因此它們對知識結構具有更強的描述功能與區分能力。類似地，就決策熵而言，DRDE在不確定性度量上比RDE更加強大與更優化。因為DRDE在RDE上融合了γ信息，而RDE與γ具有相反的屬性粒化單調性，因此DRDE對RDE進行了修正與改進，兩者具有相似的單調性曲線，但DRDE具有更加明顯的單調性與變化率，即其不確定性度量效果更佳。總之，DRDE具有與γ、RDE的一致和諧性，并且系統集成了兩者的優點。

下面深入驗證DRDE的合理性。針對屬性增鏈及鏈元子集，采用支持向量機(SVM)訓練來求得分類精度，并通過分類精度的變化來評估DRDE的合理性。基于屬性增鏈，圖2描繪了5類數據集的分類精度變化與DRDE變化。

圖2 5類UCI數據集關于屬性增鏈的分類精度與DRDE折線

觀測圖2，DRDE與分類精度總體上成負相關關系。在屬性增鏈上，DRDE度量的系統不確定性在減小而分類精度總體上在增加；當DRDE表現最低的不確定性程度時，對應的分類精度達到最高。這說明DRDE具有合理且優異的不確定性度量效果。

3.2 半徑粒化的單調性與顯著性

下面針對最終的模糊鄰域依賴決策熵DRDE，考慮半徑關聯的粒化單調性與顯著性，并給出半徑的適宜取值范圍。為此，半徑減列(式(13))針對區間[0.05,0.6]及步長0.05，再結合屬性增鏈(式(12))計算二維粒化系統的DRDE度量值，即計算相關三維值 (Ag，δh，DRDE)。 圖3 提供所有數據集的圖像表現。

圖3 5類UCI數據集關于屬性增鏈的半徑減列的DRDE變化曲面

基于圖3，DRDE針對確定屬性子集(即Ag) 與半徑減小仍然呈現減小趨勢，故表現了半徑粒化單調性。換言之，隨著半徑減少，系統不確定性也隨之減少，這從閾值角度說明了DRDE不確定性度量的合理性。再考慮相關的變化率ΔDRDE/Δg或ΔDRDE/Δ(δh)。 觀測結果可見，當半徑較大時，DRDE較大但單調變化不顯著；這是由于大半徑放寬了對象模糊相似度，較粗的知識結構會影響不確定性評估。對比地，當半徑較小時，DRDE較小但單調變化比較顯著，這個結果可由數據圖的上凸性趨勢深刻說明。當然，半徑不能太小，例如小得靠近0.05會導致知識過于精細，相應的圖結果不能充分表明粒化單調性(特別針對屬性數目較大的細化粒化)。

總之，基于半徑減列的實驗與分析呈現了相關的粒化單調性，而且在適當半徑時單調性更加顯著，即DRDE的不確定性度量效果更好。基于相關實驗，模糊鄰域半徑選取0.1-0.2比較適宜，此時DRDE更加有效地發揮著不確定性度量功能，也就更加有利于后續的智能處理與知識發現。

4 結束語

針對模糊鄰域粗糙集，文獻[9]的混合不確定性度量還沒有考慮到信息表示。本文自然推廣文獻[15,16]的決策熵到模糊鄰域粗糙集，建立模糊鄰域決策熵，獲得關于屬性與半徑的雙重粒化單調性。模糊鄰域決策熵深入融合代數表示與信息表示獲得了強健性、改進性，相關實驗驗證了基于粒化單調的不確定性度量有效性以及基于參數顯著性分析的適用性與魯棒性。模糊決策熵具有先進的不確定性分析性能，相關的特征選擇還需要深入探討。