一種度量數據信息不確定性的方法?

范 碩 宋 波

（成都信息工程大學網絡空間安全學院 成都 610225）

1 引言

對數據信息的不確定性度量常用的方法是信息熵和方差。熵的概念首先出現在19 世紀的熱力學中，之后成為了玻爾茲曼理論的一個重要組成部分，在20世紀中葉，香農［1］提出了信息熵的概念，信息熵是信息論的核心概念之一，Stone J V［2］對信息論以及信息熵相關的思想進行了詳細總結，Kull?back 和Leibler［3］把信息熵引入了統(tǒng)計學領域，從物理領域、通信領域到統(tǒng)計學領域，熵的定義雖有聯(lián)系但實際意義是有區(qū)別的，在三個領域中熵分別是對無序、信息、不確定性的度量。Ebrahimi N［4～5］等指出在數據分布為指數型或者數據方差未知的情況下，分別以方差和熵度量數據的信息含量結果可能是不一致的，并進一步指出熵與方差之間并不存在普遍的對應關系。Robinson D W［6］對熵理論下的基本統(tǒng)計思想進行了綜述，并指出熵是不確定性度量的最佳方法。Ou C J［7］等在熵的基礎上基于La?grange-d"Alembert變分原理定義了一種稱為varent?ropy 的測度用來對隨即數據的不確定性進行度量。Commenges D［8］對信息理論和統(tǒng)計理論的研究指出，不確定性不僅僅是和信息的多少相對的，在某些情況下，不確定性會隨著附加信息的增加而增加。Lima R 和Sampaio R［9］指出，不可能對所有隨機變量（離散的和連續(xù)的）使用相同的統(tǒng)計指標，不確定性會根據所選擇的集合不同而有不同的變化，此外，在離散數據和連續(xù)數據的不確定性度量中熵的意義也是不同的。Wang Qiuping A［10］給出了一種不同于香農信息熵形式的變分定義形式，并證明在多種不同分布的數據度量中可以取得一致的結果，Tarald O K［11］給出了另外一種簡單的信息熵定義形式，并用多種分布的隨機數據測試證明了度量的有效性?；谛畔㈧氐亩攘糠椒ú粌H應用于通信和統(tǒng)計學等相關領域的數據分析中，在社會學數據分析［12］、經濟投資數據分析［13］以及網絡安全數據分析［14～15］等領域內也有著廣泛的應用，一種高效的數據信息的度量方法對諸多領域的研究發(fā)展都有很大的應用價值。

目前，對不確定性與概率之間的關系的研究更多的是基于信息熵，但其他的度量方法也一直在探索中。方差曾經是統(tǒng)計學中不確定性度量的常用方法，它比信息熵更簡單并且更有規(guī)律，但是方差的度量結果和信息熵的度量結果有時候是不一致的，特別是在數據分布未知或數據量未知的情況下，方差和信息熵可能會給出相反的評估結果。本文基于累積方差定義了一種不同于傳統(tǒng)的方差度量方法的新的不確定性度量方法，并進行了詳細分析和測試。

2 度量方法

假設當前需要度量的數據或信息的屬性集合是X ，xi是屬性集合X 中的屬性，如果把屬性集合X 分為S 和S"兩個子集合，S" 是X 中S 的絕對補集，其中S=｛xi｝，S"=｛xj|xj∈X,xj?S｝，對屬性集合X 中的每個xi都做上述劃分，則可以把每組S 和S"看做是0-1 分布，屬性集合X 即為一系列0-1 分布的集合。在屬性集合X 里面屬性的數量和組合方式可以是固定的也可以是動態(tài)的，我們以屬性集上的0-1分布的累積方差作為度量的基礎。

2.1 基本定義

定義屬性集合X =｛x1，…，xi，…，xn｝，pi為屬性集X 中屬性xi的概率或權重，則對xi在屬性集X 上劃分為S 和S"表示形式后的0-1 分布的方差為

進一步對屬性集X 則有d(x)：

其中d(x)的取值范圍為［0，1），d(x)作為我們的不確定性基本度量指標，可以稱d(x)為不確定性函數，d(x)值為屬性集X 的不確定性大小，d(x)=0意味著所度量的系統(tǒng)是完全確定的，也即不確定性最小，d(x)→1 意味著所度量系統(tǒng)的不確定性趨于無限大，也即確定性趨于最小。

2.2 擴展定義

上述定義的形式限制了d(x) 的取值范圍為［0，1），進一步可以把d(x)的取值范圍從［0，1）擴展到［0，+∞），我們定義了兩種形式的擴展變換，一種非線性擴展變換，一種線性擴展變換。

2.2.1 非線性擴展變換

通過sigmoid函數擴展變換d(x)為s(x)：

其中函數s(x)由下面的sigmoid 函數形式推倒得出，

上面等式右半部分的定義形式是為了保證函數s(x)為正，通過上述變換可以把d(x)的取值范圍擴展到［0，+∞）。 s(x)的取值即為sigmoid 非線性擴展的不確定性大小。

2.2.2 線性擴展變換

假設屬性集中屬性的數量為n，把函數d(x)放大n倍則有：

稱l(x)為線性擴展變換后的不確定性函數，當n 趨向于無窮大時，則有l(wèi)(x) 無限趨近于函數f(x)=x。

上述兩種不確定性的擴展定義在對數據進行不確定性度量時和信息熵的度量效果是相似的，下一節(jié)我們繼續(xù)詳細討論相關的細節(jié)。

3 分析

3.1 性質

3.1.1 非負性和上凸性

當屬性集合中每個屬性的概率相等時，函數d(x)在當前的屬性數量維度上取最大值，即：

對函數s(x)和l(x)分別有如下公式成立：

3.1.2 對稱性和可擴展性

d(x)的結果僅與所度量系統(tǒng)的總體統(tǒng)計特性有關，如果某些系統(tǒng)總體的統(tǒng)計特性相同，不管其內部結構如何，這些系統(tǒng)的d(x)值都相同。若有兩個系統(tǒng)的屬性集合X 和X"，其中集合X 包含n個屬性，集合X"包含n+1 個屬性，系統(tǒng)X"只比X多了一個方差接近于0 的屬性，則兩個集合的取值趨近于相同，即對屬性集在小方差的屬性上的有限擴展對于整體屬性集合的貢獻可以忽略不計。對s(x)和l(x)同理。

3.1.3 確定性

即d(x)存在下限，且下限為0，即當系統(tǒng)屬性集合X 中只存在一個屬性時，d(x)=0，即屬性X是完全確定的，屬性X 為必然事件。對s(x)和l(x)同理。

3.1.4 可加性

可加性我們可以分為兩種討論。第一種是所度量系統(tǒng)屬性集合中的屬性或者子集合的可加性，若屬性集合X 包含n 個屬性，屬性xi概率或權重為pi，對于函數d(x)則有：

第二種是若系統(tǒng)屬性集合可分為若干子集，每個子集又可再分為若干子屬性，在所有子屬性上具有可加性。假設屬性集合X 分為n個子集合，子集合xi的概率或權重為pi，每個子集合可進一步劃分，例如，子集合xi包含mi個子屬性，每個子屬性的概率或權重為qji，且假設屬性集合X 為｛x1，…，xi，…，xn｝，則子集合xi為｛x1i，…，xji，…，xmii｝，有如下等式成立：

其中mi為子集合xi中子屬性的數量。

對于函數l(x)，在劃分子集后對每個子屬性也具有可加性，但需要根據屬性數量對屬性權重有所調整。對函數l(x)上的第一種可加性有：

對函數l(x)上的第二種可加性有：

函數s(x)不具有集合屬性和子屬性的可加性，在函數s(x)上有下面不等式嚴格成立：

3.2 結果分析

下面我們把上述三種函數定義d(x) 、s(x) 、l(x)和信息熵一起進行討論。我們最初的目標是尋找一種對數據進行不確定性度量時比信息熵計算速度更快的度量指標，以更好地應對實時性要求很高的場景，可以把d(x)、s(x)、l(x)看做是類信息熵度量指標，它們有類似的表現形式和指示意義，但是數學基礎和理論前提是不同的。信息熵通過信息量來反映系統(tǒng)的混亂程度即不確定性程度。而d(x)根據系統(tǒng)內所有屬性的累積方差來度量整個系統(tǒng)的不確定性程度，累積方差越大，系統(tǒng)的不確定性越大，累積方差越小，系統(tǒng)的不確定性越小。

下面我們對d(x)、s(x)、l(x)和信息熵四個指標的統(tǒng)計特性進行具體對比分析。

1）樣本等概率條件下的不同屬性數量的度量指標統(tǒng)計分析。

圖1 屬性數量-度量指標值對應圖

若度量系統(tǒng)屬性集內有n 個屬性，假設每個屬性的權重或概率均為1/n，圖1 為n 從1～1000 范圍內四個指標的統(tǒng)計圖。圖1 中entropy 子圖為信息熵的統(tǒng)計圖；d(x)子圖為d(x)指標的統(tǒng)計圖，其下限為0，上限趨近于1；s(x)子圖為s(x)的統(tǒng)計圖；l(x)子圖為l(x)的統(tǒng)計圖，隨著屬性數量增多，其結果無限趨近于y=x。四個指標的意義基本是相同的，趨近于0代表系統(tǒng)越確定性越大，趨向于1或無窮代表系統(tǒng)不確定性越大。

2）樣本隨機概率條件下的三屬性數量的度量指標統(tǒng)計分析。

若系統(tǒng)屬性集中只有兩個屬性，當兩個屬性概率相等時，度量值有最大值。當屬性集包含三個屬性時，我們隨機生成1000 個樣本數據，所有樣本數據分布如圖2 所示，其中X 軸和Y 軸表示樣本三個屬性中兩個屬性的概率，Z 軸分別表示四個指標信息熵值、d(x)值、s(x)值、l(x)值，四個指標的函數均為上凸函數，極值點在屬性概率相等處。

圖2 三個屬性下的度量指標值

3）樣本隨機概率條件下的不同屬性數量的度量指標統(tǒng)計分析。

圖3 為屬性集合中分別包含2 個、4 個、6 個、8個屬性時，隨機生成1000 個樣本，四個指標整體的分布變化情況，其中X 軸表示的是每個樣本的所有屬性的總體方差（即常規(guī)的方差計算，和我們在指標定義中的累積方差計算是不一樣的）?？梢钥吹?，隨著屬性數量的增加，樣本屬性之間的總體方差的整體分布范圍開始變小，而四種指標取值整體趨向增大。

圖3 不同屬性數量下的隨機數據的屬性間方差和度量指標的對應分布圖

對于隨機的無規(guī)律的樣本數據，當屬性增加時，屬性集上的總體方差趨向于0，而按信息熵理論屬性集的不確定性應該是增加的，此時以信息熵和常規(guī)的方差計算所度量的結果是相反的，而d(x)的度量方法和信息熵是相同的。

4 擴展討論

4.1 假設討論

上述對于d(x)定義的假設前提是基于累積的0-1 分布，我們還可以有另外一種假設，假設屬性集合X 為｛x1，…，xn｝，則有二維屬性隨機變量（X，X），對應二維聯(lián)合分布列為

表1 （X，X）的聯(lián)合分布表

d(x)定義為整個系統(tǒng)的不確定性度量。同時即有p(xi,xj) (xi=xj) 為xi和xj對系統(tǒng)的確定性貢獻度：

d"(x)為系統(tǒng)的確定性度量。 d(x)越大，對應d"(x)越小，系統(tǒng)的不確定性程度越高，d(x)越小，對應s(x) 越大，系統(tǒng)的確定性程度越大。滿足l(x)。式（16）和基于0-1 分布累積方差的方法（式（2））是等價的。

4.2 計算時間

圖4 為四個指標在包含不同屬性數量的情況下的計算時間對比。上面子圖為計算1 個樣本消耗的時間，下面子圖為計算500 個樣本消耗的時間，其中time單位為s，橫坐標軸表示屬性集中包含屬性的數量，其中d(x)、s(x)、l(x)的計算消耗大體相同，計算時間相比信息熵計算的耗時更少。

圖4 計算時間對比

5 結語

上述我們定義的度量方法，從0-1 分布的角度看是一個簡化降維模型，是把對屬性集合的多維度量問題轉化為累積的單屬性二分度量問題；而從聯(lián)合概率分布角度看，則是把原有屬性空間擴展到更高維的空間進行統(tǒng)計分析。通過升維可以找到更多的特征和統(tǒng)計規(guī)律，通過降維可以簡化問題，在這里兩者只是描述形式不同。對于離散型隨機數據可以直接應用該方法，但不能直接在連續(xù)型數據中應用，連續(xù)型數據的情況更復雜，如何簡化對連續(xù)型數據的表示以及度量等問題需要更多的研究。