最大熵原理與假設檢驗方法探討

張鳳寬

（天津商業大學 理學院，天津 300134）

0 引言

在沈世鎰教授的文章[1]中給出了一種改進的經驗分布函數的定義，使之更適用于Shannon熵的計算，并利用推導出的有關結果及最大熵原理給出了一個分布檢驗的新方法，即《分布的熵—矩檢驗法》。為了使這種方法的應用更廣泛，本文擬將一維推廣到二維及至多維的情形。

1 二維經驗分布函數

對于任意給定的二維隨機向量(X,Y)的樣本為了給出它的經驗分布函數，我們先進行如下討論：

從(1)式出發可以得到一維樣本x1,x2,..xm，排序后得x[1]≤x[2]≤...≤x[m],相應地有：

即 {(x[i],yx[i])}(i=1,2...,m)為(2)中的所有樣本，取0＜α＜1/4 ，記 n=m12,n1=m1/2+α,n2=m1/2-α,顯 然n2=m,n1.n2=m,定義[1]（帶“^”者均為經驗分布，以后出現“^”意思相同，不再敘述）

為X的Ⅱ型經驗分布函數。

相應的有分布密度函數：

對于每一個k(0≤k≤n2-1):x[kn1+1],x[kn1+2],..x[kn1+n1]對應于(2)中的

排序得：

取 0＜α'＜1/4，記 n0=n11 2,n3=n11/2+α',n4=n11/2-α',從而n3.n4=n1,=n1（顯然m→∞時，n1=m1/2+α→∞）。

定義

為y關于x的條件經驗分布函數。

相應的分布密度函數為：

當 x[kn1]＜x≤x[(k+1)n1]時。

所以當 x[kn1]＜x≤x[(k+1)n1],yk[ln3]＜y≤yk[(l+1)n3]時，有：

將(3)、(6)式代入(8)式即得二維隨機向量的經驗分布函數：

其相應的分布密度函數為:

不妨假設(1)式中的樣本是來自分布密度函數為f(x,y)的總體中，下面討論 f?m,α,α'(x,y)與 f(x,y)之間的關系。

定理1如果 f(x,y)為支集S上的分布密度函數且為二元連續的。其條件分布密度函數 f(y|x),f(x|y)關于x,y有一致有界導數，其邊際分布密度函數 f1(x),f2(y)分別具有一致有界的導數，且在S上 f1(x)＞0,f2(y)＞0，則對任何，有

證明：

由已知條件 f(y|x)關于 x,y有一致有界導數，而∫f(x,y)dy=1，從而 f(y|x)有界。又由[1]中結論：當 f1(x)有一致有界導數時：

所以：

同時由 f1(x)有一致有界導數及∫f1(x)dx=1知 f1(x)有界。從而由(12)式知：

對于任意給定的x0：對應于每一個固定的m。有且僅有一個k，使得x[kn1]＜x0≤x[(k+1)n1]，所以：

而對于(15)式中的每一個(x[kn1],x[(k+1)n1]]，當m→∞時，n1→∞。且(x[kn1],x[(k+1)n1]]→x0

證畢。

從（1）式出發又可以得到一維樣本y1,y2,...,ym，按照定義的方法可以得到關于y的經驗分布密度函數，同樣與類似定義可得到

定理2在定理1的條件下，若∫f(y|x)|logf(y|x)|dy存在，∫f(y|x)|logf(y|x)|dy關于x一致有界（以概率1），則：

證明：

由文[1]的結論有：

可知：

由于∫f(y|x)logf(y|x)dy以概率1關于x一致有界，故存在M1＞0，使得

再考慮(12)式即知：

對于任意給定的x，由∫f(y|x)|logf(y|x)|dy的存在性及的證明過程，可用(15)～(16)式的極限方法證得：

考慮(14)式即有：

由(20)、(21)、(24)式即知：

定理2證畢。

3 多維的情形

已知多維隨機向量(x1,x2,...xn)(n≥3)的樣本序列為：從上述討論看出，可以從二維樣本(x11,x21),(x12,x22),...(x1m,x2m)出發首先得到m,α,α'(x1,x2)（見（6）式）及相應的（見（7）式），對于每一個給定的k及l，有x3的相應樣本序列(xkl[1],xkl[2],...xkl[n3])

然后與一維推廣到二維完全類似，按照(6)～(9)式的定義方式可以得到：

對于n維情形，可通過

4 最大熵原理與假設檢驗

由此可見，在某些條件下，當且僅當分布密度函數屬于指數分布族時其熵達到最大。所以以下的討論都是在指數分布族中進行。

例1：如何判別一個多元樣本序列

是否服從多元正態分布。

首先從（29）式出發計算數學期望和方差估計值：

當然如果期望和方差均為已知或者二者之一為已知，則不必再計算其估計值。

記 X=(x1,x2,...xn)',A=,B=,（如果ai,bij為已知，則令

如果隨機向量X服從多員正態分布，則其相應的B=(bij)為正定陣，從而有非奇異陣L，使B=LL'，對應于A,B的n元正態分布密度Nn(A,B)為:

由此 f(x1,x2,...xn)可以計算出:

對(31)做如下線性變換:

則逆變換為:

變換（34）的雅可比行列式為:

因此:

由此即知以 f(x1,x2,...xn)為分布密度的多元正態隨機向量的模擬數據可以從標準正態分布的模擬數據求得，

即：如取作為n個獨立模擬的標準正態隨機變數據序列（這種序列可以從（0,1）上均勻分布的模擬數據得到，具體模擬方法見[6]）。經過變換（34）式所得到的X的相應序列:

即為服從Nn(A,B)的多元正態隨機向量序列。關于這一點從（31）～（36）的推導過程中易見。對于不同的（37）中序列就有對應的（38）中的不同序列（服從Nn(A,B)）,并且可以有無窮多組不同的序列（37）、（38），不妨取（38）中的100組。計算其相應的(j=1,2,...100)再與（32）式比較即得Δj=-Hj(f)|(j=1,2,...100)從Δj中依次挑出11個最大值[3]，將它們從大到小排列，分別記為Δm0,Δm1,...Δm10，取Δm1,Δm2,Δm5,Δm10為樣本容量為m時的擬顯著水平α=0.01,0.02,0.05,0.10的臨界值。此即可作為Δ=|H(f?)-H(f)|當 f為n元正態分布密度時的判別標準。增大樣本容量m或增加模擬次數均可提高這種標準的精確度。

對于指數分布族中的其它的連續型向量也可以做類似于例1的處理，即先計算Shannon熵的精確值H(f)，再從樣本出發計算H(f?)，通過模擬得到一個Δ=|H(f?) -H(f)|的判別標準。

上述判別法的缺點在于造表（即Δ的大小判別標準或對應臨界值表）時比較麻煩，但是具體用表時比較簡易。從樣本出發計算H(f?)時在計算機上較易實現。對維數較低的隨機向量這種方法精確度較高，從而比高維時更適用。

[1]沈世鎰.關于Shannon熵的統計計算及其在分布檢驗中的應用[J].高校應用數學學報,1988,12.

[2]Jhon,Willy S.Kullback.Information Theory and Statistics[M].New York:Wiley,1959.

[3]沈世鎰,張潤楚,肖蕓茹.熵矩檢驗法與熵矩檢驗表[D].南開大學, 1985.

[4]張潤楚.多元統計分析[M].天津：南開大學出版社,1986.

[5]林畛.變分法與最優控制[M].哈爾濱：哈爾濱工業大學出版社, 1987.

[6]肖蕓茹.概率統計計算[M].天津：南開大學出版社,1986.