Shannon-Khinchin公理的Ulam穩(wěn)定性

柴志成, 秦曉波

(貴陽學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院, 貴州 貴陽 550005)

香農(nóng)熵是由C. E. Shannon[1]所定義的，其形式為

(1)

它是一種測量概率分布{p1,…,pn}所攜帶信息量的有效方式.H(X)的重要特征就是滿足可加性公理，即H(X?Y)=H(X)+H(Y)，X和Y是2個相互獨立的隨機變量.這種可加性公理也適合一些一般信息熵，如Renyi熵[2-13].

J. H. Havrda等在文獻[14]中提出另外一種帶有參數(shù)q的熵

(2)

具有與Renyi熵不同的數(shù)學(xué)特征.近來，這種Havrda-Charvat熵被稱為Tsallis熵[15].基于經(jīng)典的Dining定理，當(dāng)參數(shù)q→1時Havrda-Charvat熵收斂到香農(nóng)熵.Havrda-Charvat熵沒有和香農(nóng)熵一樣的可加性，不過它卻滿足另外一種更弱的可加性，稱為擬可加Hq(X?Y)=Hq(X)+Hq(Y)+(1-q)Hq(X)Hq(Y).此外，也有人討論了其它參數(shù)模型的豐富結(jié)構(gòu)[9].

這些熵已給廣泛應(yīng)用到眾多領(lǐng)域.如在討論一般Boltzmann-Gibbs統(tǒng)計力學(xué)時，提出了針對Havrda-Charvat熵的兩組公理化描述，包括Shannon-Khinchin公理[16-17].不幸的是，這些公理在數(shù)學(xué)上是不完備的，缺乏必要的唯一性結(jié)論[18].同時，他們也討論這種Havrda-Charvat熵的非擴展熵，包括基于廣義Shannon-Khinchin公理的Havrda-Charvat熵.其中，Shannon-Khinchin公理[19]是由A. D. Faddeev[20]提出.利用比原始Faddeev公理更弱的條件，可以證明香農(nóng)熵的唯一性定理[21].而對于結(jié)構(gòu)化的Havrda-Charvat熵，文獻[7]利用Shannon-Khinchin公理的推廣討論其唯一性.

由于在實際應(yīng)用特別是物理系統(tǒng)中，很多熱動力系統(tǒng)例如龐磁電阻錳氧化物不能長時間停留在非平衡態(tài)而保持規(guī)模不變和各項結(jié)構(gòu),因而，相位空間一般都是非齊性和不穩(wěn)定的.這樣，不能滿足一般的可加性要求.為考慮此問題，文獻[22]引入了Lesche條件，討論κ-熵[3].而文獻[23-25]則考慮了Renyi熵、Havrda-Charvat熵的穩(wěn)定性問題，即在概率分布非常小扭曲情況下的行為變化.但這些結(jié)論還無法回答Havrda-Charvat熵的公理穩(wěn)定性問題.

本文考慮Shannon-Khinchin公理和廣義形式的Ulam穩(wěn)定性.主要針對可加性和擬可加性的擾動.Ulam穩(wěn)定性，最早見于文獻[26]，考慮同構(gòu)映射的穩(wěn)定性，是一般抽象空間的映射穩(wěn)定性.具體講，假設(shè)G1是一個群，G2是一個距離群，賦有距離d(·,·).給定任意ε>0,能否找到δ>0使得函數(shù)h:G1→G2對于所有x,y∈G1滿足d(h(xy),h(x)h(y))<δ.這里存在同構(gòu)L:G1→G2滿足d(h(x),L(x))<ε或所有x∈G1.更多結(jié)論參考文獻[27-38].借助此定義，證明Havrda-Charvat熵可由一些公理和穩(wěn)定性原理唯一確定.此結(jié)論強于文獻[36].在這種穩(wěn)定性意義下，Havrda-Charvat熵是唯一穩(wěn)定的熵.

1 基本公理

Shannon-Khinchin公理是刻畫Havrda-Charvat熵的重要公理.具體來講，令Sn是一個n維單形

(3)

這里p=(p1,…,pn).Shannon-Khinchin公理[1,36]由如下唯一性定理給出.

定理1令Hn(p)是定義在整數(shù)n∈N和p∈Sn上的函數(shù).如果?n∈N，此函數(shù)滿足如下性質(zhì),那么

(4)

k是正整數(shù).

連續(xù)性?n∈N,函數(shù)Hn(·)在Sn中連續(xù)；

最大性對于n∈N和p∈Sn，當(dāng)p1=…=pn=1/n時Hn(·)得到最大值，即對于所有p∈Sn，Hn(p)≤Hn(1/n,…,1/n)；

可擴展性Hn+1(p,0)=Hn(p)基于Shannon-Khinchin公理，H. Suyari[19]給出了廣義Shannon-Khinchin公理.與Shannon-Khinchin公理相比它是刻畫非擴展熵的重要方式.他們基于定理1的相似條件，對于?q∈R+證明了如下定理:

定理2廣義Shannon-Khinchin公理確定了熵函數(shù)Hq:Sn→R+，且滿足

(5)

其中q∈R+和φ(q)滿足性質(zhì)(a)～(d):

(a)φ(q)是連續(xù)的，與q-1具有相同符號,i.e.,φ(q)(q-1)>0,q≠1；

(c) 這里存在一個區(qū)間(a,b)?R+以便a<1

2 主要定理

證明Shannon-Khinchin公理和廣義形式的Ulam穩(wěn)定性定理.

定理3如果集合{Hn}滿足如下條件(?n≥2):

(a)對稱性函數(shù)Hn在對稱群Sn下不變;

(b)單調(diào)性函數(shù)f(x):=H2(1-x,x)(0≤x≤1)滿足H(1/n,…,1/n)=(n1-q-1)/(1-q)和f(1/k)=1.

(6)

其中p∈Sn和px=(p1(1-x),p1x,p2,…,pn)，x∈[0,0.5]；

(d)全局?jǐn)M可加性的擾動對于任意2個獨立的系統(tǒng)Ψ1和Ψ2,聯(lián)合系統(tǒng)Ψ1?Ψ2的熵滿足

|H(Ψ1?Ψ2)-H(Ψ1)-H(Ψ2)-

(7)

(8)

定理4如果集合{Hn}滿足如下條件(?n≥2):

(a)對稱性和連續(xù)性每個函數(shù)Hn在對稱群Sn下不變，且在Sn上連續(xù)；

(b)一般可加性的擾動存在一個常數(shù)δ∈(0,1]和序列{αn|αn>0}滿足

(9)

則對于所有p∈Sn有

這里φ(q)如定理2中所定義.

在給出這2個定理證明之前，先給出一些必要的記號和引理.記

Qj,mj:=(qj,1,…,qj,mj),

Tm1+…+mm:=(p1q1,1,…,p1q1,m1,p2q2,1,…,

p2q2,m2,…,pnqn,1,…,pnqn,mn).

引理1假設(shè){Hn}是一個函數(shù)序列，滿足條件定理3的條件(b)，對于?p∈Sn,Q1,m∈Sm,q1,j+1≤ζ1,j,j=1,…,m-1，有

(11)

引理1的證明可以通過遞推來證明.具體來說，當(dāng)m=2時(對于?n≥2，不等式(11)變成不等式(9)(其中q1,1:=1-x和q1,2:=x).這很容易從假設(shè)條件證明此結(jié)論.現(xiàn)在，假設(shè)不等式(11)對于某些正整數(shù)m≥2和每個n≥2成立.對于任意固定的p∈Sn和Q1,m+1∈Sm+1，其中q1,j+1≤ζ1,j有

引理2假設(shè){Hn}是函數(shù)序列，滿足定理3的條件(a)～(b).對于?p∈Sn,Qj,mj∈Smj，其中,qj,i+1≤ζj,i,i=1,…,mj-1，n,mj=2,3,…,j=1,…,n，可得

(13)

Vμj+j=(pj+1qj+1,1,…,pnqn,mn,p1,…,pj)∈Sμj+j，

j=1,…,n-1.

由此可得

(14)

引理3對于任意整數(shù)n≥3，假設(shè)序列{Hn}，滿足定理3的條件(b),那么對于p∈Sn且pk+1≤sk,k=1,…,n,n=3,4,…可以得到

引理3的證明當(dāng)n=3時,由f的定義和公式(9)，可得不等式(15).對于n≥3，可以通過遞推得到結(jié)論.對于固定的整數(shù)n≥3，假設(shè)不等式(15)成立，考慮任意固定的pk+1≤sk,k=1,…,n,可以得到

(16)

定理3的證明在不等式(7)中，令Ψ1=Ψ2=Ψ，可以得到

|Hq(Ψ?Ψ)-2Hq(Ψ)-

這等價于

(17)

由此遞推可以得到

|nq-1-1|m-3n-2δn,

(18)

即

ln(1+(1-q)Hq(Ψ))≥

(19)

ln(1+(1-q)Hq(Ψ))≤

(20)

其中，當(dāng)m→∞時某些f(m)→0.而且，對于很大的m和n可以找到整數(shù)對(t,s)滿足nm

(22)

因此，當(dāng)m→∞時可以得到

它等價于

(C1+C2)C,

(24)

(25)

因此

這樣，得到g(q)=1-q和

(26)

定理4的證明對于廣義Shannon-Khinchin公理，考慮如下特例.對于?i=1,…,n和j=1,…,mi，令m=m1=…=mn和pi=1/n,qi,j=1/m，不等式(13)可改寫為

|Fmn(mn)-Fn(n)-n1-qFm(m)|≤

Cn-δm-δ+Cn1-qm-δ.

(28)

交換不等式(28)中的變量m和n,可以得到

|Fn(n)-n1-qFm(m)-Fm(m)-m1-qFn(n)|≤

(29)

即

min{m-δ(n-δ+n1-q),n-δ(m-δ+m1-q)}.

從而當(dāng)n或m→∞時有

它僅依賴于變量q.因而.存在函數(shù)φ(q)(q∈R+)滿足

(30)

其中，φ(q)是滿足性質(zhì)(a)～(d)的函數(shù)，將在下面得到證明.

|F(u)-f(vu-1)-

(1-vu-1)qF(u-v)-vqu-qF(v)|≤

Cu-δ+C(u-v)q-δu-q+Cvq-δu-q.

(31)

再利用ut和vt分別代替u和v(并且t→∞)，對于v≥2和u≥v+2可得

(32)

上面的不等式很容易擴展到任意整數(shù)對(v,u),v

(33)

對于n=2,方程(33)可由F的定義和f直接得到.

現(xiàn)在，假設(shè)方程(33)對n有效,需要擴展到n+1.對于v=1,u=n+1，改寫不等式(31)為

F(n+1)-F(n)=

(34)

其中

這樣，由方程(30)，等式(34)變?yōu)?/p>

(35)

因此

(36)

由此可得:

(b)φ(q)(q-1)≥0，因為當(dāng)f(n)≥0時G(n)與f(n)具有同樣符號；

(c)φ(q)與f具有相同的可微性；

[1] Shannon C E, Weaver W. The Mathematical Theory of Communication[M]. Urbana:Univ Illinois Press,1963.

[2] Golshani L, Pasha E, Yari G. Some properties of Renyi entropy and Renyi entropy rate[J]. Info Sci,2009,179(14):2426-2433.

[3] Zarezadeh S, Asadi M. Results on residual Renyi entropy of order statistics and record values[J]. Info Sci,2010,180(21):4195-4206.

[4] Teixeira A, Matos A, Antunes L. Conditional Renyi entropies[J]. IEEE Trans Info Theory,2012,58(7):4273-4277.

[5] Golshania L, Pashab E. Renyi entropy rate for Gaussian processes[J]. Info Sci,2010,180(8):1486-1491.

[6] Jizba P, Kleinert H, Shefaat M. Renyi’s information transfer between financial time series[J]. Physica A:Statistical Mechanics and Its Applications,2012,391(10):2971-2989.

[7] Kovacevic M, Stanojevic I, Senk V. Some properties of Renyi entropy over countably infinite alphabets[J]. Problems of Information Transmission,2013,49(2):99-110.

[8] Lesche B. Renyi entropies and observables[J]. Phys Rev,2004,E70(1):7102-7105.

[9] Renyi A. On measures of entropy and information[C]//Proc 4th Berkeley Symp Math Stat Prob,1961,1:547-561.

[10] Blanco D D, Casini H, Hung L Y, et al. Relative entropy and holography[J]. J High Energy Phys,2013,2013:60.

[11] Klebanov I R, Pufu S S, Sachdev S, et al. Renyi entropies for free field theories[J]. J High Energy Phys,2012,2012:74.

[12] Renyi A. Wahrscheinlichkeitsrechnung mit Einem Anhang über informationsteorie[C]//VEB. Berlin:Deutscher Varlan der Wissenschaften,1962.

[13] Zarezadeh S, Asadi M. Results on residual Renyi entropy of order statistics and record values[J]. Info Sci,2010,180(21):4195-4206.

[14] Havrda J H, Charvat F. Quantification methods of classification processes: concept of structuralα-entropy[J]. Kybernetika(Prague),1967,3:30-35.

[15] Tsallis C. Possible generalization of Bolzmann-Gibbs statistics[J]. J Stat Phys,1988,52:479-487.

[16] Vajda I. Theory of Statistical Inference and Information[M]. Dortrecht:Kluwer Academic Publishers,1989.

[17] Abe S. Axioms and uniqueness theorem for Tsallis entropy[J]. Phys Lett,2000,A271:74-79.

[18] dos Santos R J V. Generalization of Shannon’s theorem for Tsallis entropy[J]. J Math Phys,1997,38:4104-4107.

[19] Suyari H. Generalization of Shannon-Khinchin axioms to nonextensive systems and the uniqueness theorem for the nonextensive entropy[J]. IEEE Trans Info Theory,2004,50:1783-1787.

[20] Faddeev A D. On the notion of entropy of a finite probability space[J]. Uspekhi Mat Nauk,1956,11:227-231.

[21] Khinchin A I. The concept of entropy in probability theory[J]. Uspekhi Mat Nauk,1953,8:3-20.

[22] Tveberg H. A new derivation of the information function[J]. Math Scand,1958,6:297-298.

[23] Kaniadakis G, Scarfone A M. Lesche stability ofα-entropy[J]. Phys,2004,A340:102-109.

[24] Abe S. Stability of Tsallis entropy and instabilities of Renyi and normalized Tsallis entropies: a basis forq-exponential distributions[J]. Phys Rev,2002,E66:6134-6139.

[25] Tsallis C. Entropy[J]. Computational Complexity,2012,21(4):940-964.

[26] Abe S. Stability analysis of generalized entropies andq-exponential distributions[J]. Physica,2004,D193:84-89.

[27] Ulam S M. A Collection of Mathematical Problems[M]. New York:Interscience Publ,1960.

[28] Hyers D H. On the stability of the linear functional equation[J]. Proc Nat Acad Sci,1941,27:222-224.

[29] 玉強,郭艷平. 一般四次方程的穩(wěn)定性[J]. 四川師范大學(xué)學(xué)報:自然科學(xué)版,2013,5:703-707.

[30] 張德金,向淑文,周永輝. 有限理性下擬變分不等式問題解的穩(wěn)定性[J]. 四川師范大學(xué)學(xué)報:自然科學(xué)版,2012,6:730-733.

[31] Rassias T M. On the stability of the linear mapping in Banach spaces[J]. Proc Am Math Soc,1978,72:297-300.

[32] Ger R. Superstability is not natural[J]. Rocznik Nauk Dydakt Prace Mat,1993,159:109-123.

[33] Kim G H. Stability of the lobacevski equation[J]. J Nonlinear Sciences Its Applications,2011,4(1):11-18.

[34] Ger R, Semrl P. The stability of the exponential equation[J]. Proc Am Math Soc,1996,124:779-787.

[35] Hyers D H, Isac G, Rassias T M. Stability of Functional Equations in Several Variables[M]. Boston:Birkhauser,1998.

[36] Maksa G. The stability of the entropy of degree alpha[J]. J Math Anal Appl,2008,346:17-21.

[37] Brzdek J. Hyperstability of the Cauchy equation on restricted domains[J]. Acta Math Hung,2013,141(1):58-67.

[38] Khinchin A I. Mathematical Foundations of Information Theory[M]. New York:Dover,1957.