關于時齊馬爾可夫鏈的一個極限定理的討論

周茂俊，蔡曉薇，鄭林，袁宏俊

（安徽財經(jīng)大學統(tǒng)計與應用數(shù)學學院，安徽蚌埠233030）

關于時齊馬爾可夫鏈的一個極限定理的討論

周茂俊，蔡曉薇，鄭林，袁宏俊

（安徽財經(jīng)大學統(tǒng)計與應用數(shù)學學院，安徽蚌埠233030）

針對同一作者主編的兩本隨機過程教材中不一致的結(jié)論展開討論，通過分類舉例論證，得出時齊馬爾可夫鏈的條件下，狀態(tài)j為正常返時的結(jié)論應為，而不是。并在fij=d的特殊情況下，借助Stolz極限定理給出簡捷的證明。

隨機過程；馬爾可夫鏈；Stolz定理；轉(zhuǎn)移概率

近幾十年來，隨機過程無論是在理論上還是在應用上都有著蓬勃的發(fā)展，它的基本知識和方法廣泛應用于工程技術(shù)、生物信息及經(jīng)濟領域等。馬爾可夫過程是一類非常重要的隨機過程，為了研究系統(tǒng)的長期趨勢及穩(wěn)定性，討論馬爾可夫鏈的極限情況就顯得尤為必要。目前，關于時齊馬爾可夫鏈的極限的相關理論已經(jīng)相當成熟，多數(shù)學者轉(zhuǎn)而研究非時齊的，且多側(cè)重于中心極限定理的研究，如劉文，楊衛(wèi)國[1]，王學武[2]，郭明樂[3]，李應求，王蘇明，胡楊利[4]等。筆者基于教學過程中發(fā)現(xiàn)的研究時齊馬爾可夫鏈的背景下同樣的極限問題不同教材給出了不同結(jié)論為出發(fā)點展開討論，搞清楚基本結(jié)論的對錯，并在此基礎上借用Stolz極限定理來加以證明。

1 問題的提出

1.1 馬爾可夫鏈簡介

馬爾可夫過程是一類具有“無后效性”的隨機過程，即知道過程現(xiàn)在的條件，其將來的條件分布不依賴于過去。該文只考慮離散時間離散狀態(tài)的馬爾可夫鏈，下面給出相應的定義及極限定理。文中的定義定理及有關記號均與教材[5-7]一致。

定義1當馬爾可夫鏈的轉(zhuǎn)移概率pij=P{Xn+1=j|Xn=i}只與狀態(tài)i，j有關，而與n無關時，稱之為時齊馬爾可夫鏈；否則稱之為非時齊的。

定義2稱條件概率pij（n）=P{Xm+n=j|Xm=i}，i，j∈S；m≥0；n≥1為馬爾可夫鏈的n步轉(zhuǎn)移概率。

定義3以fij（n）=P{Xn=j，Xk≠j，k=1，2，…，n-1|X0=i}，n≥1記從i出發(fā)經(jīng)n步后首次到達j的概率，令，若fii=1，則稱狀態(tài)i為常返狀態(tài)；若fii＜1，稱狀態(tài)i為非常返狀態(tài)。對于常返狀態(tài)i，定義為平均回轉(zhuǎn)步數(shù)。若ui＜+∞，則稱i為正常返狀態(tài)；若ui=+∞，則稱i為零常返狀態(tài)。

定義4若集合{n：n≥1，pii（n）＞0}非空，則稱它的最大公約數(shù)d為狀態(tài)i的周期。若d＞1，稱i是周期的。若d=1，稱i是非周期的。

定理1（1）若j為非常返或零常返狀態(tài)，則對?i∈S，有；

（2）若j為正常返狀態(tài)且周期為d，則，?i?j，i∈S有。

1.2 提出問題

在文獻[5]中，有一個極限定理如下：

定理2對于任意狀態(tài)i，j∈S，有

在文獻[6－7]中，作者對上述定理2的內(nèi)容以推論形式給出：

推論1對于任意狀態(tài)i，j∈S，有

教材中沒有給出詳細的證明過程，只提示說可直接由上文的定理1直接推得。

對比以上兩本教材中定理2和推論1的結(jié)論，顯然在狀態(tài)j為正常返時結(jié)論不一樣，從時間上比較，推論1出版得更晚些，到底哪個結(jié)論更準確呢?

2 問題的研究

針對以上提出的對同樣的表達式求極限，同樣的條件下極限值卻不一樣，下面分三種情形展開討論。

情形1如果狀態(tài)j是非周期的，即周期d＝1，且狀態(tài)i與j互通，即i?j，這種情況下兩個結(jié)論相同。可以證明此時fij＝d＝1，因為狀態(tài)j為正常返的，對于i?j，則fij＝1，證明可用反證法，可參見文獻[6]。并且此時定理2和推論1的結(jié)論可直接由定理1證得，但教材中并沒有給出證明過程。筆者提供一種非常簡捷的證明方法，就是利用Stolz定理來證明。

Stolz定理（Stolz公式）設數(shù)列{an}，{bn}，其中{bn}嚴格單調(diào)遞增，且，若，則（其中l(wèi)為有限，+∞或-∞）[8]。

情形2如果狀態(tài)j的周期d≠1，但狀態(tài)i與j互通，則兩個結(jié)論中必有一個不正確。以下通過具體的馬爾可夫鏈說明推論1的結(jié)論不正確。設馬爾可夫鏈的狀態(tài)空間S={1，2}，一步轉(zhuǎn)移矩陣為，顯然兩狀態(tài)互通，即1?2，且周期均為d＝2。因不可約的有限馬爾可夫鏈都是正常返的，因此，狀態(tài)1與2都是正常返的。以狀態(tài)1為例，先計算首達概率，f11（1）＝0，f11（2）＝1，f11（n）＝0（n≥3），因此，f11＝1，u1=2。而轉(zhuǎn)移概率p11（1）＝0， p11（2）＝1，p11（3）＝0，p11（4）＝1，…以此類推。顯然。因此，推論1的結(jié)論是不正確的。

情形3如果狀態(tài)j的周期是1，但狀態(tài)i與j不互通。當i不可達j時，fij＝0，pij（n）＝0，此時，比如上例中轉(zhuǎn)移概率矩陣為；當i可達j，但j不可達i時，fij＝ 1，狀態(tài)j的周期可以等于1也可以不等于1，但定理2的結(jié)論仍然成立，這樣的馬爾可夫鏈很多，不再舉例。

關于定理2的嚴謹?shù)淖C明可參見文獻[5]，此處從略。

3 結(jié)語

通過具體的馬爾可夫鏈舉例說明了教材中的推論1的結(jié)論是不正確的，并且在狀態(tài)為正常返非周期的條件下借助于Stolz定理簡單明了的進行了證明，在周期大于1的條件下分析了不滿足Stolz定理的原因。同時通過上述討論也可以看出，定理1中狀態(tài)j為正常返的結(jié)論中也包括極限值為零的情況，即i不可達j時。

[1]劉文，楊衛(wèi)國.可列非齊次馬氏鏈的若干極限定理[J].應用數(shù)學學報，1992，15（4）：479-489.

[2]王學武.有限非齊次馬爾可夫鏈的強極限定理[J].南陽師范學院學報，2007，6（3）：14-17.

[3]郭明樂.馬氏環(huán)境中馬氏鏈的中心極限定理[J].應用概率統(tǒng)計，2007，23（1）：11-17.

[4]李應求，王蘇明，胡楊利.馬氏環(huán)境中馬氏鏈的一類強極限定理[J].數(shù)學進展，2008，37（5）：539－549.

[5]張波，張景肖.應用隨機過程[M].北京：清華大學出版社，2004：98-99.

[6]張波，商豪.應用隨機過程[M].2版.北京：中國人民大學出版社，2009：103.

[7]張波，商豪.應用隨機過程[M].3版.北京：中國人民大學出版社，2014：91.

[8]馮文嫻，付艷芳.Stolz定理在求極限中的應用[J].價值工程，2013，26：279.

[9]方兆本，繆柏其.隨機過程[M].2版.北京：科技出版社，2011：39－43.

Discussion on a limit theorem for homogeneous Markov chains

ZHOU Maojun，CAI Xiaowei，ZHENG Lin，YUAN Hongjun
（School of Statistics and Applied Mathematics，Anhui University of Finance&Economics，Bengbu 233030，China）

This paper discusses the conflicting results in two textbooks of stochastic process compiled by the same author.By means of classification,illustration and demonstration,it is found that under the circumstance of homogeneous Markov chains and on the condition that state j is positive recurrence,the result is.Under the special condition of fij=d，the consequence is shown with the help of Stolz limit theorem.

stochastic process；Markov chain；Stolz theorem；transition probability

O211.62MR（2000）Subject Classification：60G99

A

1672-0687（2015）02-0030-03

責任編輯：謝金春

2014-12-26

安徽省高校省級自然科學基金重點項目（KJ2014A003）

周茂俊（1979-），女，安徽明光人，講師，碩士，研究方向：應用統(tǒng)計。