馬爾可夫隨機(jī)過程研究

吳翊平

【摘要】隨著概率論理論的不斷完善，馬爾可夫模型在概率論中是一個(gè)非常基礎(chǔ)且十分重要的理論，并且在實(shí)際生活中也有廣泛的應(yīng)用。本文分別闡述了馬爾可夫性質(zhì)和齊次性，并介紹了一個(gè)特殊的馬爾可夫過程——布朗運(yùn)動(dòng)。最后，整理了馬爾可夫模型的實(shí)際應(yīng)用案例，總結(jié)了馬爾可夫模型在現(xiàn)實(shí)應(yīng)用中的一般步驟。

【關(guān)鍵詞】隨機(jī)過程 ?馬爾可夫性 ?齊次性

【中圖分類號(hào)】O21 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】2095-3089（2018）42-0131-02

1.引言

隨著理論研究的不斷深入，人們對(duì)生活中各種事件的刻畫越來越具有科學(xué)性。類似拋硬幣的隨機(jī)事件也能用數(shù)學(xué)的概念進(jìn)行系統(tǒng)的總結(jié)與分析。在概率學(xué)中，由于隨機(jī)事件的結(jié)果是不確定的，所以使用隨機(jī)變量來表示各種可能出現(xiàn)的結(jié)果。可將隨機(jī)變量記為X，按照隨機(jī)變量的取值類型不同可分為離散型隨機(jī)變量和連續(xù)型隨機(jī)變量。離散型隨機(jī)變量的取值是有限個(gè)的，如某隨機(jī)事件是否成功，成功記為1，失敗記為0。連續(xù)型隨機(jī)變量可取一個(gè)連續(xù)區(qū)間內(nèi)的無限個(gè)值，如學(xué)生的身高、體重等是范圍為（0，+∞）的隨機(jī)變量。

對(duì)隨機(jī)變量加入時(shí)間維度，認(rèn)為事件的發(fā)生是有時(shí)序性的，于是隨機(jī)過程的概念便出現(xiàn)了。隨機(jī)過程是依賴于參數(shù)的一族隨機(jī)變量的全體，參數(shù)一般是指時(shí)間，進(jìn)而可將隨機(jī)過程記為{Xt|t∈T}。一族隨機(jī)過程，往往是相互影響和依賴的。比如，未來時(shí)刻的情況（隨機(jī)變量的取值）會(huì)受到歷史發(fā)生的情況的影響，所以加入時(shí)間維度，對(duì)隨機(jī)過程進(jìn)行研究是非常有必要的。

2.馬爾可夫性

上文提到隨機(jī)過程中的各隨機(jī)變量的取值并不是獨(dú)立的，而是相互影響的。但是，俄國(guó)數(shù)學(xué)家馬爾可夫經(jīng)多次觀察研究發(fā)現(xiàn)，在很多實(shí)際的問題中，隨著時(shí)間跨度的增大，隨機(jī)變量之間的相互影響逐漸減小。在這個(gè)發(fā)現(xiàn)的基礎(chǔ)上，將問題進(jìn)一步簡(jiǎn)化，提出馬爾可夫性質(zhì)[1]：現(xiàn)在時(shí)刻的隨機(jī)變量的狀態(tài)和過去某一時(shí)刻的隨機(jī)變量狀態(tài)有關(guān)，但和過去的所有隨機(jī)變量的狀態(tài)無關(guān)。可以簡(jiǎn)單理解為，隨機(jī)過程的遺忘性為馬爾可夫性質(zhì)。

若隨機(jī)過程的時(shí)間參數(shù)集T是離散的，并且隨機(jī)變量的取值也是離散的，并且滿足馬爾可夫性質(zhì)的隨機(jī)過程為馬爾可夫鏈[2]。用數(shù)學(xué)語言可表達(dá)為，隨機(jī)過程{X1，X2，…Xn，…}，由于第n次的隨機(jī)狀態(tài)只受前一次狀態(tài)的影響，則

p{Xn|X1，…，Xn-1}=p{Xn|Xn-1} ? ? ? ? ? ? （1）

由式（1）有，n時(shí)刻狀態(tài)只與n-1時(shí)刻有關(guān)，且能被前一次狀態(tài)推算出來，這就是馬爾可夫性質(zhì)的定義。馬爾可夫性質(zhì)極大地簡(jiǎn)化了隨機(jī)過程中各隨機(jī)變量之間的相互關(guān)系，對(duì)隨機(jī)過程做了合理的簡(jiǎn)化。

3.轉(zhuǎn)移概率矩陣及性質(zhì)

以馬爾可夫鏈為例，介紹轉(zhuǎn)移概率矩陣及其性質(zhì)。若隨機(jī)過程{Xt|t∈T}時(shí)間離散、隨機(jī)變量也是離散的，則T={1，2，…，n，…}，隨機(jī)變量Xt的取值范圍，即狀態(tài)空間記為A={a1，…，am}，其中m為隨機(jī)變量所有可能性的個(gè)數(shù)。

假如該隨機(jī)過程滿足馬爾可夫性，則Xt的狀態(tài)分布只與Xt-1有關(guān)，它可以由t-1時(shí)的狀態(tài)轉(zhuǎn)移到狀態(tài)空間里的任意狀態(tài)。在轉(zhuǎn)移的過程中，各個(gè)狀態(tài)的轉(zhuǎn)移概率是不同的。記隨機(jī)變量Xt-1轉(zhuǎn)移到Xt的一步轉(zhuǎn)移概率矩陣為Pt-1，則

Pijt-1=P{Xt=aj|Xt-1=ai} ? ? ? ? ? ? （2）

表示從t-1時(shí)刻的狀態(tài)i轉(zhuǎn)移到t時(shí)刻的狀態(tài)j的概率，其中ai，aj∈A。那么轉(zhuǎn)移概率矩陣為Pt-1可以理解為一個(gè)m×m的表格，如下表所示。

轉(zhuǎn)移概率矩陣具有“正定性”和“有限性”兩個(gè)主要性質(zhì)。正定性是指狀態(tài)之間的轉(zhuǎn)移概率是非負(fù)的，即矩陣中每一個(gè)轉(zhuǎn)移概率都是正數(shù)。

pij≥0，i=1，…，m;j=1，…，m ? ? ? ? ? ? （3）

有限性是指從當(dāng)前狀態(tài)轉(zhuǎn)移到所有可能狀態(tài)的概率和為1，即矩陣中每一行的轉(zhuǎn)移概率之和等于1。

■■■pij=1，i=1，2， …，m ? ? ? ? ? ? ? ? （4）

在馬爾可夫性上，進(jìn)一步假設(shè)隨機(jī)變量Xt-1轉(zhuǎn)移到Xt-1的一步轉(zhuǎn)移概率矩陣為Pt-1不受時(shí)間的影響，是平穩(wěn)的，即

Pt-1≡P，t=1，2，…，n，… ? ? ? ? ? （5）

轉(zhuǎn)移概率與時(shí)間t無關(guān)的性質(zhì)即為馬爾可夫的齊次性。經(jīng)過k次狀態(tài)轉(zhuǎn)移的概率記為k步轉(zhuǎn)移概率，若該馬爾可夫隨機(jī)過程滿足齊次性，則

Pkt-1 =Pt-1×Pt×…×Pt+k-1=Pk ? ? ? ? （6）

齊次性將馬爾可夫過程進(jìn)一步簡(jiǎn)化。對(duì)任意的齊次馬爾可夫過程，只要確定了隨機(jī)變量的狀態(tài)空間A，一步轉(zhuǎn)移概率矩陣P，以及初始狀態(tài)，就確定了整個(gè)隨機(jī)過程。

4. 一種特殊的馬爾可夫過程——布朗運(yùn)動(dòng)

布朗運(yùn)動(dòng)就是一個(gè)最簡(jiǎn)單的隨機(jī)過程。布朗運(yùn)動(dòng)表示的是微小粒子的無規(guī)則運(yùn)動(dòng)，微小粒子在不同時(shí)間下的位置是一簇隨機(jī)變量。它最主要的兩個(gè)特點(diǎn)便是“無規(guī)則”和“永不停歇”[3]。因?yàn)槲⑿×Ｗ釉诿恳凰查g受到的撞擊力度大小、方向都不同，所以它的運(yùn)動(dòng)是無規(guī)則的。又因?yàn)橐后w分子的運(yùn)動(dòng)不會(huì)停止，所以粒子受到的撞擊也不會(huì)停止。從布朗運(yùn)動(dòng)的特點(diǎn)可發(fā)現(xiàn)，花粉在時(shí)間t時(shí)的位置，只與前一時(shí)間t-1時(shí)的位置有關(guān)，和t-1時(shí)刻之前的位置無關(guān)。

5.應(yīng)用

馬爾可夫模型作為概率論上的一個(gè)重要定義，是后來許多研究的重要基礎(chǔ)。比如蘇聯(lián)數(shù)學(xué)家柯爾莫哥洛夫?qū)⑽⒎址匠逃糜隈R爾可夫過程的研究，而后日本數(shù)學(xué)家伊藤清在馬爾可夫理論上建立了隨機(jī)微分方程理論并改進(jìn)為伊藤公式，解釋了布朗運(yùn)動(dòng)等偶然性的自然現(xiàn)象。馬爾可夫模型作為理論與實(shí)踐的橋梁，在社會(huì)上也有很多重要應(yīng)用[4]。

首先，在股票研究上，股票價(jià)格就是一個(gè)隨機(jī)變量，它有上漲、持平、下跌三種狀態(tài)。根據(jù)歷史的轉(zhuǎn)移概率數(shù)據(jù)推算可知，該事件第n天狀態(tài)只與n-1天狀態(tài)有關(guān)，所以滿足馬爾可夫性，由此如果再要推算下一個(gè)時(shí)刻狀態(tài)，可先確定當(dāng)前狀態(tài)再建立轉(zhuǎn)移矩陣進(jìn)行估算，反復(fù)幾次，可得近期股票價(jià)格變動(dòng)的趨勢(shì)。

在人力資源流動(dòng)的推測(cè)上，將員工人數(shù)看成隨機(jī)變量，狀態(tài)空間為入職、升職、降職、離職，若由推算得到該事件滿足馬爾可夫性，那么可由轉(zhuǎn)移概率的大小預(yù)判出人力資源流動(dòng)和分配是否合理，進(jìn)而做出改進(jìn)。還有，應(yīng)用在交通上時(shí)，可以先用GPS采集開車路線，統(tǒng)計(jì)數(shù)據(jù)，然后利用馬爾可夫模型研究和預(yù)判車輛軌跡，這樣可以了解當(dāng)前交通狀況，合理安排交通路線。在環(huán)境治理方面，可以利用之前污染狀態(tài)的概率進(jìn)行分析，再根據(jù)第n年的空氣污染狀態(tài)構(gòu)造矩陣，預(yù)測(cè)第n+1年的空氣污染情況，有助于提前預(yù)防污染，有效治理環(huán)境。

總之，在使用馬爾可夫模型解決實(shí)際問題時(shí)，一般會(huì)有如下的步驟。首先，需要對(duì)實(shí)際問題進(jìn)行抽象化，確定研究對(duì)象，即：隨機(jī)變量，定義其狀態(tài)空間。其次，判定該隨機(jī)變量構(gòu)成的隨機(jī)過程是否滿足馬爾可夫性，這是非常重要的前提假設(shè)。若滿足該假設(shè)，則該隨機(jī)過程可視為馬爾可夫隨機(jī)過程。要解決該模型的預(yù)測(cè)，需要先收集大量的歷史數(shù)據(jù)，根據(jù)歷史數(shù)據(jù)估計(jì)出轉(zhuǎn)移概率矩陣，通過現(xiàn)在的狀態(tài)，確定初始狀態(tài)，那么就可以對(duì)未來的情況進(jìn)行合理的推測(cè)，并指導(dǎo)現(xiàn)在的決策。

以一段時(shí)間的天氣為例，Xt表示t時(shí)間的天氣狀態(tài)，Xt的狀態(tài)空間為{晴天，多云，刮風(fēng)，下雪}。假設(shè)一段時(shí)間的天氣情況滿足馬爾可夫性質(zhì)，即明天的天氣狀態(tài)只與今天的天氣狀態(tài)有關(guān)。那么假設(shè)今天是晴天，明天的天氣狀態(tài)就可能是晴天、多云、刮風(fēng)、下雨，然而對(duì)于這4種轉(zhuǎn)移情況，它們各自的轉(zhuǎn)移概率是不同的。以此類推，我們可以通過轉(zhuǎn)移概率矩陣，對(duì)之后的天氣狀況做一個(gè)大致估計(jì)。

參考文獻(xiàn)：

[1]呂思宇.帶馬爾科夫鏈的隨機(jī)最優(yōu)控制問題及其在金融中的應(yīng)用[D].山東大學(xué)，2017.

[2]黃麒元，王致杰，王東偉等.馬爾科夫理論及其在預(yù)測(cè)中的應(yīng)用綜述[J].技術(shù)與市場(chǎng)，2015（9）：12-13.

[3]楊靜，唐泉.維納和布朗運(yùn)動(dòng)[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)， 2008（10）：162-169.

[4]何成剛.馬爾科夫模型預(yù)測(cè)方法的研究及其應(yīng)用[D].安徽大學(xué)，2011.