高階多元馬氏決策向量過程模型的定義

摘 要：馬氏決策向量過程是在決策時刻引入多元化決策來確定系統的狀態轉移概率的理論模型，本文在該模型的決策向量、聯合度和相合度等基本概念的基礎上，結合高階多元馬氏鏈的理論，給出高階多元馬氏決策向量過程模型。

關鍵詞：馬氏決策向量過程 高階多元馬氏鏈 高階多元馬氏決策向量過程模型

中圖分類號：O211.62 文獻標識碼：A 文章編號：1673-9795（2014）04（b）-0096-02

為了簡化傳統高階馬氏鏈的計算過程，Raftery等[1～3]提出新的高階馬氏模型，即：，其中≥0和為非負定矩陣且滿足列向量元素之和等于1。Ching等[4～5]在此高階馬氏理論基礎上提出更一般化馬氏鏈，即多元馬爾可夫模型，其相關成果已廣泛應用于基因工程、天氣預報和庫存管理等領域。然而在傳統馬氏決策過程（MDP）模型中存在著一個共同局限性，即在決策時刻只采取單個行動來確定系統的狀態轉移概率。針對此極限性，文獻[6]在決策時刻引入了多元行動來確定系統的狀態轉移概率，并通過運用傳統MDP的基本理論以及結合多元行動集、決策向量、相合度等新定義，提出了馬氏向量決策過程模型；文獻[7]則在馬氏決策向量過程模型的理論基礎上，研究了多元馬氏決策向量過程模型以及模型的參數估計法，并通過該模型確定了分類數據序列之間的關系。本文在以上的理論基礎上，對高階多元馬氏決策向量過程模型進行初步性的研究，給出其基本概念。

1 基本概念[5]

定義1：設系統在時刻處于狀態可選擇的行動集有：，，，；則稱為決策系統的行動集族。

定義2稱： 為決策向量集，其中為一元決策集；中的元素稱為決策向量，記為。

定義3：當系統在時刻采取決策向量時，若的分量未取的個數為，則稱的聯合度為，記為。

定義4：記，若系統在決策時刻采取決策向量有：

（1）

則稱為優決策向量；否則稱為劣決策向量。

2 高階多元馬氏決策向量模型

本節內容主要給出高階多元馬氏決策向量過程模型的定義。為了方便以下模型的描述，我們約定：系統于時刻采取決策向量，其狀態從下一步轉移到狀態的概率記，而不是傳統上的記法。于是，根據以上的決策向量、聯合度和相合度等基本概念可以給出高階多元馬氏決策向量過程模型的定義。

定義5：設表示第序列的狀態在系統于第階段采取決策向量條件下轉到第序列的狀態的轉移概率矩陣，其中，為第序列歷經個階段后到達第階段狀態的概率分布，若存在（其中≥），使得 則稱為階元馬爾可夫決策向量過程模型。

除了隨機變量的高維化外，高階多元馬氏決策向量模型與傳統一元馬氏決策過程模型的最大區別在于各狀態間的轉移是否具有封閉性。由高階多元馬氏決策向量模型的定義，可知模型中序列的狀態不但可以在自身的狀態集之內發生轉移，而且還可以轉移到其它序列的狀態。因此，其狀態轉移不具有封閉性，而一元馬氏決策過程模型的狀態轉移只能發生在自身的狀態集之內，是封閉的。

若令，則可將階多元馬爾可夫模型寫成矩陣的形式，即：

（2）

其中：

；分別表示狀態集所包含元素的個數和庫系統的階數，為單位矩陣；而當時，

命題1：設表示第序列的狀態系統在采取決策向量條件下轉到第序列的狀態的轉移概率矩陣，則存在的估計量，使得依概率收斂于，即對任意，有。

證明：記表示于第階段系統在采取決策向量條件下由第種序列的需求狀態到第個種序列的需求狀態的轉移頻數矩陣，為系統在采取決策向量條件下第個種序列于階段從需求狀態轉移到第種序列的需求狀態的頻數，則.根據與關系，我們可得出的估計值，即：

，其中：

，再由大數定律可知，依概率收斂于，即。

參考文獻

[1] Raftery A E.A model for high-order Markov chains[J].Journal of the Royal Statistical Society.Series B （Methodological），1985，47（3）：528-539.

[2] Raftery A， Tavare S. Estimation and modelling repeated patterns in high order Markov chains with the mixture transition distribution model[J]. Applied Statistics，1994，43（1）：179-199.

[3] Berchtold A， Raftery A E. The mixture transition distribution model for high-order Markov chains and non-Gaussian time series[J].Statistical Science， 2002，17（3）：328-356.

[4] Ching W K， Fung E S，Ng M K. A multivariate Markov chain model for categorical data sequences and its applications in demand predictions[J]. IMA Journal of Management Mathematics， 2002，13（3）：187-199.

[5] Ching W K， Ng M K， Fung E S. Higher-order multivariate Markov chains and their applications[J].Linear Algebra and its Applications，2008，428（2）：492-507.

[6] 陳杰，朱全新，邢靈博.馬氏決策向量過程模型初步研究[J].河南師范大學學報：自然科學版，2010，38（5）：38-40.

[7] 陳杰，邢靈博，張宗杰.多元馬氏決策向量過程模型及其參數估計[J].中國科教創新導刊，2013，19：74.