多元馬氏決策向量過程模型及其參數(shù)估計(jì)

摘 要：在馬氏決策向量過程模型和多元馬氏鏈的理論基礎(chǔ)上，結(jié)合決策向量和相合度等新定義，研究了多元馬氏決策向量過程模型以及模型的參數(shù)估計(jì)法，并通過該模型確定了分類數(shù)據(jù)序列之間的關(guān)系。

關(guān)鍵詞：多元馬氏決策向量過程 模型定義 模型參數(shù)估計(jì)

中圖分類號(hào)：O211.62 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1673-9795（2013）07（a）-0074-01

Raftery，W.Ching等人[1]在傳統(tǒng)馬氏理論基礎(chǔ)上提出更一般化馬氏鏈，即多元馬爾可夫模型，其相關(guān)成果已廣泛應(yīng)用于基因工程、排隊(duì)論、生產(chǎn)計(jì)劃和庫存管理等領(lǐng)域。然而在傳統(tǒng)馬氏決策過程（MDP）模型中存在著一個(gè)共同局限性，即在決策時(shí)刻只采取單個(gè)行動(dòng)來確定系統(tǒng)的狀態(tài)轉(zhuǎn)移概率。針對(duì)此極限性，文獻(xiàn)[2]在決策時(shí)刻引入了多元行動(dòng)來確定系統(tǒng)的狀態(tài)轉(zhuǎn)移概率，并通過運(yùn)用傳統(tǒng)MDP的基本理論以及結(jié)合多元行動(dòng)集、決策向量、相合度等新定義，提出了馬氏向量決策過程模型；文獻(xiàn)[3]在馬氏決策向量過程模型的理論基礎(chǔ)上，提出了有限階段期望總報(bào)酬準(zhǔn)則和最優(yōu)方程，并證明最優(yōu)方程的解的存在性，但所有的研究成果都是在單變量的條件給出的，尚未涉及多元化的研究。本文在以上的理論基礎(chǔ)上，對(duì)多元馬氏決策向量過程模型進(jìn)行初步性的研究，給出其相關(guān)的基本概念。

1 基本概念[2]

定義1：稱為決策向量集，其中為一元決策集；中的元素稱為決策向量，記為.

定義2：記，，若系統(tǒng)在決策時(shí)刻采取決策向量有：（1）

則稱為優(yōu)決策向量；否則稱為劣決策向量。

2 多元馬氏決策向量模型

為了方便以下模型的描述，我們約定：系統(tǒng)于時(shí)刻采取決策向量，其狀態(tài)從下一步轉(zhuǎn)移到狀態(tài)的概率記為，而不是傳統(tǒng)上的記法；用粗體字母表示向量。

定義3：設(shè)有個(gè)具有馬氏性的分類數(shù)據(jù)序列，并都取值于狀態(tài)集。令表示第個(gè)序列于時(shí)刻的狀態(tài)向量，若下邊等式成立，即：≥0，1≤j，k≤ （1）

則稱為多元馬爾可夫決策向量過程模型。這里表示系統(tǒng)在采取決策向量條件下，使得第個(gè)序列狀態(tài)到第個(gè)序列狀態(tài)的轉(zhuǎn)移概率矩陣，而則表示第個(gè)序列在時(shí)刻的狀態(tài)的分布概率。今將其寫成矩陣的形式，即：

（2）

3 模型的參數(shù)估計(jì)

引理1：設(shè)≤≤為的特征值，若（6）式中的≤≤，則至少存在一個(gè)1≤≤，使得，且對(duì)于任意特征值，有≤1，1≤≤。

引理2：對(duì)于任意1≤≤，若為不可約的及，則存在唯一的向量使得，且1≤≤，其中為向量的第個(gè)分量.以上引理的證明見文獻(xiàn)[1].

接下來，主要針對(duì)模型的參數(shù)和進(jìn)行估計(jì)。記表示系統(tǒng)在采取決策向量條件下，使得第個(gè)序列的狀態(tài)到第個(gè)序列狀態(tài)的轉(zhuǎn)移頻數(shù)矩陣，為第個(gè)序列于時(shí)刻采取決策向量，其狀態(tài)從轉(zhuǎn)移到第個(gè)序列的狀態(tài)的頻數(shù)，則 （3）

由引理2可知，多元馬氏決策向量過程模型在為不可約和的條件下，存在平穩(wěn)分布，使得.記為的估計(jì)值.顯然，通過計(jì)算第個(gè)序列的每個(gè)狀態(tài)發(fā)生次數(shù)的比例，就可以得到的值，故

（4）

再由，得知.因此，只需在條件下，有

（5）

記由（5）得出的最優(yōu)解為

于是，我們就可以確定分類序列之間的關(guān)系：. （6）

參考文獻(xiàn)

[1]陳杰，劉再明，邢靈博.基于馬氏決策向量過程模型的有限階段期望總報(bào)酬準(zhǔn)則及其最優(yōu)方程[J].數(shù)學(xué)理論與應(yīng)用，2011，31（4）：7-13.

[2]宮雪.多目標(biāo)馬氏決策過程攝動(dòng)問題的研究[D].西南交通大學(xué)，2005.

[3]陳杰，朱全新，刑靈博.馬氏決策向量過程模型初步研究[J].問南師范大學(xué)學(xué)報(bào)：自然科學(xué)報(bào)，2010，38（5）：38-40.