基于多元正態概率模型的貝葉斯決策理論淺析

摘要: 在模式識別中，貝葉斯決策理論以其分類錯誤發生概率最小的特點得到了廣泛應用。本文根據原始的貝葉斯公式，分兩種情況推導了基于多元正態概率模型的貝葉斯判別函數及其決策面，并通過實驗驗證和分析了所推導的結論。

關鍵詞: 貝葉斯決策;多元正態概率模型; 決策面

1 貝葉斯決策理論概述

模式識別是通過對待識別模式的多種觀察或測量，將觀測數據構成其特征向量，作為輸入，然后按照某一種判決法則來進行分類的。然而客觀實際是十分復雜的，許多現象在觀察與測量時都具有某種不確定性和隨機性，如衛星遙感影像。由于這種不確定性，各個類別之間呈現混淆、混沌的表象，給分類帶來了困難。這時，需要采取統計的方法，對模式的統計特性進行觀測，并采用統計判別的分類器，分析歸屬概率的大小，按照某種方法進行分類。貝葉斯決策理論和方法就是在分類錯誤發生概率最小的前提下進行分類的一種統計模式識別的基本方法。

在實際工作中常常討論正態分布模式。由于很多隨機變量都具有正態分布或近似正態分布，而正態分布概率模型在數學上實現也比較方便，所以以正態分布的概率密度函數作為分類器設計的依據，并按照正態分布概率模型抽取樣本集和進行樣本分析是可行的。

2 多元正態概率模型的貝葉斯判別函數與決策面

由最小錯誤率貝葉斯判別函數取對數形式，得

當x的類概率密度函數服從多元正態概率模型時，x的類概率密度函數為:

p (x | wi) = 1/ [(2π)n/2 |∑i|1/2]exp{-1/2 (x-u i)T ∑i-1 (x-u i)} 式(2)

代入式(1)，有

式(3)

式(3)即為多元正態概率模型的貝葉斯判別函數，其決策面方程應是，即

式(4)

2.1協方差矩陣相等

當各類協方差矩陣相等時，從幾何上看，相當于各類樣本集中于以該類均值點為中心的同樣大小和形狀的超橢球內。

這時，為了對x進行分類，只要計算出x到每類的均值點的馬氏距離平方，最后把x歸于距離最小的類別。這種情況下的貝葉斯判別函數是一個線性判別函數，二維情況的決策面是一條直線。

2.2 協方差矩陣不相等

當各類協方差矩陣不相等時

這時，對于某一模式x計算判別函數的值，最后把x歸于判別函數最大的類別。這種情況下的貝葉斯判別函數是一個非線性判別函數，二維情況的決策面是曲線。

3 實驗與分析

3.1 實驗數據

有訓練集資料矩陣表1所示，現已知樣本總數N=9、每類樣本數N1=N2=N3=3、維數n=2、類別數M=3。試在直角坐標系中分別繪出以下兩種情況的分界線。

三類協方差相等;

三類協方差不等。

3.2 程序運行結果與分析

3.2.1 協方差相等時的分界線

3.2.2 協方差不等時的分界線

程序的基本思想就是對坐標系范圍內的所有點進行遍歷，依次代入判別函數。當某一點代入判別函數后，任意兩個判別函數的差值足夠小時，認為該點就是這兩類的分界線，并把這個點畫出來。可以看出，在二維情況下，當協方差相等時，三個類別的決策面為三條直線;而當協方差不等時，三個類別的決策面為曲線，從而從實驗方面驗證了理論推斷。在實現的過程中還應給馬氏距離R設定閾值，屏蔽掉不合理的R值，如超出坐標范圍等。

參考文獻:

[1]舒寧，馬洪超，孫和利. 模式識別的理論與方法[M]. 武漢:武漢大學出版社，2004.

[2]邊肇祺，張學工. 模式識別(第二版)[M]. 北京:清華大學出版社，2000.

作者簡歷:

樊超，女，生于1988年，遼寧撫順人。現就讀于武漢大學遙感信息工程學院，精通鋼琴、架子鼓、吉他等樂器，專業成績優異，曾獲武漢大學新生獎學金以及歷年獎學金，全國大學生英語競賽三等獎。勤于研究，目前正協助老師做網絡GIS相關研究工作。