基于多觀察序列的HMM訓練算法

趙 娜

（湖北工程學院 物理與電子信息工程學院，湖北 孝感432000）

隱馬爾可夫模型（Hidden Markov Model，HMM）是一種具有學習能力的統計模型。HMM利用概率及統計學理論成功地解決了如何辨識具有不同參數的短時平穩的信號段以及如何跟蹤它們之間的轉化等問題，即非平穩隨機過程的建模問題。

HMM能否成功得到應用，其訓練問題是關鍵。許多學者在這方面做了大量卓有成效的工作。1970年，Baum等人提出了用單個觀察序列估計模型參數的 Maximization算法［1］。1977年Dempster等又提出了Expectation－Maximization（EM）算法［2］。之后Levinson等在假設不同的觀察序列之間是統計獨立的前提下提出了基于多觀察序列的 HMM 訓練算法［3］。自此以后，HMM廣泛應用于語音識別、手寫字符識別、圖像處理、生物信號處理等諸多領域［4－6］。

獨立假設使HMM的訓練得到了簡化，但卻忽略了數據之間的相關性。事實上，實際應用中許多數據都具有很高的相關性。以語音識別為例，由同一個人發出的語音，不同幀間的語音信號是高度相關的。事實上，語言的結構信息是多層次的，除了語音特性外，還牽涉到音長、音調、能量等超音段信息以及語法、句法等高層次語言結構的信息。不合理的假設將導致識別率的下降或訓練數據的增加。為此，人們在試圖放寬這一限制方面做了許多有益的探索［7－9］。在不做任何假設的前提下，本文對一種基于多觀察序列的HMM訓練算法進行研究，較好地解決了HMM的訓練問題。該算法既考慮到了多觀察序列之間的相關性又不增加計算量。當用于訓練的觀察序列之間是統計獨立時，又可以導出經典的HMM訓練算法。

1 隱馬爾科夫模型

1.1 HMM的表示

一個有N個狀態（s1s2…sN）及M 個觀察輸出（v1v2…vM）的HMM由如下三組參數描述：

1）初始狀態分布∏＝｛πi｝1≤i≤N。其中πi＝P（q1＝si）＝1

2）狀態轉移概率矩陣A＝｛aij｝1≤i，j≤N。

1.2 一階HMM的訓練

給出觀察量O＝o1o2…oT，并假設各觀察量是互不相關的。利用約束最佳化技術，Baum等導出HMM 的全套參數估計公式如下［1，2，5］：

2 HMM的多觀察序列訓練算法

觀察序列之間可能是相關的，也可能是統計獨立的。一般地，應有

引入權系數

構造如下形式的輔助函數

（9）式中q＝q1q2…qT是狀態序列。考慮（7）式和相應的約束條件，即

根據拉格朗日乘數法，構造如下目標函數：

上式中，cai，cbj，cπ為拉格朗日乘數。對目標函數最大化得到HMM的重估公式如下：

在上面的式子中，

3 討論

當各觀察序列之間是統計獨立時，即：

此時wk＝P（O｜λ）／P（O（k）｜λ），1≤k≤K.分別代入（11）、（12）、（13）式中得

（14）、（15）、（16）式與傳統的重估公式完全一致。由此可見，本文導出的基于多觀察序列的HMM訓練算法實際上是在不做獨立假設下經典HMM訓練算法的推廣。

4 結論

本文對一種基于多觀察序列的HMM訓練算法進行了研究，該算法避開了直接計算條件概率的困難，特別適用于分組間均勻相關的多觀察序列HMM的訓練。同時，該算法也可導出經典的HMM訓練算法。

［1］Baum L E，Petrie T，Soules G，et al.A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains［J］.The Annals of athematical Statistics，1970，41（1）：164－171.

［2］Levinson S E，Rabiner L R，Sondhi M M.An introduction to the application of the theory of probabi－listic functions of Markov process to automatic speech recognition［J］.Bell System Technical Journal，1983，62（4）：1035－1074.

［3］姚天任.數字語音處理［M］.武漢：華中理工大學出版社，1992：347－355.

［4］Li Xiaolin，Parizeau M，Plamon R.Training hidden Markov models with multiple observations－A combinatorial method［J］.IEEE Transactions on pattern analysis and machine intelligence.2000，22（4）：371－377.

［5］Baggenstoss P M.A modified Baum－Welch algorithm for hidden Markov models with multiple observation spaces［J］.IEEE Transactions on speech and audio processing，2001，9（4）：411－416.

［6］王新民，姚天任.一種基于SDTS的HMM訓練算法［J］.信號處理，2003，19（1）：40－43.

［7］Bocchieri E，Mark B.Subspace distribution clustering hidden Markov model［J］.IEEE Trans Speech and Audio Processing，2001，9（3）：264－275.

［8］Engelbrecht H A，Du Preez JA.Efficient backward decoding of high－order hidden Markov models［J］.Pattern Recognition，2010，43（2）：99－112.

［9］Ye Fei，Yi Na，Wang Yifei.EM Algorithm for Training High－order Hidden Markov Model with Multiple Observation Sequences［J］.Journal of Information ＆ Computational Science，2011，8（10）：1761－1777.