多狀態(tài)隱Markov統(tǒng)計(jì)模型的基本原理及其應(yīng)用

潘海燕 孔丹莉 胡利人 于海兵 丁元林

多狀態(tài)隱Markov統(tǒng)計(jì)模型的基本原理及其應(yīng)用

潘海燕 孔丹莉 胡利人 于海兵 丁元林

隱馬爾可夫模型；慢性病學(xué)；語音識別；生物信息學(xué)；人臉識別

隱馬爾可夫模型(hidden Markov model，HMM )是一類統(tǒng)計(jì)模型，經(jīng)典理論于20世紀(jì)60年代末70年代初由L.E.Baum等提出，20世紀(jì)70年代中期開始應(yīng)用于語音識別領(lǐng)域。目前被廣泛應(yīng)用于基因關(guān)聯(lián)分析和基因識別、圖像識別、孤立詞識別和目標(biāo)跟蹤等方面。本文對 HMM基本原理和目前應(yīng)用現(xiàn)狀進(jìn)行綜述，旨在為HMM的深入探討提供參考。

1 隱馬爾可夫模型的基本原理

馬爾可夫在1906-1912年間，提出并研究了一種能用數(shù)學(xué)分析方法研究自然過程的一般圖式－馬爾可夫鏈（Markov Chain）。其研究方法和重要發(fā)現(xiàn)推動了概率論的發(fā)展，特別是促進(jìn)了概率論信分支－隨機(jī)過程論的發(fā)展。所以從某種程度上說隨機(jī)過程又叫作馬爾可夫過程（Markov Process）HMM是馬爾可夫模型（Markov model）的進(jìn)一步發(fā)展。該模型認(rèn)為模型的狀態(tài)是不可觀測的（這便是“隱”得名的由來），可以觀測到的只是在這些狀態(tài)下的各種表現(xiàn)形式。例如，睡眠的按階段分為清醒期、快速眼動期、S1、S2、S3、S4這6個(gè)期，它們便是“狀態(tài)”；可以觀測到的則是在這些狀態(tài)下的各種生理參數(shù)表現(xiàn)，例如在腦電圖上的表現(xiàn)[1]。HMM是一種雙重隨機(jī)模型[2]，它由兩個(gè)相互關(guān)聯(lián)的隨機(jī)過程組成，其一是隱蔽有限狀態(tài)的Markov鏈，另一個(gè)是與Markov鏈的每一個(gè)狀態(tài)相關(guān)的觀察結(jié)果的隨機(jī)過程[3]。觀察到的事件與狀態(tài)并不是一一對應(yīng)，而是通過一組概率分布相聯(lián)系。

研究 HMM需要解決三個(gè)問題：學(xué)習(xí)問題、識別問題和解碼問題，對這三個(gè)問題的回答構(gòu)成了HMM理論。對HMM的基本原理主要從參數(shù)估計(jì)和假設(shè)檢驗(yàn)兩個(gè)方面闡述。

1.1參數(shù)估計(jì)

HMM的基本要素用模型五元組λ＝（N，M，π，A，B）簡單描述，或簡寫為 λ=(π，A，B)。N表示狀態(tài)數(shù)目，M表示每個(gè)狀態(tài)可能的觀察值數(shù)目，A表示與時(shí)間無關(guān)的狀態(tài)轉(zhuǎn)移概率矩陣，B表示給定狀態(tài)下觀察值概率的分布，π表示初始狀態(tài)下的概率分布。HMM需要估計(jì)如下三個(gè)主要參數(shù)[2]。

②觀察概率bj(k)=Pr[uk(sj)]，表示在狀態(tài)sj下產(chǎn)生觀察值uk的概率。如果共有M種可能的觀察值，則bj(k)可用M×N矩陣B。表示如下：

③初始狀態(tài)概率，指初始狀態(tài)q1究竟取S=[s1,s2,…,sN]中哪一個(gè)的概率。它組成1×N矢量π：

估計(jì)以上主要三個(gè)參數(shù)通常采用前向法、后向法[4]、韋特比法[5]及Baum-Welch法[6]四種計(jì)算方法。

1.2 假設(shè)檢驗(yàn)具體模型參數(shù)的假設(shè)檢驗(yàn)我們可以采用最大似然比法，最大限度地估計(jì)某個(gè)觀察值出現(xiàn)的概率OW。給定某個(gè)狀態(tài)中HMM參數(shù)為λW，則可采用式（8）估計(jì)某個(gè)觀察值出現(xiàn)的最大似然概率：

一般情況下，在某一時(shí)間只考慮某一個(gè)狀態(tài)的觀察值，因此可將上式中的“w”去掉，最大似然概率估計(jì)公式可簡化為：

2 隱馬爾可夫模型的應(yīng)用現(xiàn)狀

2.1語音識別

語音識別技術(shù)是信息社會朝著智能化和自動化方向發(fā)展的關(guān)鍵技術(shù)之一，具有重要的研究意義和實(shí)用價(jià)值[7]。HMM自20世紀(jì)70年代中期由Jenik等應(yīng)用到語音識別中，它提供了一種用統(tǒng)計(jì)方法訓(xùn)練模型的框架，反應(yīng)了語音的統(tǒng)計(jì)特性。80年代以來，逐漸成為語音識別，特別是大詞匯、連續(xù)音、非特定人的語音識別技術(shù)的主流。被公認(rèn)為語音識別中最矚目、最有效的技術(shù)之一[8]。

20世紀(jì) 90年代初，國內(nèi)謝錦輝等人翻譯了HMM一書，系統(tǒng)闡述了HMM的原理、種類、在語音分析中應(yīng)用、與神經(jīng)網(wǎng)絡(luò)的關(guān)系等等，并且初步探討將其應(yīng)用于語音分析及相應(yīng)改進(jìn)方法。自此，HMM在中國開始廣泛應(yīng)用和研究，成為計(jì)算機(jī)智能等相關(guān)專業(yè)的研究熱點(diǎn)。1990年由丁紀(jì)凱[9]較早的應(yīng)用于孤立詞的識別，1991年吳建雄[10]等人討論了HMM在韻母識別中的應(yīng)用，林道發(fā)[11]用矢量量化和HMM實(shí)現(xiàn)英語話句的識別。之后的10年間國內(nèi)各個(gè)計(jì)算機(jī)研究所和智能化中心相繼展開 HMM在語音識別中各個(gè)方面的研究，其應(yīng)用領(lǐng)域和計(jì)算方法等得到了較大的拓展。并得到國家、省級等各種基金的大力贊助支持。目前以清化大學(xué)計(jì)算機(jī)智能研究中心為主要代表，對HMM進(jìn)行大量的研究工作。浙江大學(xué)計(jì)算機(jī)智能研究中心等亦對此研究比較成熟。

2.2生物信息學(xué)

1989年Churchill[12]將HMM引入計(jì)算生物學(xué)。計(jì)算機(jī)生物信息學(xué)是伴隨著人類基因組計(jì)劃實(shí)施產(chǎn)生的一個(gè)新興學(xué)科，隱馬爾可夫模型就是這門學(xué)科中最突出的技術(shù)之一。目前 HMM 是生物信息學(xué)中應(yīng)用比較廣泛的一種統(tǒng)計(jì)方法，在生物統(tǒng)計(jì)、基因關(guān)聯(lián)分析、基因識別等方面都得到了成功的應(yīng)用[13-17]。

HMM在生物信息學(xué)研究中的新領(lǐng)域是其在蛋白質(zhì)序列分析中的研究。西安交通大學(xué)吳曉明等[18]用 HMM分析基因蛋白序列，認(rèn)為編碼蛋白質(zhì)的原始DNA序列在生物進(jìn)化過程中，會受到自然環(huán)境和各種因素的影響，使翻譯出的蛋白質(zhì)序列歷經(jīng)突變，遺失，或引入外源程序等變化，最后按不同的進(jìn)化路徑分化，形成多種功能相近的蛋白質(zhì)。因此可以把這些蛋白質(zhì)看成由一個(gè)基本蛋白質(zhì)序列經(jīng)過插入、刪除或替換了某些氨基酸殘基而形成的。這個(gè)過程可以用HMM來表示。

2.3人臉識別

人臉識別在身份識別、安全驗(yàn)證、高級視頻監(jiān)控和智能人機(jī)交互系統(tǒng)等方面的巨大應(yīng)用前景和很好的社會經(jīng)濟(jì)效益而受到人們的關(guān)注，并成為信息科學(xué)的研究熱點(diǎn)之一。計(jì)算機(jī)人臉識別技術(shù)是近二十年才逐漸發(fā)展起來的，90代成為科研熱點(diǎn)。僅1990～1998年間，EI可以檢索到的相關(guān)文獻(xiàn)就達(dá)數(shù)千篇。IEEE的PAMI匯刊于1997年7月出版了人臉識別編輯，每年國際會議上關(guān)于人臉識別的專題也屢見不鮮。

HMM用于人臉識別的報(bào)道始于90年代[19-20]，近些年來亦成為各大研究所的研究熱點(diǎn)，但是技術(shù)尚待成熟。昆明理工大學(xué)信息工程與自動化學(xué)院李一民等將HMM應(yīng)用于人臉識別研究，建立了CCD工業(yè)攝像機(jī)的人臉識別系統(tǒng)，完成了對隱馬爾可夫模型的初步理論和計(jì)算方法的研究工作，并針對人臉圖像分析開發(fā)了具有一定實(shí)用性的人臉識別算法[21-22]。為HMM在該領(lǐng)域的繼續(xù)應(yīng)用奠定了基礎(chǔ)。把HMM用于人臉識別的關(guān)鍵是尋求馬爾可夫模型與人臉圖像的關(guān)系，即如何用 HMM來為人臉圖像建立可靠的熟悉模型。

2.4臨床慢性病影響因素分析

2005年至今，筆者所在的丁元林教授課題組將隱Markov模型應(yīng)用于2型糖尿病不同發(fā)展階段影響因素的探討[23-24]，并從應(yīng)用的角度出發(fā)提出了其應(yīng)用注意事項(xiàng)。結(jié)果顯示，引入的隱Markov模型擬合結(jié)果較好，發(fā)現(xiàn) 2型糖尿病不同發(fā)展階段的影響因素有11個(gè)：體重指數(shù)、文化程度、家庭月人均收入、飲酒、主食、甜食、健康教育、吸煙、葷油、體力活動量和生活事件。

2.5其他領(lǐng)域

HMM在在信號處理的相關(guān)學(xué)科中也能見到其蹤影，例如圖像處理[25]、文字識別[26]、頻率跟蹤[27]以及自然聲音的建模和分類[28]等。此外在睡眠分期中亦得到應(yīng)用[29]。但目前尚未見 HMM 應(yīng)用于醫(yī)學(xué)領(lǐng)域，特別是慢性病流行病研究方面的報(bào)道。

總之，對 HMM的研究雖然已經(jīng)有很大進(jìn)展，但是在人臉識別等領(lǐng)域的應(yīng)用還不夠成熟，在醫(yī)學(xué)領(lǐng)域的應(yīng)用亦少見報(bào)道，本課題組利用該模型初步探討了 2型糖尿病患者不同發(fā)展階段影響因素，考慮到許多慢性病發(fā)生發(fā)展的狀態(tài)不可觀測，可以預(yù)見 HMM在慢性病流行病研究中有較廣闊的應(yīng)用前景。

[1]劉河生,高小榕,楊福生.隱馬爾可夫模型的原理與實(shí)現(xiàn)[J].國外醫(yī)學(xué)生物醫(yī)學(xué)工程分冊,2002,2(6),253-259.

[2]韓曉東,劉向明,潘華,等.基于隱Markov模型的離子單通道信號恢復(fù)及參數(shù)估計(jì)[J].中國醫(yī)療器械雜志,2001,25(6):311-315.

[3]Lin dy.mulcox:: a computer program for the Cox regression analysis of multipule failure time variable.[J]Computer Methods and Programs in Biomedicine ,1990,32(2):125-135.

[4]Sean R.Eddy.Hidden Markov Models[J].Current Opinion in Structural Biology ,1996,6:361-365.

[5]Rinber,LR..A Tutorial on Hidden Markov Models and selected aplications in speech recognition[J].Proceedings of the IEEE,1989,77(2):257-286.

[6]K.Morrison ,S.J.McKenna.Automatic visual recognition of gestures made by motor-impaired computer users[J].Thchnology and Disability,2002,14,197-203.

[7]馬志欣,王宏,李鑫.語音識別技術(shù)綜述[J],昌吉學(xué)院學(xué)報(bào),2006:3:93-97.

[8]張杰,黃志同,王曉蘭.語音識別中隱馬爾可夫模型狀態(tài)數(shù)的選取原則及研究[J].計(jì)算機(jī)工程與應(yīng)用,2000,36(1):67-69.

[9]丁紀(jì)凱.HMM 識別孤立詞的研究與實(shí)現(xiàn)[J].中國紡織大學(xué)學(xué)報(bào),1990,16(3):60-68

[10]吳建雄, 陳礎(chǔ)堅(jiān).矢量量化技術(shù)和隱馬爾柯夫模型方法在韻母識別中的應(yīng)用[J].上海交通大學(xué)學(xué)報(bào),1991,25(5):35-42.

[11]林道發(fā), 羅萬伯.用矢量量化和隱馬爾可夫模型實(shí)現(xiàn)英語話句的識別[J].四川大學(xué)學(xué)報(bào),1991,28(3):296-301.

[12]CHURCHILL G A.Stochastic models for heterogeneous DNA sequences [J].Bulletin of Mathematical Biology , 1989 ,51:792-794.

[13]DURBIN S R.Biological sequence analysis : Probalistic models of proteins and nucleic acids[M].Cambridge :Cambridge University Press , 1998.(1):21-38.

[14]EDDY S R.Hidden markov models[J].Current Opinion in Structurel Biology , 1996 , 6 :3612-3615.

[15]EDDY S R.Profile hidden markov models[J].Bioinformatics , 1998 ,14 :7552 -7763.

[16]KROGHM.Hidden Markov models in computational biology: Applications to protein modeling[J].J Mol Biol ,1994 , 235 :1512-1513.

[17]STEVEN S.In ComputationalMethodsin Molecular Biology [M].Holand :Elsevier Science , 1998-452-463.

[18]吳曉明,宋長新,王波,等.隱馬爾可夫模型用于蛋白質(zhì)序列分析[J].生物醫(yī)學(xué)工程學(xué)雜志, 2002, 19(3) : 455-458.

[19]4 Samaria F,Harter A.Parameterisation of a Stochanastic Model for Human Face Identification.Sarasota, Florida: IEEE Workshop on Application of Computer Vision, 1994.

[20]Nefian A V.A Hidden Markov Model-Based Approach for Face Detection and Recognition [PhD thesis].school of Electrical and Computer Engineering, Georigia Institute of Technology, 1998.

[21]羅瑜,李一民.基于隱馬爾可夫模型的人臉識別算法的研究[M].昆明理工大學(xué)研究生畢業(yè)論文,2001,12.

[22]談昌彬, 李一民.基于 EHMM 的人臉識別[J].云南民族大學(xué)學(xué)報(bào):自然科學(xué)版.[J]2006,15(4):285-288.

[23]潘海燕,丁元林,等.多狀態(tài)統(tǒng)計(jì)模型在慢性病流行病學(xué)研究領(lǐng)域中的應(yīng)用進(jìn)展[J].中國衛(wèi)生統(tǒng)計(jì),2007,24(4):440-443.

[24]潘海燕,丁元林,等.2型糖尿病不同發(fā)展階段影響因素的隱Markov模型分析[J]中國衛(wèi)生統(tǒng)計(jì),2009,26(1):38-40.

[25]Bahl L R,Jelinek F.Decoding for channels with Insertions,Delections ,and Substititions with Applications to peech Recognition[J].IEEE Trans.IT,1975,21(2):404-411.

[26]Jelinek F,Bahl L R,Mercer R L.Design of Linguistic Statistical Decoder for the Recognition of Continuous Speech[J].IEEE Trans.IT,1975,2(2):250-256.

[27]Levinson S E,Rabiner L R,Sondhi MM.An Intrduction to the Application of the Theory of Robabilistic Functions of a Markov Process to Automatic Speech Recognition[J].BSTJ,1983,62(4):1035-1074

[28]Rabiner LR,Juang B H.An Introduction to Hidden Markov Models[J].IEEE Assp Magazine.1986,3(1):4-16.

[29]江朝輝,李繼偉,等.隱馬爾可夫模型在睡眠分期中的應(yīng)用[J].山東生物醫(yī)學(xué)工程,2003,22(2):4-7.

廣東醫(yī)學(xué)院公共衛(wèi)生學(xué)院流行病與衛(wèi)生統(tǒng)計(jì)學(xué)教研室，廣東東莞523808