張月 黃鋼 章小雷 田理政 曾詞正
隨著人工智能領域的發展,對于不確定性問題的研究也越來越多地得到重視。而貝葉斯網絡作為一種將概率論與圖論相結合用來處理不確定性推理和數據分析的有效工具,已經成為了人工智能的一個重要研究領域,也是近年來數據挖掘領域中的研究熱點之一。在過去的十年中,貝葉斯網絡已成為編碼專家系統中不確定性的知識流行的代表[1]。
1.1 貝葉斯網絡的定義 貝葉斯網絡(Bayesian Networks,BNs)又稱為信念網絡、概率網絡或因果網絡[2],是一種用圖的形式表達的一組變量間聯合概率分布函數的模型。它是由兩個部分組成:一個圖形化的結構和一組概率參數的概率模型。圖形結構是一個有向無環圖 (Directed Acyclic Graph,DAG),其中包括表示變量的節點以及變量有關的不構成任何圓環的有向弧。在給定的父節點下相關聯的每個節點(稱之為一個子節點)是一個概率分布,而所有節點的概率分布聯合起來就代表所有變量的聯合分布[3],通過條件概率表(Conditional Probability Table,CPT)來進行表示。因此,一個貝葉斯網絡可以表示為B={G,P},(其中 G 是一個能表示變量域的 DAG,P 是相應的一組條件概率集合)。若隨機變量集合 V(包含 n 有限個變量),G 表示有向無環圖,E 表示有向邊的集合,P 表示條件概率分布集,那么可以得到一個貝葉斯網絡模型為:B=(G,P)=(V,E,P)。
貝葉斯網絡可以從定性和定量兩個方面來理解[4]。在定性方面,它用一個有向無環圖描述了變量之間的依賴和獨立關系;在定量方面,它則用條件概率分布刻畫了變量對其父節點的依賴關系。
1.2 貝葉斯網絡的語義 在語義上,貝葉斯網絡是聯合概率分布的分解的一種表示[4]。假設網絡中的變量為X1,...,Xn,那么把個變量所附的概率分布相乘就得到聯合分布,即

2.1 貝葉斯網絡的學習 貝葉斯網絡構建的過程主要分為兩個任務:結構學習和參數學習[5]。結構學習既需要確定網絡結構又要確定網絡參數,而參數學習是在已知網絡結構的條件下確定網絡參數的問題。在結構學習和參數學習的過程中,存在著四種類型的問題[6],見表1。

表1 貝葉斯網絡結構學習的四種類型
四種類型的描述分別如下: (1) 用完整的資料在已知的網絡結構中學習概率參數,經常使用的方法是β分布(Beta distribution)和狄利克雷分布(Dirichlet distribution)。 (2)用不完整的資料在已知的網絡結構中學習概率參數,通常采用最大似然估計法(maximum likelihood estimation)及期望優化(expectation maximization)算法,而最常用的是期望優化算法,簡稱EM算法[7]。 (3) 在完整的資料中學習網絡結構,通常采用基于打分搜索(Search and score)的學習方法[8]和基于依賴分析(Dependent-based)的學習方法[9]。 (4) 在不完整的資料中學習網絡結構,基本上采用前三個問題改良的EM算法,但在網絡中尋找存在許多難題。
2.2 貝葉斯網絡的構建 一般貝葉斯網絡的構建是首先由相關領域的專家根據事物間的關系來確定出結構模型,即有向無環圖,然后再利用其它方法確定每個結點的條件概率。貝葉斯網絡構建的專家系統能夠對于不同事物之間的因果關系進行定性和定量的描述,并根據相應的觀測或干涉作出推理。
通過提供圖形化的方法來表示和運算概率知識,貝葉斯網絡克服了基于規則的系統所具有的許多概念上和計算上的困難[10]。在與統計技術相結合時,這樣的圖形模型數據建模擁有以下幾個優勢[11]:(1) 貝葉斯網絡將有向無環圖與概率理論有機結合,不但有嚴格概率理論基礎,同時也具有更加直觀的知識表示形式。一方面,它可以將人類所擁有的知識直接用有向圖自然直觀地表示出來;另一方面,也可以將統計數據以條件概率的形式融入模型。這樣貝葉斯網絡就能將人類的先驗知識和數據無縫地結合,克服語義網絡模型僅能表達處理定性信息的弱點和神經網絡、支持向量機等方法不夠直觀的缺點。(2) 由于該模型編碼的所有變量之間的依賴關系,因此它很容易對于一些數據項缺失的情況進行處理。(3) 一個貝葉斯網絡可以用對因果關系進行學習,因此可以用來獲得一個問題領域的理解以及預測干預的后果。(4) 貝葉斯網絡中沒有確定的輸入或輸出節點,節點之間是相互影響的,任何節點觀測值的獲得或者對于任何節點的干涉,都會對其它節點造成影響,并可以利用貝葉斯網絡推理來進行估計預測。(5) 貝葉斯統計結合貝葉斯網絡的方法為避免過度擬合數據,提供了高效和有原則的方法。
貝葉斯網絡既可以通過圖論的語言來揭示問題的結構,又按照概率論的原則來對問題結構進行分析,從而大大降低了推理計算的復雜度。因此,貝葉斯網絡被用于眾多領域來解決實際問題,如醫學領域,故障診斷方面,交通管理,工業制造系統,軟件工程等。
近年來通過貝葉斯網絡解決實際問題的過程中相繼出現了有關的應用系統和文獻。在醫學領域中,尤其是在醫療診斷方面,人們研究開發了多個規模可觀的網絡。在國外,如1988年Heckerman開發的用于淋巴結組織診斷的PATHFINDER網絡[12],它可以診斷60多種疾病,涉及100多種癥狀;1993年,Spiegelhalter 等人構造出的評定新生兒先天性心臟病的CHILD網絡[13];CPCSBN 遠程醫療系統[14],它是一個多層貝葉斯網絡,有448個結點和 908條弧,是優于世界上主要的遠程醫療診斷分析方法;ALARM 網[15],具有37個結點和46條邊,描述了在醫院手術室中所存在的潛在細菌問題;TakeHeart II系統[16]是基于貝葉斯網的用于心血管病診斷的臨床支持決策系統(Clinical Decision Support System,CDSS)等。國內方面,主要將貝葉斯網絡與中醫理論相結合來用于中醫診斷,如利用貝葉斯分類方法進行冠心病中醫臨床診斷[17];通過貝葉斯網絡分析方法分析抑郁癥中醫證候的分型[18]等,此外還有結合醫學影像學來進行輔助診斷的相關研究,如通過多層貝葉斯網絡對醫學圖像語義進行建模從而用于星形細胞瘤惡性程度的預測[19]等。
醫務人員不僅可以通過貝葉斯網絡圖形化的特點建立起疾病與癥狀之間的因果關系,還可以利用它對于臨床缺失數據的處理優化模型,從而使得醫療診斷更加科學化,客觀化以及準確性。因此,可以預見貝葉斯網絡在醫學領域將要發揮越來越重要的作用。
[1]Heckerman D.A Bayesian approach for learning causal networks[C].In Proceedings of Eleventh Conference on Uncertainty in Artificial Intelligence. Montreal, QU: Morgan Kaufmann,1995:28-295.
[2]Jensen F V.An Introduction to Bayesian Networks[M].New York:Springer,1996:35-36.
[3]Pearl J.Probabilistic Reasoning in Intelligent Systems:Networks of Plausible Inference[C].Morgan-Kaufmann, San Mateo.CA,1988,45-47.
[4]張連文,郭海鵬.貝葉斯網引論[M].北京:科學出版社,2006.
[5]Jaehun Lee, Wooyong Chung, Euntai Kim, and Soohan Kim.A New Genetic Approach for Structure Learning of Bayesian Networks:Matrix Genetic Algorithm[J].International Journal of Control, Automation,and Systems,2010,8(2):398-407.
[6]陳祐凡. 針對線上學習的適應化導航模型[D].淡江大學資訊工程研究所,2003,102-103.
[7]S Z Zhang, Z N Zhang, N H Yang, J Y Zhang, and X K Wang.An improved EM algorithm for Bayesian networks parameter learning[J].Machine Learning and Cybernetics,2004,8(3):1503-1508.
[8]Cooper G, Herskovits E.A Bayesian Method for Constructing Bayesian Belief Networks from Databases[C]. In: Ambrosio, B., Smets, P. (eds.)UAI '91. Proceedings of the Seventh Annual Conference on Uncertainty in Artificial Intelligence,Morgan Kaufmann, San Francisco,1991:86-94.
[9]Chow C K, Liu C N. Approximating discrete probability distributions with dependence trees[J].IEEE Transactions on Information Theory,1968,14(3):462-467.
[10]張兵利,裴亞輝.貝葉斯網絡模型概述[J].電腦與信息技術,2008,16(5):43-42.
[11]D Heckerman. Bayesian Networks for Data Mining[J].Data Mining and Knowledge Discovery ,1997,8(1):79-119.
[12]D Heckerman. An empirical comparison of three inference methods[J].UAI ,1988,9(1):88.
[13]D J Spiegelhalter, A P David, S L Lauritzen et al. Bayesian analysis in expert systems[J]. Statistical Science,1993,8(1):219-247.
[14]Agnieszka Oni ko, Peter Lucas, and Marek J. Druzdzel. Comparison of Rule-based and Bayesian Network Approaches in Medical Diagnostic Systems[C]. Proceedings of the Eighth Conference on Artificial Intelligence in Medicine (AIME-2001), Lecture Notes in AI, Cascais, Portugal, 2001:281-292.
[15]Beinlich I A, Suermondt H J, Chavez R M et al. The alarm monitoring system: A case study with two probabilistic inference techniques for belief networks[C].Proceedings of the Second European Conference on Artificial Intelligence in Medicine, London, England,1989:247-256.
[16]Hope L R,Nicholson A E,Korb K B.TakeHeart II: A Tool to Support Clinical Cardiovascular Risk Assessment[R].Tech Rep,2007:209.
[17]孫亞男,寧士勇,魯明羽,等. 貝葉斯分類算法在冠心病中醫臨床證型診斷中的應用[J]. 計算機應用研究,2006,23(11):164-166.
[18]范建平,李常洪,吳關琴,等.貝葉斯網絡在中醫診斷中的應用研究[J].管理科學學報,2008,11(6):143-150.
[19]林春漪,馬麗紅,尹俊勛,等.基于多層貝葉斯網絡的醫學圖像語義建模[J].生物醫學工程學雜志,2009,26(2):400-404.