基于規則的建模方法的可解釋性及其發展

周志杰 曹 友 胡昌華 唐帥文 張春潮 王 杰

系統建模是一種簡化實際工程系統的技術,通過它可以對實際系統進行分析、預測、仿真和改進,以滿足工程應用需求[1].近年來,以深度神經網絡(Deep neural networks,DNN)為代表的黑箱模型由于其良好的操作性與建模精度,在諸如人臉識別[2]、智慧醫療[3]和聲紋識別[4?5]等領域中得到了廣泛的應用.然而,黑箱模型的內部參數與結構難以被人理解,其輸出的合理性與可靠性也難以得到驗證,這從一定程度上增加了黑箱模型在實際工程應用中的潛在風險,尤其是在如醫療診斷決策等對安全性敏感的任務中[1,6?7].在工程實踐中,為了滿足實際系統的高可靠性需求,一方面是在實際系統的可靠性設計中考慮更多因素.另一方面,就是通過合理的建模方法建立出可靠且可理解的模型以增強人類對實際工程系統的認識,獲得系統的真實狀態,并據此采取合適的策略對實際系統進行改進和維護,確保其安全可靠地工作[1].因此,建模方法的可解釋性逐漸成為了系統建模必須考慮的重要因素.

建模方法的可解釋性指其以可理解的方式表達實際系統行為的能力,它有利于提高模型的可信度.在構建模型時,模型的結構與表達方式清晰易理解,能融入真實系統的設計原理與經驗知識;在推理計算時,保持過程的合理與透明性;在模型優化時,保證優化后模型的上述性質不被破壞.這些都利于建立人與模型間的信任關系,并進一步增強人與模型之間的交互與協作[1,8?9].為了提高系統建模方法的可解釋性,諸多研究人員就模型的可解釋性問題開展了廣泛和深入的研究,但由于對可解釋性的理解存在主觀性,目前學術界還未給出其統一的定義[1,8?12].在相關研究中,不同研究者看問題的角度不同,賦予了“可解釋性”不同的含義,因而所提出的可解釋性方法也各有側重.

模型的可解釋性可以分為兩類:1)事后可解釋性(Post-hoc 可解釋性),旨在通過設計高保真的解釋方法或者構建高精度的解釋模型對原本可解釋性弱的模型進行解釋,以可理解的方式展現其工作機制[13].例如,隨機森林(Random forest,RF)[14],提升樹(Boosting tree,BT)[15],DNN[2?5,16]等模型由于參數量大,結構復雜,工作機制透明性低,屬于一類可解釋性弱的模型.針對這些模型,研究人員提出包括規則提取[17?20]、模型蒸餾[21]、激活最大化[22]、敏感性分析[23?25]、特征反演[26]、類激活映射[27]等在內的一系列方法幫助人們從整體或者局部理解模型內部的復雜機理[28].2)事前可解釋性(Ante-hoc 可解釋性),指模型本身內置的可解釋性,即無需采取額外的手段便可理解模型的工作機制.在建模中為了實現Ante-hoc 可解釋性,通常選擇結構透明、易于理解的自解釋模型,例如線性回歸[29]、樸素貝葉斯[30]、決策樹[31]、基于規則的模型[32]等.對于線性模型,可以通過模型權重體現特征之間的相關關系,并通過矩陣計算線性組合樣本的特征值,最終復現線性模型的決策過程[33].對于樸素貝葉斯模型,其概率推理過程是透明可理解的[34];而決策樹模型中,每一條從父節點到子節點的路徑都可轉化為一條二分產生式規則,形成可追溯的推理過程[35?36].但是單個決策樹模型的建模能力較弱,在實際工程中往往集成多個決策樹構成集成學習相關方法,其可解釋性也隨之降低[37].由于規則能夠更加直觀地描述和解釋系統機理,因而基于規則的建模方法(Rule-based modeling approach,RBM)在理論及應用中得到了更加廣泛的認可與關注.

人工智能領域的符號主義學派強調通過邏輯來描述和模擬人的智能行為,將知識表示系統分為四類:1)基于邏輯的知識表示;2)語義網絡;3)基于框架的知識表示;4)產生式知識表示.產生式知識表示最早來源于美國數學家 Post 提出的波斯特計算模型(Post machine),它描述的是人類思維判斷中的一種固定邏輯結構關系,即常見的“原因?結果”、“條件?結論”以及“前提?操作”等[38].產生式知識表示有多種可以互相轉化的形式,例如邏輯蘊含式和產生式規則.在現有的研究中,基于規則的建模方法中的“規則”指的就是產生式規則.產生式規則描述為“IF-THEN”形式,從Newell 和Simon 等開發的基于規則的產生式系統開始,已逐漸成為了專家系統、人工智能等領域中應用最廣泛的知識表示方法[1,32].最初的產生式規則對確定性信息具有較為直觀的描述能力.1965 年,Zadeh 在Information and Control雜志發表“Fuzzy sets”,提出了一種利用模糊集合和模糊邏輯分析復雜系統的新方法[38].由該方法衍生的模糊規則,如Mamdani-Larsen (ML)型規則[1,39]及Takagi-Sugeno(TS)型規則[1,40?41],通過語義變量和模糊命題為系統行為的描述提供了更加易于理解的表達形式,且更加符合人類的推理模式[32].在諸多領域中,基于模糊規則的建模方法能夠有效利用定量信息和定性知識處理模糊不確定性.但是在實際工程系統中,模糊不確定性(Fuzzy uncertainty)、不完備性(Incompleteness)、概率不確定性(Probabilistic uncertainty)等各類不確定性廣泛共存,這嚴重制約了模糊規則的建模性能[42?45].為此,Yang 等于2006 年在Dempster-Shafer 證據理論[46?47]、決策理論[48]、模糊理論[38]和傳統產生式規則[1,32,38]的基礎上,將置信框架引入傳統產生式規則,提出了基于證據推理算法的置信規則庫推理方法(Belief rule-base inference methodology using the evidential reasoning approach,RIMER)[42,45].RIMER 方法的核心之一是置信規則庫(Belief rule base,BRB),它是傳統模糊規則庫(Fuzzy rule base,FRB)的一般化,能為工程系統中知識提供更加可靠的描述[45].

RBM 的優勢在于其內置的可解釋性,本文的“可解釋性”側重于說明如何建立和保持RBM 的內置可解釋性,即如何在構建知識庫時獲得可解釋性,如何保證推理過程的透明可解釋,如何在優化過程中保持可解釋性.RBM 的可解釋性主要取決于幾個因素,包括模型結構、規則數目、模糊集的形狀等[8,10,45].Zhou 等結合前人的研究從模糊集和模糊規則層面將FRB 的可解釋性分為低級可解釋性(Low-level interpretability)和高級可解釋性(Highlevel interpretability)[10].然而,隨著模糊規則被拓展為置信規則,高低級可解釋性在描述BRB 系統的可解釋性方面存在一定的局限性.本文主要對RBM 的發展進行概述,從知識庫、推理機、模型優化等角度分析總結典型文獻中關于其可解釋性的研究,并在此基礎上對其未來發展進行了闡述,旨在為RBM 的發展和改進提供一定的參考和借鑒.本文的整體框架如圖 1 所示.

圖1 論文整體框架Fig.1 The overall framework of the paper

1 RBM 基礎理論簡介

構建RBM 時,一般先從專家或領域知識獲取規則以構成一個知識庫,隨后設計有效的推理引擎實現對觀測信息的推理從而得到結論[42,45].RBM 中產生式規則的一般形式為:

其中,X={Xi;i=1,···,T}是屬性的集合,且每個屬性都可從有限集合A={A1,A2,···,AT}中獲取值(或命題).Ai={Aij;j=1,···,Ji=|Ai|}表示由Xi的參考值(或假設)組成的集合,這些參考值可以是定性的也可以是定量的;{X1→A1,X2→A2,···,XM→AM}定義了一系列的前提條件,它們代表了所研究問題的基本狀態,可由邏輯“與”或者邏輯“或”連接;D={Dj;j=1,···,N}表示由結果組成的集合,且Dj可以表示一個結論或一個動作;F表示一個邏輯函數,反映了前提條件與結果D之間的關系.

產生式規則自1934 年提出以來,其發展主要圍繞不確定性知識的描述展開[49].傳統的產生式規則一般用于對確定性信息的描述.但是隨著人們對工程系統認識的不斷加深,越來越多的研究認為處理不確定性信息的能力對提高模型可解釋性與建模精度有著重要意義.基于此,傳統的產生式規則也逐漸擴展成為模糊規則和置信規則[50?51].本節將從不確定性信息處理能力角度對RBM 的發展進行介紹.同時,本節也將對決策樹和貝葉斯網絡等一類可視為特殊規則的模型進行介紹,以幫助讀者更加全面理解RBM 的發展.

1.1 基于傳統產生式規則的建模方法

傳統產生式規則通常可以寫成如下形式:

其中,X為產生式規則的前提(前件),它一般由事實的邏輯組合構成,表示該規則被使用的條件;Y表示一組結論(后件).產生式規則的含義是如果前提X滿足,則可得到結論Y.

下面以一條醫生判斷病人是否感冒的規則為例對傳統產生式規則進行解釋:

其中事實的邏輯組合“發燒∧咳嗽”是該條規則是否被使用的先決條件,∧為邏輯連接符,表示邏輯

1.2 基于FRB的建模方法

“與”.當上述事實的邏輯組合滿足時,該條規則被激活產生結論“病人感冒”.由這個例子可以看出,產生式規則能簡單明確地描述專家知識,符合人類推理的思維模式.但是上述規則僅能夠確定性的描述“發燒”、“咳嗽”和“感冒”,并不能進一步的解釋病人發燒/咳嗽/感冒的程度.

基于FRB 的建模方法可分為兩類[1],即精確模糊建模方法(Precise fuzzy modeling,PFM)和語義模糊建模方法(Linguistic fuzzy modeling,LFM).TS 型模糊規則與ML 型模糊規則是構成FRB 的兩種常用組件.其中,基于TS 型規則庫的建模方法是PFM 的代表方法之一,其主要目的是獲得具有良好精度的模糊模型,這種方法在模糊變量的使用上一般不會賦予模糊集相關意義.基于ML 型規則庫的建模方法是LFM 的代表方法之一,主要目的是獲得具有良好可解釋性的模糊模型,在其規則中,前件和后件使用由語義術語組成的語言變量和模糊集來定義相關意義.同理,與PFM 相比,在推理機的選擇與構造上,LFM 也更傾向于保證推理過程的透明和推理結果的可解釋性.

TS 型規則庫中第k條規則可描述如下[1,40?41]:

其中,L為規則條數,∧為連接符,表示邏輯“與”,結合實際需求,邏輯連接符也可以是表示邏輯“或”的∨;表示第k條規則中第i個輸入的參考值,一般為一組帶有物理意義且相互排斥的語義值;Y k為輸出結果,ck為輸出結果的參數.TS 型模糊規則將仿射函數作為模糊規則的輸出結果,通過將復雜非線性系統局部分解為一系列線性系統,使其具備較好的逼近性能.TS 型模糊規則在控制領域得到了廣泛的應用[52?53].

與TS 型規則相比,ML 型規則的后件具有更加簡潔直觀的表達方式,ML 型規則庫第k條規則描述為[1,39]:

由式(3)與(4)可以看出,ML 型規則和TS 型規則具有相同的前提結構和不同的后件部分.ML型規則的后件部分是一個模糊集,用以更加直觀地描述實際系統.TS 型規則的是一個線性仿射函數,用以精確地擬合實際系統.在建立ML 型規則時,其關鍵在于將定性與定量知識轉化為由語義術語組成的語言變量和模糊集.在建立TS 型規則時,其關鍵在于選擇合適的函數對實際系統進行擬合.

現實系統中,存在著多種不確定性.舉例來說,“約翰很年輕的可能性是0.8”.“年輕”一詞是年齡的模糊表達,帶有模糊不確定性.“0.8”是我們給出該信息的確定度,帶有概率不確定性.ML 型模糊規則能較好地描述和處理模糊不確定性,但是難以較好處理廣泛存在的概率不確定性[42,45].置信框架是一種描述信息不確定性的理想方法[42?45],因此有必要結合置信框架對模糊規則進行一般化的擴展.

1.3 基于BRB的建模方法

BRB 通常由一系列置信規則構成,其中第k條規則表述為[42,45]:

在后續研究中,Chang 等對上述置信規則的假設進行了擴展,提出了基于“或”假設的置信規則及相應的激活權重計算方法,并進一步探討了兩種假設下置信規則的相互關系[54?57];Liu 等認為上述置信規則的前件部分不能較好地描述不確定性,于是對置信規則的前件進行了擴展,提出了擴展置信規則庫模型(Extended BRB model)[58?59].

1.4 其他特殊形式的規則

產生式規則在描述人類知識方面具有較好的通用性,例如,圖搜索中的狀態轉換規則、程序設計的詞法規則、邏輯中的邏輯蘊含式、數學中的微積分公式、化學中分子式的分解變換規則等都可用產生式規則來描述.現有研究中,許多建模方法中的知識表示方法均可以輕松地轉化為產生式規則,例如樹模型(決策樹、故障樹)和貝葉斯網絡等.因此,這些知識表示方法也可以視作特殊形式的產生式規則.下面將以故障樹以及貝葉斯網絡為例,對其與產生式規則的轉化關系進行介紹.

1)故障樹與產生式規則的轉化

故障樹是一種因果演繹分析方法,它把系統的故障(結果)及其發生的直接原因作為頂事件和底事件,采用邏輯門來描述故障原因間的邏輯關系,用樹形結構來描述原因與結果之間的因果關系.可以看出,故障樹的知識表示方式與產生式規則具有極強的關聯性,兩者本質上的邏輯關系是等價[60].

圖2 所示的是故障樹中常見的兩個基本單元,其與產生式規則的對應轉化關系為:故障樹中的“與門”表明多個基本事件同時發生時頂事件才會發生,這與產生式規則中“交”邏輯一致.因此,“與門”故障樹轉化的產生式規則為:

圖2 故障樹Fig.2 Fault tree

同理,故障樹中的“或門”表明多個基本事件中,只要有一個事件發生,頂事件就會發生,這與產生式規則中“并”邏輯一致.因此,“或門”故障樹轉化的產生式規則為:

2)貝葉斯網絡與產生式規則的轉化

貝葉斯網絡是一種基于有向無環圖模型來描述因果關系的概率模型.通常,一個復雜的貝葉斯網絡可以分解為若干個如圖3 所示的貝葉斯網絡片段.每個貝葉斯網絡片段包含一個子節點和若干個父節點,節點由有向弧連接,從父節點指向子節點.貝葉斯網絡將父節點與子節點分別視作前提條件和推理結論,并通過概率表來描述父節點與子節點間的關系.

圖3 貝葉斯網絡片段Fig.3 Bayesian network fragment

在如圖3 所示的貝葉斯網絡片段中,每個父節點Xi可能含有多個狀態Ai={Ai,1,···,Ai,J}(i=1,···,T,j=1,···,J),子節點D也可能有多個狀態D1,···,DN.因此,該貝葉斯網絡片段可轉換為如下產生式規則(置信規則):

其中β1,···,βN為相對于子節點各狀態的置信度,θ和δ分別表示規則權重和屬性權重.這些參數均可以通過分析概率表和專家經驗來確定[61].

2 RBM 的可解釋性

可解釋性是RBM 的固有特征[10,62],現有研究主要從三個方面對其展開探討:知識庫(Knowledge base)、推理機(Reasoning engine)和模型優化(Model optimization).此外,一些文獻也對該方法的Post-hoc 可解釋性進行了研究.本節主要內容如圖4 所示.

圖4 RBM 可解釋性的主要內容Fig.4 The main contents of RBM interpretability

2.1 知識庫

在RBM 中,知識庫由一系列規則組成.可解釋的知識庫需要具備清晰明確的語義,完備、簡潔、一致的規則以及具有物理意義的結構和參數[1].

2.1.1 清晰明確的語義

1)語義的可區分性

語義可區分性用來描述規則輸入劃分空間的合理性.IF-THEN 規則輸入的參考值及其匹配區間應該具備可區分性,以表示一個明確的語義[10,63?64].

2)匹配度的標準化與互補性

匹配度的標準化指論域U內至少存在一個數據點相對于某個參考值的匹配度等于1,且所有參考值的匹配度應該處于0 到1 之間,即[10,64]:

其中,T表示前提屬性參考值的數量,x0表示論域U內的某個定值.aξ(?)表示相對于第ξ個參考值的匹配度.

匹配度的互補性指在論域U內前提屬性空間參考值的所有匹配度之和應該小于或等于1,即[10]:

要保證明確的語義,一種方法是通過專家經驗確定相應的前提屬性的參考值與匹配區間.另一種常用的方法是通過使用模糊集之間的相似性測度來合并相似的模糊集以保證其可區分性.常用的相似性測度為Jaccard 相似系數(Jaccard similarity coefficient),其計算方法如下所示[65]:

其中A和B表示兩個模糊集,∩和|?|分別表示集合的交集和基數.Jaccard 相似系數的范圍為0 到1.當兩個模糊集完全相同時,Jaccard 相似系數的值為1;當二者完全不相似時,Jaccard 相似系數的值為0.Zwick 等對模糊集之間的許多相似性測度進行了比較分析[66].

此外,Mencar 等還提出了一種基于可能性測度的量化方法[67?68],該方法通過量化模糊集重疊的程度來評估可區分性,并且可以有效減少相似模糊集合合并過程中的計算量,其定義如下:

其中A和B表示兩個模糊集,μA(x)表示輸入x對于模糊集A的隸屬度.現有用于量化模糊集可分辨性的方法大多只基于輸入數據,而沒有使用輸出數據中包含的信息.Zhou 和Gan 提出了一種局部熵,通過考慮輸入輸出樣本提供的信息來實現模糊集可區分性的測量[69].

2.1.2 規則庫的完備性

規則庫的完備性指對于任何一種可能的輸入(定量或定性)都應該至少匹配一個參考值,并且至少應激活一個規則,即一個可解釋的規則庫應該包含系統的所有工作模態,其描述如下[70]:

其中T表示前提屬性參考值的數量.U是x的整個可行域.aξ(x)表示與第ξ個參考值的匹配程度.L表示規則數.wl表示第l條規則的激活權重.

Meesad 等認為完備性主要包括兩個要素:模糊劃分的完備性和模糊規則結構的完備性,并分別提出了相應的完備性測度[71].Espinosa 等提出了具有語言完整性的自治模糊規則提取算法,在保持規則庫語義完整性及覆蓋性的同時,能夠很好地擬合輸入輸出數據[72].Li 等通過模糊減法聚類(Fuzzy subtraction clustering)計算出輸入數據的最佳聚類數和聚類中心,并將其作為各屬性參考值,該方法在輸入信息完備的前提下能有效保證規則庫的完備性[73].為了保證參考值在優化過程中對空間分區覆蓋的可解釋性,De Oliveira 等在優化過程中引入了覆蓋約束[64].不同于上述研究,Zhou 等提出了基于“效用統計”的規則庫在線構造方法,該方法能依據輸入模態的變化實時地增加和刪除規則,保證規則庫的緊湊和完備[74].

2.1.3 規則庫的簡潔性

規則庫的簡潔性是保證其可解釋性的關鍵要求之一[75].根據Occam 剃須刀原理“The best model is the simplest one fitting the system behaviors well”,在保證模型建模性能處于滿意水平的前提下,規則庫的規模必須盡可能小以易于對工程系統的全局性理解.規則庫中規則的數量會隨著前提屬性和參考值的數量增長呈指數增長,即規則的組合爆炸[42,45].這嚴重限制了規則庫模型的工程應用.因此,必須采取一定的手段保證適當數量的前提屬性和參考值.

特征選擇的目標是在建模精度和模型復雜度之間找到最優的平衡點,產生一個緊湊、簡潔、具有良好泛化和解釋能力的規則模型[1].常用的特征選擇算法有過濾式(Filter)特征選擇算法與包裝器(Wrapper)特征選擇算法[1,76].Filter 特征選擇算法按照特征的某種特性(例如相關性)對各個特征進行評分,設定閾值進行特征篩選.該方法簡單有效,但是由于沒有啟發式學習過程的參與,往往不能得到最佳特征子集.Wrapper 特征選擇算法需要建立相應的目標函數,并利用學習算法獲得模型的精度估計,以選擇最優特征子集.但是該方法的主要問題是當特征數量比較大的時候,其效率低下.

規則庫模型結構學習的主要目的是通過啟發式學習方法確定合適數量的屬性參考值,從而降低模型復雜度.例如,Chang 等首先利用多維約簡技術(Multiple dimensionality reduction techniques)提出了BRB 結構學習方法[77?78].王應明等通過對粗糙集理論的推導進一步探索了BRB 結構學習[79].Chang 等通過將結構和參數學習與Akaike 信息準則(AIC)結合構建優化目標函數,有效降低了模型復雜度[80].當工程系統較為復雜時,構建合理結構的層次模型,使其規則數量隨前提屬性的數量線性增加,有利于降低模型復雜度[45].

此外,Chang 等還提出了一般化的析取假設下的BRB 模型(Disjunctive BRB),并在有限范圍內討論了其與傳統BRB 模型間的轉化關系與一致性[55].同時,也提出了一種在傳統假設下的BRB 結構和參數優化方法,并將其擴展到析取假設下,為降低規則庫規模提供了新的思路[57].

2.1.4 規則的一致性

規則的一致性能有效防止在推理過程及輸出結果中出現歧義.對于可解釋的規則庫,相互沖突的規則是不能共存的.如果規則庫是由專家知識提取得到,規則的一致性容易得到保證.但數據驅動的規則提取過程往往會因為帶噪聲的數據而產生沖突規則.嚴重不一致的規則無疑會導致規則庫性能退化,并使之無法解釋.Jin 等認為規則的一致性不應局限于規則之間,還應該考慮規則與人類常識之間的一致性,并給出了規則的一致性定義如下[75]:

其中Ri,Rk代表第i條規則與第k條規則,SRC(?)表示規則后件的相似性,定義為

S(?,?)是規則后件模糊集Bi和Bk之間的相似性度量.在置信規則中,其表示為后件置信分布之間的相似性度量.SRP(?)表示規則前提的相似性,定義為

SRP(?)表示規則前提的相似性,表示規則前件模糊集.

上述定義中,在兩條規則的SRP和SRC成正比例的情況下,如果兩個規則的SRP較高,則其一致性程度會趨向于低.在特殊情況下,當兩條規則具有相同的前提和結果,或兩條規則的SRP和SRC相等,或兩條規則的SRP等于0 時,一致性程度達到最大值1.但是當兩條規則具有相同的前提和結果時,往往會出現冗余,影響模型的緊湊性.此外,如果規則前提相同但規則后件不同,兩條規則的一致性范圍為0 到1.如果兩條規則的前提非常不同 (SRP非常低),其一致性程度則處于較高水平.這符合規則的一致性假設,即兩條帶有較大差異前提的規則常被認為是一致的[10,75,81].

2.1.5 結構及參數的物理意義

帶有物理意義的結構主要體現在兩方面:規則的結構和規則庫的結構.對于規則的結構,ML 型規則和TS 型規則是兩種應用最為廣泛的模糊規則,二者具有相同的前提結構和不同的后件部分.ML型規則的后件部分是一個模糊集,TS 型規則的是一個線性仿射函數.相比較于TS 型規則,ML 型規則的模糊集在描述知識方面更加直觀.置信規則就是在ML 型規則的基礎上擴展而來.對于規則庫的結構,為了清晰描述復雜工程系統內部各組件間的邏輯關系,規則庫一般會基于層次結構來構建,以明確輸入間的傳遞關系.在推理時,采用自底向上的推理方法,逐層對證據進行聚合產生更高級別的證據[42,45].例如,Yang 等和Hodges 等構建的用來確定容器包含石墨的置信度的層次模糊規則庫,其中每一條規則及組件間均有較強的邏輯關系[45,82].

在規則的參數方面,以置信規則為例,其參數主要包括屬性權重、規則權重、激活權重以及置信度等.其中屬性權重δ∈[0,1] 表示該前提屬性相對于其他屬性的重要度;規則權重θ∈[0,1] 表示該條規則相對于其他規則的重要度;激活權重w∈[0,1]表示對應規則被輸入激活的程度,它由輸入信息、屬性權重與規則權重共同決定;置信度βi∈[0,1] 表示對結果的支持程度.上述參數具有一定的主觀性,其值的大小一般依賴于專家經驗.此外,Feng 等[24]還在BRB 中引入了屬性可靠度r∈[0,1] 用以表示輸入信息的可靠程度.屬性可靠度體現了屬性的客觀性,它與系統的內部機理、工作環境密切相關.

2.2 推理機

知識庫的可解釋性保證了其能以可理解的方式準確描述實際系統中的不確定信息.為了產生可靠的結果,推理機對不確定信息的處理能力至關重要.澳大利亞西澳大學Walley 教授認為可從六個標準來對現有不確定性推理方法進行評價[83?84]:

標準1.可解釋性(Interpretation).指推理方法對不確定信息的處理應有足夠明確的解釋,可以用于指導評估,理解結論,并將其作為行動的基礎.

標準2.不精確信息描述能力(Imprecision).指推理方法對不精確信息的描述能力,即能夠對部分或全部的無知、有限的或相互矛盾的信息以及不確定性的不精確評估.

標準3.演算能力(Calculus).指推理方法應該具有整合不確定性信息的能力,即能夠結合新的信息更新不確定度,并使用它們來計算其他不確定度,最終得出結論并做出決策.

標準4.一致性(Consistency).指推理方法的不確定性推理過程應該和假設保持一致.

標準5.評估的可行性(Assessment).指推理方法需要具備處理各種類型信息的能力,包括用自然語言表示的不確定性,例如“if A then probably B”.同時也能將定性判斷與定量的不確定性信息結合起來.

標準6.計算的可行性(Computation).指推理方法能夠通過合理高效的計算過程得到推理結論.

上述六個標準從理論和實踐對不確定性推理方法進行了衡量,其中標準1 (Interpretation)是對不確定性推理方法的基本要求,它可以支撐演算過程,保證模型的一致性,同時還能夠指導評估過程[83?85].

常用的不確定性推理方法主要包括貝葉斯概率推理方法(Bayesian probability reasoning)、信任函數(Belief function)、可能性推理方法(Possibility reasoning)以及似然推理方法(Likelihood reasoning).本文將結合上述六種標準對上述不確定性方法進行簡要分析.

1)貝葉斯概率推理方法

貝葉斯概率方法通過無條件概率P(A)或者條件概率P(A|B)對不確定性進行描述,具有簡單的行為解釋能力,這使得其不確定性整合過程變得合理,也保證了推理結果的一致性.貝葉斯概率推理依賴于精確的概率描述,難以有效模擬實際工程系統中廣泛存在的無知性、信息不完備性,也無法處理自然語言中的不確定性與專家意見之間的沖突[83,85].

另一方面,精確概率的獲取本身是一件較為困難的工作,因此貝葉斯概率推理方法在評估和計算(標準5,6)方面也存在挑戰,導致其在實際應用中存在諸多限制[86?88].早期,有研究通過簡化貝葉斯概率假設,使用類似于模糊邏輯中max/min 規則的簡單規則來整合證據[89].然而,這會產生不一致的概率.最近,有些研究基于專家對變量之間因果關系的理解來判斷條件的獨立性,將變量之間的關系以圖形化表示形成一些新模型,例如信念網絡、因果網絡或有向無環圖[87,90?93].這些模型的優勢在于有效減少了評估和計算的工作量,在許多實際問題中這是非常重要的.

總的來說,貝葉斯概率推理方法在標準1,3,4上具有較好表現,但是在標準2,5 上不具有優勢.對于標準6,貝葉斯概率推理的擴展方法在一定程度上可以滿足工程需求.

2)信任函數理論

信任函數理論是對經典概率論的擴展,是Dempster-Shafer (D-S)證據推理方法的關鍵理論,由Dempster 在20 世紀60 年代提出,后又由Shafer不斷發展[46?47,92].信任函數是一個定義在辨識框架Ω所有子集上的實值函數,可以描述為如下形式:

其中m(?)是 Ω的子集上的概率質量函數.A和B是定義在辨識框架 Ω 上的子集.

依據Shafer 的闡述,信任函數可以通過多值映射的精確概率測度生成,這種多值映射具有一定的行為解釋[47].但信任函數的演算在很大程度上依賴于Dempster 的組合規則,需要有條件獨立性的明確判斷支持,因而在實際應用時應更多地注意Dempster 組合規則的確切使用條件以避免產生直覺上的不一致,從而影響其解釋性和評估過程[93?95].信任函數理論在充分考慮Dempster 組合規則應用條件的前提下,可在一定程度上較好滿足標準1～4.另外,信任函數可以對各類型的局部無知、有限信息或矛盾證據進行建模,但是難以對語義中的概率判斷建模,難以滿足標準5[96].在計算方面,信任函數理論中的概率質量函數m(?)用來描述不確定性信息,在采用Dempster 組合規則對概率質量函數進行融合的過程中,計算的復雜度會隨著辨識框架中元素個數增加而呈指數增加,這就是信任函數面臨的“組合爆炸”問題.“組合爆炸”問題較大程度限制了信任函數在實際工程中的應用.為使信任函數在實踐中獲得較好的計算效率,許多研究嘗試通過近似的方法來降低計算復雜性,例如Voorbraak 定義了信任函數的貝葉斯近似,該方法能夠在不對融合結果產生實質影響的前提下有效減少計算量[97].可見,對于標準6 而言,信任函數理論需要進一步結合其他方法來彌補不足.

3)可能性推理方法

1965 年,Zadeh 教授首次提出了模糊集理論,通過可能性度量來描述不確定性,并為自然語言中的模糊表達式提供數學模型以模擬語義的不精確性和模糊性,有效彌補了人工智能領域中經典概率在處理多種不確定性方面的弱點[38,98].

一階可能性測度與二階可能性測度在可能性推理方法中十分重要[98?99].一階可能性測度用可能性分布來定義,一般解釋為一致的上概率,具有較好的計算性能,可以較好滿足標準1,4,6.它可以有效處理語義中的模糊帶來的不確定性,但主要缺陷是它們不能對許多常見的不確定性類型進行建模,例如無法模擬自然語言中的精確概率判斷[100].因此一階可能性測度難以滿足標準2,3,5.可能性測度是一種非常特殊的上概率,但上概率本身在許多問題上是不充分的,一般需要進行上下概率預測[98].為此,需要考慮可能性測度的對偶測度,即必要性測度.必要性測度一般解釋為一致的下概率.假設可能性測度表示為π,其所描述的上概率可以計算為:

其中A為集合U的子集.必要性測度所描述的下概率可以計算為:

其中Ac表示A的補集.可能性測度與必要性測度滿足.在所有概率分布集合上定義的二階可能性測度比一階測度更具表現力,它能夠同時對精確或不精確的不確定性判斷進行建模.但二階測度比一階測度復雜得多,因此很難解釋和評估,例如對定性判斷建模來說,二階測度就過于復雜[99?100].因此,二階測度雖然能夠彌補一階測度在標準2～5 上的不足,但這是以降低其在標準1,5 上的表現為代價的.

4)似然推理方法

與上述三種方法相比,似然推理方法在推理不確定性、部分信息無知、自然語言中概率判斷的模糊性、專家意見之間的沖突等方面更加具有一般性,滿足標準1～4[85,101].似然推理方法中上、下概率、期望和條件概率是通過一種自然擴展(Natural extension)的技術從初始估計中構造出來的,具有較好的行為解釋,可以用來驗證初始評估的一致性,并確保評估與結論的一致性[84,102].在復雜問題中應用似然推理進行推論和決策的一般方法是自然擴展,該方法可以簡化為一個線性規劃問題.但還需要進一步的研究來尋找涉及獨立性判斷的自然擴展有效方法[83?84].Yang 等提出的ER 規則可以看做一種特殊的似然概率推理方法[44?45].Wang 等在此基礎上推導出來的ER 解析算法有效降低了計算量,使其更具有工程適用性,但證據不獨立的問題仍然困擾著ER 規則[103].

基于上述四種方法的分析,這些方法中的每一種都存在一些特殊問題,似然推理方法更具有普遍意義.但需要強調的是,上述分析的目的不是為了判斷推理方法的優劣.事實上,隨著拓展研究的不斷推進,推理方法針對特定問題的改進依然可以較好地滿足工程需求.

2.3 模型優化

在工程實踐中,一般通過兩種手段實現模型的可解釋性[10,42,45].其一是充分結合實際系統機理信息與專家知識構建滿足可解釋性要求的模型,但是這種方法依賴于對實際系統內部機理的完全剖析,顯然這是一項極具挑戰的工作.其二是先利用有限的專家知識構建初始模型,再利用優化學習方法對初始模型的結構和參數進行調整,以保證模型可解釋性的同時提高其建模性能.從工程角度來看,當專家能夠完全掌握實際系統機理信息時,可采用第一種手段構建可解釋的模型.但由于實際工程系統結構復雜,專家很難完全獲得和掌握其機理信息,相對而言,有限的專家知識和樣本數據是更容易獲得的.因此,第二種手段在工程中更為普遍.通過第二種手段構建的模型,結合了專家從全局角度對真實系統的認識和數據樣本中與真實系統緊密相關的實測信息,這使得模型對真實系統行為的解釋能力和工程適用性得到了增強.

在RBM 中,面向精度的自適應優化學習算法常常會產生矛盾或者不可辨識的模型參數及結構[45].雖然這可能有利于提高模型優化的精度,但其會嚴重影響建模方法的泛化性能和可解釋性.建模精度和可解釋性是相互制約的目標,理想的情況是在很大程度上滿足這兩個標準.因此,研究人員通常更期望采用優化算法并根據用戶的需求在可解釋性和建模精度之間取得最佳的平衡.為實現這個目標,需要構建合理的可解釋性約束與優化目標函數,并選擇高效的優化學習算法對模型的參數及結構進行調整,主要可分為兩個方面:一是對模糊集、權重等參數進行優化,確保規則庫的明確語義、一致性、完備性及物理意義等;二是對規則庫進行簡化,獲得合適規模的模型,確保其緊湊性與可讀性.

Jin 等在進化算法的適應度函數中加入了可分辨性、完備性和一致性度量,提出了一種利用進化策略從數據中生成可區分的、完整的、一致的、緊湊的模糊規則(Distinguishable,complete,consistent and compact fuzzy rule,DC3fuzzy rule)的方法,該研究表明,當訓練數據較少時,提高訓練后模型的可解釋性有利于提高其綜合性能[75].文獻[104]在設計進化算法時,將對可解釋性的尋優轉化為相應的約束條件,提出了一種基于協同進化的模糊建模技術(Fuzzy CoCo),實現了對隸屬函數和規則的兩個獨立但相互交織的搜索過程.文獻[105]考慮了所得規則庫的透明性及工程所需的逼近精度,提出了一種可靠的數據驅動方法來確定模糊系統的結構及參數,例如輸入變量及其隸屬函數等.在BRB建模領域,通過自適應優化方法保證模型可解釋性的相關研究還不夠系統.Yang 等首次提出了BRB模型參數離線優化方法,并強調專家知識是BRB可解釋的基礎,BRB 的參數尋優過程應該是一個基于專家初始判斷的局部過程[106?107].Zhou 等首次提出了BRB 參數在線更新方法,并結合實際系統的機理信息在參數更新過程中引入了專家干預,有效保證了優化過程的可解釋性[108].此外,Zhou 等還首次提出了BRB 結構在線更新算法,有效減小了規則庫的規模[74].基于上述研究,Chang 等首次提出了BRB 參數和結構聯合優化模型,為建立更加緊湊的規則庫模型奠定了基礎[109].

2.4 其他解釋方法

上述研究致力于提高模型的Ante-hoc 可解釋性.事實上,其Post-hoc 可解釋性也受到較多的關注,常見的方法有對模型的敏感性分析(Sensitivity analysis)與局部近似分析(Local approximate analysis).敏感性分析指在給定假設下定量地研究自變量發生某種變化對某一特定的因變量影響程度的一種不確定分析技術.Feng 等通過求導建立了輸入與可靠度、權重等BRB 參數的關系,實現了對BRB 模型參數的敏感性分析,該方法能夠為工程實際中的復雜系統維護決策提供指導[24].Yang 等通過對BRB 系統的匹配度及激活權值等參數進行了敏感性分析,考察了效用值和屬性權重對系統準確性的影響,并提出了一種新的激活權值計算方法和參數優化方法,提高了BRB 系統的可解釋性[25].文獻[110]提出了模糊集最大擾動和平均擾動的定義,并討論了若干模糊推理方法的擾動結果.文獻[111]基于連接詞和蘊涵算子對模糊推理方法進行了敏感性分析.局部近似分析一般指分析模型局部的逼近過程,然后基于此可對模型全局推理過程進行分析.Chen 等對BRB 系統的推理和近似性質進行了理論分析,分析結果揭示了BRB 系統的推理機制擁有優越的逼近性能,即BRB 系統的統一多模型分解結構(The unified multi-model decomposition structure)將輸入空間劃分成不同的局部區域然后進行分布逼近[112].Chen 等的研究為實際應用中BRB 系統的使用和優化提供了理論基礎.

3 RBM 可解釋性的應用

建模方法的可解釋性具有重要的理論和實踐價值,它有助于加深使用者對模型的理解和信任以開展進一步的應用活動,例如故障診斷、緩解過擬合和模型遷移.此外,可解釋性還有益于發現新知識,甚至促成新理論.

總而言之,RBM 可解釋性的工程意義具體可以體現在以下幾個應用領域:

1)輔助分析與決策.RBM 可解釋性有利于提高人工分析和決策的效率,提高分析與決策結果的可信度.在醫療領域,RBM 一般會作為專家系統輔助醫生做出正確決策.2002 年,Yuan 等基于模糊邏輯推理方法開發了腎移植指派專家系統[113].2009 年,Kong 等構建了基于置信規則的臨床決策支持系統(Clinical decision support systems,CDSS),實現了臨床醫療的現場決策[114].Zhou 等還提出了一種用于診斷胃癌淋巴結轉移的決策支持系統[115].Hossain 等針對患者體征和癥狀的不確定性,基于規則庫專家系統建立了急性冠脈綜合征的評估模型,該模型在后面的研究里還用于診斷結核病[116].在工商業領域,RBM 可以用來對生產過程提供指導和預測.2012～2014 年間,Zalnezhad 等基于模糊規則實現了航空航天AL7075-T6 合金Ti-N 涂層結合強度預測[117].同時還建立了AL7075-T6 合金鈦錫鍍層表面粗糙度隨直流電源、溫度、直流偏壓、氮氣流量等輸入工藝參數變化的模糊模型,實現了涂層試樣的微動疲勞壽命的預測,依靠所建立的模型有效改善了生產工藝,提高了產品品質[118].Chen 等開發了一個具有非線性現金流約束的投資組合優化的BRB 系統,實現了投資風險的輔助決策[119].

2)復雜系統健康管理.RBM 的可解釋性保證了所建立的模型具有輸出的可追溯性,即可依據輸出對輸入的相關情況進行分析,這在復雜系統的健康管理中具有重要的作用.Xie 等基于模糊規則建立了預警機故障預測與健康管理系統,不僅可以增強預警機健康狀態監測能力,而且可以提高其雷達故障診斷和維修的效率[120].Ishibashi 等基于規則的遺傳模糊系統(Genetic fuzzy rule-based system,GFRBS)混合模型提出了一種通用系統剩余使用壽命的預測方法,該方法自動生成模糊規則,并對關聯的隸屬度函數進行調優[121].該方法應用于商用航空飛機發動機的剩余使用壽命預測取得了較好的效果.2015 年,Zhou 等提出了一種用于復雜系統行為預測的模型,該模型最大的優勢在于可以利用客觀世界的專家經驗,使專家參與到操作過程中[122].2016 年,Hu 等提出了一個BRB 預測模型來預測網絡安全狀況這一隱含行為,以規則的形式展示了網絡安全狀況的演化過程[123].Feng 等基于BRB 系統構建了用于WD615 型柴油發動機安全性評估的專家系統,通過敏感性分析方法得到了影響發動機安全性的關鍵因素,為下一步該型發動機的維護保養提供支持[24].Zhou 等基于前期研究,開發了復雜系統安全性推演演示驗證系統,如圖5 所示.該系統的關鍵是依據復雜系統的故障樹、設計資料、專家經驗以及測試數據構建規則庫,并采用ER 推理方法生成結果.同時,用戶可以依據輸出結果和激活規則對輸入信息進行分析,從而確定復雜系統安全性薄弱環節.

圖5 復雜系統安全性推演演示驗證系統Fig.5 Complex system security demonstration and verification system

3)知識發現(Knowledge discovery in database,KDD),是指從數據中識別出有效的、新穎的、潛在有用的、最終可理解的模式的過程.RBM 在知識發現的優勢主要為其具有較高的性能并且易于用戶理解,通常不需要進行其他可視化操作.常見的應用情況是采用RBM 從清洗后的海量數據中提取數據映射模式,最后利用規則將挖掘到的數據模式可視化地呈現給用戶.基于規則的知識發現方法主要包括決策樹、基于模糊規則的聚類方法和基于模糊規則的數據?；椒╗1].

4)基于規則的控制.RBM 具有實時性好,操作簡單且計算量小等特點,在工程中可以避免復雜控制系統難以建立精確數學模型的問題,在控制領域應用廣泛.牛培峰等采用兩層模糊規則控制方法實現了對循環流化床床溫的控制系統[124].張海等人提出一種全新的基于模糊推理與規則控制的高度跟蹤算法,該算法具有較好的實時性,收斂性及可擴展性,在跟蹤效果與運算速度上均優于傳統算法,對巡航導彈、無人機具有較高的應用價值[125].

此外,RBM 還可用于模型驗證與診斷.傳統的驗證方法通?；谀Ｐ驮隍炞C集上的誤差來評估其泛化性能,但當所用數據集存在偏差或驗證集與訓練集同分布時,上述方法變得不可靠.RBM 的可解釋性可作為一種可靠的依據來對模型進行分析和調試,以診斷出模型中存在的缺陷并采取相應人為干預,避免產生錯誤決策.

4 RBM 面臨的問題及未來發展

RBM 由于其較好的可解釋性與建模精度得到了廣泛應用.但在工程實踐中,仍舊存在幾個問題:

1)忽略了專家初始判斷在建模過程中的重要性.專家知識是基于規則建模方法的可解釋性的重要來源,它能輔助確定模型的結構、參數數量與大小.專家知識準確與否、可信與否影響著所建模型的精確性與可解釋性,專家知識的局限性同樣會制約所建模型的性能.因此,RBM 需采用一系列優化算法進行尋優,但在其過程中應充分考慮專家初始判斷,避免純數據驅動的尋優過程.

2)處理高維信息的能力較弱.隨著實際工程系統不斷復雜化,建模過程中對高維信息的處理越來越難以避免.RBM 在處理高維信息時面臨的關鍵問題是“維數災難”,盡管已有研究能較大程度上減小規則庫的規模,但是目前的研究仍不具有足夠的一般性.例如特征選擇方法可以輔助剔除大量冗余特征,但是這樣的剔除過程是否合理,是否適用于所有情況仍缺少足夠的依據.“維數災難”帶來的典型問題有:如何獲取海量規則信息? 如何解釋復雜規則庫? RBM 沒有內置的學習機制,如何對海量規則進行優化?

3)可擴展能力較弱.隨著人們對實際工程系統認識的不斷加深,新的組成(屬性、參考值、規則等)被期望引入原有規則庫的同時應盡量避免對原有規則庫的更改.現有研究對參考值、規則等的增減進行了研究,一定程度上保障了規則庫擴展的合理性,但是鮮有研究考慮到屬性輸入數量的增減.RBM的適應性調整有利于建立更加完備可靠的知識庫,對用戶理解和使用RBM 具有較好的輔助作用.因此,如何建立更具一般擴展性的規則模型是一個需要解決的實際問題.

4)缺乏統一的可解釋性評估方法.RBM 可解釋性研究領域缺乏統一的科學評估體系用于評估解釋方法的優劣.現有許多評估方法是依賴于人類認知的定性評估方法,難以保證評估結果的可靠性.此外,迫切需要構建統一的可解釋性評估方法,以統一RBM 的性能衡量,這將為其在實踐過程中的進一步應用提供幫助.

RBM 的優勢在于其具有基于語義實現復雜非線性建模的可解釋性.從RBM 自身而言,未來圍繞上述四個問題的發展方向都將對提高其建模能力具有較大的促進作用.另一方面,對RBM 的擴展或者與其他方法的結合也是一個重要的發展方向.Zhou 等突破深度學習依賴于神經網絡的困境,提出了一種全新的深度學習框架—深度隨機森林模型(Deep random forest)[126].該模型由大量決策樹組成,決策樹模型可以視作基于特殊二分規則的模型.與神經網絡模型相比,決策樹的二分規則更易于解釋,且更容易形成清晰的推理過程[35?36].深度隨機森林模型為以RBM 為基礎進一步探索可解釋的深度學習框架提供了指導.除此之外,受模糊神經網絡啟發,也有研究嘗試將規則嵌入神經網絡,從一定程度上提高了模型的透明性,增強了模型的局部解釋能力.在未來的研究里,如何進一步融合RBM 與其他建模方法并推動其向深度發展,仍舊是一個很有價值的研究課題.

5 結論

建模方法的可解釋性在理論與工程領域具有很高的研究價值,已經成為了國內外學者研究的熱點問題,并且取得了較好的研究成果.RBM 作為一種可自解釋的建模方法,在可解釋性研究領域受到廣泛的關注.本文總結分析了RBM 的發展過程,從知識庫、推理機、自適應學習方法以及其他解釋方法等方面系統梳理了國內外與RBM 可解釋性相關的典型工作,同時對RBM 的工程應用進行了簡要的總結,為其發展和改進提供了一定的參考和借鑒.從本文的總結可以看出,RBM 的可解釋性研究還處于初級階段,依然存在許多關鍵問題尚待解決,例如處理高維信息的能力弱,缺乏統一的可解釋性評估方法等.針對這些問題,本文所討論的未來的研究方向,有利于進一步推動RBM 可解釋性研究,提高其建模性能.