面向評估可信性的概率化元評估模型

李聰 關(guān)愛杰 李俊杰 李雅楠

（中國人民解放軍96901 部隊(duì)，北京100094）

1 引言

評估是以定性或定量方式衡量特定對象某方面特性的一種技術(shù)手段與過程，典型應(yīng)用領(lǐng)域如效能評估、毀傷評估、威脅評估、適應(yīng)性評估、可靠性評估、體系貢獻(xiàn)度評估和風(fēng)險(xiǎn)評估等。評估之所以重要，在于其能為各業(yè)務(wù)領(lǐng)域的決策活動提供依據(jù)與支撐，然而這要求評估結(jié)果必須具備相當(dāng)程度的可信性，也就是做到與所關(guān)注的評估對象的實(shí)際特性或發(fā)展趨勢基本吻合，否則可能會導(dǎo)致錯(cuò)誤的決策。

可信性較高的評估結(jié)果才具備可用性與參考價(jià)值，才能真正地用于決策輔助。然而，如何估算評估可信性卻是一項(xiàng)極其復(fù)雜的工作，因?yàn)樵u估過程中眾多的主觀經(jīng)驗(yàn)因素和客觀限制條件都能對可信性造成影響，主要的如指標(biāo)選取、權(quán)重計(jì)算、人員水平和數(shù)據(jù)質(zhì)量等，且這種影響關(guān)系通常又是非線性與隨機(jī)性的，難以用確定性的顯式函數(shù)關(guān)系或關(guān)聯(lián)規(guī)則來描述。

本質(zhì)上，評估可信性的估算實(shí)際是一種特殊的評估，屬于元評估［1，2］范疇，即評估的評估，其比一般意義上的評估問題抽象層次更高、主觀因素更多、數(shù)據(jù)獲取更難、要素關(guān)聯(lián)更強(qiáng)，因?yàn)樵u估對象不再是具象化的業(yè)務(wù)實(shí)例，而是評估活動本身，從而不可避免地引入一些模糊的、隨機(jī)的、不可量化的因素，評估方式更趨向主觀經(jīng)驗(yàn)驅(qū)動而非客觀數(shù)據(jù)驅(qū)動，導(dǎo)致經(jīng)典的評估方法基本無法直接適用。目前，針對評估可信性估算這種典型元評估問題，還未出現(xiàn)成熟的、形式化的通用解決方案，大多情況下，仍需依靠領(lǐng)域?qū)＜因?yàn)證評估結(jié)果，或比對歷史案例數(shù)據(jù)等樸素的方法，雖原理簡單，但由于無法用統(tǒng)一且嚴(yán)格的數(shù)學(xué)模型描述，因而通用性與可操作性較差。這即是本文致力解決的問題。

近年來，貝葉斯網(wǎng)絡(luò)［3，4］技術(shù)在評估領(lǐng)域取得了廣泛應(yīng)用［5～10］，這是一種圖形化、概率化的知識工程方法［11］，本質(zhì)上屬于貝葉斯概率統(tǒng)計(jì)技術(shù)，通過將隨機(jī)變量抽象為節(jié)點(diǎn)，將隨機(jī)變量間的條件概率關(guān)系抽象為有向邊，以有向無環(huán)圖形式表示隨機(jī)事件的因果關(guān)聯(lián)與概率產(chǎn)生語義，結(jié)合來自業(yè)務(wù)知識的先驗(yàn)分布與實(shí)際觀測的證據(jù)事件，可以實(shí)施診斷推理與預(yù)測推理，在處理多源、異質(zhì)、非線性和隨機(jī)數(shù)據(jù)時(shí)具有顯著優(yōu)勢，非常符合元評估領(lǐng)域的技術(shù)需求。本文就基于貝葉斯網(wǎng)絡(luò)構(gòu)建評估可信性估算模型。

2 概率化元評估模型的建立

2.1 可信性影響因素識別

既然元評估本質(zhì)上也屬于評估技術(shù)范疇，那么遵循評估的普遍過程，首先需要依據(jù)評估目的梳理指標(biāo)，也就是對評估對象的影響因素。這里本著系統(tǒng)性、簡明性、一致性、實(shí)用性的原則［12，13］，從評估的全要素全流程入手，基于流程、方法、人員、數(shù)據(jù)和指標(biāo)等5 個(gè)維度，識別出可對評估可信性造成負(fù)面影響的20 項(xiàng)關(guān)鍵因素，具體見表1。每項(xiàng)影響因素實(shí)際都是可信性的風(fēng)險(xiǎn)項(xiàng)，每個(gè)風(fēng)險(xiǎn)項(xiàng)的發(fā)生均會不同程度降低評估可信性。

表1 評估可信性影響因素

2.2 模型語義的形式化描述

本文的概率化元評估模型語義使用貝葉斯網(wǎng)絡(luò)建立與描述。遵循層次化貝葉斯網(wǎng)絡(luò)的基本思想，引入1 個(gè)根節(jié)點(diǎn)：評估可信性低。再引入8 個(gè)中間節(jié)點(diǎn)：①評估流程可信性低；②評估方法可信性低；③人員技術(shù)水平低；④初級數(shù)據(jù)產(chǎn)品質(zhì)量低；⑤中間數(shù)據(jù)產(chǎn)品質(zhì)量低；⑥最終數(shù)據(jù)產(chǎn)品質(zhì)量低；⑦評估指標(biāo)構(gòu)建質(zhì)量低；⑧量化指標(biāo)可信性低。根據(jù)評估領(lǐng)域和數(shù)據(jù)領(lǐng)域等方面的業(yè)務(wù)知識，建立這8 個(gè)中間節(jié)點(diǎn)和表1 中20 個(gè)影響因素節(jié)點(diǎn)對根節(jié)點(diǎn)的概率化因果關(guān)聯(lián)關(guān)系網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點(diǎn)標(biāo)志如圖1 所示，其中橢圓形節(jié)點(diǎn)代表隨機(jī)變量（深色節(jié)點(diǎn)為20 個(gè)影響因素對應(yīng)的葉節(jié)點(diǎn)），變量間的因果關(guān)聯(lián)關(guān)系用有向邊表示，方向從父節(jié)點(diǎn)指向子節(jié)點(diǎn)。這里限定網(wǎng)絡(luò)為布爾型，所有節(jié)點(diǎn)取值均為True 或False，分別代表相應(yīng)的節(jié)點(diǎn)事件發(fā)生或不發(fā)生。

之后對網(wǎng)絡(luò)的任一非葉節(jié)點(diǎn)，即根節(jié)點(diǎn)和8 個(gè)中間節(jié)點(diǎn)，建立其與所有父節(jié)點(diǎn)的條件概率關(guān)系。當(dāng)父節(jié)點(diǎn)少于3 個(gè)時(shí)，直接使用條件概率表；否則，使用Leaky NoisyOr 函數(shù)［18］noisyor（），這樣可以顯著減少建立條件概率關(guān)系時(shí)所需參數(shù)數(shù)量。下面給出此函數(shù)的具體定義：

設(shè)X為布爾型貝葉斯網(wǎng)絡(luò)中任一節(jié)點(diǎn)，其N個(gè)父節(jié)點(diǎn)組成集合，令表示中所有節(jié)點(diǎn)均取值False，取True 外，其余所有節(jié)點(diǎn)取False。表示中所有取值為True 的節(jié)點(diǎn)索引。令：

等價(jià)地，定義對應(yīng)的Leaky NoisyOr 函數(shù)noisyor（）為：

通過采用專家調(diào)查法，即德爾菲法，以業(yè)務(wù)領(lǐng)域、數(shù)據(jù)領(lǐng)域與評估領(lǐng)域作為3 個(gè)專業(yè)類別，每個(gè)類別邀請2 名以上專家，經(jīng)多輪次的征詢、歸納與反饋，最終形成共識后，為所有條件概率參數(shù)賦值。對于父節(jié)點(diǎn)少于3 個(gè)的節(jié)點(diǎn)，見表2～表4，對于其余節(jié)點(diǎn)，見表5。

表2 節(jié)點(diǎn)E 的條件概率表

表3 節(jié)點(diǎn)F1 的條件概率表

表4 節(jié)點(diǎn)F6 的條件概率表

表5 條件概率的Leaky NoisyOr 函數(shù)表示

2.3 證據(jù)代入與可信性估算

在估算可信性前，需要依據(jù)評估任務(wù)的實(shí)際情況，為網(wǎng)絡(luò)中20 個(gè)影響因素節(jié)點(diǎn)賦予證據(jù)，形成網(wǎng)絡(luò)證據(jù)集Evidence。對任一影響因素節(jié)點(diǎn)Y，證據(jù)分為兩種：①硬證據(jù)，即P（Y ＝True）＝1或P（Y ＝False）＝1，用于確切表述影響因素事件發(fā)生或未發(fā)生，屬于確定性證據(jù)；②虛擬證據(jù)［19，20］，用于表述影響因素事件發(fā)生的客觀概率或主觀信念，或影響因素在發(fā)生的空間或時(shí)間上的占比，屬于非確定性證據(jù)。所謂虛擬證據(jù)就是通過引入一個(gè)虛擬節(jié)點(diǎn)V＇作為Y的子節(jié)點(diǎn)，且固定V＇＝v，那么虛擬證據(jù)就呈現(xiàn)為一個(gè)似然比：，不失一般性，有α，β∈（0，1）∧α+β ＝1，這樣，虛擬證據(jù)可近似理解為Y在True和False 上的占比，這就達(dá)到了設(shè)置非確定性證據(jù)的目的。在給定Evidence后，直接使用貝葉斯公式推導(dǎo)，或更方便地借助貝葉斯網(wǎng)絡(luò)建模軟件，可求出網(wǎng)絡(luò)任一非葉節(jié)點(diǎn)（根節(jié)點(diǎn)和8 個(gè)中間節(jié)點(diǎn)）在已知網(wǎng)絡(luò)證據(jù)集時(shí)的條件概率。鑒于網(wǎng)絡(luò)根節(jié)點(diǎn)含義為“評估可信性低”，則評估可信性為根節(jié)點(diǎn) 取 False 的條件概 率，即P（A ＝

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)中，使用AgenaRisk 貝葉斯網(wǎng)絡(luò)建模軟件建立本文的元評估模型。AgenaRisk 是一種交互式、模塊化的貝葉斯網(wǎng)絡(luò)可視化建模工具，允許用戶以拖放和點(diǎn)選等非編程方式構(gòu)建目標(biāo)網(wǎng)絡(luò)，并提供了類別豐富且成熟專業(yè)的構(gòu)件庫以及設(shè)計(jì)樣例，能顯著提升建模與計(jì)算效率。下面基于表6 中的3組評估想定進(jìn)行可信性分析，其中想定1 和想定2是為便于比較分析而建立的極端參照想定，想定1中所有影響因素均發(fā)生（硬證據(jù)），想定2 中所有影響因素均未發(fā)生（硬證據(jù)），而想定3 代表一種典型的實(shí)際評估情形，其與想定2 大體一致，區(qū)別在于想定3 未采用成熟方法和工具，以及數(shù)據(jù)采集過程質(zhì)量低（硬證據(jù)），同時(shí)，業(yè)務(wù)領(lǐng)域技術(shù)人員僅參與評估全流程的約40%，且有30%的指標(biāo)存在相關(guān)性（虛擬證據(jù)）。從主觀經(jīng)驗(yàn)角度，想定1 與想定2 應(yīng)分別對應(yīng)最低與最高的評估可信性，而想定3 則必然介于兩者之間。在AgenaRisk 中將本文模型劃分為3 個(gè)場景，每個(gè)場景輸入一組想定的證據(jù)，啟動模型推斷操作，得出3 組想定的評估可信性見圖2。想定1～3 的可信性分別約為16.3%，85.2%和51.6%，易見，想定2 可信性最高，想定3 次之，想定1 最低，計(jì)算結(jié)果完全符合定性的經(jīng)驗(yàn)直覺，還給出了具體量化值，便于進(jìn)一步的細(xì)粒度定量分析。同時(shí)還注意到，想定1 和想定2 的可信性并非絕對化的0%和100%，這是因?yàn)楸? 中的20 項(xiàng)影響因素僅為關(guān)鍵性但非完備因素，還存在一些次要因素因其未知性或控制模型復(fù)雜度的緣故未予考慮，這恰恰表明本模型能夠在處理不完全信息時(shí)體現(xiàn)出非確定性。

圖2 可信性評估結(jié)果

表6 實(shí)驗(yàn)評估想定

由于多數(shù)影響因素難以精確量化，需定性衡量，在實(shí)際使用本模型時(shí)，建議采取多專家綜合研討方式確定影響因素節(jié)點(diǎn)證據(jù)，這樣可以降低證據(jù)的方差和隨機(jī)性，使證據(jù)切實(shí)符合評估問題實(shí)際，從而首先在證據(jù)層面確保可信性。

5 結(jié)束語

本文提出了一種用于定量估算評估可信性的概率化元評估模型，從評估流程、方法、人員、數(shù)據(jù)和指標(biāo)等5 個(gè)維度梳理出關(guān)鍵的評估可信性負(fù)面影響因素，在貝葉斯網(wǎng)絡(luò)的框架下，層次化地建立了這些影響因素對于可信性的概率化因果關(guān)聯(lián)關(guān)系，符合影響關(guān)系的非線性與隨機(jī)性本質(zhì)。本文模型為評估可信性的估算提供了一種通用化的解決途徑。同時(shí)，此模型也可視為一種彈性框架，未來工作中，一方面可以根據(jù)不同業(yè)務(wù)領(lǐng)域的需求在橫向上擴(kuò)充或剪裁模型的維度和因素，增強(qiáng)評估的業(yè)務(wù)針對性；另一方面，可為每種影響因素在縱向上遞歸細(xì)分更具體更易量化的次級影響因素，提升評估結(jié)論的客觀程度。